KPIや指標という言葉をよく耳にする。特に、経済財政諮問会議はじめ政府関係者はこの数年、KPIという言葉を頻繁に用いている。その背景には、エビデンス・ベースの政策立案、意思決定が国際的な潮流となっており、その影響を日本政府も少なからず受けていることがあると思われる。6月に発表された「経済財政運営と改革の基本方針2016」にも「改革工程表と主な指標であるKPI」という言葉が明記されている。だが、工程表に記された指標の中には、これは適切なのだろうかと疑問を抱かせるものがある。
1. CDC（連邦政府疾病コントロール・予防センター）と全米評価学会共催の評価セミナー
アトランタで開催された評価に関する夏季集中セミナーに参加した。全米評価学会とCDC（連邦政府疾病コントロール・予防センター）の共催によるもので、40ほどの講義が同時並行で開催されるが、研究者、教員、政府、非営利関係者など550人ほどが集まっていた。
今回、私が最も期待していた講義が、指標に関するものだった。CDCで17年間にわたり評価を担っているという講師は理論と実践の双方から、体系的に指標について解説してゆく。彼女自身が講義ノートの中で述べていたように、その内容は「指標のアナトミー（解剖学）」だった。
ごく簡単に印象深かった点を述べれば、次の通りだ。
・指標は３つの要素から構成されている。すなわち、第1に事業に関わる主体（doer）、第2に事業の結果生じる状態が示されていること(construct）、そして、第3に測定（measurement）である。
・測定そのものを目的にしてはいけない。
・評価作業で指標を選定する際には操作定義が必要になる。つまり、評価目的や評価のための調査設計に即していること。
どうやら、私たちが一般に指標だと思っていたもの、例えば、出席率、就職率、疾病率は先の解説に基づけば、測定（measurement）をあたるものをさすだけで、主体（doer）、状態(construct）に関する説明が不足しているということになる。
2. 諮問会議改革工程表のKPI —指標のアナトミーから捉えると何が見えるのか—
経済財政諮問会議は、昨年12月に社会保障、社会資本整備、地方行政改革、文教の4分野について、経済財政改革工程表を発表した。80頁以上にわたる同文には、主要な施策について、達成時期と目標値（KPI）を記した工程が図と文字で描かれている。
工程表に記された指標を例にとって、先のアナトミーに基づいて分析すると何が見えるのだろうか？
そこで、２つの施策「国立大学間の連携や学部の再編統合」「民間資金の導入促進」で掲げられた指標を取り上げてみよう。ここに記されいるのが以下、２つの指標だ。
「世界大学ランキング：2018年、2020年、2030年を通じてトップ100に我が国大学10校以上とする」がひとつめの指標（指標１）だ。
そして、「第3期国立大学法人中期目標・計画の達成状況について2019年度暫定評価において達成見込みを確認し、2021年度に中期目標を全法人において達成することを目標とするなど高等教育の質の向上を図る」が２つめの指標（指標2）である。
随分と長文の指標だが、指標１の世界大学ランキングの指標のほうは、主体（doer）＝大学、状態(construct）＝ランキング入りする、測定（measurement）＝トップ１００に10校入りする、となり3要素が揃っている。他方、中期目標・計画関連の2番目の指標については、測定（measurement）がはっきりしない。
次に、測定そのものを目的にしていないかかというポイントに基づくと、指標２が気になってくる。測定を目的にしているわけではないが、「高等教育の質の向上」を目的と掲げながら、指標に「質の向上を図る」と記しているためにトートロジーを招いてしまっている。質の向上とは何かを定義し、ブレークダウンして、質の向上を表す指標を見出す作業が必要である。
そして、評価目的や作業に即した指標が選ばれているのか（操作定義）に着目すると、指標１の世界大学ランキングが気になってくる。本施策の主たる目的は企業などの共同研究や寄付金などの民間資金導入の促進である。この施策を評価する場合、評価の目的は「民間資金導入促進状況の確認」になる。これは進捗管理を目的とした評価だ。だが、気になるのはこの肝心のめざすべき目的が何であるのかがよくわからない点だ。
そこで、KPIに着目すると「世界大学ランキング（トップ１００に10校入る）」となっている。どうやら目的は世界大学ランキングへのランク入りということだろうか。
だが、民間資金導入促進がこの目的達成にとって適当な手段となるのか。日本政府やメディアがよく引用するのがタイムズ・ハイヤー・エジュケーション（THE）のランキングである。THEのランキング評価の内訳をみると、企業との協働にかかる評価が占めるウエイトはわずか2.5％である（2010年度）。調査研究費（文系を除く）のウエイトは5.3％でしかない。しかも、公的資金のウエイトが4.5％となっていることから公的資金をより重視していることがわかる。つまり、そもそも研究資金のウエイトが高くなく、なおかつ公的資金に重きがおかれているのだ。そうであれば、民間資金導入促進は世界大学ランク入りの達成手段としてはさほど有効ではないのだ。
そして、民間資金導入促進の施策のKPIとしては、指標１「世界大学ランキング（トップ１００に10校入る）」は妥当とは言い難いということになる。
エビデンス・ベースによる意思決定や政策立案はますます重視されるだろう。だが、指標の問題が示すようにイージーな測定は誤った決定を招く可能性がある。そして、その先には公的資金の使徒を大きく謝らせる危険性を孕んでいる。