昨今、インパクト評価という言葉をよく耳にするようになった.我が国では,橋本行革の一環として政策評価法が導入され,以来、評価は行政府機関,そこからの公的資金を受ける組織にも波及していった.2008年のリーマンショック以降,投資家の視線が,政府やNPOなどが担うパブリックの領域に向けられたことから,投資家視点の評価が注目を浴びている.昨今のインパクト評価は後者の影響が色濃いが,最近では地域のNPOからもこの言葉を耳にするようになった.しかしながら,インパクト評価,その延長で議論されている費用便益分析の使い方について大きな疑問がある.誤った使い方をすると,社会を欺くことになるからだ.説明責任を果たすつもりが,意図せず真逆の結果をもたらしては元も功もない.
- インパクト大の効果を本当に出せるのか
まず挙げたいのは,効果のマグニチュードの大きさによる区分が曖昧になっている点である.アウトカムとは事業実施による対象の変化をさすものであるから,一人の対象者の精神的・肉体的変化もアウトカムとして説明しうる.他方,インパクトは制度や慣習など社会システムの変化を伴う大きな効果をさしている.しかし,ここで紹介されたインパクト評価という表現は,先のような区分はさほど意識されず,多様なマグニチュードの効果を区分することなく,総称してインパクト評価と呼んでいる.効果や成果の表現にある種のインフレ現象が起きているようにもみえるが,資金提供者へのアピールを意識してのことかもしれない.だが,投資効果が求められる傾向があるからこそ,成果や効果の表現には配慮が必要なのではないだろうか.
- 評価作業に投じるコストの増大
また,評価にかかる時間,金銭,人的なコストの問題も指摘されている.事業の中には効果発現に要する時間や効果の範囲に予測困難性を伴うものが少なくないことから,どの程度の時間と作業量を投じるべきか評価作業の計画を立てにくいところがある.また、方法論が十分に確立されていなかったり、標準化がされていない場合には測定過程で試行錯誤が求められる。その結果,評価により多くのコストを投じることになる.しかし,本論文で最も指摘されていたのは,多様なステイクホルダーの参加に伴う合意形成と調整に投じた時間と労力等のコストの大きさである.また ,合意形成の調整を重ねた結果,効果の積算値がより大きくなるという点も留意すべきである.評価には,効果測定という社会科学の側面と合意形成や価値判断という政治的な側面の2側面があるが,特に後者が評価コストに大きな影響を与える可能性がある.
- 問われる定量評価の精度
また,効果測定に関する種々の議論は,評価が社会科学の学問領域に登場した50年以上前から続くものである.例えば,効果を表す適切な指標の選定やデザイン方法,選定された指標の包括性や非重複性,さらにはすり替えなどの悪影響がないことを確認した上で,どう妥当性や信頼性を担保するのかという点である.そして,データの収集や分析方法においても一定の精度を担保できていなければ,評価結果の信頼性を得ることができない.また,定性情報は事業の背景情報のみならず,効果発現有無の原因や理由を定量情報よりもより明確に説明することがある.定量分析に加え,定性的な分析方法の開発も肝要である.
また,ロジックモデルは、官民にかかわらず評価の常識用語となりつつある.ロジックモデルとは、事業を実施したことによって、対象者や社会に及ぼすと期待されるシナリオを可視化したものである.しかし,あくまでもそれは予測である.予測可能性や合理性の点で限界がある.また,ロジックモデルと定量評価を同義のように説明することもあるが、これは誤りである.
- 真に投じた費用の効果なのか ～費用便益分析～
定量評価はその分かり易さから,推奨されており,その歴史は長い.中でも投じた費用と効果の関係を金銭換算して示す手法（費用便益分析やSocial Return On Investment）は、分かり易さという点では最もアピール力のある方法だろう。しかし、分かり易さに反して、実施のハードルは高い。例えば、政府が規制の影響予測を費用便益分析の手法で行うことが義務付けられたが、ほぼ実現できなかった。経済学、統計学の知識が求められることから、難易度が高すぎたことが主たる原因である。換言すれば、安易に定量評価や費用便益分析を実施することには大きな問題がある。
第1に,投資による効果を真に測定,説明しているのかという点である.投じられた資金と測定された効果の間に必ずしも因果関係を見出すことができないケースが散見される.因果関係を明らかにするためには,投じられた資金による事業の効果以外の要因を取り除かねばならない.また,当該事業による負の影響も効果から差し引く必要がある.これらの視点が欠落すると容易に過大な算出結果を生み出す可能性がある.そして,この問題が解決されないと,投資による当該事業の効果というよりも,社会に生じた変化一般をさして投資効果であると説明してしまう可能性がある.
また,比較可能性についても議論すべきだろう,事業を取り囲む環境や測定方法が異なるのであれば,例え,効果を金銭換算したとしても,互いに比較することは適当ではない.また,単価設定の方法など,金銭換算の方法も整備不足であるとすれば比較が困難になる.
昨今の動向に鑑みれば評価はますます活発になるだろう.その際,留意したい点がある.一般に,評価は価値判断や資源再配分を伴うことがあり,そのためにある種の力の関係や構造を生むことがある.しかし,だからこそ,評価測定の方法や金銭換算の過程を公開することが求められる.そして,評価の手続きや過程を説明し,透明性を担保することは,評価全般に求められるインテグリティの課題でもある[1].
[1] 誠実性,正直,一貫性という意味で用いられる言葉で,研究,ビジネスに限らず社会生活一般に用いられる言葉である.