1. 「とと姉ちゃん」と商品テスト
NHK朝の連続ＴＶ小説「とと姉ちゃん」が連日高視聴率をマークしている。8月後半に入り、時代は高度成長期にさしかかり、人々が高価な電気製品をこぞって購入し始め、消費者のための商品テストが大きなテーマになった。戦後の貧しい生活の中、懸命に生きる女性たちの役に立つ雑誌を作ろうと創刊されたのが『暮らしの手帖（ドラマでは「あなたの暮らし」』である。編集長の花山は、「商品テストこそ、この雑誌の使命を体現するものだ」と言い切る。
8月20日に放送された第120話では、今後、商品テストを実行すべきかしないのか、実行するのであれば何に留意しなければならないのかを編集会議で議論する場面があった。花山の説明をきいて、はっとさせられた。私が仕事としている評価（政策評、大学、ＮＰＯ等の評価）において、評価の基本だけでなく、日頃犯しがちな過ちをずばりと突く内容がしっかりと語られていたからだ。
2. 編集長花山が語る商品テストの課題
花山は語る。洗濯機の判定基準とは何か。洗濯機に付属するタイマーの正確さや汚れの落ち具合の２つの基準で評価したとする。ある洗濯機はタイマーはより正確だが汚れはさほど落ちない。他方の洗濯機はタイマーは正確ではないが、汚れは落ちる。評価結果の平均をとれば同点だ。だが、消費者にとってより重要なのは汚れの落ち具合だ。評価は単に平均点で示すのではなく、何がよくて、何に問題があるのかを伝えるのが本質である。
次に、花山は社員に「体重計を試験するのに何を基準にする？」と尋ねる。社員は「正確に重さを表示できること」と答える。すると、花山は「多くの家庭では体重計は風呂場に置かれている。そうであれば、湿気でどれだけ錆びてしまうのかという耐久性の視点も必要だ」と答える。そして、評価者は試験対象に関する知見のみならず、広く社会に向けた視点や理解を持ち合わせていることが求められると述べている。
そして、花山は、次のように述べる。人々は、一生涯でも数少ない、高価な買い物をする（電化製品）。その人々に信頼できる商品は何であるのかを伝えるという責任の重い仕事を担おうとしているのだと。編集会議の場では語られていないが、花山は、雑誌に企業広告を掲載することに強く反対している。商品テストの途中で、商品試験会社がスポンサー企業への配慮から商品名を掲載しないでほしいという懇願があり、結果的に商品名を出せなくなってしまうというストーリーもあった。以来、花山は企業との接点のあり方、雑誌の独立性について厳しく対応している。
3. わかりやすく伝える評価の基本
花山の語りは、私たちの日常生活に密着した商品のテストを通して、評価に臨む際、欠かすことのできない基本事項をわかりやすく伝えている。
洗濯機の説明は、評価結果の表現方法にかかる事項だ。評価結果をわかりやすくするために点数化することが多く、また求められることも多い。また、点数を単純に並べて、順位づけやレイティングをすることもある。だが、単純化するあまり、評価の対象をよく表さないこともある。例えば、世界大学ランキングに不満の声が聞こえるのは大学の一側面だけを評価して（英語論文の多さ等）、順位をつけているからである。花山の洗濯機の説明は、安易な点数化の落とし穴を端的に指摘している。
体重計の説明は評価基準の設定方法に関するものである。秤の正確性に加え、錆への耐久性の視点が必要だと指摘していうる。これは、評価が誰のための、何を目的とした評価であるのかに立ち返り、そこに忠実に評価基準を設定すべきだということを伝えている。
そして、このことを再度、確認するように、花山は、「ここでの商品テストの目的は消費者のためになることである」を語る。つまり、評価を実施する際、まず最初にすべきは、評価の目的とその結果を利用するのが誰であるのかを明確にすることである（仮にこれがメーカーのための商品テストであれば、異なる基準や結果、表現になっていたはずだ）。そして、花山は、企業からの独立性や中立性の重要性を強調している。評価者は、特定の利害や事情によって評価結果をゆがめてはいけないし、また、その基準やプロセスは透明でフェアであることが求められるからだ。これは評価に関わる者の倫理を語っている。日本ではさほど議論されていないが、その広がりに鑑みれば、評価者倫理は今後重要になる課題である。
そして、常子が「読者は決して豊かでない財布から160円を出して、商品テストの結果を掲載した雑誌を買ってくれる。その人々の期待と信頼に応えなければならないと」述べている。常子の言葉は、評価は人々のニーズに見合い、信頼できるものでなければならないが、同時に”売れる”ものであり、ビジネスになりうることを示唆している。
最後に、一つだけ、花山の意見と異なる点がある。評価者の条件だ。花山は評価者の条件として、商品に知見があり、社会生活において深い理解があることを挙げている。高潔性という点もしかりだ。花山のこの指摘は全く正しい。だが、この指摘は一部の特殊な能力を持った者しか評価ができないというように捉えることもできる。それは、評価が一部の者の占有物になったり不透明になる危険性を孕んでいる。だが、評価はサイエンスでもあり、再現性、つまり誰が評価をしても同じような結果が導かれるという点も重視されねばならない。そのためにも評価の方法論や技術を向上させ、標準化する努力も欠かすことができない。