1. 評価判断のシュミレーション
英国大学質保証機構（QAA)の研修も後半に入った。評価書の分析、議論、大学関係者との面接をふまえ、評価チームで最終判断の仕方を学んでゆくのだ。
判断は、「基準を満たさず改善が求められる」「マイナーな改善を求められる」「すでに大学は改善に努めているが経過観察が必要」「優れた点」「その他、気づいたこと」の5種類である。
判断方法は、QAAが作成した、参照基準（学位授与、教育方法、ガバナンス等）と照合するが、必ずエビデンスに基づいて判断することが説明された。だが、どのようなデータをどのように分析するかの詳細は説明されなかった。
グループワークを観察していたが、議論の内容について容易についてゆけない。やはり英語力の問題かなと思ったが、どうも聞きなれないことばかり出てくる。もしやと思い、尋ねたところ、研修の始まる2週間前に渡された分厚い資料（架空大学の自己評価書）を熟読してきたことを前提に議論されていたのだ（オブザーブ参加とはいえ、私も事前に教えてよ！と思ったが、議論の後でグループメンバーが補足してくれた。）
メンバーは、おのおの自己評価書からみつけた課題などを順番に説明しはじめた。パートタイムの学生がフルタイムの学生ほど十分に情報提供を受けていない、四半期に1回の自己点検が全学的に行われていないなどの問題が指摘されてゆく。
グループのリーダーは、QAAの評価に何度も参加したことのあるベテランが担っているが、彼女は、メンバーが指摘したことが、QAAのどの参照基準にかかわるものなのか、それは具体的なエビデンスを伴うものなのかを丁寧に確認していた。ただ、意見を確認しあうことにとどまり、さほど分析的ではない印象は否めなかった。
2. 評価書の記し方のシュミレーション
引き続き、評価書の記し方のシュミレーションが行われる。まず、メンバーで話し合った内容を模造紙に書き出す。驚いたことに、4グループが指摘している問題点やグットプラクティスの内容が、結構、異なることだった。
ランチの時に、４つのグループが出している評価結果が異なるけれど？と尋ねてみたが、博士課程の学生の評価者は「そうなんだよね」とうなずいていたが、ベテラン評価者は「後で調整されるから」とあまり気にしていないようだった。
そして、先ほどのメモをもとに、どの部分をメンバーが記すのかを決める。そして、レポート（narrative report）を記し始めるのだ。チームリーダーは、これらのレポートを集め、所定のフォーマットに基づき、これらを編集して、評価書をまとめることになる。
この道、10年、20年のベテラン評価者の先生に尋ねてみた。評価書の編集作業にはかなりの労力が必要ではないかと。答はYESであった。そもそも、大学評価を引き受ければ、半年以上拘束されることになる。大学の自己評価書を分析し、評価チームミーティングを複数行う。大学への訪問調査は長いもので5日間になるが、その間、休講しなければならない。そのせいか、評価者に選ばれた人々は、シニア教員が目立っていた。
また、評価者には学生が参加しているが、彼らも担当分野についてレポートを提出することになる。彼らの記した文章は使い物になるのか、尋ねてみた。すると、博士課程くらいの学生の文章なら大丈夫なのですが、それ以下の学生となると難のある文章があるので、ここはリーダーの方で編集してしまうという。「プレゼンテーションは立派にできても、文章となると書けない学生もいますからね」と答えていた。ちなみに、添削をして学生に返却することはしないそうだ。
3. 少し見えてきた可能性と限界
（1）評価者の経験に依存すること
今回、オブザーブしたのは、QAAが実施する認証評価である。これは、ピアレビューを基本としたもので、大学自ら定めた最低限の基準（教育と大学運営）を満たしていることを確かめることに主眼が置かれている。教育や研究の水準や相対評価はここでは行っていないのだ。また、今回の研修は、受講者の学習成果に重点を置いているという点で、よく練られているものだった。特に、QAA職員が作成したという「大学評価事例」は秀逸だ。
その一方で、データの集め方や分析の仕方、評価の判断の仕方（目的達成度をみているのか、基準を満たしているのかをみているのか、その際アウトプットをみるのか、アウトカムをみるのか等）については、あまり詳細に教えず、議論に任せているところが大きい。そのために、評価者の経験に依存することが多くならないか。換言すれば客観性をどう担保するのかということだ。前述のように同じ事例であっても、グループによって判断が分かれている点をどう分析するのか疑問が残ったが、その点に、核心部分があるのではないのか。
（2）複数種類の評価が必要
また、今回の評価の他にも別種類の評価が行われている。たとえば、研究については、Research Assessment Excersice(RAE)という別種類の評価が行われており、ここでは統計手法などを用いたより専門的な分析が行われている。また、監査（業務や会計のinspection）も別に行われている。つまり、大学という多様な側面を持つ機関の評価には、複数種類の評価をもって対応しているということだろう。これを受けなければならない大学の負担は大きいはずで、不満の声はあるという。それでも、日本のように、国立大学法人評価と認証評価の2種類の評価が行われ、しかもその内容に重複する部分があるという点は、なさそうで、各種評価の間の役割分担は整理されているようだった。
ちなみに、いずれの評価もファンディングとつながっており、評価結果は、大学への補助金供与機関（HEFCE）の判断に大きな影響力をもっている。
4. 日本への教訓、適用できる点
現在、日本でも評価者向け研修プログラムを開発しているが、今回の研修は大いに参考になったが、以下のような点だ。
① 複数種類の評価と明確な役割分担
大学という複数の機能をもち、かつ多様（教育と研究、専攻分野や構成員）な機関に対して、1種類の評価で対応することは不可能である。すなわち、複数種類の評価を行うことが必要だが、その際、明確な役割分担が必須である。さもなければ大学ばかりでなく、評価側にも相当な負担と浪費を強いることになる。
ちなみに、下村大臣は、日本の10大学をトップ100入りさせると述べている。しかし、これが何のランキングを意味しているのか、さらにそのランキングが大学の研究に関するものなのか、教育に関するものなのか、どの分野の教育なのかによって、全く意味が異なることになる。評価には複数種類あり、おのおのに特徴と限界があることをよく理解する必要がある。
③ 参照基準の刷新
評価は評価基準（大学の目的、教育の内容など）に基づいて行われるが、QAAは、さらにその基準を満たすために必要な条件や状態について記した参照基準を発表した。評価もこれに基づいて行われている。ただ、その内容が抽象的で、具体的なイメージが湧きにくい。実際、研修参加者もこの点を指摘しており、より具体的な説明（たとえば、具体例）が求められていることがわかった。
日本の大学評価・学位授与機構でも、大学関係者向けに「教育の内部質保証のための参照文書」（案）を発表しているが、QAA同様、抽象的な記述にとどまっているため、より具体的な説明や事例を付記してゆくことが求められるだろう。
③ ”書き方の研修”から”考え方の研修へ”
日本での評価者研修は、QAAほど時間が取れないこともあり、半日もしくは終日枠で研修が行われている。そのためか、評価基準と評価書の記し方に関する情報の伝達が主たる内容になっている。
しかし、”考え方”を議論し共有する要素をより多くすべきであろう。その方が、参加者のモチベーションや関心も高まるのではないかと思われる（特に、知的な人々を対象とする場合には重要だ）。”考え方の研修”の場合には、双方向型のプログラムが中心になるので、講義時間の構成、事例の作成、ファシリテーターの育成など、大きくその内容を刷新する必要がある。
④ 研修は”内部質保証”から
現在、日本で開発している研修プログラムは、外部評価者というよりも、まず大学内で評価に従事する人々を対象に作成している。今回のQAA研修に参加して、そのアプローチは誤りでなかったことを確認できた。
外部評価者を対象とした場合、彼らはすでにシニアの教員であり、各分野の専門家である。その人々を対象に理論や技法を教えることはかなり難しいだろう。QAAが、理論ベースの研修を行わない理由はそこにあるかもしれない。
他方で、大学内の評価従事者の場合は、専門職として発展する可能性があり、研修や教育のポテンシャルはより大きなもののようにみえる。その場合には、より体系だった研修プログラムに仕立てることが必要で、また、その方がより魅力的になるだろう。