評定者効果とパフォーマンス評価 — 採点由来の誤差の制御

評定者効果の類型

選択式項目と異なり、論述・実技・ポートフォリオなどのパフォーマンス評価では、採点する人間が得点に系統的な影響を与える。代表的な評定者効果には、全般に甘く採点する寛大傾向と辛く採点する厳格傾向、極端な評価を避けて中央付近に集める中心化傾向、ある観点の印象が他の観点の評価に波及するハロー効果、評価基準が時間とともにずれる基準ドリフトなどがある。これらは構成概念に無関係な分散を生み、受験者本来の能力とは別の要因で得点を変動させる。

評定者効果が問題となるのは、受験者の得点がどの採点者に当たったかに依存して変わるためである。これは測定の公平性を直接損なう。たとえば厳しい採点者に当たった受験者が、同じ答案でも甘い採点者に当たった受験者より低く評価されれば、得点は能力ではなく運に左右されることになる。したがってパフォーマンス評価の質保証は、課題の設計と同等に、採点プロセスにおける評定者誤差の統制を要する。誤差を完全に排除することはできないため、低減と推定・調整の双方が課題となる。

誤差低減の方策

評定者誤差を抑えるため、採点設計に複数の標準的方策が組み込まれる。

• 明確なルーブリックと採点基準の文書化による判断のばらつき抑制。
• 評定者訓練とアンカー答案（基準見本）による基準の共有。
• 複数評定者の併用と不一致時の調整手続き。

評定者間信頼性と多相モデル

評定者間の一致の程度は評定者間信頼性として評価される。単純一致率やコーエンのカッパは評定の一致そのものを、級内相関係数は順位づけの一貫性を捉え、両者は別の側面を測る。たとえば全採点者が一律に甘くても順位が一致すれば相関は高いが絶対水準の一致は低い。目的が絶対評価か相対評価かによって、重視すべき指標が変わる。一致率は偶然の一致を含むため、偶然を補正したカッパなどが用いられる。

より進んだ枠組みとして、多相ラッシュモデル（many-facet Rasch measurement）がある。これは項目反応理論を拡張し、受験者の能力、課題の難易度、評定者の厳しさ、評価観点といった複数のファセットを同一尺度上で同時に推定する。これにより、各評定者の厳しさを定量化し、得点をその厳しさの影響を補正した形に調整できる。評定者誤差を事後的に統計的に補償する手段として、ハイステークスなパフォーマンス評価で活用される。さらに、各評定者の採点が一貫しているか（適合度）を点検し、一貫性を欠く評定者を特定する機能ももつ。

ルーブリック設計と評定者訓練

評定者誤差を抑える最も基本的な手立ては、採点の基準を明確化するルーブリックの設計である。ルーブリックは、評価する観点（次元）と各観点の到達水準を記述語で定義する。観点を能力構成に即して適切に分け、各水準の記述を具体的で識別可能なものにすることで、採点者間の解釈のばらつきを減らせる。分析的ルーブリック（観点ごとに採点）と全体的ルーブリック（総合的に一つの点をつける）には一長一短があり、診断的フィードバックには前者、効率には後者が向く。

ルーブリックは作るだけでは機能せず、評定者訓練と組み合わせて初めて効果を発揮する。訓練では、各水準を代表するアンカー答案（基準見本）を用いて採点者の基準を擦り合わせ、試行採点の結果を共有して解釈のずれを修正する。採点期間が長い場合は、基準ドリフトを防ぐため途中で基準を再確認する。こうした基準の共有と維持の取り組みが、ルーブリックの記述語だけでは埋めきれない判断のばらつきを抑え、評定者間信頼性を底上げする。

エビデンスの現在地

評定者効果が存在し得点に系統的影響を与えること、ルーブリック・評定者訓練・複数評定が誤差を低減すること、多相ラッシュモデルが評定者の厳しさを分離・補正できることは、測定研究で確立しており確実性は強い。一方で、訓練や調整がどの程度効果を上げるかは、課題の性質、ルーブリックの質、評定者の専門性に依存し、実装条件によって結果が異なるため、効果量の一般化には慎重さを要する。とりわけ、訓練が評定者の厳しさのばらつきを減らしても、評定者内の一貫性までは十分に高まらない場合があることが知られている。

また、複数評定者の併用と、不一致時の第三者評定や調整が、評定者由来の誤差を実務的に許容範囲へ抑えることも広く確認されている。多相ラッシュモデルは評定者の厳しさや一貫性の欠如を定量化し、得点を補正できる点で有用だが、その補正はモデルの仮定が成り立つ範囲で有効である。評定者効果の構造（どの効果が支配的か）は課題や評価領域によって異なるため、効果量の一般化には慎重さが求められる。

論点と限界

評定者誤差は訓練や統計的調整で軽減できても完全には除去できず、人間の判断に内在する変動が残る。多相ラッシュモデルによる補正は、モデルの仮定（評定者の厳しさが安定しているなど）が成り立つことを前提とし、基準ドリフトのような時間変動には対応が難しい。ルーブリックの精緻化は判断のばらつきを抑える一方、評価者の専門的判断の余地を狭めすぎると、複雑な能力の評価に必要な総合的判断を損なう懸念もある。自動採点の導入は評定者誤差を回避しうるが、採点根拠の妥当性と公平性という別の課題を生む。

さらに、統計的補正は評定者の厳しさの違いを調整できても、評定者内の一貫性の欠如（同じ答案を時により異なって評価する不安定さ）までは十分に補えない。基準ドリフトのような時間変動への対応も難しい。ルーブリックの過度な精緻化は判断のばらつきを抑える一方、複雑な能力評価に必要な専門的・総合的判断の余地を狭めうる。自動採点は評定者誤差を回避しうるが、採点根拠の妥当性と公平性という別種の課題を新たに生む。

現場・臨床応用

論述試験、実技試験、臨床能力評価（客観的臨床能力試験など）では、評定者誤差の統制が公平性の要となる。実務では、ルーブリックの整備、評定者訓練とアンカー答案の共有、複数評定者の併用と不一致調整を組み込み、評定者間信頼性を継続的に監視する。ハイステークスな評価では多相ラッシュモデルなどで評定者の厳しさを補正することも検討される。得点が採点者由来の誤差を含む推定値であることを踏まえ、重要な決定では採点の質保証を欠かさないことが原則となり、合否が分かれる答案ほど複数評定や再採点で慎重に扱うことが望ましい。

客観的臨床能力試験や論述・実技試験では、ルーブリックの整備、アンカー答案を用いた評定者訓練、複数評定と不一致調整を組み合わせ、評定者間信頼性を継続的に監視する運用が標準となる。ハイステークスな評価では、多相ラッシュモデルで評定者の厳しさを補正し、一貫性を欠く評定者を特定する取り組みも検討される。得点が採点者由来の誤差を含む推定値である以上、合否が分かれる答案ほど複数評定や再採点で慎重に扱うことが望ましい。

主要な参考文献・ガイドライン

本記事は、以下の学会ガイドライン・ポジションステートメント・標準的な専門書などの公開情報に基づいて整理しています。具体的な数値や適用は原典・最新版をご確認ください。

• Linacre, Many-Facet Rasch Measurement（多相ラッシュモデルの標準文献）
• Educational Measurement（Brennan 編、パフォーマンス評価の章）
• American Educational Research Association ほか（Standards for Educational and Psychological Testing）
• National Council on Measurement in Education（採点とルーブリックに関する解説資料）

よくある質問

関連記事・関連する学問