標準設定 — 合否基準点を正当化する手続き

標準設定の位置づけ

テストの得点が信頼でき妥当であっても、その得点のどこに合否や習熟段階の境界を引くかは別の問題である。標準設定（standard setting）は、合格・不合格や初級・中級・上級といったパフォーマンス水準を分ける基準点を、根拠ある手続きで定める営みである。重要なのは、基準点は統計分析から機械的に導出されるものではなく、『この水準に達した者は何ができるべきか』という規範的判断を含む、専門的かつ政策的な決定だという点である。同じテスト得点でも、どの水準を合格とみなすかは社会的要請や安全性の要求によって変わりうる。

それゆえ標準設定では、判断の恣意性を抑え、決定を正当化できるように手続きを構造化することが核心となる。専門家パネルの選定、評価対象とする最低限の合格者像（境界受験者）の定義、判断を集約する手順、複数ラウンドでの合意形成といった要素を明示的に設計し、その全過程を文書化する。基準点は『発見される真値』ではなく『正当な手続きで構築される決定』であるという認識が前提となる。この認識の下では、手続きの透明性と再現性こそが基準点の正当性を支える根拠となる。

手法の二大類型

標準設定の手法は、判断の対象を項目に置くか受験者に置くかで大別される。

• テスト中心法：項目を対象に、境界受験者の正答確率などを判断する（アンゴフ法・ブックマーク法）。
• 受験者中心法：受験者を対象に、合格相当か否かを判断する（境界群法・対比群法）。
• いずれも複数ラウンドの討議とフィードバックで判断を集約する。

代表的手法

アンゴフ法はテスト中心法の代表で、専門家が各項目について『かろうじて合格に値する境界受験者が正答する確率』を見積もり、その合計を基準点とする。判断の一貫性を高めるため、複数ラウンドで他者の見積もりや実際の正答率データを共有し、判断を更新する手順がしばしば併用される。ブックマーク法は、項目を困難度順に並べた冊子を用い、境界受験者がそこまでは習得していると見なせる位置に『しおり』を置くことで基準点を定める方法で、項目反応理論と組み合わせて用いられることが多く、近年広く採用されている。

受験者中心法では、境界群法が、専門家が境界的と判断した受験者群の得点分布から基準点を導く。対比群法は、明確に合格相当・不合格相当と判断された二群の得点分布が交わる点などを基準とする。論述やパフォーマンス評価では、実際の答案を水準別に分類するボディ・オブ・ワーク法のような手法も用いられる。いずれの手法でも、境界受験者像の共有、データに基づくフィードバック、複数ラウンドの合意形成が判断の質を左右する共通要素となる。

妥当性証拠と手続きの質

標準設定の結果である基準点は、その妥当性を証拠によって裏づける必要がある。妥当性証拠は通常、手続き的証拠、内的証拠、外的証拠の三種に整理される。手続き的証拠は、適切な専門家パネルの選定、十分な訓練、明確な手順の遵守、パネリストの手続きへの納得度などを記録したものである。内的証拠は、パネリスト内・パネリスト間の判断の一貫性や、ラウンドを経た判断の収束の程度を示す。

外的証拠は、設定された基準点を独立した情報と照合するもので、他の標準設定法での結果との一致、外部基準（既存の合格判定や実務成績など）との整合、複数の基準点が論理的に矛盾しない順序関係にあるかなどを検討する。これらの証拠を組み合わせることで、基準点が恣意的でなく根拠ある決定であることを論証する。逆にいえば、どれだけ精緻な手法を用いても、これらの妥当性証拠の収集と文書化を欠けば、基準点の正当性は説明できない。

エビデンスの現在地

標準設定の主要手法（アンゴフ法、ブックマーク法、境界群法など）の手続きは体系化されており、手続きを適切に実施すれば再現性のある基準点が得られることは広く確立しており確実性は強い。基準点が統計から自動導出されない規範的決定であるという認識も共有されている。一方、同一テストでも手法やパネル構成が変われば基準点が異なりうることが知られており、どの手法が『正しい』基準点を与えるかについては唯一の答えがなく、その意味で確実性は限定的である。手法間の差をどう評価し調整するかは、実務上の継続的な課題である。

また、複数ラウンドで実データ（項目の実際の正答率や、暫定基準点での合格率の影響）をフィードバックすると、パネリスト間の判断が収束しやすくなることも広く確認されている。手続き的・内的・外的の三種の妥当性証拠を組み合わせて基準点を裏づけるという枠組みも標準化されており、基準点の正当性を説明する作法として定着している。ただし、これらは基準点の妥当性を高めるが、唯一の正解を保証するものではない。

論点と限界

標準設定の本質的限界は、基準点が手法・パネル・実施条件に依存し、唯一絶対の正解が存在しない点にある。アンゴフ法では境界受験者の正答確率を見積もる認知的負荷が高く、専門家でも判断が安定しにくいことが指摘されている。パネルの構成や、討議における社会的影響（声の大きい参加者への同調など）が結論を左右する可能性もある。したがって、得られた基準点を絶対的真実とみなさず、手続きの透明性と妥当性証拠によって正当化する姿勢が不可欠であり、必要に応じて基準点を見直す体制を保つことが望ましい。

さらに、基準点の高低は合格率を通じて社会的・経済的影響を直接もたらすため、純粋に測定論的な判断と、政策的・規範的な価値判断が不可分に絡む。同じテストでも、安全性を重視すれば基準は高く、機会の確保を重視すれば低く設定されうる。この価値依存性は標準設定の本質であり、技術的手続きの精緻化だけでは解消できない。したがって、基準点設定の背後にある価値前提を明示し、関係者間で合意することが、手続きの透明性と並んで重要となる。

現場・臨床応用

資格・免許試験や習熟度判定では、合否基準点の設定根拠を標準設定の手続きで明示することが、決定の公正さと説明責任の基盤となる。実務では、適切な専門家パネルの選定、境界受験者像の共有、複数ラウンドの合意形成、実データのフィードバックを組み込み、全過程を文書化する。基準点の影響が個人に重大な場合ほど、手続き的・内的・外的妥当性証拠を整え、必要に応じて基準点を見直す体制を保つことが原則となる。医療や安全に関わる資格では、不合格の見逃しが社会的損失となるため、基準点の設定に公衆衛生的観点を反映させる判断も求められる。

医療・安全に関わる資格では、能力不足者を合格させる見逃しの社会的損失が大きいため、基準点設定に公衆衛生的・安全工学的観点を反映させる判断が求められる。実務では、適切な専門家パネルを構成し、境界受験者像を共有し、複数ラウンドで実データを参照しながら合意を形成し、全過程を文書化する。基準点が個人の進路や資格に重大な帰結をもたらす場合ほど、定期的な見直しと、決定の根拠を説明できる記録の保持が不可欠となる。

主要な参考文献・ガイドライン

本記事は、以下の学会ガイドライン・ポジションステートメント・標準的な専門書などの公開情報に基づいて整理しています。具体的な数値や適用は原典・最新版をご確認ください。

• Cizek and Bunch, Standard Setting（標準教科書）
• Educational Measurement（Brennan 編、標準設定の章）
• American Educational Research Association ほか（Standards for Educational and Psychological Testing、カットスコアに関する節）
• National Council on Measurement in Education（標準設定に関する解説資料）

よくある質問

関連記事・関連する学問