標準設定（standard setting） — 合否ラインはどう正当に決めるか

標準設定の本質

テスト得点は本来連続的ですが、資格認定や習熟段階の判定には『合格／不合格』『基礎／応用／発展』といった離散的な区分が必要です。標準設定は、この区分の境界（カットスコア）を尺度上のどこに置くかを決める手続きです。境界は自然界に存在するものではなく、専門家集団が『この水準に達した者をどう扱うべきか』という規範的判断に基づいて構成します。出発点となるのが、各習熟段階に達した者ができることを言語化した習熟段階記述（performance level descriptors）です。

したがって標準設定には客観的な正解はなく、手続きの妥当性（defensibility）が問われます。誰が・どんな根拠で・どの手順で境界を決めたかを文書化し、再現性と合理性を示すことが、カットスコアの正当化の核心です。Kaneの妥当性論を標準設定に適用すれば、手続きの妥当性（procedural validity）・内的妥当性（一貫性・再現性）・外的妥当性（他の基準との整合）という観点から証拠を集めることになります。

代表的な標準設定法

標準設定法は大きくテスト中心法と受験者中心法に分けられます。テスト中心法は項目を手がかりに判断し、受験者中心法は受験者のパフォーマンスや実例を手がかりに判断します。どの手法を選ぶかは、テスト形式（多肢選択か論述か）、利用可能なデータ、専門家パネルの性質に依存します。

主要手法の特徴

代表的な手法には、それぞれ前提とデータ要件があります。手法によって専門家に求める判断の種類が異なります。

• Angoff法：専門家が『境界的に合格すべき受験者』が各項目に正答する確率を推定し、合計してカットスコアとする。
• Bookmark法：項目を困難度順（IRT尺度）に並べた冊子で、習熟の境界に当たる位置に栞を置く。IRTと親和的。
• 境界群法・対比群法：実際の受験者を境界的・明確に習熟／非習熟に分類し、得点分布からカットを導く。
• Body of Work法：論述などのパフォーマンス作品群を専門家が習熟段階に分類し、境界得点を定める。

標準設定の手続きと妥当性

標準設定は通常、代表性のある専門家パネルを招集し、習熟段階の記述を共有し、複数ラウンドで判断とフィードバック（他者の判断・パネル内のばらつき・影響データの提示）を重ねて収束させます。パネル内の一致度、ラウンド間の収束、外部基準との整合などが、手続きの妥当性を支える証拠となります。パネルの代表性（専門性・経験・背景の多様性）は、結果の正当性に直結します。

重要なのは、影響データ（あるカットでの合格率など）をパネルに示すタイミングと程度です。早すぎる提示は判断を歪め（合格率を見て基準を後付けで調整する）、提示しないと現実離れした基準になりうるため、手続き設計上の繊細な論点となります。また、標準設定の妥当化のために、設定後にパネリストへ手続きの納得度を調査することも、手続き的妥当性の証拠として用いられます。

エビデンスの現在地（確実性: 中程度）

標準設定の主要手法（Angoff法・Bookmark法など）は専門学会のガイドラインに整理され、資格試験や大規模学力調査で広く実用化されています。手続きの枠組み自体は確立しており、その点の合意は強いといえます。一方、同じテストでも手法によってカットスコアが異なりうること、パネル構成や提示情報が結果に影響することが知られており、『真のカットスコア』が存在しない以上、結果の絶対的正しさを実証することはできません。したがって確実性は中程度であり、結果の正しさではなく手続きの妥当性で正当化するのが現実的です。

論点と限界

第一の限界は、手法依存性です。Angoff法とBookmark法で異なるカットスコアが得られることは珍しくなく、どの手法が『正しい』かを決める外的基準がありません。手法選択そのものが結果を左右するという事実は、標準設定の構成的（社会的に構成される）性格を浮き彫りにします。第二に、パネルの判断の安定性です。専門家でも項目困難度の推定は不正確になりがちで、特にAngoff法では境界的受験者の正答確率を見積もる課題の難しさが指摘されています。

第三に、規範性の問題です。標準設定は最終的に『どの水準を合格とすべきか』という価値判断であり、技術で代替できません。利害関係者の構成、政治的・政策的圧力、合格率や社会的影響への配慮などが結果に影響しうるため、透明性とガバナンスが妥当性の不可欠な要素となります。測定の標準誤差を踏まえると、カットスコア付近の受験者の分類には不可避の誤分類リスクが伴う点も、限界として認識すべきです。

現場・臨床応用

現場で『どこから合格・到達とみなすか』を決める場面は、規模を問わず標準設定の縮図です。基準を恣意的に決めず、達成水準を具体的な行動記述で言語化し、複数の指導者で判断をすり合わせることが、評価の公平性と一貫性を高めます。『この水準に達した人は何ができるか』を先に言語化することが、合理的な基準設定の出発点です。

健康・運動指導で到達目標の達成判定を行う際も、境界を一人の主観で断定せず、明確な達成基準と複数の観察に基づくことが重要です。とりわけ健康に関わる判定では、カットスコアの設定が断定的な能力評価や安全判断に直結しないよう、誤分類のリスク（測定の標準誤差）を踏まえた慎重な運用が求められます。境界付近の人を機械的に振り分けるのではなく、追加の情報や観察で判断を補強する姿勢が、責任ある実践につながります。

主要な参考文献・ガイドライン

本記事は、以下の学会ガイドライン・ポジションステートメント・標準的な専門書などの公開情報に基づいて整理しています。具体的な数値や適用は原典・最新版をご確認ください。

• AERA・APA・NCME『Standards for Educational and Psychological Testing』（カットスコア設定）
• 標準設定法に関する教育測定の標準的ハンドブック
• OECD『PISA Technical Report』（習熟段階の設定）
• 資格試験のカットスコア設定に関する専門ガイドライン

よくある質問

関連記事・関連する学問