妥当性理論 — 「正しく測れているか」をどう正当化するか

妥当性概念の歴史的変遷

20世紀半ばまで、妥当性は『テストが測ろうとするものを測っているか』という素朴な定義のもと、内容妥当性・基準関連妥当性（予測的・併存的）・構成概念妥当性という独立した種類に分類されていました。この三分類は実務上有用でしたが、概念的には断片的で、どの妥当性をどれだけ示せば十分かが曖昧でした。とくに基準関連妥当性は、外的基準（criterion）自体の妥当性が問われないという循環の問題を抱えていました。

CronbachとMeehlによる構成概念妥当性の理論化、そしてMessickの統合的妥当性論を経て、妥当性は『構成概念妥当性』を中核とする一元的概念へと再構築されました。内容や基準関連の証拠は独立した妥当性の種類ではなく、構成概念妥当性を支える証拠の一側面として位置づけ直されたのです。この転換は、妥当性を『テストの属性』から『解釈の正当化』へと捉え直す認識論的な変化を伴いました。妥当性は一度確立すれば終わるものではなく、利用文脈ごとに再検討を要する程度問題として理解されるようになりました。

構成概念無関連分散と構成概念過小代表

妥当性を脅かす二大要因として、Messickは構成概念無関連分散（測りたい構成概念と無関係な要素が得点に混入すること）と構成概念過小代表（構成概念の重要な側面が測られていないこと）を挙げました。両者はそれぞれ、得点を過大にも過小にも歪めうる点で対称的です。

• 構成概念無関連分散の例：読解力テストで問われる背景知識、過度な時間制限による速度要因、不必要に複雑な指示文。
• 構成概念過小代表の例：『科学的思考』を多肢選択のみで測り、実験計画や考察の能力を測り損ねること。
• 両者の制御が、項目設計と採点設計における妥当性確保の核心となる。
• テスト形式そのもの（紙か画面か、選択か記述か）も無関連分散の源になりうる。

解釈・利用論証による妥当化

Kaneらの提唱した解釈・利用論証（interpretation/use argument）は、得点から最終的な意思決定に至る推論連鎖を明示し、各段階の前提を支える証拠を体系的に集める枠組みです。採点（観察から得点へ）、一般化（得点から構成概念領域へ）、外挿（テスト状況から現実状況へ）、含意・決定（解釈から利用へ）という推論の各リンクが検討対象となります。各リンクには固有の前提があり、たとえば一般化のリンクは信頼性・一般化可能性の証拠で、外挿のリンクは現実場面との相関や認知過程の一致で支えられます。

この枠組みの利点は、妥当化を『どの証拠がどの推論を支えるか』という論証として構造化できる点にあります。弱いリンクを特定し、そこに証拠を集中させることで、効率的かつ反証可能な妥当化が可能になります。論証は累積的かつ反証可能であり、対抗仮説（rival hypothesis、たとえば『得点差は能力差ではなく形式への慣れの差ではないか』）を積極的に検討し棄却していくことで強化されます。これは妥当化を科学的探究として捉える立場の帰結です。

妥当性の五つの証拠源

現代のスタンダードでは、妥当性の証拠は内容に基づく証拠、内的構造に基づく証拠、他変数との関係に基づく証拠、反応過程に基づく証拠、テスト結果に基づく証拠の五側面から収集されます。これらは独立した妥当性の種類ではなく、単一の妥当性論証を多面的に支える証拠群です。内容に基づく証拠は専門家による領域代表性の判断、内的構造の証拠は因子分析や次元性の検討、他変数との関係は収束的・弁別的証拠（多特性多方法行列など）から得られます。

反応過程に基づく証拠は、受験者が項目に答える際に実際にどのような認知過程を用いているかを、発話思考法やアイトラッキング、ログ分析などで確認するものです。意図した思考過程ではなく暗記や当て推量で正答できる項目は、たとえ正答率が妥当に見えても構成概念を測っていません。結果に基づく証拠は、テスト利用がもたらす意図された／されない帰結を検討します。

エビデンスの現在地（確実性: 中程度）

妥当性を構成概念妥当性へ統合する枠組み、および解釈・利用論証に基づく妥当化の方法論は、専門学会のスタンダードに採用され、計量心理学の主流として広く受容されています。この点での専門的合意は強いといえます。一方で、結果的妥当性をどこまで妥当性概念に含めるかについては理論家の間で立場が分かれ、合意は限定的です。妥当化の各証拠源をどの程度集めれば『十分』かという基準も文脈依存で、確実性は中程度にとどまります。実務では証拠が部分的なまま運用されることも多く、理論的標準と現実の妥当化実践の間には依然として乖離があります。

論点と限界

最大の論点は結果的妥当性です。テスト利用の社会的帰結（例：選抜が機会格差を再生産する）を妥当性の範囲に含める立場と、それは妥当性とは別の倫理・政策問題だとする立場が対立しています。前者は妥当性概念の射程を広げすぎるとの批判を、後者は社会的影響を軽視しうるとの批判を受けます。Messick自身は結果を妥当性の不可分な側面とみなしましたが、後続の論者の間でも統一見解はありません。

また、妥当化は原理的に完結しません。妥当性は程度問題であり、新たな利用文脈や受験者集団ごとに再検証が必要です。実務では時間・資源の制約から証拠が不十分なまま運用される例も多く、理論的理想と現場運用の乖離が限界として残ります。さらに、妥当化論証が複雑化しすぎて実務家に使いこなせないという『使いやすさ』の問題も指摘されており、論証の精緻さと実用性のバランスが課題となっています。

現場・臨床応用

対人指導や教育現場で評価を設計する際、妥当性論の核心は『この観察から、本当に意図した能力を推論できるか』という問いに集約されます。実技評価で運の要素や評価者の主観が混入していないか（無関連分散）、目標とする能力の一部しか見ていないのではないか（過小代表）を点検することが、評価の質を高めます。対抗仮説を立てる習慣、すなわち『この結果は別の理由で説明できないか』を問う姿勢が、現場でも有効です。

とりわけ健康・身体領域では、評価結果を断定的な能力判定や予後判断に直結させず、推論の不確実性を前提とした形成的情報として扱うことが、妥当性と倫理の両面から求められます。たとえば動作の評価でも、その日のコンディションや測定条件という無関連要因が結果を左右しうることを意識し、一度の観察から能力を断定しない慎重さが、妥当な解釈につながります。

主要な参考文献・ガイドライン

本記事は、以下の学会ガイドライン・ポジションステートメント・標準的な専門書などの公開情報に基づいて整理しています。具体的な数値や適用は原典・最新版をご確認ください。

• AERA・APA・NCME『Standards for Educational and Psychological Testing』（妥当性の章）
• Educational Testing Service（ETS）公開の妥当性に関する技術資料
• National Council on Measurement in Education（NCME）用語・概念解説
• 計量心理学・教育測定の標準的大学院テキスト（validityの章）

よくある質問

関連記事・関連する学問