妥当性論 — 得点解釈と使用の正当性を構築する

妥当性概念の発展

妥当性概念は歴史的に変遷してきた。当初は内容妥当性、基準関連妥当性、構成概念妥当性が並立する三分類として理解されたが、現代の妥当性論はこれらを別個の妥当性ではなく、構成概念妥当性という単一の包括概念を支える証拠の異なる側面として統合的に捉える。クロンバックとミールによる構成概念妥当性の提唱、続くメシックの議論を経て、妥当性はテストではなく『得点の解釈と使用』に帰属し、証拠と理論的論拠によって正当化される統合的（unitary）概念へと収斂した。

この立場の核心は、『テストが妥当である』とは言えず、『この得点をこの目的でこう解釈し使用することが妥当である』としか言えないという点にある。同じテストでも、用途が変われば必要な妥当性証拠も変わる。たとえば学習到達度の把握に妥当な得点が、職務適性の予測にも妥当とは限らない。したがって妥当性の検討は、測定が支える具体的な解釈と決定を明示し、それを支持する証拠を体系的に集めて論証を組み立てる営みとなり、近年はこれを妥当性論証（validity argument）として明示的に構造化する方法も提案されている。

妥当性証拠の源泉

現行の測定基準は、妥当性証拠を収集源に応じて分類し、目的に応じて必要な証拠を統合することを求めている。

• 内容に基づく証拠：項目が測定対象の領域を適切に代表しているか。
• 内部構造に基づく証拠：項目間関係や因子構造が想定した構成と整合するか。
• 他変数との関係に基づく証拠：関連構成概念や外部基準との相関パターン。
• 反応過程に基づく証拠：受験者が想定した認知過程で解答しているか。

妥当性への脅威

妥当性を損なう主要な脅威は二つに整理される。一つは構成概念の過小代表で、測定が対象構成概念の重要な側面を取りこぼし、狭すぎる測定になる事態である。たとえば読解力を語彙問題だけで測れば、推論や統合といった重要側面を欠く。もう一つは構成概念に無関係な分散で、読解負荷、テスト不安、解答形式の癖、文化的になじみのない文脈など、測定したい能力とは別の要因が得点に系統的に混入する事態である。良いテスト設計は、この二つの脅威を同時に抑えることを目指す。

結果的（帰結的）妥当性は、テスト使用がもたらす社会的帰結を妥当性論に含めるべきかという論点を提起する。メシックはこれを妥当性の一側面として位置づけ、意図された正の帰結だけでなく意図せぬ負の帰結（特定集団の不利益や、テスト対策に偏った学習など）も検討対象とした。一方で、測定の質と政策的価値判断を区別すべきだとする立場もあり、現在も議論が続いている。いずれにせよ、テスト使用が意図せぬ不利益や偏りを生まないかの検討は、測定の社会的責任として重視される。

反応過程と認知的妥当性

妥当性証拠の中でも、反応過程に基づく証拠は近年とくに重視されている。これは、受験者が項目に解答する際に、設計者が想定した認知過程を実際にたどっているかを問うものである。たとえば数学的推論を測るはずの問題が、実際には公式の暗記や選択肢の消去法で解けてしまうなら、得点は意図した構成概念を反映していない。思考発話法（解答中に考えを言語化させる）や認知的インタビュー、解答時間やプロセスデータの分析を通じて、得点生成の背後にある認知的メカニズムを検証する。

この認知的妥当性の視座は、教育測定学を認知心理学・学習科学と接続させる。構成概念をどう定義するかは、その能力に関する認知モデルに依存し、項目がそのモデルのどの過程を喚起するかが妥当性の核心となる。コンピュータ化テストの普及により、解答プロセスの詳細なログが得られるようになり、反応過程の証拠を大規模に収集する可能性が広がった。一方で、こうしたプロセスデータをどう妥当に解釈し測定に組み込むかは、方法論的に発展途上の課題である。

エビデンスの現在地

妥当性を統合的概念とし、複数源の証拠を収集して得点解釈と使用を正当化するという枠組みは、主要な測定基準で標準として確立しており、確実性は強い。構成概念の過小代表と無関係分散という妥当性脅威の概念も広く共有されている。一方、結果的妥当性をどこまで妥当性論に含めるか、また妥当化の論証をどの程度形式化すべきか（妥当性論証アプローチなど）については、専門家の間でも立場が分かれ、確実性は中程度にとどまる論点である。反応過程やプロセスデータを用いた認知的妥当性の検証は有望だが、実装と解釈の標準化は途上である。

また、内容・内部構造・他変数との関係という古典的な証拠源については、収集手法（専門家評定、確認的因子分析、収束的・弁別的相関の検討など）が整備され、実務での適用は安定している。これらを束ねて妥当性論証として提示する方法論も発展しているが、どの証拠をどれだけ集めれば十分かという判断基準は、用途と帰結の重大さに応じて変わるため、画一的な閾値は設けられていない。

論点と限界

妥当性が証拠の統合的判断である以上、必要な証拠が十分かの判断には主観と専門的合意が伴い、明確な達成基準を設けにくい。結果的妥当性の取り扱いは、測定論と価値判断・政策評価の境界をめぐる未決着の論争を抱える。実務では、妥当性証拠の収集が資源制約のもとで限定的になりがちで、内容的検討に偏り反応過程や帰結の証拠が手薄になる傾向も課題である。妥当性論証を形式化する試みも、論証の網羅性や反証可能性をどう担保するかという新たな問題を生んでいる。

さらに、現実の運用では妥当性証拠の収集が開発初期に集中し、運用後の継続的な妥当化（実使用下での帰結の検証など）が手薄になりがちである。テストの用途が当初の想定から拡張されるとき、過去の妥当性証拠が新用途を支えるとは限らないが、この再妥当化が省略される事例も少なくない。妥当性を継続的探究とみなす理念と、資源制約下の実務との乖離が、この領域の実践的課題として残っている。

現場・臨床応用

テストや尺度を開発・運用する際は、まず得点の意図する解釈と使用を明示し、それを支える妥当性証拠の収集計画を立てることが出発点となる。内容専門家による吟味、因子構造の確認、関連指標との相関、認知的インタビューによる反応過程の検証を組み合わせ、用途に見合う証拠を蓄積する。重大な決定に用いるテストほど、構成概念に無関係な分散の統制と帰結の検討を重視し、妥当性を一度きりでなく継続的に更新する姿勢が求められる。既存尺度を新たな集団や目的に流用する際は、過去の妥当性証拠がそのまま当てはまらない可能性を前提に、改めて妥当化を行うことが原則となる。

実務的には、テスト開発の最初に『この得点を誰が、どの目的で、どう使うか』を明文化し、その解釈・使用を支える証拠の収集計画（妥当性論証の骨子）を立てることが推奨される。重大な選抜や資格付与では、構成概念に無関係な分散を生む要因（不要に難解な言語、なじみのない文脈など）を設計段階で抑え、運用後も意図せぬ不利益が生じていないかを点検する。妥当性は作って終わりではなく、使い続ける限り問い直すものだという姿勢が現場の前提となる。

主要な参考文献・ガイドライン

本記事は、以下の学会ガイドライン・ポジションステートメント・標準的な専門書などの公開情報に基づいて整理しています。具体的な数値や適用は原典・最新版をご確認ください。

• American Educational Research Association ほか（Standards for Educational and Psychological Testing、妥当性の章）
• Educational Measurement（Brennan 編、Kane による妥当化の章）
• Messick, Validity（Educational Measurement 所収の古典的論考）
• International Test Commission（テストの妥当性に関するガイドライン）

よくある質問

関連記事・関連する学問