教育測定学
特異項目機能と公平性 — 集団間の測定等価の検証
公平なテストとは、能力が同じなら所属集団にかかわらず同じ正答確率となるテストである。特異項目機能(DIF)は、能力を統制してもなお集団間で正答確率が異なる項目を検出する分析であり、テストの公平性を支える中核技術である。本稿ではその概念、検出法、偏りと実質差の解釈をめぐる論点を検討する。
この記事の要点
- 特異項目機能は、能力が等しい受験者間でも所属集団により正答確率が異なる項目の性質を指す。
- DIFの検出は能力を統制したうえで集団間の正答率を比較する点が、単純な得点差の比較と異なる。
- 一様DIFは全能力水準で一方向に偏り、非一様DIFは能力水準で差の向きや大きさが変わる。
- DIFの存在は直ちに偏りを意味せず、項目の実質的検討を経て解釈される。
DIFの概念と意義
テストの公平性の中核的要件は、測定対象の能力が同じ受験者は、性別・言語・文化的背景などの所属集団にかかわらず、同じ項目に同じ確率で正答するというものである。特異項目機能(differential item functioning, DIF)は、この要件が破られ、能力を統制してもなお集団間で正答確率に差が残る項目の性質を指す。重要なのは、単に集団間で正答率が違うこと(インパクト)と、能力が等しいのに正答率が違うこと(DIF)を区別する点である。前者は真の能力差を反映しうるが、後者は測定の等価性が崩れている可能性を示す。
DIFが生じる典型例は、ある項目が測定対象とは無関係な要因(特定の文化的知識、言語表現の難しさ、文脈の親しみやすさなど)に依存し、それが集団間で異なる影響を与える場合である。これは構成概念に無関係な分散が集団間で系統的に作用している状態であり、測定の公平性と妥当性をともに脅かす。DIF分析は、こうした項目を統計的に同定する手続きであり、テスト全体としての偏りを項目レベルにまで分解して点検する役割を担う。
DIFの類型
DIFは能力水準にわたる差のパターンによって分類される。
- 一様DIF:すべての能力水準で一方の集団が一貫して有利または不利となる。
- 非一様DIF:能力水準により差の向きや大きさが変化し、項目特性曲線が交差する。
- インパクト:能力差を反映した正答率差で、DIFとは区別される。
検出の考え方
DIF検出の基本は、受験者を能力(通常は総得点や潜在特性の推定値)で揃えたうえで、集団間の正答率を比較することにある。能力を条件づけずに正答率を比べると真の能力差とDIFが混同されるため、能力統制が不可欠である。代表的な手法には、能力層ごとに分割表を作り集団間の関連を検定するマンテル・ヘンツェル法、能力と集団および交互作用を説明変数とするロジスティック回帰、項目反応理論の項目特性曲線を集団間で比較する方法(曲線間の面積を指標とするなど)がある。
ロジスティック回帰や項目反応理論に基づく方法は、能力と集団の交互作用項を通じて非一様DIFを検出できる利点をもつ。いずれの手法でも、統計的に有意なDIFが効果量として実質的に大きいかを併せて評価することが重要である。標本が大きいと些細な差も有意になりうるため、有意性と効果量の両面からDIFの実質性を判断する。多くの大規模試験では、効果量に基づいてDIFを軽度・中等度・大と分類し、中等度以上の項目を重点的に吟味する運用が採られている。
公平性概念とDIFの位置づけ
DIFは公平性という広い概念の一部を技術的に扱うものである。テストの公平性は、項目レベルの等価性だけでなく、テスト全体の妥当性、受験機会の平等、便宜的配慮(障害のある受験者への調整)、得点の使用における公平な扱いまでを含む包括的な要請である。DIF分析はこのうち、項目が集団間で等価に機能しているかという測定論的側面を担当し、特異項目機能のないことが公平性の必要条件の一つとなる。
ただし、すべてのDIFを除去すればテストが公平になるわけではない。DIFは項目間の相対的な機能差を検出するため、テスト全体に共通する偏りは検出しにくいという原理的限界がある。また、能力統制に用いるマッチング基準そのものに偏りが含まれていれば、分析は歪む。したがってDIF分析は、内容専門家による偏り審査(バイアスレビュー)や、テスト全体の妥当性・公平性の検討と組み合わせて運用されるべきものであり、それ単独で公平性を保証する万能の手段ではない。
エビデンスの現在地
DIFの概念と主要な検出手法(マンテル・ヘンツェル法、ロジスティック回帰、項目反応理論に基づく方法)の統計的枠組みは確立しており、確実性は強い。大規模試験や多言語版テストの公平性検証で標準的に用いられている実績も豊富である。一方、検出されたDIFが測定上の偏りなのか集団間の実質的能力差の反映なのかの解釈は、統計だけでは決まらず実質的吟味を要するため、判定の妥当性に関する確実性は中程度にとどまる。DIFの原因を説明する理論(なぜその項目が集団間で機能差を示すか)は、いまだ十分には体系化されていない。
また、有意性検定と効果量を併用してDIFの実質性を判断するという運用上の作法も標準化されており、大規模試験では効果量に基づく分類(軽度・中等度・大)が広く用いられている。連続変数を扱う確認的因子分析の測定不変性と、離散応答を扱う項目反応理論のDIFが理論的に対応することも整理されており、両者は同じ公平性の問いに異なる枠組みで答える相補的手段として位置づけられている。
論点と限界
最大の論点は、検出されたDIFを偏りと解釈すべきか実質差と解釈すべきかが一意に定まらないことである。統計的DIFの同定は技術的に確立しているが、その原因を測定の不公平とみなすか正当な能力差の一部とみなすかは、項目の内容と理論に照らした専門的判断を要する。また、能力統制に用いるマッチング変数自体にDIF項目が含まれると検出が歪む循環の問題や、多重比較による偽陽性、効果量の閾値設定の任意性も限界として残る。小集団の比較では検出力が不足し、実在するDIFを見逃す危険もある。
さらに、DIFは項目間の相対的な機能差を検出する手法のため、テスト全体に共通する偏りは原理的に検出しにくいという限界がある。能力統制に用いるマッチング基準自体にDIF項目が含まれると分析が歪む循環の問題、多重比較による偽陽性、効果量の閾値設定の任意性も残る。小集団の比較では検出力不足で実在するDIFを見逃しやすく、検出されたDIFの原因を説明する理論もいまだ十分には体系化されていない。
現場・臨床応用
多様な背景の受験者が受けるテストや多言語版の試験では、DIF分析が公平性検証の標準工程となる。実務では、有意性と効果量の双方でDIFを評価し、検出項目を内容専門家が吟味して偏りの有無を判断する。偏りと判断された項目は修正・除外し、正当な能力差と判断されるものは慎重に残す。DIF分析は測定の社会的責任を担う手続きであり、結果の解釈には統計的同定と実質的判断の両方を欠かさないことが原則となる。事前の偏り審査でDIFの起きにくい項目を作る予防的取り組みと、事後のDIF検出を組み合わせることが望ましい。
多言語版試験や多様な背景の受験者を対象とする試験では、項目作成段階での偏り審査(バイアスレビュー)と、実施後のDIF分析を組み合わせる予防・検出の二段構えが望ましい。検出項目は内容専門家が吟味し、測定対象と無関係な要因に依存すると判断されれば修正・除外し、正当な能力差の反映と判断されれば慎重に残す。DIF分析は測定の社会的責任を担う工程であり、統計的同定と実質的判断の双方を欠かさないことが公平性確保の前提となる。
医療免責
本記事は教育目的の学習コンテンツです。診断・治療行為を代替するものではありません。痛み・しびれ・急性外傷・発熱・進行性の症状や、医師から運動制限を受けている場合は、自己判断で進めず医師・国家資格者にご相談ください。
主要な参考文献・ガイドライン
本記事は、以下の学会ガイドライン・ポジションステートメント・標準的な専門書などの公開情報に基づいて整理しています。具体的な数値や適用は原典・最新版をご確認ください。
- Holland and Wainer, Differential Item Functioning(標準的編著)
- American Educational Research Association ほか(Standards for Educational and Psychological Testing、公平性の章)
- International Test Commission(テスト翻案と公平性に関するガイドライン)
- Educational Measurement(Brennan 編、公平性と測定不変性の章)
よくある質問
特異項目機能(DIF)とは何ですか。
測定対象の能力が同じでも所属集団により正答確率が異なる項目の性質です。集団間の単純な正答率差とは区別されます。
DIFがあれば必ず不公平な項目ですか。
いいえ。統計的にDIFがあっても、それが偏りか正当な能力差の反映かは項目内容の実質的吟味を経て判断されます。
なぜ能力を揃えて比較するのですか。
能力を揃えずに正答率を比べると真の能力差とDIFが混同されるためです。能力統制によって測定の等価性の崩れを検出できます。
一様DIFと非一様DIFの違いは何ですか。
一様DIFは全能力水準で一方向の差が出る場合、非一様DIFは能力水準により差の向きや大きさが変わる場合を指します。
cortis Trainer Academy
学びを、現場で使える知識に。
基礎から評価・運動療法・医療連携まで。身体を診る専門職のための継続学習アカデミー。基礎は登録不要・無料。