信頼性と一般化可能性理論 — 多元的な測定誤差の分解

信頼性の多面性

信頼性は『同じ測定を繰り返したときの得点の一貫性』を表すが、何を繰り返しとみなすかによって意味が異なる。再検査信頼性は時間的安定性を、平行検査信頼性は内容サンプリングの一貫性を、内的整合性は項目間の一貫性を、評定者間信頼性は採点者間の一致を捉える。古典的テスト理論では誤差を単一の項として扱うため、これら複数の誤差源を区別して同時に評価することができない。各信頼性係数は、想定する繰り返しが異なるために、同じテストでも異なる値を与えうる。

しかし論述採点やパフォーマンス評価では、課題の選び方、採点者、評価機会といった複数の要因が同時に得点変動を生む。たとえば同じ受験者でも、課題が変われば、また採点者が変われば得点が動く。こうした多元的な誤差構造を一括した一つの信頼性係数で表すことには無理があり、誤差源ごとに寄与を分解する枠組みが必要となる。どの誤差源が測定精度を最も損なっているかを特定できなければ、効果的な改善策を講じることもできない。

主要な信頼性の側面

信頼性の各側面は、想定する繰り返しの種類によって異なる誤差源に対応する。

• 再検査信頼性：時間をおいた再測定の安定性（時間的誤差）。
• 内的整合性：項目間の一貫性（内容サンプリング誤差）。
• 評定者間信頼性：採点者間の一致（評定者誤差）。

一般化可能性理論の枠組み

一般化可能性理論（generalizability theory, G理論）は、分散分析の発想を測定に応用し、観測得点の変動を受験者本来の差（測定したい分散）と、複数の誤差源（評定者、課題、機会など）に由来する分散成分へ同時に分解する枠組みである。受験者間の真の差に対応する分散が大きく、誤差源由来の分散が小さいほど測定は精密とみなされる。これにより、どの誤差源が測定精度を最も損なっているかを特定できる。誤差源はファセット（facet）と呼ばれ、各ファセットとその交互作用が分散成分として推定される。

G理論は二段階で運用される。誤差源の構造を分析して各分散成分を推定する段階をG研究（一般化可能性研究）と呼び、その結果を用いて、評定者を何人にし課題を何題にすれば目標精度が得られるかを設計する段階をD研究（決定研究）と呼ぶ。さらに、相対的な順位づけを目的とする相対決定と、絶対的な基準点との比較を目的とする絶対決定とで、考慮すべき誤差源と一般化可能性係数（相対決定のG係数と絶対決定の依存可能性係数）が異なる点も、古典的信頼性にはない精緻さである。たとえば全評定者が一律に甘くても順位は保たれるため相対決定には影響しないが、絶対基準との比較には影響する。

誤差源の設計と推定

一般化可能性理論を適用する際の要点は、考慮すべき誤差源（ファセット）を測定状況に即して適切に設定することである。たとえば臨床能力試験では、受験者を対象に、症例課題・評定者・実施機会といったファセットが考えられる。各ファセットを交差させるか入れ子にするかという設計の選択が、推定できる分散成分とその安定性を左右する。重要な誤差源を設計から落とすと、その変動が他の成分に紛れ込み、測定精度を過大評価する危険がある。

分散成分の推定には十分なデータが必要で、各ファセットの水準数（評定者数や課題数など）が少ないと推定が不安定になる。推定された分散成分から、相対決定と絶対決定それぞれの一般化可能性係数を計算し、現行の測定設計がどの程度の精度を与えるかを評価する。D研究では、評定者数や課題数を仮想的に増減させたときに係数がどう変わるかをシミュレートし、目標精度を最小の資源で達成する設計を探る。この設計最適化の機能こそ、G理論が実務に与える最大の価値である。

エビデンスの現在地

信頼性の諸側面の定義と、一般化可能性理論による分散成分分解の数理的枠組みは確立しており、確実性は強い。とくに論述・パフォーマンス・実技評価のように評定者と課題が同時に誤差を生む場面で、G理論が複数誤差源を分離できる利点は理論的にも実証的にも明確である。多くのパフォーマンス評価研究で、課題サンプリングの誤差が評定者誤差より大きいことが繰り返し示されてきた点も、一定の確実性をもつ知見である。一方、推定された分散成分は標本や評定設計に依存し、十分なデータがなければ成分推定が不安定になるため、個別の研究結果の一般化には条件付きの慎重さが必要である。

さらに、相対決定と絶対決定で必要な精度や考慮すべき誤差源が異なるという理論的帰結も確立しており、目的に応じた一般化可能性係数の使い分けが標準的に行われている。多くの実技・臨床評価研究で、課題（症例）のサンプリングが大きな誤差源となることが繰り返し示され、評定者を増やすより課題を増やす方が精度向上に効くという知見も蓄積されている。これらは設計上の意思決定に直接活かされている。

論点と限界

一般化可能性理論は強力だが、誤差源（ファセット）の設計が分析者の判断に委ねられ、考慮すべき誤差源の選定を誤ると重要な変動を見落とす。分散成分の安定した推定には十分な標本と適切な交差・ネスト設計が必要で、複雑な設計では推定が難しくなり、負の分散成分推定値が生じることもある。また、相対決定と絶対決定で結論が変わりうるため、測定の目的を明確にせずに係数だけを比較するのは誤りである。G理論は誤差の大きさを定量化するが、なぜその誤差が生じるかという実質的原因の解明は別の検討を要する。

また、分散成分の推定値は標本に依存し、各ファセットの水準数が少ないと推定が不安定になるうえ、理論上ありえない負の推定値が生じることもある。モデルに含めなかった誤差源は他の成分に紛れ込み、測定精度を過大評価させる危険がある。一般化可能性理論は誤差の大きさを定量化するが、なぜその誤差が生じるのかという実質的原因の解明や、誤差を減らす具体策の立案は、別の質的・内容的検討に委ねられる。

現場・臨床応用

論述試験や実技評価、臨床能力評価などで、評定者間や課題間のばらつきが大きい場合に一般化可能性理論は有用である。G研究で評定者と課題の寄与を分解し、D研究で必要な評定者数・課題数を設計すれば、限られた資源で目標精度を確保できる。たとえば課題サンプリング誤差が支配的なら、評定者を増やすより課題数を増やす方が効率的だと判断できる。実装では誤差源の設計と十分なデータ確保が前提であり、得点が複数誤差源を含む推定値であることを踏まえ、重要な決定では測定精度の検討を欠かさないことが原則となる。

臨床能力試験（客観的臨床能力試験など）では、症例・評定者・ステーションを誤差源として一般化可能性理論で設計を最適化することが広く行われる。たとえば、限られた試験時間で目標精度を得るために、ステーション数と各ステーションの評定者数のどちらを優先すべきかをD研究で検討できる。得点が複数の誤差源を含む推定値であることを前提に、合否が分かれる受験者ほど測定精度の不足に注意し、必要なら追加評価で判断を補強することが望ましい。

主要な参考文献・ガイドライン

本記事は、以下の学会ガイドライン・ポジションステートメント・標準的な専門書などの公開情報に基づいて整理しています。具体的な数値や適用は原典・最新版をご確認ください。

• Brennan, Generalizability Theory（標準教科書）
• Cronbach ほか, The Dependability of Behavioral Measurements（G理論の原典的文献）
• American Educational Research Association ほか（Standards for Educational and Psychological Testing、信頼性の章）
• Educational Measurement（Brennan 編、信頼性・一般化可能性の章）

よくある質問

関連記事・関連する学問