ヘルスプロモーションプログラムの評価方法論

評価の目的と類型

ヘルスプロモーション活動は実施して終わりではなく、過程と効果を確かめて次に活かすことで価値が高まる。評価には、限られた資源を有効に使い説明責任(accountability)を果たす役割と、プログラムを改善(improvement)する役割の両面がある。

評価は目的により類型化される。プログラム実施中に改善を図る形成的評価(formative evaluation)と、実施後に効果や価値を判定する総括的評価(summative evaluation)である。さらにニーズ評価・プロセス評価・アウトカム評価・経済評価(費用効果分析等)へ細分される。

WHOヨーロッパ作業部会は、ヘルスプロモーションの評価が、エンパワメント・参加・公平性・部門間連携といったこの分野固有の価値を反映すべきであり、生物医学的な効果検証の枠組みをそのまま転用すると本質を取りこぼすと指摘してきた。すなわち、無作為化比較試験を頂点とする証拠の階層は、複雑で文脈依存的なコミュニティ介入の評価には必ずしも適合せず、参加型評価や理論駆動評価など多様な方法論の併用が求められる。評価設計は、何を成功とみなすかという価値判断と不可分である。

構造・過程・成果の3視点

保健医療の質評価で用いられるドナベディアンの枠組みは、ヘルスプロモーション評価にも応用される。構造・過程・成果の3視点で整理する考え方である。

• ストラクチャー(構造)評価:人員・設備・予算・体制など、サービス提供の基盤条件の評価
• プロセス(過程)評価:計画どおり実施されたか、到達度・参加状況・実施の質の評価
• アウトカム(結果)評価:知識・態度・行動・健康状態・QOLの変化など成果の評価

ロジックモデルと成果の段階性

評価を論理的に設計するため、投入(input)・活動(activity)・産出(output)・成果(outcome)・影響(impact)を因果連鎖として図式化するロジックモデル(プログラム理論)が用いられる。これにより、各段階に対応する評価指標を計画段階で紐づけられる。プログラム理論を明示することは、なぜこの活動がこの成果を生むはずなのかという因果仮説を可視化し、評価で検証可能にする意義を持つ。

因果の連鎖を明示することの実務的利点は、プログラムが期待した成果を生まなかった場合に、その原因を切り分けられる点にある。すなわち、活動自体が実施されなかったのか(実施の失敗)、実施されたが想定した因果が働かなかったのか(理論の失敗)を区別できる。前者はプロセス評価で、後者はアウトカム評価とプログラム理論の検証で識別され、この区別が次の改善の方向を決める。ロジックモデルなしの評価は、失敗の所在を特定できないまま終わりやすい。

成果の時間的段階

成果は一度に現れず、時間軸で段階的に発現するため、長期指標のみでは効果が捉えにくい。

• 短期成果:知識・態度・信念・自己効力感の変化
• 中期成果:行動・生活習慣・環境・組織の変化
• 長期成果:罹患率・健康指標・QOLの変化

実装評価:RE-AIMの枠組み

効果(efficacy)だけでなく、現実世界での普及可能性まで評価する枠組みとしてRE-AIMが広く用いられる。これは介入が研究室を超えて社会へ広がるかを問う実装科学(implementation science)の代表的指標群である。

RE-AIMはReach(到達:対象者にどれだけ届いたか)、Effectiveness(有効性:実世界での効果)、Adoption(採用:組織・現場がどれだけ取り入れたか)、Implementation(実施:計画どおり実施された忠実度・コスト)、Maintenance(維持:個人・組織レベルでの持続)の5次元からなる。効果が高くても到達や維持が乏しければ集団的インパクトは小さい、という視点を与える。

5次元の積として集団的インパクトを捉える発想も重要である。各次元が完全でなければ、それらの掛け合わせとして実際の公衆衛生的効果は大きく目減りする。例えば、効果が確実な介入でも、到達率が低く採用組織が少なく維持されなければ、社会全体への寄与はわずかにとどまる。この乗法的な見方は、効果検証だけに偏りがちな評価を、普及・定着まで含めた現実的なインパクト評価へと引き戻す。

この枠組みの含意は、内的妥当性(統制された条件下での効果)に偏重した評価が、外的妥当性(現実世界での一般化可能性)を見落とす危険への警鐘である。例えば、到達率が低く参加者が健康意識の高い層に偏れば、効果が実証されても集団全体への波及は限定的になる(効率-効果のギャップ)。RE-AIMは、研究と実装の橋渡し、すなわちエビデンスを現場へ移転する際の評価軸として機能する。

エビデンスの現在地

構造・過程・成果モデルおよびロジックモデルは、保健プログラム評価の標準的枠組みとして広く受容されており、その方法論的有用性については確立された合意がある。RE-AIMも実装研究で標準的に用いられる枠組みとして定着している。

ただし、これらは評価の構造を与えるツールであり、それ自体が因果効果を持つ介入ではない。個別プログラムのアウトカム評価で得られる因果的確実性は、用いる評価デザイン(ランダム化の有無、対照群の設定、追跡期間)に依存し、現場評価では準実験デザインが多く確実性は中程度にとどまることが一般的である。

論点と限界

第一に、現場評価はランダム化が困難で、選択バイアス・成熟・歴史・平均への回帰・脱落といった内的妥当性の脅威により因果推論が制約される。第二に、長期アウトカムは交絡が多く、介入への帰属が難しい。第三に、測定可能な指標に偏ると、重要だが測りにくい成果(エンパワメント等)が軽視される(測定の偏り)。第四に、量的指標のみでは文脈や機序を捉えきれず、質的評価との統合(混合研究法)が要る。評価は厳密性と現場実行可能性のトレードオフの上に成り立つ。

現場・臨床応用

地域の運動教室であれば、ストラクチャー(指導体制・会場・予算)、プロセス(出席率・満足度・実施忠実度)、アウトカム(体力測定値・運動習慣・QOLの変化)を分けて確認すると、改善点が明確になる。RE-AIMを併用すれば、到達できなかった層や維持率の課題まで可視化できる。

• 目的(ねらい)と評価指標が論理的に対応しているか(ロジックモデルで確認)
• 無理なく測定・記録でき、現場負担に見合うか
• 短期・中期・長期の指標をバランスよく設定し、途中の変化も捉える
• 量的指標に加え参加者の声など質的情報も収集し、改善へ反映する

主要な参考文献・ガイドライン

本記事は、以下の学会ガイドライン・ポジションステートメント・標準的な専門書などの公開情報に基づいて整理しています。具体的な数値や適用は原典・最新版をご確認ください。

• Donabedian A『The Quality of Care: How Can It Be Assessed?(構造・過程・成果モデル)』
• Glasgow RE, Vogt TM, Boles SM『RE-AIM フレームワークに関する論文』
• WHO European Working Group『Health Promotion Evaluation: Recommendations to Policymakers』
• 厚生労働省『健康日本21(第三次) 評価の考え方に関する資料』

よくある質問

関連記事・関連する学問