2020年度外務省ODA評価結果
過去のODA評価案件(国別評価)のレビューと国別評価の手法に関する調査研究
評価主任 | 林 薫 文教大学国際学部教授 |
コンサルタント | 一般財団法人 国際開発機構 |
調査実施期間 | 2005年度~2019年度 |
調査実施期間 | 2020年10月~2021年3月 |
評価の背景・対象・目的
外務省は、ODAの管理改善と国民への説明責任を果たすため、主に政策レベルを中心としたODA評価を毎年実施しており、その透明性と客観性を図る観点から、外部に委託した第三者評価を実施している。本調査は、過去15年間に実施したODA評価のうち、国別評価を検証し、国別評価結果を今後のODA政策策定に役立てる観点から、①繰り返し提言されている事項や、地域や小国、島嶼国といった特性に共通する提言等を整理し、他国にも適用可能な有用な教訓をまとめること、②現在のODA評価ガイドライン記載の評価手法を踏まえつつ、国別評価に適したより良い評価手法の提案、及び国別評価に共通して用いることができる標準的な評価の枠組みについて提言を得ることを目的として実施された。
評価結果のまとめ
(1) 提言・教訓のレビュー
2005~2019年度に実施された国別評価報告書(56件)の提言・教訓は合計442であった。提言・教訓数を5年毎に比較したところ、2015年以降は提言数が減少しており、報告書に示される提言の記載内容がより簡潔で分かり易くなっている。2015年度以降は「教訓」を抽出する評価案件が増加していたが、教訓の内容は提言の言い換えも多く、教訓の定義に沿って情報が整理されていなかった。
(2) 提言・教訓の類型化
2014~2019年度国別評価報告書の提言・教訓(122)を5つのカテゴリーで分類し、次に24サブカテゴリーに分類し、評価実施時期での比較を行った。カテゴリー 分類では、評価実施時期での比較(2003~2013年度、2014~2019年度)で違いは確認されなかったが、サブカテゴリー別分類での比較においては、「戦略・プライオリティ」に関する提言内容の変化などの違いが確認された。
(3) ODA政策に有用な教訓
(2)の分析結果を踏まえ、特定の国・地域に限らず、他の国・地域に適用可能な提言・教訓を抽出し教訓集を作成した。2014~2019年度評価案件において、多くの提言・教訓が分類されたサブカテゴリーについて、①具体的な提言/対応策、②提言を引き起こした要因事象、③提言/対応策の目的、④「他の国・地域の参考になる」といった記述事項の内容、の4点に着目し分析を行い、教訓となる7テーマを特定し、教訓集を作成した。
(4) 評価の枠組みとレーティング結果
レーティングが実施されている国別評価13件について、政策の妥当性、結果の有効性、プロセスの適切性の3つの評価項目の検証項目、検証内容、レーティングの導き方についての分析を行った結果、以下の点が確認された。
- 同一の評価者は複数の評価において、同じ検証項目の設定パターンを採っていることが多く、対象国や地域の状況に合わせて検証項目を設定しているというよりは、対象国に関わらず評価者(受注コンサルタント)の考え方によって、項目設定が決まる傾向がある。
- サブレーティングを用いている国別評価は複数あるが、評価によってサブレーティングの方法が異なる、またはその基準がわかりづらい状況がある。
- 「政策の妥当性」については、ODA評価ガイドラインに示される5つの検証項目のうち、3つは全ての評価で検証項目として立てられていたが、2つの項目については、検証項目として立てられていなかったり、2~3項目まとめて一つの検証項目となっていたりする評価があった。
- 「結果の有効性」については、他の評価項目と比較して、検証方法が評価者によって異なる部分が多かった。また、アウトカム以上のレベルの検証については、援助政策文書上で目標が明瞭に記載されていないこともあり、「目標」に照らして日本の援助の効果発現の検証を行っている評価は確認できなかった。
- 「プロセスの適切性」については、評価によって立てられた検証項目数は2~9項目と大きく異なり、また検証項目として立てられた項目数も多く、全部で22項目に及んだ。
- 評価報告書の中には、評価開始時に関係者の合意を得て確定する「評価の枠組み」に示される検証項目と、実際の検証項目が異なる報告書があった。
(5) 評価実施のタイミングとODA政策への反映
国別評価の結果が援助政策に有効に活用されている事例の9案件のうち、4案件は国別評価実施後2年以内に国別開発協力方針(旧国別援助方針)を策定しており、両者の時期が近い方が、国別評価の結果が援助政策に反映されやすいと想定される。
評価結果に基づく提言
(1)ODA政策策定に向けた国別評価のさらなる活用に向けて
ア. ODA政策策定に有用な教訓の抽出
「教訓」は、他の国・地域において活用可能な情報を整理して評価報告書に示すべきであり、そのために教訓として記載すべき事項については、「提言」と同様に、ODA評価ガイドラインで記載すべき事項について説明がなされるのが望ましい。
イ. 国別評価実施計画(評価実施タイミング、案件の選定)
国別評価にあたっては、「国別開発協力方針の改訂プロセスの一部に組み込んでいく」という方針を設けて国別評価の実施の目的をより明確にすることは、評価実施者側、利用者側双方にとり、共通理解を図りやすいという観点から望ましい。また、対象国の選定において、国別評価と国別開発協力方針の改訂のタイミングが検討されるという点は、PDCAサイクル強化の観点からも望ましい。
(2)国別評価のさらなる効果的な実施に向けて
ア. サブレーティングの再考
読者にとって根拠が明確で、納得できる評価とするためには、サブレーティングの基準を明確にすることが必要である。
イ. 検証項目の明確化
上記ア.と並行し、国別評価で検証する項目を整理し、標準的な検証項目案としてガイドライン上に示すことが望ましい。検証項目を明確化し、ガイドラインに示すことにより、評価者による検証項目の偏りを防ぐことが可能となる。
ウ. 評価計画時の目標や介入ロジックの明確化
「結果の有効性」において、客観的な検証を行うために、国別開発協力方針で示される基本方針(大目標)、重点分野(中目標)、事業展開計画に示される開発課題(小目標)が各々どのような変化を目指すか、目標は如何に達成され得るか、どのような外部要因から影響を受けるか、「効果発現の道筋」を整理する。このプロセスを経ることにより、調査項目の洗い出しが容易になり、さらに、情報収集の結果、目標達成の判断や、貢献要因や阻害要因の特定ができ、有効性の検証が明瞭になる。さらには、開発協力方針の改訂に向けて、目標の再整理を提案することも期待できる。
エ. ODA評価室による評価調査の管理
評価案件を管理するODA評価室は、国別評価報告書の確認を行う際に、評価の枠組みに示される検証項目と、実際の検証項目が同じか、確認を行う。また、評価の枠組みから検証項目の変更があった場合には、評価チームから変更理由を確認し、その説明が報告書内に示されるようにする。
(3)国別評価の目的に合致した評価結果の示し方
評価の目的によって、求められる評価結果の表し方も変わる。国別評価においても、評価の目的を明確にした上で、評価結果の表し方(レーティングの有無を含む)を決定することが望まれる。アルファベットや数字を用いたレーティングの活用については、分かり易さは増すものの、評価される側の評価結果の建設的な受け止めを阻害する面もあるため、両面を考慮し、評価の表し方を決定することが望ましい。