広報・資料 報告書・資料

1.2 評価手法

(1)GIIのプログラムとしての把握と評価

 援助事業には、戦略レベル、作戦レベル、運営レベルという異なるレベルが存在し、事業のレベルによって評価の種類や特徴も異なってくる。(表1.2)

表1.2 評価される事業レベルと各レベルにおける評価活動の種類、特徴
レベル 評価活動の種類 評価の特徴
戦略レベル 政策研究、レビュー等 包括的、長期的目標に関する評価、外的条件、資源配分等に注目する
作戦レベル 国別評価、テーマ別評価、セクター別評価、プログラム評価 投入資源自体、投入資源の効率的使用、目標達成のためのアプローチ選択等に注目する
運営レベル モニタリング、評価活動、プロジェクト評価 個々のプロジェクトやプログラムに関して定期的に実施されることが多い
出所:ノルウェー国際開発庁、国際協力事業団訳、『開発援助の評価 評価者のためのハンドブック』、1996年、PP. 12-13より本センター作成。

 GIIの評価に先立ち、GIIという事業はどのレベルに屬するかを検討する必要がある。これまで、GIIのプログラムとしての明確な位置づけと、それに基づく上位目標やサブ・プログラムとの論理的な関係の明確化は、十分には行われていなかった。しかし、GIIの事業内容を検討すると、GII自体は、保健医療分野の目的の異なる2つのプログラム、すなわち、

 「人口プログラム」
 「エイズプログラム」

に分けることが妥当である。リプロダクティブ・ヘルスという包括的概念の下には、人口分野とエイズ分野の各種介入も含まれるが、2つの分野に対する日本による協力には、アプローチ、必要となる投入資源(質、量)の入手可能性、実績、ノウハウ等に関して大きく異なる面がある5ため、上記のように「人口」と「エイズ」の2つのプログラムに分けることが適切である。「人口プログラム」は、さらに「人口直接プログラム」と「人口間接プログラム」に分かれる。
 以上のようにGIIはプログラムとして位置付けることができるため、本評価調査では、各国におけるプログラムの評価を実施した。このため、プロジェクト評価は実施していない。プログラム評価では、表1.2で示したように一般的には、投入資源や投入資源の効率的使用、目標達成のためのアプローチ選択等に注目すると理解されている。本評価調査においてもこの点を重視している。
 さらに(3)で説明するGIIの特徴を反映した観点からの評価を実施、それらの評価結果を総合的に検討し、最終的な評価結果の導出を行った。

(2)ロジカルフレーム・ワーク6を応用した評価

 GIIの人口・エイズの各分野の事業の「プログラムとしての評価」においては、ロジカルフレームワークを応用した評価手法を採用した7。この手法による評価の作業フローは、下記の通りである。

1)目的体系図の構築
 対象国ごとのGII協力全体を、目的達成のためのロジックを備えた一つの体系として、プログラム、サブ・プログラム、プロジェクトという階層的視点で整理して、目的体系図を作成した。「人口プログラム」(「人口直接プログラム」と「人口間接プログラム」に分かれる)と「エイズプログラム」の下には、プログラム目標の達成のためにサブ・プログラムを配置した。サブ・プログラムの下に、介入対象課題が同じプロジェクト(個別事業案件)を集合させた(図1.1タイの「エイズプログラム」の事例参照。本報告書添付資料には、重点国16のGII事業を「人口直接プログラム」と「人口間接プログラム」および「エイズプログラム」の3つに分類し、それぞれについて目標達成のためにどのような事業が実施されたかを階層的視点で整理した目的体系図=プログラム・ツリーを添付した)。
 目的体系図により、各国のGIIによる「人口プログラム」と「エイズプログラム」にサブ・プログラムとプロジェクトの構成が明らかになり、それを通じて、目標達成のために、どのようなロジックで、何を重点として、どのような事業が行われたのかを把握した。

図1.1 タイの「エイズプログラム」の目的体系図例
図1.1 タイの「エイズプログラム」の目的体系図例

2)プログラムの評価指標の選定
 次に、資料の入手可能性という点から判断して、タイ、インドネシア、バングラデシュ、ザンビアでのGII事業に関してプログラム・デザイン・マトリックス(PDM)(PDMについては、次ページ表1.3を参照)を作成して、その国で実施された協力内容を確認し、協力全体の既存の論理性を明確にした8

表1.3 プログラム・デザイン・マトリックス(PDM)(項目説明付き)
表1.3 プログラム・デザイン・マトリックス(PDM)(項目説明付き)

 PDMの縦の項目である最終目標及び戦略目標、中間目標、中間目標のサブ目標、投入は、表1.3における説明にあるように、投入が計画どおりに行われた後に下位の目標から段階的に上位の目標達成されていくというロジックになっている(表1.3の中の縦の矢印)。さらに、ロジックの流れにおいては外部条件が重要な意味を持っている。ロジックは、ある段階の目標が達成される → さらにその段階の外部条件が満たされる → 上位段階の目標が実現するという構造になっている(表1.3の中の網かけの太い矢印)。
 PDM作成後にそれに相応しい評価のための指標を選定を試みた。ここで確認すべき重要事項は以下の点である。
1) GIIにおいては、7年間の対象期間に目標実績額が30億ドルであるという以外には、数値的な目標設定がなされなかった。
2)本評価調査ではプログラムとして捉えている各GII対象国の人口分野とエイズ分野のそれぞれにおける日本の援助に対して、GII実施による効果について数値的な目標も設定されていなかった(GIIに限らず援助総体についても数値的な目標設定がなされていなかった)。
 したがって、評価調査の時点での選定された評価指標は、GIIの実績を評価するにあたりもっとも実態を反映可能と考えられる指標であるが、後づけであることの限界性から逃れ得ない。また、プロジェクト・レベルではなくプログラム・レベルの指標となると、指標の変化の内、日本の支援がどの程度貢献したかを厳密に測ることは難しい(日本のプロジェクトの中には、元々、プログラム・レベルの状況の変化に貢献しようと意図していないものもある。詳細は、(3)DAC評価5項目による評価を参照)。また、サブプログラム・レベルにおいて、日本が主にNGOを通じて支援を行っている部分について(例えば、エイズ予防分野のハイリスク・グループに対するエイズ教育部分)は、NGOの活動に関する指標を検証することとなるが、NGOのプロジェクトではNGOが独自に評価指標を設定している等のことから、必ずしもPDM上でから選定された指標が入手できなかった。したがって、一部指標は、変化について詳細な検証は行うことが出来なかった。しかし、指標の変化自体は、評価結果を導く上で参照され、活用された。

(3)DAC評価5項目による評価

 評価の項目としては、主要援助国において援助事業として追求されるべき重要な特性として理解され、評価項目として最も一般的に活用されている「DACの評価5項目」(妥当性、有効性、効率性、インパクト、自立発展性)から選定した。JICAのプロジェクト評価においても「DACの評価5項目」を基礎とした評価が実施されている。また、上記のように「DACの評価5項目」は汎用性が高いため、本評価において「DACの評価5項目」から項目選定することは、評価から得られる教訓と提言を「沖縄感染症対策イニシアティブ」の案件計画や実施に活用しやすいものとするメリットもある。
 評価5項目の内、インパクトを測ることは、これまでに多くの援助機関が困難であると認識している9。そのため、GII評価調査においては、対象国におけるGIIプログラム(人口分野あるいはエイズ分野、もしくはその両方)が果たして国レベルのプログラム目標にインパクトを与えうるメカニズムを備えていたか(評価時点でも実施中のプロジェクトについては「備えているか」)を検証し、検証に基づいてインパクトの有無を中心に評価する。本評価調査では厳密な意味でのインパクトを測っていないため、本報告書の実際の評価に関わる部分(2章以下)では、インパクトという語は用いないで、効果という語を使っている。
 表1.4に「評価5項目」別の、GII評価調査における各項目に関する質問の観点と質問例を例示した。

表1.4 「評価5項目」別の内容とGII評価調査における質問の例
妥当性 当該国のGII分野の課題状況に対する妥当性
プログラム内部のサブ・プログラム構成の妥当性
・GIIのプロジェクトやプログラムは当該国の国レベルおよび地域レベルにおける政策の優先順位に合致してたか?
・GIIのプロジェクトやプログラムはターゲットエリアにおける人口とエイズに関する問題への取組みの優先順位に合致していたか?
効率性 ・投入に対する成果(プロダクティビィティ)という観点からの効率性
・他ドナーとの協調に関する効率性
・GIIのプロジェクトやプログラムは予定通り実施されたか?そうでない場合、何が実施の障害であったか?
・(サブプログラムの活動の構成について)サブプログラムは当該国において人口およびエイズに関する取組みに際し戦略的に配置されていたか?
・(サブプログラムの活動のタイミングについて)サブプログラムのタイミングは当該国における人口およびエイズに関する取組みに際し効率的だったか?
目標達成度 *PDMに基づく評価作業によって把握 ・GIIのプロジェクトやプログラムはその目的を達成したか?
・GIIのプロジェクトやプログラムの目的および全体目標を達成するにあたり、当該プロジェクトやプログラムに影響を与えた外部要因は何だったか?
インパクト 「プログラムの実施によりインパクト(正・負、上位目標に対するインパクト)があったか」 ・GIIのプロジェクトやプログラムはその上位目標に対し貢献することを可能とするようなメカニズムを有していたか?
・貢献した場合、どのように貢献したか?
自立発展性 「プログラムが終了後も効果は継続し得るか」
・対象国政府のオーナーシップ、受益者の参加にかかる自立発展性
・技術面、組織・人材面・財政面、政策面にかかる自立発展性
その他:横断的課題(文化、宗教面 、ジェンダー、環境への配慮)
 

(4)GIIの重要ファクターに関する評価

 表1.5は、「中間報告」の提言をまとめたものである。

表1.5 「GII中間報告」からの提言
現行プロジェクトへの提言
GII全般への提言 *人口分野の協力における「人口直接協力」の割合の拡大
*エイズ分野での人材養成面のさらなる重点化
*各種援助形態の連携による協力の推進
*NGOとのパートナーシップの継続
具体的な提言 *ニーズの高い国および南南協力の核となる国を中心とする次期重点国の選定
*日米協調の促進(定期的情報交換、人事交流による)
*NGOの参加の強化(GII 在外プロ形や基礎調査、評価、草の根無償資金協力の審査プロセス等への参加他による)
*人材養成(専門家候補等の国内人材、援助関連機関のGII担当者)
*案件形成
*多国間機関との連携の推進
GIIの今後の方向性に対する提言
*「日米共同プロジェクト」の実施=地域または活動内容を資金協力または活動実施協力の形で分担する
*米国以外の他ドナーとの調整の促進
*情報公開と広報の強化
*プロジェクト計画立案時における指標の設定
*女性のエンパワーメント配慮
*NGOや地方自治体の協力実施段階への参加
出所:外務省委託、財団法人家族計画国際協力財団、「GII(地球規模イニシアティブ)に関する中間報告」(1994.4 - 1997.3)、1997年より本センター作成

 これらの提言と中間報告後も含めたGIIの全体の実績との比較から、GII評価における必須の観点と考えられる以下のファクターを抽出した。これらのファクターは、本調査での採用を予定しているロジカルフレームワークと評価5項目の組み合わせの評価では十分にカバーしきれないため、別途、評価を実施した。
1)包括的アプローチの採用(「人口直接協力」と「人口間接協力」)
2)米国をはじめとする他開発パートナーとの連携
3)異なるスキーム間の連携
 上記のファクターの評価は、文献情報による実績(案件数、金額)と実績の時系列的変化等に関する定量的評価と、関係者からのヒアリング(現地調査対象国のみ)等による定性的評価によって実施した。


5 例えば、人口分野では直接/間接協力ともに日本はGII開始以前から多数、多種類のプロジェクト実施の実績を持ち、GII開始時点から既にノウハウの蓄積があるといえる。一方、日本のエイズ分野の案件実施の開始は人口分野より遅く、GII自体の開始時期と同程度の時期に開始され、数、種類ともに人口分野より少なく、ノウハウの蓄積が現在進んでいるところである。

6 ロジカル・フレームワークは、1960年代にU.S. Agency for International Cooperationにより開発された効果的なプロジェクトの計画・実施、および運営・管理を行うための手法である。多くの援助機関により採用されている事業の目標管理手法であり、事業概要を投入、成果、目標、上位目標、レベル別にマトリックスで整理したもの。

7 財団法人国際開発センターが2000年度に外務省より委託を受けて実施した「政策レベル及びプログラム・レベル評価の手法等に関する調査研究」からの提言を考慮して、この手法を採用した。

8 GII事業は総体としては、ロジカルフレームワークに基づいて実施されなかったため、計画内容の論理性や一貫性がこれまで十分に明確ではなかった。PCM手法によるプロジェクトの計画策定が実際に普及し始めた時期はGIIの開始時期より後であるため、PDMがないプロジェクトもあるが、GIIのプロジェクトの中には、PCM手法に基づきPDMを作成し、プロジェクトの計画内容及び目標の達成のための論理(ロジック)が明確化されているものもある。

9 この事例としては、当センターが元請けで実施した国際協力事業団委託の「タンザニア国別評価調査(第2次調査)」の1次調査における他ドナーから意見表明がある。




このページのトップへ戻る
前のページへ戻る次のページへ進む目次へ戻る