1.2 評価手法
(1)GIIのプログラムとしての把握と評価
援助事業には、戦略レベル、作戦レベル、運営レベルという異なるレベルが存在し、事業のレベルによって評価の種類や特徴も異なってくる。(表1.2)
表1.2 評価される事業レベルと各レベルにおける評価活動の種類、特徴
|
||||||||||||
出所:ノルウェー国際開発庁、国際協力事業団訳、『開発援助の評価 評価者のためのハンドブック』、1996年、PP. 12-13より本センター作成。 |
GIIの評価に先立ち、GIIという事業はどのレベルに屬するかを検討する必要がある。これまで、GIIのプログラムとしての明確な位置づけと、それに基づく上位目標やサブ・プログラムとの論理的な関係の明確化は、十分には行われていなかった。しかし、GIIの事業内容を検討すると、GII自体は、保健医療分野の目的の異なる2つのプログラム、すなわち、
「人口プログラム」
「エイズプログラム」
に分けることが妥当である。リプロダクティブ・ヘルスという包括的概念の下には、人口分野とエイズ分野の各種介入も含まれるが、2つの分野に対する日本による協力には、アプローチ、必要となる投入資源(質、量)の入手可能性、実績、ノウハウ等に関して大きく異なる面がある5ため、上記のように「人口」と「エイズ」の2つのプログラムに分けることが適切である。「人口プログラム」は、さらに「人口直接プログラム」と「人口間接プログラム」に分かれる。
以上のようにGIIはプログラムとして位置付けることができるため、本評価調査では、各国におけるプログラムの評価を実施した。このため、プロジェクト評価は実施していない。プログラム評価では、表1.2で示したように一般的には、投入資源や投入資源の効率的使用、目標達成のためのアプローチ選択等に注目すると理解されている。本評価調査においてもこの点を重視している。
さらに(3)で説明するGIIの特徴を反映した観点からの評価を実施、それらの評価結果を総合的に検討し、最終的な評価結果の導出を行った。
(2)ロジカルフレーム・ワーク6を応用した評価
GIIの人口・エイズの各分野の事業の「プログラムとしての評価」においては、ロジカルフレームワークを応用した評価手法を採用した7。この手法による評価の作業フローは、下記の通りである。
1)目的体系図の構築
対象国ごとのGII協力全体を、目的達成のためのロジックを備えた一つの体系として、プログラム、サブ・プログラム、プロジェクトという階層的視点で整理して、目的体系図を作成した。「人口プログラム」(「人口直接プログラム」と「人口間接プログラム」に分かれる)と「エイズプログラム」の下には、プログラム目標の達成のためにサブ・プログラムを配置した。サブ・プログラムの下に、介入対象課題が同じプロジェクト(個別事業案件)を集合させた(図1.1タイの「エイズプログラム」の事例参照。本報告書添付資料には、重点国16のGII事業を「人口直接プログラム」と「人口間接プログラム」および「エイズプログラム」の3つに分類し、それぞれについて目標達成のためにどのような事業が実施されたかを階層的視点で整理した目的体系図=プログラム・ツリーを添付した)。
目的体系図により、各国のGIIによる「人口プログラム」と「エイズプログラム」にサブ・プログラムとプロジェクトの構成が明らかになり、それを通じて、目標達成のために、どのようなロジックで、何を重点として、どのような事業が行われたのかを把握した。
図1.1 タイの「エイズプログラム」の目的体系図例![]() |
2)プログラムの評価指標の選定
次に、資料の入手可能性という点から判断して、タイ、インドネシア、バングラデシュ、ザンビアでのGII事業に関してプログラム・デザイン・マトリックス(PDM)(PDMについては、次ページ表1.3を参照)を作成して、その国で実施された協力内容を確認し、協力全体の既存の論理性を明確にした8。
表1.3 プログラム・デザイン・マトリックス(PDM)(項目説明付き)![]() |
PDMの縦の項目である最終目標及び戦略目標、中間目標、中間目標のサブ目標、投入は、表1.3における説明にあるように、投入が計画どおりに行われた後に下位の目標から段階的に上位の目標達成されていくというロジックになっている(表1.3の中の縦の矢印)。さらに、ロジックの流れにおいては外部条件が重要な意味を持っている。ロジックは、ある段階の目標が達成される → さらにその段階の外部条件が満たされる → 上位段階の目標が実現するという構造になっている(表1.3の中の網かけの太い矢印)。
PDM作成後にそれに相応しい評価のための指標を選定を試みた。ここで確認すべき重要事項は以下の点である。
1) GIIにおいては、7年間の対象期間に目標実績額が30億ドルであるという以外には、数値的な目標設定がなされなかった。
2)本評価調査ではプログラムとして捉えている各GII対象国の人口分野とエイズ分野のそれぞれにおける日本の援助に対して、GII実施による効果について数値的な目標も設定されていなかった(GIIに限らず援助総体についても数値的な目標設定がなされていなかった)。
したがって、評価調査の時点での選定された評価指標は、GIIの実績を評価するにあたりもっとも実態を反映可能と考えられる指標であるが、後づけであることの限界性から逃れ得ない。また、プロジェクト・レベルではなくプログラム・レベルの指標となると、指標の変化の内、日本の支援がどの程度貢献したかを厳密に測ることは難しい(日本のプロジェクトの中には、元々、プログラム・レベルの状況の変化に貢献しようと意図していないものもある。詳細は、(3)DAC評価5項目による評価を参照)。また、サブプログラム・レベルにおいて、日本が主にNGOを通じて支援を行っている部分について(例えば、エイズ予防分野のハイリスク・グループに対するエイズ教育部分)は、NGOの活動に関する指標を検証することとなるが、NGOのプロジェクトではNGOが独自に評価指標を設定している等のことから、必ずしもPDM上でから選定された指標が入手できなかった。したがって、一部指標は、変化について詳細な検証は行うことが出来なかった。しかし、指標の変化自体は、評価結果を導く上で参照され、活用された。
(3)DAC評価5項目による評価
評価の項目としては、主要援助国において援助事業として追求されるべき重要な特性として理解され、評価項目として最も一般的に活用されている「DACの評価5項目」(妥当性、有効性、効率性、インパクト、自立発展性)から選定した。JICAのプロジェクト評価においても「DACの評価5項目」を基礎とした評価が実施されている。また、上記のように「DACの評価5項目」は汎用性が高いため、本評価において「DACの評価5項目」から項目選定することは、評価から得られる教訓と提言を「沖縄感染症対策イニシアティブ」の案件計画や実施に活用しやすいものとするメリットもある。
評価5項目の内、インパクトを測ることは、これまでに多くの援助機関が困難であると認識している9。そのため、GII評価調査においては、対象国におけるGIIプログラム(人口分野あるいはエイズ分野、もしくはその両方)が果たして国レベルのプログラム目標にインパクトを与えうるメカニズムを備えていたか(評価時点でも実施中のプロジェクトについては「備えているか」)を検証し、検証に基づいてインパクトの有無を中心に評価する。本評価調査では厳密な意味でのインパクトを測っていないため、本報告書の実際の評価に関わる部分(2章以下)では、インパクトという語は用いないで、効果という語を使っている。
表1.4に「評価5項目」別の、GII評価調査における各項目に関する質問の観点と質問例を例示した。
表1.4 「評価5項目」別の内容とGII評価調査における質問の例
|
(4)GIIの重要ファクターに関する評価
表1.5は、「中間報告」の提言をまとめたものである。
表1.5 「GII中間報告」からの提言
|
||||||||||
出所:外務省委託、財団法人家族計画国際協力財団、「GII(地球規模イニシアティブ)に関する中間報告」(1994.4 - 1997.3)、1997年より本センター作成 |
これらの提言と中間報告後も含めたGIIの全体の実績との比較から、GII評価における必須の観点と考えられる以下のファクターを抽出した。これらのファクターは、本調査での採用を予定しているロジカルフレームワークと評価5項目の組み合わせの評価では十分にカバーしきれないため、別途、評価を実施した。
1)包括的アプローチの採用(「人口直接協力」と「人口間接協力」)
2)米国をはじめとする他開発パートナーとの連携
3)異なるスキーム間の連携
上記のファクターの評価は、文献情報による実績(案件数、金額)と実績の時系列的変化等に関する定量的評価と、関係者からのヒアリング(現地調査対象国のみ)等による定性的評価によって実施した。
5 例えば、人口分野では直接/間接協力ともに日本はGII開始以前から多数、多種類のプロジェクト実施の実績を持ち、GII開始時点から既にノウハウの蓄積があるといえる。一方、日本のエイズ分野の案件実施の開始は人口分野より遅く、GII自体の開始時期と同程度の時期に開始され、数、種類ともに人口分野より少なく、ノウハウの蓄積が現在進んでいるところである。
6 ロジカル・フレームワークは、1960年代にU.S. Agency for International Cooperationにより開発された効果的なプロジェクトの計画・実施、および運営・管理を行うための手法である。多くの援助機関により採用されている事業の目標管理手法であり、事業概要を投入、成果、目標、上位目標、レベル別にマトリックスで整理したもの。
7 財団法人国際開発センターが2000年度に外務省より委託を受けて実施した「政策レベル及びプログラム・レベル評価の手法等に関する調査研究」からの提言を考慮して、この手法を採用した。
8 GII事業は総体としては、ロジカルフレームワークに基づいて実施されなかったため、計画内容の論理性や一貫性がこれまで十分に明確ではなかった。PCM手法によるプロジェクトの計画策定が実際に普及し始めた時期はGIIの開始時期より後であるため、PDMがないプロジェクトもあるが、GIIのプロジェクトの中には、PCM手法に基づきPDMを作成し、プロジェクトの計画内容及び目標の達成のための論理(ロジック)が明確化されているものもある。
9 この事例としては、当センターが元請けで実施した国際協力事業団委託の「タンザニア国別評価調査(第2次調査)」の1次調査における他ドナーから意見表明がある。