1．レ－ティングの方法と結果

　外部有識者評価フィードバック委員会では72件の「在外公館評価」結果を基に、評価の対象である事業のレ－ティング（評点）を行った。評点にあたり、1案件の評価者が必ず3人以上になるよう分担し、在外公館が作成した評価報告書をもとに、互いに事前調整することなく各評価者個人の見識により点数化を行った。評点には経済協力開発機構開発援助委員会（OECD-DAC）の評価5項目（妥当性、目標達成度、効率性、インパクト、自立発展性）及び総合評価を用いた。この6つの観点に従ってそれぞれの評価案件を、「非常に良い」、から、「まったく悪い」、の5段階で評点した。このような5段階評点の基準と仕方は、英国国際開発省（DfID）の評点の仕方、Highly Successful, Successful, Partially Successful, Largely Unsuccessful, Unsuccessfulと同じである。

　次に各評価案件につき、各委員による評点結果の平均値を求めた。なお、評点にあたっては、各委員の評価傾向、経歴に基づく価値観が反映されると想定されることから、各案件について委員が付けた素点の他、評価傾向を標準化した得点も併用し、審議に公平を期した。また、1人でも評点1、2と5をつけた案件については特に慎重に審議した。評価5項目別の評点結果は総合判定を行う際の参考とした。

　これまでにも、経済協力評価報告書において、評価の結果を、「成功した案件」、「一部改善すべき点などがあるものの全体としては成功した案件」、「全体として成功したとは言い難い案件」、に3分類する方法をとったことがあった。しかし、評点平均の分布は連続しており、分類基準得点の決め方によって分類結果が大きく変わること、主観的な評価では事実上0.1などのわずかな数字の差は無意味であるが、それによって分類結果が変わることなどから、無理に3分類することはせず、分布を示すことにした。図に示すように、72評価案件の総合評点総平均は3.63、標準偏差は0.60であり、全体として比較的高い評価結果となった。

　また、在外公館評価報告書には評価内容を確認できる情報が十分盛り込まれていないものもある。そこで、必要に応じて、他の資料にもあたって、評価内容の妥当性を可能な限りチェックした。また、総合評点と評価5項目評点の相関分析の結果から、委員は全体として目標達成度（総合評点との相関係数0.83）やインパクト（同0.80）を重視して総合評点を行っていることが分かった。これは、近年重視されている成果主義の傾向と合致している。

図5　評点分析

2．評価の高かった案件

　すでに協力が完了した案件のうち、協力形態の分類毎に総合評価平均値が高い案件を紹介する。これらの案件はいずれもプロジェクトの実施によってサービスや生産物が生み出され、受益者や社会全体に対して正の効果を及ぼしたことが認められた。案件が成功した要因として共通するのは、事前調査がしっかりしており、案件の目標が適切でニーズやターゲット・グループの特定が明確になされ、プロジェクト実施を取り巻く環境（他の機関との連携を含む）などが、満足のいくこと等であった。

• （1）家族計画・栄養改善・寄生虫予防総合プロジェクト（ガーナ共和国、開発福祉支援（ローカルNGOへの資金協力）、1998年～2001年、協力総額21百万円）
  　ローカルNGOであるガーナ家族計画協会（PPAG）がビリム・ノース郡で行う家族計画と、子どもの栄養改善及び寄生虫予防対策活動に対して資金協力を行った。本プロジェクトの各活動はコミュニティに浸透し、地区職員、地域住民の積極的な参加を得て、アウトカム指標の数値上の改善だけではなく、クリニック建設におけるコミュニティからの資金・資材協力や労働力提供などに見られるよう、住民の意識変化ももたらした。
• （2）トルコ水力発電事業による電力供給の改善（トルコ、有償資金協力「ハサン・ウールル・ダム及び水力発電計画」：E/N締結年：1971年・78年・84年、供与限度額合計17,502百万円；「アルティンカヤ水力発電所計画」E/N締結年：1983年、供与限度額合計15,400百万円）
  　急速に伸びる電力消費に対応するため、国内の豊富な水資源を活用した水力発電を積極的に実施する為に、ハサンウールル、アルトゥンカヤ水力発電所を建設した。
  　石油危機により、計画より多少遅れて完成したが、ハサンウールル水力発電所は完工時点でトルコ総発電量の4.4%、アルトゥンカヤ水力発電所は3.4%を占め、石油輸入を抑制する成果があったと同時に、以後の水力発電開発の先駆けとなった。プロジェクト完成後10、20年たった現在も大きな故障なく適切な管理が行われ、電力供給の任にあたっている。
• （3）アディス・アベバ市ゴミ処理機材整備計画（エティオピア、無償資金協力（一般プロジェクト無償）1995年～97年、協力総額5.17億円）
  　一般ゴミの収集率70%以上、公衆便所の屎尿収集率100%を目標とするアディス・アベバ市に協力して、ゴミ収集車両、バキューム車などの機材を供与した。2000年のゴミ収集率は83%と推計されるが、そのうち我が国が供与した機材による分は38%である。屎尿は公衆便所のみならず私有汲み取り式便所の回収率も100%に達したが、我が国の寄与は44%に達している。さらに、ゴミ収集区域、頻度も拡大し、住民へのゴミ問題への啓発も図られた。
• （4）海南省定安県披塞郷および海南省瓊中県吊羅郷飲料水供給計画（中国、草の根無償資金協力、1997年～98年、協力総額98,957米ドル）
  　飲料水不足が深刻である海南省において、住民に清潔な飲料水を供給し、不衛生な水を飲用していたことに起因する各種疾病を予防し、さらに、水くみの負担から住民を解放し、生産活動を活性化させる為に、給水プラントを建設した。給水プラントは計画通りに完成した。管理・保守に当たる担当者が置かれているが、大きな故障はない。プロジェクトの記念碑や地元メディアの報道で、日本政府の協力は周知されている。
• （5）フィリピン公衆衛生プロジェクト（フィリピン共和国、プロジェクト方式技術協力、1992年～97年）
  　結核対策をもとに、地方行政における公衆衛生のモデルを作ること、感染症の中で、最大死因であり感染力の強さから社会の脅威になっている、結核そのものに対する対策を強化することを目的とした案件である。結核対策の研修、信頼精度管理体制の構築などにより、治療成績が向上した。本プロジェクトはWHOの提唱する戦略を採用し共同歩調をとったこともあって、中央政府にとって受け入れやすく、プロジェクトの成果は国家結核対策計画に反映された。

3．評価の低かった案件

　評価の低かった案件の中から、協力形態の分類毎に今後の改善の参考となる例を紹介する。この2例はいずれも当初のプロジェクト目標は達成されたものの、上位システム全体の枠組みの中で成果が十分発揮できず、社会的効果が十分ではなかったと評価された案件である。我が国が大きなシステムの一部門の援助を担当し、その部門だけの改善ができても、被援助国などが担当する他部門の改善がなく、システム全体の改善につながらなかった例である。プロジェクトの置かれている社会的状況を十分勘案したプロジェクト形成、実施上の工夫が望まれる。

• (1) ソフィア市浄水場施設建設（ブルガリア共和国、無償資金協力、1998年度、協力総額11.17億円）
  　ソフィア市の人口増加及びそれに伴う飲料水不足を背景に、ビストリッツア浄水場に廃水処理施設を付設することにより、同浄水場を稼動させることを目的とした案件である。廃水処理施設によって排水を浄化するという計画目標は達成した。しかし、ブルガリア側による各家庭への配水管の維持管理が不十分であったため、浄水を供給するという上位の全体システムの改善までにはいたらなかった。
• (2)ブラジル国生産性・品質向上プロジェクト（ブラジル国、プロジェクト方式技術協力、1995年～2000年、協力総額9.1億円）
  　企業において生産性向上活動を普及浸透させることを目標として、ブラジル品質生産性センターにおいて、カウンターパートが生産性技法を体得することを目的とする案件である。日本側の投入はなされたものの、センター所長やカウンターパートの人事異動が激しく、技術の効率的移転・蓄積に困難が生じた。

4．その他改善すべき問題点

　その他の一部改善すべき点などがある案件について、次のような問題が指摘された。実証できない効果は、ないものと考えざるをえないところから、プロジェクトの実施にあたっては後日の事後評価に必要な基礎データの蓄積が必要である。これは、評価を行う上での方法の問題であると同時に、プロジェクト実施者が留意すべき問題でもある。上記の二つの評価の中間に位置する多くの案件は、以下に示す一つあるいは複数の要因により、評点が低くなった。

• （1）不明なアウトカム：アウトプットは生み出されてはいたが、そのアウトプットが社会的にどの様な役に立っているか（アウトカム）が明らかでない。
• （2）不十分な受益者の特定：受益者（ジェンダーを含む社会経済的ターゲット・グループ）を特定することが、アウトカムを評価する為に必要であるが、特定が不十分なため、アウトカムの認定が困難である。
• （3）マイナスのインパクトへの注意：環境問題、交通事故など、開発に伴うマイナスのインパクトに対する配慮が十分とは確認できない。
• （4）代替案との比較の必要：何らかの代替案や他のドナーが行っている何らかの代替案や他ドナーが行っている類似案との比較が計画段階でもなされていない。
• （5）外部環境との調和：成功案件が備えるべき諸条件が十分でない。あるいは、諸事情の変化への対応を可能とする中間評価がなされていない。
• （6）当初計画の変更：計画を変更して、協力要請時とは異なる施設を作った例がある。この案件の場合、施設の機能は当初の目的に添ったものであると判断されるが、当初の目的から外れたものができる可能性もあり、計画変更にあたっては、慎重な審査が必要である。
• （7）補充ができない日本製機材の部品：高価な日本製の機材を整備しても、日本からの支援が終了すると現地では修理部品の継続的購入ができないために使用が困難になった。
• （8）協力期間の長さの問題：政治的に不安定な国で長期間の協力を行ったが、政権交代などの影響で十分な効果が得られなかった。

5．おわりに

　在外公館評価報告を材料にして各案件の評点作業を試みた結果、以下の問題点や検討課題が明らかになった。

問題点

• （1）案件に問題があるのか、評価(報告書)に問題があるのかがはっきりしない場合がある。
• （2）在外公館によって評価報告書のカバレッジと質に差がありすぎる。
• （3）評価の「評価」は、元の評価報告書の記載事項には間違いがないという前提に立つ必要がある。案件に関する付加情報の入手は困難である。

　在外公館評価を通じて今後も同様の評点作業を行うのであれば、これらの問題に対する解決策として、以下のような課題を検討すべきである。

検討課題

• （1）今回は基本的に評価結果を信じて評点作業を行ったが、評価判断に用いた資料の適切さなど、評価の質についての評点も行うなど、評価結果を「評価」する方法論を開発する必要がある。
• （2）在外公館評価のメリットは現地に在住する者が機動的に、比較的短期間に、安価に、評価を行えることである。従って、あまり高度な評価内容を期待することはできないが、一定のフォーマットに基づいて、必要な情報を記載させることは必要である。評価マニュアルなどを開発し、それに従って、統一的な内容を記述すれば、報告書の質の均一化が期待できる。評価対象案件の選定、評価時期などについても、一定の基準が必要である。
• （3）高度で詳細な評価は費用がかかる。すべての案件を対象に我が国で調査団を組織し当該国に派遣し、フルセットの評価を行うことは実用的ではない。在外公館評価のODA評価における位置づけを、問題があったり、特徴があったりする案件を拾い上げるための1次評価とし、その結果を基に、現地専門家や派遣調査団による詳細な2次評価を行うことが費用対効果を高めると考えられる。在外公館評価の役割分担を明確にすべきである。

その他、下記のような知見が得られた。

その他の知見

• （1）現地コンサルタントを使った評価は比較的質が高い。今後増やしていくべきである。
• （2）各委員が独立して評点作業を行った割に評点結果は類似しており、合意形成に大きな問題はなかった。過去の経験からも、数件の評点作業を共同で行った後で各自が評点すればさらに一致度が高まることが分かっており、次回以降は共同で評点作業を行う場を設けるなどの工夫が必要である。
• （3）ODA（評価）台帳のようなものがあると有効である。案件ごとに、作成されたすべてのドキュメント、評価時期、評価者、評価結果などの情報が一元化されるべきである。一カ所にデーターベースを置かなくとも、必要な情報がネットワークで検索できるだけでも良い。

（外部有識者評価フィードバック委員会）