Examen de l’efficacité de l’aide au développement de la Banque interaméricaine de développement

ACDI

Agence canadienne de développement international

BID

Banque interaméricaine de développement

CAD-EVALNET

Réseau d’évaluation du Comité d’aide au développement

CAD-OCDE

Comité d’aide au développement de l’Organisation de coopération et de développement économiques

COMPAS

Système commun d’évaluation des performances

CPE

Comité des politiques et de l’évaluation

CRO

Cadre de résultats organisationnels

DEF

Cadre d’efficacité du développement

DEO

Bilan annuel d’efficacité du développement

EPP

Évaluation de programme-pays

FOS

Fonds des opérations spéciales

GAR

Gestion axée sur les résultats

GCI

Groupe consultatif indépendant

MAECD

Affaires étrangères, Commerce et Développement Canada

MIF

Fonds multilatéral d’investissement

MOPAN

Réseau d’évaluation du rendement des organisations multilatérales

OM

Organisation multilatérale

OVE

Bureau de l’évaluation et de la supervision

SG

Garantie souveraine

SII

Société interaméricaine d’investissement

SPD

Planification stratégique et de l’efficacité du développement

SWG

Groupe de travail sur la durabilité

US

États-Unis d’Amérique

Approbations de la BID (en millions de dollars US) en 2013

Le groupe de la BID : Le groupe élargi de la Banque interaméricaine de développement (groupe de la BID) est constitué de la BID; de la Société interaméricaine d’investissement (SII), créée en 1986; et du Fonds multilatéral d’investissement (MIF), créé en 1993.

La SII encourage le développement du secteur privé en Amérique latine et dans les Caraïbes par du financement au profit des petites et moyennes entreprises, par exemple sous forme de participation au capital, de prêts et de garanties, avec pour objet de les aider à rationaliser leurs processus de gestion. En 2013, la SII a approuvé l’équivalent de 415,4 millions $ US en investissements et prêts directs, ainsi que 197,5 millions $ US de prêts syndiqués et d’opérations de cofinancement, tirant ainsi parti de l’effet de levier que représentent les ressources fournies directement par la SII.^{Note de bas de page 8}

Le MIF a pour mission d’encourager le développement du secteur privé au bénéfice des ménages à faible revenu dans les pays d’Amérique latine et des Caraïbes. Cette aide prend la forme de subventions à l’assistance technique, d’investissements au capital et de prêts à des partenaires du secteur privé (comme des organisations de la société civile, des associations industrielles, des fondations, des coopératives universitaires, des entreprises et des institutions financières). En 2013, le MIF a approuvé 68 projets d’une valeur totale de 108,3 millions $ US.^{Note de bas de page 9}

Même si la SII et le MIF travaillent en étroite collaboration avec la BID, ces deux entités disposent de cadres stratégiques et de mécanismes d’établissement de rapports distincts.

Réformes et priorités : En 2010, l’Assemblée des gouverneurs a approuvé le rapport sur la neuvième augmentation générale du capital de la Banque interaméricaine de développement (Report on the Ninth General Increase in the Resources of the Inter-American Development Bank) (plan BID-9) ainsi que la Déclaration de Cancun. Ces deux documents lient le plan BID-9 à une série de réformes destinées à renforcer l’orientation stratégique, l’efficacité du développement et l’efficience de la Banque pour l’aider à demeurer pertinente et concurrentielle au cours des prochaines années.^{Note de bas de page 10} Le plan BID-9 proposait une stratégie organisationnelle fondée sur cinq priorités stratégiques (divisées en 13 domaines thématiques^{Note de bas de page 11}) :

1. Politique sociale pour l’équité et la productivité;

2. Infrastructure favorisant la compétitivité et le bien-être social;

3. Institutions pour la croissance et le bien-être social;

4. Intégration compétitive à l’échelle régionale et mondiale;

5. Protection de l’environnement, réponse aux changements climatiques, et amélioration de la sécurité alimentaire.

En outre, le plan BID-9 prévoyait une meilleure reddition de comptes en matière de résultats. Avant 2010, la BID ne disposait pas de cadre de résultats organisationnels exhaustif, et le contrôle au niveau de l’organisation se limitait au suivi de deux cibles de prêts.^{Note de bas de page 12}

Le Cadre de résultats organisationnels de la BID est conforme à ceux d’autres banques de développement et comprend quatre niveaux :

• Niveau I : suivi des objectifs de développement régional;
• Niveau II : suivi des contributions de la Banque aux objectifs régionaux;
• Niveau III : suivi des priorités des programmes de prêts de la Banque;
• Niveau IV : suivi de l’efficacité et de l’efficience opérationnelles de la Banque.

Les niveaux I et II s’articulent autour des cinq priorités stratégiques de la Banque. Selon le plan BID-9, les données provenant du Cadre de résultats organisationnels doivent être communiquées annuellement par l’entremise du Bilan annuel d’efficacité du développement (DEO).

1.3.2 Rapports sur l’efficacité du développement

En 2010, le Bureau de la planification stratégique et de l’efficacité du développement de la BID a présenté les résultats de son premier DEO. Selon l’évaluation de la BID par le MOPAN, en 2011, ce DEO constituait une nette amélioration par rapport aux mécanismes précédents de production de rapports, qui se concentraient sur les probabilités d’atteindre les objectifs de développement plutôt que sur les résultats eux-mêmes.^{Note de bas de page 13} Par contre, le DEO n’évalue pas l’efficacité du développement de la SII ou du MIF, qui disposent de leurs propres cadres stratégiques et mécanismes de production de rapports.^{Note de bas de page 14}

Même si la BID a beaucoup amélioré ses rapports sur l’efficacité du développement, le DEO comporte encore certaines lacunes.

Premièrement, comme l’a indiqué le Réseau sur l’évaluation du développement du CAD de l’OCDE, il ne couvre pas l’ensemble des sujets et des critères d’intérêt pour les donateurs bilatéraux. On note particulièrement l’absence d’information concernant la pertinence, la durabilité et les thèmes transversaux (en particulier l’égalité entre les sexes). D’autres rapports de la BID donnent une idée des sujets et des critères absents du DEO et peuvent constituer des compléments utiles. Ces rapports comprennent des documents d’information préparés dans le cadre de l’évaluation à mi-parcours du plan BID-9 et des rapports annuels sur les contributions de la BID à la durabilité.

Deuxièmement, le DEO n’est pas exhaustif, car il ne vise pas la totalité des opérations de la BID et des indicateurs énumérés dans le Cadre des résultats organisationnels. Le Bureau de l’évaluation et de la supervision (OVE) s’est prononcé au sujet de l’absence d’une méthode claire relativement à la sélection des indicateurs du Cadre des résultats organisationnels et aux données présentées dans le DEO.^{Note de bas de page 15} Dans sa contribution au rapport du Système commun d’évaluation des performances (COMPAS) de 2012, un rapport des membres du Groupe de travail sur la gestion axée sur les résultats de développement des banques multilatérales de développement, la BID note que son système de rapports est fondé sur un échantillon de projets. En 2012, cela s’est traduit par un suivi des données concernant 65 projets sur une possibilité de 156 dans le portefeuille.^{Note de bas de page 16}

Enfin, des faiblesses dans le Cadre des résultats organisationnels, dont l’absence de données de référence et des incongruités relativement aux types de données probantes utilisées pour évaluer l’efficacité du développement peuvent nuire à la qualité des résultats présentés dans le DEO. En outre, dans ses rapports basé sur le cadre des résultats, le DEO s’appuie sur des données autodéclarées (rapports de fin de projet) n’ayant pas toujours été validées par l’OVE. Le DEO de 2013 comprend deux ajouts utiles : les leçons tirées des évaluations de l’impact des projets de la BID (10 ont été complétées en 2013), et un nouveau chapitre axé spécifiquement sur l’échec des approches adoptées dans certains secteurs (p. ex. la sécurité des citoyens, le développement urbain et le logement).

La BID a maintenant terminé son quatrième cycle de rapports sur l’efficacité du développement. Au moment de l’évaluation à mi-parcours de 2013 des engagements pris à l’égard du plan BID-9, la Banque avait mis en œuvre bon nombre des exigences se rapportant au plan BID-9 en lien avec le Cadre d’efficacité du développement (DEF). Le DEF présente le cadre stratégique destiné à améliorer l’efficacité des projets et des programmes de la Banque.^{Note de bas de page 17} Le DEF renferme aussi un ensemble d’outils d’apprentissage et de responsabilisations à l’égard des résultats qui incluent la matrice d’efficacité en matière de résultats, un rapport de suivi des progrès et un rapport d’achèvement de projet. La mise en œuvre de l’ensemble des composantes du DEF est essentielle à l’élimination des lacunes contenues dans le DEO. La mise en œuvre de ce cadre s’est toutefois révélée inégale.

• La matrice d’efficacité en matière de résultats^{Note de bas de page 18} a été mise en œuvre avec succès dans le cas des opérations avec garantie souveraine^{Note de bas de page 19}, mais elle n’est pas encore terminée pour ce qui est des opérations sans garantie souveraine^{Note de bas de page 20}.
• D’autre part, la mise en œuvre du rapport de suivi des projets avec garantie souveraine est complétée, et celui-ci faisait l’objet d’un examen afin de remédier aux problèmes notés à la première étape de sa mise en œuvre.
• Au moment de l’évaluation à mi-parcours de 2013 des engagements pris à l’égard du plan BID-9, la Banque était sur le point de lancer son nouveau rapport d’achèvement de projet, qui devrait améliorer son bilan en matière de réalisation de projets.^{Note de bas de page 21}

1.3.3 L’évaluation à la BID

La fonction d’évaluation à la BID, créée à la fin des années 1960, a fait l’objet de plusieurs réformes visant à corriger divers problèmes, notamment d’indépendance et de qualité. L’OVE a été créé en 1999 à la suite de la résolution RE-238, Strengthening Oversight and Rebuilding Evaluation in the Bank, en tant qu’organe indépendant chargé d’évaluer les programmes et les systèmes de la Banque. Depuis 1999, plusieurs efforts ont été déployés pour constituer un système d’auto-évaluation fonctionnel, système qui a été créé en 2008 sous la forme du Cadre d’efficacité du développement.^{Note de bas de page 22}

À la Banque, l’évaluation est une responsabilité partagée par la direction, l’OVE et le Conseil d’administration.

La direction supervise le système d’auto-évaluation et se concentre sur les évaluations de projets et le suivi du rendement du portefeuille. Au sein de la direction, le Bureau de la planification stratégique et de l’efficacité du développement (SPD) est chargé de veiller à ce que les actions de la BID soient guidées par l’atteinte de résultats et une gestion efficace des risques.^{Note de bas de page 23}À cette fin, le SPD joue un rôle important en offrant des conseils sur l’application du DEF et le renforcement des processus internes de surveillance et d’évaluation.

L’OVE est indépendant de la direction sur le plan de la structure et des opérations. Il relève directement du Conseil d’administration par l’entremise du Comité sur les politiques et l’évaluation (PEC). Il appuie également les efforts d’évaluation de la SII et du MIF sur une base contractuelle. L’OVE évalue si les stratégies, les politiques et les programmes de la BID sont conformes aux objectifs de celle-ci, et a pour mandat les fonctions suivantes :

• surveillance;
• évaluation des programmes-pays;
• évaluations sectorielles, thématiques et ex-post;
• évaluations politiques et instrumentales;
• évaluation du développement des capacités.

L’OVE élabore un programme de travail et un budget annuels concernant les évaluations prévues dans l’année à venir, ainsi qu’une liste indicative des évaluations prévues l’année suivante.^{Note de bas de page 24}Il a établi un cycle d’évaluations de programmes-pays (EPP) portant sur l’ensemble des programmes-pays. Un nombre de documents définissent le rôle de l’OVE et guident ses activités : le document fondateur de l’OVE (« Renforcer la surveillance et reconstruire l’évaluation à la Banque » [traduction libre] – RE-238, 1999), l’ébauche du cadre de référence pour le directeur de l’OVE (RE-366-11, 2011), et le protocole d’accord sur l’examen et la considération des évaluations dans le Manuel administratif (AM 140-1).

Le Conseil d’administration passe en revue les constatations et les recommandations pertinentes provenant des évaluations des programmes-pays, des stratégies, des politiques, des opérations et des processus institutionnels de la Banque.

Le renforcement de la fonction d’évaluation de la BID est un processus continu. Un examen externe a été mené par un groupe indépendant en 2011 dans le but de renforcer la fonction d’évaluation et d’en arriver ainsi à une efficacité accrue du développement. Cet examen a révélé que la BID avait réalisé des progrès substantiels en matière d’évaluation depuis 1999, que ses systèmes d’évaluation étaient plus exhaustifs, et que la fonction disposait de normes de bonnes pratiques.^{Note de bas de page 25} Ce même examen a toutefois également révélé que l’efficacité de la fonction d’évaluation était limitée par un manque de collaboration et d’intégration entre les parties prenant part à l’évaluation.^{Note de bas de page 26}

L’examen a permis de noter que la fonction d’auto-évaluation avait connu des premiers succès avec la mise en œuvre du DEF, mais qu’il restait encore des défis à relever. Quant à la fonction d’évaluation indépendante, l’examen a également permis de noter que l’OVE avait produit un grand nombre de rapports de qualité, mais qu’il devait accroître l’efficacité, l’utilisation et l’influence de l’évaluation indépendante, ainsi que réduire l’isolement qui avait résulté de son interprétation de l’indépendance.^{Note de bas de page 27} Des recommandations ont été émises afin d’accroître l’efficacité du système d’évaluation :

• Bâtir un environnement d’apprentissage plus collaboratif qui réduit les tensions et favorise une culture d’apprentissage.
• Accroître l’utilisation de produits d’évaluation indépendants et réformer la culture d’isolement de l’OVE.
• Compléter la mise en œuvre de l’auto-évaluation et accroître son utilisation au moyen d’une stratégie efficace de gestion du changement et en fournissant les ressources requises.
• Renforcer le rôle de surveillance du système d’évaluation du Conseil d’administration en autorisant le Comité sur les politiques et l’évaluation à agir au besoin afin d’assurer un rôle de leadership pendant une période de changement.
• Faire participer davantage les pays clients au processus d’évaluation.
• Formuler une nouvelle politique d’évaluation qui renforce les approches de la BID, traite des nouvelles réalités et tient compte des constatations de l’examen.

Le programme de travail de 2013-2014 de l’OVE reflète les efforts de ce dernier pour donner suite aux constatations et aux recommandations de l’examen de 2011. Par exemple, l’OVE s’est efforcé de : modifier la gamme de produits; travailler avec la direction pour développer un nouveau protocole de traitement des évaluations; rédiger des documents d’approche pour toutes les évaluations (partagés avec la direction à des fins de commentaires); et développer un système de suivi des recommandations des évaluations.^{Note de bas de page 28}La formulation d’une nouvelle politique d’évaluation était l’une des recommandations pour laquelle on n’a pas donné de suivi, et la Banque n’a pas préparé une politique d’évaluation consolidée.

En résumé, la BID dispose d’une solide fonction d’évaluation indépendante ainsi que d’un système d’auto-évaluation prometteur, mais toujours en cours d’affinement. Plusieurs améliorations ont été apportées à l’architecture des évaluations de la BID dans la foulée du rapport du groupe indépendant. Toutefois, l’échantillon utilisé dans le cadre du présent examen ne contient que les évaluations publiées entre 2008 et 2013. Les résultats des efforts susmentionnés ne sont donc pas encore évidents dans les constatations du présent examen.

2.0 Méthodologie

2.1 Aperçu

La présente section décrit la méthode employée dans le cadre de l’examen de l’efficacité de l’aide au développement de la BID, l’univers d’évaluation, la méthode d’échantillonnage, les critères d’examen, les processus d’examen et d’analyse, ainsi qu’une discussion sur d’autres méthodes de collecte de données. Cette section prend fin avec une discussion sur les limites de l’examen.

2.2 Univers d’évaluation et échantillon

Un univers de 94 rapports d’évaluation a été constitué à partir des rapports d’évaluation de la BID disponibles sur le site Web du Bureau de l’évaluation et de la supervision (OVE). L’établissement de la liste définitive a nécessité plusieurs discussions et échanges avec l’OVE et des unités de direction de la BID.

Dans le cadre de son examen préliminaire, l’équipe d’examen a passé en revue les rapports d’évaluation en appliquant les critères énumérés dans le « Guide de notation pour la sélection préalable des évaluations selon leur qualité » [traduction libre] du CAD-EVALNET (explications détaillées aux annexes 3 et 4).

L’examen préliminaire visait à déterminer lequel des scénarios suivants s’appliquerait à l’univers des rapports d’évaluation et, par la suite, les étapes à suivre pour évaluer l’efficacité de l’aide au développement de la BID à la lumière des renseignements disponibles.

• Scénario A : Les rapports de l’organisation multilatérale sur les critères d’efficacité du développement sont rigoureux et fondés sur des données probantes, et couvrent une grande proportion de ses investissements. Les intervenants bilatéraux de l’organisation peuvent donc se fier à ses rapports pour évaluer son efficacité en matière de développement.
• Scénario B : Les rapports de l’organisation multilatérale sur l’efficacité du développement sont insuffisants, mais l’organisation possède une fonction d’évaluation qui produit un ensemble adéquat de données fiables et crédibles qui peuvent être utilisées pour synthétiser le rendement de l’organisation pour ce qui est des critères d’efficacité du développement.
• Scénario C : Les rapports de l’organisation multilatérale sur les critères d’efficacité du développement sont inadéquats et les données d’évaluation disponibles sont soit inadéquates, soit non suffisamment crédibles ou fiables pour permettre la synthèse du rendement de l’organisation en ce qui concerne les critères d’efficacité du développement.

L’examen préliminaire a exclu 42 (soit 45 %) des 94 rapports, qui ne répondaient pas aux critères requis du « Guide de notation pour la sélection préalable des évaluations selon leur qualité. » [traduction libre] du CAD (c.-à-d. qu’ils n’ont pas obtenu le score minimum pour les critères énumérés à l’Annexe 4). L’examen a retenu 52 rapports (soit 55 %) répondant aux critères et donc jugés acceptables pour être inclus dans la méta‑synthèse.^{Note de bas de page 29}

Par la suite, dix-neuf de ces rapports ont également été rejetés : 12 étaient des évaluations organisationnelles (axées davantage sur les processus d’affaires organisationnelles que sur les résultats, la pertinence ou la durabilité des programmes sur le terrain) qui ne faisaient rapport sur aucun des six critères communs d’évaluation de l’efficacité du développement,^{Note de bas de page 30} et les cinq autres des évaluations de projet et d’impact trop pointues et ne précisant pas toujours le rôle de la BID.

L’examen préliminaire a permis d’appliquer le scénario B à la BID. L’échantillon final a été constitué de 33 rapports d’évaluation (voir l’Annexe 2). Les caractéristiques clés de l’échantillon sont décrites ci-dessous :

• Couverture géographique : L’échantillon d’évaluations couvre la majorité des pays membres emprunteurs de la BID, y compris les cinq pays membres emprunteurs bénéficiant des taux les plus élevés d’approbation de prêts et de garanties de la part de la BID entre 2008 et 2013 (c.-à-d. l’Argentine, le Brésil, le Mexique, la Colombie et le Pérou). L’échantillon comprend aussi des pays provenant de chacun des quatre groupes de pays membres de la Banque, selon leur niveau relatif de développement.^{Note de bas de page 31}
• Couverture des mécanismes de financement concessionnel de la Banque : L’échantillon comprend des rapports d’évaluation provenant de pays de la région qui bénéficient d’un financement concessionnel de la part du Fonds des opérations spéciales de la BID (dont la Bolivie, le Guatemala, la Guyane, Haïti, le Honduras, le Nicaragua et le Paraguay) ainsi que de subventions par l’entremise du Mécanisme pour les donations de la BID (dans le cas de Haïti).
• Vaste représentation des opérations de la BID (volume et type) : L’échantillon d’évaluations représente une proportion importante (94 %) des approbations de prêts et de garanties de la BID pendant la période allant de 2007 à 2010.^{Note de bas de page 32} En outre, l’échantillon comprend la plus récente évaluation du Fonds multilatéral d’investissement, qui a approuvé 76 projets d’une valeur globale de 93,4 millions $ US en 2012.^{Note de bas de page 33}
• Compte tenu de l’accent mis sur les évaluations programmes-pays, l’échantillon comprenait des données de rendement sur différents types de produits de la Banque, dont des prêts déterminés par la politique, des marges de crédit, des prêts à l’investissement et de la coopération technique, entre autres.
• Couverture des critères d’efficacité du développement : Les rapports de l’échantillon portaient tous sur des critères d’efficacité du développement, quoique la couverture des différents critères et sous-critères variait d’un rapport d’évaluation à l’autre.
• Période : Tous les rapports d’évaluation de l’échantillon ont été publiés entre 2008 et 2013, et la plupart visaient les programmes réalisés entre 2000 et 2010. Par conséquent, ni l’univers de 94 rapports d’évaluation ni l’échantillon de 33 rapports n’ont fourni beaucoup de détails sur les résultats des opérations de la BID à la suite de ses engagements pris à l’égard du plan BID-9.

2.3 Critères

La méthodologie employée pour cet examen ne repose pas sur une définition particulière de l’efficacité de l’aide humanitaire ou au développement. Elle se concentre plutôt sur les caractéristiques essentielles suivantes d’une programmation efficace pour les organisations multilatérales sur le plan du développement, dérivées des critères d’évaluation du CAD :

• les activités et les extrants des programmes répondent aux besoins du groupe cible et de ses membres;
• la programmation contribuerait à l’atteinte des objectifs de développement et des résultats escomptés à l’échelle nationale et locale;
• les bienfaits pour les membres du groupe cible et les résultats en matière de développement (et d’aide humanitaire) obtenus seraient durables;
• la mise en œuvre de la programmation serait efficiente par rapport à son coût;
• la programmation serait inclusive parce qu’elle appuierait l’égalité entre les sexes et elle serait durable sur le plan de l’environnement (et ne mettrait donc pas en péril les futures possibilités de développement);
• les programmes contribueraient à un développement efficace en offrant la possibilité aux organismes participants et aux organisations qui appuient le programme de tirer parti des expériences antérieures et d’utiliser des outils de gestion du rendement et de responsabilisation, comme l’évaluation et le suivi, pour améliorer l’efficacité au fil du temps.

La méthodologie prévoit donc un examen systématique et structuré des constatations des évaluations de la BID fondé sur six critères principaux et 19 sous-critères considérés comme étant essentiels à l’efficacité des programmes d’aide humanitaire et au développement (Annexe 1).

2.4 Processus d’examen et analyse des données

L’équipe d’examen était constituée de deux membres. Chacun d’entre eux a examiné un ensemble d’évaluations et, en s’appuyant sur l’information contenue dans les évaluations et la grille d’examen normalisée (Annexe 5), a accordé une note à chaque sous-critère.^{Note de bas de page 34}Les membres de l’équipe ont présenté des preuves tirées des évaluations pour justifier la notation.

Des efforts ont été déployés pour assurer la cohérence dans les notations (coefficient d’objectivité) : un atelier initial a été organisé pour que les membres de l’équipe examinent et comparent leurs notations pour le même rapport d’évaluation. Un atelier de mi-parcours a ensuite été organisé pour régler les problèmes auxquels se heurtaient les examinateurs. Au terme des examens et de la consignation des preuves qualitatives à l’appui des notations, le chef d’équipe a passé en revue toutes les notations pour s’assurer que les preuves présentées étaient suffisantes et conformes à la notation, et pour dresser la liste des facteurs favorisant ou empêchant la réalisation des critères énumérés par le CAD.

2.5 Autres données recueillies

L’examen des rapports d’évaluation de la BID destiné à documenter la méta-synthèse a été complété par un examen des documents internes et évaluations organisationnelles de la BID. Les documents d’information préparés en 2013 par l’OVE dans le cadre de l’évaluation à mi-parcours du plan BID-9 ont notamment été une importante source d’information (voir Annexe 6).

2.6 Limites

Le présent examen a eu lieu pendant une période de changement au sein de la BID; la Banque met en œuvre une série de réformes destinées à accroître son efficacité. Dans ce contexte, il y a eu plusieurs limites à l’examen de l’efficacité de l’aide au développement.

• Nature rétrospective : L’échantillon d’évaluations utilisé pour le présent examen couvrait les opérations de la BID de la fin des années 1990 à 2012 (environ) et est rétrospectif. Il est donc possible que la méta-synthèse identifie des obstacles à l’efficacité du développement qui ont déjà été partiellement ou totalement réglés par la BID, en particulier à la suite de la mise en œuvre de ses engagements pris dans le cadre du plan BID-9. Dans la mesure du possible, l’équipe d’évaluation a intégré des données provenant d’évaluations à mi-parcours pertinentes du plan BID-9 (publiées en 2013) pour fournir davantage de données et de conclusions récentes.
• Composition de l’échantillon : Comme la majorité des évaluations comprises dans l’échantillon visaient des programmes-pays, l’analyse a pu tirer parti des données probantes à l’échelle nationale (ce qui est essentiel lorsqu’on examine l’efficacité de l’aide au développement d’organisations multinationales). Toutefois, l’échantillon ne représentait pas un vaste éventail d’études sectorielles/thématiques et organisationnelles.^{Note de bas de page 35}Même si les évaluations de programme-pays (EPP) couvrent une variété de programmations nationales, elles ne présentent pas toujours un jugement ou un énoncé global concernant l’atteinte des objectifs à l’échelle nationale. Lorsque les EPP ne comportaient pas un tel jugement global, les examinateurs ont compilé des données objectives provenant de chacun des domaines visés pour effectuer leurs propres évaluations.
• Disponibilité des données : Comme mentionné précédemment, il y avait relativement peu d’évaluations sectorielles ou thématiques dans l’ensemble des documents disponibles et, par conséquent, dans l’échantillon des évaluations examinées. Des études sectorielles/thématiques fournissent de l’information sur les travaux de la Banque dans de nombreux pays et sont donc utiles pour renforcer la compréhension de ces travaux dans un domaine particulier (par exemple, l’eau et l’assainissement, l’énergie, l’éducation, etc.)
• Incapacité de fournir une analyse en lien avec les priorités stratégiques de la BID : Comme mentionné précédemment, le plan BID-9 établissait cinq priorités stratégiques pour la BID. Même si les programmes-pays ont des piliers qui peuvent refléter ces priorités, ils ont été conçus avant le plan BID-9 et adaptés aux exigences de chaque pays client. Par conséquent, il n’a pas été possible de rassembler et d’analyser les données de façon à pouvoir offrir une évaluation de la performance de la BID dans chacun de ces domaines prioritaires stratégiques.

3. Constatations concernant l’efficacité de l’aide au développement de la BID

3.1 Aperçu

Cette section présente les résultats de l’examen relativement aux six principaux critères et aux sous-critères connexes (Annexe 1). Chaque section inclut :

• Couverture : Une analyse de la couverture en fonction du nombre d’évaluations dans l’échantillon de 33 qui visent les six principaux critères et leurs sous-critères connexes.
• Principales constatations de l’examen, incluant des données quantitatives sur la distribution des notes (allant de Très satisfaisant à Très insatisfaisant) pour chaque sous-critère, tel qu’indiqué dans les évaluations examinées.^{Note de bas de page 36}
• Facteurs déterminants : Analyse qualitative des facteurs ayant affecté l’atteinte des résultats de la BID en fonction des divers critères. Les données présentées portent sur la fréquence à laquelle les analystes de l’équipe d’examen ont constaté que ces facteurs figuraient dans toutes les évaluations examinées. Même si ces illustrations brossent une vue d’ensemble de l’importance relative de ces facteurs, il ne faudrait pas les considérer comme un recensement exhaustif des facteurs contributifs ou nuisibles.

3.2 Atteinte des objectifs

3.2.1 Couverture

Dans les rapports examinés, la couverture des sous-critères liés à l’atteinte des objectifs variait. Il était largement question du sous-critère 1.1 sur l’atteinte des objectifs et du sous‑critère 1.4 sur les changements positifs aux politiques et aux programmes nationaux. Par contre, on n’accordait qu’une attention modeste au sous-critère 1.2 (c.-à-d. les effets positifs pour les membres du groupe cible) et très peu au sous-critère 1.3 (c.-à-d. les résultats de programme qui atteignent un grand nombre de bénéficiaires).

Tableau 3.1 Atteinte des objectifs – nombre d’évaluations qui abordent les sous-critères (n=33)^{Note de bas de page 37}

La couverture plus faible des sous-critères 1.2 et 1.3 peut s’expliquer en grande partie par la disponibilité limitée des données sur les résultats atteints par les programmes soutenus par la Banque (c.-à-d. la plupart des rapports ont indiqués que les données de suivi et d’évaluation étaient insuffisantes pour pouvoir évaluer l’efficacité du programme). Faute de données suffisantes sur les effets positifs ou la contribution à des répercussions à long terme, l’équipe d’examen l’a indiqué dans la grille d’examen.

3.2.2 Constatations

Parmi les évaluations qui abordaient l’atteinte des objectifs (sous-critère 1.1), la majorité (63 %) indiquait que les programmes et les projets de la BID n’avaient pas été en mesure d’atteindre entièrement leurs objectifs de développement déclarés. Cette situation découlait principalement de problèmes contextuels (environnement politique et économique) ou de l’insuffisance de données pour démontrer l’atteinte des objectifs et des résultats.

Les résultats ont été plus positifs pour ce qui est de la mesure dans laquelle les programmes ont eu des effets positifs pour les groupes cibles (sous-critère 1.2). Parmi les évaluations incluant des données dans ce domaine, près des deux tiers (63 %) ont signalé que les programmes avaient été positifs pour la population cible.

La couverture était concernant le changement pour les bénéficiaires apporté par le programme et sa contribution aux objectifs nationaux de développement était insuffisante et donc ne permettait pas la présentation de résultats relativement au sous-critère 1.3.

Les résultats ont été moins positifs en ce qui concerne les changements dans les politiques et les programmes nationaux (sous-critère 1.4); dans 64 % des rapports d’évaluation examinés, peu de données probantes ont permis de conclure que les programmes de la Banque avaient contribué à une modification importante des politiques.

Tableau 3.2 Atteinte des objectifs – répartition des cotes (%) par sous-critère^{Note de bas de page 38}

3.2.3 Facteurs déterminants

Selon les évaluations, les facteurs suivants avaient une influence sur l’atteinte des objectifs déclarés des programmes-pays :

• La Banque avait comparativement plus de succès dans les pays où elle avait pu développer une approche stratégique claire et un créneau de marché spécifique, et se concentrer sur un nombre limité de domaines où elle était perçue comme offrant des avantages comparatifs (10 des 33 rapports examinés). Au Nicaragua, par exemple, la Banque a été perçue comme offrant des avantages comparatifs sur le plan du transport, de l’énergie, de l’agriculture, de la santé et de l’eau.^{Note de bas de page 39}
• Le comportement de la Banque en matière de partenariats a joué un rôle important dans l’atteinte des objectifs déclarés (11 évaluations). Par exemple, son niveau de contribution aux dialogues sur les politiques, ses pratiques de communication et sa souplesse relativement au recentrage, au besoin, des buts et des ressources des programmes ont été particulièrement notés.
• Les prêts de la Banque ont été plus fructueux dans les pays où ils avaient été mis en œuvre par des organismes d’exécution plus professionnels et spécialisés que la moyenne (5 évaluations).

Les évaluations ont également souligné que les facteurs suivants ont limité l’atteinte des objectifs :

• Les projets et les programmes appuyés par la Banque avaient une très faible capacité de suivi et d’évaluation, et le niveau d’« évaluabilité » globale des projets et des programmes était faible (21 évaluations). Par conséquent, la plupart des rapports d’évaluation ont conclu qu’il était difficile, voire impossible, de mesurer l’efficacité du travail de la Banque à l’échelle nationale en raison de facteurs tels que le manque de données de base, le manque d’évaluations « ex-post », des indicateurs/cibles de résultats de projet inadéquats ou faibles, ainsi que d’objectifs de développement imprécis ou mal définis. Ce problème se posait avec une acuité particulière dans le cas du travail de coopération technique de la Banque, pour lequel aucun des rapports d’évaluation n’a été en mesure de relever un seul résultat ou impact concret. À cause de systèmes de suivi et d’évaluation déficients, il a été très difficile pour la Banque de faire état de résultats.

• L’absence d’une approche stratégique claire, conjuguée à des lacunes dans la conception des programmes et des projets, a été préjudiciable à l’atteinte des objectifs de la Banque (16 évaluations). En particulier, ces évaluations ont fait ressortir des lacunes quant à sa capacité d’élaborer une approche stratégique dans les stratégies-pays ainsi qu’à définir un créneau de marché clair. Dans certaines évaluations, la Banque a été perçue comme étant davantage réactive que proactive. D’autres ont noté que la Banque avait élaboré un large éventail de propositions génériques en vue d’interventions dans de multiples secteurs, mais sans tenir compte de ses avantages comparatifs. L’importance d’élaborer une approche stratégique claire et de tirer parti des avantages comparatifs a été confirmée dans un document d’information sur les programmes-pays produit par l’OVE en 2013. Le rapport a conclu que les stratégies-pays de la Banque contenaient rarement une approche stratégique pour la BID dans des secteurs clés, ou qu’elles n’exploraient pas entièrement ses avantages comparatifs.^{Note de bas de page 40}
• Des contextes politiques difficiles ainsi qu’un manque d’intérêt politique et de prise en charge nationale des projets ou des programmes appuyés par la Banque ont constitué des facteurs limitatifs (13 évaluations). Dans de nombreux cas, des retards importants dans l’approbation des projets et un manque d’intérêt ultérieur des gouvernements des pays emprunteurs ont exacerbé ces problèmes. Huit évaluations ont notamment démontré que des processus politiques nationaux complexes et inefficaces ont empêché l’approbation par le Congrès des projets proposés, ce qui a limité le nombre de prêts consentis. Même s’il est difficile pour la Banque d’influer sur ces facteurs externes, ceux-ci semblent fortement préjudiciables à l’efficacité de ses activités dans certains pays.
• Des faiblesses institutionnelles (ou des problèmes de capacité) et un manque d’expérience de la part des unités d’exécution ont limité l’atteinte des objectifs (6 évaluations).

3.3 Thèmes transversaux

3.3.1 Couverture

Aucune des évaluations examinées n’a analysé l’importance accordée à l’égalité entre les sexes dans les activités bénéficiant d’un soutien de la BID. De même, seulement cinq d’entre elles ont évalué si les changements découlant des projets appuyés par la BID étaient durables sur le plan de l’environnement.

Tableau 3.3 Thèmes transversaux – nombre d’évaluations qui abordent les sous-critères (n=33)

3.3.2 Constatations

Les évaluations examinées ne contenaient pas suffisamment d’information sur l’égalité entre les sexes ou la durabilité de l’environnement pour que l’équipe d’examen puisse se prononcer sur l’intégration de ces thèmes.

Il est important de noter que, selon le protocole d’évaluation de programme-pays de la BID, l’inclusion de critères d’évaluation liés à l’égalité entre les sexes et à la durabilité de l’environnement n’est pas obligatoire. Ces deux éléments sont plutôt inclus en tant que sous-critères possibles sous « impacts » que les évaluateurs peuvent utiliser.

Progrès et défis en matière d’égalité entre les sexes et d’intégration

Dans le cadre de son mandat relatif au plan BID-9, la Banque a adopté en 2010 une politique sur l’égalité entre les sexes et un plan d’action afin de répondre aux préoccupations soulevées par le groupe consultatif indépendant créé en 2009.^{Note de bas de page 41} Selon l’évaluation à mi-parcours des engagements à l’égard du plan BID-9 de l’OVE,^{Note de bas de page 42}la mise en œuvre du plan d’action progresse bien dans la plupart des domaines, même si les recommandations du groupe consultatif indépendant n’ont pas toutes été mises en pratique.

La Banque travaille à diverses initiatives dans ce domaine, dont la préparation de notes nationales et sectorielles sur l’égalité entre les sexes pour compléter les stratégies-pays. L’objectif de ces notes s’est modifié, passant d’un aperçu multisectoriel ou transversal à des analyses plus pointues de questions concernant l’égalité entre les sexes dans des domaines précis incluant l’essentiel des discussions de la BID avec les pays membres emprunteurs. Toutefois, selon les résultats de l’examen, il existe des variations dans la mesure selon laquelle ces notes ont influé sur le contenu des stratégies-pays.

D’autres initiatives comprenaient des activités d’apprentissage pour le personnel de la BID et une mise en œuvre pilote des garanties d’égalité entre les sexes, ont aussi été lancées en 2011-2012. Au moment de l’évaluation à mi-parcours par l’OVE, en mars 2013, environ 140 projets avaient fait l’objet d’une évaluation des risques possibles d’inégalité entre les sexes, et des mesures d’atténuation avaient été intégrées aux plans de gestion environnementale et sociale de sept projets. La Banque a aussi réalisé diverses évaluations sociales avec un accent sur l’égalité entre les sexes.

Malgré des progrès en matière d’égalité entre les sexes et d’intégration, l’évaluation à mi‑parcours de l’OVE a conclu que la prise en compte de la problématique hommes-femmes nécessitera d’autres efforts et que la Banque ne dispose toujours pas d’un programme à plus long terme clair en ce domaine. Selon cette même évaluation, la prise en compte de l’égalité entre les sexes dans les projets progresse cependant : 19 % des opérations de prêt approuvées au cours des trois premiers trimestres de 2012 incluaient un indicateur à cette fin dans leur matrice des résultats, contre 9 % en 2011. L’OVE a toutefois constaté que la pertinence et la qualité des indicateurs d’égalité entre les sexes variaient selon les cadres de résultats.^{Note de bas de page 43}

Contributions à la durabilité de l’environnement

En 1979, la BID est devenue la première banque multilatérale de développement à adopter une politique environnementale selon laquelle l’organisation devait appuyer les projets environnementaux et veiller à la qualité environnementale de ses activités. Cette politique a par la suite été actualisée plusieurs fois et, en 2006, la Banque a adopté sa Politique environnementale et de conformité aux sauvegardes, qui prévoit une approche en deux volets (prise en compte systématique et transversale et sauvegardes) pour s’acquitter de son engagement à l’égard de la durabilité de l’environnement. Cette approche vise à accroître les avantages environnementaux et sociaux et à éviter, réduire le plus possible et compenser les effets négatifs.^{Note de bas de page 44}

En 2009, la Banque a créé un groupe consultatif indépendant pour examiner la progression de la mise en œuvre de la politique et recommander d’éventuelles améliorations. Dans son rapport final présenté à la direction en février 2011, le groupe a indiqué que la prise en compte systématique et transversale de la durabilité environnementale s’était améliorée, mais qu’il restait encore d’importants défis à relever. La politique d’intégration n’avait pas bénéficié du niveau de priorité ni du leadership nécessaires. De même, la Banque ne disposait pas d’un cadre permettant de prendre en compte systématiquement et efficacement les préoccupations liées à la durabilité dans le cadre de ses activités et de ses stratégies-pays.”^{Note de bas de page 45} Elle avait toutefois réalisé certains progrès dans la mise en œuvre des engagements énoncés dans la politique de 2006. En réponse aux recommandations du groupe, la direction a créé un groupe de travail sur la durabilité, avec pour mandat d’élaborer un plan d’action axé sur la prise en compte systématique et transversale et des sauvegardes.

Selon l’évaluation à mi-parcours des engagements à l’égard du plan BID-9, la Banque a préparé des notes d’information sectorielles pour plusieurs stratégies-pays, mais elle n’a pas encore trouvé de moyen efficace d’intégrer la durabilité environnementale aux programmes-pays et il lui manque toujours un cadre global pour guider la prise en compte systématique et transversale.

Depuis 2005, la BID produit annuellement un rapport sur la durabilité. Il s’agit d’une auto‑évaluation de son rendement et de ses progrès annuels en matière de durabilité sociale et environnementale. Même si ce document ne constitue pas un examen indépendant du rendement de la Banque dans ces domaines, il offre néanmoins un aperçu de ses efforts en matière de durabilité sociale et environnementale et appelle l’attention sur certaines des questions environnementales les plus importantes dans la région.

3.4 Durabilité

3.4.1 Couverture

Dans l’échantillon de rapports, la couverture des sous-critères liés à la durabilité variait. Le sous-critère 3.1, « Maintien des bienfaits après la fin du programme » n’était abordé que dans 12 rapports. En revanche, le sous-critère 3.2, « Mesure dans laquelle les projets et les programmes soutenus par l’organisation multilatérale sont décrits comme durables », l’était dans 20 rapports. Le sous-critère 3.3, « Renforcement d’un environnement favorable », était quant à lui abordé dans 25 rapports d’évaluation.

Selon le protocole d’évaluation programme-pays de 2008 de la BID, la durabilité des programmes est l’un des critères d’évaluation obligatoires.^{Note de bas de page 46} Toutefois, la plupart des rapports d’évaluation n’ont signalé des problèmes de durabilité que pour un ou deux projets seulement. Il a donc été difficile pour l’équipe d’examen de porter un jugement global sur la durabilité de la programmation de la BID. Dans ces cas, l’équipe d’examen a catégorisé les sous-critères comme étant « non abordé » dans la grille d’examen.

Tableau 3.4 Durabilité – nombre d’évaluations qui abordent les sous-critères (n=33)

3.4.2 Constatations

Dans l’ensemble, les résultats relatifs à la durabilité étaient inégaux. Selon l’échantillon de rapports où il était question du sous-critère 3.2, 40 % des projets et des programmes étaient considérés comme durables sur le plan de la capacité institutionnelle ou communautaire. Parmi les rapports abordant le sous-critère 3.3, 36 % des programmes de développement contribuaient au renforcement des conditions propices. Les rapports examinés ne fournissaient que peu ou pas de renseignements sur le sous-critère 3.1 (probabilité de maintien des bienfaits après la fin du programme), de sorte l’équipe d’examen n’avait pas suffisamment d’information pour procéder à une évaluation.

Tableau 3.5 Durabilité – répartition des cotes (%) par sous-critère^{Note de bas de page 47}

3.4.3 Facteurs déterminants

Les examinateurs ont trouvé relativement peu de mentions explicites de facteurs ayant contribué positivement à la durabilité des projets et programmes soutenus par la BID. Il était parfois question de capacité institutionnelle et de volonté politique. Par exemple, dans l’EPP pour l’Équateur, on pouvait lire ce qui suit : « L’expérience réussie de la Banque auprès du ministère du Revenu de l’Équateur semble démontrer que, lorsqu’il existe une prise en charge politique au sein d’une institution – comme cela semble être le cas pour le SENPLADES^{Note de bas de page 48}–, il est possible d’obtenir des résultats très fructueux et durables contribuant au renforcement les institutions. » [traduction.]”^{Note de bas de page 49}

Les rapports examinés ont noté que les facteurs suivants ont limité la durabilité :

• L’absence de mécanismes de financement permanents pour les projets d’infrastructure et de prestation de services était considérée comme un facteur limitatif (6 évaluations). Plusieurs EPP ont noté que, pour les projets d’infrastructure routière, en particulier, le manque de financement et de capacités institutionnelles ne permettait pas d’assurer un entretien périodique et courant.
• L’absence d’une prise en charge des efforts par le pays, y compris d’une volonté politique, était considérée comme un facteur limitatif (5 évaluations). Par exemple, certains gouvernements n’approuvent pas les budgets nécessaires à l’entretien des routes et les priorités gouvernementales évoluent constamment, en raison des longs délais d’autorisation et d’exécution des projets.
• La Banque n’avait pas suffisamment insisté sur le renforcement des institutions et, dans certains cas, ses programmes étaient trop éparpillés (5 évaluations). Des activités mettaient à contribution un large éventail d’institutions hôtes, ce qui limitait d’autant la possibilité de renforcer des institutions d’une importance cruciale.^{Note de bas de page 50}
• La faible capacité des institutions locales et de l’État (4 évaluations, en particulier l’EPP pour Haïti de 2007-2011).

3.5 Pertinence

3.5.1 Couverture

La couverture de tous les sous-critères ayant trait à la pertinence était élevée dans les rapports. Presque toutes les évaluations ont porté sur les questions suivantes : l’adéquation du programme avec le groupe cible (sous-critère 4.1); l’harmonisation des programmes avec les objectifs de développement nationaux (sous-critère 4.2); l’efficacité des partenariats avec les gouvernements et d’autres organismes (sous-critère 4.3).

Tableau 3.6 Pertinence – nombre d’évaluations qui abordent les sous-critères (n=33)

3.5.2 Constatations

Selon les constatations de l’examen, il semble que les programmes de la BID correspondent généralement aux groupes cibles et aux priorités des pays membres emprunteurs en matière de développement. Selon 69 % des rapports dans lesquels il était question du sous‑critère 4.1, le programme était approprié au groupe cible. De même, 82% des rapports qui abordaient le sous-critère 4.2 rapportaient que le programme correspondait aux objectifs nationaux en matière de développement. Ces constatations confirment que les stratégies-pays de la BID sont généralement préparées en consultation avec les gouvernements clients.

Les programmes-pays tiennent compte des besoins de deux groupes cibles : le gouvernement et d’autres organismes d’exécution participant aux activités de la Banque; les bénéficiaires des activités spécifiques prévues dans les portefeuilles des pays. Les EPP examinées tendent à se concentrer davantage sur le premier groupe.^{Note de bas de page 51}

Par ailleurs, dans 70 % des rapports abordant le sous-critère 4.3, on faisait état de partenariats efficaces entre la BID et les gouvernements nationaux, les organismes de développement bilatéraux et multilatéraux, les ONG et d’autres partenaires.

Tableau 3.7 Pertinence – répartition des cotes (%) par sous-critère^{Note de bas de page 52}

3.5.3 Facteurs déterminants

Plusieurs facteurs ont permis de conclure à la pertinence des programmes de la BID, dont :

• Une approche ciblée ainsi que la définition de créneaux et de secteurs où les programmes de la Banque peuvent apporter une contribution utile (9 évaluations). (Voir l’encadré 6.)
• L’harmonisation intentionnelle du programme avec les priorités du pays emprunteur en matière de développement et l’exécution de projets découlant clairement d’initiatives gouvernementales (8 évaluations).
• L’utilisation d’outils appropriés pour la mise en œuvre du programme, dont des instruments de prêt souples ou novateurs (c.-à-d. des prêts déterminés par la politique et des marges de crédit assorties de conditions), et le recours à la coopération technique à l’appui de prêts à l’investissement ou d’autres prêts (7 évaluations).L’importance relative de la BID comme source de financement par rapport à d’autres sources (internes ou externes) (4 évaluations).^{Note de bas de page 53}

Par contre, plusieurs facteurs peuvent nuire à la pertinence des programmes de la Banque :

• Des stratégies de programmes-pays mal ciblées, qui n’adoptent pas une approche de programme et qui ne déterminent pas clairement des créneaux pour les travaux de la Banque (11 évaluations). Par exemple, les stratégies de programmes pour le Mexique (2001-2006) et le Paraguay (2003-2008) ne comportaient pas de définition claire de l’avantage comparatif de la Banque.
• Un mauvais choix d’instruments de prêt, ou des instruments mal adaptés au contexte (6 évaluations).
• Des diagnostics ou des analyses de mauvaise qualité ainsi qu’une piètre intégration aux objectifs du programme du pays et au programme de prêt (5 évaluations). Il a été démontré dans les évaluations de programme et thématiques que la disponibilité ou l’utilisation limitées d’études diagnostiques limitait la pertinence des programmes de la Banque à Haïti (2007-2011), au Salvador (2004-2008), au Paraguay (2003-2008) et à Trinité-et-Tobago (2000-2008), de même que celle de l’évaluation thématique organisationnelle des programmes de la Banque visant à contrer les problèmes de criminalité et de violence dans 11 pays d’Amérique latine et des Caraïbes.^{Note de bas de page 54}
• Le contexte politique dans les pays emprunteurs, qui peut empêcher la Banque et le gouvernement national de conclure une entente sur des questions stratégiques ou concernant des détails dans la conception ou la mise en œuvre de projets (4 évaluations). La Banque et les gouvernements nationaux peuvent avoir des opinions différentes au sujet de certains projets.^{Note de bas de page 55} Un contexte politique ou institutionnel instable peut aussi nuire à la capacité de la Banque et des gouvernements nationaux de nouer et de maintenir des relations efficaces (p. ex. l’Équateur en 2000-2006 et la Bolivie en 2004-2007).

3.6 Efficience

3.6.1 Couverture

L’échantillon de rapports soumis à évaluation offrait une excellente couverture de deux des sous-critères liés à l’efficience. Toutefois, on ne peut en dire autant du sous-critère 5.1, qui porte sur le rapport coût-efficacité des activités de programme. Cela n’est pas surprenant compte tenu de la difficulté à évaluer l’efficacité des activités de programmes.

Tableau 3.8 Efficience – nombre d’évaluations qui abordent les sous-critères (n = 33)

Comme l’indique le protocole d’évaluation programme-pays de la BID, « il est difficile de mesurer l’efficience à l’échelle du programme-pays du fait de la difficulté à estimer les effets bénéfiques combinés des diverses catégories d’aide de la Banque (c.-à-d. soutien aux politiques, renforcement des capacités, coordination de l’aide). » [traduction]^{Note de bas de page 56} À la place, les EPP utilisent généralement des indicateurs indirects de l’efficience du soutien de la Banque par rapport au coût. La plupart des EPP de l’échantillon analysaient certains paramètres liés à la gestion du portefeuille de la Banque. Ces paramètres sont élaborés pour les différentes étapes du cycle du projet et comprennent :

• le temps écoulé entre l’établissement du profil et l’approbation (temps moyen de conception du projet);
• le temps écoulé entre l’approbation et l’admissibilité aux premiers versements (indicateur du temps requis pour « démarrer » un projet);
• le rendement des décaissements (indicateur de la vitesse de mise en œuvre);
• le rendement de la mise en œuvre et de l’exécution (incluant les besoins de prolongation).

Ces paramètres, qui figurent régulièrement dans les EPP, ont contribué à étayer l’évaluation des sous-critères 5.2 et 5.3. Par ailleurs, même si les évaluations organisationnelles et thématiques examinées faisaient aussi ressortir des problèmes d’efficience en lien avec ces sous-critères, il n’y était pas question du rapport coût-efficacité des activités du programme. De même, il n’y avait généralement aucune donnée directe sur des projets particuliers, ni sur la mesure dans laquelle les intrants et les activités d’un projet produisaient des extrants de façon efficiente (écoles construites, kilomètres de routes construits, etc.), ce qui pourrait expliquer pourquoi peu d’attention a été accordée au sous-critère 5.1.

3.6.2 Principales constatations

Parmi les rapports examinés abordant le sous-critère 5.2, 41 % ont présenté une évaluation positive de la rapidité de mise en œuvre du programme. Parmi les rapports abordant le sous‑critère 5.3, seulement 32 % ont présenté une évaluation positive de l’efficience des systèmes et des procédures de mise en œuvre. La couverture du sous-critère 5.1 était insuffisante concernant l’efficience des activités du programme par rapport aux coûts, et donc n’a pas permis de présenter des résultats concernant ce sous-critère.

Il est important de noter que la BID contrôle davantage certaines étapes du cycle d’un projet que d’autres. Elle a davantage de contrôle sur la durée de conception d’un projet (de l’élaboration du profil à l’approbation) et moins de contrôle sur le démarrage (délai entre l’approbation et l’admissibilité aux premiers décaissements), car cela exige la ratification par le Congrès dans la plupart des pays, et l’emprunteur doit satisfaire certaines conditions. La mise en œuvre d’un projet peut aussi être affectée par les capacités de l’emprunteur et des organismes d’exécution.

Tableau 3.9 Efficience – répartition des cotes (%) par sous-critère^{Note de bas de page 57}

3.6.3 Facteurs déterminants

Les rapports d’évaluation mentionnaient rarement les facteurs ayant contribué positivement aux mesures d’efficience, mais, lorsqu’ils le faisaient, deux facteurs prédominaient :

• Le choix approprié d’instruments de prêt, y mentionnait-on, faisait partie des facteurs ayant contribué à un meilleur rendement par rapport aux indicateurs clés du portefeuille (5 évaluations). À titre d’exemple, des marges de crédit assorties de conditions pour des projets d’investissement peuvent être exécutées et accordées plus rapidement, et contribuer à des indicateurs favorables. L’incorporation de produits de prêts souples (nécessitant moins de transactions) a eu un effet positif sur les indicateurs d’efficience de la Banque au Brésil, en Colombie, au Pérou et au Mexique.
• Les changements opérationnels administratifs apportés par la Banque pour renforcer son rôle pendant la mise en œuvre des programmes-pays (5 évaluations). (Voir l’encadré 7). En 2006, par exemple, la Banque a effectué un recentrage organisationnel afin de renforcer sa concentration géographique, son expertise sectorielle et l’atteinte de résultats.^{Note de bas de page 58} Les effets positifs que ce recentrage a eus sur l’efficience ont été notés dans plusieurs rapports.

La presque totalité (28) des rapports d’évaluation examinés faisait état de la difficulté pour la BID d’exécuter de façon efficiente ses programmes. Il y était souvent mentionné que des facteurs politiques et institutionnels clés, qui font partie du contexte de travail de la Banque, nuisaient à son efficience, y compris :

• Les problèmes liés à la capacité des organismes d’exécution, notamment dans des domaines comme les ressources humaines (c.-à-d. le roulement du personnel), la gestion de projet et la coordination, nuisent à la mise en œuvre des projets (12 évaluations).
• Les dynamiques politiques dans les pays membres emprunteurs (11 évaluations). Dans plusieurs pays, les organes exécutif et législatif du gouvernement ne coordonnent pas leurs activités. Cela entraîne des retards dans les premières étapes du cycle des projets, car les prêts de la BID doivent être approuvés par l’assemblée législative. En outre, les périodes de crise politique (voir l’encadré 8) ou qui suivent l’arrivée au pouvoir d’un nouveau gouvernement aux politiques radicalement différentes (comme en Bolivie en 2005) influent habituellement sur l’efficience de la mise en œuvre d’un projet national.

D’autres facteurs limitatifs moins fréquents ayant une répercussion négative sur la rapidité et les coûts de mise en œuvre des projets ont été notés dans les rapports d’évaluation, dont :

• Des difficultés au niveau des transactions, dont des retards dans les contrats et l’approvisionnement, ont été notées dans huit EPP et dans l’évaluation thématique des projets de construction routière de la BID en 2010.^{Note de bas de page 59}
• Des lacunes dans la conception des projets ou la complexité de leur mise en œuvre (nombre d’entités impliquées et étendue des objectifs souhaités) ont été jugées problématiques. Des projets trop complexes ont dû être repensés, ce qui a entraîné des retards et des coûts administratifs additionnels (6 évaluations).
• Des contraintes de capacité du bureau national de la BID, dont un manque de personnel pour assurer la supervision du projet. Cela a été particulièrement évident dans les contextes caractérisés par une prolifération de petites activités dans de multiples secteurs (6 évaluations). Les rapports ont aussi noté des divergences entre les portefeuilles et les effectifs de spécialistes sectoriels présents dans les bureaux nationaux de la BID.
• Des lacunes au niveau de la capacité des pays membres emprunteurs à fournir les fonds de contrepartie prévus (4 évaluations). C’était souvent dû à des contraintes financières, et a entraîné des retards dans la mise en œuvre des projets.

3.7 Recours à l’évaluation et au suivi pour améliorer l’efficacité de l’aide au développement

3.7.1 Couverture

En général, la couverture des quatre sous-critères liés à l’évaluation et au suivi pour améliorer l’efficacité de l’aide au développement était élevée. Par contre, l’évaluation du sous‑critère 6.3 (gestion axée sur les résultats) a reçu une couverture légèrement moins importante. Cette situation s’explique par le fait que certains rapports d’évaluation n’ont pas fait mention de l’efficacité des systèmes et des pratiques de gestion axée sur les résultats de la Banque.

Tableau 3.10 Évaluation et suivi – nombre d’évaluations qui abordent les sous-critères (n=33)

3.7.2 Constatations

Même si les systèmes et les processus d’évaluation de la Banque ont été bien notés (sous‑critère 6.1), les autres sous-critères ont reçu des notes inégales et, en règle générale, insatisfaisantes.

Tableau 3.11 Évaluation et suivi – répartition des cotes (%) par sous-critère^{Note de bas de page 60}

Les notes positives pour l’efficacité des systèmes et des processus d’évaluation (sous-critère 6.1) témoignent principalement de la pratique en vigueur à la Banque, qui consiste à réaliser régulièrement des EPP. Dans les rapports examinés abordant l’efficacité des systèmes et des processus de suivi et de communication des résultats, les constatations étaient principalement insatisfaisantes (sous‑critère 6.2). Même chose pour les systèmes de gestion axée sur les résultats (sous‑critère 6.3). Les résultats étaient inégaux pour ce qui est de l’utilisation des conclusions d’évaluation pour améliorer l’efficacité du développement, cependant, la plupart des rapports donnaient une note insatisfaisante (sous-critère 6.4).

Presque tous les rapports d’évaluation examinés ont souligné des problèmes d’« évaluabilité » des programmes-pays, que ce soit en adoptant une approche descendante (c.-à-d. à l’échelle du programme) ou ascendante (c.-à-d. à l’échelle du projet).^{Note de bas de page 61}  En outre, les EPP examinées n’avaient souvent aucun rapport d’achèvement de projet sur lequel s’appuyer.

Selon l’OVE, l’évaluabilité du portefeuille de la Banque est extrêmement faible, de sorte qu’il est difficile d’établir de manière concluante l’efficacité de son aide au développement. Ce thème revenait constamment dans les EPP examinées.

Le groupe d’experts indépendants chargés de l’évaluation à la BID (2011) a confirmé que l’OVE avait eu de la difficulté à cibler « les résultats des activités financées par la BID ».”^{Note de bas de page 62}

Comme mentionné précédemment, le présent examen de l’efficacité de l’aide au développement ne tient pas compte des récentes améliorations apportées aux pratiques de suivi et de communication des résultats de la Banque, ni de la mesure dans laquelle l’évaluabilité des programmes et des projets peut avoir augmenté.

Selon l’évaluation à mi-parcours des engagements pris dans le cadre du plan BID-9 réalisée en 2013, la Banque a grandement amélioré sa capacité de suivi et de communication des résultats. Elle a aussi amélioré son Cadre d’efficacité du développement, renforcé ses procédures et ses processus visant à améliorer l’évaluabilité des projets, et renforcé ses outils de suivi et de communication des résultats des projets. Cette évaluation a aussi noté que certains des engagements pris dans le cadre du plan BID-9 n’ont pas encore été mis en œuvre. De plus, la BID est en train de mettre en place un ambitieux programme d’évaluation des impacts (67 évaluations en cours) ayant à la fois pour but de déterminer si les ressources d’aide au développement sont utilisées de manière efficace et efficiente, et ce qui contribue à l’efficacité des programmes et la façon de les améliorer.^{Note de bas de page 63} La Banque espère que ces évaluations permettront d’améliorer les connaissances en matière de développement dans la région et l’efficacité de l’aide au développement.

3.7.3 Facteurs déterminants

Les examinateurs ont trouvé peu d’exemples de facteurs (3 rapports d’évaluation seulement) ayant contribué positivement à l’efficacité des pratiques de suivi et d’évaluation de la Banque.

Deux rapports d’évaluation ont mentionné la capacité du pays comme facteur d’influence évident de la capacité d’assurer le suivi des résultats du projet. C’était le cas au Brésil, qui possède une forte capacité institutionnelle dans ce domaine, ainsi qu’au Mexique, où les programmes gouvernementaux appuyés par la BID sont soumis à une rigoureuse évaluation des impacts. Une évaluation organisationnelle a également noté la force du système de collecte des données du portefeuille jeunesse du Fonds multilatéral d’investissement et de son recours à de rigoureuses évaluations des impacts.^{Note de bas de page 64}

Un certain nombre de facteurs qui limitent la capacité de la Banque de démontrer sa contribution à l’atteinte des résultats et à l’efficacité de l’aide développement ont été notés. Ils s’énoncent comme suit :

• La faible évaluabilité des programmes et des projets soutenus par la Banque (32 évaluations). L’EPP pour le Brésil a qualifié le problème de systémique pour la Banque : « Le faible nombre de projets qui recueillent de l’information sur les progrès révèle un grave problème au sein du système de suivi de la Banque. En règle générale, peu importe l’emprunteur et le secteur, il n’existe aucune distinction claire entre les intrants et les extrants en ce qui concerne les projets les plus anciens; peu d’indicateurs répondent aux critères SMART^{Note de bas de page 65}; et la plupart des projets ne disposent pas de données de référence et de mécanismes de collecte des données. De nombreux projets plus anciens ont été adaptés en fonction de l’évolution des systèmes de la Banque, en particulier des rapports d’achèvement de projet. Il est maintenant généralement admis que ces rapports fournissent très peu d’information. » [traduction]^{Note de bas de page 66}
• L’absence de données objectives sur l’utilisation des recommandations par la Banque (26 évaluations). La majorité des évaluations examinées ne comportaient pas de réponse de la direction et n’indiquaient pas dans quelle mesure on avait donné suite aux recommandations des évaluations précédentes pour améliorer l’efficacité des programmes-pays. Les quelques évaluations qui contenaient une réponse de la direction ont conclu que la plupart des recommandations des rapports d’évaluation précédents restaient d’actualité et que peu semblait avoir été fait pour les mettre en œuvre.
• La faiblesse générale et le manque de fiabilité des systèmes et pratiques de suivi et d’évaluation des projets et programmes soutenus par la Banque (16 évaluations).

• Des cadres de résultats de projet et de programme laissant à désirer, assortis d’indicateurs faibles et incomplets, ainsi que l’absence de cibles, de données de base et de jalons (16 évaluations). Selon de nombreux rapports examinés, les lacunes des cadres pour mesurer les résultats des projets et des programmes limitaient sensiblement la capacité de la Banque à rendre compte systématiquement de ses résultats.
• Des objectifs de développement mal définis, qui ont empêché de mesurer les résultats de la Banque et la mise en œuvre de pratiques de gestion axée sur les résultats (9 évaluations).
• Une faible capacité de collecte des données dans les pays membres, qui a été fortement préjudiciable à l’élaboration de systèmes efficaces de suivi et d’évaluation, en plus de nuire à la capacité de la Banque de recueillir des données quantitatives sur les résultats (4 évaluations). Cette lacune a été particulièrement évidente à Haïti, en Guyane et à Trinité-et-Tobago.

4. La BID et le Canada

4.1 Introduction

Ce chapitre vise à évaluer la collaboration entre le MAECD et la BID entre 2010 et 2013 en fonction des critères de pertinence, d’efficacité et d’efficience. Il répond aux exigences d’évaluation du MAECD et du gouvernement du Canada. Il fournit également au MAECD une orientation fondée sur des données probantes concernant sa collaboration future avec la BID.

Le présent examen se concentre sur la collaboration du Canada avec la BID en tant que membre du Conseil d’administration de la Banque et contributeur au Fonds multilatéral d’investissement et de fonds fiduciaires multidonateurs gérés par la Direction générale des enjeux mondiaux et du développement du MAECD. Cet examen n’englobe pas directement les investissements réalisés par des voies bilatérales, comme des projets énergétiques au Pérou, le programme Compete Caribbean (axé sur la croissance du secteur privé dans les pays des Caraïbes) ou des projets d’infrastructure et d’éducation en Haïti.

L’examen de l’efficience de l’aide au développement de la BID a débuté avant la création du MAECD en 2013. Le présent chapitre tient donc compte de la stratégie de collaboration avec la BID élaborée par l’ancienne Agence canadienne de développement international (ACDI). L’ancienne ACDI a fusionné avec l’ancien MAECI, de sorte qu’elle est maintenant intégrée au MAECD.^{Note de bas de page 67} En outre, le présent chapitre a été rédigé pendant la fusion, qui pourrait influer à l’avenir sur la conduite des relations avec la Banque.

Après l’introduction, la section 4.2 décrit le soutien financier du Canada au profit de la BID et sa relation avec celle-ci. La section 4.3 examine la pertinence du travail de la BID par rapport aux priorités et à la stratégie du Canada en matière de développement international dans les Amériques, et dans quelle mesure la stratégie de l’ancienne ACDI correspondait aux priorités du Canada dans le contexte de la BID. La section 4.4 examine dans quelle mesure le MAECD a effectivement mis en œuvre sa stratégie de collaboration avec la BID, et la section 4.5 se penche sur l’efficacité de cette collaboration.

Méthodologie

L’évaluation repose sur l’examen de documents et un nombre limité d’entrevues réalisées auprès de membres du personnel du MAECD et de la BID, ainsi que d’autres donateurs. Parmi les documents examinés, on trouve des descriptions des objectifs généraux du Canada en matière d’affaires étrangères et de développement, ainsi que des documents internes de la BID, dont des rapports d’évaluation. La liste des documents examinés et des personnes rencontrées dans le cadre de cette évaluation se trouve à l’annexe 7.

Le critère de l’efficacité pose un défi, car peu de données permettent d’évaluer le rapport entre les intrants (temps et ressources) et les extrants de la collaboration entre le Canada et la BID, qui peut souvent s’avérer intangible. L’accent a donc été mis sur les méthodes de gestion des relations, y compris la planification, le suivi et la communication. 

4.2 Soutien du Canada au profit de la BID et relation avec celle-ci

Soutien du Canada au profit de la BID

Le Canada a démontré son engagement envers l’Amérique latine, aux Caraïbes et à la BID sous la forme d’un soutien financier important aux activités de la BID depuis 1972.

Entre 2008-2009 et 2012-2013, l’ancienne ACDI a versé 428,97 millions de dollars au profit de la BID. La Direction générale des programmes multilatéraux et mondiaux (maintenant appelée Direction générale des enjeux mondiaux et du développement) a géré 74 % de ces ressources budgétaires.

Tableau 4.1 Versements de l’ACDI à la BID (2008-2013)

Grâce à sa participation à un peu plus de 4 % du capital ordinaire, le Canada est le troisième actionnaire en importance sur les 22 pays membres non emprunteurs de la Banque.^{Note de bas de page 68} Il apporte aussi une contribution importante au Fonds d’investissement multilatéral (MIF), qui fait la promotion d’une croissance inclusive en Amérique latine et dans les Caraïbes grâce au développement du secteur privé.

Relation entre le Canada et la BID

La collaboration du Canada avec la BID prend diverses formes. Le MAECD, en étroite collaboration avec Finances Canada, est le principal ministère canadien qui supervise les activités de la Banque. Au sein du MAECD, c’est la Direction générale des enjeux mondiaux et du développement qui coordonne la stratégie institutionnelle avec Finances Canada.

Le Canada joue également un rôle dans la structure de gouvernance de la BID. L’Assemblée des gouverneurs, qui comprend des représentants des 48 pays membres, est le principal organe directeur de la Banque. Le représentant du Canada à l’Assemblée des gouverneurs est le ministre des Affaires étrangères, qui est responsable de l’application de la Loi sur l’aide au développement international. Son suppléant est le sous-ministre adjoint de la Direction des finances et échanges internationaux, Finances Canada.

Le deuxième palier de la structure de gouvernance de la Banque est le Conseil d’administration, composé de 14 membres. Le Conseil se réunit chaque semaine et supervise la gestion quotidienne des activités de la Banque. Le Canada occupe un siège permanent au Conseil d’administration et son représentant est l’administrateur pour le Canada; il ne représente pas d’autres pays dans le cadre de son mandat. Le Canada siège à tous les comités du Conseil. Entre 2010 et 2013, le représentant du Canada a présidé des comités du Conseil, des groupes de travail et des groupes spéciaux qui ont participé à la neuvième augmentation générale du capital et au programme de réforme de la Banque.

Le bureau de l’administrateur pour le Canada communique avec les organismes gouvernementaux et les ministères canadiens compétents. Il collabore également avec des acteurs commerciaux, des universitaires et des ONG à des dossiers liés à la BID et aux intérêts du Canada en Amérique latine et dans les Caraïbes. La responsabilité de la gestion du soutien du MAECD varie en fonction du type de financement fourni (c.-à-d. multilatéral ou bilatéral). La Direction générale des enjeux mondiaux et du développement du MAECD gère les contributions de base du Canada à la Banque et est responsable de la relation institutionnelle globale. Cette fonction comprend aussi la gestion des contributions à des fonds fiduciaires thématiques. Le Canada fournit en outre un soutien direct à la BID pour des projets mis en œuvre dans les pays membres emprunteurs. Les directions générales de programmes géographiques du MAECD gèrent le financement bilatéral et les relations avec la BID dans ces pays.

4.3 Pertinence

4.3.1 Introduction

Cette section présente une évaluation de trois dimensions de la pertinence dans le cadre de la collaboration entre le MAECD et la BID. Elle examine la pertinence de la BID par rapport à la Stratégie d’engagement du Canada dans les Amériques et aux priorités du Canada en matière de développement international. Elle se penche aussi sur la pertinence de la stratégie de collaboration de l’ancienne ACDI avec la BID (c.-à-d. si cette stratégie s’attaque aux bons problèmes à la lumière des priorités du Canada).

4.3.2 Pertinence de la BID dans le cadre de la Stratégie d’engagement du Canada dans les Amériques

La BID est l’un des principaux partenaires du Canada en Amérique latine et dans les Caraïbes, et est pertinente du point de vue de la Stratégie d’engagement du Canada dans les Amériques. En 2012, le Canada a renouvelé cette stratégie, et plus d’une trentaine de ministères, organismes et sociétés d’État accordent maintenant une priorité stratégique à la collaboration avec des pays de cette région afin d’atteindre des buts communs et de promouvoir les intérêts canadiens.^{Note de bas de page 69} La stratégie de 2012 met l’accent sur trois objectifs : accroître les possibilités économiques mutuelles; renforcer la sécurité et les institutions; et favoriser des relations durables. Le travail du Canada auprès de la BID contribue grandement à l’atteinte de ces objectifs.^{Note de bas de page 70} La BID est la plus ancienne et la plus importante banque régionale au monde. Elle offre davantage de financement aux pays d’Amérique latine et des Caraïbes que toute autre institution financière régionale et, à ce titre, elle est à la fois crédible et influente dans la région.

Au chapitre de l’accroissement des possibilités économiques mutuelles, un des principaux objectifs du Canada consiste à promouvoir la participation canadienne à des partenariats public‑privé ainsi qu’avec des banques internationales et régionales, dont la BID. L’objectif visant à mettre à profit l’aide au développement du Canada afin de favoriser une croissance économique durable correspond également au mandat élargi de la BID, qui consiste à promouvoir la croissance économique dans les pays d’Amérique latine et des Caraïbes.

Quant au renforcement de la sécurité et des institutions, la stratégie pour les Amériques met l’accent sur l’importance de mettre à contribution l’expérience canadienne pour renforcer les institutions nécessaires à la stabilité et à la croissance. Le renforcement des institutions et de la capacité du secteur public fait partie des objectifs qui guident la collaboration du MAECD avec la BID.

Enfin, la stratégie pour les Amériques s’appuie sur quatre instruments : le renforcement des relations bilatérales; le renforcement des organisations régionales; le soutien des partenariats canadiens; et l’accroissement de la présence du Canada. La stratégie indique clairement que la BID est l’une des principales organisations régionales avec laquelle le Canada peut collaborer pour atteindre ces buts.^{Note de bas de page 71}

4.3.3 Pertinence de la BID par rapport aux objectifs du Canada en matière de développement international

Les objectifs de la BID cadrent étroitement avec les priorités thématiques du Canada, qui consistent à favoriser une croissance économique durable, accroître la sécurité alimentaire et assurer l’avenir des enfants et des jeunes. La BID a aussi montré l’importance qu’elle accordait à des thèmes transversaux qui devraient être intégrés à l’ensemble des programmes et des politiques du Canada en matière de développement international, soit l’égalité entre les sexes, l’environnement et la gouvernance).

La stratégie de la BID est centrée sur la croissance économique durable

Pour ce qui est des priorités du Canada en matière de développement, la BID a contribué de façon évidente à la stimulation de la croissance économique. C’est en grande partie dû au fait que la Banque est une institution financière. La stratégie institutionnelle de la Banque (BID-9) contient deux objectifs globaux, dont l’un est l’atteinte d’une croissance économique durable en Amérique latine et dans les Caraïbes. En outre, le plan BID-9 prévoit des mesures dans cinq priorités sectorielles, dont l’une est le renforcement des institutions pour la croissance et le bien‑être social – qui met l’accent sur l’accès aux marchés financiers, en particulier pour les petites et moyennes entreprises (PME).^{Note de bas de page 72} La BID dispose d’une panoplie d’instruments destinés à appuyer une croissance économique durable, y compris « Opportunités pour la majorité », créé en 2007 pour promouvoir et financer des modèles d’affaires durables et axés sur les marchés qui font participer les entreprises privées, les administrations locales et les collectivités au développement et à la fourniture de produits et services de qualité aux populations situées au bas de la pyramide en Amérique latine et dans les Caraïbes.^{Note de bas de page 73}

Le Fonds multilatéral d’investissement (MIF) a été créé pour appuyer la croissance économique et réduire la pauvreté en encourageant l’investissement privé et en favorisant le développement du secteur privé. C’est le plus important fournisseur d’assistance technique au développement du secteur privé dans la région. Le MIF offre du financement sous la forme de subventions, de prêts, de garanties, de capitaux ou de quasi-capitaux, ainsi que des services-conseils. Selon une récente évaluation, le MIF bénéficie d’un avantage comparatif clair lorsqu’il s’agit de répondre aux besoins des populations pauvres et à faible revenu, et il a œuvré là où le secteur privé fait face à des contraintes.^{Note de bas de page 74} Il est aussi reconnu comme un laboratoire d’innovation pour la BID.

L’initiative Opportunités pour la majorité et le MIF s’avèrent utiles à la concrétisation de l’une des priorités du Canada, qui consiste à stimuler la croissance économique dans la région.

Le rôle du groupe de la BID dans le financement du développement du secteur privé est maintenant un enjeu clé, car son programme de réforme du secteur privé vise à fusionner les mécanismes actuels concernant ce secteur, y compris les prêts sans garantie souveraine de la BID, du MIF et de la Société interaméricaine d’investissement (SII). Non seulement cette fusion englobera des questions organisationnelles, comme le contrôle et la reddition de comptes, mais elle donnera aussi probablement lieu à des discussions sur le rôle du secteur privé dans le développement.

Les projets et programmes de la BID aident à assurer l’avenir des enfants et des jeunes

Grâce à des investissements dans le développement de la petite enfance, la transition école‑travail et l’amélioration de la qualité des éducateurs, la BID a contribué à améliorer la situation des enfants et des jeunes en Amérique latine et dans les Caraïbes. En outre, le MIF met l’accent sur le développement des compétences, ce qui s’est avéré bénéfique pour les enfants et les jeunes de cette région.

La BID appuie depuis longtemps les programmes de transferts conditionnels en espèces, qui fournissent une aide financière directe aux familles pauvres (surtout au Mexique, au Brésil, en Colombie et au Guatemala). Son travail dans ce domaine a fait l’objet de remarques positives dans les EPP examinées dans le cadre de l’examen de l’efficacité de l’aide au développement de la BID.

Les efforts de la Banque visant à aider les pays membres à développer une méthode efficace et universelle d’inscription à l’état civil concordent également avec les priorités du Canada, car de meilleurs états civils permettront aux enfants d’avoir une identité juridique, et ils pourront donc revendiquer les droits et les avantages auxquels ils ont droit.

Le soutien de la BID au développement de l’agriculture contribue à la sécurité alimentaire

Une étude récente menée par la BID a révélé l’importance de l’Amérique latine en tant que grenier du monde.^{Note de bas de page 76} Les investissements dans des systèmes agricoles productifs et durables sur le plan de l’environnement peuvent donc contribuer à la fois à la sécurité alimentaire mondiale et au développement régional. Tel qu’indiqué dans le plan BID-9, une des quatre priorités stratégiques de la Banque englobe la protection de l’environnement, la réaction aux changements climatiques, la promotion d’énergies renouvelables et l’amélioration de la sécurité alimentaire. Pour la Banque, le principal moyen d’améliorer la sécurité alimentaire consiste à investir dans l’agriculture, en particulier dans la production agricole, l’infrastructure et les chaînes de valeur. En 2008, la BID a mis en œuvre trois initiatives visant à atténuer les effets des prix des aliments sur les pauvres et à accroître la production alimentaire, notamment en investissant dans l’infrastructure agricole, les systèmes d’irrigation par exemple.

L’action de la BID en faveur de l’égalité entre les sexes, de l’environnement et de la gouvernance

La BID s’est engagée à intégrer l’égalité entre les sexes et, comme mentionné précédemment, elle a entrepris en 2010 la mise en œuvre d’une nouvelle politique sur l’égalité entre les sexes et d’un plan d’action en ce domaine. Même si les mesures prises sont encore récentes et que leurs effets restent encore à déterminer, la Banque fait preuve d’un leadership et d’une volonté d’intégrer les questions d’égalité entre les sexes dans ses programmes et ses projets.

La BID a aussi fait des efforts pour intégrer les questions de durabilité de l’environnement dans sa programmation. En 1979, sa première politique environnementale visait la qualité environnementale de ses activités et le soutien de projets environnementaux en Amérique latine et dans les Caraïbes. En 1994, à l’occasion de la Huitième reconstitution des ressources, la Banque a ciblé l’environnement, la réduction de la pauvreté et l’équité sociale comme domaines de priorité de ses projets et activités de financement, avec des mandats précis en matière d’environnement.^{Note de bas de page 77}

L’Assemblée des gouverneurs a approuvé en 2011 une stratégie sur les changements climatiques et les énergies renouvelables englobant cinq volets d’engagement de la BID : connaissances nécessaires pour répondre aux priorités d’atténuation et d’adaptation; capacité institutionnelle, publique et privée en matière de changements climatiques et d’action dans la région; élaboration de lignes directrices visant à atténuer les répercussions des activités de la BID dans certains secteurs; ciblage et élaboration de programmes de prêt et de coopération technique dans des secteurs clés; et optimisation des investissements dans le secteur privé en lien avec des initiatives liées aux changements climatiques et aux énergies renouvelablesy.^{Note de bas de page 78} Fait important, selon la Neuvième augmentation générale du capital de 2010 de la BID, d’ici 2015, 25 % des programmes de prêts de la Banque seront liés aux changements climatiques, aux énergies renouvelables et à la durabilité de l’environnement.

La BID travaille avec des pays membres emprunteurs à une multitude de dossiers liés à la bonne gouvernance, y compris le renforcement et la réforme du secteur public, la décentralisation, la fiscalité et l’économie. Ses domaines d’intervention sont décrits dans la stratégie sectorielle sur les institutions pour la croissance et le bien-être social, approuvée en 2011. Elle encourage diverses initiatives d’intérêt pour le Canada, dont la sécurité des citoyens, la transparence, et des systèmes d’inscription universels.

Rôle de la BID dans des pays de priorité stratégique pour le Canada

La Banque est active dans les Caraïbes, une des régions prioritaires du Canada, et appuie bon nombre des pays de concentration du Canada comme le Honduras, le Pérou, la Colombie, la Bolivie et Haïti. Dans le cadre de la Neuvième augmentation générale du capital (BID-9), la Banque a affecté 479 millions de dollars au remboursement de la dette d’Haïti et décidé que les emprunts non versés à ce pays seraient convertis en subventions afin de faciliter la remise sur pied du pays à la suite du séisme de janvier 2010.

L’examen approfondi de la coopération bilatérale du Canada avec la BID dans ces pays ne fait pas partie de la présente évaluation. Néanmoins, les répondants de la BID et d’autres donateurs reconnaissent que le Canada s’efforce constamment de promouvoir et d’aider les activités de la Banque dans les Caraïbes, en particulier à Haïti. Peu d’autres pays donateurs manifestent autant d’intérêt et s’expriment avec autant de force face aux enjeux auxquels est confrontée cette sous‑région.

4.3.4 Pertinence de la stratégie de coopération de l’ACDI avec la BID

La stratégie de coopération de l’ACDI avec la BID décrivait quatre objectifs, publiés sur le site Web du MAECD.^{Note de bas de page 79} En général, ces objectifs globaux correspondaient aux défis de la BID à l’époque et visaient à la mettre à contribution dans des domaines prioritaires pour le Canada. Le Canada a manifesté clairement son soutien à cette institution en mettant en œuvre la stratégie BID-9 et les réformes connexes. L’ACDI s’est clairement engagée à appuyer le nouveau groupe d’intervention en Haïti, qui était nécessaire pour renforcer la participation de la Banque et appuyer ce pays à la suite du séisme. En outre, l’ACDI s’est engagée à aider la Banque à améliorer son efficacité organisationnelle et ses résultats.

Ces objectifs ont surtout été élaborés pour guider les efforts de l’Agence et n’étaient pas toujours bien connus des acteurs externes. Pour les répondants qui les connaissaient bien, il s’agissait avant tout d’objectifs généraux, qui englobaient un large éventail d’initiatives, pour répondre à de nombreux besoins, de sorte qu’il était difficile de mieux cibler ou sélectionner les activités.

La stratégie a été conçue du point de vue de l’ancienne ACDIet ne reflétait pas à ce moment les efforts d’autres ministères. Selon certains répondants, il est possible d’améliorer la pertinence d’une stratégie du MAECD, pourvu que celle-ci englobe l’ensemble des « outils » dont dispose le nouveau ministère : par l’intermédiaire non seulement de la Direction générale des enjeux mondiaux et du développement, mais aussi des programmes géographiques et du Bureau de l’administrateur pour le Canada à la BID.

4.4 Évaluation de l’atteinte des objectifs stratégiques de l’ancienne ACDI

Cette section se penche sur les progrès réalisés par le Canada pour atteindre ses quatre objectifs de collaboration avec la BID. L’ACDI n’a pas développé de cadre officiel de communication des résultats en lien avec ces objectifs. Cette section présente donc les principales réalisations ou lacunes en lien avec l’atteinte des objectifs globaux.

Objectif 1 – Travailler avec les autres donateurs de la BID afin de mettre en œuvre la nouvelle stratégie de la BID décrite dans le rapport sur la Neuvième augmentation générale du capital de la Banque interaméricaine de développement

L’ACDI a largement atteint son objectif d’appuyer la mise en œuvre de la stratégie institutionnelle de la BID convenue dans la Neuvième augmentation générale du capital. Selon cet objectif, le Canada devait porter une attention particulière à trois éléments : l’appui à Haïti, les besoins des plus pauvres, et le suivi du programme de réforme de la BID.

• Selon l’évaluation à mi-parcours des engagements pris à l’égard du plan BID-9 réalisée par le Bureau de l’évaluation et de la supervision (OVE) en 2013, la Banque avait adopté des politiques d’appui aux réformes contenues dans le plan BID-9, mais il restait des obstacles à la mise en œuvre dans certains domaines.^{Note de bas de page 80} En tant que membre du Conseil d’administration, le Canada a participé aux principales discussions du Conseil et aux principaux documents d’orientation stratégique, et surveille maintenant la mise en œuvre des réformes.
• En outre, plusieurs des personnes rencontrées ont indiqué que le Canada avait joué un rôle actif et positif au sein du groupe spécial qui s’attaque aux problèmes rencontrés dans le cadre de l’introduction d’évaluations de durabilité macroéconomique, une des exigences les plus difficiles des engagements liés au plan BID-9. L’évaluation à mi-parcours du plan BID 9 incluait une recommandation concernant la reconception de ce processus d’évaluation.^{Note de bas de page 81}
• Dans le cadre de son mandat lié au plan BID-9, la Banque s’est engagée à effacer la dette accumulée par Haïti jusqu’en 2010 (479 millions $ US) et à approuver annuellement 200 millions $ US en subventions au cours des 10 prochaines années. L’évaluation des engagements pris à l’égard du plan BID 9 réalisée en mars 2013 confirme que ces mandats financiers précis concernant Haïti ont été en grande partie respectés. Elle confirme aussi que la Banque a joué un rôle actif dans la mobilisation des ressources d’autres organisations bilatérales, la coordination de ses activités avec ses partenaires de la communauté internationale, et l’organisation de tables rondes techniques concernant ses secteurs stratégiques prioritaires.^{Note de bas de page 82} L’évaluation a également confirmé que l’atteinte des résultats et le maintien de la pertinence en Haïti demeure un important défi pour la BID.

Le MAECD a contribué à assurer le suivi des engagements de la Banque envers Haïti et à l’aider à adapter sa structure et ses approches en fonction du contexte plus fragile de ce pays (y compris la création d’un groupe d’intervention en Haïti à la suite du séisme de 2010).

Objectif 2 – Appuyer les efforts de la BID visant à renforcer les capacités des institutions et du secteur public, à favoriser le développement du secteur privé, à améliorer la réglementation et les cadres relatifs au commerce, et à favoriser l’intégration régionale

Le Canada a appuyé les efforts de la Banque visant à atteindre les buts énoncés dans cet objectif grâce à ses fonds fiduciaires, ses idées et ses conseils stratégiques.

Fonds d’affectation spéciale

• Le Canada est reconnu pour ses contributions (10 millions $ CA) au « Fonds d’affectation spéciale stratégique et thématique pour l’aide au commerce », qui aide les pays d’Amérique latine et des Caraïbes à élargir leurs débouchés commerciaux en renforçant les capacités d’approvisionnement et l’infrastructure commerciale dont ils ont besoin pour engager une libéralisation du commerce et en bénéficier.^{Note de bas de page 83} Ce fonds de subventions fait partie des outils dont dispose la BID pour favoriser l’intégration et le commerce dans la région. En outre, ce fonds comprend un mécanisme de subventionnement des projets d’assistance technique qui portent sur le commerce et l’égalité des sexes ou sur le commerce et l’environnement, deux des thèmes transversaux du Canada.
• Le Canada a versé une contribution similaire (10 millions de dollars canadiens) au Fonds d’intégration de l’infrastructure régionale (RIIF).
• En 2012, le Canada a lancé le Fonds climatique canadien pour le secteur privé dans les Amériques, assorti d’un budget de 250 millions $ CA, son plus important partenariat avec la Banque. Ce fonds permet de financer des projets axés sur l’énergie renouvelable, l’efficacité énergétique ainsi que la réduction des émissions de gaz à effet de serre et des vulnérabilités aux changements climatiques. Même s’il est trop tôt pour constater les résultats d’un tel investissement, force est de noter l’importance de ce fonds pour la Banque. Il est considéré comme un « tournant » pour la participation du secteur privé à la lutte contre les changements climatiques.

Selon les entrevues réalisées à ce jour, en contribuant à des fonds d’affectation spéciale, le Canada a pu influer sur les orientations stratégiques dans la région, rester au courant des dynamiques régionales et tisser des liens avec le personnel de la Banque afin de promouvoir un esprit de bonne volonté et de coopération.

Le soutien du Canada à des fonds d’affectation spéciale a aussi eu des effets de levier, au premier rang desquels figure l’augmentation du financement consenti par la BID. Selon les données, entre 1984 et 2013, les contributions du Canada à des fonds d’affectation spéciale à donateur unique et ses subventions à des projets précis dans la région se sont traduites par des prêts supplémentaires d’environ 367 millions $ US de la BID.^{Note de bas de page 84} En outre, la participation du Canada à des fonds d’affectation spéciale se trouve souvent amplifiée par les contributions d’autres pays. Par exemple, s’agissant du Fonds d’intégration de l’infrastructure régionale, pour chaque dollar versé par le Canada, 1,20 $ a été versé par l’Espagne, les États-Unis, le Mexique et la Colombie. D’autres effets de levier semblables ont été signalés en lien avec la participation du Canada au fonds d’aide au commerce.

Dans le domaine du développement du secteur privé, les documents et les entrevues indiquent que le Canada a joué un rôle visible dans le MIF pendant la période examinée. Il est le sixième donateur du MIF en importance, et il collabore aussi avec le MIF dans des dossiers stratégiques comme l’accent sur les résultats et l’autonomisation économique des femmes. Le MIF a été en mesure de tirer parti de l’expertise du Canada en matière de données sur l’efficacité du développement. Le cadre de résultats et les outils de conception de projets du MAECD ont été très utiles à l’élaboration des cadres du MIF.

Objectif 3 – Aider la BID à améliorer son rendement sur le plan des activités, des résultats de développement et de l’importance accordée à l’efficacité de l’aide.

ET

Objectif 4 – Travailler plus intensivement avec la direction de la BID afin d’améliorer l’efficacité institutionnelle, y compris l’élaboration et l’utilisation d’un cadre axé sur des résultats mesurables à l’échelle de l’institution.

Planification, suivi et évaluation axés sur les résultats – Le Canada communique régulièrement ses attentes en matière de planification, de suivi et d’évaluation pouvant aider à mesurer les résultats. Outre les conseils techniques fournis au MIF (décrits précédemment), il a aidé la BID à améliorer son cadre d’efficacité du développement, et plus particulièrement à renforcer sa fonction d’évaluation. L’administrateur pour le Canada a présidé le Comité des politiques et de l’évaluation, qui a rédigé le mandat et supervisé les travaux d’un groupe d’examen indépendant (2011) sur la fonction d’évaluation de la Banque. Le Canada a aussi joué un rôle important dans les discussions entourant l’évaluation à mi-parcours, par l’OVE, du plan BID-9, en grande partie à cause de l’importance de l’évaluation et parce qu’il avait présidé le Comité des politiques et de l’évaluation pendant la période d’élaboration de bon nombre des politiques et des éléments du plan BID-9.

Le MAECD a également tenu à la gestion axée sur les résultats de développement dans les discussions stratégiques portant sur les fonds de fiducie avec le Bureau des partenariats stratégiques de la BID. Le MAECD a fourni des conseils techniques afin d’améliorer les cadres axés sur les résultats et, selon les personnes rencontrées, cette démarche a eu des effets positifs sur la Banque, car la qualité des propositions de fonds de fiducie et des rapports augmente.

Égalité entre les sexes – Comme mentionné précédemment, en 2010, la BID a adopté une politique opérationnelle sur l’égalité hommes-femmes et le développement, considérée comme un pas dans la bonne direction. Son plan d’action connexe comprend des directives proactives (investissement direct et intégration) et préventives (garanties).

Dans le cadre de la Stratégie de coopération avec la Banque interaméricaine de développement (BID) 2010-2013 de l’ancienne ACDI, le Canada a entrepris une évaluation institutionnelle de l’égalité entre les sexes à la BID. Cette évaluation a permis, affirme-t-on, d’instituer un dialogue avec l’unité Genre et diversité de la Banque, en plus de faciliter les relations entre cette unité et le MAECD. Le Canada a contribué, avec d’autres donateurs, au fonds Genre et diversité de la BID, qui vise à contribuer au développement équitable et approprié sur le plan culturel des pays membres de la BID en favorisant l’égalité entre les sexes, en combattant la discrimination et en appuyant le développement identitaire. Le Canada est aussi reconnu pour poser des questions sur l’égalité entre les sexes en lien avec les programmes de la Banque.

Autres contributions

Le MAECD a souvent aidé à l’échange d’idées sur des sujets d’intérêt mutuel pour la Banque et le Canada à l’occasion de rencontres tenues au Canada et à Washington, D.C. Les employés de la Banque interrogés ont indiqué que ces rencontres avaient permis d’approfondir la collaboration. En outre, un spécialiste de la sécurité du MAECD a été détaché à la BID. Ce genre de soutien a été perçu comme un apport extrêmement précieux de nouvelles approches conceptuelles et d’expertise canadiennes.

4.5 Pratiques de gestion : Évaluation de l’efficience du Canada auprès de la BID

L’évaluation de l’efficience exige généralement des données sur les liens entre les intrants et les extrants. Toutefois, compte tenu du peu de données à cet égard, la présente section se concentre plutôt sur la façon dont les répondants perçoivent la gestion par le MAECD des relations avec la BID, en particulier sur le plan du temps et des ressources, de la planification, des communications et des prises de décisions. Ces pratiques de gestion serviront d’indicateurs indirects de l’efficience.

De façon générale, pendant la période visée par l’examen, le MAECD a géré efficacement ses relations avec la BID. Les répondants ont indiqué que le MAECD a été en mesure de guider la BID et d’influer sur celle-ci avec le personnel à sa disposition.

Comme l’établissement de la stratégie a été en grande partie un exercice interne, la plupart des personnes rencontrées ne faisant pas partie du MAECD n’étaient pas au courant des objectifs du Ministère en matière de collaboration avec la BID. Certains ont convenu de l’utilité d’une consultation plus large sur les objectifs stratégiques dans l’avenir, y compris d’une plus grande diffusion de cette information, avec un accent sur des questions telles que le secteur privé et les changements climatiques, y compris en les clarifiant.

Certaines des personnes rencontrées ont noté que la fusion du MAECD et de l’ACDI, en 2013, a engendré de l’incertitude quant aux mécanismes décisionnels et d’approbation, ce qui a provoqué certains retards et augmenté le temps nécessaire aux transactions. Cette réorganisation a également suscité de l’incertitude parmi les acteurs externes (BID et autres donateurs), qui se demandaient si des changements avaient été apportés aux priorités du Canada en matière de développement et pour la collaboration avec la BID.

5.0 Conclusions

Conclusions concernant l’efficacité de l’aide au développement de la BID

Dans la mesure du possible, l’équipe d’évaluation a tenu compte des progrès récents de la Banque, dont a fait état le Bureau de l’évaluation et de la supervision (OVE) dans son évaluation à mi-parcours des engagements pris dans le cadre du plan BID-9. Toutefois, l’analyse exhaustive des répercussions sur l’aide au développement des récentes réformes réalisées par la Banque ne faisait pas partie de la portée du présent examen. En se fondant sur les constatations principales et sur les facteurs déterminants qui s’y rattachent, le présent examen permet de tirer les conclusions suivantes :

1. Les programmes de la BID sont adaptés aux besoins des groupes cibles et appuient les plans et priorités de développement des pays membres emprunteurs. La BID a établi des relations efficaces avec les gouvernements. Les programmes de la Banque ont été considérés comme particulièrement pertinents dans les pays où elle appliquait une approche stratégique annonçant clairement son avantage comparatif. De plus, son niveau de concordance avec les priorités en matière de développement des pays emprunteurs et son utilisation d’outils appropriés de mise en œuvre des programmes ont contribué à la pertinence de ses programmes.

2. Pendant de nombreuses années, des données probantes démontrant les progrès de la BID par rapport à ses objectifs de développement déclarés et à ses résultats étaient absentes. Cela semble toutefois commencer à changer. Il arrivait souvent que les programmes examinés ne comprennent aucune donnée probante faisant foi de leur progrès par rapport à leurs objectifs de développement déclarés. Cela était dû en partie à un manque d’information provenant d’un suivi systématique des résultats à l’échelle des projets ou des programmes, et à des défis contextuels nuisant à leur mise en œuvre. Toutefois, lorsque cette information était disponible, il est apparu que la Banque a remporté comparativement plus de succès dans les pays où elle a pu développer une approche stratégique claire et un créneau spécifique, et se concentrer sur certains domaines où elle disposait d’un avantage comparatif. Comme mentionné ci-dessous, la Banque a réalisé d’importants progrès depuis 2008 dans la conception de projets et de programmes-pays, y compris dans l’importance qu’elle attache à l’évaluation et à l’apprentissage. La nature rétrospective du présent examen n’a pas permis de saisir pleinement cette augmentation de données probantes démontrant les résultats.

3. La BID a éprouvé des problèmes de planification, de suivi et d’évaluation à l’échelle des projets et des programmes, ce qui a limité la disponibilité de données sur l’efficacité du développement pendant la période examinée. Les évaluations examinées ont systématiquement fait état de problèmes liés à la façon dont la Banque déterminait les résultats des projets et des programmes, définissait les indicateurs et assurait le suivi des progrès, ce qui a mené à une faible « évaluabilité » des projets et des programmes-pays. Selon l’évaluation à mi‑parcours du plan BID-9, il semble cependant que la mise en œuvre d’un cadre d’efficacité du développement, en 2008, favorise l’efficacité de l’aide au développement à l’échelle des projets et que les progrès dans ce domaine sont prometteurs.^{Note de bas de page 85}

4. L’examen n’a pas trouvé de données probantes concernant l’ampleur de la durabilité des résultats des programmes appuyés par la Banque. Seulement 36 % des rapports d’évaluation examinés semblaient indiquer que la Banque avait contribué à renforcer un environnement favorable au développement, et 40 % indiquaient que les projets et les programmes étaient viables sur le plan de la capacité institutionnelle. La durabilité semble être entravée par un environnement défavorable dans de nombreux pays. Parmi les facteurs limitant la durabilité, notons un manque de mécanismes récurrents de financement des coûts d’infrastructure et de prestation des services, une absence de prise en charge et de volonté politique de la part du pays, et la faible capacité des institutions appuyées par la Banque.

5. La BID dispose d’un solide système d’évaluation des programmes-pays, mais peu de données probantes révèlent l’utilisation des évaluations pour améliorer l’efficacité de l’aide au développement. La BID possède une solide fonction d’évaluation indépendante. Elle a régulièrement procédé à des évaluations de programmes-pays. Par contre, environ les deux tiers des rapports d’évaluation examinés ne comportaient pas de réponse de la gestion ni d’indication selon laquelle la Banque avait pris note des recommandations. La Banque a récemment pris des mesures à ce sujet et, en 2013, a mis en œuvre une plateforme destinée à consigner, gérer et surveiller les recommandations de son Bureau de l’évaluation et de la supervision (OVE). En outre, la Banque met en œuvre un ambitieux plan stratégique d’évaluation des répercussions (plus de 67 évaluations sont en cours) dans le but de contribuer de façon significative à la base de connaissances sur le développement.

6. La BID s’est fermement engagée à promouvoir l’égalité entre les sexes ces dernières années, mais le présent examen a permis de constater que ses programmes et ses évaluations n’intègrent pas encore régulièrement l’égalité entre les sexes en tant que thème transversal. Les rapports d’évaluation examinés ne visaient pas suffisamment l’égalité entre les sexes; l’absence de ce thème dans les projets de la BID avait d’ailleurs été notée dans des études précédentes.^{Note de bas de page 86} La BID a commencé à corriger la situation en instaurant une politique sur l’égalité entre les sexes en 2010 et un plan d’action sur l’égalité entre les sexes qui mettent clairement l’accent sur l’égalité entre les sexes et sur l’autonomisation des femmes en tant que partie intégrante du développement. L’intégration des questions d’égalité entre les sexes dans les projets, les stratégies-pays et les évaluations de la BID n’en est encore qu’à ses débuts.

7. La Banque possède une politique environnementale, mais l’échantillon des évaluations examiné n’abordait pas suffisamment la durabilité de l’environnement pour permettre la présentation de résultats en ce domaine. La BID adopte une approche en deux volets pour concrétiser son engagement envers la durabilité de l’environnement : un volet d’intégration, qui cherche à améliorer les avantages sociaux et environnementaux; et un volet de garanties, qui cherche à réduire ou compenser les effets négatifs.^{Note de bas de page 87} De récents rapports semblent indiquer que l’intégration de la durabilité de l’environnement est un travail en cours, mais qu’elle n’est pas encore pleinement intégrée aux stratégies-pays de la Banque. Les évaluations examinées dans l’échantillon n’ont pas rendu compte de la mesure dans laquelle les résultats des programmes et des projets étaient durables sur le plan environnemental.

8. La Banque a eu de la difficulté à gérer de façon efficiente son portefeuille de projets, souvent à cause des conditions d’exécution au niveau des pays. Bon nombre des évaluations ont noté des retards dans le démarrage ou la mise en œuvre des projets de la BID. Des processus complexes dans certains pays (comme ceux liés à la ratification des prêts par le Congrès), les capacités variables des organismes d’exécution, des difficultés transactionnelles (incluant des retards dans l’approvisionnement et les contrats), ainsi que des complexités dans la conception de projets ont entraîné des retards et des coûts additionnels dans le cycle des projets.

Conclusions concernant la collaboration du Canada avec la BID

L’examen de la collaboration du Canada avec la BID s’est surtout penché sur la stratégie de collaboration exécutée par l’intermédiaire de l’ACDI. Les conclusions sont les suivantes :

1. La BID demeure un partenaire extrêmement pertinent pour le MAECD au regard des priorités du Canada en matière de développement international et de sa Stratégie pour les Amériques. Les objectifs de la BID cadrent étroitement avec les priorités thématiques du Canada lorsqu’il s’agit de favoriser une croissance économique durable, d’accroître la sécurité alimentaire et d’assurer l’avenir des enfants et des jeunes. La BID a également montré l’importance qu’elle accordait à des thèmes transversaux (égalité entre les sexes, environnement et gouvernance) qui devraient être intégrés à l’ensemble des programmes et politiques de développement international du Canada.

2. Le MAECD a grandement contribué à la BID ces trois dernières années et est un précieux partenaire pour la Banque. Le MAECD a réalisé des progrès à l’égard des objectifs énoncés dans la Stratégie de coopération avec la BID de l’ancienne ACDI. Les données disponibles démontrent que le Canada a réussi à promouvoir des réformes internes à la BID en contribuant à dégager un consensus sur des sujets délicats, tels un processus renouvelé d’évaluations de la durabilité macroéconomique et la promotion de certains agendas (p. ex. accent sur les résultats, égalité entre les sexes) dont l’utilisation est en hausse à la BID et au Fonds multilatéral d’investissement (MIF). Tant la BID que le MIF apprécient la participation financière et technique du Canada, ainsi que les possibilités d’échanges d’idées qu’il offre à la Banque.

3. Le Canada est reconnu pour le rôle unique qu’il joue dans les Caraïbes, plus particulièrement en Haïti. Le Canada est un des principaux donateurs dans cette région. La BID et d’autres donateurs respectent son expertise et son soutien continu afin de relever les défis du développement, surtout en Haïti. Le MAECD a déployé des efforts efficaces afin d’assurer le suivi des engagements pris par la Banque auprès d’Haïti et de l’aider à adapter sa structure et ses approches en fonction du contexte plus fragile de ce pays.^{Note de bas de page 88}

4. L’influence que peut exercer le Canada à la BID est supérieure à son nombre de voix relatif à titre de membre votant du Conseil d’administration de la BID.^{Note de bas de page 89} Même s’il n’est qu’un petit actionnaire et que son influence n’est parfois que marginale, le Canada joue un rôle essentiel dans sa collaboration avec les autres pays membres emprunteurs et non emprunteurs et dans la recherche d’un consensus entre les membres régionaux et extrarégionaux. Ainsi, les parties prenantes se réjouissent que le Canada s’exprime haut et fort au sujet des agendas pour d’importantes réformes au sein de la BID et qu’il joue un rôle d’intermédiaire, et ils l’encouragent en ce sens. La réforme du secteur privé compte parmi les principales réformes de la BID, et le Canada est bien positionné pour jouer un rôle à cet égard.

5. La stratégie de collaboration de l’ACDI avec la BID a été élaborée à titre d’orientation interne. Malgré la publication des objectifs sur son site Web, ceux-ci n’ont pas bénéficié d’une grande visibilité auprès des acteurs externes. Avant la fusion, les objectifs représentaient surtout le point de vue de l’ancienne ACDI : l’un des ministères et organismes canadiens qui coopéraient avec la BID. Dans le passé, cette stratégie et ses objectifs n’étaient pas assortis d’un cadre de mesure du rendement clair pour la communication des résultats.

6. Recommandations à l’intention du MAECD

Cette section présente des recommandations au MAECD fondées sur l’examen de l’efficacité de l’aide au développement de la BID et des conclusions tirées de l’évaluation de la collaboration du Canada avec la Banque.

Le MAECD n’étant qu’un actionnaire parmi plusieurs autres travaillant avec la BID, il ne peut, à lui seul, qu’exercer une influence limitée pour en améliorer l’efficacité en matière d’aide au développement. Il doit donc poursuivre le dialogue avec des actionnaires aux vues similaires afin de promouvoir la mise en œuvre de certaines d’entre elles.

1. Le MAECD devrait tirer parti de la fusion récente pour actualiser sa stratégie de collaboration avec la BID, en tenant compte des priorités pangouvernementales et en proposant un cadre de mesure du rendement.

Divers éléments positifs permettent actuellement d’établir des objectifs et de guider la collaboration du Canada avec la BID, dont les objectifs stratégiques déjà publiés de l’ancienne ACDI; les exercices annuels d’établissement des objectifs interministériels; et les déclarations officielles à l’Assemblée générale annuelle de la Banque décrivant les opinions du Canada concernant certains dossiers de la Banque. Le MAECD devrait déterminer comment combiner ces éléments afin qu’ils permettent d’établir des priorités claires en matière de collaboration à moyen terme avec la Banque. Cette approche devrait refléter et communiquer une approche pangouvernementale à l’égard de la Banque et inclure les priorités en matière d’affaires étrangères, de commerce et de développement. Elle devrait aussi inclure une présentation ciblée des principaux domaines de résultats et indiquer comment s’effectuera le suivi et l’évaluation des progrès dans ces domaines. Cette approche devrait être élaborée en consultation avec les principales parties prenantes de la BID et leur être communiquée par la suite afin d’accroître la compréhension des principaux intérêts du Canada.

2. Le MAECD devrait jouer un rôle actif dans la restructuration éventuelle des mécanismes de financement de la Banque qui mettent à contribution le secteur privé. Il doit aussi veiller à ce que cette restructuration se traduise par une amélioration concrète des résultats en matière de développement. De cette façon, il pourra aussi faire connaître sa vision de la contribution du secteur privé à la réduction de la pauvreté dans la région.

Le Canada a souligné le rôle important du secteur privé en tant que moteur d’une croissance économique inclusive.^{Note de bas de page 90} On se penche actuellement sur la fusion des mécanismes de financement du secteur privé de la BID. Le Canada aura un rôle important à jouer afin d’influer positivement sur les structures et les méthodes de suivi adoptées, et de faire connaître sa vision de la contribution du secteur privé à la réduction de la pauvreté dans la région.

3. Le MAECD devrait continuer d’insister sur l’importance d’intégrer l’égalité entre les sexes et la durabilité de l’environnement aux activités du groupe de la BID, et d’aider à cette intégration.

Le MAECD a favorisé l’intégration de l’égalité entre les sexes dans le contexte du MIF et de certains fonds d’affectation spéciale. Il devrait continuer à jouer un rôle prépondérant dans ce domaine, auquel le Canada s’intéresse depuis longtemps. Dans le domaine de l’environnement, le Canada a grandement contribué à des fonds d’affectation spéciale visant la participation du secteur privé à la lutte contre les changements climatiques. Le MAECD devrait clairement communiquer les priorités du Canada dans ces domaines et encourager les efforts de réforme de la BID visant à renforcer l’aspect de la durabilité de l’environnement dans ses activités.

4. Le MAECD devrait continuer à jouer un rôle important afin de s’assurer que la BID intervienne efficacement dans les Caraïbes, en particulier en Haïti.

Le MAECD jouit d’un solide bilan dans les Caraïbes. Il compte parmi les principaux donateurs bilatéraux dans la région et a été particulièrement apprécié pour ses connaissances et son expertise en Haïti. Le MAECD devrait continuer d’encourager le travail de la BID dans la région, en particulier en ce qui concerne le développement des outils stratégiques et opérationnels requis pour travailler dans le contexte fragile d’Haïti.

5. Le MAECD devrait mettre à profit les efforts antérieurs afin que la BID améliore la planification et le suivi des résultats, notamment en communiquant plus clairement l’information sur l’efficacité de l’aide au développement.

Le MAECD a été une source d’aide et de conseils techniques en matière de gestion axée sur les résultats. En se fondant sur son expérience, le Ministère devrait encourager la BID à améliorer ses cadres de résultats de projets, accroître l’utilisation des données sur l’évaluation dans la communication des résultats organisationnels et la prise de décisions, et démontrer sa contribution au développement dans la région.

Annexe 1 : Critères d’efficacité

Tableau 1 : Critères communs d’évaluation de l’aide au développement

Première partie : Critères d’évaluation de l’aide au développement

Atteinte des objectifs de développement et des résultats escomptés

1.1 Les programmes et les projets atteignent leurs objectifs déclarés et les résultats escomptés.

1.2 Les programmes et les projets ont eu des effets positifs sur les membres du groupe cible.

1.3 Les programmes et les projets améliorent la situation d’un nombre considérable de bénéficiaires et, s’il y a lieu, contribuent aux objectifs nationaux en matière de développement.

1.4 Les programmes ont apporté des changements significatifs aux politiques et aux programmes nationaux (y compris la préparation aux catastrophes, l’intervention d’urgence et le relèvement) (répercussions sur les politiques) ou aux réformes du système nécessaires.

Thèmes transversaux : Développement à la fois inclusif et durable

2.1 Mesure dans laquelle les activités appuyées par l’organisation multilatérale tiennent compte efficacement de la question de l’égalité entre les sexes.

2.2 Mesure dans laquelle les changements sont durables sur le plan de l’environnement.

Durabilité des résultats et des bienfaits

3.1 Les bienfaits découlant d’un projet ou d’un programme se maintiendront ou devraient se maintenir après la fin du projet ou du programme, ou des mesures appropriées sont prises pour lier les opérations de secours aux activités de relèvement, de reconstruction et ultérieurement aux résultats de développement à plus long terme.

3.2 Les projets et les programmes appuient les capacités institutionnelles et communautaires.

3.3 Les programmes contribuent à renforcer l’environnement favorable au développement.

Pertinence des interventions

4.1 Les programmes et les projets répondent aux besoins des membres du groupe cible ou cadrent avec leurs priorités.

4.2 Les projets et les programmes cadrent avec les objectifs nationaux en matière de développement.

4.3 Partenariats efficaces avec les gouvernements, les organismes de développement et d’aide humanitaire bilatéraux et multilatéraux et les ONG pour la planification, la coordination et la mise en œuvre du financement destiné au développement ou à la préparation aux catastrophes, aux secours humanitaires et aux efforts de relèvement.

Efficience

5.1 Les activités de programme sont efficientes par rapport aux coûts.

5.2 Les programmes sont mis en œuvre et les objectifs sont réalisés à temps (selon le contexte, dans le cas des programmes humanitaires).

5.3 Les systèmes et les procédures utilisés pour la mise en œuvre des projets et des programmes et le suivi sont efficients (notamment les systèmes employés pour l’embauche du personnel, la fourniture des intrants du projet, le versement des fonds, les dispositions logistiques, etc.).

Recours à l’évaluation et au suivi pour améliorer l’efficacité de l’aide au développement

6.1      Les systèmes et les processus d’évaluation sont efficaces.

6.2      Les systèmes et les processus de suivi et de communication des résultats à l’échelle des programmes sont efficaces.

6.3      Les systèmes de gestion axée sur les résultats (GAR) sont efficaces.

6.4          Les évaluations sont utilisées pour améliorer l’efficacité de l’aide au développement.

Notes sur l’application des critères

Il est important de tenir compte des directives suivantes au moment d’appliquer les critères susmentionnés à l’examen des évaluations visant une organisation multilatérale (OM) donnée :

• Les constatations de chaque évaluation en lien avec chacun des 15 sous-critères susmentionnés (plus 4 concernant l’utilisation de l’évaluation) doivent être notées selon une échelle de quatre points (très satisfaisant, satisfaisant, insatisfaisant et très insatisfaisant).
• L’analyse et la communication des résultats se font uniquement par sous-critère et critère. Il n’est aucunement question de combiner des critères en un seul indice d’efficacité de l’aide au développement.
• La spécification des micro-indicateurs n’est pas recommandée, l’expérience dans le cadre d’examens d’évaluations antérieurs ayant démontré qu’une sur-spécification des critères d’examen fait rapidement en sorte que peu d’évaluations contiennent des constatations suffisamment spécifiques pour correspondre à un nombre significatif de micro-indicateurs. Cela reviendrait essentiellement à modifier exagérément les critères externes en fonction des évaluations et ainsi dénaturer leur but d’origine. Les essais pilotes semblent indiquer que le niveau de spécification illustré est à la fois assez précis pour permettre une classification fiable des constatations des évaluations et assez vaste pour que la plupart des évaluations raisonnablement bien conçues en arrivent à des constatations qui permettront une analyse crédible.

Annexe 2 : Échantillon d’évaluations

Annexe 3 : Méthodologie

Cette annexe explique de façon plus détaillée les méthodes de définition de la population et d’échantillonnage qui ont été utilisées pour l’examen de l’efficacité de l’aide au développement de la BID.

Elle présente, dans l’ordre, les tâches accomplies dans le cadre de l’examen : déterminer la raison d’être de l’examen; déterminer l’échantillon des évaluations; procéder à l’examen et contrôler la qualité à l’étape de l’analyse; évaluer la portée de l’examen.

L’examen des rapports d’évaluation a été complété par l’examen des documents internes de la BID, afin de fournir des détails sur la Banque et sa programmation. La liste des documents consultés se trouve à l’annexe 5.

Raison d’être de l’examen de l’efficacité de l’aide au développement

Le terme « approche commune » décrit le recours à une méthodologie standard, comme celle utilisée dans le présent examen, pour évaluer de manière cohérente l’efficacité de l’aide au développement des organisations multilatérales. Cette approche fournit un moyen efficace et rapide d’évaluer l’efficacité de l’aide au développement de l’organisation, comparativement à une évaluation conjointe, qui est plus coûteuse et prend plus de temps.^{Note de bas de page 91} L’approche utilisée dans le présent examen a été élaborée afin d’accroître la quantité d’informations accessibles aux organisations de développement bilatérales.

Même si les organisations multilatérales présentent des rapports annuels à leurs dirigeants ou à leurs conseils d’administration, les États membres ne recevaient aucun document détaillé sur le rendement de ces organisations sur le terrain. Cette approche complète l’évaluation de l’efficacité organisationnelle réalisée par le Réseau d’évaluation du rendement des organisations multilatérales (MOPAN). Dans le cadre de cette approche, il est proposé qu’un examen fondé sur les rapports d’évaluation de l’organisation soit réalisé lorsque les deux conditions suivantes sont réunies:^{Note de bas de page 92}

• On doit avoir besoin d’informations sur l’efficacité de l’aide au développement de l’organisation multilatérale qui sont fondées sur des données objectives et validées sur le terrain.
• L’organisation multilatérale faisant l’objet de l’examen a un service d’évaluation qui produit un volume suffisant de données d’évaluation crédibles et fiables pour permettre l’utilisation de la méta-synthèse pour jauger l’efficacité de l’aide au développement de l’organisation

Ces deux conditions ont été satisfaites dans le cas de la BID, comme on l’explique dans la section qui suit.

Étapes du processus

L’équipe d’examen a procédé à l’examen préliminaire de l’information disponible afin de documenter l’examen de l’efficacité de l’aide au développement de la BID. Cet examen préliminaire a comporté les étapes suivantes :

• Entamer le dialogue : Le MAECD a tenu une séance d’information initiale avec la BID à Washington. Celle-ci a ainsi pu poser des questions au sujet de la méthode d’évaluation, et le MAECD a pu confirmer l’univers des rapports d’évaluation et établir les diverses sources des produits d’évaluation de la Banque. L’équipe d’examen a aussi participé par téléconférence.
• Déterminer l’univers des évaluations : Le MAECD a compilé une liste initiale des rapports d’évaluation publiés entre 2008 et 2013. Cette liste a ensuite été vérifiée et complétée par la BID. L’établissement de la liste finale des rapports d’évaluation retenus a nécessité plusieurs discussions et échanges avec le Bureau de l’évaluation et de la supervision et des unités de gestion à la BID. L’univers des rapports d’évaluation publiés pendant cette période, jugé final le 21 décembre 2013, était constitué de 94 rapports d’évaluation.
• Examen des rapports de rendement et de la fonction d’évaluation : L’équipe d’examen a effectué un examen sommaire des rapports sur l’efficacité de l’aide au développement et la fonction d’évaluation de la BID. Cet examen sommaire a été mené en fonction des critères tirés des directives méthodologiques du CAD-EVALNET à cet égard.^{Note de bas de page 93} L’examen sommaire de la fonction d’évaluation de la BID a été fondé sur des critères d’indépendance, de portée et de preuves d’utilisation de l’évaluation.
• Vérification de la qualité des rapports d’évaluation :^{Note de bas de page 94} Chacun des rapports d’évaluation initiaux a été examiné conformément aux 11 critères de qualité du guide de notation de la portée et de la qualité des évaluations CAD-EVALNET présenté à l’annexe 4. Ce guide comprend deux seuils de qualité pour chaque rapport d’évaluation : un fondé sur le nombre total de points obtenus, et l’autre (le « seuil méthodologique ») fondé sur les notes obtenues pour les critères liés à (i) l’utilisation de sources de données multiples; (ii) la conception de l’évaluation; et (iii) des constatations et des conclusions pertinentes et basées sur des données objectives. Le second seuil est axé sur les critères qui sont le plus directement liés à la qualité de l’information devant servir à l’évaluation de l’efficacité de l’aide au développement. En effet, si une évaluation n’obtient pas une bonne note sur le plan de la conception et de la mise en œuvre des méthodes d’évaluation, il est alors peu probable qu’elle fournira des données crédibles sur l’efficacité de l’OM. Un rapport d’évaluation doit satisfaire aux deux seuils pour faire partie de l’examen de l’efficacité de l’aide au développement. À la suite de cet exercice, un sous-ensemble de 52 rapports d’évaluation (correspondant à 55 % de l’ensemble des rapports d’évaluation) a été jugé satisfaisant^{Note de bas de page 95} pour la méta-synthèse prévue au scénario B du CAD-EVALNET.

À la suite de l’examen préliminaire, il a été recommandé d’appliquer la méthodologie du scénario B du CAD-EVALNET au sous-ensemble de 52 rapports d’évaluation. Un échantillon a été tiré afin de procéder à la méta-synthèse. Dix-neuf rapports ont donc été retirés du sous-ensemble, parmi lesquels les douze évaluations organisationnelles, car elles ne faisaient état d’aucun des six critères courants d’évaluation de l’efficacité de l’aide au développement^{Note de bas de page 96},  de même que les cinq évaluations de projet et de ses répercussions, soit parce que leur portée était trop limitée (un seul projet), qu’elles ne précisaient pas le rôle de la BID, ou qu’elles avaient été conçues selon un point de vue de recherche. Au bout du compte, l’échantillon retenu a été constitué de 33 rapports d’évaluation. Cet échantillon est présenté à l’annexe 2.

Principales caractéristiques de l’échantillon d’évaluation

L’échantillon de 33 rapports d’évaluation retenu dans le cadre de l’examen de l’efficacité de l’aide au développement était constitué de 29 évaluations de programme-pays, 2 évaluations organisationnelles et 2 évaluations thématiques et sectorielles. Les principales caractéristiques de l’échantillon sont les suivantes :

• Couverture géographique : L’échantillon d’évaluations couvre la majorité des pays membres emprunteurs de la BID, y compris les cinq pays membres emprunteurs bénéficiant des taux les plus élevés d’approbation de prêts et de garanties de la part de la BID entre 2008 et 2013 (c. à d. l’Argentine, le Brésil, le Mexique, la Colombie et le Pérou). L’échantillon comprend aussi des pays provenant de chacun des quatre groupes de pays membres de la Banque, selon leur niveau relatif de développement.^{Note de bas de page 97}
• Couverture des mécanismes de financement concessionnel de la Banque : L’échantillon comprend des rapports d’évaluation provenant de pays de la région qui bénéficient d’un financement concessionnel de la part du Fonds des opérations spéciales de la BID (dont la Bolivie, le Guatemala, la Guyane, Haïti, le Honduras, le Nicaragua et le Paraguay) ainsi que de subventions par l’entremise du Mécanisme de dons de la BID (dans le cas de Haïti).
• Vaste représentation des opérations de la BID (volume et type) : L’échantillon d’évaluations représente une proportion importante (94 %) des approbations de prêts et de garanties de la BID pendant la période allant de 2007 à 2010.^{Note de bas de page 98} En outre, l’échantillon comprend la plus récente évaluation du Fonds multilatéral d’investissement, qui a approuvé 76 projets d’une valeur globale de 93,4 millions $ US en 2012.^{Note de bas de page 99}Compte tenu de l’accent mis sur les évaluations programmes-pays, l’échantillon comprenait des données de rendement sur différents types de produits de la Banque, dont des prêts à l’appui de réformes, des marges de crédit, des prêts à l’investissement et de la coopération technique, entre autres.
• Couverture des critères d’efficacité du développement : Les rapports de l’échantillon contenaient tous des critères d’efficacité du développement, quoique la couverture des différents critères et sous-critères variait d’un rapport d’évaluation à l’autre.
• Période : Tous les rapports d’évaluation de l’échantillon ont été publiés entre 2008 et 2013, et la plupart visaient les programmes réalisés entre 2000 et 2010. Par conséquent, ni l’univers de 94 rapports d’évaluation ni l’échantillon de 33 rapports n’ont fourni beaucoup de détails sur les résultats des opérations de la BID à la suite de ses engagements pris à l’égard du plan BID-9.

Tableau 4 : Couverture des critères d’efficacité

Critère: 1. Atteinte des objectifs en matière de développement et des résultats escomptés

Sous-critère: 1.1 Les programmes et les projets financés par l’OM atteignent les objectifs établis en matière d’aide humanitaire et au développement et les résultats escomptés.

Nombre d’évaluations visées par les sous-critères (a): 33
Couverture: Grande

Sous-critère: 1.2 Les programmes et les projets financés par l’OM procurent des avantages aux membres du groupe cible.

Nombre d’évaluations visées par les sous-critères (a): 19
Couverture: Modérée

Sous-critère: 1.3 Les programmes et les projets financés par l’OM améliorent la situation d’un nombre considérable de bénéficiaires et, s’il y a lieu, contribuent aux objectifs nationaux en matière de développement.

Nombre d’évaluations visées par les sous-critères (a): 13
Couverture: Faible

Sous-critère: Les activités de l’OM contribuent à des changements importants dans les politiques et programmes nationaux en matière de développement (y compris en ce qui touche la prévention des catastrophes, les interventions en cas d’urgence et le relèvement) (impacts des politiques) ou à des réformes de système nécessaires.

Nombre d’évaluations visées par les sous-critères (a): 25
Couverture: Grande

Critère: 2. Thèmes transversaux : Développement à la fois inclusif et durable

Sous-critère: 2.1 Mesure dans laquelle les activités financées par l’OM ont permis de s’attaquer efficacement à l’égalité des sexes, une question transversale.

Nombre d’évaluations visées par les sous-critères (a): 0
Couverture: Faible

Sous-critère: 2.2 Les changements sont durables sur le plan de l’environnement.

Nombre d’évaluations visées par les sous-critères (a): 5
Couverture: Faible

Critère: 3. Durabilité

Sous-critère: 3.1. Les avantages découlant d’un projet ou d’un programme se maintiendront ou devraient se maintenir après la fin du projet ou du programme, ou des mesures appropriées sont prises pour lier les opérations de secours aux activités de relèvement, de reconstruction et ultérieurement aux résultats de développement à plus long terme.

Nombre d’évaluations visées par les sous-critères (a): 12
Couverture: Faible

Sous-critère: 3.2 Mesure dans laquelle les programmes et les projets financés par l’OM renforcent la capacité des institutions ou des collectivités à l’égard de la durabilité.

Nombre d’évaluations visées par les sous-critères (a): 20
Couverture: Modérée

Sous-critère: 3.3 Mesure dans laquelle les programmes de l’OM contribuent au renforcement de l’environnement porteur pour le développement.

Nombre d’évaluations visées par les sous-critères (a): 25
Couverture: Grande

Critère: 4. Pertinence

Sous-critère: 4.1 Les programmes et les projets financés par l’OM sont adaptés aux besoins ou aux priorités du groupe cible.

Nombre d’évaluations visées par les sous-critères (a): 29
Couverture: Grande

Sous-critère: 4.2 Les programmes et les projets financés par l’OM cadrent avec les objectifs nationaux en matière de développement.

Nombre d’évaluations visées par les sous-critères (a): 28
Couverture: Grande

Sous-critère: 4.3 L’OM a établi un partenariat efficace avec les gouvernements, les organismes de développement et d’aide humanitaire bilatéraux et multilatéraux et les ONG pour la planification, la coordination et la mise en œuvre du financement destiné au développement ou à la préparation aux catastrophes, aux secours humanitaires et aux efforts de relèvement.

Nombre d’évaluations visées par les sous-critères (a): 30
Couverture: Grande

Critère: 5. Efficience

Sous-critère: 5.1 Les activités de programme sont efficientes par rapport aux coûts.

Nombre d’évaluations visées par les sous-critères (a): 13
Couverture: Faible

Sous-critère: 5.2 La mise en œuvre et les objectifs sont réalisés dans les délais prévus (compte tenu du contexte, dans le cas des programmes d’aide humanitaire).

Nombre d’évaluations visées par les sous-critères (a): 31
Couverture: Grande

Sous-critère: 5.3 Les systèmes et les procédures pour la mise en œuvre et le suivi des projets et des programmes sont efficients (notamment les systèmes employés pour l’embauche du personnel, la fourniture des intrants du projet, le versement des fonds, les dispositions logistiques, etc.)

Nombre d’évaluations visées par les sous-critères (a): 28
Couverture: Grande

Critère: 6. Recours à l’évaluation et au suivi pour améliorer l’efficacité de l’aide au développement

Sous-critère: 6.1 Les systèmes et les processus d’évaluation sont efficaces.

Nombre d’évaluations visées par les sous-critères (a): 32
Couverture: Grande

Sous-critère: 6.2 Les systèmes et les processus de suivi des résultats et d’établissement des rapports sont efficaces.

Nombre d’évaluations visées par les sous-critères (a): 32
Couverture: Grande

Sous-critère: 6.3 Les systèmes de gestion axée sur les résultats (GAR) sont efficaces.

Nombre d’évaluations visées par les sous-critères (a): 23
Couverture: Modérée

Sous-critère: 6.4 L’OM se sert des évaluations pour accroître l’efficacité de l’aide au développement.

Nombre d’évaluations visées par les sous-critères (a): 30
Couverture: Grande

Annexe 4 : Grille de notation de la qualité de l’évaluation

Points par critère coté

A. But de l’évaluation (Nombre maximal de points = 3)

• la raison de l’évaluation (1)
• l’élément déclencheur de l’évaluation (y compris le moment choisi dans le cycle du projet ou du programme) (1)
• les fins auxquelles l’évaluation doit être utilisée (1))

B. Objectifs de l’évaluation (Nombre maximal de points = 2):

• les objectifs de l’évaluation sont clairement énoncés (1)
• les objectifs découlent logiquement du but (1)

C. Organisation de l’évaluation (Nombre maximal de points = 3)

• l’évaluation est organisée selon une structure logique (1)
• l’évaluation est bien rédigée (1))
• on fait une distinction claire entre les données probantes, les constatations, les conclusions et les recommandations (1))

D. Le sujet évalué est clairement décrit (Nombre maximal de points = 4)

Dans l’évaluation, on décrit :

• l’activité ou le programme visé par l’évaluation (1)
• les réalisations attendues du programme (1)
• la façon dont le problème de développement est abordé par le programme (1)
• les modalités de mise en œuvre (1)

E. Couverture de l’évaluation (Nombre maximal de points = 4)

Dans l’évaluation, on définit les limites de l’évaluation en ce qui concerne :

• la période couverte (1)
• la phase de mise en œuvre à l’étude (1)
• la région géographique (1)
• les aspects relatifs à l’engagement des intervenants concernés (1)

F. Critères d’évaluation (Nombre maximal de points = 5)

Les critères d’évaluation comprennent :

• l’atteinte des objectifs de développement et des résultats escomptés (y compris les répercussions) (1)
• les thèmes transversaux : développement inclusif qui tient compte des sexospécificités et de la durabilité de l’environnement (1)
• la durabilité des avantages et des résultats positifs atteints (1)
• la pertinence des activités de l’OM ainsi que des projets et des programmes soutenus (1)
• l’efficience des activités de l’OM à l’appui des projets et des programmes (1)

G. Sources de données objectives multiples (Nombre maximal de points = 4)

• un (1) point pour chacune des sources de données prévues (p. ex. études de cas, enquêtes, visites sur les lieux et entrevues), pour un maximum de quatre (4) points

H. Conception de l’évaluation (Nombre maximal de points = 5)

Exemples de bons éléments :

• une théorie explicite sur la façon dont les objectifs et les résultats devaient être atteints (1)
• une indication du niveau de résultats atteints (extrant, effet, impact) (1)
• des données de base (quantitatives ou qualitatives) sur les conditions qui existaient avant la mise en œuvre du programme (1)
• une comparaison des conditions avant et après la mise en œuvre du programme (1)
• une comparaison qualitative ou quantitative des conditions chez les personnes qui ont participé au programme et chez un groupe témoin (1)

I. Les constatations et les conclusions de l’évaluation sont pertinentes et fondées sur des données objectives (Nombre maximal de points = 4)

Le rapport d’évaluation contient :

• des constatations qui correspondent aux critères d’évaluation (1)
• des constatations qui sont soutenues par la méthodologie choisie (1)
• un lien logique clair entre les données objectives et la constatation (1)
• des conclusions qui sont liées aux constatations (1)

J. Faiblesses relatives à l’évaluation (Nombre maximal de points = 3)

• l’énoncé des faiblesses de la méthodologie (1)
• les répercussions des faiblesses sur l’évaluation (1)
• les solutions pour remédier aux faiblesses (1)

K. Recommandations tirées des évaluations (Nombre maximal de points = 3)

• l’évaluation comporte des recommandations qui découlent des constatations et des conclusions (1)
• les recommandations s’adressent à une organisation ou plus (1)
• les recommandations visent à améliorer l’efficacité de l’aide au développement (1)

Total (minimum requis de 25 points) = 40

Total pour les critères G, H et I (minimum requis de 10 points) = 13

Annexe 5 : Guide de classification des constatations issues des évaluations^{Note de bas de page 101}

Critères communs d’évaluation de l’aide au développement

1. Atteinte des objectifs et des résultats escomptés en matière d’efficacité de l’aide au développement

1.1 Les programmes et les projets financés par l’OM atteignent les objectifs établis en matière d’aide humanitaire et au développement et les résultats escomptés.

(1) Très insatisfaisant: Moins de la moitié des objectifs établis en matière d’extrants et de résultats ont été atteints, y compris un ou plusieurs objectifs très importants en matière d’extrants ou de résultats.

(2) Insatisfaisant: La moitié ou moins de la moitié des objectifs établis en matière d’extrants et de résultats sont atteints.

(3) Satisfaisant: Les programmes et les projets financés par l’OM ont atteint au moins une majorité des objectifs établis en matière d’extrants et de résultats (plus de 50 % s’ils étaient établis), ou les objectifs établis les plus importants en matière d’extrants et de résultats ont été atteints.

(4) Très satisfaisant: Les programmes et les projets financés par l’OM ont atteint la totalité ou la majorité des objectifs humanitaires ou de développement en matière d’extrants et de résultats.

1.2 Les programmes et les projets financés par l’OM procurent des avantages aux membres du groupe cible.

(1) Très insatisfaisant: En raison de problèmes dans la conception ou la mise en œuvre d’activités financées par l’OM, il n’y a pas eu d’effets positifs pour les membres du groupe cible ou il est peu probable qu’il y en aura.

(2) Insatisfaisant: Les projets et les programmes financés par l’OM entraînent peu ou pas de changements positifs pour les membres du groupe cible. Entre autres avantages possibles, mentionnons le fait d’éviter ou d’atténuer les effets néfastes d’une situation d’urgence soudaine ou prolongée.

(3) Satisfaisant: Les programmes et les projets financés par l’OM ont entraîné des changements positifs pour les membres du groupe cible (pour les individus, les ménages ou les collectivités). Entre autres avantages possibles, mentionnons le fait d’éviter ou d’atténuer les effets néfastes d’une situation d’urgence soudaine ou prolongée.

(4) Très satisfaisant: Les programmes et les projets financés par l’OM ont entraîné des changements positifs généralisés et importants pour les membres du groupe cible, changements mesurés au moyen de méthodes quantitatives ou qualitatives (qui peuvent englober une comparaison des retombées pour les non-participants aux programmes). Entre autres avantages possibles, mentionnons le fait d’éviter ou d’atténuer les effets néfastes d’une situation d’urgence soudaine ou prolongée.

1.3 Les programmes et les projets financés par l’OM améliorent la situation d’un nombre considérable de bénéficiaires et, s’il y a lieu, contribuent aux objectifs nationaux en matière de développement.

(1) Très insatisfaisant: Les programmes et les projets financés par l’OM n’ont pas entraîné de changements positifs dans la vie des bénéficiaires, selon les mesures quantitatives ou qualitatives.

(2) Insatisfaisant: Les programmes et les projets financés par l’OM ont entraîné des changements positifs dans la vie d’un petit nombre de bénéficiaires seulement (par rapport aux cibles des programmes ou des projets et aux objectifs locaux ou nationaux, s’ils étaient établis).

(3) Satisfaisant: Les programmes et les projets financés par l’OM ont entraîné des changements positifs dans la vie d’un grand nombre de bénéficiaires, changements mesurés quantitativement ou qualitativement. Ces changements peuvent découler d’activités de développement ou de secours, ou d’activités prolongées de secours et de relèvement, et peuvent comprendre le fait d’éviter les effets néfastes de situations d’urgence.

(4) Très satisfaisant: Les programmes et les projets financés par l’OM ont entraîné des changements positifs dans la vie d’un grand nombre de bénéficiaires. En outre, ils ont contribué à l’atteinte d’objectifs de développement nationaux précis ou à l’atteinte des objectifs d’aide humanitaire convenus avec le gouvernement national ou les organismes de développement ou de secours nationaux et internationaux.

1.4 Les activités de l’OM contribuent à des changements importants dans les politiques et programmes nationaux en matière de développement (y compris en ce qui touche la prévention des catastrophes, les interventions en cas d’urgence et le relèvement) (impacts des politiques) ou à des réformes de système nécessaires.

(1) Très insatisfaisant: Les politiques et les programmes nationaux dans un secteur ou un domaine de développement donné (y compris la prévention des catastrophes, les interventions en cas d’urgence et le relèvement) étaient déficients et nécessitaient un renforcement, mais les activités soutenues par l’OM n’ont pas traité de ces lacunes.

(2) Insatisfaisant: Les activités de l’OM n’ont pas contribué grandement à l’élaboration de politiques ou de programmes nationaux dans un secteur de développement donné, p. ex. la prévention des catastrophes, les interventions en cas d’urgence ou le relèvement. (Les changements stratégiques dans les situations humanitaires peuvent comprendre le fait d’accorder l’accès aux populations touchées.)

(3) Satisfaisant: Les activités de l’OM ont grandement contribué à réorienter ou à maintenir des politiques et des programmes nationaux efficaces dans un secteur de développement donné, p. ex. la prévention des catastrophes, les interventions en cas d’urgence ou le relèvement.

(4) Très satisfaisant: Les activités de l’OM ont grandement contribué à réorienter ou à maintenir des politiques et des programmes nationaux efficaces dans un secteur de développement donné, p. ex. la prévention des catastrophes, les interventions en cas d’urgence ou le relèvement. De plus, on s’attend à ce que les modalités de mise en œuvre des politiques et programmes soutenus engendrent une amélioration des répercussions positives pour les membres du groupe cible.

2. Thèmes transversaux : Développement à la fois inclusif et durable

2.1 Mesure dans laquelle les activités financées par l’OM ont permis de s’attaquer efficacement à l’égalité des sexes, une question transversale.

(1) Très insatisfaisant: Il est peu probable que les activités soutenues par l’OM contribuent à l’égalité entre les sexes ou elles peuvent en fait provoquer une augmentation des inégalités entre les hommes et les femmes.

(2) Insatisfaisant: Les activités financées par l’OM ne sont pas dotées d’objectifs en matière d’égalité entre les sexes ou atteignent moins de la moitié des objectifs établis en la matière. (Note : lorsqu’un programme ou une activité est clairement sexospécifique (p. ex. un programme sur la santé maternelle), il est justifié de mettre une note satisfaisante si plus de la moitié des objectifs établis sont atteints).

(3) Satisfaisant: Les programmes et les projets financés par l’OM atteignent la majorité (50 %) de leurs objectifs établis en matière d’égalité entre les sexes.

(4) Très satisfaisant: Les programmes et les projets financés par l’OM atteignent la totalité ou presque de leurs objectifs établis en matière d’égalité entre les sexes.

2.2 Les changements sont écologiquement viables.

(1) Très insatisfaisant: Les programmes et les projets financés par l’OM ne prévoient pas d’activités ou de critères de conception de projet visant à promouvoir la durabilité de l’environnement. De plus, les changements découlant des programmes et des projets ne sont pas durables sur le plan de l’environnement.

(2) Insatisfaisant: Les programmes et les projets financés par l’OM ne prévoient pas d’activités ou de critères de conception de projet visant à promouvoir la durabilité de l’environnement. Il n’existe toutefois aucune indication directe que les résultats des programmes ou des projets ne sont pas durables sur le plan de l’environnement. OU Les programmes et les projets financés par l’OM ont prévu des activités ou des critères de conception de projet visant à promouvoir la durabilité de l’environnement, mais ceux-ci n’ont pas donné les résultats voulus.

(3) Satisfaisant: Les programmes et les projets financés par l’OM prévoient certaines activités ou certains critères de conception de projet visant à promouvoir la durabilité de l’environnement. Ces activités sont mises en œuvre avec succès et les résultats sont durables sur le plan de l’environnement.

(4) Très satisfaisant: Les programmes et les projets financés par l’OM sont précisément conçus pour être durables sur le plan de l’environnement et prévoient de nombreuses activités ou de nombreux critères de conception de projet visant à promouvoir la durabilité de l’environnement. Ces activités sont mises en œuvre avec succès et les résultats sont durables sur le plan de l’environnement.

3. Durabilité

3.1 Les avantages découlant d’un projet ou d’un programme se maintiendront ou devraient se maintenir après la fin du projet ou du programme, ou des mesures appropriées sont prises pour lier les opérations de secours aux activités de relèvement, de reconstruction et ultérieurement aux résultats de développement à plus long terme.

(1) Très insatisfaisant: Il est très peu probable que les avantages prévus du programme ou du projet se maintiendront après la fin du projet pour le groupe cible. Dans le cas des opérations de secours humanitaires, l’évaluation ne constate aucune mesure stratégique ou opérationnelle pour lier les opérations de secours aux activités de relèvement, de reconstruction et ultérieurement aux résultats de développement.

(2) Insatisfaisant: Il est peu probable que les avantages prévus du programme ou du projet se maintiendront après la fin du projet pour le groupe cible. Dans le cas des opérations de secours humanitaires, les efforts faits pour lier les opérations de secours aux activités de relèvement, de reconstruction et ultérieurement aux résultats de développement sont inadéquats. (Nota : Dans certains cas, il peut être impossible de faire un tel lien en raison du contexte de la situation d’urgence. S’il existe un énoncé à cet égard dans l’évaluation, une note « satisfaisant » peut être attribuée.

(3) Satisfaisant: Il est probable que les avantages du programme ou du projet se maintiendront après la fin du projet pour le groupe cible. Dans le cas des opérations de secours humanitaires, les mesures stratégiques et opérationnelles prises pour lier les opérations de secours aux activités de relèvement, de reconstruction et ultérieurement aux résultats de développement sont crédibles.

(4) Très satisfaisant: La probabilité est très forte que les avantages prévus du programme ou du projet se maintiendront après la fin du projet pour le groupe cible. Dans le cas des opérations de secours humanitaires, les mesures stratégiques et opérationnelles prises pour lier les opérations de secours aux activités de relèvement, de reconstruction et ultérieurement aux résultats de développement sont crédibles. De plus, il est très probable qu’elles parviendront à assurer la poursuite des avantages pour les membres du groupe cible.

3.2 Mesure dans laquelle les programmes et les projets financés par l’OM renforcent la capacité des institutions ou des collectivités à l’égard de la viabilité.

(1) Très insatisfaisant: La conception des programmes et des projets soutenus par l’OM n’a pas permis de répondre à la nécessité de renforcer les capacités institutionnelles ou communautaires selon les besoins. Dans le cas des opérations de secours humanitaires, on n’a pas réussi, lors de la conception des programmes et des projets, à tenir compte des besoins cernés pour le renforcement des capacités locales relatives à l’exécution des opérations de secours ou à la gestion de la transition vers les activités de relèvement et de développement.

(2) Insatisfaisant: Il se peut que les programmes et les projets soutenus par l’OM n’aient pas réussi à contribuer au renforcement des capacités institutionnelles ou communautaires, ou, le cas échéant, à renforcer les capacités locales relatives à l’exécution des opérations de secours ou à la gestion de la transition vers les activités de relèvement et de développement.

(3) Satisfaisant: Il se peut que les programmes et les projets financés par l’OM aient contribué à renforcer les capacités des institutions ou des collectivités, mais avec un succès mitigé.

(4) Très satisfaisant: Les programmes et les projets financés par l’OM ont soit considérablement contribué à renforcer la capacité des institutions ou des collectivités ou bien les partenaires institutionnels et les collectivités possédaient déjà les capacités nécessaires pour maintenir les résultats du programme.

3.3 Les programmes contribuent au renforcement de l’environnement porteur pour le développement.

(1) Très insatisfaisant: Dans le cas des programmes de développement, l’environnement porteur comportait d’importantes lacunes (le cadre et les processus globaux pour la planification nationale du développement; les systèmes et les processus de consultation publique et de participation de la société civile à la planification du développement; les structures de gouvernance et la primauté du droit; les mécanismes nationaux et locaux de reddition de comptes à l’égard des dépenses publiques, de la prestation et de la qualité des services; les améliorations nécessaires aux structures de soutien comme les marchés de capitaux et de main-d’œuvre). De plus, les activités de l’OM et le soutien accordé aux programmes et aux projets n’ont pas permis de corriger les lacunes recensées, limitant ainsi les résultats du programme.

(2) Insatisfaisant: Les activités de développement de l’OM ou les programmes et les projets financés par l’organisation multilatérale n’ont pas contribué de façon marquée aux changements dans l’environnement porteur pour le développement.

(3) Satisfaisant: Les activités de développement de l’OM ou les programmes et les projets financés par l’organisation multilatérale ont contribué de façon importante aux changements dans l’environnement porteur pour le développement, y compris à un ou à plus d’un élément suivant : le cadre et les processus globaux pour la planification nationale du développement; les systèmes et les processus de consultation publique et de participation de la société civile à la planification du développement; les structures de gouvernance et la primauté du droit; les mécanismes nationaux et locaux de reddition de comptes à l’égard des dépenses publiques, de la prestation et de la qualité des services; les améliorations nécessaires aux structures de soutien comme les marchés de capitaux et de main-d’œuvre.

(4) Très satisfaisant: Les activités de développement de l’OM ou les programmes et les projets financés par l’organisation multilatérale ont contribué de façon remarquable aux changements dans l’environnement porteur pour le développement, y compris à un ou à plus d’un élément suivant : le cadre et les processus globaux pour la planification nationale du développement; les systèmes et les processus de consultation publique et de participation de la société civile à la planification du développement; les structures de gouvernance et la primauté du droit; les mécanismes nationaux et locaux de reddition de comptes à l’égard des dépenses publiques, de la prestation et de la qualité des services; les améliorations nécessaires aux structures de soutien comme les marchés de capitaux et de main-d’œuvre. De plus, ces améliorations à l’environnement porteur mènent à des améliorations aux résultats de développement.

4. Pertinence

4.1 Les programmes et les projets financés par l’OM sont adaptés aux besoins ou aux priorités du groupe cible.

(1) Très insatisfaisant: Des éléments importants des activités et des extrants des programmes ou des projets ne répondaient pas aux besoins ni aux priorités du groupe cible.

(2) Insatisfaisant: Il n’y a eu aucune analyse systématique des besoins du groupe cible lors de l’étape de la conception des programmes de développement ou de secours et de relèvement, ou il existe un manque de concordance évident entre les activités et les extrants des programmes et des projets et les besoins et priorités du groupe cible.

(3) Satisfaisant: Le programme ou le projet financé par l’OM est conçu pour tenir compte des besoins du groupe cible qui ont été définis à la suite d’un processus d’analyse de la situation ou du problème (dont une évaluation des besoins aux fins des opérations de secours). En outre, les activités qui en découlent sont conçues pour répondre aux besoins du groupe cible.

(4) Très satisfaisant: Des méthodes d’élaboration de programme et de projet sont utilisées (dont l’évaluation des besoins aux fins des opérations de secours) pour définir les besoins et les priorités du groupe cible (dont les consultations avec les membres du groupe cible). En outre, le programme ou le projet tient compte de ces besoins et priorités et est conçu pour y répondre (qu’il réussisse ou non à le faire).

4.2 Les programmes et les projets financés par l’OM cadrent avec les objectifs nationaux en matière de développement.

(1) Très insatisfaisant: D’importantes composantes des activités de programme ou de projet de développement financées par l’OM vont à l’encontre des priorités en matière de développement, ce qui nuit à l’efficacité.

(2) Insatisfaisant: Une proportion importante (le quart ou plus) des programmes et de projets de développement financés par l’OM et visés par l’évaluation ne sont pas alignés sur les priorités et les plans nationaux, mais rien n’indique qu’ils vont à l’encontre de ces priorités.

(3) Satisfaisant: La plupart des programmes et des projets financés par l’OM sont pleinement alignés sur les priorités et les plans nationaux, tels qu’ils sont établis dans les priorités et les plans nationaux relatifs aux secteurs et à la réduction de la pauvreté. Même s’il est déclaré que les programmes et les projets financés par l’OM ne soutiennent pas directement les priorités et les plans nationaux, ils ne vont pas à l’encontre de ces priorités.

(4) Très satisfaisant: Tous les projets et programmes financés par l’OM assujettis à l’évaluation cadrent parfaitement avec les objectifs nationaux en matière de développement décrits dans les priorités et plans nationaux et sectoriels, en particulier en ce qui a trait à la stratégie nationale d’éradication de la pauvreté et aux priorités stratégiques sectorielles.

4.3 L’OM a établi un partenariat efficace avec les gouvernements, les organismes de développement et d’aide humanitaire bilatéraux et multilatéraux et les ONG, pour la planification, la coordination et la mise en œuvre du financement destiné au développement ou à la préparation aux catastrophes, aux secours humanitaires et aux efforts de relèvement.

(1) Très insatisfaisant: L’OM affiche une divergence significative entre ses priorités et celles de ses partenaires (gouvernement, ONG ou donateur) et elle ne dispose pas d’une stratégie ou d’un plan destiné à remédier à cette divergence et qui favoriserait le renforcement du partenariat avec le temps.

(2) Insatisfaisant: L’OM a éprouvé des difficultés importantes à établir un partenariat efficace avec ses partenaires et il existe une divergence significative entre les priorités de l’OM et ses partenaires.

(3) Satisfaisant: L’OM a amélioré avec le temps l’efficacité de sa relation de partenariat avec ses partenaires au cours de la période évaluée et son partenariat était efficace au moment de l’évaluation ou affichait une amélioration manifeste.

(4) Très satisfaisant: L’OM a systématiquement atteint un degré élevé de partenariat au cours de la période d’évaluation.

5. Efficience

5.1 Les activités de programme sont efficaces par rapport aux coûts.

(1) Très insatisfaisant: Des renseignements fiables laissent entendre que les programmes et les projets soutenus par l’OM (développement, prévention des catastrophes, opérations de secours et relèvement) ne sont pas efficaces par rapport aux coûts et aux ressources.

(2) Insatisfaisant: Les programmes et les projets soutenus par l’OM faisant l’objet de l’évaluation (développement, prévention des catastrophes, opérations de secours et relèvement) ne présentent de renseignements fiables quant aux coûts des activités et des intrants. Il n’a donc pas été possible dans l’évaluation d’aborder le thème de l’efficacité en matière de coûts et de ressources. OU Les programmes et les projets financés par l’OM et visés par l’évaluation présentent des constatations mitigées sur l’efficience des intrants en termes de coûts et de ressources.

(3) Satisfaisant: Le niveau d’extrants obtenus (développement, prévention des catastrophes, opérations de secours et relèvement), par rapport aux coûts des activités et des intrants des programmes, est approprié, même si le processus de conception des programmes n’a pas tenu directement compte d’autres méthodes de prestation des programmes et de leurs coûts.

(4) Très satisfaisant: Les programmes et les projets financés par l’OM (développement, prévention des catastrophes, opérations de secours et relèvement) sont conçus pour inclure des activités et des intrants qui produisent des extrants de la façon la plus efficace par rapport aux coûts et aux ressources disponibles à ce moment.

5.2 La mise en œuvre et les objectifs sont réalisés dans les délais prévus (compte tenu du contexte, dans le cas des programmes d’aide humanitaire)

(1) Très insatisfaisant: Moins de la moitié des objectifs établis à l’égard des extrants et des résultats des programmes et des projets financés par l’OM sont atteints dans les délais prévus et il n’existe pas de plan sérieux ou d’explication valable qui laisserait présager une amélioration.

(2) Insatisfaisant: Moins de la moitié des objectifs établis à l’égard des extrants et des résultats des programmes et des projets financés par l’OM sont atteints dans les délais prévus, mais la conception du programme ou du projet a été modifiée pour tenir compte des problèmes survenus, ce qui devrait permettre d’atteindre les objectifs plus rapidement à l’avenir. Dans le cas des programmes d’aide humanitaire, il y avait une explication valable pour les retards.

(3) Satisfaisant: Plus de la moitié des objectifs établis à l’égard des extrants et des résultats, pour les programmes et les projets financés par l’OM, sont atteints dans les délais prévus. Ce niveau est approprié, compte tenu du contexte dans lequel les programmes sont mis en œuvre, plus particulièrement les programmes d’aide humanitaire.

(4) Très satisfaisant: Presque tous les objectifs établis à l’égard des extrants et des résultats, pour les programmes et les projets financés par l’OM, sont atteints dans les délais prévus. Dans le cas des programmes d’aide humanitaire, une explication valable des retards dans l’atteinte de certains extrants et résultats est fournie.

5.3 Les systèmes et les procédures pour la mise en œuvre et le suivi des projets et des programmes sont efficients (notamment les systèmes employés pour l’embauche du personnel, la fourniture des intrants du projet, le versement des fonds, les dispositions logistiques, etc.).

(1) Très insatisfaisant: Il existe de graves lacunes dans les systèmes et les procédures de mise en œuvre des programmes ou des projets de l’OM, lacunes qui causent d’importants retards dans le démarrage des projets, leur mise en œuvre ou leur achèvement, ou une forte augmentation des coûts.

(2) Insatisfaisant: Il existe certaines lacunes dans les systèmes et les procédures de mise en œuvre des programmes ou des projets de l’OM, mais rien n’indique qu’elles ont causé des retards dans l’atteinte des objectifs des programmes ou des projets.

(3) Satisfaisant: Les systèmes et les procédures de mise en œuvre des projets de l’OM sont raisonnablement efficients et n’ont pas causé de retards importants ou une forte augmentation des coûts.

(4) Très satisfaisant: L’efficience des systèmes et des procédures de l’OM pour la mise en œuvre des projets constitue un atout important pour la mise en œuvre du programme visé par l’évaluation

6. Recours à l’évaluation et au suivi pour améliorer l’efficacité de l’aide au développement

6.1 Les systèmes et les processus d’évaluation sont efficaces.

(1) Très insatisfaisant: Les méthodes d’évaluation utilisées pour les programmes et les projets de ce genre (développement, prévention des catastrophes, opérations de secours et relèvement) sont grandement insuffisantes.

(2) Insatisfaisant: Rien n’indique que les programmes et les projets de ce genre (développement, prévention des catastrophes, opérations de secours humanitaires et relèvement) font l’objet d’évaluations systématiques et périodiques.

(3) Satisfaisant: Le programme évalué fait l’objet d’évaluations systématiques et périodiques, ou il existe des signes évidents de l’utilisation d’une telle pratique. Il n’y a aucune mention de politiques et de pratiques visant des programmes ou des projets semblables. Il peut s’agir de méthodes et d’approches d’évaluation spécialisées pour des programmes de prévention des catastrophes, de secours humanitaires et de relèvement.

(4) Très satisfaisant: Le programme évalué (et d’autres programmes et projets semblables) fait l’objet d’évaluations systématiques ou périodiques, ou il existe des signes évidents de l’utilisation d’une telle pratique.

6.2 Les systèmes et les processus de suivi des résultats et d’établissement des rapports sont efficaces.

(1) Très insatisfaisant: Il n’existe pas de systèmes de suivi et d’établissement de rapports pour les programmes de développement et d’aide humanitaire. Entre autres, il n’existe pas de suivi adéquat des extrants pendant la mise en œuvre des programmes d’aide humanitaire.

(2) Insatisfaisant: Bien qu’il existe des systèmes de suivi et d’établissement de rapports pour les programmes de développement et d’aide humanitaire, ils ne permettent pas la présentation périodique de rapports, ou les rapports ne conviennent pas du point de vue de la fréquence, de la portée ou de la fiabilité.

(3) Satisfaisant: Les systèmes de suivi et d’établissement de rapports pour les programmes de développement et d’aide humanitaire, selon le cas, sont bien établis et permettent la présentation de rapports périodiques.

(4) Très satisfaisant: Les systèmes de suivi et d’établissement de rapports sur les résultats pour le programme sont bien établis et permettent la présentation de rapports périodiques. Selon l’évaluation, les rapports périodiques sont de qualité supérieure et il semble que les résultats soient utilisés pour gérer le programme.

6.3 Les systèmes de gestion axée sur les résultats (GAR) sont efficaces.

(1) Très insatisfaisant: Il n’existe aucune preuve de l’existence d’un système de GAR pour le programme et aucun système n’est en cours d’élaboration.

(2) Insatisfaisant: Même si un système de GAR est en place, ou en cours d’élaboration, il n’est pas fiable et ne produit pas de rapports périodiques sur le rendement du programme.

(3) Satisfaisant: Un système de GAR est en place et produit des rapports réguliers sur le rendement du programme.

(4) Très satisfaisant: Un système de GAR est en place pour le programme et l’évaluation dispose de preuves indiquant que le système est utilisé pour apporter des modifications au programme en vue d’en améliorer l’efficacité.

6.4 L’OM se sert des évaluations pour accroître l’efficacité de l’aide humanitaire ou de l’aide au développement.

(1) Très insatisfaisant: Le rapport d’évaluation ne contient pas de réponse de la direction et aucune réponse n’est jointe ou rattachée au document. Il n’existe aucune indication par rapport à la façon dont les résultats de l’évaluation seront utilisés. Il n’existe aucune indication à savoir si des évaluations semblables ont été utilisées pour améliorer l’efficacité du programme par le passé.

(2) Insatisfaisant: Le rapport d’évaluation comporte une réponse de la direction (ou bien une réponse est jointe ou rattachée au document) mais on n’y indique pas quelles recommandations ont été acceptées.
OU
Il existe une indication imprécise concernant le fait que des évaluations semblables ont été utilisées pour améliorer l’efficacité du programme par le passé.

(3) Satisfaisant: Le rapport d’évaluation comporte une réponse de la direction (ou bien une réponse est jointe ou rattachée au document) qui indique quelles recommandations ont été acceptées.
OU
Il existe une indication précise établissant que des évaluations semblables ont été utilisées par le passé pour apporter des améliorations clairement établies à l’efficacité du programme.

(4) Très satisfaisant: Le rapport d’évaluation comporte une réponse de la direction (ou bien une réponse est jointe ou rattachée au document) qui décrit une réponse convenable pour chaque recommandation principale et il est très probable que leur application occasionnera les changements organisationnels et de programmation nécessaires pour atteindre les objectifs.

Annexe 6 : Documents organisationnels examinés

Annexe 7 : Liste des sources – Chapitre sur la collaboration entre le Canada et la BID

Entrevues

Nancy Lee, gestionnaire, et Yuri Soares, Unité de l’efficacité du développement, Fonds d’investissement multilatéral

Ginya Truitt Nakata, spécialiste principale, Opérations, Bureau des partenariats stratégiques

Carol Nelder-Corvari, administrateur suppléant, Bureau de l’administrateur pour le Canada

Jason Hollman, gestionnaire, Partenariats pour l’innovation dans le développement, ministère des Affaires étrangères, du commerce et du développement du Canada

Mariette Maillet, analyste principale, Secteur des enjeux mondiaux et du développement, ministère des Affaires étrangères, du commerce et du développement du Canada

Marita Olson, représentante de la Suède

Ana Maria Rodríguez, gestionnaire, Institutions pour le développement, Banque interaméricaine de développement

Johannes Hubertus Paulus Smeets, représentant des Pays-Bas

Tamara Sorger, conseillère, Bureau de l’administrateur pour le Canada

Documents et sites Web

ACDI. Stratégie de coopération de l’ACDI avec la Banque interaméricaine de développement (BID) 2010-2013. 2010.

ACDI. Évaluation de l’égalité entre les sexes à la Banque interaméricaine de développement (BID). 2011.

ACDI. Rapport 2011-2012 du Bureau de l’administrateur pour le Canada, Banque interaméricaine de développement. 2012.

MAECD. Stratégie d’engagement du Canada dans les Amériques. 2014. http://www.international.gc.ca/americas-ameriques/stategy-stratege.aspx?lang=fra

Système d’information du MAECD sur le développement. Versements à la BID par année et par mécanisme. 2014.

MAECD. Évaluation de la stratégie pour les Amériques, Section 3.0, Pertinence. 2011.

MAECD. Banque interaméricaine de développement. 2013. http://www.acdi-cida.gc.ca/acdi-cida/acdi-cida.nsf/fra/NAD-27153647-S72

MAECD. Rapport 2012-2013 du Bureau de l’administrateur pour le Canada, Banque interaméricaine de développement. 2013.

Affaires étrangères et Commerce international Canada. Évaluation de la Stratégie pour les Amériques. 2011.

BID. Assemblée des gouverneurs. 2014. http://www.iadb.org/fr/a-propos-de-la-bid/assemblee-des-gouverneurs,1325.html

BID. Assemblée des gouverneurs. Report on the Ninth General Capital Increase in the Resources of the Inter-American Development Bank. 2010.

Civil Registration and Identity Management. 2014. http://www.iadb.org/en/topics/government/civil-registration-and-identity,4032.html

BID. Bureau de la planification stratégique et de l’efficacité du développement. Annual Business Review. 2012.

BID. Consultations publiques, Strategy for Institutions for Growth and Social Welfare. 2014. http://www.iadb.org/en/civil-society/public-consultations/strategy-for-institutions-for-growth-and-social-welfare-sigs/strategy-for-institutions-for-growth-and-social-welfare,1842.html

BID. Strengthening Evaluation to Improve Development Results. 2011. http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=36931307

BID. Global Harvest Initiative, The Next Global Breadbasket: How Latin America Can Feed the World: A Call to Action for Addressing Challenges and Developing Solutions. 2014.

Annexe 8 : Réponse de la gestion

L’Examen des activités de développement de la Banque interaméricaine de développement (BID), préparé par la Direction de l’évaluation du MAECD, fournit un aperçu de l’efficacité des activités de la BID en matière de développement, une évaluation de la coopération du MAECD avec la BID et des recommandations visant à aider le MAECD à renforcer ses relations avec la BID.

L’évaluation souligne à juste titre que la BID constitue un partenaire de développement important pour le Canada en Amérique latine et dans les Caraïbes. En tant que source principale de financement en ce qui a trait au développement économique, social et institutionnel dans la région, la BID sert de véhicule important pour la réalisation des objectifs de développement du Canada ainsi que pour la promotion de la Stratégie d’engagement du Canada dans les Amériques. Le Canada est le troisième actionnaire non emprunteur de la Banque, avec une participation de 4 p. 100. Nous restons résolus à travailler en partenariat avec la BID en vue d’accroître les retombées de celle-ci dans la région en matière de développement.

Le MAECD est largement d’accord avec les conclusions de l’Examen en ce qui concerne l’efficacité de la BID en matière de développement. L’Examen indique que les programmes de la BID répondent aux besoins des groupes ciblés, que la Banque a récemment accompli des progrès considérables en ce qui a trait à la gestion axée sur les résultats et que la BID dispose d’un mécanisme de tenue d’évaluations solide. Toutefois, certains points clés doivent être encore améliorés. Il faut en particulier assurer la durabilité des résultats obtenus et déployer des efforts continus pour intégrer les questions de l’égalité des sexes et de la durabilité de l’environnement dans les activités de la BID. L’évaluation indique à juste titre que la nature rétrospective de sa façon de procéder ne lui permet pas de rendre pleinement compte des données probantes de plus en plus nombreuses concernant les résultats ou les changements mis en place par la Banque depuis la 9e AGC. Nous sommes d’accord avec les conclusions de l’Examen, indiquant que la Banque tente déjà de répondre à certaines préoccupations cernées et que les progrès accomplis sont prometteurs.

Le MAECD se félicite des conclusions relatives aux activités que mène le Canada avec la BID. Comme il a déjà été mentionné, nous confirmons la conclusion stipulant que la BID constitue un partenaire pertinent pour le MAECD. Nous saluons également le fait que les grandes contributions du Canada auprès de la BID et que son influence potentielle et le rôle de chef de file qu’il pourrait jouer au sein de la Banque aient été reconnus. Nous profiterons des occasions que présente la fusion pour promouvoir davantage les priorités du Canada en matière de politique étrangère, de commerce et de développement par l’intermédiaire de la BID.

Le MAECD accepte les recommandations que propose le rapport. Les recommandations préconisent que le MAECD poursuive ses efforts en ce qui concerne : 1) l’adoption d’une stratégie pangouvernementale en ce qui a trait à ses relations avec la Banque; 2) l’exercice d’une influence sur la réorganisation éventuelle du secteur privé; 3) l’appui aux activités de la BID dans les Caraïbes et en Haïti; 4) la promotion de l’intégration des questions de l’égalité entre les sexes et de la durabilité de l’environnement dans les activités de la BID; 5) le renforcement de la gestion axée sur les résultats. Les activités du MAECD tiennent déjà compte de ces points et continueront à le faire à la fois par l’intermédiaire du bureau de notre directeur exécutif ainsi que directement dans le cadre des Assemblées annuelles et de discussions avec la direction et les employés de la Banque. Le MAECD prendra également des mesures précises comme le décrivent les réponses détaillées aux recommandations particulières dans le tableau ci-dessous.

Recommandations : 1. Le MAECD devrait tirer parti de la fusion récente pour actualiser sa stratégie de collaboration avec la BID, en tenant compte des priorités pangouvernementales et en proposant un cadre de mesure du rendement.

Engagements/mesures : D’accord

1.1 Le MAECD continuera de travailler avec Finances Canada pour fixer des objectifs annuels pour sa collaboration avec la BID. Ces objectifs de rendement s’appuient sur les engagements énoncés dans les Stratégies institutionnelles, reflètent les priorités pangouvernementales et sont conçus comme des objectifs atteignables par le personnel, ce qui nous permet d’évaluer le rendement chaque année.

1.2 Le MAECD mettra à jour les renseignements sur son site Web en ce qui concerne sa collaboration avec la BID, notamment ses objectifs stratégiques

Responsable : MAECD/Enjeux mondiaux et développement

Échéance : Mars 2015

Statut :

Recommandations : 2. Le MAECD devrait jouer un rôle actif dans la restructuration éventuelle des mécanismes de financement de la Banque qui mettent à contribution le secteur privé. Il doit aussi veiller à ce que cette restructuration se traduise par une amélioration concrète des résultats en matière de développement. De cette façon, il pourra aussi faire connaître sa vision de la contribution du secteur privé à la réduction de la pauvreté dans la région.

Engagements/mesures : D’accord

2.1 Le MAECD continuera à participer activement à des discussions concernant l’éventuelle restructuration des fenêtres de financement du secteur privé de la Banque en :

1. jouant un rôle de chef de file dans le cadre du processus de restructuration au conseil d’administration par l’intermédiaire du bureau de notre administrateur;
2. participant aux prochaines rencontres des administrateurs;
3. entamant un dialogue direct avec le personnel de la BID/SII, notamment aux niveaux supérieurs.

2.2 Les efforts décrits ci-dessus comprendront :

1. la recherche continue de synergies solides entre les activités menées à l’échelle publique et à l’échelle privée;
2. un dialogue actif avec le groupe de travail du secteur privé responsable des questions relatives à l’égalité des sexes pour veiller à l’intégration efficace de cette question au sein des activités du secteur privé.

2.3. Au cours de discussions avec des représentants de la Banque, le MAECD présentera la stratégie du gouvernement du Canada en ce qui concerne le secteur privé et le développement visant à obtenir davantage de résultats grâce à l’investissement, à l’établissement de partenariats et à l’innovation.

2.4 Le MAECD écrira une lettre à la haute direction de la Banque présentant les principales conclusions de l’examen. Cette lettre réitérera les attentes du Canada selon lesquelles l’éventuelle restructuration des fenêtres de financement du secteur privé devrait améliorer concrètement les répercussions en matière de développement.

Responsable : MAECD/Enjeux mondiaux et développement

Échéance : Avril 2016

Statut :

Recommandations : 3. Le MAECD devrait continuer d’insister sur l’importance d’intégrer l’égalité entre les sexes et la durabilité de l’environnement aux activités du groupe de la BID, et d’aider à cette intégration.

Engagements/mesures : D’accord

3.1 Conformément à la section 2.4, le MAECD écrira une lettre à la haute direction de la Banque présentant les principales conclusions de l’examen et demandant à la BID de s’attaquer le plus rapidement possible aux principales inquiétudes soulevées. En particulier, le MAECD insistera sur l’importance de veiller à ce que les questions de l’égalité entre les sexes et de la durabilité de l’environnement soient comprises dans les cadres de responsabilités, les évaluations et les stratégies-pays.

3.2 Le MAECD mettra à jour son Évaluation institutionnelle de l’égalité entre les sexes et son Évaluation environnementale stratégique pour la BID en vue de mieux déterminer les points prioritaires à améliorer.

3.3 Le MAECD collaborera également avec le bureau de l’administrateur canadien à la BID en vue de continuer à promouvoir ces points :

1. pendant les réunions du conseil d’administration;
2. aux assemblées annuelles;
3. directement auprès du personnel de la BID, y compris aux niveaux supérieurs; et d’obtenir l’appui d’autres présidents partageant notre optique.

Responsable : MAECD/Enjeux mondiaux et développement

Échéance : Mars 2016, Mars 2017 (3.3)

Statut :

Recommandations : 4. Le MAECD devrait continuer à jouer un rôle important afin de s’assurer que la BID intervienne efficacement dans les Caraïbes, en particulier en Haïti.

Engagements/mesures : D’accord

4.1 MAECD/Enjeux mondiaux et développement poursuivra sa collaboration étroite avec MAECD/Amériques et le bureau de notre administrateur en vue d’assurer le suivi des engagements globaux de la Banque ainsi que des résultats obtenus dans les Caraïbes et en Haïti.

4.2 MAECD/Amériques, par l’intermédiaire de son programme bilatéral en Haïti, poursuivra sa collaboration avec la BID, en tant que donateur et partenaire de projet, tout en encourageant celle-ci à continuer d’améliorer la qualité et l’efficacité de sa programmation à Haïti, en particulier en vue d’intensifier les efforts de coordination parmi les donateurs, de renforcer les capacités du gouvernement de Haïti à fournir un leadership efficace et d’accroître les capacités internes de la BID de concevoir, de mettre en œuvre et de surveiller des programmes qui cherchent à atteindre des résultats à long terme. Le MAECD continuera de nouer le dialogue avec ces pays par l’intermédiaire du bureau de l’administrateur et à l’occasion des assemblées annuelles en vue de mieux cerner leurs priorités et de mieux collaborer avec la BID.

Responsable : MAECD/Enjeux mondiaux et développement

Échéance : Mars 2016

Statut :

Recommandations : 5. Le MAECD devrait mettre à profit les efforts antérieurs afin que la BID améliore la planification et le suivi des résultats, notamment en communiquant plus clairement l’information sur l’efficacité de l’aide au développement.

Engagements/mesures : D’accord

5.1 Conformément à la section 2.4, le MAECD écrira une lettre à la haute direction de la Banque présentant les principales conclusions de l’examen et demandant à la BID de s’attaquer le plus rapidement possible aux principales inquiétudes soulevées, notamment en ce qui a trait à la planification et au suivi des résultats.

5.2 Le MAECD collaborera avec le bureau de l’administrateur canadien à la BID en vue de continuer à chercher à apporter des améliorations à la planification et au suivi des résultats :

1. pendant les réunions du conseil d’administration;
2. aux assemblées annuelles;
3. directement auprès du personnel de la BID, y compris aux niveaux supérieurs; et d’obtenir l’appui d’autres présidents partageant notre optique.

5.3 Le MAECD travaillera aussi avec le bureau de l’administrateur canadien pour participer activement aux discussions actuelles visant à mettre à jour le cadre de résultats organisationnels de la BID ainsi qu’aux efforts déployés en permanence en vue de mettre en œuvre la budgétisation axée sur les résultats.

Responsable : MAECD/Enjeux mondiaux et développement

Échéance : Mars 2016

Statut :