Synthèse des évaluations liées aux subventions et aux contributions financées par l’enveloppe de l’aide internationale, 2011-2016

Février 2017

Remerciements

La Direction de l’évaluation du développement aimerait souligner la contribution des nombreuses personnes dont les connaissances, les compétences et les efforts ont été essentiels à l’achèvement du présent examen. La Direction de l’évaluation du Bureau de l’inspecteur général a mené conjointement cet examen et le personnel de Politique de développement, de Recherche sur le développement, de Cohérence et efficacité des programmes d’Affaires mondiales Canada a offert sa précieuse collaboration dans le cadre des processus de planification et d’examen. Des spécialistes des domaines de la gestion axée sur les résultats, des thèmes transversaux et de la planification des ressources financières ont donné des conseils techniques et des renseignements importants sur le contexte afin de structurer les constatations de la synthèse.

Un merci particulier aux membres du Comité des programmes et du Comité des programmes des directeurs généraux d’Affaires mondiales Canada qui nous ont faire part de leurs commentaires sur les constatations préliminaires de l’examen et qui ont cerné d’autres points à analyser.

Nous aimerions également reconnaître le travail de l’équipe de consultants d’Universalia, qui a mené ce mandat : Mariane Arsenault, Anne-Marie Dawson et Katrina Rojas. Le projet a été mené sous la supervision d’Andres Velez-Guerra et sous la direction d’Eugenia Didenko, qui a préparé le rapport définitif à distribuer.

David Heath
Chef de l’évaluation du développement

Acronymes et abréviations

Glossaire

Les termes suivants sont utilisés dans le présent rapport.

Sommaire exécutif

Le présent rapport rend compte des résultats issus de l’examen structuré des rapports d’évaluation ministériels portant sur les programmes de subventions et de contributions (S et C) financés par l’enveloppe de l’aide internationale (EAI). Il s’agit du tout premier exercice entrepris par Affaires mondiales Canada (AMC) pour dresser le portrait ministériel de ses programmes de S et C à partir des évaluations effectuées par PCE (Évaluation du développement, 29 rapports) et ZIE (Bureau de l’inspecteur général, 11 rapports d’évaluation).

Cet examen a pour but de tirer des leçons et de cerner les difficultés récurrentes afin de faciliter l’élaboration des prochains programmes ministériels et favoriser l’apprentissage horizontal. Les constatations et conclusions présentées dans ce rapport doivent être mises en contexte et interprétées selon la perspective historique de l’examen. La plupart des programmes de S et C examinés ont été mis en œuvre avant la fusion entre l’ancienne Agence canadienne de développement international (ACDI) et l’ancien ministère des Affaires étrangères et du Commerce international (MAECI). Ces programmes répondaient aux priorités internationales de l’époque, et non à celles d’aujourd’hui. En outre, l’examen porte sur tous les secteurs de programmation financée par l’EAI. Par conséquent, il n’a pas été possible de saisir les nuances propres à chaque secteur de programmation en raison du petit nombre de rapports d’évaluation qui les concernaient.

Conclusions

L’examen révèle qu’AMC a produit un solide ensemble de données d’évaluation probantes qui permet de tirer des conclusions sur la pertinence et l’efficacité des programmes de S et C. Par contre, les données probantes permettant de tirer des conclusions sur l’efficience et la durabilité de ses programmes, et sur l’avancement des thèmes transversaux (égalité entre les sexes, durabilité de l’environnement et gouvernance) sont moins robustes. L’examen permet également de cerner divers facteurs contributifs ou limitatifs pour l’obtention des résultats escomptés des programmes ministériels.

L'avantage comparatif du Canada est considéré comme solide dans les domaines du dialogue sur les politiques, de la promotion de l’égalité entre les sexes et de la gestion axée sur les résultats. D’autres données probantes permettent de constater des réussites dans l’établissement de partenariats avec de multiples partenaires, la mobilisation des organisations de la société civile et l’application de mécanismes de programmation variés.

Pertinence : L’examen révèle que les programmes de S et C du Ministère sont très pertinents et fortement alignés sur les priorités internationales établies par le Canada. Les programmes répondent largement aux besoins des bénéficiaires ciblés dans les pays en développement ainsi qu’aux besoins et priorités des Canadiens. Les programmes évalués sont jugés pertinents pour le mandat du Ministère de soutenir les efforts de réduction de la pauvreté, mais ils ne tiennent pas compte de l’attention mise dernièrement sur les plus pauvres et les plus vulnérables. L’examen donne à penser que le Ministère ne s’est pas doté d’une définition commune de ces groupes cibles et que les divers programmes les définissent et les abordent de façons différentes. Il convient de noter que le degré de pertinence semble être lié à un certain nombre de facteurs, comme effectuer une bonne évaluation des besoins, faire participer les partenaires, les amener à s’approprier le projet et tirer profit de leurs forces respectives, surtout aux étapes de la conception et de la mise en œuvre.

Efficacité : L’examen permet de conclure que les programmes de S et C sont généralement efficaces, bien qu’il existe des lacunes dans la capacité du Ministère de démontrer l’obtention de résultats à plus long terme. L’ensemble des données probantes provient largement de l’évaluation de la capacité des programmes à donner des extrants et des résultats immédiats. L’efficacité des programmes est appuyée par l’utilisation des solides connaissances, compétences et habiletés en développement dont dispose le Ministère et par les partenaires. Les programmes d’AMC présentent une solide capacité d’établir des partenariats, d’appliquer divers mécanismes de programmation et d’harmoniser les programmes aux besoins de bénéficiaires.

Alors que le Canada est reconnu comme un ardent défenseur de la gestion et de la mesure des résultats, le Ministère démontre des faiblesses dans l’application de la gestion axée sur les résultats à ses propres programmes. On constate des limites dans sa capacité de générer et de compiler des données sur les programmes et les projets, d’élaborer des outils de mesure du rendement de qualité (modèles logiques, cadres de mesure du rendement), ainsi que de communiquer ses attentes en matière de mesure du rendement auprès des agences de mise en oeuvre. Des difficultés dans l’application de la gestion axée sur les résultats à la coopération au développement de la part des donateurs, particulièrement dans la compilation des données et l’attribution des résultats aux programmes d’aide financés, sont bien documentées dans la littérature.

Efficience : L’examen a mis en lumière le peu de données d’évaluation probantes disponibles pour conclure à l’efficience des programmes de S et C. La plupart des données probantes sont de nature qualitative, et les rapports d’évaluation ne renferment pas souvent de recommandations sur les façons d’améliorer cette efficience. Cette absence s’explique en partie par les données limitées à l’échelon des programmes, le manque de données comparables pour les besoins de comparaison et l’absence de directives ou d’outils communs pour établir et surveiller des indicateurs d’efficience à l’échelon des programmes et des projets.

Durabilité : L’examen a permis de constater des résultats globaux mitigés. En outre, les rapports d’évaluation ont une portée assez limitée, ce qui a nui à la capacité de tirer des conclusions définitives à ce chapitre (p. ex., les calendriers examinés ne permettent pas l’obtention de résultats à long terme et les données longitudinales sur le rendement étaient limitées).

Thèmes transversaux : L’examen a révélé que les programmes d’AMC sont en partie efficaces pour intégrer les thèmes transversaux. Parmi les difficultés à progresser dans ce domaine, il y a notamment un manque de compréhension des agences de mise en oeuvre envers les attentes du Ministère en ce qui concerne les thèmes transversaux, la difficulté d’intégrer ces thèmes d’une perspective opérationnelle et de mesure du rendement (p. ex., modèles logiques, indicateurs de rendement adéquats) et la diminution de l’attention et des ressources au sein du Ministère. Certaines données probantes donnent à penser que la combinaison des interventions systématiques et ciblées en lien avec les thèmes transversaux peut s’avérer plus efficace. Cette constatation est surtout notable dans le domaine de la gouvernance, mais on remarque certains exemples dans le domaine de l’égalité entre les sexes.

Points à considérer en vue des prochains programmes

L’examen a permis de déceler plusieurs possibilités pour AMC de faire avancer ses programmes de S et C, notamment :

• capitaliser et développer d’avantage les forces reconnues internationalement du Canada dans les domaines du dialogue sur les politiques, de la promotion de la gestion axée sur les résultats et de l'égalité entre les sexes, de même qu’utiliser des démarches de programmation novatrices;
• établir des définitions communes des « bénéficiaires », qui comprend les plus pauvres et les plus vulnérables, ainsi que des objectifs;
• explorer les possibilités de mobiliser de nouveaux partenaires;
• promouvoir l’application de la gestion axée sur les résultats et donner des directives sur la façon d’évaluer et d'améliorer l’efficience et la durabilité;
• élaborer de la programmation ciblée pour les thèmes transversaux, en plus d’intégrer ces thèmes de façon systémique dans la programmation;
• renforcer le soutien technique et fournir des directives pour mettre en œuvre et mesurer les thèmes transversaux.

1. Contexte

Le présent rapport rend compte des résultats d’une analyse des rapports d’évaluations ministériels portant sur les programmes de subventions et de contributions (S et C) financés par Affaires mondiales Canada (AMC) et les ministères précédents par l’entremise de l’enveloppe de l’aide internationale (EAI).

Les principaux objectifs de cette synthèse sont les suivants :

• fournir un ensemble de données probantes cumulatives pour alimenter l’examen de l’aide internationale du gouvernement du Canada;
• tirer des leçons pour faciliter l’innovation, l’efficacité et la cohérence;
• contribuer à l’apprentissage horizontal à l’échelle du Ministère.

Le présent rapport se divise comme suit :

• la section 1 donne un aperçu de la méthodologie utilisée dans le cadre de l’examen;
• la section 2 présente les constatations de l’examen en fonction des cinq principaux critères : pertinence, efficacité, efficience, durabilité et thèmes transversaux;
• la section 3 présente les conclusions de l’examen et les répercussions sur les futurs politiques;
• la section 4 présente des points à considérer pour les prochains programmes d’AMC.

2. Méthodologie

L’examen porte sur quarante rapports d’évaluation. De ces 40 rapports, 29 proviennent de la Direction de l’évaluation du développement d’AMC (PCE) et 11, de la Direction de l’évaluation du Bureau de l’inspecteur général (ZIE).

Ces évaluations ont été effectuées entre 2011 et 2016 et portent sur les programmes passés, notamment certains programmes entrepris dès 2002. La principale contrainte de l’examen est sa nature rétrospective, mais le petit nombre de rapports d’évaluation portant sur certains aspects du continuum des programmes financés par l’EAI (p. ex., développement, aide humanitaire, sécurité et stabilisation) vient également en limiter la portée. Par conséquent, les particularités de ces programmes n’ont peut-être pas été bien saisies par les critères d’examen, par exemple les nuances de l’évaluation de la durabilité des interventions humanitaires ou de l’intégration des thèmes transversaux aux programmes de sécurité.

Les rapports d’évaluation couvrent les résultats obtenus à l’échelle nationale, régionale et thématique ainsi que le travail des organisations multilatérales :

• 18 rapports portent sur l’évaluation des programmes-pays ou des programmes de deux pays ou plus (PCE);
• 8 rapports font l’examen de l’efficacité de l’aide au développement des organisations multilatérales (PCE);
• 14 rapports sont des évaluations thématiques ou des évaluations portant surtout sur certains aspects, comme la sécurité et la stabilité (PCE et ZIE).

Outre les rapports d’évaluation, l’équipe d’examen s’est penchée sur des documents pertinents pour l’évolution du Ministère, les leçons retenues et les études menées par le Ministère dans le passé. Elle a également mené des entrevues auprès d’intervenants ministériels durant les étapes de la planification et de l’analyse des données.

La méthodologie adoptée repose sur un examen structuré des constatations énumérées dans les rapports d’évaluation. Afin d’orienter l’examen, on a élaboré un cadre à partir des éléments suivants : questions précisées dans les termes de références; critères du Comité d’aide au développement (CAD) de l’Organisation de coopération et de développement économiques (OCDE) ^{Note de bas de page 1} , soit la pertinence, l’efficacité, l’efficience et la durabilité; questions sur les thèmes transversaux d’AMC (égalité entre les sexes, durabilité de l’environnement, gouvernance). Le cadre a été peaufiné pour tenir compte des commentaires exprimés lors des entrevues menées à l’étape du démarrage. Pour faciliter l’examen des rapports d’évaluation et le codage des données, les questions d’évaluation ont été décomposées en critères et sous-critères, lesquels ont ensuite été intégrés à une grille d’examen, qui a été remplie pour chaque rapport.

Tous les critères d’examen ont été évalués sous trois angles :

• portée : le critère est-il abordé dans le rapport d’évaluation? (échelle de deux points : oui/non);
• notation : l’équipe d’examen a donné une note à chaque critère en fonction des renseignements contenus dans les évaluations originales du rendement des programmes (échelle de trois points : faible, acceptable et forte). Dans certains cas, les rapports « abordent » un critère, mais ne fournissent pas assez de données probantes pour le noter ^{Note de bas de page 2} . En l’absence de données suffisantes pour donner une note, l’examinateur indique « aucune note ».
• justification narrative : pourquoi cette note a-t-elle été donnée et en fonction de quels facteurs contributifs (positifs ou négatifs)?

L’équipe d’examen a utilisé plusieurs méthodes d’analyse des données pour documenter les constatations et les conclusions de l’examen. Ces méthodes sont notamment l’analyse descriptive qualitative, l’analyse quantitative, l’analyse comparative et l’analyse typologique selon le type d’évaluation (p. ex., évaluation de programme-pays, évaluation thématique, évaluation des affaires étrangères ou examen de l’efficacité de l’aide au développement).

3. Constatations

3.1 Aperçu

La présente section rend compte des résultats de l’examen liés aux critères de pertinence, d’efficacité, d’efficience et de durabilité, ainsi qu’aux thèmes transversaux. Chaque sous-section est structurée comme suit :

• portée du critère : analyse du nombre de rapports d’évaluation qui abordent le critère et les sous-critères connexes;
• principales constatations : répartition des notes (allant de fort à faible) données à chaque critère et sous-critère, selon le compte rendu contenu dans les évaluations examinées;
• facteurs contributifs et limitatifs : analyse qualitative des facteurs ayant influencé l’obtention de résultats et de la fréquence à laquelle ces facteurs sont mentionnés dans les rapports d’évaluation. Bien que cette analyse donne une indication de l’importance relative de ces facteurs, il ne faudrait pas la considérer comme un recensement exhaustif pour des programmes fructueux.

3.2 Pertinence des programmes de S et C

3.2.1 Portée du critère de pertinence

Comme l’illustre le graphique suivant, les rapports d’évaluation examinés abordent tous la pertinence ^{Note de bas de page 3} et bon nombre des sujets d’intérêt pour les futurs programmes de la même manière. Les objectifs de sécurité et de stabilité, ainsi que les programmes appuyant les États fragiles sont abordés dans moins de la moitié des rapports; cette couverture se trouve surtout dans les évaluations des programmes-pays et les évaluations des affaires étrangères. En outre, même s’il semble y avoir une volonté implicite de veiller sur les pauvres dans de nombreuses évaluations, la question de savoir si les programmes de S et C s’adressent « aux plus pauvres et aux plus vulnérables » n’est pas toujours abordée explicitement dans les rapports d’évaluation. La plupart de ces rapports ne permettent pas de déterminer si la stratégie de programmation est appropriée à la situation de développement du pays ou à son niveau de revenu, c’est-à-dire s’il s’agit d’un pays à faible revenu ou à revenu intermédiaire.

Figure 3.1 Nombre d’évaluations abordant le critère de pertinence

3.2.2 Principales constatations

Cette sous-section présente l’évaluation du rendement des programmes de S et C en lien avec le critère de la pertinence, tandis que la figure 3.2 illustre les notes accordées.

Pertinence générale

La pertinence générale des programmes de S et C est jugée forte dans 77 % des rapports d’évaluation, alors que les autres (23 %) disent qu’elle est acceptable. Tous les rapports décrivent clairement le bien-fondé du programme ou de l’initiative. Les programmes de S et C menés pendant la période examinée sont pertinents, surtout parce qu’ils répondent aux besoins des bénéficiaires et sont harmonisés aux plans et priorités nationaux, y compris les objectifs du Millénaire pour le développement (OMD). La correspondance aux priorités du Canada est également forte ^{Note de bas de page 4} .

Figure 3.2 Répartitions des notes par sous-critère de pertinence

Sept des huit examens de l’efficacité de l’aide au développement à l’étude évaluent positivement la pertinence des programmes des organisations multilatérales examinés. Ces examens reposent notamment sur certains critères précis liés à la pertinence des programmes pour les groupes cibles, dont les bénéficiaires, et fournissent donc une forme d’analyse de cette dimension. De nombreuses évaluations de programmes-pays ne définissent pas les besoins précis des bénéficiaires visés mais, dans l’ensemble, elles jugent les interventions d’aide au développement bien harmonisées aux priorités du pays visé. Quinze des 18 évaluations de programme-pays estiment que la pertinence générale de ces programmes est forte.

La définition du terme « pertinence » utilisée par la Direction de l’évaluation du développement (PCE) diffère de celle employée pour évaluer la pertinence des programmes liés aux affaires étrangères. Dans ce dernier cas, le Ministère met l’accent sur les façons dont les programmes répondaient aux besoins des Canadiens. Sur les 14 rapports d’évaluations thématiques et d’évaluations des affaires étrangères, 10 insistent sur les besoins et les priorités des Canadiens.

Les programmes d’AMC s’adressent aux pays à faible revenu, aux pays à revenu intermédiaire et aux États fragiles. Cela dit, les programmes évalués dans la plupart des évaluations de programme-pays, d’affaires étrangères et thématiques à l’étude n’ont pas été conçus en fonction du revenu du pays ni de son niveau de développement, à l’exception des interventions menées dans les États fragiles.

Pertinence pour atteindre les plus pauvres et les plus vulnérables

Les données prouvant que les programmes de S et C atteignent les plus pauvres et les plus vulnérables se retrouvent surtout dans les évaluations de programme-pays. Les rapports d’évaluation examinés ne contiennent pas d’indications substantielles pour déterminer si cet objectif est atteint avec constance ou s’il est abordé de la bonne façon; 16 des évaluations examinées ne font aucunement mention de la nécessité d’atteindre les bénéficiaires les plus vulnérables. Les évaluations de programme-pays mentionnent cette nécessité, mais elles parlent surtout des pauvres, ce qui correspond à la priorité du Canada de réduire la pauvreté. La définition du terme « les plus pauvres et les plus vulnérables » varie selon les différents types de programmes ministériels et, de ce fait, selon les rapports d’évaluation examinés également. Certains rapports parlent d’atteindre « les pauvres et les marginalisés », alors que d’autres parlent d’atteindre « les gens mal desservis par le gouvernement central », « les populations défavorisées » ou « les ultrapauvres ». Les examens de l’efficacité de l’aide au développement cherchent à déterminer si les programmes ont répondu aux besoins des groupes cibles, et non s’ils ont atteint les plus pauvres et les plus vulnérables. Certains de ces examens, comme ceux du Fonds des Nations Unies pour la population (FNUAP) et du Programme alimentaire mondial (PAM), présument que l’organisation s’est préoccupée des plus pauvres et des plus vulnérables en raison de la nature de son mandat, surtout en situation de crise humanitaire, de conflit et d’après-conflit.

Cependant, dans les 24 rapports d’évaluation des programmes s’adressant aux plus pauvres et aux plus vulnérables, 63 % obtiennent une forte note en ce qui a trait à la pertinence et 29 % obtiennent une note acceptable.

Pertinence pour appuyer les États fragiles

La pertinence des programmes pour appuyer les États fragiles n’est pas souvent mesurée dans les rapports d’évaluation examinés, ce qui n’est pas surprenant puisque seule une poignée de pays sont considérés comme des États fragiles selon la définition d’AMC. La pertinence des programmes pour les contextes fragiles n’est pas explicitement mentionnée dans les évaluations des affaires étrangères ou des évaluations thématiques, puisque la plupart de ces rapports n’évaluent pas la pertinence sous l’angle des bénéficiaires dans un contexte de développement.

Sur les 14 rapports d’évaluation des programmes soutenant les États fragiles, 57 % obtiennent une forte note pour la pertinence et 29 % obtiennent une note acceptable.

Pertinence pour atteindre les objectifs de sécurité et de stabilité

L’équipe d’examen a également cherché à déterminer si les objectifs de sécurité et de stabilité ^{Note de bas de page 5} sont abordés. Elle a découvert que 18 rapports mettent un certain accent sur la sécurité, alors que 14 contiennent certains éléments liés à la stabilité ^{Note de bas de page 6} . Dans la plupart des cas, ces deux notions se constituent pas explicitement des objectifs de l’intervention, mais pourraient en être des objectifs implicites en raison de la nature du programme examiné. Fait intéressant, les rapports d’évaluation de programme-pays et les rapports d’évaluation des affaires étrangères renferment des données sur la stabilité et la sécurité. Cela dit, malgré l’intérêt que porte actuellement AMC aux objectifs de sécurité et de stabilité, ni les programmes ni les évaluations n’indiquent ou n’expliquent comment s’y prendre pour atteindre ces objectifs. Par conséquent, le Ministère ne dispose d’aucun ensemble de données probantes et concluantes sur les interventions fructueuses faisant l’objet des rapports d’évaluation pour éclairer l’élaboration de ses futurs programmes. Des questions comme la transition démocratique, la bonne gouvernance et la protection des droits de la personne sont souvent associées à la stabilité dans les rapports d’évaluation (p. ex., l’évaluation du Fonds canadien d’initiatives locales). Plus particulièrement, 11 % des évaluations abordant les objectifs de sécurité et 29 % des évaluations abordant les objectifs de stabilité n’ont pu être notées.

Sous ces réserves, 44 % des évaluations qui abordent les objectifs de sécurité obtiennent une forte note et 44 %, une note acceptable. Dans le même ordre d’idées, 29 % des évaluations qui abordent les objectifs de stabilité obtiennent une forte note et 43 %, une note acceptable.

3.2.3 Facteurs contributifs

Le présent examen permet de constater que la pertinence des programmes de S et C repose lourdement sur une évaluation des besoins et une analyse de la situation adéquate, ainsi que sur la participation des partenaires et la mise à profit de leurs forces respectives. Voici les principaux facteurs contributifs cernés :

• Évaluation adéquate des besoins et consultation des éventuels bénéficiaires et partenaires afin d’harmoniser les programmes aux besoins des membres des groupes cibles et aux priorités nationales, arriver à un consensus et mettre à profit les forces respectives des partenaires (10 rapports sur 39). Par exemple, l’évaluation du Programme de gouvernance des partenariats avec les Canadiens souligne que les programmes les plus pertinents sont ceux qui font appel à des partenaires locaux dès le début pour qu’ils prennent part à l’évaluation des besoins, ainsi qu’à la rédaction des stratégies et des propositions. Cette condition est jugée essentielle pour cerner les risques et élaborer les stratégies d’atténuation qui s’y rattachent.
• Établissement d’une appropriation et d’une harmonisation des programmes par la participation des intervenants, surtout par leur participation aux étapes de la conception et de la mise en œuvre (5 rapports sur 39). Par exemple, l’Évaluation du Programme régional pour les Caraïbes indique que le programme profite de solides relations établies avec les partenaires régionaux et de leur contribution dans le domaine de l’égalité entre les sexes et de la gouvernance.
• Établissement de partenariats stratégiques avec divers groupes d’intervenants (4 rapports sur 39). Par exemple, l’Évaluation du programme-pays de l’Ukraine souligne la participation d’une diaspora active et informée dans le programme-pays.

3.2.4 Facteurs limitatifs

Même si la plupart des rapports d’évaluation font une évaluation positive de la pertinence des programmes, quelques-uns mentionnent des facteurs qui viennent limiter la pertinence de certaines interventions :

• Difficulté à effectuer l’évaluation des besoins en raison de données insuffisantes ou incomplètes (p. ex. données non stratifiées par sous-population, comme le sexe, ou données périmées) ou d’analyses de situation superficielles (5 rapports sur 39). Ce facteur limitatif est mentionné dans trois évaluations de programme-pays, un examen de l’efficacité de l’aide au développement et une évaluation des affaires étrangères.
• Participation limitée des partenaires aux étapes de la conception et de la mise en œuvre ne permettant pas de mettre à profit leurs connaissances, leur expertise et leurs réseaux (4 rapports sur 39).
•  

3.3 Efficacité des programmes de S et C

Portée du critère d’efficacité

Comme l’illustre la figure 3.3 suivante, la portée des critères ayant permis d’évaluer l’efficacité générale des programmes, l’efficacité des mécanismes de programmation, l’efficacité des partenariats établis avec les partenaires traditionnels et l’utilisation des outils de gestion du rendement est très élevée. La portée des autres critères est beaucoup moins importante. L’efficacité des partenariats établis avec des partenaires non traditionnels reçoit peu d’attention (2 rapports).

Figure 3.3 Nombre d’évaluations abordant le critère d’efficacité

3.3.2 Principales constatations

Cette sous-section présente l’évaluation du rendement des programmes de S et C en lien avec le critère de l’efficacité, tandis que la figure 3.4 illustre les notes accordées.

Efficacité générale

La plupart des notes moyennes accordées à la question de l’efficacité abordée dans les rapports d’évaluation examinés sont soit fortes soit acceptables en ce qui concerne l’efficacité générale et les progrès vers l’obtention des extrants et des résultats attendus en matière de développement. Seuls quelques rapports font mention de données probantes insuffisantes pour confirmer l’efficacité des programmes. La plupart des évaluations de programme-pays rendent compte de résultats positifs à l’échelon des projets dans divers secteurs, bien que ces résultats tendent à porter sur l’obtention d’extrants et de résultats immédiats (soit des résultats à court terme).

Figure 3.4 Répartitions des notes par sous-critère d’efficacité

Mise à profit efficace de l’expertise des organisations de la société civile

La plupart des rapports qui abordent la question des partenariats avec les organisations de la société civile (OSC) font une évaluation positive de la relation qui existe entre le programme et les OSC et obtiennent une forte note quant à la mise à profit efficace de l’expertise des OSC (68 %). Pour ce qui est des États fragiles, comme l’Afghanistan, le recours aux services des OSC permet d’accéder à certaines populations, mais une dépendance disproportionnée à ces organisations signifie que les liens avec les politiques, stratégies et plans de mise en œuvre à l’échelle nationale ne sont souvent pas assez pris en considération.

Efficacité des partenariats

Les rapports examinés renferment des données probantes substantielles sur les partenariats diversifiés et stratégiques qui ajoutent de la valeur aux programmes de S et C. Les partenariats avec les partenaires traditionnels, comme les autres ministères canadiens, les gouvernements nationaux ou infranationaux des pays partenaires, les OSC et les organisations multilatérales, obtiennent une note forte ou acceptable (57 % et 29 %, respectivement). Les rapports d’évaluation examinés soulignent l’existence de solides partenariats multipartites, et les rapports d’évaluation sur l’Afghanistan, le Pakistan et les pays de présence modeste en offrent des exemples particulièrement éloquents. Certains rapports d’évaluation mentionnent que les partenariats à divers échelons pourraient être renforcés par une coordination et une communication accrues. (C’est le cas notamment des évaluations des affaires étrangères du Programme de partenariat mondial, des examens de l’efficacité de l’aide au développement du FNUAP et du Programme des Nations Unies pour le développement (PNUD), ainsi que de l’évaluation du programme-pays du Honduras).

L’efficacité des partenariats avec les partenaires non traditionnels reçoit peu d’attention. Les deux rapports qui donnent des renseignements sur les partenaires non traditionnels ne les définissent pas explicitement comme tels. L’Évaluation de l’arrangement sur la police canadienne indique que le travail mené avec les services de police de trois échelons de gouvernement apporte une nouvelle dimension à l’approche pangouvernementale. L’Évaluation du Fonds pour la paix et la sécurité mondiales (2011) parle d’un partenaire avec les centres d’excellence africains pour élaborer les capacités africaines de formation en maintien de la paix.

Efficacité des mécanismes de programmation

Lorsqu’elle est évaluée, l’efficacité des mécanismes de programmation est forte (52 %) ou acceptable (42 %). Les mécanismes de programmation ne sont pas toujours évalués un par un dans les rapports d’évaluation; cependant, selon les observations des examinateurs, c’est la combinaison des mécanismes de programmation utilisés pour mettre en œuvre les divers projets dans le cadre de chaque portefeuille de programmes qui a contribué à l’efficacité générale des programmes. Dans le cadre des évaluations de programme-pays, la complémentarité et la prestation souple de l’aide découlant de la combinaison des mécanismes sont mentionnées dans divers rapports d’évaluation comme un facteur ayant contribué au succès du programme.

Innovation

La reconnaissance des innovations canadiennes en matière de développement obtient en moyenne une note forte (47 %) ou acceptable (37 %). La majorité des innovations mentionnées dans les évaluations de programme-pays se trouvent dans les programmes visant le secteur de la gouvernance, suivi des secteurs de l’agriculture et de l’environnement. Certaines innovations sont également mentionnées dans les secteurs de l’égalité entre les sexes, de l’éducation et de la santé. Les innovations concernent une vaste gamme d’initiatives menées dans chacun de ces secteurs. Il convient de noter que la plupart des innovations menées dans le secteur de la gouvernance sont mentionnées par les pays de présence modeste qui ont le statut de pays à revenu intermédiaire.

Avantage comparatif du Canada

L’avantage comparatif du Canada est examiné dans 60 % des rapports d’évaluations. De ces rapports, 33 % obtiennent une note forte pour cet aspect et 46 %, une note acceptable. La plupart des exemples fournis dans les évaluations examinées concernent les secteurs de l’égalité entre les sexes et du dialogue sur les politiques. Malgré les limites de la gestion axée sur les résultats (GAR) mentionnées plus bas, plusieurs rapports (p. ex., l’Évaluation du programme-pays du Pérou et les examens de l’efficacité de l’aide au développement du FNUAP et du Fonds des Nations Unies pour l’enfance ou UNICEF) indiquent que la promotion que fait le Canada de la GAR représente un avantage distinct parmi les autres donateurs et partenaires.

Complémentarité des programmes

Seulement 20 % des rapports d’évaluation obtiennent une note forte pour la complémentarité des programmes de S et C. Un certain nombre d’évaluations de programme-pays soulignent les faiblesses de la complémentarité et de la synergie entre les programmes (p. ex., le Programme interaméricain (PIA), et les programmes-pays de la Colombie, des Caraïbes, du Honduras, d’Haïti, de la Bolivie, du Sénégal et du Mozambique-Tanzanie). Ces faiblesses semblent découler d’une faible diffusion de l’information ou d’une mauvaise communication des connaissances entre les programmes, notamment l’échange d’information sur les tendances régionales, les possibilités sectorielles, ainsi que les résultats, les leçons et les bonnes pratiques issus des diverses initiatives. Cette information n’est pas facilement disponible pour les autres programmes et projets qui pourraient en tirer profit.

Dans les examens de l’efficacité de l’aide au développement, les défis récurrents du Ministère en ce qui concerne le soutien institutionnel par la voie multilatérale sont notamment l’élaboration d’une stratégie pour faire participer les organisations multilatérales connues à l’échelle du Ministère, ainsi que l’établissement de liens entre le travail du Canada au sein du Conseil d’administration et dans d’autres parties du Ministère. Les objectifs de la participation institutionnelle ne donnent pas toujours lieu à un financement propre, même si, dans certains cas (p. ex., le FNUAP) on s’attend à ce qu’il y en ait un. Il faut donc renforcer la cohérence des programmes d’aide au développement parmi les directions générales des programmes multilatéraux, des programmes géographiques et des partenariats pour l’innovation dans le développement. À cet égard, le rapport d’évaluation du programme-pays du Pérou propose d’instaurer un mécanisme de liaison. Dans les États fragiles comme Haïti et l’Afghanistan, les rapports rendent compte des difficultés d’intégrer les programmes d’aide humanitaire et d’aide au développement.

La complémentarité entre les programmes des affaires étrangères et de l’aide au développement est discutée dans un petit nombre de rapports d’évaluation, mais elle semble plus évidente depuis la fusion de l’ACDI et du MAECI. Des consultations tenues auprès du Ministère laissent entendre que la complémentarité entre les initiatives visant la sécurité et le développement n’est pas toujours faisable compte tenu des objectifs et des contextes distincts de chacun. Cependant, certaines des évaluations donnent à penser qu’il y a place à amélioration. Plus précisément, l’évaluation du Programme de partenariat mondial (2015) mentionne le manque de coordination entre les programmes de sécurité et de développement du Ministère dans plusieurs missions canadiennes à l’étranger. L’évaluation du Fonds pour la paix et la sécurité mondiales fait référence aux comités établis pour veiller à ce que les activités des affaires étrangères et du développement ne se chevauchent pas. Toutefois, ces comités ne se réunissent pas régulièrement et ne transfèrent pas d’information à leur agence respective pour éviter tout chevauchement.

Enfin, les évaluations parlent favorablement des efforts consentis pour assurer une complémentarité avec les autres partenaires du développement. Le Canada participe activement à des groupes de travail multi donateurs et à des forums de discussion tenus dans plusieurs pays. Ces mécanismes de coordination des donateurs servent à renforcer la coordination et l’efficacité de l’aide, ainsi qu’à éviter le chevauchement des efforts entre intervenants.

Utilisation efficace des outils de gestion axée sur les résultats

Divers outils de gestion axée sur les résultats (GAR) ont été utilisés par les programmes de S et C évalués pour surveiller et communiquer les résultats, ainsi que pour gérer les risques. La gestion axée sur les résultats est quelque peu incohérente à l’échelon des projets, et elle est généralement faible, voire inexistante dans certains cas, à l’échelon des programmes. Les notes accordées à la gestion axée sur les résultats se divisent presque également entre acceptable (47 %) et faible (45 %) ^{Note de bas de page 7} .

Plusieurs rapports d’évaluation de programme-pays font état de faiblesses à l’échelon des programmes dans la communication des résultats obtenus, surtout en raison des limites de la mesure du rendement, comme l’absence d’un cadre de mesure du rendement, de cibles et de données de référence, ainsi qu’un suivi et une évaluation inefficaces, ce qui rend difficile la tâche de communiquer les résultats de programme de haut niveau. Les observations suivantes se fondent sur une analyse des évaluations portant sur le Bangladesh, la Bolivie, le Pakistan, l’Indonésie, le Sénégal, le Programme régional pour les Caraïbes et les pays avec une présence modeste :

• À l’échelon des projets : Les outils de GAR sont fréquemment utilisés, mais la qualité de la mesure et la diffusion des résultats est inégale, surtout pour les résultats de plus haut niveau attendus (p. ex., résultats intermédiaires). Les rapports mentionnent l’absence de données de référence et des indicateurs faibles ou inadéquats en particulier. L’évaluation de l’efficacité des projets est davantage compliquée par le nombre limité d’évaluations menées à l’échelon des projets.
• À l’échelon des programmes : Bien que la présence d’un cadre de mesure du rendement dans les programmes-pays ne faisait pas partie des exigences ministérielles avant 2009, plusieurs programmes ont élaboré et mis en œuvre de tels cadres avant qu’ils ne deviennent obligatoires. Ces cadres, ainsi que ceux produits après 2009, présentent cependant des faiblesses, comme l’absence de données de référence et des indicateurs faibles ou inadéquats. Les faiblesses constatées à l’échelon des programmes s’expliquent également par le changement constant d’outils de reddition de comptes et l’absence de cohérence ou d’harmonisation entre les résultats attendus aux échelons des projets et des programmes. Certains rapports mentionnent également que les cadres actuels ne permettent pas de bien rendre compte des résultats non imprévus et inattendus (p. ex., dialogue sur les politiques, coordination des donateurs). La mesure du rendement à l’échelon des programmes repose en grande partie sur les données cumulatives provenant de divers projets et, dans de nombreux cas, la collecte de données à l’échelon des projets n’est ni planifiée ni budgétée ou se limite aux activités et extrants des projets.
• Mise en œuvre multilatérale : Un certain manque d’harmonisation entre les exigences d’AMC en matière de GAR et celles des autres donateurs (autres gouvernements, organisations internationales) pose un défi aux organismes d’exécution et rend difficile la communication des résultats, tant à l’échelon des projets que des programmes.

Pour ce qui est des programmes bilatéraux, l’évaluation de l’efficacité des programmes de S et C menés de façon multilatérale est compromise par les limites de la planification, du suivi et de la reddition de comptes axées sur les résultats des organisations multilatérales. Les examens de l’efficacité de l’aide au développement indiquent que les programmes des organisations multilatérales sont souvent ambitieux, ont des objectifs qui manquent de liens de causalité, s’accompagnent d’indicateurs mal formulés et ne disposent pas de données de référence. Les examens, notamment ceux du FNUAP, de l’UNICEF et de la Banque interaméricaine de développement (BID) qui renferment une section sur les pratiques de gestion du Canada, indiquent également que les stratégies de participation institutionnelle s’accompagnent rarement d’un cadre de mesure du rendement pour faire le suivi et faire rapport de l’engagement stratégique du Ministère envers les organisations multilatérales. Ils indiquent que le Ministère est conscient de cette lacune et est à mettre à l’essai un cadre de mesure du rendement avec l’une de ces nouvelles stratégies de participation institutionnelle.

Bien que la pratique de la GAR soit reflétée dans les programmes et les évaluations de l’aide au développement, cette même pratique n’est pas évidente dans les évaluations des affaires étrangères. Cela peut s’expliquer par la nature des programmes des affaires étrangères, qui sont souvent réactifs et abordent des préoccupations immédiates dans des situations fragiles qui nécessitent une aide humanitaire ou une intervention militaire. Il n’est donc pas faisable de concevoir une GAR au préalable dans pareilles circonstances, ni d’en faire la mesure après coup. Il peut être utile d’élaborer un cadre de mesure du rendement générique qui pourrait être utilisé pour mesurer les contributions dans ce volet du mandat d’AMC.

Les consultations auprès des intervenants au sein du Ministère ont permis de confirmer que l’utilisation de la GAR demeure difficile. Une petite équipe d’experts en GAR au sein du Centre d’excellence de la GAR, ainsi que des conseillers en GAR (connus sous le nom de conseillers en gestion de programme), localisée dans chacune des directions opérationnelles a offert une aide technique à plus de 1 000 projets d’aide internationale mis à jour par le Ministère cette année. Ces projets sont mis en oeuvre par plus de 800 différents partenaires qui doivent tous comprendre les attentes d’AMC en matière de GAR. Un guide sur la façon d’intégrer la GAR dans la programmation de l’aide internationale est en cours d’élaboration.

Durant les consultations menées dans le cadre du présent examen, d’autres facteurs ayant une incidence sur l’utilisation de la GAR ont été soulevés, notamment : l’absence d’un environnement facilitant au sein du Ministère (p. ex., temps insuffisant pour utiliser la GAR aux étapes de la planification, de la conception et de l’approbation des projets, ainsi que temps ou ressources insuffisants pour gérer les résultats, manque d’expérience dans la formulation des résultats); l’atteinte d’un niveau de maturité différent en matière de GAR au sein de l’ancienne ACDI et de l’ancien MAECI; l’absence d’une planification et d’une budgétisation pour recueillir des données, ainsi qu’un taux de roulement du personnel au sein du Ministère ^{Note de bas de page 8} .

3.3.3 Facteurs contributifs

Les rapports d’évaluation examinés invoquent les facteurs suivants comme éléments ayant une influence sur la réussite des programmes de S et C :

• Mise à profit des solides connaissances, compétences et habiletés des ressources humaines d’AMC et des partenaires (personnel des autres ministères fédéraux, employés et bénévoles canadiens et recrutés sur place, personnel des organismes d’exécution, experts externes) (16 rapports sur 37). Les rapports d’évaluation mentionnent notamment une expertise concernant les questions d’égalité entre les sexes et de commerce international, les nouvelles technologies et l’agriculture, laquelle a contribué à l’efficacité des programmes (évaluations de programme-pays du Sénégal et de l’Ukraine).
• Partenariat avec de nombreux représentants sectoriels (secteur public, secteur privé, secteur communautaire, OSC) (13 rapports sur 37). Par exemple, selon l’évaluation des programmes d’aide au développement dans les anciens pays de présence modeste, le fait de prendre appui sur les projets fructueux déjà menés avec un gouvernement, des organisations non gouvernementales (ONG) ou des partenaires multilatéraux de confiance grâce à un dialogue politique stratégique et une coordination adéquate avec les autres donateurs contribue à l’efficacité des programmes menés dans ces pays. L’évaluation du programme-pays du Pakistan souligne également l’importance de partenariats novateurs avec des entités publiques, privées et communautaires.
• Renforcement des capacités en GAR et en suivi et évaluation chez les intervenants, ainsi qu’une utilisation appropriée des outils de GAR et suivi et évaluation systématiques (11 rapports sur 37). L’évaluation du Programme régional pour les Caraïbes fait, par exemple, des remarques positives sur la clarté des modèles logiques ainsi que sur la précision et la pertinence des indicateurs de rendement et des processus mis en place au sein des agences de mise en oeuvre et de l’ACDI pour mesurer et faire le suivi des progrès vers l’obtention des résultats attendus.
• Mise à profit efficace de l’expertise des OSC, canadiennes et locales (9 rapports sur 37). En ce qui concerne les OSC locales, l’évaluation du Programme de gouvernance des partenariats avec les Canadiens indique que les partenaires locaux ont une connaissance contextuelle appréciable de la culture et de la gouvernance qui aide à cerner les interventions qui sont les plus susceptibles de fonctionner dans ce contexte particulier. Les partenaires locaux comprennent les besoins de leur communauté et facilitent l’accès aux citoyens des diverses couches de la société afin d’accroître la participation des membres de la communauté.
• Mise en place de programmes dont la nature, la portée et l’ampleur conviennent aux besoins du pays et des bénéficiaires (6 rapports sur 37). Ce facteur est souligné dans l’examen de l’efficacité de l’aide au développement de l’UNICEF.
• Décentralisation de la gestion des programmes de l’administration centrale vers les bureaux sur le terrain (6 rapports sur 37). Ce facteur est notamment souligné dans le contexte des pays de l’Amérique centrale et de l’Amérique du Sud.
• Gestion des fonds localement pour mettre à l’essai de nouvelles initiatives et favoriser l’innovation (6 rapports sur 37).
• Recours à divers mécanismes de programmation et à une mise en œuvre souple à l’échelon des projets pour permettre leur adaptation à la situation qui évolue et aux occasions qui se présentent (5 rapports sur 37). L’évaluation du programme-pays de l’Afghanistan souligne l’importance d’une mise en œuvre souple des projets en particulier.

3.3.4 Facteurs limitatifs

Les facteurs limitatifs suivants expliquent certaines constatations non satisfaisantes notées dans les évaluations en ce qui concerne l’efficacité des programmes :

• Participation limitée des partenaires nationaux et faiblesse de leur capacité institutionnelle (17 rapports sur 37). Par exemple, l’examen de l’efficacité de l’aide au développement de la BID invoque l’absence d’intérêt politique et d’appropriation du pays envers certains projets et programmes de développement qu’elle finance. La faible capacité institutionnelle est mentionnée dans l’évaluation des programmes menés dans les trois États fragiles.
• Mauvaise communication et faible échange de connaissances entre les principaux intervenants, comme les donateurs, les ministères canadiens et les ministères des autres pays (13 rapports sur 37). Les évaluations qui soulignent les faiblesses de la conception des programmes ont tendance à faire état de faiblesses dans la communication et l’échange des connaissances.
• Faiblesses dans l’élaboration d’outils de GAR (modèles logiques, cadres de mesure du rendement) à l’échelon des programmes et des projets (13 rapports sur 37). L’évaluation du programme-pays de la Bolivie est représentative de quelques-uns des problèmes communs soulevés par les évaluateurs : le cadre de mesure du rendement existant ne donne pas un aperçu clair des résultats prévus et des indicateurs mesurables; des données de référence ne sont pas établies et la gestion des risques est quelque peu faible; à l’échelon des projets, certains énoncés de résultats sont trop ambitieux et manquent d’indicateurs réalistes; les exigences de suivi ne sont pas uniformes d’un projet à l’autre : certains rapports de projet mettent surtout l’accent sur les activités et les extrants, plutôt que sur les résultats obtenus.
• Absence de données cumulatives sur la mesure du rendement des programmes découlant des projets; collecte des données de référence, gestion des risques et suivi des activités et des extrants laissant à désirer (8 rapports sur 37).
• Manque d’indications et peu d’assistance ou de ressources techniques offertes au personnel des programmes dans l’application de la GAR et utilisation des outils généraux d’établissement de rapports (5 rapports sur 37).
• Facteurs externes, tels que l’agitation politique, les catastrophes naturelles et les crises humanitaires, particulièrement dans les États fragiles, sont souvent mis en évidence (13 rapports sur 37). En plus de la situation explosive prévalant dans les États fragiles, les exemples provenant des pays de présence modeste sont notamment la sécheresse au Nicaragua, les ouragans à Cuba, l’afflux de réfugiés syriens en Jordanie et la révolution en Égypte.

3.4 Efficience des programmes de S et C

3.4.1 Portée du critère d’efficience

Les rapports d’évaluation examinés abordent en général le critère de l’efficience (figure 3.5). La plupart (88 %) concluent à l’efficience des programmes, alors que 76 % ont permis de générer des données, surtout qualitatives, pour mesurer l’efficience.

Figure 3.5 Nombre d’évaluations abordant le critère d’efficience

3.4.2 Principales constatations

Efficience générale

Le nombre de rapports d’évaluation qui obtiennent une note forte ou faible pour l’efficience générale des programmes de S et C est assez égal. Ainsi, 26 % des évaluations obtiennent une forte note pour l’efficience, alors que 23 % obtiennent une note faible. Fait préoccupant : seulement 6 % des rapports d’évaluation obtiennent une forte note pour la production de données pour mesurer l’efficience. Ces chiffres donnent à penser que le Ministère a de la difficulté à démontrer clairement l’efficience de ses programmes de S et C.

Figure 3.6 Répartitions des notes par sous-critère d’efficience

Le présent examen a surtout permis de constater que le Ministère ne dispose pas d’un ensemble d’approches ou de critères communs pour évaluer l’efficience des programmes, ce qui rend difficile la tâche de comparer les divers types de programmes ou d’en cerner les bonnes pratiques ^{Note de bas de page 9} . Bien qu’il puisse être impossible d’établir des critères d’efficience communs pour tous les types de programmes, il serait tout de même utile de cerner des critères standards par regroupements (certains critères standards pour évaluer l’efficience des programmes-pays, par exemple). Les évaluations de programme-pays et les examens de l’efficacité de l’aide au développement pourraient reposer sur des déterminants semblables pour évaluer l’efficience en ce qui concerne la rapidité d’exécution, l’allocation des ressources par rapport aux résultats obtenus ou l’utilisation ou non des données de suivi pour faciliter l’exécution des programmes et la façon de les utiliser, le cas échéant.

Dans le cas des évaluations de programme-pays et des programmes des affaires étrangères, un certain nombre de facteurs ayant nui à l’efficience étaient directement du ressort du Ministère. Ces facteurs étaient liés à la nécessité de maintenir un effectif stable et d’éviter un taux de roulement élevé du personnel au sein du Ministère, ainsi que de simplifier les pouvoirs d’autorisation. En outre, l’examen révèle que les programmes d’aide au développement et les programmes des affaires étrangères sont toujours menés de façon distincte même après la fusion, ce qui est perçu comme une limite à leur efficience. Les processus mis en place pour concevoir les programmes et les projets, les mettre en œuvre, en faire le suivi et faire rapport de leurs résultats sont nombreux et n’ont pas été regroupés à la suite de la fusion entre l’ACDI et le MAECI. Enfin, les cadres de mesure du rendement ne permettent généralement pas de recueillir les données nécessaires pour évaluer et faire le suivi de l’efficience des programmes. Aucun système de collecte de données sur les coûts par bénéficiaire n’a été conçu au départ, et aucune directive n’existe au sein du Ministère sur la marche à suivre pour mesurer l’efficience.

Les organisations multilatérales évaluées dans les examens de l’efficacité de l’aide au développement obtiennent des notes mitigées en matière d’efficience; un peu moins de la moitié de ces examens (3 sur 8) obtiennent une note satisfaisante concernant l’efficience. Les organisations multilatérales sont aux prises avec certaines des mêmes difficultés que le Ministère. Bon nombre d’entre elles manquent de données cohérentes sur les indicateurs d’efficience, comme le coût des extrants, ou souffrent de la lenteur de l’exécution des programmes (souvent attribuable aux lourdes procédures administratives). Dans le rapport sur l’UNICEF, le facteur faisant obstacle à l’efficience par rapport aux coûts et aux ressources des programmes appuyés par l'UNICEF le plus souvent cité est l’absence d’une communication régulière et à temps des données appropriées sur les coûts pour permettre un calcul raisonnablement exact du coût des services ^{Note de bas de page 10} . La fragmentation des programmes dans de nombreuses organisations multilatérales semble également miner leur efficience. Quant à l’engagement du Canada envers les organisations multilatérales, le pays est habituellement considéré comme sensible aux organisations mais, à certaines occasions, surtout pendant la période de fusion des Ministères (2013-2014), il a pu manquer de clarté sur la responsabilité du traitement des décisions de financement et, de ce fait, ne pas répondre aux demandes de financement en temps opportun (p. ex., FNUAP, BID). Les examens de l’efficacité de l’aide au développement soulignent également la nécessité d’assurer une communication plus régulière et plus systématique entre les programmes multilatéraux et bilatéraux (p. ex., FNUAP, UNICEF).

Sur la question des procédures administratives ministérielles, l’évaluation du Bureau de la liberté de religion/Fonds pour la liberté de religion fait explicitement référence au Processus de programmation autorisé (PPA) ^{Note de bas de page 11} . Elle révèle que les mécanismes de sélection du PPA sont aussi voire plus rapides que les autres mécanismes d’approbation et que le niveau d’effort exigé du personnel des programmes n’est que légèrement plus élevé.

Données servant à mesurer l’efficience

L’examen révèle un sérieux manque de données de qualité pour évaluer ce critère. Plus précisément, 26 % des rapports d’évaluation ne comptent aucune donnée relative à ce critère et 45 % obtiennent une note faible. Lorsque l’efficience est abordée, elle est surtout étayée par des données probantes qualitatives, comme des entrevues auprès de divers intervenants.

Vingt rapports cernent l’absence de données financières comme obstacle pour faire une évaluation détaillée de l’efficience. Bien que les programmes de S et C génèrent certaines données pour mesurer l’efficience, ces données sont souvent incomplètes ou insuffisantes pour donner un portrait d’ensemble de la façon dont les ressources sont dépensées. L’évaluation des coûts selon la valeur unitaire n’est pas souvent planifiée à l’étape de la conception des programmes, et les données nécessaires ne sont pas recueillies. Les intervenants consultés indiquent également que l’établissement d’un coût selon la valeur unitaire est plus facile à faire pour certains types de programmes que pour d’autres (p. ex., les programmes de vaccination plutôt que les programmes axés sur l’intervention humanitaire ou sur le changement politique).

3.4.3 Facteurs contributifs

Les rapports invoquent des facteurs qui favorisent l’efficience des programmes de S et C :

• Recours à des ressources humaines suffisantes pour assurer la mise en œuvre réussie des programmes et des projets. Le leadership, le dévouement et la souplesse démontrés par les équipes locales ainsi que la connaissance et l’expertise des ressources humaines et des consultants (locaux et internationaux) sont cités en exemple (14 rapports sur 35). Ainsi, l’évaluation du programme-pays du Pakistan souligne la bonne utilisation des ressources locales dans le cadre des programmes en éducation et en autonomisation économique des femmes. Dans le cadre du programme de la Tanzanie, l’embauche d’un personnel spécialisé possédant une expertise en santé et en gestion des finances publiques offre un soutien technique au programme, au gouvernement tanzanien et aux autres donateurs. L’examen de l’efficacité de l’aide au développement de l’UNICEF souligne les solides capacités en gestion et en programmation des bureaux régionaux et de pays de l’UNICEF.
• Adoption de saines pratiques de gestion, telles qu’une gestion décentralisée et une conception souple, pour faciliter la prise de mesures et l’apport de modifications en temps opportun, au besoin (6 rapports sur 35). Par exemple, les évaluateurs constatent que la gestion décentralisée de l’Initiative sur la santé des mères, des nouveau-nés et des enfants favorise son efficience, alors que l’évaluation du programme-pays du Pérou indique que la conception et la gestion souples permettent d’apporter des modifications aux interventions et au budget qui s’imposent à l’étape de la mise en œuvre.
• Participation des institutions partenaires locales ou spécialisées (4 rapports sur 35). L’évaluation du programme-pays du Honduras indique que les programmes sont plus efficients lorsque les projets sont gérés par les agences d’exécution ou les institutions locales ou spécialisées, et non les institutions centrales du pays.

Même si les études et analyses menées antérieurement par le Ministère ne mettent pas vraiment l’accent sur l’efficience, la souplesse est parfois invoquée comme facteur permettant une plus grande efficience des programmes (p. ex., L’ACDI apprend : leçons tirées des évaluations 2011-2012). L’efficience est plus évidente lorsque les programmes sont décentralisés puisqu’il est alors plus facile de confier des responsabilités aux partenaires sur le terrain, ce qui offre une plus grande souplesse d’adaptation à la situation locale particulière.

3.4.4 Facteurs limitatifs

De nombreux rapports examinés soulignent la difficulté de recueillir les données financières quantitatives nécessaires pour évaluer l’efficience. Voici certains autres obstacles à l’efficience :

• Longs processus de décision et d’approbation, associés à une absence de délégation de pouvoirs ou à un manque de prévisibilité par rapport à l’affectation des fonds (17 rapports sur 35).
• Coûts élevés de gestion ou d’administration de certains programmes, surtout lorsque leur mise en œuvre est revue à la baisse par rapport au plan initial (5 rapports sur 35). Le taux de frais généraux est généralement plus élevé pour les initiatives de petite envergure ou dispersées sur le plan géographique. Par exemple, l’évaluation du Fonds canadien d’initiatives locales (FCIL) fait état d’importants frais administratifs (20 %) par rapport aux décaissements du programme ^{Note de bas de page 12} . Seule une évaluation de programme-pays (Indonésie) soulève des réserves quant aux coûts proportionnellement élevés de la gestion et de l’expertise technique internationale.

3.5 Durabilité des programmes de S et C

3.5.1 Portée du critère de durabilité

Bien que la durabilité générale des programmes soit souvent abordée (78 %), de nombreux rapports font une évaluation qualitative de ce critère, en faisant des observations sur les perspectives de durabilité et non sur le niveau de durabilité des résultats obtenus. Moins de la moitié (43 %) abordent la question des bonnes pratiques en matière de durabilité, et un petit nombre (10 %) examinent l’incidence de la coopération interprogramme sur la durabilité (figure 3.7).

Figure 3.7 Nombre d’évaluations abordant le critère de durabilité

3.5.2 Principales constatations

Pour la durabilité générale, une note acceptable est la plus souvent accordée (42 %). Cela dit, on constate d’importants écarts de note entre les rapports pour ce qui est de ce critère, et une grande proportion de rapports obtiennent une note faible (32 %). Il convient de noter que, puisque l’achèvement de bon nombre de ces programmes et initiatives remonte à trop peu de temps pour permettre une évaluation complète de la durabilité des résultats, les évaluations tirent généralement des conclusions sur les perspectives de durabilité plutôt que sur le niveau de durabilité réellement atteint.

Figure 3.8 Répartitions des notes par sous-critère de durabilité

Dans les 31 rapports qui abordent la question de la durabilité, environ la moitié des programmes évalués présentent de bonnes perspectives de durabilité. La majorité des programmes évalués permet de renforcer la création d’un milieu favorable au développement. Les évaluations de programme-pays démontrent souvent une appropriation des résultats à l’échelon du pays, ce qui est de bon augure pour assurer la durabilité, mais il manque de données probantes concrètes sur la durabilité des résultats dans les rapports examinés.

Malgré le peu de données probantes sur les bonnes pratiques en matière de durabilité, voici quelques éléments favorables cernés par l’équipe d’examen, en plus des facteurs contributifs énumérés plus bas : séances de formation et de transfert des compétences sur les meilleures pratiques adaptées à la situation du pays dans divers secteurs (p. ex., production agricole et protection de l’environnement à Haïti et en Cisjordanie et Gaza); instauration d’un fort sentiment d’appartenance à l’échelon local, et planification de la durabilité des résultats dès le début de la mise en œuvre des projets et programmes, notamment en obtenant l’adhésion hâtive des gouvernements et principaux intervenants locaux.

3.5.3 Facteurs contributifs

Les rapports renferment des données probantes sur certains facteurs qui contribuent à la durabilité des programmes :

• Participation des pays partenaires, y compris le gouvernement et les organisations locales, et promotion d’un sentiment d’appartenance (15 rapports sur 31) auprès d’eux. Ce facteur est souligné dans presque tous les examens de l’efficacité de l’aide au développement et dans un certain nombre d’évaluations de programme-pays, en mettant un accent particulier sur la participation hâtive dès la mise en place du programme ou de l’initiative.
• Établissement de liens et de réseaux entre les principaux intervenants à tous les échelons (8 rapports sur 31). Par exemple, l’évaluation du programme-pays du Mali indique que, dans le cadre de l’approche-programme, la participation de l’ACDI à tous les cadres de consultation d’un secteur donné, ainsi qu’à la promotion de la mise en commun de l’information et de la complémentarité des efforts a permis d’obtenir des résultats viables. L’évaluation du PIA indique que, dans l’ensemble, les perspectives de durabilité des résultats du programme sont solides grâce au choix des partenaires régionaux du PIA, car « tous les partenaires sont bien établis dans la région, la majorité d’entre eux ont des liens solides avec leurs principaux groupes cibles et bon nombre d’entre eux possèdent un niveau élevé de compétences en gestion ou sont en train de les améliorer ^{Note de bas de page 13} . »
• Intégration du changement dans les institutions, notamment grâce à des activités de renforcement des capacités (6 rapports sur 31). L’évaluation du programme-pays du Honduras reconnaît volontiers le renforcement des capacités aux échelons local et régional qui a permis de faire d’importants gains en capital humain à moyen et long termes. Une synthèse des évaluations liées à certains thèmes stratégiques (Meta-Synthesis of Evaluations on Selected Policy Themes, en anglais seulement) publiée en 2015 donne à penser que le renforcement des capacités et le changement des attitudes nécessitent un engagement à long terme et de multiples interventions.
• Correspondance parfaite entre les programmes et les besoins et priorités des pays (5 rapports sur 31). Certaines évaluations de programme-pays font un parallèle entre la durabilité des résultats obtenus et la pertinence des programmes qui répondent aux besoins et aux priorités du pays et des bénéficiaires.

Il y a peu de données pour conclure que la coopération interprogramme contribue à la durabilité, mais on en retrouve certains exemples remarquables dans les programmes-pays de l’Égypte et du Nicaragua évalués en tant que pays de présence modeste :

• En Égypte, le rapport se lit comme suit : « la principale valeur ajoutée par la programmation d’Affaires mondiales Canada a été son dévouement de longue date à établir des partenariats solides, diversifiés et stratégiques entre donateurs, organismes gouvernementaux et société civile. Le programme-pays a tenu des rencontres sur les projets financés par le Canada entre les micro, petites et moyennes entreprises bénéficiaires et les donateurs qui ont permis de cartographier les donateurs, de cerner les lacunes et d’établir une véritable collaboration. La convocation des parties prenantes de l’aide au développement a été une approche également adoptée par des représentants gouvernementaux, comme un modèle réussi de coordination bilatérale et multilatérale ^{Note de bas de page 14} . »
• Au Nicaragua, le programme du Ministère visant à mener des initiatives dans le nord du pays « a créé une synergie entre la gestion intégrée des bassins hydrologiques, les pratiques agricoles améliorées à l’intention des jeunes agriculteurs et l’électrification dans plus de 500 communautés afin de stimuler la croissance économique durable principalement par l’agriculture ^{Note de bas de page 15} . »

Facteurs limitatifs

Les rapports mettent également en lumière les facteurs qui limitent la durabilité des résultats suivants :

• Manque de capacité ou de participation institutionnelle de la part des gouvernements des pays partenaires pour maintenir les résultats (17 rapports sur 31). Bien que l’évaluation du programme-pays du Pérou souligne le manque de capacités de gestion et le roulement élevé du personnel dans les institutions publiques, l’évaluation du Programme régional pour les Caraïbes soutient que les faiblesses institutionnelles sont plus aiguës dans les petits États qui ont une capacité d’absorption limitée. C’est aussi ce que souligne l’analyse des thèmes communs découlant des évaluations liées à l’aide au développement du Ministère (Analysis of Common Themes Emerging from Corporate Development Evaluations, 2015, en anglais seulement) : les capacités limitées des pays partenaires et bénéficiaires et les courts délais de mise en œuvre nuisent à la durabilité de nombreux projets.
• Planification insuffisante en matière de durabilité, par exemple par des stratégies de sortie et des ressources adéquates lors d’une période de retrait progressif (6 rapports sur 31) et attention disproportionnée portée à l’obtention de résultats à court terme au détriment d’une orientation stratégique à plus long terme (7 rapports sur 31). Ce facteur est surtout invoqué dans les quatre examens de l’efficacité de l’aide au développement et dans les évaluations de programme-pays. Par exemple, dans les États fragiles comme l’Afghanistan et Haïti, les évaluateurs mentionnent que les stratégies de mise en œuvre à court terme accélèrent de beaucoup l’exécution des projets, mais ne permettent pas d’assurer l’obtention de résultats viables à long terme en matière de développement dans plusieurs domaines. L’évaluation du Programme de partenariat mondial indique que le programme est fortement axé sur l’obtention de résultats à court terme, comme de l’équipement et de la formation, plus de la moitié des projets étant menés en un an ou moins.
• Absence de mécanismes de financement récurrent pour les projets d’infrastructure et de prestation de services (14 rapports sur 31). Ainsi, les examens de l’efficacité de l’aide au développement mentionnent que les projets d’infrastructure, comme les projets routiers, souffrent de l’insuffisance de fonds et de capacités institutionnelles pour assurer un entretien régulier et périodique. On estime également que trop peu d’attention est accordée à la transposition à grande échelle ou à la reproduction des projets fructueux.
• Facteurs externes, tels que les catastrophes naturelles, l’agitation politique, la violence et les conflits, ainsi que la corruption, mis en évidence dans un certain nombre de rapports (6 rapports sur 31). La durabilité des activités menées sur le terrain est compromise, notamment, par la violence et les conflits qui secouent certains pays, comme la Colombie, plus particulièrement le département de Nariño où une grande partie des programmes sont menés, et le Mali, dont la région du nord vit de l’agitation politique.

Intégration des thèmes transversaux aux programmes de S et C

Portée du critère lié aux thèmes transversaux

AMC a établi trois thèmes transversaux qui doivent être abordés et intégrés dans tous les programmes d’aide au développement (égalité entre les sexes, durabilité de l’environnement et gouvernance). La figure 3.9 illustre le nombre de rapports d’évaluation qui abordent chacun des sous-critères liés aux thèmes transversaux.

Figure 3.9 Nombre d’évaluations abordant les thèmes transversaux

Égalité entre les sexes : Le thème de l’égalité entre les sexes est abordé dans 73 % des rapports d’évaluation examinés. Quelques évaluations de programme-pays traitent l’égalité entre les sexes comme un thème transversal et une priorité de programme. Les examens de l’efficacité de l’aide au développement font état de la piètre place qu’occupe l’égalité entre les sexes dans plusieurs organisations multilatérales (p. ex., UNICEF, BID et PAM), bien que certaines commencent depuis peu à se doter de nouvelles politiques en la matière. En effet, le Plan d’action à l’échelle du système des Nations Unies pour l’égalité des sexes et l’autonomisation des femmes n’est en vigueur que depuis 2012.

Durabilité de l’environnement : Bien que 60 % des rapports examinés abordent la question de la durabilité de l’environnement, seulement la moitié inclut explicitement de l’information sur les répercussions des changements climatiques. Les questions relatives à la durabilité de l’environnement et aux changements climatiques sont souvent absentes des examens de l’efficacité de l’aide au développement.

Gouvernance : Ce thème est abordé dans 57 % des rapports examinés. Huit rapports abordent la gouvernance uniquement comme un secteur de programme, sans intégration transversale, puisque ces évaluations sont plus susceptibles de porter sur des initiatives menées avant que le Ministère n’exige dans ses politiques que la gouvernance soit considérée comme un volet transversal des programmes. La gouvernance fait l’objet d’une attention particulièrement soutenue dans 8 des 18 évaluations de programme-pays examinées, lesquelles considèrent cette question à la fois comme un secteur de programme prioritaire, comme en éducation ou en santé par exemple, et comme un thème transversal.

3.6.2 Principales constatations

Les évaluations portant sur les programmes de S et C n’abordent pas les thèmes transversaux de manière uniforme, mais lorsqu’elles en parlent, la majorité obtient une note acceptable ou forte (figure 3.10).

Figure 3.10 Répartition des notes par thème transversal

Selon six rapports d’évaluation de programme-pays ^{Note de bas de page 16} , les thèmes transversaux ne sont pas entièrement intégrés aux programmes. Cette situation semble en partie s’expliquer par une utilisation limitée de la GAR afin de cerner, de mesurer et de faire le suivi des résultats liés aux thèmes transversaux. Les rapports soulignent les difficultés qu’ont les agences de mise en oeuvre à intégrer les thèmes sur le plan opérationnel dans les modèles logiques et les cadres de mesure du rendement, ainsi qu’à bien comprendre les attentes du Ministère. De plus amples directives et assistance technique de la part du Ministère sur l’intégration de l’égalité entre les sexes, de la durabilité de l’environnement et de la gouvernance aux projets et aux programmes peuvent s’avérer utiles pour que ces questions soient abordées comme il se doit.

Égalité entre les sexes

La note accordée à l’égalité entre les sexes est généralement acceptable : 28 % des rapports d’évaluation obtiennent une note forte et 48 %, une note acceptable. Il convient de noter que 17 % des rapports obtiennent une note faible, alors que 7 % ne sont pas en mesure d’obtenir une note en raison de l’absence de données probantes.

Bien que le Canada soit reconnu pour sa qualité de chef de file dans la promotion d’un dialogue et de politiques de qualité sur la question de l’égalité entre les sexes, l’examen permet de constater que les programmes portent de moins en moins attention à cette question au fil du temps. Plusieurs évaluations de programme-pays examinées (p. ex., Indonésie, Mali, pays de présence modeste) indiquent que l’égalité entre les sexes est jugée de moins en moins importante d’une période d’évaluation à l’autre, alors que d’autres (p. ex., région des Caraïbes et Ukraine) mentionnent l’élimination du Fonds pour la promotion de l’égalité entre les sexes et le nombre limité de spécialistes en égalité entre les sexes pour soutenir l’intégration de ce thème aux programmes ^{Note de bas de page 17} . Il n’est pas possible de savoir si ces facteurs sont la conséquence d’un investissement ministériel moins important envers l’égalité entre les sexes au fil du temps, d’une décentralisation des programmes et du soutien technique de l’administration centrale aux bureaux régionaux ou de la maturité du pays en fonction des progrès accomplis vers l’établissement d’un environnement favorable à l’égalité entre les sexes.

Parmi les huit organisations multilatérales évaluées dans le cadre des examens de l’efficacité de l’aide au développement, le FNUAP et le PNUD sont jugés d’un bon œil quant à la mise en oeuvre de leurs principes en matière d’égalité entre les sexes. Les autres organisations n’ont pas ou n’intègrent pas assez de données sur l’égalité entre les sexes dans leurs propres évaluations, alors que l’UNICEF obtient une note faible pour l’intégration de ce thème transversal. Cette note est ainsi expliquée : « [c]ette constatation est surprenante dans la mesure où la prise en compte de l’égalité entre les sexes représente une stratégie fondamentale de la programmation de l’UNICEF ^{Note de bas de page 18} . »

Une métasynthèse antérieure des évaluations d’AMC sur certains thèmes stratégiques ^{Note de bas de page 19} fait également état de la difficulté à maintenir la capacité nécessaire pour aborder de façon soutenue la question de l’égalité entre les sexes dans les programmes. Elle soulève donc la nécessité de renforcer les capacités pour assurer l’intégration et l’analyse de la question de l’égalité entre les sexes au sein du Ministère, afin de veiller à ce que les projets disposent de spécialistes professionnels en égalité entre les sexes et à ce que ces ressources soient budgétées. Cette métasynthèse souligne également que l’égalité entre les sexes est souvent abordée comme une priorité liée au dialogue sur les politiques et n’attire pas le niveau de financement des programmes qui lui revient.

Durabilité de l’environnement

Bien que la durabilité de l’environnement soit abordée dans 24 rapports d’évaluation, les données probantes sur l’intégration de cette question aux programmes ne sont pas assez solides pour tirer des conclusions sur son efficacité dans la plupart des cas. Seulement 17 % des évaluations examinées obtiennent une note forte à ce chapitre, alors que 29 % obtiennent une note faible.

Les examens de l’efficacité de l’aide au développement offrent peu d’information sur la façon dont les organisations multilatérales abordent la question de la durabilité de l’environnement (y compris les changements climatiques), et on ne sait pas trop dans quelle mesure le Canada prône une plus grande attention envers ce thème. La seule exception est l’examen du FNUD, qui indique que ce Fonds parvient à soutenir efficacement un développement durable pour l’environnement dans plusieurs domaines, comme l’amélioration des politiques énergétiques nationales, le resserrement de la gestion des ressources hydriques en milieu rural et urbain, le renforcement des programmes de conservation et l’amélioration de la promotion de la biodiversité, ainsi que le resserrement des capacités de gestion des ressources naturelles.

Parmi les programmes des affaires étrangères, l’évaluation du Programme de partenariat mondial révèle que le Canada et ses partenaires utilisent des méthodes écologiques pour éliminer les déchets nucléaires. Ainsi, le démantèlement réussi de sous-marins nucléaires par le Canada, en collaboration avec les États-Unis et la Russie, a permis de contenir la grave menace de prolifération des armes nucléaires et de réduire la menace d’un désastre environnemental sur les berges du Canada et d’autres voisins arctiques.

Les évaluations de programme-pays indiquent généralement que la durabilité de l’environnement ne constitue pas un thème principal des programmes, mais semble surtout être intégrée aux programmes prévoyant des interventions axées sur l’agriculture ou l’environnement. Dans plusieurs rapports, y compris ceux concernant les États fragiles que sont l’Afghanistan, Haïti et la Cisjordanie et Gaza, et même si les projets sont conformes aux exigences de la Loi canadienne sur l’évaluation environnementale à l’étape de leur conception, les questions environnementales ne sont pas assez abordées durant la mise en œuvre et, dans le cas d’Haïti, les lignes directrices sur l’environnement ne sont apparemment pas respectées dans le cadre de certains grands projets de construction de routes et de centrales électriques, comme le projet de route entre Les Cayes et Jérémie. En revanche, les rapports sur les programmes-pays du Sénégal, de l’Éthiopie, du Ghana et de l’Indonésie indiquent une bonne intégration des considérations environnementales, comme l’illustrent les résultats obtenus grâce à une gestion efficace des ressources naturelles, tandis que celui du Bangladesh indique que tous les projets d’infrastructure respectent les exigences environnementales.

Gouvernance

L’efficacité de l’intégration de la gouvernance aux programmes de S et C est surtout évidente dans les évaluations de programme-pays. Les examens de l’efficacité de l’aide au développement et les rapports d’évaluation des affaires étrangères font très peu de références explicites aux questions de gouvernance. Dans l’ensemble, 46 % des rapports d’évaluation obtiennent une note forte pour la gouvernance et 50 %, une note acceptable. Les bonnes notes généralement obtenues à ce chapitre s’expliquent probablement par le fait que la gouvernance est souvent considérée à la fois comme un secteur de programme prioritaire et un thème transversal et est évaluée en conséquence.

Dix des 18 évaluations de programme-pays examinées ^{Note de bas de page 20} font état d’importantes contributions au renforcement de la gouvernance aux échelons national et infranational et dans les divers secteurs de programme. Les programmes-pays du Mali et de l’Indonésie sont particulièrement louangés pour le rôle efficace qu’ils ont joué en vue de renforcer la gouvernance à l’échelon local.

Les examens de l’efficacité de l’aide au développement renferment peu d’information sur la façon dont les organisations multilatérales abordent la question de la gouvernance. Seul l’examen du PNUD évalue le rendement de l’organisation dans ce domaine. Le rapport explique que le PNUD a obtenu des résultats fructueux dans la promotion de la gouvernance démocratique dans les pays bénéficiaires en favorisant une plus grande transparence, en renforçant les systèmes parlementaires, en améliorant les systèmes de justice et de police, ainsi qu’en rehaussant la consolidation de la paix.

Parmi les 11 rapports d’évaluation des programmes des affaires étrangères, celui du FCIL indique que ce Fonds est efficace pour promouvoir la démocratie et les droits de la personne et qu’environ 40 % des fonds du FCIL sont consacrés aux initiatives qui appuient la transition démocratique et l’avancement de la démocratie. L’évaluation de la Stratégie pour les Amériques mentionne d’importants progrès dans le domaine de la gouvernance démocratique dans les Amériques; cette stratégie avait reçu le tiers des fonds que réserve AMC à la gouvernance démocratique au moment de l’évaluation (2011). L’évaluation souligne plusieurs résultats précis obtenus, notamment dans les domaines de la prévention des conflits et des efforts de consolidation de la paix (Colombie), ainsi qu’en faveur de la société civile, des médias transparents et des réseaux de recherche axés sur la démocratie.

3.6.3 Facteurs contributifs

L’examen permet de cerner les facteurs qui contribuent à assurer une meilleure intégration des thèmes transversaux :

• Leadership démontré par AMC et promotion des considérations transversales, en particulier l’égalité entre les sexes dans le dialogue sur les politiques, les consultations et la défense des intérêts (8 rapports sur 29). Ce facteur est le plus souvent mentionné dans les évaluations de programme-pays : Mali, Sénégal, Indonésie, la région des Caraïbes, la Bolivie et le Pérou.
• Efforts supplémentaires pour promouvoir une intégration uniforme et systématique des thèmes transversaux tout au long du cycle d’un projet, y compris l’intégration et la mesure des objectifs et des cibles liés à ces thèmes (8 rapports sur 29).

3.6.4 Facteurs limitatifs

L’examen permet également de soulever certains facteurs qui viennent limiter l’intégration des thèmes transversaux :

• Manque de compréhension du personnel des programmes quant à la façon d’intégrer les thèmes transversaux dans la pratique, notamment en ce qui a trait au suivi et à l’établissement des rapports à l’échelon des programmes (12 rapports sur 29). Ce facteur est invoqué dans tous les types de rapports d’évaluation examinés. Par exemple, l’évaluation du programme-pays Mozambique-Tanzanie mentionne que le personnel des programmes ne sait pas trop comment intégrer ces thèmes aux programmes et qu’il ne mesure pas assez les résultats qui découlent explicitement de cette intégration.
• Attention moindre, et assistance et ressources techniques insuffisantes accordées au personnel des programmes par rapport aux thèmes transversaux à l’échelon des projets et des programmes (7 rapports sur 29). Pour ce qui est de l’égalité entre les sexes, l’évaluation du programme-pays de l’Indonésie constate la diminution de l’attention portée à l’égalité entre les sexes au cours de la période d’évaluation, en partie à cause de la lourde charge de travail du conseiller en temps partiel du programme en poste à Jakarta, surtout dans le contexte de la décentralisation de l’Indonésie, puisque les capacités en la matière sont généralement plus faibles à l’échelon infranational. Quant à la durabilité de l’environnement, l’évaluation du programme-pays de l’Ukraine signale l’absence d’une participation régulière d’experts en environnement, tant à l’échelon des programmes que des projets, et le peu de ressources consacrés à cette question.

4. Conclusions et points à considérer en vue des prochains programmes

4.1 Conclusions

Cette section présente les conclusions de l’examen en fonction des données probantes tirées des rapports d’évaluation, ainsi que des autres rapports de métasynthèse d’AMC et des consultations tenues auprès des intervenants au sein du Ministère. Dans l’ensemble, AMC a produit un solide ensemble de données d’évaluation probantes qui permet de tirer des conclusions sur la pertinence et l’efficacité des programmes de S et C financés par l’EAI. Par contre, les données probantes permettant de tirer des conclusions sur l’efficience et la durabilité de ses programmes, et sur l’avancement des trois thèmes transversaux sont moins robustes.

Conclusion 1 : Les programmes de S et C d’AMC sont très pertinents.

Les programmes financés par l’EAI correspondent aux priorités du Canada en matière d’aide au développement international. Ils répondent très bien aux besoins des bénéficiaires visés dans les pays en développement, ainsi qu’aux besoins et priorités des Canadiens. Comme la plupart des programmes évalués et ils ont été mis en oeuvre il y a un certain temps, ils ne reflètent pas nécessairement l’accent accru que le Ministère met dorénavant sur les plus pauvres et les plus vulnérables ni sur la façon dont les programmes parviennent à atteindre ces groupes.

Conclusion 2 : Les programmes de S et C d’AMC sont généralement efficaces, malgré des lacunes dans la capacité du Ministère à déterminer si des résultats intermédiaires et ultimes ont été obtenus.

Les programmes de S et C sont bien décrits dans les rapports d’évaluation, même si l’ensemble des données probantes est généralement tiré de leurs réussites au niveau des extrants et des résultats immédiats. Les programmes arrivent très bien à mettre à profit l’expertise des OSC, l’établissement de partenariats, l’utilisation de mécanismes de programmes efficaces et l’adoption d’approches novatrices. Leur efficacité est soutenue par les connaissances, les compétences et les habiletés au sein du Ministère et par les partenaires.

Alors que le Canada est reconnu comme un ardent défenseur de la gestion et de la mesure des résultats, le Ministère démontre des faiblesses dans l’application de la GAR à ses propres programmes. Ces faiblesses nuisent à sa capacité de générer des données probantes détaillées sur l’efficacité. L’examen permet de constater que le Ministère et ses partenaires de mise en oeuvre se butent à certains défis et ne disposent pas de méthodes mutuellement acceptables pour utiliser les outils de GAR afin de mesurer le rendement, d’en faire rapport et de l’améliorer. Cela s’explique en partie par l’absence de ressources humaines et financières pour recueillir et analyser les données, par les délais dans la mise en œuvre d’un cadre et de méthodes de GAR qui permet de lier les données sur le rendement des projets aux données sur le rendement des programmes et du Ministère et par l’absence d’un dépôt de données entièrement fonctionnel qui pourrait faciliter le regroupement des données sur les résultats. Les outils et cadres de GAR sont largement utilisés à l’étape de la conception des programmes et des projets, mais ne servent plus aux étapes subséquentes pour gérer les résultats et apporter les correctifs qui s’imposent. Les données sur le rendement des programmes sont souvent très peu nombreuses, surtout en ce qui concerne les résultats intermédiaires et ultimes. Les fréquents changements apportés aux extrants et aux indicateurs ministériels posent également problème.

Conclusion 3 : Le Canada est reconnu pour son engagement envers les partenaires traditionnels, mais manque de stratégies de partenariats différenciées pour faire participer de nouveaux partenaires.

Selon les entrevues et les évaluations examinées, le Ministère démontre une capacité à nouer de solides partenariats avec les partenaires traditionnels, comme les donateurs, les gouvernements, les organisations multilatérales, les OSC et le secteur privé (en tant que partenaires de mise en oeuvre). L’examen ne permet pas d’évaluer le travail du Ministère avec des partenaires non traditionnels, comme les nouveaux donateurs et les fondations philanthropes du Sud, ni ses relations avec le secteur privé.

Conclusion 4 : Il y a peu de données probantes pour conclure que les programmes sont efficients.

L’examen met en lumière le peu de données quantitatives probantes pour analyser l’efficience des programmes de S et C financés par l’EAI et en tirer des conclusions. La plupart des données probantes sont de nature qualitative, et les rapports d’évaluation ne renferment pas souvent de recommandations sur les façons d’améliorer cette efficience. Les données sur l’efficience se limitent à l’échelon des projets et il n’existe que très peu ou pas du tout de liens explicites entre les coûts et les résultats attendus des programmes. On constate l’absence de directives ou d’outils offerts par le Ministère pour établir et de faire le suivi des indicateurs d’efficience à l’échelon des programmes et des projets.

Les données qualitatives donnent à penser que la décentralisation et la dévolution des pouvoirs d’approbation tendent à réduire les coûts opérationnels et à rapprocher les programmes des bénéficiaires ciblés. La participation des experts et conseillers locaux à l’étape de la conception et de la mise en œuvre s’avère également favorable à l’efficience des programmes dans certains cas.

Conclusion 5 : Du point de vue méthodologique, il y a peu de données probantes pour conclure que les résultats des programmes de S et C sont viables.

Bien que les résultats globaux soient mitigés, certains programmes obtenant une note forte et d’autres, une note faible, l’examen révèle peu de données probantes pour démontrer la durabilité des programmes du Ministère. La difficulté du Ministère à démontrer la durabilité des résultats de ses programmes n’est pas unique à AMC; la plupart des organismes donateurs se butent au même défi.

La durabilité se mesure généralement ex-post, soit après l’achèvement du programme en laissant suffisamment de temps pour que son impact (ou ses résultats ultimes) puisse clairement se constater. En outre, l’évaluation de durabilité nécessite un mécanisme de mesure constante et de suivi des résultats. Sur le plan méthodologique, les évaluations examinées présentent certaines contraintes notables quant aux deux aspects : l’intervalle de temps qu’elles couvrent et les données de suivi des résultats insuffisantes (soit le manque de données longitudinales sur le rendement).

Conclusion 6 : Le Ministère est partiellement efficace pour intégrer les thèmes transversaux.

Dans les évaluations qui abordent les thèmes transversaux de l’égalité entre les sexes, de la gouvernance et de la durabilité de l’environnement, le rendement de la majorité des programmes est jugé acceptable dans ces domaines. Les évaluations soulignent cependant un certain nombre de difficultés à intégrer les thèmes aux programmes, notamment la difficulté d’intégrer les thèmes sur le plan opérationnel dans les modèles logiques et les cadres de mesure du rendement, ainsi qu’à bien comprendre les attentes du Ministère à propos de ces thèmes.

En ce qui concerne l’égalité entre les sexes, les évaluations examinées laissent croire que le Ministère n’est pas parvenu à maintenir l’attention sur l’égalité entre les sexes tout au long du cycle de vie de ses programmes. L’élimination du Fonds pour la promotion de l’égalité entre les sexes, ainsi que la disponibilité limitée et les compétences techniques inégales des spécialistes en la matière pour offrir du soutien sont invoquées comme facteurs ayant contribué à cette situation.

La durabilité de l’environnement n’est pas abordée de façon constante par tous les programmes, alors que les changements climatiques sont rarement abordés dans les évaluations. Ce thème est surtout intégré aux programmes-pays qui prévoient des interventions axées sur l’agriculture ou l’environnement. On ne sait pas trop dans quelle mesure le Canada prône une plus grande attention envers ce thème auprès des organisations multilatérales.

Certaines évaluations examinées donnent à penser que l’adoption d’une approche à deux volets serait utile pour aborder les thèmes transversaux : des interventions ciblées et des interventions systématiques axées sur les thèmes transversaux peuvent s’avérer plus efficaces. Cette constatation est surtout notable dans le domaine de la gouvernance.

4.2 Points à considérer en vue des prochains programmes

La pertinence continue des programmes du Ministère dépend de la façon dont ils s’adapteront au contexte qui est actuellement façonné par le Programme de développement durable à l’horizon 2030 et les autres engagements mondiaux découlant de la 21e Conférence des parties à la Convention-cadre des Nations unies sur les changements climatiques (COP 21) et du Sommet mondial sur l’action humanitaire.

Le gouvernement du Canada s’est engagé à concentrer ses efforts sur les plus pauvres et les plus vulnérables. Selon la Banque mondiale, 70 % des personnes vivant dans une extrême pauvreté se retrouvent dorénavant dans les pays à revenu intermédiaire, bien que le taux de pauvreté extrême des pays à faible revenu soit tout aussi alarmant, soit environ 50 %. En outre, la plupart des États fragiles du monde sont maintenant des pays à revenu intermédiaire, surtout lorsque cette fragilité ne découle pas de causes naturelles.

Les considérations suivantes reposent sur les leçons tirées de cet examen et elles sont présentées pour aider le gouvernement du Canada à avancer vers l’atteinte de cet objectif.

Considérations en matière de programmation

Considération 1 : AMC devrait capitaliser et développer d’avantage ses forces reconnues internationalement dans les domaines du dialogue sur les politiques (p. ex. engagement avec les parties prenantes et les gouvernements en vue d’améliorer les politiques et les programmes), de la promotion de la gestion axée sur les résultats et de l'égalité entre les sexes, de même qu’utiliser des démarches de programmation novatrices (p. ex. partenariats avec des organisations publiques, privées et communautaires)

L’examen permet de constater que le Ministère est reconnu par ses partenaires et les autres intervenants dans plusieurs secteurs. On peut inclure l’insistance du Canada à promouvoir l’égalité entre les sexes, le dialogue sur les politiques, la gestion axée sur les résultats et les innovations dans les domaines de la gouvernance et de l’agriculture. En revanche, l’examen permet de souligner le fait que l’accent mis généralement sur ces questions n’est pas constant au fil du temps et s’estompe peu à peu dans les derniers rapports d’évaluation. De plus, l’application par le Ministère des principes privilégiés dans ces domaines doit être renforcée.

Considération 2 : AMC devrait établir une définition commune du terme « bénéficiaires » (p. ex., les plus pauvres et les plus vulnérables) et des objectifs (p. ex., stabilité et sécurité).

L’examen révèle que la définition du terme « les plus pauvres et les plus vulnérables » varie selon les contextes et les types de programme. Les activités du Canada en matière de diplomatie, de développement, de commerce et de défense profiteraient toutes d’une formulation claire et d’une compréhension commune des groupes cibles et des objectifs globaux, y compris les objectifs de stabilité et de sécurité, lesquels semblent différents entre les programmes des affaires étrangères et ceux d’aide au développement.

Considération 3 : AMC devrait explorer les possibilités de mobiliser de nouveaux partenaires.

Les rapports d’évaluation fournissent peu d’information sur la façon dont le Canada recrute de nouveaux partenaires. Les partenaires traditionnels du Canada conviennent très bien aux pays à faible revenu, mais peuvent ne pas être suffisants pour obtenir des résultats en matière de développement dans les pays à revenu intermédiaire ou dans les situations qui évoluent rapidement.

Considération 4 : AMC devrait promouvoir l’application de la gestion axée sur les résultats à l’échelle du Ministère (notamment en améliorant sa capacité à saisir et communiquer les résultats de projets aux niveaux des programmes et du Ministère et en harmonisant les exigences de rapports) et donner des outils et des directives sur la façon d’évaluer et d'améliorer l’efficience et la durabilité.

La synthèse cerne un certain nombre de limites quant à l’application de la gestion axée sur les résultats aux divers types de programme. L’une de ces principales limites est l’absence de synchronicité dans le fonctionnement des systèmes de mesure et de gestion du rendement aux échelons des programmes et des projets, ce qui rend difficile pour le Ministère la tâche de faire rapport de l’obtention des résultats escomptés. Les données sur les résultats intermédiaires et ultimes sont souvent trop peu nombreuses.

Autre facteur à considérer soulevé par l’examen est la nécessité d’une élaboration et d’une promotion continues de la GAR à l’échelle du Ministère et de ses agences de mise en oeuvre, ce qui comprend la formation du personnel, l’élaboration de documents d’orientation et l’instauration de plateformes de technologie de l’information. On constate également une difficulté dans le recrutement des ressources de GAR, puisque seules de petites équipes travaillent dans les directions générales pour soutenir l’application de la GAR et donner des conseils techniques aux secteurs de programme. Les spécialistes sectoriels pourraient également aider à la conception d’outils de GAR, comme les modèles logiques et les indicateurs de rendement, dans leur secteur de programme respectif.

Considération 5 : AMC devrait élaborer des programmes ciblés pour les thèmes transversaux, en plus des interventions systématiques.

L’examen permet de constater un certain niveau d’intégration des thèmes transversaux aux programmes et projets évalués, mais aussi certaines difficultés dans l’intégration opérationnelle efficace de ces thèmes. Les thèmes transversaux ne reçoivent pas une attention constante et soutenue dans les programmes de S et C. La révision du cadre actuel peut être l’occasion pour AMC de combiner son approche systémique à une approche plus active qui demande l’élaboration de programmes ou de stratégies explicites, surtout dans les domaines de l’égalité entre les sexes et des changements climatiques, de concert avec les efforts mondiaux consentis dans ces domaines.

En ce qui concerne l’égalité entre les sexes, par exemple, le Ministère pourrait continuer à soutenir des projets dans le cadre des budgets et d’initiatives de défense de l’égalité entre les sexes, mais il peut également envisager d’adopter une approche axée sur les causes sous-jacentes, ce qui demande de renforcer sa capacité de lier les inégalités entre les sexes à leurs causes profondes, de concevoir des programmes qui suscitent une transformation et d’établir des partenariats avec les mouvements de défense des femmes. Le Ministère s’harmoniserait ainsi sur le programme de développement mondial tel qu’il est établi dans les objectifs de développement durable.

L’attention accordée à la gouvernance pourrait être renforcée et délaisser les grandes préoccupations nationales des pays en développement (où il est souvent impossible d’avoir assez d’influence pour insuffler un changement) pour viser à améliorer la gouvernance à l’échelon local dans les pays bénéficiaires.

Considération 6 : AMC devrait renforcer le soutien technique et fournir des directives pour mettre en œuvre et mesurer les thèmes transversaux.

Certains des défis que doit relever le Ministère pour intégrer les thèmes transversaux découlent du peu de directives et de soutien technique offerts pour faciliter la gestion des programmes et des projets. La qualité du soutien technique et la disponibilité des ressources sont jugées inégales entre les directions générales et les programmes, en partie à cause de la décentralisation de la programmation et de l’élimination des équipes de soutien technique. Des directives et de l’aide pour cerner les bonnes mesures du rendement des thèmes transversaux sont observées dans l’examen.

Considérations en vue des prochaines évaluations

Pour ce qui est de la conduite des évaluations, le présent examen cerne un certain nombre d’aspects à renforcer, lesquels sont applicables aux deux fonctions d’évaluation ministérielle :

• élaborer des paramètres communs pour bien saisir l’efficience et la durabilité dans les futures évaluations;
• veiller à ce que les évaluations s’attardent à évaluer toute la gamme des résultats des programmes, surtout les résultats intermédiaires et leur durabilité;
• intégrer une évaluation de la complémentarité des programmes d’AMC selon une perspective d’ensemble de l’aide au développement et du Ministère, lorsque pertinente;
• élaborer une approche commune pour faire rapport des leçons retenues, des bonnes pratiques et des facteurs qui contribuent à l’obtention des résultats afin de favoriser l’apprentissage horizontal.