Examen de l’efficacité de l’aide au développement du Fonds des Nations Unies pour la population (FNUAP) - 2008 – 2014

Rapport synthèse

Remerciements

La division de l’évaluation du développement d’Affaires mondiales Canada tient à remercier toutes les personnes qui ont contribué à cet examen pour leur précieuse collaboration.

Nos remerciements vont à l’équipe de la firme d’experts-conseils Goss Gilroy Inc. (Hubert Paulmer, Bruce Goodman et Tasha Truant), qui a effectué l’examen.

L’équipe est reconnaissante de l’engagement du FNUAP et de son Bureau d’évaluation indépendant de leur obligeance et de leurs conseils utiles et pratiques.

La division de l’évaluation du développement aimerait également remercier l’équipe des Nations Unies de la direction générale des enjeux mondiaux et du développement d’Affaires mondiales Canada à l’administration centrale et à New York pour ses conseils utiles et son précieux soutien tout au long de l’exercice. Nous souhaitons remercier tout particulièrement Barbara Shaw d’avoir facilité ce processus.

Tara Carney a dirigé cet examen pour le compte d’Affaires mondiales Canada alors que Deborah McWhinney était responsable de la rédaction du chapitre sur l’engagement du Canada avec le FNUAP.

David Heath
Chef de l’évaluation du développement
Affaires mondiales Canada

Liste des acronymes et des abréviations

Sommaire exécutif

Contexte

Le présent rapport compte deux parties. D’abord, il expose les résultats de l’examen de l’efficacité de l’aide des programmes soutenus par le Fonds des Nations Unies pour la population (FNUAP) entre 2008 et 2014 pour favoriser le développement. Ensuite, il inclut l’évaluation de l’engagement du Canada avec le FNUAP.

Le FNUAP est une agence des Nations Unies responsable de « réaliser un monde où chaque grossesse est désirée, chaque accouchement est sans danger et le potentiel de chaque jeune est accompli^{Note de bas de page 1} ». Il est la plus importante source de financement international dans le monde pour les programmes touchant la population et la santé génésique.

Finalité de l’examen

La finalité de cet examen de l’efficacité de l’aide au développement est de : a) fournir au Canada et à la grande communauté de donateurs une évaluation indépendante et basée sur des données probantes de la pertinence et du rendement du FNUAP, et b) soutenir la relation qu’entretiennent le Canada et la communauté de donateurs avec le FNUAP en tirant des leçons afin d’améliorer les programmes et les politiques. La finalité de cette évaluation de l’engagement du Canada vise à aider Affaires mondiales Canada à renforcer sa relation avec le FNUAP.

Approche et méthodologie

Le rapport a utilisé la méthodologie élaborée sous la direction de l’Organisation de Coopération et de Développement Économiques (OCDE) et du Réseau sur l’évaluation du développement du Comité d’aide au développement (CAD). Elle comprenait un examen de l’assurance de la qualité des rapports d’évaluation publiés par le FNUAP entre 2008 et 2014, suivi d’une méta-synthèse systématique et structurée des constatations d’un échantillon de 62 évaluations du FNUAP qui répondaient aux normes de qualité. L’analyse a été complétée par un examen des documents corporatifs du FNUAP. L’engagement du Canada avec le FNUAP a été évalué dans le cadre d’un examen de la documentation ainsi que d’entrevues avec des employés d’Affaires mondiales Canada et du FNUAP et d’autres États membres du Conseil d’administration.

Puisque la portée du présent examen englobe une période ayant suivi la fusion de l’ancienne Agence canadienne de développement international (ACDI) et du ministère des Affaires étrangères et du Commerce international (MAECI) en un seul ministère, appelé le ministère des Affaires étrangères, du commerce et du développement^{Note de bas de page 2}, puis renommé Affaires mondiales Canada (AMC), le présent examen fait référence à l’ACDI quand il s’agit de décisions prises avant la fusion et à Affaires mondiales Canada pour décrire les décisions ou les situations actuelles ou faisant suite à la fusion.

Principales constatations

Efficacité de l’aide au développement du FNUAP

1. Les programmes du FNUAP étaient très pertinents aux besoins des groupes cibles et le FNUAP a réussi à nouer des partenariats efficaces avec les gouvernements partenaires et à aligner ses programmes avec les buts, les plans et les priorités nationaux en matière de développement.
2. Le FNUAP était efficace pour atteindre les objectifs de ses programmes en matière de développement et pour contribuer à d’importants changements dans les politiques et les programmes nationaux en matière de développement. Le FNUAP générait des effets positifs sur les membres du groupe cible.
3. Le rendement du FNUAP quant à l’égalité entre les sexes était très efficace. Ce qui s’explique par le fait que l’égalité entre les sexes faisait partie intégrante du mandat du FNUAP. Non seulement les programmes du FNUAP comportaient-ils des composantes spécifiques sur le genre, mais ils intégraient aussi l’égalité entre les sexes aux secteurs de programme prioritaires.
4. La durabilité de l’environnement n’était pas couverte. Dans les évaluations examinées, il n’y avait presque pas de couverture sur la question de la viabilité de l’environnement, les constatations relatives à ce critère d’évaluation n’étaient donc pas présentées.
5. La viabilité des programmes financés par le FNUAP était mitigée. Les programmes du FNUAP constataient avoir contribué à renforcer la capacité institutionnelle et communautaire et l’environnement favorable au développement. Cependant, les résultats de l’évaluation concernant la subsistance des avantages, une fois les programmes et les projets achevés, étaient négatifs.
6. Les résultats sur l’efficience de la programmation du FNUAP étaient mitigés^{Note de bas de page 3}. Même s’il y avait des preuves de l’existence de systèmes et de procédures appropriés pour assurer la mise en œuvre et le suivi des projets dans le cadre des programmes du FNUAP, l’absence d’un suivi des données financières pour évaluer l’efficience des coûts et des ressources et la présence de systèmes administratifs et financiers rigides et bureaucratiques causèrent des délais dans la mise en œuvre des programmes et nuisirent à l’efficience.
7. Le FNUAP obtint des résultats mitigés quant à la gestion du rendement; l’évaluation était systématique et s’améliorait progressivement, mais la gestion axée sur les résultats demeurait faible. Bien que les constatations sur les systèmes et le processus d’évaluation ainsi que l’utilisation des évaluations pour améliorer l’efficacité de l’aide au développement aient été positives, les résultats liés aux systèmes de suivi et de gestion axée sur les résultats étaient surtout négatifs.

L’engagement du Canada au FNUAP

L’examen de l’engagement du Canada au FNUAP a surtout porté sur l’engagement du Canada au plan institutionnel, au sein du Conseil d’administration, à titre de membre du Comité directeur du partenariat H4+ et dans certains contextes bilatéraux. Cet examen a trouvé que :

1. Les objectifs stratégiques définis par la Stratégie de collaboration avec le FNUAP de l’ACDI (2011) demeuraient pertinents pour les priorités d’Affaires mondiales Canada en matière de développement; cela dit, l’appui d’Affaires mondiales Canada au FNUAP a été affecté à certains volets de la Stratégie seulement.
2. Le travail du Canada au sein du Conseil d’administration du FNUAP avait constamment porté sur l’efficacité de la gestion et des préoccupations en égalité entre les sexes au cours de ces cinq dernières années.
3. Il n’y avait pas de cadre de mesure du rendement pour assurer le suivi et faire rapport de l’engagement stratégique d’Affaires mondiales Canada avec le FNUAP.
4. Le soutien bilatéral du Canada aux efforts du FNUAP pour améliorer la santé maternelle, promouvoir l’égalité entre les sexes et répondre aux besoins des jeunes se concentrait sur le soutien à la santé maternelle, sur la promotion de l’égalité entre les sexes et, plus récemment, sur la programmation d’urgence.
5. Le Canada était largement reconnu pour son efficacité au sein du Conseil d’administration du FNUAP.
6. Le Canada démontrait son soutien au FNUAP dans la réforme des Nations Unies par son travail au sein du Conseil d’administration et son rôle de partisan clé du Partenariat H4+.
7. Affaires mondiales Canada évaluait que le FNUAP était un ardent défenseur de l’égalité entre les sexes, ce qui fut corroboré par les constatations de l’examen de l’efficacité de l’aide au développement du FNUAP.
8. Les interactions du Canada avec le FNUAP se caractérisaient généralement par un degré élevé de réceptivité, de rapidité et d’ouverture. Cependant, dans certains cas, le FNUAP estimait que le traitement des demandes de financement manquait de clarté.
9. Il y avait un niveau mitigé de connaissance de la stratégie ministérielle de collaboration avec le FNUAP et une absence de systèmes pour faciliter l’établissement de liens entre le travail du Canada au Conseil d’administration et d’autres secteurs du Ministère.

Recommandations à Affaires mondiales Canada

Les recommandations suivantes furent établies avec l’objectif d’aider Affaires mondiales Canada à renforcer son engagement avec le FNUAP.

1. Mettre à jour la stratégie de participation du Canada au FNUAP pour y intégrer : a) une théorie du changement; b) un alignement clairement articulé entre le cadre des résultats stratégiques du FNUAP et les priorités d’Affaires mondiales Canada; c) la formulation de changements concrets et précis dans le comportement, le rendement ou les pratiques organisationnels qu’Affaires mondiales Canada aimerait constater chez le FNUAP, et d) un cadre de mesure du rendement qui englobe l’ensemble de la participation du Ministère au FNUAP.
2. Élaborer une stratégie de communication pour l’engagement du Canada avec le FNUAP.
3. Instaurer des mécanismes internes pour assurer l’échange d’information avec les directions générales multilatérale et bilatérale afin d’améliorer l’efficacité du Canada au sein du Conseil d’administration.

Réponse de la direction d’Affaires mondiales Canada

L’examen de l’efficacité de l’aide au développement du FNUAP, effectué sous la supervision de la division de l’évaluation d’Affaires mondiales Canada, permet d’avoir un aperçu de l’efficacité de l’aide au développement de l’entité, une évaluation de l’engagement d’Affaires mondiales Canada au FNUAP (chapitre canadien) et des recommandations destinées à aider Affaires mondiales Canada à renforcer sa relation avec le FNUAP.

Cet examen indique à juste titre que le FNUAP est un important partenaire de développement pour l’atteinte des objectifs canadiens en matière de développement. Ainsi, le FNUAP est l’agent administratif et l’un des principaux responsables de la mise en œuvre du partenariat H4+ sur la santé des mères, des nouveau-nés et des enfants, de même qu’il est un partenaire clé du Canada sur la question des mariages d’enfants, précoces et forcés (MEPF). En 2014, le Canada se classait au 11e rang parmi les donateurs contribuant aux ressources de base (soutien institutionnel à long terme) et au 6e rang lorsque les contributions de base et les autres contributions étaient considérées.

Affaires mondiales Canada est d’accord avec les conclusions concernant l’efficacité de l’aide au développement du FNUAP, tels que présentées dans le présent rapport d’examen. Ces constatations vont dans le même sens que celles du MOPAN (2014) ainsi que celles de l’examen multilatéral du FNUAP réalisé par Affaires mondiales Canada en 2013. Le FNUAP démontrait une grande pertinence aux besoins des membres du groupe cible, avait un solide alignement avec les priorités nationales en matière de développement et entretenait de bons partenariats avec les gouvernements, les partenaires du développement et les organisations non gouvernementales. De plus, les programmes du FNUAP ont fait la preuve qu’ils permettaient d’atteindre les objectifs fixés et étaient très efficaces pour assurer l’égalité entre les sexes. Sur une note moins positive, le FNUAP obtint des résultats mitigés quant à la viabilité des avantages et des résultats de ses programmes, à son efficience et à la gestion de son rendement. Nous sommes d’accord avec les constatations de cet examen pour dire que les récents efforts visant à améliorer ces aspects, grâce à la mise en œuvre du nouveau Plan stratégique 2014-2017, sont prometteurs et que ces améliorations devraient se manifester au fil du temps.

Affaires mondiales Canada se réjouit des constatations concernant l’engagement du Canada au FNUAP. Comme mentionné précédemment, nous confirmons la constatation voulant que le FNUAP soit un partenaire très pertinent pour Affaires mondiales Canada. Nous apprécions également le fait que la contribution clé du Canada et l’efficacité de sa participation au Conseil d’administration soient reconnues.

Affaires mondiales Canada accepte les recommandations formulées au chapitre canadien. Selon ces recommandations, Affaires mondiales Canada doit :

1. mettre à jour la stratégie de participation du Canada au FNUAP pour y intégrer : a) une théorie du changement; b) un alignement clairement articulé entre le cadre des résultats stratégiques du FNUAP et les priorités d’Affaires mondiales Canada; c) la formulation de changements concrets et précis dans le comportement, le rendement ou les pratiques organisationnels qu’Affaires mondiales Canada aimerait constater chez le FNUAP, et d) un cadre de mesure du rendement qui englobe l’ensemble de la participation du Ministère au FNUAP.
2. élaborer une stratégie de communication pour l’engagement du Canada avec le FNUAP.
3. instaurer des mécanismes internes pour assurer l’échange d’information avec les directions générales multilatérale et bilatérale afin d’améliorer l’efficacité du Canada au sein du Conseil d’administration.

Affaires mondiales Canada prendra des mesures précises en ce sens, comme le décrivent les réponses détaillées aux recommandations présentées dans le tableau ci-dessous.
Cette réponse de la direction reflète les priorités ministérielles qui étaient énoncées à la fin de la période d`évaluation. À l’avenir, la réponse de direction tiendra compte des nouvelles priorités ministérielles au fur et à mesure qu’elles évoluent.

1. Introduction

1.1 Contexte

Le présent rapport compte deux parties. D’abord, il expose les résultats de l’examen de l’efficacité de l’aide au développement des programmes soutenus par le Fonds des Nations Unies pour la population (FNUAP). Ensuite, il inclut l’évaluation de l’engagement du Canada avec le FNUAP.

L’examen de l’efficacité de l’aide au développement reposait sur le contenu de rapports d’évaluation publiés par le FNUAP entre 2008 et 2014, puis était complété par un examen des documents internes du FNUAP. L’approche et la méthodologie adoptées pour rédiger ce rapport ont été élaborées sous la direction de l’Organisation de Coopération et de Développement Économiques (OCDE) et du Réseau sur l’évaluation du développement du Comité d’aide au développement (CAD). Cette méthode a été mise à l’essai en 2010 et sert depuis lors, à procéder à l’examen de l’efficacité de l’aide au développement de plusieurs organisations multilatérales^{Note de bas de page 4}. Depuis le tout début, le processus d’examiner l’efficacité de l’aide au développement d’organisations multilatérales visait à compléter le travail du Réseau d’évaluation du rendement des organisations multilatérales (MOPAN), lequel portait surtout sur l’efficacité organisationnelle. En mettant l’accent sur l’efficacité de l’aide au développement en fonction des critères d’évaluation du CAD de l’OCDE (annexe A) et des données probantes d’évaluations, ces examens cherchent à éviter de dupliquer l’exercice du MOPAN, qui, lui, évalue l’efficacité organisationnelle dans une foule de domaines à partir de données d’enquête et de données probantes découlant d’une revue documentaire^{Note de bas de page 5}.

L’engagement du Canada avec le FNUAP a été évalué à l’aide d’une revue documentaire ainsi que d’entrevues avec des employés d’Affaires mondiales Canada et du FNUAP ainsi que d’autres États membres du Conseil d’administration.

1.2 Finalité

Les objectifs de cet examen de l’efficacité de l’aide au développement étaient de : a) fournir au Canada et à la communauté de donateurs une évaluation indépendante et basée sur des données probantes de la pertinence et du rendement du FNUAP et b) soutenir la relation qu’entretiennent le Canada et la communauté de donateurs avec le FNUAP en tirant les leçons afin d’améliorer les programmes et les politiques^{Note de bas de page 6}. La finalité de cette évaluation de l’engagement du Canada vise à aider Affaire mondiales Canada à renforcer sa relation avec le FNUAP.

1.3 FNUAP : organisation mondiale axée sur la population et sur les droits de santé sexuelle et génésique

1.3.1 Contexte et objectifs

Mis sur pied en 1969, le FNUAP est un défenseur influent de la santé sexuelle et génésique et des droits en la matière à l’échelle mondiale. Il est la plus importante source de financement international dans le monde pour les programmes liés à la population et à la santé génésique, de même que l’agence des Nations Unies responsable des enjeux liés à la population et à la santé sexuelle et génésique et aux droits s’y rapportant (y compris la planification familiale).

Le FNUAP est responsable du suivi de la mise en œuvre du programme d’action de la Conférence internationale sur la population et le développement (CIPD). Son mandat repose sur ce programme d’action et a été influencé par les Objectifs du Millénaire pour le développement (OMD), en particulier le cinquième OMD. En 2010, l’Assemblée générale des Nations Unies prolongeait la tenue de la CIPD au-delà de 2014. Le plan stratégique de l’organisation est axé sur ces engagements ainsi que sur l’orientation donnée par les résolutions de l’Assemblée générale concernant les examens triennaux et quadriennaux complets, d’autres résolutions pertinentes de l’Assemblée générale et du Conseil économique et social ainsi que les décisions du Conseil d’administration.

1.3.2 Orientation stratégique du FNUAP

Les secteurs de programmation clé du FNUAP, tels que définis dans le Plan stratégique 2008-2013^{Note de bas de page 7}, étaient les suivants :

• élargir et améliorer la santé des mères et des nouveau-nés;
• améliorer l’accès à la planification familiale volontaire;
• rendre les services de traitement du VIH et des infections transmises sexuellement plus accessibles pour les femmes enceintes vivant avec le VIH, les jeunes et les populations clés;
• défendre l’égalité entre les sexes et les droits génésiques;
• améliorer l’accès des jeunes aux services et aux renseignements liés à la santé sexuelle et génésique;
• établir des liens entre la dynamique des populations, l’élaboration de politiques et les plans de développement;
• mobiliser le pouvoir des données^{Note de bas de page 8}.

Par rapport au Plan stratégique 2008-2011 original, lequel comportait trois secteurs d’intervention (« objectifs »), 13 résultats liés au développement et 26 indicateurs, la version révisée et étendue de 2008-2013 mettait davantage l’accent sur un objectif, sept résultats et 17 indicateurs. Le Plan stratégique 2014-2017 du FNUAP vise à aborder les points non terminés de la CIPD, en mettant l’accent sur la santé sexuelle et génésique et les droits génésiques. Il réaffirme l’orientation stratégique établie dans l’examen de mi-parcours du Plan stratégique 2008-2013 (« la cible »)^{Note de bas de page 9}.

1.3.3 Programmation et activités du FNUAP

En 2013, le FNUAP comptait un effectif total de 2 471 employés réguliers^{Note de bas de page 10}. Il travaillait avec 159 pays, territoires et autres régions à l’aide d’un réseau de 112 bureaux de pays, six bureaux régionaux et trois bureaux sous régionaux, en plus de six bureaux de liaison. Ses recettes brutes, provenant de contributions versées par les gouvernements donateurs, les organisations partenaires, les fondations et les particuliers, s’élevaient à 977 millions de dollars US, répartis en ressources de base (48 %) et en autres ressources (52 %)^{Note de bas de page 11}. Les dépenses de programmes du FNUAP pour 2013 se chiffraient à 762 millions de dollars US. Un peu plus de la moitié des dépenses de programme était consacrée à la santé des mères et des nouveau-nés (26 %) et à la planification familiale (25 %) (figure 1). Quant à la répartition régionale, 39 % des dépenses de programme ont été allouées en Afrique subsaharienne (figure 2)^{Note de bas de page 12}.

Figure 1 : Dépenses de programmes du FNUAP selon le secteur d’intervention – 2013

Équivalent textuel pour figure 1

• Santé maternelle et des nouveau-nés - 26 %
• Planification familiale - 25 %
• Services de prévention en VIH et en ITS - 4 %
• Égalité entre les sexes et droits reproductifs - 10 %
• Éducation sexuelle et en SRR pour les jeunes gens - 7 %
• Dynamique des populations - 7 %
• Disponibilité des données et analyses - 10 %
• Assistance et coordination de programme - 10 %
• Autre - 2 %

Figure 2: Proportion des dépenses de programmes du FNUAP selon la région – 2013

Équivalent textuel pour figure 2

• Afrique de l'Est et du Sud - 21.70 %
• Afrique de l'Ouest et centrale - 16.70 %
• États arabes - 10.10 %
• Europe de l'Est et Asie centrale - 3.30 %
• Asie-Pacifique - 17.50 %
• Amérique latine et Caraïbes - 8.60 %
• Mondial - 22.20 %

1.4 Évaluation et système de gestion des résultats au FNUAP

Cette section présente un sommaire de la fonction, des politiques et des pratiques en matière d’évaluation au FNUAP.

1.4.1 Fonction et politique d’évaluation au FNUAP

Politique d’évaluation

La toute première politique d’évaluation du FNUAP a été approuvée par son Conseil d’administration en juin 2009, puis révisée en 2013. Avant cette révision, il y avait des réserves quant à l’indépendance de la fonction d’évaluation et à l’utilisation des leçons apprises des évaluations et de la gestion axée sur les résultats (GAR)^{Note de bas de page 13}. La révision de 2013 a permis de veiller à ce que la fonction d’évaluation soit conforme aux normes du Groupe des Nations Unies pour l’évaluation ainsi qu’aux meilleures pratiques internationales. Elle a tenu compte de la révision de la politique d’évaluation du FNUAP de 2012 par le Bureau des services de contrôle interne des Nations Unies, ainsi que de la résolution de l’Assemblée générale^{Note de bas de page 14} sur l’examen quadriennal complet des activités opérationnelles de développement du système des Nations Unies. La politique révisée garantissait que les rôles et les responsabilités relatifs aux tâches d’évaluation étaient bien exprimés, y compris l’assurance de la qualité et les critères d’évaluation normalisés^{Note de bas de page 15}. Cela a mené à la création du Bureau de l’évaluation indépendant et au poste de directeur du Bureau d’évaluation.

Structure et production de rapports

Le Bureau de l’évaluation indépendant relève administrativement du directeur exécutif et se rapporte directement au Conseil d’administration de la fonction d’évaluation. Il est le garant de la fonction d’évaluation, couvrant les évaluations corporatives et les évaluations de programme ainsi que des principales tâches liées à l’évaluation^{Note de bas de page 16}. La politique de 2013 a un accent marqué sur la planification stratégique et l’assurance de la qualité, l’ordre de priorité des évaluations et l’attribution de ressources suffisantes.

À l’échelon des bureaux régionaux et de pays du FNUAP, les agents de suivi et d’évaluation et les personnes-ressources offrent un soutien aux évaluations décentralisées, notamment en gérant les évaluations et en menant des activités d’assurance de la qualité. Environ 38 % des bureaux de pays du FNUAP disposaient d’agents affectés au suivi et à l’évaluation. 62 % des bureaux de pays disposaient d’un poste d’administrateur qui agissait à titre de personne-ressource pour le suivi et l’évaluation. La vaste étendue de ces rôles avait une influence sur le temps pouvant être consacré aux diverses activités et sur les autres compétences et capacités requises pour répondre aux besoins en programmation, en suivi et en évaluation. Le recrutement d’agents ayant des compétences en évaluation au sein des principaux secteurs de programme du FNUAP représentait tout un défi pour de nombreux bureaux de pays^{Note de bas de page 17}.

Évaluation et assurance de la qualité

En 2011, l’ancien Service d’évaluation (de la Division des services de contrôle) avait mis en place des mécanismes d’assurance de la qualité des évaluations (AQE) afin d’améliorer la qualité et la crédibilité des évaluations des programmes-pays du FNUAP en comparant l’ensemble des rapports d’évaluation à certains critères de qualité bien précis. En 2013, le document intitulé Handbook on How to Design and Conduct a Country Programme Evaluation at UNFPA a été révisé afin de tenir compte des modifications apportées à la politique d’évaluation du FNUAP. Les mécanismes d’AQE ont été renforcés, puis intégrés à l’examen et à l’approbation du cadre de référence de toutes les évaluations ainsi qu’à la première qualification des évaluateurs^{Note de bas de page 18}.

1.4.2 Rapports sur l’efficacité de l’aide au développement

Le FNUAP rend compte de son rendement au Conseil d’administration, en se fondant sur les résultats précisés dans son Plan stratégique et dans le Rapport annuel du directeur exécutif. Ce dernier présente toutefois des limites, puisqu’il ne parvient pas à fournir assez de données probantes sur la contribution du FNUAP aux résultats atteints^{Note de bas de page 19}. Comme expliqué dans le Rapport annuel du directeur exécutif, cela était en partie attribuable aux faibles paramètres de mesure et au suivi incohérent ; par exemple, en travaillant avec le Plan cadre des Nations Unies pour le développement et avec l’initiative « Unis dans l’action », et ce, en raison de l’absence d’extrants bien définis et de liens clairs avec les résultats (et leurs indicateurs respectifs).

Dans son évaluation de 2014, le MOPAN qualifiait le FNUAP d’« adéquat » lorsqu’il s’agissait de démontrer le progrès vers l’obtention de résultats à l’échelle de l’organisation; par contre, il le jugeait « inadéquat » lorsque venait le temps de démontrer le progrès vers l’obtention de résultats à l’échelle du pays. Le MOPAN se disait également préoccupé par la quantité et la qualité des données utilisées pour documenter les évaluations et les rapports de rendement^{Note de bas de page 20}.

2. Méthodologie

Ce chapitre donne un aperçu des méthodes utilisées pour mener cet examen. Une description plus détaillée de cette méthodologie se trouve à l’annexe C.

2.1 Examen préliminaire

Le processus pour évaluer l’efficacité de l’aide au développement du FNUAP a commencé par un examen préliminaire de ses rapports corporatifs publiés et une brève évaluation de la couverture et de la qualité des évaluations qu’il effectue. Après avoir déterminé que le FNUAP disposait d’une fonction d’évaluation indépendante qui produisait un ensemble approprié d’évaluations fiables et crédibles^{Note de bas de page 21}, l’équipe de l’examen a effectué une analyse systématique et une synthèse des constatations présentées dans l’échantillon de rapports d’évaluation du FNUAP.

2.2 Population, échantillon et autres collecte de données de l’évaluation

Un échantillon choisi à dessein de 62 rapports d’évaluation a fait l’objet d’un examen systématique et leurs constatations ont servi à l’analyse de cet examen (annexe B). Cet échantillon permettait d’assurer qu’il y avait une couverture adéquate par année et par région, et qu’il était représentatif de la programmation du FNUAP (annexe D). D’autres informations sur l’efficacité du FNUAP ont été recueillies par un examen qualitatif des évaluations mondiales et thématiques (annexe E) effectuées entre 2008 et 2014. Le tout a été complété par un examen des documents corporatifs du FNUAP afin de mettre les constatations en contexte.

2.3 Critères d’évaluation

La méthodologie se concentrait sur les caractéristiques essentielles suivantes d’une programmation multilatérale efficace, dérivées des critères d’évaluation du CAD :

• les activités de programmation et les extrants répondaient aux besoins du groupe cible;
• la programmation contribuait à l’atteinte des objectifs de développement et des résultats escomptés de développement à l’échelle nationale et locale dans les pays en développement;
• les bienfaits obtenus par les membres du groupe cible et les résultats atteints en matière de développement (et d’aide humanitaire) étaient durables à l’avenir;
• la programmation était exécutée avec un coût-efficacité;
• la programmation était inclusive parce qu’elle appuyait l’égalité entre les sexes et était durable sur le plan de l’environnement (ne mettant donc pas en péril les futures possibilités de développement);
• la programmation favorisait un développement efficace en permettant aux organisations donatrices et participantes d’apprendre de cette expérience et d’utiliser des outils comme l’évaluation et le suivi pour accroître l’efficacité au fil du temps.

La méthodologie comprenait un examen systématique et structuré des constatations des évaluations du FNUAP, fondé sur six critères principaux et 19 sous-critères jugés essentiels à l’efficacité de la programmation en aide humanitaire et en développement (annexe A).

2.4 Limites

Comme c’est toujours le cas avec les méta-synthèses, il y avait des défis méthodologiques à prendre en compte lorsque l’on considère et utilise les constatations d’une évaluation. Pour cet examen, les défis méthodologiques étaient^{Note de bas de page 24} :

• l’échantillon d’évaluations était une illustration plutôt qu’une représentation statistique des programmes du FNUAP, même s’il couvrait un ensemble important de la programmation à mesure que celle-ci évoluait au fil du temps;
• lorsque des observations qualitatives pouvaient être faites sur un secteur de programme en particulier ou sur la classification du pays, elles ont été intégrées au rapport, mais seulement à titre indicatif;
• les 62 rapports d’évaluation de l’échantillon, même s’ils ont passé le processus de contrôle de qualité, n’offraient pas tous la même qualité (voir l’annexe E); et,
• les résultats présentés s’appliquaient aux programmes en cours, qu’ils aient été obtenus en 2013 ou en 2004. Durant cette période, les politiques, les stratégies et les approches du FNUAP en matière de programmation ont changées.

3. Constatations sur l’efficacité de l’aide au développement du FNUAP

Ce chapitre expose les résultats de l’examen en fonction des six critères principaux de l’efficacité de l’aide au développement et de leurs sous-critères associés.

Le tableau 1 résume les constatations quant à la couverture et à la proportion des constatations des rapports d’évaluation ayant obtenues une note « satisfaisante » ou « très satisfaisante » pour chacun des critères^{Note de bas de page 25}.

Le chapitre précise ensuite la mesure dans laquelle chaque sous-critère fut abordé dans les rapports d’évaluation (couverture) et les résultats. Ceci inclut les constatations quantitatives et l’analyse qualitative des facteurs ayant contribué ou nui aux résultats.

3.1 Pertinence

3.1.1 Couverture

Il y a eu une solide couverture des trois sous-critères relatifs à la pertinence (figure 3). 90 % des évaluations abordèrent le sous-critère 1.1 concernant les programmes convenant aux besoins du groupe cible. Toutes les évaluations sauf une abordaient le sous-critère 1.2 sur l’alignement avec les objectifs nationaux de développement ainsi que le sous-critère 1.3 relatif aux partenariats efficaces.

Figure 3 : Nombre d’évaluations abordant les sous-critères relatifs à la pertinence

Équivalent textuel pour figure 3

Pertinence

	Abordé	Non abordé
1.1 Les programmes sont appropriés aux besoins du groupe cible	56	6
1.2 Les programmes sont alignés aux objectifs nationaux de développement	61	1
1.3 Partenariats efficaces	61	1

3.1.2 Principales constatations

La programmation du FNUAP est très pertinente aux besoins des groupes cibles – femmes, adolescents et enfants, personnes atteintes du VIH et autres populations vulnérables clés (figure 4). Ainsi, 77 % (43/56) des évaluations indiquaient que les programmes du FNUAP étaient appropriés aux besoins du groupe cible (sous-critère 1.1) et que le FNUAP avait noué de façon satisfaisante ou mieux des partenariats efficaces (sous-critère 1.3). De plus, les 61 évaluations mentionnaient que les programmes du FNUAP suscitaient de la satisfaction ou mieux en ce qui concerne l’alignement avec les objectifs nationaux de développement (sous-critère 1.2). Aucune des évaluations ne rapportait des constatations très insatisfaisantes quant à la pertinence des programmes pour les besoins du groupe cible et quant à leur alignement avec les objectifs nationaux de développement.

Figure 4 : Constatations relatives à la pertinence

Équivalent textuel pour figure 4

Constatations relatives à la pertinence

	(4) Très satisfaisant	(3) Satisfaisant	(2) Insatisfaisant	(1) Très insatisfaisant
1.3 Partenariats efficaces (n=61)	21 %	56 %	21 %	2 %
1.2 Les programmes sont alignés aux objectifs nationaux de développement (n=61)	57 %	43 %	0 %	0 %
1.1 Les programmes sont appropriés aux besoins du groupe cible (n=56)	14 %	63 %	23 %	0 %

Quant à l’efficacité du FNUAP pour nouer des partenariats, les évaluations cernaient une foule de partenaires qui prenaient part à la programmation du FNUAP. Les partenariats, surtout avec les gouvernements nationaux, les institutions locales et les organisations communautaires, renforçaient la capacité technique locale et l’engagement, lesquels ont permis la prise en charge locale. Les partenariats permettaient au FNUAP d’optimiser les ressources et de partager les coûts de la programmation. Cela dit, les limites incluaient l’absence d’une stratégie claire en matière de partenariat, l’incapacité de tirer profit des forces des partenaires et le fait de ne pas faire participer les institutions et les établissements d’enseignement régionaux clés aux consultations.

Toutes les évaluations indiquaient que la programmation du FNUAP s’alignait avec les priorités nationales telles qu’établies dans les plans nationaux, ainsi que les programmes, politiques, plans et cadres de développement nationaux.

3.1.3 Facteurs déterminants

Les évaluations identifiaient les facteurs suivants comme contribuant à la pertinence des interventions du FNUAP :

• le recours à l’évaluation des besoins et l’analyse de la situation pour faciliter l’évaluation des besoins du groupe cible et le choix de la programmation appropriée (14 évaluations);
• la capacité du FNUAP à établir des partenariats stratégiques avec les institutions responsables de l’établissement des politiques, de la planification et de la mise en œuvre (13 évaluations) – cela incluait les agences gouvernementales, les ONG, les organisations communautaires, les leaders locaux, les universités, les organismes professionnels et de recherche, ainsi que les médias; et,
• la détermination adéquate des populations/groupes vulnérables (11 évaluations).

Les évaluations mettaient également en lumière les facteurs contraignants suivants :

• la mauvaise coordination attribuable au manque de capacité, à l’absence de mécanismes formels de coordination et à un engagement limité (8 évaluations);
• l’incapacité de mettre à profit les forces des partenaires de mise en œuvre en raison de leur faible participation à la planification des projets du FNUAP ou des lacunes dans la communication et de l’approche fragmentée ou cloisonnée de la planification des programmes (7 évaluations).

3.2 Atteinte des objectifs

3.2.1 Couverture

Il y a eu une solide couverture des sous-critères relatifs à l’atteinte des objectifs^{Note de bas de page 26} dans les évaluations : dans l’atteinte des objectifs déclarés des programmes et des projets (sous-critère 2.1), des effets positifs sur le groupe cible (sous-critère 2.2) et des changements dans les politiques et les programmes nationaux (sous-critère 2.4) (figure 5). Toutefois, pour obtenir des résultats sur un grand nombre de bénéficiaires (sous-critère 2.3), la couverture a été modérée avec seulement 32 évaluations qui incluaient des constatations pertinentes.

La couverture relativement plus faible du sous-critère 2.3 s’expliquait par le fait que 30 rapports d’évaluation ne donnaient aucune estimation quantitative ou qualitative du nombre de personnes ayant été touchées par les programmes financés par le FNUAP. Certaines évaluations indiquaient que les ressources de programme du FNUAP étaient dispersées à un trop grand nombre de sous-programmes ou d’emplacements géographiques (surtout les interventions de district), qui ont pu entraver autant la portée des programmes que la capacité de l’évaluation à mesurer le nombre de personnes qui en bénéficiaient (voir la section 5.1).

Figure 5 : Nombre d’évaluations abordant les sous-critères relatifs à l’atteinte des objectifs

Équivalent textuel pour figure 5

Atteinte des objectifs

	Abordé	Non abordé
2.1. Les programmes et les projets atteignent les objectifs déclarés	53	9
2.2 Effets positifs pour les membres du groupe cible	57	5
2.3 Une différence est faite pour un grand nombre de bénéficaires / a contribué aux objectifs nationaux de développement	32	30
2.4 Changements significatifs dans les politiques et les programmes nationaux de développement	58	4

3.2.2 Principales constatations

Les constatations relatives aux programmes du FNUAP pour l’atteinte de leurs objectifs de développement déclarés étaient positives (figure 6). Parmi les évaluations abordant le sous-critère 2.1, 64 % (34/53) estimaient que les programmes financés par le FNUAP parvenaient de façon satisfaisante ou mieux à atteindre leurs objectifs déclarés. Cela ne signifiait pas nécessairement que les programmes du FNUAP atteignaient les deux tiers des objectifs à travers les programmes, mais plutôt que 64 % des évaluations des programmes du FNUAP atteignaient plus de 50 % de leurs objectifs, y compris les plus importants. Ce qui va dans le même sens que les constatations du MOPAN 2014 en ce qui a trait à l’atteinte des résultats^{Note de bas de page 27}.

De solides résultats positifs ont été considérés pour la capacité des programmes à fournir des bienfaits aux bénéficiaires visés (sous-critère 2.2), 86 % des évaluations (49/57) faisant état de constatations satisfaisantes. Cependant, les constatations générales étaient mitigées quant à la différence faite pour un grand nombre de bénéficiaires (sous-critère 2.3), avec 50 % des évaluations (16/32) indiquant des résultats satisfaisants.

Les programmes étaient considérés satisfaisants ou mieux concernant leur capacité à contribuer à des changements significatifs dans les politiques et les programmes nationaux (sous-critère 2.4), et ce, dans 67 % des évaluations pertinentes (39/58). À l’exception du sous-critère 2.1, les « programmes atteignent les objectifs déclarés » ; les autres sous-critères ne rapportèrent aucun résultat très insatisfaisant.

L’examen n’a pas mesuré la différence dans l’atteinte des objectifs entre les trois composantes du programme du FNUAP – santé génésique, dynamique des populations et égalité entre les sexes.

Figure 6 : Constatations relatives à l’atteinte des objectifs

Équivalent textuel pour figure 6

Constatations relatives à l’atteinte des objectifs

	(4) Très satisfaisant	(3) Satisfaisant	(2) Insatisfaisant	(1) Très insatisfaisant
2.4 Changements dans les politiques et les programmes nationaux (n=58)	7 %	60 %	33 %	0 %
2.3 Une différence est faite pour un grand nombre de bénéficaires  (n=32)	0 %	50 %	50 %	0 %
2.2 Effets positifs pour les membres du groupe cible (n=57)	0 %	86 %	14 %	0 %
2.1 Les programmes atteignent les objectifs déclarés (n=53)	4 %	60 %	32 %	4 %

3.2.3 Facteurs déterminants

Les facteurs ayant contribué positivement à l’atteinte des objectifs de développement incluaient :

• la capacité du FNUAP d’identifier les principaux acteurs stratégiques et de travailler avec eux pour élaborer des politiques et des cadres stratégiques en planification familiale, en violence sexiste, en santé sexuelle et génésique, dans la lutte contre le VIH/sida, en santé génésique ou en égalité entre les sexes. Ce qui incluait notamment du travail de sensibilisation à la question fondamentale des objectifs de la CIPD et du travail avec les ministères et les agences gouvernementales, les institutions publiques, les OSC et les autres donateurs (environ 50 % des évaluations);
• le rôle actif et positif du FNUAP pour bâtir des coalitions entre les agences des Nations Unies, les ministères des gouvernements partenaires et les fournisseurs de service (par exemple, des comités directeurs ou des groupes de travail techniques) (environ 50 % des évaluations); et,
• l’aide du FNUAP pour accroître l’utilisation de données de qualité afin de permettre une meilleure prise de décisions et de programmation (8 évaluations).

Les facteurs ayant contribué négativement à la capacité des programmes du FNUAP d’atteindre leurs objectifs établis incluaient :

• les taux élevés de départ volontaire du personnel – médecins, sages-femmes, infirmières, travailleurs de la santé et intervenants des services à la jeunesse (10 évaluations); et,
• la mauvaise conception des programmes. Par exemple, la présence d’objectifs ambitieux sans lien de causalité, l’absence d’une orientation axée sur les résultats, l’adoption d’une approche fragmentée avec l’aide de programmes dispersés et isolés géographiquement et l’absence de suivi pourtant nécessaire des projets (6 évaluations).

Dans l’ensemble, les évaluations thématiques mondiales évoquaient des facteurs déterminants semblables pour l’atteinte des objectifs et des résultats du programme^{Note de bas de page 28}.

3.3 Thèmes transversaux

3.3.1 Couverture

Les niveaux de couverture des deux thèmes transversaux contrastaient fortement (figure 7). Il y avait une solide couverture pour soulever effectivement l’égalité entre les sexes (sous-critère 3.1) – avec des constatations pertinentes relevées dans 55 des 62 évaluations. Ce qui cadrait bien avec le fait que l’égalité entre les sexes faisait partie intégrante du mandat de FNUAP (trois secteurs d’intervention clés de son mandat sont la santé génésique, l’égalité entre les sexes, ainsi que les stratégiques liées à la population et au développement)^{Note de bas de page 29}.

La couverture du sous-critère 3.2 lié aux changements étant durables sur le plan environnemental était abordée dans trois évaluations. Compte tenu de cette faible couverture, l’examen n’a pas pu faire rapport de l’efficacité des programmes financés par le FNUAP dans ce domaine.

L’égalité entre les sexes est abordée par 89 % des évaluations. Pour qu’il soit possible de noter ce sous-critère, les évaluations devaient non seulement mettre en évidence la mesure dans laquelle le programme ou le projet en question avait intégré les objectifs en matière d’égalité entre les sexes, mais aussi préciser si ces derniers avaient été atteints. L’égalité entre les sexes pouvait également être considérée comme abordée dans un rapport d’évaluation si ce dernier évaluait la capacité du programme à intégrer cette question. Si une évaluation mentionnait simplement la proportion de filles ou de femmes profitant des bienfaits comparativement aux garçons ou aux hommes, le critère utilisé était « non abordé », car il n’y avait aucune donnée probante à savoir si le programme avait réussi à aborder l’égalité entre les sexes. Par rapport aux examens de l’efficacité de l’aide au développement antérieurs, les évaluations du FNUAP atteignaient une solide couverture en égalité entre les sexes.

Figure 7: Nombre d’évaluations abordant les sous-critères relatifs aux thèmes transversaux

Équivalent textuel pour figure 7

Thèmes transversaux

	Abordé	Non abordé
3.1  Les activités abordent efficacement l'égalité entre les sexes	55	7
3.2 Les changements sont viables sur le plan environnemental	3	59

3.3.2 Principales constatations

Les évaluations faisaient état de constatations positives concernant l’égalité entre les sexes (sous-critère 3.1). Soixante-quinze pourcent (41/55) des évaluations abordant l’égalité entre les sexes arrivaient à des constatations satisfaisantes ou mieux, et aucune ne rapportait de résultats très insatisfaisants (figure 8)^{Note de bas de page 30}.

Figure 8 : Constatations relatives à l’efficacité des programmes pour soutenir l’égalité entre les sexes

Équivalent textuel pour figure 8

Constatations relatives à l’efficacité des programmes pour soutenir l’égalité entre les sexes

	(4) Très satisfaisant	(3) Satisfaisant	(2) Insatisfaisant	(1) Très insatisfaisant
3.1 Les activités abordent efficacement l'égalité entre les sexes (n=55)	4 %	71 %	25 %	0 %

Vingt-neuf pourcent des évaluations (16/55), qui estimaient que l’aide du FNUAP était efficace pour soutenir l’égalité entre les sexes, démontraient que cette question avait été intégrée à la dynamique des populations, à la santé génésique, ainsi qu’aux droits entre les femmes et les hommes et aux droits de la personne. Les évaluations indiquaient également que les programmes financés par le FNUAP avaient entrepris plusieurs activités spécifiques axées sur le genre pour renforcer l’égalité entre les sexes et les droits des femmes, lesquelles avaient donné des résultats concrets sur le plan des extrants et, parfois, des résultats. Souvent ceci incluait l’intégration de l’égalité entre les sexes et des droits des femmes aux politiques, aux cadres et aux lois à l’échelle nationale. Les évaluations indiquaient également que les programmes financés par le FNUAP avaient été efficaces pour améliorer les services visant à lutter contre la violence sexiste.

3.3.3 Facteurs déterminants

La combinaison de l’intégration de l’égalité entre les sexes dans les principaux secteurs de programme thématiques, de l’aide ciblée et spécifique aux initiatives visant l’égalité entre les sexes dans des domaines comme la lutte contre la violence sexiste et de l’autonomisation des filles et des femmes était le facteur le plus souvent cité pour expliquer les constatations positives de la composante de l’égalité entre les sexes dans les rapports d’évaluation du FNUAP. Voici d’autres facteurs positifs :

• les programmes du FNUAP renfermaient un volet propre à l’égalité entre les sexes, et cette dernière demeurait un enjeu transversal dans les autres volets (16 évaluations); et
• la capacité de cibler le bon groupe de décideurs ou de réunir une coalition et des groupes de travail techniques pour aborder les enjeux de l’égalité entre les sexes (13 évaluations).

Les évaluations thématiques mondiales faisaient également ressortir des facteurs positifs semblables pour aborder efficacement la question de l’égalité entre les sexes^{Note de bas de page 31}.

Les facteurs négatifs empêchant les progrès en matière d’égalité entre les sexes incluaient :

• des objectifs beaucoup trop ambitieux et des indicateurs de résultats vaguement définis qui rendaient difficile toute mesure de résultats de la programmation en égalité entre les sexes (5 évaluations)^{Note de bas de page 32};
• l’absence ou la portée limitée d’une stratégie en égalité entre les sexes ainsi que des budgets limités et une importante fragmentation (5 évaluations);

le manque d’employés qualifiés ayant des compétences en matière d’égalité entre les sexes (3 évaluations).

3.4 Viabilité

3.4.1 Couverture

Le niveau de couverture des trois sous-critères relatifs à la viabilité était solide (figure 9). Le sous-critère 4.1 concernant les bienfaits qui subsistent une fois le programme achevé et le sous-critère 4.2 concernant la durabilité des programmes par la capacité institutionnelle et communautaire ont été abordés dans 57 et dans 60 évaluations respectivement. Le sous-critère 4.3 concernant le renforcement de l’environnement favorable au développement, a seulement été qualifié de solide pour la couverture puisque ce sous-critère n’a été abordé que dans 46 évaluations, soit le nombre minimal requis pour obtenir cette note.

Figure 9: Nombre d’évaluations abordant les sous-critères relatifs à la viabilité

Équivalent textuel pour figure 9

Viabilité

	Abordé	Non abordé
4.1 Les bienfaits continueront ou pourront se poursuivre à l'avenir	57	5
4.2 Les programmes appuient la durabilité par la capacité institutionnelle ou communautaire	60	2
4.3 Les programmes renforcent un environnement favorable au développement	46	16

3.4.2 Principales constatations

La viabilité semblait présentée un sérieux défi pour l’efficacité de l’aide au développement du FNUAP. Seulement 35 % des évaluations (35/57) ont été jugé satisfaisante ou mieux pour le sous-critère 4.1 concernant les avantages qui continuent ou peuvent continuer une fois le programme achevé. C’est le quatrième plus bas sous-critère dans le classement parmi les 19 sous-critères mesurant l’efficacité de l’aide au développement.

Les évaluations jugeaient plus positivement la capacité institutionnelle et communautaire (sous-critère 4.2) et l’environnement favorable au développement (sous-critère 4.3), avec une note satisfaisante ou mieux dans 60 % (36/60) et 61 % (30/46) des évaluations respectivement (figure 10)^{Note de bas de page 33}.

Figure 10: Constatations relatives à la viabilité

Équivalent textuel pour figure 10

Constatations relatives à la viabilité

	(4) Très satisfaisant	(3) Satisfaisant	(2) Insatisfaisant	(1) Très insatisfaisant
4.3 Environnement favorable au développement (n=46)	2 %	59 %	37 %	2 %
4.2 Capacité institutionnelle et communautaire (n=60)	2 %	58 %	38 %	2 %
4.1 Les bienfaits continuent après la complétion du programme (n=57)	2 %	33 %	58 %	7 %

Les résultats plus positifs pour les sous-critères 4.2 et 4.3 que pour le sous-critère 4.1 peuvent s’expliquer par un certain nombre de facteurs liés à la programmation du FNUAP au niveau des pays : l’idée que se faisait les partenaires du FNUAP à savoir que l’appui du FNUAP se poursuivrait sur le long terme et, par ce fait, démontraient peu d’intérêt à régler les enjeux de la prise en charge et de la viabilité; l’accent marqué mis par le FNUAP à fournir un appui des capacités en développement à ses partenaires de mise en œuvre au fil des ans et l’importance renforcée du FNUAP sur l’engagement politique et le plaidoyer, ce qui entraînerait des résultats positifs sur l’environnement favorable. Les résultats relativement mauvais du sous-critère 4.1 sont liés à l’incapacité des partenaires de mise en œuvre ou des gouvernements nationaux ou locaux aidés, d’assumer les coûts des programmes financés par le FNUAP en l’absence d’une aide financière continue. Cela reflétait également l’absence de stratégies de sortie dans les interventions financées par le FNUAP.

3.4.3 Facteurs déterminants

Les facteurs facilitant la viabilité de la programmation du FNUAP incluaient :

• le renforcement des capacités bien ciblé et bien conçu à diverses échelles pour les personnes et les organisations, y compris à l’échelle communautaire (24 évaluations);
• une prise en charge et un engagement robustes du gouvernement national dans la programmation (20 évaluations);
• travailler stratégiquement à l’échelle nationale sur le cadre politique et juridique, tout en réunissant les divers paliers de gouvernement et de la société civile, en renforçant les capacités à tous les échelons et en donnant conseils et outils au gouvernement et à la société civile pour qu’ils puissent favoriser et adopter une politique dans les trois composantes stratégiques du FNUAP (18 évaluations).

Les facteurs nuisant à la viabilité incluaient :

• la dépendance excessive aux donateurs et à l’aide extérieure pour financer les programmes et la non-intégration des coûts des programmes aux budgets nationaux (23 évaluations);
• les approches de renforcement des capacités incohérentes ayant fait rater de nombreuses occasions d’assurer la viabilité. Par exemple, l’absence de plans de renforcement des capacités, l’absence de reconnaissance des besoins et des capacités des partenaires du gouvernement et l’inutilisation de l’expertise locale (10 évaluations);
• le taux de départ volontaire élevé des professionnels de la santé formés, ce qui entraîna des dépenses de recrutement et de formation récurrentes et une incapacité à institutionnaliser les capacités (10 évaluations).

Les évaluations thématiques mondiales indiquaient qu’une importante menace à la viabilité était l’absence d’un financement une fois l’aide du FNUAP terminée.

3.5 Efficience

3.5.1 Couverture

La couverture des trois sous-critères relatifs à l’efficience va de modérée pour le sous-critère 5.1 à solide pour les sous-critères 5.2 et 5.3 (figure 11).

Figure 11: Nombre d’évaluations abordant les sous-critères relatifs à l’efficience

Équivalent textuel pour figure 11

Efficience

	Abordé	Non abordé
5.1 Les activités de programme  sont efficientes sur le plan des coûts/ressources	44	18
5.2 La mise en œuvre et les objectifs sont atteints en temps	52	10
5.3 Les systèmes et les procédures sont efficients	59	3

La couverture modérée du sous-critère 5.1 indiquait que les évaluations avaient soulevé quelques réserves quant à l’efficience liée aux coûts et aux ressources ou aux références au coût unitaire des intrants ou extrants des programmes. Cela ne signifiait pas que les évaluations du FNUAP mesuraient régulièrement le rapport coût-efficacité. Bien que l’information sur le coût général des programmes fût disponible pour 61 évaluations, seules 44 présentaient une évaluation de leur rapport coût-efficacité.

La solide couverture du sous-critère 5.2 concernant le fait que la mise en œuvre était atteinte dans les délais prévus et du sous-critère 5.3 concernant les systèmes et procédures efficients indiquaient que ces aspects avaient sans doute été systématiquement intégrés aux exigences du cadre de référence des évaluations pour des programmes-pays du FNUAP. Cette hypothèse était appuyée par une analyse d’un échantillon de 17 cadres de référence choisis au hasard pour des évaluations de programmes-pays du FNUAP. Parmi cet échantillon, le « rapport coût-efficacité » faisait partie des exigences dans huit évaluations, l’efficience des ressources dans 11 d’entre elles et la production de rapports en temps opportun dans six d’entre elles.

3.5.2 Principales constatations

Même si la couverture est généralement solide, seulement un tiers des évaluations accordaient une note satisfaisante ou mieux aux sous-critères 5.1 et 5.2 – 30 % (13/44) et 35 % (18/52) respectivement. La disponibilité des données ainsi que les délais et le budget peuvent avoir été des facteurs décisifs dans le choix de ne pas présenter d’évaluation détaillée du rapport coût-efficacité.

Les constatations relatives au sous-critère 5.3 sur l’efficience des systèmes et des procédures étaient mitigées avec 51 % des évaluations le jugeant satisfaisant (30/59) (figure 12). Aucune des évaluations examinées ne comportait de résultats très satisfaisants sur l’efficience des systèmes et des procédures (voir aussi la section 3.6.3).

Figure 12 : Constatations relatives à l’efficience

Équivalent textuel pour figure 12

Constatations relatives à l’efficience

	(4) Très satisfaisant	(3) Satisfaisant	(2) Insatisfaisant	(1) Très insatisfaisant
5.3 Les systèmes pour la mise en œuvre et le suivi sont efficients (n=59)	0 %	51 %	42 %	7 %
5.2 La mise en œuvre et les objectifs sont atteints en temps (n=52)	2 %	33 %	60 %	6 %
5.1 Les activités de programme sont efficientes sur le plan des coûts/ressources (n=44)	3 %	28 %	55 %	14 %

Dans l’ensemble, les notes obtenues par les trois sous-critères relatifs à l’efficience se classaient 3e, 4e et 6e plus bas parmi les notes pour les 19 sous-critères de l’examen de l’efficacité de l’aide au développement.

3.5.3 Facteurs déterminants

Divers facteurs ont contribué aux résultats relatifs au rapport coût-efficacité comparativement au respect des échéances et à l’efficience des systèmes et des procédures; par conséquent, ils sont abordés séparément dans cette section.
Les facteurs positifs favorisant l’efficience des coûts et des ressources des programmes incluaient :

• les partenariats assuraient davantage l’« optimisation des ressources » ou la réduction des coûts de transaction, notamment le travail conjoint avec d’autres agences des Nations Unies, les partenaires du développement et les ONG (9 évaluations); et
• l’évaluation continue et la bonne gestion de ressources limitées (8 évaluations).

Les facteurs négatifs contribuant à réduire l’efficience des coûts et des ressources incluaient :

• l’absence de données adéquates pour permettre de calculer les coûts avec une précision raisonnable (11 évaluations)^{Note de bas de page 34};
• l’absence de synergies liée à la fragmentation de l’aide et de la programmation (6 évaluations).

Il existait un lien étroit entre l’exécution en temps voulu des programmes et les constatations concernant l’efficience des systèmes et des procédures du FNUAP pour la mise en œuvre des programmes. Les facteurs positifs incluaient :

• le processus de planification concertée, les partenariats et la coordination avec les contreparties semblaient avoir une incidence positive sur l’exécution en temps opportun des projets (7 évaluations)^{Note de bas de page 35}; et,
• la capacité du FNUAP à répondre immédiatement aux demandes sans tomber dans la bureaucratie excessive (surtout au moment du décaissement des fonds), l’efficience administrative générale et les bonnes procédures des programmes contribuaient à la mise en œuvre en temps opportun des programmes (8 évaluations).

Les facteurs négatifs empêchant la mise en œuvre en temps opportun des programmes et des projets du FNUAP incluaient :

• les problèmes causés par un système financier rigide et les délais dans le relâchement des fonds aux partenaires de mise en œuvre (31 évaluations);
• les délais dans la mise en œuvre causés par des problèmes dans le processus global du FNUAP pour administrer les programmes-pays (21 évaluations). Par exemple, le long processus de planification annuel (qui peut durer jusqu’à quatre mois), les délais dans l’approbation du plan de travail annuel et l’absence de protocoles clairs concernant le déroulement du travail;
• les enjeux liés à la capacité du FNUAP et de ses partenaires de mise en œuvre, notamment :
  • l’accès limité aux spécialistes techniques de l’équipe du FNUAP, la non-concordance des compétences requises, le sous-effectif, le roulement du personnel et les délais dans le recrutement (18 évaluations);
  • la capacité des partenaires de mise en œuvre à se conformer aux normes du FNUAP, y compris de sous-dépenser et de surestimer les dépenses des activités de projet et la capacité logistique limitée des partenaires de mise en œuvre (5 évaluations).

Les évaluations mondiales cernaient des forces semblables parmi les procédures internes du FNUAP (administration, finances et acquisitions) ainsi que des facteurs limitatifs, comme les retards de mise en œuvre, la capacité du personnel (quantité et qualité) et l’approche fragmentée ou cloisonnée.

3.6 Recours à l’évaluation et au suivi

3.6.1 Couverture

La couverture des quatre sous-critères relatifs au recours à l’évaluation et au suivi est solide – les systèmes et les procédures d’évaluation sont efficaces; les systèmes et les procédures de suivi et d’établissement de rapports sont efficaces; les systèmes de gestion axée sur les résultats (GAR) sont efficaces et les évaluations sont utilisées afin d’améliorer l’efficacité (figure 13). Chacun des sous-critères a été abordé par au moins 50 évaluations.

Figure 13: Nombres d’évaluations abordant le sous-critère relatif au recours à l’évaluation et au suivi

Équivalent textuel pour figure 13

Evaluation et suivi

	Abordé	Non abordé
6.1 Les systèmes et les processus d'évaluation sont efficaces	50	12
6.2 Les systèmes et les processus pour le suivi et la production de rapports sont efficaces	61	1
6.3 Les systèmes de la GAR sont efficaces	54	8
6.4 L'évaluation est utilisée pour améliorer l'efficacité	62	0

3.6.2 Principales constatations

Les constatations relatives au recours à l’évaluation et au suivi sont mitigées. D’une part, elles reflétaient une pratique d’évaluation systématique au niveau du bureau régional ou du pays, ainsi qu’une approche structurée de l’utilisation des résultats d’évaluation pour améliorer la conception des programmes. D’autre part, le suivi et l’établissement de rapports sur les résultats de programmes ainsi que le recours aux systèmes de la GAR étaient évalués négativement dans les évaluations examinées.

Les résultats du sous-critère 6.1 concernant l’efficacité des systèmes et des procédures d’évaluation et du sous-critère 6.4 sur l’utilisation des évaluations pour améliorer l’efficacité étaient positifs (figure 14). Les constatations indiquaient qu’environ les trois quarts des évaluations étaient satisfaisantes ou mieux pour ces deux sous-critères, soit 78 % (39/50) et 73 % (45/62) respectivement. Les résultats du sous-critère 6.2 sur les systèmes et procédures de suivi et d’établissement de rapports efficaces et du sous-critère 6.3 sur les systèmes efficaces de la GAR étaient surtout négatifs : seulement 13 % et 22 % des évaluations (8/61 et 12/54 respectivement) faisaient rapport de résultats satisfaisants ou mieux. De tous les 19 sous-critères, ces sous-critères ont obtenu la plus faible proportion de notes satisfaisantes ou très satisfaisantes.

Malgré les constatations concernant la faiblesse des systèmes et des procédures de suivi et d’établissement de rapports et l’inefficacité des systèmes de la GAR, les constatations étaient positives en ce qui concerne l’efficacité des systèmes et procédures d’évaluation et l’utilisation des résultats de l’évaluation pour améliorer l’efficacité. Cela s’expliquait par le fait que l’évaluation en tant que processus ait été bien intégrée dans le cycle de planification des programmes régionaux et de pays. Cela indiquait aussi que les équipes d’évaluation étaient en mesure d’obtenir d’autres données primaires ou secondaires sur les résultats des programmes lorsque les données de suivi étaient absentes ou limitées.

Néanmoins, les constatations présentées pour les sous-critères 6.2 et 6.3 indiquaient que le FNUAP a eu à faire face à de graves difficultés à établir et à renforcer les systèmes des programmes régionaux et de pays en termes de suivi et de la GAR durant la période de l’examen. L’examen préliminaire mené dans le cadre de cette étude a permis de constater les efforts considérables qui étaient continuellement faits pour renforcer la définition des résultats de programme et des systèmes de suivi à l’échelle nationale et régionale au sein du FNUAP. Ces efforts incluaient la nomination d’agents de suivi et d’évaluation et de personnes-ressources; un examen à mi-parcours du Plan stratégique 2008-2013; un cadre intégré de la GAR (du Plan stratégique 2014-2017) et l’établissement d’un budget fondé sur les résultats. Ces efforts étaient suffisamment récents pour empêcher que les améliorations obtenues pour la définition des résultats et les systèmes de suivi ne soient pas pris en considération dans les constatations des évaluations examinées.

Figure 14: Constatations relatives au recours à l’évaluation et au suivi

Équivalent textuel pour figure 14

Constatations relatives au recours à l’évaluation et au suivi

	(4) Très satisfaisant	(3) Satisfaisant	(2) Insatisfaisant	(1) Très insatisfaisant
6.4 L'utilisation de l'évaluation pour améliorer l'efficacité (n= 62)	65 %	8 %	3 %	24 %
6.3 Les systèmes de GAR sont efficaces (n=54)	7 %	15 %	57 %	20 %
6.2 Le suivi et la production de rapports sur les résultats du programme sont efficaces (n=61)	3 %	10 %	75 %	11 %
6.1 Les systèmes et les processus d'évaluation sont efficaces  (n=50)	18 %	60 %	14 %	8 %

Les résultats obtenus pour le sous-critère 6.4 illustraient la mesure dans laquelle le FNUAP rédigeait des réponses de la direction pour ses évaluations et indiquaient si ces réponses donnaient suite aux recommandations, comme il se doit, notamment par un plan d’action et par une attribution claire de responsabilités pour sa mise en œuvre.

Cela constituait l’un des résultats les plus élevés de l’examen avec 64 % des évaluations ayant obtenu une note très satisfaisante. Cela s’explique par le fait qu’une réponse de la direction formelle aux évaluations était rédigée, que des réponses positives aux recommandations étaient données ou que les motifs de rejet des recommandations étaient précisés. Les réponses de la direction comportaient également un plan avec des responsabilités attribuées pour la mise en œuvre des mesures contenues dans la réponse, ainsi qu’un rapport sur les progrès. L’équipe de l’examen a constaté la présence d’une réponse de la direction dans 41 des 62 évaluations examinées, dont 39 étant considérées comme de grande qualité^{Note de bas de page 36}.

Un paradoxe apparent dans les constatations du sous-critère 6.4 était la proportion plutôt élevée d’évaluations (24 %, 15/62) faisant rapport de résultats très insatisfaisants. Cela s’expliquait par la décision de noter toute évaluation pour laquelle une réponse de la direction ne pouvait pas être retracée dans la base de données électronique du FNUAP. Pour certaines de ces évaluations, à tout le moins, une réponse de la direction pouvait avoir été rédigée sans avoir été entrée dans la base de données au moment de l’examen.

Le solide appui du FNUAP au recours à l’évaluation pouvait se vérifier dans sa politique d’évaluation de 2009, qui exigeait que les gestionnaires de programme rédigent une réponse de la direction aux recommandations découlant d’une évaluation et d’en assurer le suivi nécessaire^{Note de bas de page 37}. En outre, le système de suivi actuel des réponses de la direction a été instauré en 2010. En 2012-2013, comme indiqué au chapitre 2, le FNUAP a investi des efforts considérables pour réorganiser, souligner à nouveau et améliorer le recours à l’évaluation et à l’apprentissage. De plus, la politique d’évaluation en vigueur demandait au directeur exécutif de faire régulièrement rapport au Conseil d’administration de l’utilisation et du suivi des évaluations, y compris de la mise en œuvre de leurs recommandations^{Note de bas de page 38}.

3.6.3 Facteurs déterminants

Les facteurs positifs contribuant à l’efficacité des systèmes et procédures d’évaluation, malgré le faible suivi et les systèmes de la GAR, incluaient :

• des évaluations des programmes-pays (EPP) ont été menées à la fin de chaque cycle de programme (l’ensemble des 57 EPP);
• des évaluations à mi-parcours ou des examens stratégiques ont été entrepris dans le cadre du cycle de programme-pays (24 évaluations);
• des évaluations ont été menées pour les projets financés par le FNUAP dans le cadre d’un programme-pays (10 évaluations).

Les facteurs ayant nui à l’efficacité des systèmes et des procédures d’évaluation incluaient :

• plus de 50 % des évaluations rapportaient une faiblesse des systèmes de suivi et d’évaluation, une absence d’indicateurs clairement définis, une absence de cibles et un manque de données de suivi pouvant servir au EPP;
• une confusion des termes « évaluation » et « suivi » (5 évaluations).

Les facteurs positifs ayant contribué à l’efficacité des systèmes et procédures de suivi et de la GAR incluaient :

• un cadre de résultats cohérent et bien conçu avec des intrants, des extrants et des résultats clairement définis ainsi que des liens entre les divers niveaux de résultats contribuaient au renforcement des systèmes de suivi (6 évaluations);
• des réunions trimestrielles tenues entre le FNUAP et les partenaires de mise en œuvre afin d’aborder les défis et de s’assurer que les progrès demeurent sur la bonne voie (4 évaluations); et,
• un cadre de résultats détaillé comportant des lignes de base et des cibles pour la plupart des indicateurs (3 évaluations).

Les facteurs négatifs étaient l’absence d’une culture de résultats ou d’une institutionnalisation de la GAR (10 évaluations)^{Note de bas de page 39}.

Toutes les évaluations mondiales soulignaient la faiblesse des systèmes de suivi et d’évaluation et le fait que les rapports portaient surtout sur les activités, et non sur les résultats atteints. Cette faiblesse s’expliquait également par l’absence de capacités chez le personnel et les partenaires de mise en œuvre et par l’absence d’une « culture de résultats » (les indicateurs étaient soit ambitieux, soit pas assez clairs pour être mesurés).

4. Engagement du Canada avec le FNUAP

4.1 Introduction

La finalité de ce chapitre vise à évaluer l’engagement du Canada avec le FNUAP entre 2009 et 2014 selon les critères de pertinence, d’efficacité et d’efficience. L’accent a été mis sur l’engagement du Canada avec le FNUAP au plan institutionnel, au sein du Conseil d’administration, à titre de membre du Comité directeur du partenariat H4+^{Note de bas de page 40} et dans certains cadres bilatéraux. Ce chapitre vient compléter l’examen de l’efficacité de l’aide au développement du FNUAP, discuté plus haut.

Puisque la portée du présent examen englobait une période ayant suivi la fusion de l’ancienne Agence canadienne de développement international (ACDI) et du ministère des Affaires étrangères et du commerce international (MAECI) en un seul ministère, appelé ministère des Affaires étrangères, du commerce et du développement (Affaires mondiales Canada)^{Note de bas de page 41}, le présent chapitre fait référence à la fois à l’ACDI et à Affaires mondiales Canada.

4.2 Méthodologie

Cette évaluation reposait sur l’examen de documents, et d’entrevues avec le personnel d’Affaires mondiales Canada et du FNUAP et d’autres États membres du Conseil d’administration. Les documents examinés étaient notamment, la Stratégie de collaboration avec le FNUAP de l’ACDI, la Stratégie sur l’efficacité de l’aide multilatérale de l’ACDI, l’Examen de l’efficacité du mécanisme multilatéral de prestation de l’aide de l’ACDI, ainsi que les instructions et rapports des réunions du Conseil d’administration^{Note de bas de page 42}.

4.3 Relation du Canada avec le FNUAP

L’engagement du Canada avec le FNUAP prend forme par l’entremise de divers mécanismes. Le principal mécanisme est l’engagement en tant que membre ou observateur^{Note de bas de page 43} du Conseil d’administration du FNUAP, sous la gouverne de la division des programmes des Nations Unies d’Affaires mondiales Canada, relevant de la direction générale des enjeux mondiaux et du développement, et de la Mission permanente du Canada auprès des Nations Unies à New York (MPONU). La division des programmes des Nations Unies et la MPONU prennent part aux réunions préparatoires du Conseil d’administration organisées par le FNUAP ou le WEOG^{Note de bas de page 44}, ainsi qu’aux réunions du Conseil d’administration. La MPONU facilite les interactions directes avec le bureau central du FNUAP sur une foule d’enjeux.

Affaires mondiales Canada contribue au FNUAP pour favoriser l’atteinte des objectifs du Canada en matière de développement par : i) un soutien institutionnel à long terme; ii) un soutien propre à la programmation du FNUAP dans le cadre d’initiatives multilatérales (surtout celles ayant trait à la santé des mères, des nouveau-nés et des enfants (SMNE) et à l’aide humanitaire internationale), et iii) des contributions des programmes bilatéraux d’Affaires mondiales Canada aux projets du FNUAP dans des pays spécifiques.

Le Canada a des contacts réguliers avec le FNUAP dans le cadre du travail qu’il mène sur la scène mondiale pour assurer la SMNE. En particulier, le Canada est l’un des principaux donateurs et membres du Comité directeur de l’initiative de partenariat multi-institutionnel sur la santé maternelle et infantile, H4+.

En mars 2014, le Canada se classait onzième sur la liste des donateurs au soutien institutionnel à long terme du FNUAP. Il arrivait au sixième rang pour ce qui est des contributions propres à une initiative. La liste des 20 plus grands donateurs du FNUAP est fournie à l’annexe K.

4.4 Pertinence

Cette section porte sur l’alignement entre le mandat du FNUAP et les priorités du Canada en matière de développement, y compris les thèmes transversaux, durant la période couverte.

Il y avait un fort degré d’alignement avec le mandat et l’avantage concurrentiel du FNUAP et les priorités d’Affaires mondiales Canada en développement concernant les enfants et les jeunes – notamment, la survie de l’enfant, y compris la santé maternelle, et l’assurance d’un avenir sécuritaire pour les enfants et les jeunes. Il y avait également pour le Canada une pertinence envers le thème transversal de la promotion de l’égalité entre les sexes, qui est au cœur du travail du FNUAP. Plus précisément, il y a des points de convergence tels que la SMNE, l’enregistrement civil et les statistiques de l’état civil.

La Stratégie de collaboration avec le FNUAP de l’ACDI (annexe H) a servi de cadre pour évaluer la pertinence dans ce chapitre. Considérant qu’aucune révision de la Stratégie n’a été préparée après la fusion, les trois objectifs stratégiques définissant la relation entre le Canada et le FNUAP, qui figuraient sur le site Web public d’Affaires mondiales Canada, demeuraient pertinents^{Note de bas de page 45}. Ces objectifs sont les suivants :

1. élargir les efforts du FNUAP pour améliorer la santé des mères, promouvoir l’égalité entre les femmes et les hommes, et soutenir aux besoins des jeunes;
2. travailler avec le FNUAP pour améliorer le rendement institutionnel, particulièrement pour renforcer les capacités des pays;
3. appuyer le FNUAP pour lui permettre de continuer son rôle actif dans les réformes des Nations Unies, pour faire en sorte que les programmes du Fonds soient cohérents, coordonnés et ciblés.

Constatation no 1 : Les objectifs stratégiques définis par la Stratégie de collaboration avec le FNUAP de l’ACDI (2011) demeuraient pertinents pour les priorités du Canada en matière de développement; cela dit, l’appui du Canada au FNUAP a été affectée à certains volets de la Stratégie.

Les données probantes indiquaient que les objectifs stratégiques définis dans la Stratégie de collaboration avec le FNUAP de l’ACDI demeuraient pertinents pour le travail d’Affaires mondiales Canada dans le cadre du Conseil d’administration, des initiatives multidonateurs, bilatéralement et en situations d’urgence.

Depuis l’Initiative de Muskoka du G8 sur la santé des mères, des nouveau-nés et des enfants en 2010, il y a une augmentation significative du financement d’Affaires mondiales Canada aux activités du FNUAP visant à favoriser la santé maternelle. Ceci était en alignement direct avec le mandat du FNUAP; cependant, les objectifs stratégiques définis plus haut ont fait l’objet d’une interprétation étroite puisque les fonds ont surtout été octroyés à la santé maternelle, au détriment des autres aspects énumérés dans la stratégie, à l’exception de l’aide humanitaire pour soutenir le travail du FNUAP dans les pays vivant des conflits ou se rétablissant de conflits, comme en Irak et au Soudan du Sud.

Le FNUAP s’est servi de la Stratégie de collaboration de l’ACDI comme « feuille de route » pour établir sa propre approche stratégique face au Canada en tant que donateur. Leur expérience a démontré que malgré l’intégration de divers secteurs de la programmation à la stratégie et leur compréhension de l’emphase mis par le Canada en SMNE, le FNUAP n’a pas réussi à susciter l’intérêt du Canada à entreprendre, avec son aide, une programmation dans le domaine de la santé sexuelle et génésique ou des adolescents – voire des mères adolescentes. Puisque le FNUAP mettait fortement l’accent sur ces secteurs d’intervention, l’engagement limité du Canada à ces enjeux a mis la relation à rude épreuve durant la période d’évaluation.

Constatation no 2 : Le travail du Canada au sein du Conseil d’administration du FNUAP avait constamment porté sur l’efficacité de la gestion et des préoccupations en égalité entre les sexes au cours de ces cinq dernières années.

Les données probantes indiquaient que les interventions du Canada au sein du Conseil d’administration avaient surtout porté, depuis 2009, sur les questions liées à la gestion axée sur l’efficacité (gestion axée sur les résultats et fonctions de surveillance, comme les vérifications et les évaluations), les préoccupations en égalité entre les sexes ainsi que la réforme et l’harmonisation des Nations Unies. Le Canada a joué un rôle de tout premier plan dans les efforts visant à influencer la Politique d’évaluation révisée (2013), le Plan stratégique 2014-2017 et la dernière vérification des programmes mondiaux et régionaux du FNUAP.

Ce qui va dans le même sens que la constatation tirée de l’Examen de l’efficacité du mécanisme multilatéral de prestation de l’aide de l’ACDI, qui révélait que « l’ACDI présente toujours une position canadienne cohérente et cherche sans cesse à obtenir un engagement plus ferme à l’égard de la gestion axée sur l’efficacité », et était corroboré par le Rapport du vérificateur général du Canada^{Note de bas de page 46} qui indiquait que « l’influence favorable exercée par le Canada […] en ce qui concerne tout particulièrement la promotion de l’égalité entre les sexes, la mise en œuvre d’une gestion axée sur les résultats et le renforcement des fonctions d’évaluation ».

Constatation no 3 : Il n’y avait pas de cadre de mesure du rendement pour assurer le suivi et faire rapport de l’engagement stratégique d’Affaires mondiales Canada avec le FNUAP.

Il y a eu l’absence d’un cadre de mesure du rendement définissant l’engagement du Canada avec le FNUAP. La prévisibilité des réunions du Conseil d’administration et de leur ordre du jour permettait de définir les résultats escomptés sur une période de trois ans. Sans cela, il est difficile d’évaluer l’efficacité du travail du Canada au sein du Conseil d’administration du FNUAP.

Les procédures étaient suivies pour faire approuver le soutien institutionnel à long terme et le financement à des initiatives spécifiques au sein de la direction générale des enjeux mondiaux et du développement. Ce qui incluait une diligence raisonnable et des évaluations de risques fiduciaires, de même qu’une évaluation des initiatives à l’échelon de la direction générale ainsi que des évaluations en égalité entre les sexes et de l’environnement. Il y avait aussi l’établissement de rapports sur les résultats, notamment dans les projets de financement et le Rapport ministériel sur le rendement. Ce qui manquait, cependant, était par quels moyens les progrès vers l’atteinte des objectifs établis seraient mesurés.

4.5 Efficacité

La présente section comprend une analyse générale du travail accompli par le Canada pour chacun des objectifs stratégiques définis dans sa Stratégie de collaboration. Elle ne vise pas à documenter tous les résultats obtenus par le Canada ou le FNUAP dans ces domaines.

Constatation no 4 : Le soutien bilatéral du Canada aux « efforts du FNUAP pour améliorer la santé maternelle, promouvoir l’égalité entre les sexes et répondre aux besoins des jeunes^{Note de bas de page 47} » se concentrait sur le soutien à la santé maternelle, sur la promotion de l’égalité entre les sexes et, plus récemment, sur la programmation d’urgence.

Le soutien qu’apporte le Canada à la santé maternelle est reconnu depuis 2010. Le rôle de premier plan que le Canada a joué dans l’Initiative de Muskoka du G8 et la Commission d’information et de responsabilisation a souvent été soulevé lors des entrevues. Le Partenariat H4+, pour lequel le FNUAP assure le Secrétariat, était vu comme un moyen d’obtenir des résultats en matière de SMNE, tout en favorisant la coordination, la cohérence et l’efficience des agences des Nations Unies.

Le Canada a fermement défendu l’égalité entre les sexes dans le cadre de son travail au sein du Conseil d’administration du FNUAP. Cette perspective a influencé les interventions du Canada dans le cadre du Plan stratégique du FNUAP, des plans de programme-pays et des autres documents stratégiques au cours des dernières années.

Bien que la Stratégie fasse référence à une « collaboration avec le FNUAP pour améliorer l’éducation et favoriser la santé des jeunes [notamment] dans le cadre…de la prévention, des soins et du traitement du VIH/sida », il y avait un abandon du soutien envers les efforts de lutte contre le VIH/sida au profit du renforcement des systèmes de santé, comme cela est défini dans l’Initiative de Muskoka.

Peu de la programmation du FNUAP visant spécifiquement les jeunes a été soutenue par le Canada au cours des cinq dernières années. De plus, même si le travail du FNUAP pour améliorer la santé sexuelle et génésique a été invoqué dans des accords de subvention en vue d’un soutien institutionnel à long terme entre 2009 et 2014, le Canada a peu financé le FNUAP dans ce domaine. Les données probantes sur les efforts d’Affaires mondiales Canada pour « encourager le FNUAP à redoubler d’efforts pour réduire les mutilations et ablations génitales féminines » ou pour soutenir sa programmation conjointe avec l’UNICEF à ce chapitre étaient tout aussi rares.

Depuis tout récemment seulement, le Canada a commencé à financer le travail du FNUAP pour intervenir en situation d’urgence et au lendemain des conflits dans le cadre de la programmation humanitaire.

Constatation no 5 : Le Canada était largement reconnu pour son efficacité au sein du Conseil d’administration du FNUAP^{Note de bas de page 48}.

De l’avis du FNUAP et des autres États membres, le Canada était très actif et efficace au sein du Conseil d’administration. Les délégués canadiens, siégeant au Conseil, apportaient de solides connaissances techniques, ils étaient très bien préparés et faisaient des interventions stratégiques. Leurs compétences en leadership et en négociation sur les enjeux difficiles et leur pragmatisme ont été soulignées à de nombreuses reprises. Le Canada était parvenu à réconcilier des points de vue divergents de manière constructive et pratique. Il était également considéré comme un partenaire de confiance dans ses efforts de renforcer l’efficacité du FNUAP, particulièrement à l’échelon des pays.

L’examen des délégations aux réunions du Conseil d’administration du FNUAP depuis 2006 indiquait une diminution du nombre de représentants canadiens présents à ces réunions depuis 2010. Malgré cela, le travail qu’accomplissait le Canada au sein du Conseil demeurait très efficace.

Constatation no 6 : Le Canada démontrait son soutien au FNUAP dans la réforme des Nations Unies^{Note de bas de page 49} par son travail au sein du Conseil d’administration et son rôle de partisan clé du Partenariat H4+.

Le Canada appuyait le FNUAP dans son rôle de coprésident du Groupe des Nations Unies pour le développement et dans ses efforts pour améliorer l’harmonisation des pratiques commerciales et le financement des activités opérationnelles avec les autres agences des Nations Unies dans le cadre de l’examen quadriennal complet.

Le Canada était un fervent défenseur du Partenariat conjoint des agences des Nations Unies travaillant ensemble pour améliorer la santé des femmes et des enfants, qui a vu le jour en 2010 dans le cadre d’un effort commun du FNUAP, de l’ONUSIDA, de l’UNICEF, d’ONU Femmes, de l’OMS, de la Banque mondiale, des gouvernements et des organisations de la société civile dans 36 pays aux prises avec des taux élevés de mortalité et de morbidité génésiques, maternelle et infantile. Le Canada était l’un des principaux donateurs de ce partenariat et soutenait activement le FNUAP dans son rôle de secrétaire.

Comme il n’y avait pas de mesures du rendement formulées pour cet objectif stratégique, il était impossible de déterminer les changements apportés par ce soutien.

Constatation no 7 : Affaires mondiales Canada évaluait que le FNUAP était un ardent défenseur de l’égalité entre les sexes, ce qui fut corroboré par l’examen de l’efficacité de l’aide au développement du FNUAP.

Le FNUAP était considéré par Affaires mondiales Canada comme étant un défenseur solide pour l’égalité entre les sexes. Ce qui fut corroboré par les constatations de l’examen de l’efficacité de l’aide au développement (chapitre 3).

4.6 Efficience

Cet examen s’est penché sur l’efficience en mettant l’accent sur les pratiques et les systèmes servant à gérer la relation, comme la planification stratégique, le suivi et la communication. Cela s’expliquait surtout par le fait que le Canada collaborait principalement au FNUAP dans le cadre de son Conseil d’administration, ce qui s’avérait une relation difficile à évaluer, car elle utilisait une approche intrants-extrants fondée sur les coûts.

Constatation no 8 : Les interactions du Canada avec le FNUAP se caractérisaient généralement par un degré élevé de réceptivité, de rapidité et d’ouverture. Cependant, dans certains cas, le FNUAP estimait que le traitement des demandes de financement manquait de clarté.

De nombreux exemples venaient démontrer le caractère réactif, transparent et efficient des délégués canadiens au Conseil d’administration du FNUAP dans leurs communications et leurs interactions au sein du Conseil. Ces interactions au Conseil étaient considérées comme stratégiques et claires, et la position du Canada sur l’ensemble des enjeux importants était connue de tous (États membres et personnel du FNUAP). Il y avait également des exemples où le Canada a collaboré de manière efficiente avec le FNUAP dans le cadre d’initiatives précises, comme le Partenariat H4+. Ce qui était à l’opposé des interactions du FNUAP avec Affaires mondiales Canada au bureau central, où le FNUAP estimait qu’il y avait eu un manque de communication quant au traitement des demandes de financement durant la période d’évaluation^{Note de bas de page 50}.

Constatation no 9 : Il y avait un niveau mitigé de connaissances de la stratégie ministérielle de collaboration avec le FNUAP et une absence de systèmes pour faciliter l’établissement de liens entre le travail du Canada au Conseil d’administration et dans d’autres secteurs du Ministère.

Les données probantes indiquaient que de nombreux employés d’Affaires mondiales Canada et du FNUAP n’étaient pas au courant de la Stratégie de collaboration avec le FNUAP de l’ACDI. L’Examen de l’efficacité du mécanisme multilatéral de prestation de l’aide de l’ACDI en était venu à la même conclusion, soit que le « nombre d’employés des organisations multilatérales interrogés […] ont souvent dit ne pas être au courant de l’existence d’un plan ou d’une stratégie de l’ACDI concernant l’évolution future de leur organisation. »

Il y avait également un manque de connaissance ou de compréhension au sein des programmes bilatéraux de certaines décisions prises par le Conseil d’administration. À Affaires mondiales Canada, les priorités divergentes (bilatérales ou multilatérales) et l’emplacement (sur le terrain, à l’administration centrale ou à New York) rendaient la collaboration plus difficile.

Il y avait une certaine forme de communications et de consultations régulières. Par exemple, un point permanent à l’ordre du jour des réunions du Conseil d’administration du FNUAP concernait l’examen et l’approbation des nouveaux documents de programmes-pays du FNUAP. Lorsque ces documents visaient un des pays en développement ciblés d’Affaires mondiales Canada, un effort particulier était fait pour obtenir les commentaires du personnel d’Affaires mondiales Canada à l’administration centrale, qui, à leur tour, s’assurait que le point de vue du personnel sur le terrain était pris en considération. Cela dit, on admettait que même si l’information était communiquée au personnel sur le terrain, ces derniers n’avaient pas toujours le temps d’y réagir.

Des consultations régulières ont été tenues au sein d’Affaires mondiales Canada sur certains enjeux précis – surtout liées aux questions financières, aux évaluations, aux vérifications, à l’égalité entre les sexes et à la gestion axée sur les résultats ; lesquels faisant tous l’objet d’un point permanent à l’ordre du jour des réunions du Conseil d’administration. De plus, une liste d’envoi intitulée « Amis du FNUAP » (comprenant tous les programmes connus d’Affaires mondiales Canada qui ont une programmation ou des interactions régulières avec le FNUAP) était utilisée par la division des Nations Unies pour diffuser les rapports du Conseil d’administration et toute autre information pertinente.

Bien que la consultation et la collaboration se produisent, il y avait une possibilité d’améliorer la communication régulière ou systématique entre les programmes multilatéraux et bilatéraux en ce qui concerne le travail mené au sein du Conseil d’administration.

5. Conclusions

Conclusions sur l’efficacité de l’aide au développement du FNUAP

• Les programmes du FNUAP étaient très pertinents aux besoins des membres du groupe cible, et le FNUAP parvenait à nouer des partenariats fructueux avec les gouvernements partenaires et les ONG. Ils réussirent très bien à aligner ses programmes avec les objectifs, les plans et les priorités des pays en matière de développement. La pertinence de la programmation du FNUAP est encore plus marquée après l’évaluation des besoins des groupes cibles et l’analyse contextuelle des conditions prévalant dans le pays.

• Le FNUAP était efficace pour atteindre les objectifs de ses programmes en matière de développement et pour faciliter l’apport de changements importants aux politiques et programmes nationaux en matière de développement. Les programmes du FNUAP ont eu des effets positifs sur les membres du groupe cible. Leur capacité d’identifier et de mobiliser les principaux acteurs politiques autour de l’élaboration des politiques et des cadres stratégiques, par exemple sur la planification familiale, sur la violence sexiste et sur la santé sexuelle et génésique, facilitait l’atteinte des objectifs. Ce qui fut également appuyé par le rôle du FNUAP dans l’établissement de coalitions et la défense prioritaire de la cause des populations vulnérables. Lorsque les objectifs des programmes n’étaient pas atteints, cela était souvent du à : une mauvaise conception du projet, une fragmentation de l’aide du FNUAP et des faiblesses dans la capacité technique du personnel du FNUAP, parfois attribuables au taux élevé de départ à la retraite et de roulement du personnel.

• Le rendement du FNUAP quant à l’égalité entre les sexes était très efficace. Un des principaux facteurs déterminants était le fait que non seulement les programmes du FNUAP comportaient des éléments visant l’égalité entre les sexes, mais ils intégraient aussi l’égalité entre les sexes dans les secteurs de programme prioritaires, y compris la santé génésique et la dynamique des populations. Les résultats obtenus en ce qui concerne l’égalité entre les sexes prirent souvent la forme d’une intégration de l’égalité entre les sexes et des droits des femmes aux politiques, aux cadres et aux lois du pays et d’efforts connexes pour réagir à la violence sexiste.

• Le FNUAP donnait des résultats mitigés en matière de viabilité. Bien que la plupart des évaluations note que les programmes du FNUAP contribuaient à renforcer la capacité institutionnelle et communautaire ainsi que l’environnement favorable au développement, la viabilité probable des avantages des programmes et des projets une fois terminés n’était pas solide. C’est ce qui posa problème pour l’efficacité de l’aide au développement du FNUAP. Un des principaux facteurs expliquant ces constatations était la dépendance continue du gouvernement et des partenaires envers le financement des programmes externes, ce qui peut témoigner d’une incapacité ou d’un manque d’intérêt du gouvernement à soutenir le programme sur le plan financier. La non-intégration des coûts de programmes aux budgets nationaux amplifiés par un taux élevé de départs à la retraite chez le personnel formé au soutien du FNUAP contribuèrent à de piètres avantages sur le plan de la viabilité.

• Les résultats sur l’efficience de la programmation du FNUAP étaient mitigés. Les résultats négatifs concernant le rapport coût-efficacité des programmes et l’exécution des programmes en temps opportun s’expliquaient en partie par l’absence de données adéquates et opportunes sur les coûts recueillies par les programmes pour permettre de faire des calculs raisonnables ou le suivi de l’efficience. L’efficience des coûts et des ressources était également compromise par la fragmentation des programmes entre trop de sous-activités ou d’emplacements géographiques et l’incapacité de saisir les possibilités de synergie. L’exécution des programmes en temps opportun a souffert des procédures administratives ou des retards dans le décaissement des fonds. Cela dit, les résultats indiquaient que les systèmes et les procédures de mise en œuvre et de suivi des programmes étaient adéquats.

• L’évaluation était systématique et s’améliorait progressivement, mais la gestion axée sur les résultats demeurait faible. Le recours aux évaluations pour améliorer la conception des programmes était appuyé par la rédaction des réponses de la direction aux évaluations, lesquelles comprenaient un plan d’action, une répartition des responsabilités et des mesures pour faire rapport des progrès. En revanche, les faiblesses dans la conception des cadres axés sur les résultats, surtout dans l’établissement d’indicateurs appropriés et de lignes de base, venaient souvent miner la capacité du FNUAP à faire un suivi efficace des résultats et à en faire rapport. Les rapports produits portaient davantage sur la conformité et les activités menées que sur les progrès vers l’obtention de résultats. Les efforts considérables récents de la part du FNUAP pour renforcer la définition des résultats et l’établissement de rapports par les bureaux de pays devraient insuffler des changements positifs à ce chapitre.

Conclusions sur l’engagement du Canada avec le FNUAP

• Le Canada continue d’être perçu comme étant très efficace par le FNUAP et par d’autres membres du Conseil d’administration. Sa volonté de jouer un rôle de premier plan pour aborder les questions difficiles au Conseil d’administration lui a permis d’avoir une forte influence.

• L’importance accordée par le Canada à l’efficacité de la gestion au sein du Conseil d’administration était particulièrement pertinente compte tenu des constatations de l’efficacité de l’aide au développement voulant que les évaluations et la gestion axée sur les résultats du FNUAP s’amélioraient, à condition d’y mettre des efforts constants.

• La Stratégie de collaboration avec le FNUAP de l’ACDI n’a pas été révisée depuis sa rédaction en 2011.

• L’absence d’un cadre de mesure du rendement rend difficile l’évaluation de l’efficacité de l’engagement du Canada avec le FNUAP. La planification systématique des réunions du Conseil d’administration et les boucles de rétroaction qui en découlent renforceraient l’efficacité et l’efficience du Canada.

6. Recommandations pour l’engagement d’Affaires mondiales Canada avec le FNUAP

1. Mettre à jour la stratégie de participation du Canada au FNUAP pour y intégrer : a) une théorie du changement; b) un alignement clairement articulé entre le cadre des résultats stratégiques du FNUAP et les priorités d’Affaires mondiales Canada; c) la formulation de changements concrets et précis dans le comportement, le rendement ou les pratiques organisationnels qu’Affaires mondiales Canada aimerait constater chez le FNUAP, et d) un cadre de mesure du rendement qui englobe l’ensemble de la participation du Ministère au FNUAP.

   Le recours à une « théorie du changement » pour clarifier les résultats visés et escomptés est pratique courante. Elle est particulièrement importante lorsque les changements souhaités sont d’ordre comportemental, comme ceux visant le Conseil d’administration. La définition des mesures que l’on souhaite prendre afin d’influencer les autres et provoquer un résultat est un outil crucial pour la planification et la reddition de comptes.

   La stratégie institutionnelle de collaboration avec le FNUAP devrait faire une distinction nette entre les résultats dont le FNUAP serait le principal responsable et les résultats auxquels le Ministère contribuerait. Le cadre de mesure du rendement devrait être suffisamment vaste pour contenir tous les éléments de l’engagement du Canada avec le FNUAP.

2. Élaborer une stratégie de communication pour l’engagement du Canada avec le FNUAP.

   Puisque l’engagement avec le FNUAP prend de nombreuses formes, il est important de transmettre des messages clairs et cohérents concernant les interactions entre Affaires mondiales Canada et le FNUAP. Cela englobe les communications portant sur les objectifs et les priorités du Canada et sur la façon dont Affaires mondiales Canada entend les mettre en œuvre.

3. Instaurer des mécanismes internes pour assurer l’échange d’information avec les directions générales multilatérale et bilatérale afin d’améliorer l’efficacité du Canada au sein du Conseil d’administration.

   Des communications avant et après la tenue des réunions du Conseil d’administration ont eu lieu au cours des dernières années; cela dit, particulièrement dans le contexte de la fusion de l’ACDI et du MAECI, il faudrait s’assurer d’un échange d’informations plus étendu et plus systématique entre la division des programmes des Nations Unies et les autres secteurs du Ministère qui collaborent au FNUAP.