Rapport sommaire : Évaluation de l’Initiative sur la santé des mères, des nouveau-nés et des enfants, 2010-2011 à 2017-2018

Importance de  l’Initiative?

Depuis 2010, le Canada joue un rôle de premier plan dans l’action mondiale visant à mettre fin aux décès évitables de mères, de nouveau-nés et d’enfants. L’Initiative canadienne sur la santé des mères, des nouveau-nés et des enfants (SMNE) est un engagement sur 10 ans (2010-2020) de 6,5 milliards de dollars visant à améliorer la santé des femmes et des enfants dans les régions les plus vulnérables du monde. Cela représente un apport important de ressources en matière d’aide internationale couvrant de nombreuses régions géographiques et plusieurs secteurs fonctionnels.

Ce que l’évaluation a permis de mesurer

La programmation relative à l’aide internationale d’Affaires mondiales Canada liée à l’Initiative SMNE pour 2010-2011 à 2017-2018. L’évaluation conjugue une évaluation sommative de la programmation liée à l’engagement 1.0 au titre de la SMNE de 2010-2011 à 2015-2016, et une évaluation formative de la programmation liée à l’engagement 2.0 au titre de la SMNE de 2015-2016 à 2017-2018.

Période d’évaluation : 2010-2011 à 2017-2018

Total des décaissements d’aide bilatérale :

• 5,13 milliards de dollars, avec des décaissements moyens de 641 millions de dollars par année

Méthodes de collecte de données :

• entrevues avec les intervenants clés (n = 181)
• visites sur place (n = 18)
• analyse documentaire et revue de littérature
• analyse financière

Évaluation terminée : février 2019

Questions d’évaluation

Pertinence

• Dans quelle mesure les activités financées par les initiatives de la SMNE (dont la santé sexuelle et reproductive) ont-elles répondu aux besoins des pays bénéficiaires dans les pays à faible et à moyen revenu?

Efficacité

• Dans quelle mesure les activités financées par Affaires mondiales Canada au titre des initiatives de la SMNE ont-elles permis d’obtenir les résultats immédiats escomptés?
• Dans quelle mesure les activités financées par Affaires mondiales Canada au titre de l’Initiative sur la SMNE ont-elles permis d’obtenir les résultats intermédiaires prévus?
• Dans quelle mesure la programmation visant à consolider les systèmes de santé a-t-elle facilité l’obtention de meilleurs résultats dans d’autres secteurs (maladies, nutrition ainsi que santé sexuelle et reproductive)?
• Dans quels contextes les différents types de partenaires génèrent-ils les meilleurs résultats (p. ex. les partenaires canadiens, multilatéraux, bilatéraux, etc.)?

Égalité des genres

• Dans quelle mesure la programmation a-t-elle permis d’obtenir les résultats au chapitre de l’égalité des genres et du renforcement du pouvoir des femmes et des filles?

Innovation

• Des pratiques, des approches et des méthodes de travail novatrices ont-elles été intégrées à la programmation canadienne en SMNE dans les pays bénéficiaires?

Durabilité

• Quelle est la probabilité que les résultats obtenus soient durables?

Efficience

• Existe-t-il des occasions d’améliorer l’efficience de la programmation?

Ce que l’évaluation a révélé

Pertinence

• La programmation d’Affaires mondiales Canada au titre de la SMNE cadrait avec les priorités des gouvernements partenaires et les besoins locaux dans tous les pays de l’échantillon, et elle a évolué pour mieux cibler les principales lacunes cernées dans l’évaluation formative de 2015.
• La programmation en SMNE du Canada était pertinente par rapport aux objectifs internationaux en matière de SMNE et il y avait un besoin continu de soutien pour les déterminants généraux de la santé ainsi que pour les adolescents.
• Le renforcement des systèmes de santé a constitué une approche essentielle pour atteindre des résultats durables en matière de SMNE. Il serait très utile d’envisager tous les projets en SMNE sous l’angle de cette thématique centrale.

Efficacité

• Les projets de SMNE ont abouti à des résultats, et une grande partie des projets examinés ont progressé vers l’obtention de résultats immédiats et intermédiaires selon les objectifs ministériels en matière de SMNE.
• Bien qu’il soit difficile d’en attribuer la seule réussite à l’aide internationale canadienne, les projets en SMNE ont contribué à la diminution de la mortalité infantile au Bangladesh, au Mozambique, au Soudan du Sud et en Tanzanie.
• Affaires mondiales Canada n’a pas pu rendre compte des résultats globaux de l’Initiative sur la SMNE en tant que priorité thématique clé, principalement en raison d’un mauvais alignement des indicateurs de rendement à l’échelle ministérielle et des projets.
• Les difficultés liées à l’établissement de rapports sur l’efficacité ont été aggravées par un logiciel de production de rapports inadapté aux besoins, un support technique insuffisant pour le personnel, des systèmes de gestion de données nationales fragiles et un déficit d’attention accordée aux projets de gestion de données conçus pour aider Affaires mondiales Canada à établir des rapports en ce qui concerne l’incidence.
• Simultanément, les échéanciers des projets étaient souvent inadaptés à leur mise en œuvre et à l’obtention de résultats à long terme.
• Le Canada a été perçu comme un donateur digne de respect ayant contribué de façon positive au dialogue sur les politiques à l’échelle nationale et à la coordination des donateurs dans le secteur de la santé dans tous les pays de l’échantillon.

Égalité des genres

• Le Canada a été reconnu comme étant un chef de file sur le plan de la promotion de l’égalité des genres.
• Dans l’ensemble, des efforts accrus ont été déployés pour s’assurer que les activités et l’exécution des projets tiennent compte des spécificités liées au genre, et des changements positifs ont été rapportés en la matière en vue de renforcer l’égalité des genres.

Innovation

• Affaires mondiales Canada est parvenu à aider certains partenaires à s’engager dans des travaux novateurs, mais n’avait pas encore adopté une culture appuyant pleinement l’innovation dans le travail quotidien des employés.

Durabilité

• Bien qu’aucun mécanisme ne soit disponible au Ministère pour évaluer la durabilité des projets de la SMNE une fois le financement terminé, des données probantes indiquaient que certaines interventions de la SMNE auront vraisemblablement des effets durables au-delà de la durée du projet.
• Certains projets comportaient des mesures clés visant à soutenir des résultats durables, comme la promotion de l’appropriation des projets et de la participation des parties prenantes à tous les échelons, ainsi que l’intégration de facteurs intersectoriels. Toutefois, de nombreux résultats de la SMNE pourraient être menacés sans un soutien continu des donateurs, en raison de facteurs internes et externes.

Efficience

• La lenteur des processus d’approbation et de planification des projets a entraîné des retards importants dans leur mise en œuvre. Cela étant, les partenaires des projets ont apprécié les efforts de souplesse en matière de prolongations qu’a déployés Affaires mondiales Canada.
• De manière générale, les décaissements pour les projets de la SMNE ont été effectués en temps voulu. Toutefois, les décaissements tardifs de certains fonds communs de santé ont perturbé la mise en œuvre des services de santé prévus.
• L’insuffisance de ressources spécialisées à l’interne a nui au respect des délais d’exécution des programmes ainsi qu’à la capacité d’Affaires mondiales Canada à engager des discussions techniques et stratégiques.
• Le roulement fréquent du personnel d’Affaires mondiales Canada a rendu la gestion des projets de la SMNE moins efficace et constitue un risque potentiel d’atteinte à la réputation.
• Au moment de l’évaluation, plusieurs cas ont illustré la nécessité il d’améliorer la communication et de clarifier les orientations relatives aux nouvelles politiques et priorités, y compris la santé et les droits sexuels et reproductifs et la Politique d’aide internationale féministe.
• L’application rétroactive des modifications apportées aux exigences en matière de production de rapports a fait peser un fardeau inutile sur les partenaires de mise en œuvre des projets.

Sommaire des recommandations et des réponses de la direction

Recommandation 1

Pour toute programmation future en santé et en nutrition, envisager de continuer d’intégrer les besoins des adolescents.

Réponse : Affaires mondiales Canada est d’accord avec cette recommandation. Les adolescents sont confrontés à de nombreux problèmes de santé et sont souvent marginalisés par les services et les politiques de santé, tout en se heurtant à des obstacles juridiques et sociaux pour accéder aux soins. Conformément à la Politique d’aide internationale féministe, Affaires mondiales Canada s’assurera qu’une emphase plus forte soit placée sur les besoins des adolescents au sein de l’engagement sur 10 ans en santé et en droits pris par le premier ministre Trudeau, le 4 juin 2019.

Recommandation 2

Afin de faciliter l’atteinte et la durabilité des résultats, veiller à ce que la programmation en santé favorise une approche intégrée et multisectorielle qui tient compte des déterminants généraux de la santé.

Réponse : Affaires mondiales Canada est d’accord avec cette recommandation. Les Objectifs de développement durable (ODD) et la Politique d’aide internationale féministe du Canada exigent une approche intégrée et multisectorielle qui priorise les besoins généraux des femmes et des filles. Conformément à la Politique d’aide internationale féministe, Affaires mondiales Canada continuera d’adopter des approches multisectorielles dans le cadre de nouveaux projets, incluant celles qui feront partie de l’engagement sur 10 ans en santé et en droits annoncé par le premier ministre Trudeau, le 4 juin 2019.

Recommandation 3

Renforcer et moderniser les systèmes ministériels de production de rapports, y compris les logiciels et les systèmes informatiques, qui appuient toute la programmation en matière d’aide internationale, en particulier la programmation thématique comme la SMNE. De plus, il faut veiller à ce que :

• le personnel reçoive des directives de la haute direction et un soutien technique sur l’utilisation systématique d’indicateurs et d’outils d’orientation, sans compter la conformité aux exigences en matière de production de rapports.
• le séquencement des systèmes ministériels de production de rapports soit harmonisé afin d’éviter tout rajustement.

Réponse : Affaires mondiales Canada est d’accord avec cette recommandation. Affaires mondiales Canada continue d’améliorer ses orientations en matière de production de rapports et la qualité de ceux-ci tout au long de ses exercices de présentation de rapports ministériels sur la Politique d’aide internationale féministe du Canada. Les fonctions de mesure du rendement et de production de rapports au sein du Ministère sont une responsabilité partagée entre la Direction de la planification ministérielle et des rapports (SRD), la Direction générale de l’évaluation et des résultats (PRD) et la Direction générale des opérations d’aide internationale (DPD), tandis que la Direction générale de la planification de la politique de développement (PVD) est responsable du rapport en vertu de la Loi sur la responsabilité en matière d’aide au développement officielle.

Recommandation 4

Pour toute future programmation en santé, veiller à ce que les projets aient assez de temps pour être mis en œuvre et pour avoir les plus grandes chances d’atteindre les résultats escomptés à long terme en envisageant des durées de projet allant jusqu’à 10 ans, le cas échéant.

Réponse : AMC est en accord avec cette recommandation. Lors de l’évaluation des projets, Affaires mondiales Canada tient toujours compte de leur potentiel en ce qui a trait à l’atteinte de résultats durables et à long terme, comme en témoignent les documents de diligence raisonnable et d’approbation des projets. À la lumière de l’engagement du Canada sur 10 ans en santé et en droits, tel qu’annoncé par le premier ministre Trudeau le 4 juin 2019, AMC sera bien positionné pour considérer des projets d’une durée plus longue lorsque approprié. Dans tous ces projets, AMC continuera de travailler avec ses partenaires de mise en œuvre pour élaborer des projets qui ont le plus de chances d’obtenir des résultats à plus long terme.

Recommandation 5

Fournir au personnel l’accès nécessaire, et en temps opportun, à une expertise technique interne, notamment à des spécialistes de la santé et de l’égalité des genres. L’accès à des spécialistes de l’égalité des genres permettrait d’assurer que le personnel de projet bénéficie du soutien technique dont il a besoin pour répondre le mieux possible aux orientations stratégiques et aux nouvelles exigences, dont les attentes plus récentes découlant de la Politique d’aide internationale féministe.

Réponse : AMC est d’accord avec cette recommandation. Le Secteur des enjeux mondiaux et développement (MFM) a procédé à un examen de la fonction de spécialiste sur la base des conclusions de l’audit de la SMNE de 2016. En décembre 2018, la sous-ministre du développement international (DME) a approuvé 11 recommandations sur la prestation de services spécialisés. La principale recommandation visait à établir une fonction de coordination des spécialistes au sein de MFM. Ce rôle a été assumé par MFMZ, l’unité d’intelligence d’affaires récemment créée par le Secteur, qui dirigera la mise en œuvre des autres recommandations.

Pistes de réflexion en vue de la programmation future

Considérations politiques

Thème central du renforcement des systèmes de santé : étant donné que le renforcement des systèmes de santé est largement accepté comme fondement de l’obtention de résultats durables, les programmes pourraient envisager d’adopter une lentille du renforcement des systèmes de santé lorsqu’ils proposent des investissements en santé. Cela comprendrait la formation du personnel de santé de première ligne, les maladies, la nutrition, les données et d’autres thèmes. Cela contribuerait également à faire en sorte que le renforcement des systèmes de santé soit pris en considération lors de la conception de tous les projets visant à obtenir des résultats en matière de santé.

Communication en temps opportun d’orientations concernant l’évolution des priorités et des politiques du Ministère : dans la mesure où les priorités en matière d’engagement changent constamment au fil de l’évolution du contexte, Affaires mondiales Canada pourrait adopter une approche plus complète de la gestion du changement. Plus précisément, le Ministère pourrait examiner et élaborer des processus simplifiés permettant de garantir que les directives et le soutien nécessaires seront mis à la disposition du personnel dès que possible, en cas de modification des engagements. Ce type de processus pourrait accélérer la mise en œuvre de priorités et politiques ministérielles nouvelles, comme la programmation liée à la santé et aux droits sexuels et reproductifs ainsi qu’à la Politique d’aide internationale féministe.

Considérations de programmation

Approbation en temps voulu des projets et de la planification : conformément aux recommandations en matière d’efficience formulées dans les évaluations récentes, dont celles du Soudan du Sud (2017) et du Honduras (2017), ainsi que dans la recommandation de l’Audit sur l’harmonisation de l’administration des programmes de subventions et de contributions (2017), les secteurs de la programmation en SMNE pourraient travailler en vue de simplifier les processus internes pour réduire le temps nécessaire à la conclusion des accords de projet et mieux rationaliser et normaliser les exigences.

Intégration de l’apprentissage sur la durabilité aux projets : la durabilité consiste à s’assurer que les avantages d’une intervention sont susceptibles de se poursuivre après la fin du financement par les donateurs. Pour appuyer le maintien des résultats, les programmes peuvent mieux intégrer les considérations de durabilité dans la phase de planification et de conception des projets afin d’assurer la transition appropriée des ressources, des compétences et des connaissances à la fin de l’intervention. Dans le cas des projets à risque élevé ou novateurs, les programmes pourraient aussi tenter de nouvelles approches pour vérifier si les résultats sont durables après la fin du financement.

Exigences en matière de rapports : lorsque de nouveaux outils ou processus d’établissement de rapports destinés aux partenaires sont élaborés, Affaires mondiales Canada pourrait tenir compte de l’intérêt de les appliquer aux projets futurs plutôt qu’aux projets existants, afin de minimiser les perturbations et d’alléger le fardeau imposé aux partenaires.

Cartographie des initiatives : pour éclairer la conception des programmes, faciliter la coordination et éviter le double emploi, les initiatives mondiales (comme la SMNE) pourraient dresser la carte des initiatives actuelles et prévues dans les pays bénéficiaires des programmes, y compris le financement de tous les donateurs. Cela pourrait se faire à l’échelon des pays. Par exemple, KFM a travaillé avec CanSFE sur l’Explorateur de projets, qui comprend la cartographie de 134 projets en SMNE financés par Affaires mondiales Canada.

Considérations de gestion

Gestion des permutations et du roulement de personnel : les secteurs des services d’aide internationale pourraient définir des pratiques exemplaires et établir des procédures pour assurer le transfert rigoureux des connaissances au personnel entrant.

Cadre global des résultats : étant donné que les engagements prioritaires évoluent, un processus simplifié pourrait être établi pour élaborer et mettre en œuvre un cadre de résultats cohérent à l’échelle du Ministère (y compris un modèle logique de programme, un cadre de mesure du rendement avec des indicateurs internationaux alignés sur les pratiques exemplaires et des notes méthodologiques pour les partenaires). Cela devrait être réalisé en temps opportun, lorsque de nouveaux engagements sont annoncés. Le cadre de résultats devrait être en place le plus tôt possible pour éclairer les plans de programme qui répondent aux engagements prioritaires.