Évaluation formative de la contribution du Canada à l’Initiative sur la santé des mères, des nouveau-nés et des enfants (SMNE)

2010/11 – 2013/14

Décembre 2015

Remerciements

La division de l’évaluation du développement tient à remercier tous ceux et celles qui ont contribué à cette évaluation. Le personnel de la direction générale des enjeux mondiaux et du développement, des directions générales des programmes géographiques, de la direction générale des partenariats pour l’innovation dans le développement et de la direction générale de la planification ministérielle, de la finance et de la technologie de l’information d’Affaires étrangères, Commerce et Développement Canada ont fourni un appui précieux tout au long du processus. Nous tenons à remercier en particulier les personnes qui ont accueilli les membres des missions sur le terrain et facilité la collecte de données.

Nous aimerions souligner le travail de l’équipe d’experts-conseils d’hera : M. Josef Decosas et Mme Gretchen Roedde ainsi que les experts-conseils qui ont fourni un appui dans le cadre des études de cas de pays : Mme Marieke Devillé, Mme Marie Collard, M. Azam Ali, M. Abebe Alebachew et M. Javed Rahmanzai. Mme Anneke Slob et M. Leo Devillé ont assuré le contrôle interne de la qualité d’hera.

Au sein de la division de l’évaluation du développement, l’évaluation a été gérée par Mmes Pamela Nibishaka et Deborah McWhinney et supervisée par M. Andres Velez-Guerra.

David Heath
Chef de l’évaluation du développement

Liste des acronymes et des abréviations

Sommaire exécutif

Contexte et description

Le Canada a joué un rôle prépondérant dans l’établissement des fondements d’une initiative mondiale visant à améliorer la santé des femmes et des enfants dans les régions les plus vulnérables du monde. Plus particulièrement, l’Initiative sur la santé des mères, des nouveau-nés et des enfants (SMNE) a été la contribution du Canada à l’Initiative de Muskoka lancée lors du G-8 et à la Stratégie mondiale pour la santé de la femme et de l’enfant des Nations Unies. Cette Initiative a été mise en œuvre par le ministère des Affaires étrangères, du Commerce et du Développement (MAECD) de 2010/11 à 2014/15 et comprenait 1,1 milliard en nouveaux fonds (financement de l’Initiative de Muskoka) et 1,75 milliard de dollars pour le financement des programmes existants (financement de base).

Pour atteindre le résultat ultime d’améliorer les chances de survie des mères, des nouveau-nés et des enfants, l’Initiative visait le renforcement des systèmes de santé, la réduction du fardeau des maladies et l’amélioration de la nutrition. Les nouveaux fonds de l’Initiative de Muskoka étaient principalement affectés aux 10 pays ciblés affichant de hauts taux de mortalité maternelle et infantile.^{Note de bas de page 1} La sélection de ces 10 pays ciblés avait été faite par l’ancienne Agence canadienne de développement international (ACDI)^{Note de bas de page 2} en 2010 en fonction de paramètres épidémiologiques, de l’historique de la coopération canadienne dans le domaine de la santé et de l’engagement du Canada de consacrer 80 % des fonds alloués à l’Initiative sur la SMNE en Afrique.

L’Initiative sur la SMNE n’est pas un « programme », mais plutôt une initiative thématique s’accompagnant d’un cadre stratégique qui est mis en œuvre au moyen de nombreuses stratégies de mise en œuvre de programme autonomes. Contrairement à d’autres initiatives thématiques, l’Initiative comporte un modèle logique unifié, une enveloppe budgétaire définie et un cadre de mesure du rendement. Elle n’a cependant pas d’unité de gestion responsable de mettre ces instruments en application ou d’assumer la responsabilité directe du rendement du programme.

Le modèle logique de cette Initiative ne s’applique qu’à l’élément du financement de l’Initiative de Muskoka (1,1 milliard de dollars). Cependant, le suivi du rendement et de la production de rapports s’appliquent à l’ensemble des 2,85 milliards de dollars engagés (financement de base et financement de l’Initiative de Muskoka). Le modèle logique comporte trois résultats intermédiaires qui sont définis comme les orientations du programme menant à la réalisation de l’objectif général, soit d’améliorer les chances de survie des mères, des nouveau-nés et des enfants. Ces trois orientations sont : 1) le renforcement des systèmes de santé; 2) la réduction du fardeau des maladies; et 3) l’amélioration de la nutrition. Pour la mise en œuvre de l’Initiative, le MAECD a, dans une grande mesure, suivi la logique des éléments constitutifs des systèmes de santé établis par l’Organisation mondiale de la santé.

Objectifs, portée et méthodologie

Cette évaluation formative de l’Initiative sur la SMNE a été réalisée à des fins de responsabilisation et d’amélioration des programmes. Elle portait sur les décaissements effectués par toutes les directions générales de programmes du MAECD au cours des quatre premières années de l’Initiative (de l’AF 2010/11 à l’AF 2013/14), particulièrement dans les dix pays ciblés.

Au total, 73 projets réalisés dans les dix pays ciblés ont été examinés aux fins de l’évaluation. Des missions sur le terrain ont été menées au Bangladesh, au Soudan du Sud et en Tanzanie. Un échantillon supplémentaire de projets mondiaux et multilatéraux a été examiné englobant ainsi l’ensemble des partenaires de projets de la direction générale des enjeux mondiaux et du développement (MFM). L’équipe d’évaluation a réalisé 76 entrevues individuelles ou de groupe et a recueilli les réactions des parties prenantes de la société civile canadienne dans le cadre d’un atelier d’évaluation. Des études de cas ont été préparées pour chacun des 10 pays ciblés.

Résumé des principales constatations

Pertinence

L’Initiative sur la SMNE est alignée aux engagements pris dans le cadre du G-8 et aux principes de l’efficacité du développement et elle contribue à l’atteinte du 4e et du 5e Objectifs du Millénaire pour le développement (OMD) visant la santé des mères et des enfants dans les pays à faible revenu et à revenu intermédiaire. Le résultat ultime de l’Initiative est défini comme « l’amélioration des chances de survie des mères, des nouveau-nés et des enfants de moins de cinq ans dans les pays financés dans le cadre de l’Initiative de Muskoka ». Ceci est parfaitement conforme aux objectifs mondiaux en matière de SMNE.

La prédominance du renforcement des systèmes de santé dans le positionnement stratégique de l’Initiative est aligné entièrement au principe de l’Initiative du G-8 de Muskoka de « soutenir les politiques et plans nationaux des pays en matière de santé.^{Note de bas de page 3} » Cela a contribué à axer les projets financés dans le cadre de l’Initiative à s’attaquer aux goulots d’étranglement importants dans la prestation des services de santé maternelle et aux enfants, notamment les pratiques inefficaces en matière de ressources humaines, d’infrastructure et de gestion.

Cependant, les trois orientations que comporte la stratégie s’appliquant au volet de l’Initiative sur la SMNE de l’Initiative de Muskoka ne fournissent pas une image transparente au sujet de ce qui est financé ni ne présentent une structure logique sur laquelle fonder un cadre de mesure de rendement. Autrement dit, les résultats des activités visant à renforcer les éléments constitutifs des systèmes de santé sont répartis entre les trois orientations de programmation. Cette distinction a eu pour effet de diminuer la capacité du modèle logique de fournir une orientation stratégique pour la mise en œuvre des programmes et d’affaiblir le lien entre les objectifs et les indicateurs de suivi du rendement.

Étant donné l’emphase sur le renforcement de l’offre de services de santé, les enjeux de la recherche de soins au moment opportun et de l’accès aux services pour les femmes enceintes (la demande) reçoivent relativement moins d’attention, bien que l’on sache qu’ils s’agissent de facteurs contribuant à la mortalité maternelle. De plus, les initiatives dont le but est de s’attaquer aux causes fondamentales du fort taux de mortalité maternelle et infantile à l’échelle de la collectivité telles que la grossesse à l’adolescence, la violence faite aux femmes, le manque de pouvoir des femmes dans la prise des décisions du ménage et les besoins non comblés en matière de planification familiale n’occupent pas une place très importante dans le modèle logique et sont relativement sous-représentées parmi les programmes mis en œuvre.

La programmation en SMNE de la direction générale des partenariats pour l’innovation dans le développement (KFM) s’alignait bien avec la stratégie de l’Initiative. KFM a inclus des objectifs pour la collectivité et le volet « demande » dans sa propre stratégie en SMNE pour chaque résultat intermédiaire. Cela se reflète dans les projets mis en œuvre dans le cadre du Programme de partenariat de l’Initiative de Muskoka (financement de l’Initiative de Muskoka).

La programmation par MFM était axée sur la nutrition et la santé infantile. Malgré le fait que peu d’attention y soit prêtée, l’emphase sur la santé maternelle a été renforcée dans les projets financés dans le cadre de l’Initiative de Muskoka comparativement aux projets ayant bénéficié du financement de base.

Efficacité

En se basant sur les données probantes des projets échantillonnés, il existe des éléments de preuve indiquant des progrès vers l’atteinte des résultats escomptés. Plus précisément, la plupart des projets ont réalisé leurs objectifs pour les extrants (par exemple, le nombre de personnes formées ou le nombre d’enfants vaccinés) et pour les résultats immédiats (comme la couverture de personnel qualifié à l’accouchement). Cependant, l’information sur les résultats de plus haut niveau de l’Initiative sur la SMNE n’a pu être obtenue que par des prévisions et des modèles mathématiques. L’information de haut niveau (c.-à-d., les onze indicateurs de l’ONU) sur la mortalité maternelle et infantile est recueillie au moyen d’enquêtes sur la population, lesquelles sont menées tous les trois à six ans par les gouvernements nationaux. L’information actualisée sur les résultats de haut niveau n’était pas disponibles au moment de l’évaluation dans la majorité des pays ciblés.

L’emphase du financement de l’Initiative de Muskoka sur les 10 pays ciblés a contribué à renforcer la participation canadienne aux politiques dans le secteur de la santé et au dialogue de coordination avec les partenaires. Cela a été utilisé effectivement afin d’appuyer les thèmes prioritaires canadiens en développement que sont l’égalité des sexes, la transparence et la reddition de comptes.

La gestion thématique de l’Initiative sur la SMNE au niveau corporatif était excellente au cours de la première année de l’Initiative, mais elle s’est considérablement affaiblie au moment de l’évaluation. Les structures centrales de gouvernance et de gestion prévues ou préexistantes pour la SMNE ne pouvaient plus être identifiées au moment de l’évaluation.

Les projets en SMNE à l’échelle des pays étaient axés sur les priorités pertinentes adaptées au contexte local. Cette approche, de même que le volume de fonds disponibles, a également permis de déterminer la combinaison des mécanismes d’exécution des projets. Les programmes-pays dotés de ressources suffisantes ont réussi à bénéficier d’un appui équilibré en collaborant avec le gouvernement, avec les agences de mise en œuvre multilatérales et avec les organisations non-gouvernementales (ONG).

Efficience

Même si le MAECD était en bonne voie de réaliser ou même de surpasser les engagements financiers canadiens pris à l’occasion du Sommet de Muskoka, le double système de comptabilité de décaissements pour les financements de base et de l’Initiative de Muskoka a créé des estimations inexactes sur les dépenses engagées en SMNE.

L’Initiative sur la SMNE a appuyé des interventions à fort impact en coût-efficacité visant à améliorer la santé des mères et des enfants grâce au renforcement des systèmes de santé. Les interventions à fort impact en vue de prévenir la mortalité maternelle et infantile, par contre, ont reçu moins de soutien. Il s’agit, par exemple, de projets destinés à réduire les grossesses chez les adolescentes et à répondre aux besoins non comblés en matière de planification familiale.

Enjeux transversaux

Les analyses en égalité entre les sexes et les stratégies en matière d’égalité entre les sexes étaient particulièrement solides dans les projets mis en œuvre par des ONG et plus faibles dans les projets financés par des contributions mises en commun dans le secteur de la santé. Les représentants du MAECD au sein des forums et des comités politiques nationaux et internationaux ont systématique (et souvent avec succès) porté une attention toute particulière sur l’inégalité entre les sexes, comme un facteur contribuant au mauvais état de santé des mères et des enfants.

En ce qui concerne la gouvernance, la mise en œuvre de l’Initiative sur la SMNE a renforcé l’engagement du MAECD dans les initiatives visant à améliorer la gouvernance du secteur de la santé dans les pays ciblés et, dans une certaine mesure, au niveau des organisations multilatérales, en intensifiant la coopération entre les agences des Nations Unies sous l’égide du Groupe H4+^{Note de bas de page 4}.

Pour ce qui est de l’environnement, le nombre limité de projets de construction appuyés dans le cadre de l’Initiative sur la SMNE incluait une évaluation environnementale, comme l’exigent les lois canadiennes. Dans la majorité des projets en service de la santé, l’élimination des déchets médicaux était respectée. Certaines ONG œuvrant dans des régions rurales asséchées ont indiqué que les installations d’approvisionnement en eau et d’assainissement des centres de santé devraient recevoir une plus grande attention en vue d’améliorer les services de SMNE.

Durabilité

L’approche en durabilité de l’Initiative sur la SMNE dépendait largement du soutien au renforcement des systèmes de santé et de l’alignement des projets avec les priorités et les stratégies nationales. Dans bien des contextes, cette approche s’est avérée efficace pour assurer la durabilité, mais elle comportait aussi des risques contextuels, tels que l’imprévisibilité du financement par les gouvernements nationaux bénéficiaires. Ces risques pourraient être atténués par une participation à long terme dans la collaboration dans le secteur de la santé, une étroite collaboration avec les partenaires internationaux et une participation au dialogue sur la santé, tant à l’échelle nationale qu’infranationale, afin d’assurer la prise en charge locale des interventions. En même temps, plusieurs projets du Programme de partenariat de l’Initiative de Muskoka mis sur pied par KFM se sont heurtés à des enjeux de durabilité en raison du court délai d’exécution.

Gestion du rendement

Le MAECD a fait le suivi du rendement de l’Initiative sur la SMNE, malgré les nombreuses lacunes systémiques attribuables au fait que le système de suivi du rendement prévu n’a pas été mis en œuvre. Les données de rendement des projets liés à la SMNE devaient être recueillies chaque année par un outil de production des rapports de gestion sur le programme destiné à compiler les données de rendement sur des projets et à les regrouper aux fins d’examen par l’administration centrale (AC). Toutefois, l’outil n’a jamais été utilisé de façon systématique au sein du Ministère. Il a plutôt généré des coûts qui ont été en partie assumés par les partenaires de projet et les fournisseurs de service. Ceci a aussi nui à la capacité du MAECD de donner suite à son engagement de réduire le fardeau des rapports qui pèse sur les pays en voie de développement.

Conclusions

L’Initiative sur la SMNE du MAECD a contribué efficacement à la Stratégie mondiale pour la santé de la femme et de l’enfant des Nations Unies et est sur le point de réaliser les engagements pris par le gouvernement du Canada à l’égard de l’Initiative de Muskoka.

1. L’Initiative sur la SMNE a soutenu efficacement les efforts visant à atteindre les 4e et 5e OMD dans dix pays ciblés affichant de hauts taux de mortalité maternelle et infantile.
2. La stratégie sur la SMNE du Ministère était axée sur l’offre des interventions en santé, à savoir l’amélioration de la disponibilité, de la qualité et de l’équité des services de santé.
3. Les programmes dont le but est de s’attaquer aux causes fondamentales du fort taux de mortalité maternelle et infantile à l’échelle de la collectivité étaient sous-représentés dans le cadre de l’Initiative sur la SMNE.
4. L’Initiative sur la SMNE a regroupé des interventions générales afin de renforcer les systèmes de santé (notamment l’appui des ministères de la santé grâce aux fonds mis en commun de soutien au secteur de la santé) et des interventions ciblées visant à améliorer la prestation des services de soins de santé maternelle (telles que des bonifications salariales pour les sages-femmes). Le cumul des décaissements destinés au renforcement des systèmes et à la prestation des services diminuent la clarté du soutien canadien à la SMNE.
5. Le Ministère est en bonne voie d’atteindre et même de dépasser les engagements canadiens au Sommet de Muskoka en matière de ressources. Ceci a été facilité par la conception institutionnelle décentralisée de l’Initiative sur la SMNE, laquelle exige un solide leadership technique et de coordination au niveau central (administration centrale). Ce leadership était présent au début de l’Initiative, mais s’est affaibli avec le temps.
6. Les thèmes transversaux, comme l’égalité entre les sexes, la gouvernance et l’environnement, ont été traités adéquatement.
7. La stratégie de durabilité des projets liés à la SMNE dépendait largement de l’appui au renforcement des systèmes de santé et de l’alignement avec les priorités et les stratégies nationales. Il s’agit d’une démarche efficace pour favoriser la durabilité, mais qui comporte aussi des risques contextuels importants.
8. Le MAECD a fait un suivi du rendement global de l’Initiative sur la SMNE, malgré d’importantes inefficacités systémiques attribuable à l’absence du système de suivi du rendement prévu, qui n’a pas été mis en œuvre.

Recommandations

Les recommandations suivantes reposent sur le rôle de leadership du Canada ainsi que sur son importante contribution à l’Initiative de Muskoka du G-8 et à la Stratégie mondiale pour la santé de la femme et de l’enfant des Nations Unies.

1. Le Ministère devrait envisager d’équilibrer son soutien à des interventions visant à la fois l’offre et la demande de services de SMNE.
2. Le Ministère devrait élargir la portée de la programmation dans le cadre de l’Initiative sur la SMNE en accordant une plus grande importance aux facteurs contribuant au taux élevé de mortalité chez les mères, les nouveau-nés et les enfants, comme la santé génésique.
3. Le Ministère devrait renforcer sa capacité à fournir un leadership et une coordination horizontaux ainsi que des conseils techniques sur la santé à toutes les directions générales de programmation. Ceci devrait être fourni par un groupe expressément chargé de la SMNE à l’administration centrale du MAECD.
4. Le Ministère devrait continuer d’harmoniser les rapports financiers dans le cadre de l’Initiative.
5. Le Ministère devrait continuer d’accroître la durabilité de l’Initiative en maintenant un horizon stratégique à long terme et en travaillant étroitement avec des partenaires internationaux et des gouvernements nationaux dans les pays ciblés à l’élaboration, à la mise en œuvre et au maintien d’interventions efficaces.
6. Le Ministère devrait mieux aligner la stratégie de gestion du rendement pour l’Initiative sur la SMNE avec les éléments constitutifs du cadre s’appliquant aux systèmes de santé conçu par l’Organisation mondiale de la santé.
7. Le Ministère devrait établir et mettre en place un système rigoureux de suivi du rendement et de production de rapports sur la SMNE.

Réponse de la direction

Préambules aux recommandations

Les recommandations suivantes de l'évaluation formative de l'Initiative MNCH couvrant l’année fiscale 2010/11 à l’année fiscale 2013/14 reposent sur le rôle de leadership du Canada ainsi que sur son importante contribution à l’Initiative de Muskoka du G-8 et à la Stratégie mondiale pour la santé de la femme et de l’enfant des Nations Unies. Le rôle clé du Canada dans l’établissement des fondements d’une initiative mondiale visant à améliorer la santé des femmes et des enfants dans les régions les plus vulnérables du monde est largement documenté et reconnu. Plus précisément, le Canada a énormément contribué à instaurer des cadres qui favorisent la reddition de comptes, le pragmatisme et l’emphase entre les partenaires et au sein de son programme de développement international pour la SMNE.

Introduction à la réponse de la direction

Le MAECD accueille favorablement cette évaluation, pour laquelle un rapport initial a été complété en Octobre 2015, et appuie ses constatations et ses recommandations.

La présente évaluation fournit des lignes directrices pertinentes à l’intention du MAECD, dans la foulée de l’engagement de 3,5 milliards de dollars pris par le gouvernement du Canada à l’occasion du Sommet « Sauvons chaque femme, chaque enfant : un objectif à notre portée » qui a eu lieu en mai 2014, et continue de mener les efforts internationaux en vue de réduire les décès évitables de mères, de nouveau-nés et d’enfants. Les constatations et les recommandations de cette évaluation guideront le Ministère dans ses efforts visant à accélérer les progrès vers la réalisation des objectifs que s’est fixés le Canada et de maximiser les impacts et la durabilité de nos futurs investissements dans la SMNE.

Le MAECD a identifié et a commencé à mettre à jour un certain nombre de mesures et d’engagements pour donner suite aux recommandations de l’évaluation. Ce qui inclut l’élaboration d’une nouvelle stratégie de gestion du rendement, la mise en œuvre complète du marqueur SGMNI du CAD de l’OCDE^{Note de bas de page 5} et la création d’un comité de SMA afin d’exercer un plus grand leadership et d’améliorer la reddition de comptes.

1. Introduction

Au Sommet du G-8 de 2010 à Muskoka, le gouvernement du Canada s’est engagé à dépenser 2,85 milliards de dollars sur cinq ans afin de contribuer à la réalisation des Objectifs du Millénaire pour le développement (OMD) 4 et 5 visant la santé des mères et des enfants dans les pays à faibles revenus et à revenus intermédiaires. L’engagement comprenait 1,75 milliard de dollars pour le financement des programmes permanents (le financement de base) et 1,1 milliard de dollars en dépenses additionnelles (financement de l’Initiative de Muskoka). Ensemble, les projets financés au moyen de ces deux enveloppes représentent la contribution du Canada à l’Initiative de Muskoka sur la santé des mères, des nouveau-nés et des enfants (SMNE). Dans le présent rapport, ces projets sont désignés par l’« Initiative sur la SMNE » ou l’« Initiative » (figure 1).

Figure 1 : Engagements financiers relatifs à l’Initiative sur la SMNE

1.1 But de l’évaluation

Conformément à la Loi fédérale sur la responsabilité et à la Politique sur l’évaluation du Conseil du Trésor, l’évaluation formative de l’Initiative sur la SMNE a porté sur la reddition de comptes et l’amélioration des programmes, plus précisément aux fins suivantes :

• examiner la pertinence et le rendement de la contribution du Canada à l’Initiative sur la SMNE, afin de combler les exigences en matière de rapport et de responsabilisation et d’améliorer la mise en œuvre de l’initiative;
• fournir à Affaires étrangères, Commerce et Développement Canada (MAECD) les renseignements pertinents pour la programmation future en développement international en ce qui a trait à la SMNE;
• évaluer les progrès accomplis à ce jour, apprendre des pratiques exemplaires et des secteurs nécessitant des améliorations et ajuster la programmation.

1.2 Objectifs et portée de l’évaluation

L’évaluation a couvert les quatre premières années de l’Initiative échelonnée sur cinq ans (de l’année financière 2010/11 à l’année financière 2013/14) et a porté sur le financement de base et sur le financement de l’Initiative de Muskoka. En particulier, l’évaluation a porté sur :

• la politique du MAECD et ses décisions stratégiques sur la santé des mères et des enfants;
• les changements survenus dans la coopération canadienne en matière de développement au sein des 10 pays ciblés en matière de SMNE, dans le sillage de la mise en œuvre de l’Initiative, y compris la participation canadienne au dialogue sur les politiques pour le secteur de la santé;
• les progrès réalisés par rapport aux 4e et 5e OMD dans les 10 pays ciblés dans le cadre de la SMNE^{Note de bas de page 8} et, dans la mesure du possible, une évaluation de la contribution de la coopération canadienne au développement envers ces progrès;
• le soutien financier fourni par la direction générale des enjeux mondiaux et du développement (MFM) du MAECD pour un échantillon de programmes et d’initiatives de portée mondiale; et
• les activités et le rôle des organisations de la société civile canadienne concernant la mise en œuvre de l’Initiative par l’intermédiaire du Programme de partenariat sur l’Initiative de Muskoka (PPIM) de la direction générale des partenariats pour l’innovation dans le développement (KFM).

L’évaluation a été orientée par le Comité consultatif sur l’évaluation formative de la contribution du Canada à l’Initiative sur la SMNE.

1.3 Approche, méthodologie et méthodes de collecte de données de l’évaluation

L’évaluation a couvert les décaissements versés par les directions générales des programmes géographiques pour l’Afrique, l’Asie et les Amériques, la direction générale des enjeux mondiaux et du développement et la direction générale des partenariats pour l’innovation dans le développement tels qu’ils ont été consignés dans la base de données du MAECD sur la SMNE en date du 3 novembre 2014. La collecte et l’analyse de données ont porté principalement, mais non exclusivement, sur les décaissements de la coopération au sein des 10 pays ciblés par l’Initiative sur la SMNE.

Pour chacun des programmes relatifs aux 10 pays ciblés, une stratégie d’échantillonnage raisonné a été utilisée pour choisir les projets ayant fait l’objet de décaissements importants pendant la période d’évaluation représentant divers types d’activités, de modalités de financement et de mécanismes de financement. Un échantillon initial a fait l’objet de discussions avec les programmes-pays du MAECD et a été modifié en fonction des suggestions.

L’équipe d’évaluation a passé en revue 73 projets dans les 10 pays ciblés par la SMNE, comme l’indique le tableau 1.

Source du cadre d’échantillonnage : Base de données sur la SMNE du MAECD, version du 3 novembre 2014
* n’inclut que les projets avec des décaissements dans un ou plusieurs des 10 pays ciblés pendant la période d’évaluation.

Pour chacun des projets, la documentation a été obtenue des agents responsables du MAECD, et de l’information additionnelle a été recueillie au moyen de recherches sur Internet, d’entrevues et de visites de projets.

L’équipe principale d’évaluation a mené des missions dans trois pays afin de visiter des projets et de réaliser des entrevues (Bangladesh, Soudan du Sud et Tanzanie). Deux consultants locaux se sont greffés à l’équipe et ont réalisé des entrevues en Afghanistan et en Éthiopie. Pour les cinq pays ciblés restants, des études de cas ont été préparées sur la base d’examens de documents et d’entrevues téléphoniques.

Un échantillon de projets mondiaux et multilatéraux, en plus de ceux examinés dans le cadre des études de cas des pays ciblés, a été choisi par échantillonnage raisonné, et ce, en consultation avec la direction générale de MFM et le Comité consultatif sur l’évaluation formative de la SMNE couvrant ainsi cinq secteurs de programmes thématiques et un éventail complet de partenaires de mise en œuvre. Notamment, des agences de l’ONU (le FNUAP et l’UNICEF), d’ONG internationales (Initiative pour les micronutriments), d’initiatives en santé mondiale (GAVI) et d’établissements d’enseignement (Université Johns Hopkins). Les décaissements de la direction générale de MFM, dans le cadre de l’Initiative sur la SMNE, provenaient essentiellement (81%) du financement de base, lesquels sont reflétés dans l’échantillon.

L’équipe d’évaluation a mené 76 entrevues individuelles ou de groupe à l’aide de quatre scénarios d’entrevue distincts pour les divers types de parties prenantes. Des entrevues ont été transcrites dans l’une des quatre matrices correspondant aux quatre guides d’entrevue et analysées afin de rechercher des thèmes communs.

Des réactions des parties prenantes provenant de la société civile canadienne ont aussi été recueillies dans le cadre d’un atelier d’évaluation qui a eu lieu le 2 mars 2015, avec l’aide logistique de Plan International Canada et du Réseau canadien sur la SMNE. Cet atelier a réuni 19 membres du personnel chargé des programmes et du personnel technique de 18 organisations de la société civile canadienne pour un examen et une évaluation participatifs de la stratégie d’intervention mise en œuvre.

Des études de cas ont été préparées pour chacun des programmes des 10 pays ciblés et ont été examinées par les bureaux géographiques à l’administration centrale du MAECD ou par les équipes décentralisées du MAECD.

1.4 Limites de l’évaluation

L’examen des projets échantillonnés s’est principalement fondé sur les documents fournis par le MAECD. Dans certains cas, de la documentation additionnelle a été obtenue auprès des partenaires de mise en œuvre et sur des sites Internet. Des entrevues et des visites sur place ont été réalisées pour un nombre restreint de projets. Ces sources de données n’étaient pas suffisantes pour une évaluation approfondie des projets échantillonnés.

Les examens des projets se concentraient principalement à évaluer la pertinence et l’efficacité des projets, dans la plupart des cas, à l’aide d’information fournie par les intéressés. Les données probantes sur l’économie et l’efficience n’ont pu seulement être obtenues que pour certains projets. Obtenir cette information aurait exigé une évaluation nettement plus approfondie de chaque projet, ce qui dépassait la portée de cette évaluation. Un nombre restreint de rapports d’évaluation de projets ou de programmes-pays était accessible. Cependant, certaines de ces évaluations n’étaient pas terminées ou les rapports préparés n’avaient pas encore été approuvés.

Les missions qui avaient été planifiées au Mali et au Nigéria ont dues être annulées en raison d’enjeux de sécurité. Une mission en Tanzanie a été ajoutée afin de compenser. Des préoccupations en matière de sécurité au cours des missions au Bangladesh et au Soudan du Sud ont limité les déplacements à l’intérieur de ces pays et ont empêché plusieurs visites de projets qui étaient prévues.

2. Contexte et description de l’Initiative sur la SMNE

2.1 Contexte

En juin 2010, les dirigeants du G-8 lançaient l’Initiative de Muskoka s’engageant ainsi à consacrer 5 milliards de dollars américains en nouveaux fonds de développement sur cinq ans à la santé maternelle et infantile dans les pays à faibles revenus et à revenus intermédiaires. Le Canada s’est engagé à verser 1,1 milliard en nouveaux fonds de développement international, ce qui s’ajoute au montant estimatif de 1,75 milliard de dollars en financement de base des programmes existants visant la santé maternelle et infantile.

Trois mois plus tard, au Sommet de l’ONU sur les objectifs pour le développement qui s’est tenu en septembre 2010, le secrétaire général des Nations Unies lançait la Stratégie mondiale pour la santé de la femme et de l’enfant, qui avait pour effet d’intégrer l’Initiative de Muskoka du G-8 dans un engagement mondial approuvé par l’Assemblée générale de l’ONU. Une Commission d’information et de responsabilisation des Nations Unies a été constituée, coprésidée par le premier ministre du Canada et le président de la Tanzanie, afin de préparer des recommandations visant un cadre de responsabilisation mondial.

L’ancienne ACDI a participé activement à la définition du contenu de l’Initiative de Muskoka du G-8 et du cadre de responsabilisation de la Stratégie mondiale, travaillant de concert avec le Cabinet du premier ministre, un groupe informel formé d’experts de la société civile canadienne et de défenseurs du développement international et de la santé maternelle et infantile, ainsi que d’agences techniques mondiales.

Au cours des consultations techniques qui ont mené au Sommet de Muskoka, un cadre a été établi favorisant le recours aux structures et mécanismes existants de coopération au développement axé sur des objectifs communs et des principes d’efficacité du développement à l’appui de plans et de systèmes nationaux. Ce système recommandait un accent sur le renforcement des systèmes de santé de manière à fournir des services intégrés et complets dans les pays où les besoins sont les plus criants, en particulier pour les soins prénataux, les soins post-partum, la planification familiale incluant la contraception, la santé génésique, le traitement et la prévention des maladies, la prévention de la transmission du VIH de la mère à l’enfant, l’immunisation, la nutrition et les autres services qui contribuent à l’amélioration de la santé des femmes et des enfants, notamment l’accès à de l’eau potable et à des services d’assainissement et l’égalité entre les sexes.

Après l’annonce par le premier ministre de la contribution du Canada à l’Initiative de Muskoka, l’ancienne ACDI a établi un cadre visant la programmation et la responsabilisation de l’Initiative sur la SMNE. L’enveloppe des nouveaux fonds (1,1 milliard de dollars) a été approuvée par le Conseil du Trésor en septembre 2010. Cette approbation était conditionnelle au développement d’une stratégie de gestion du rendement détaillée, laquelle, étant donné l’échéancier très serré, n’avait pas été incluse dans la soumission. La stratégie de gestion du rendement, y compris le modèle logique, a été approuvée par le Conseil du Trésor en août 2011, trois mois après le début de la deuxième année de l’Initiative.^{Note de bas de page 9}

Le profil et le modèle logique de l’Initiative sur la SMNE conçus par l’ancienne ACDI correspondaient étroitement aux principes et aux directives techniques de l’Initiative de Muskoka du G-8. L’application de l’Initiative sur la SMNE s’est faite au moyen de mécanismes existants de programme de développement travaillant avec une stratégie thématique commune, mais sans une stratégie opérationnelle unifiée. Les nouveaux fonds étaient principalement affectés à la programmation dans les 10 pays ciblés affichant de hauts taux de mortalité maternelle et infantile. Le but général visant la « survie accrue des mères, des nouveau-nés et des enfants de moins de cinq ans dans les pays financés dans le cadre de l’Initiative de Muskoka » devait être atteint grâce aux trois orientations stratégiques englobant toutes les interventions à impact élevé relevées par le G-8 L’orientation centrale de réaliser ce but était le renforcement des systèmes de santé. Les deux autres orientations étaient de réduire le fardeau des maladies et d’améliorer la nutrition.

La stratégie de gestion du rendement de l’Initiative sur la SMNE a été développée en même temps que le cadre de responsabilisation de la Stratégie mondiale pour la santé de la femme et de l’enfant, sous la direction de la Commission d’information et de responsabilisation en matière de santé de la femme et de l’enfant, qui avait identifié onze indicateurs de rendement à suivre pour les programmes à l’échelle mondiale et, en particulier, dans les 74 pays affichant des taux élevés de mortalité maternelle et infantile. Les onze indicateurs de l’ONU ont été adoptés pour le cadre de mesure du rendement de l’Initiative sur la SMNE moyennant l’élargissement de la portée des indicateurs visant les résultats politiques du modèle logique.

Afin de garantir la responsabilisation en matière de ressources pour appuyer la stratégie de l’ONU, la Commission a recommandé que l’OCDE apporte des changements à son système de suivi des décaissements destinés à l’aide au développement en adoptant un marqueur pour la Santé génésique, maternelle, néonatale et infantile (SGMNI) dans son Système de notification des pays créanciers (SNPC). Les procédures relatives au marqueur SGMNI ont été émises par le Comité d’aide au développement (CAD) de l’OCDE en février 2014, mais n’ont pas encore été mises en œuvre par les partenaires du CAD.^{Note de bas de page 10} Dans l’intervalle, un groupe de travail du G-8 a créé un système de pondération à appliquer aux 18 codes sectoriels du CAD afin d’estimer les dépenses de base en matière de SMNE. Avec ce système, les décaissements des projets imputés à certains codes du CAD étaient considéré comme contribuant à 100 % à la SMNE, alors que d’autres s’attribuaient 40 % ou moins.

Dans le cadre de la stratégie de gestion du rendement de l’Initiative sur la SMNE, le MAECD a utilisé une méthodologie à deux volets. Les décaissements destinés aux projets financés dans le cadre de l’Initiative de Muskoka devaient être imputés à 100 % à l’Initiative sur la SMNE, alors que la contribution aux projets relevant du financement de base était estimée au moyen de la formule de pondération du G-8. Selon cette méthodologie, les décaissements totaux du MAECD s’élevaient, à la fin de l’année financière 2013/14, à 2,456 milliards de dollars ou 89,57 % de l’engagement visant le financement de base et le financement de l’Initiative de Muskoka.

Le MAECD est responsable pour la programmation de la totalité des 1,1 milliard de dollars engagés pour l’Initiative de Muskoka ainsi que de la programmation du 1,64 des 1,75 milliard de dollars représentant le financement de base. Le restant de l’engagement du financement de base de 110 millions de dollars est programmé à travers le ministère des Finances et d’autres mécanismes gouvernementaux. Les décaissements par direction générale sont présentés au tableau 2.

Source : Base de données sur la SMNE du MAECD, version du 3 novembre 2014

2.2 Profil de la programmation

2.2.1 Coopération du MAECD avec les pays ciblés

La coopération canadienne au développement avec 10 pays ciblés était au cœur de la mise en œuvre par le MAECD de l’Initiative sur la SMNE, et l’aspect central de cette évaluation. Elle représentait 42 % des décaissements totaux et 70 % des décaissements des fonds destinés à l’Initiative de Muskoka, à la fin de la quatrième année. La sélection des pays s’est appuyée sur des paramètres épidémiologiques ainsi que sur l’histoire du Canada en matière de coopération dans le domaine de la santé et sur l’engagement du Canada à consacrer 80 % des fonds destinés à l’Initiative sur la SMNE en Afrique.

La coopération canadienne au développement avec les 10 pays ciblés ne se limitait pas aux mécanismes de programmes bilatéraux du MAECD. Environ le tiers de tous les fonds destinés à la SMNE ont été déboursés par le MAECD pour la programmation dans ces pays pendant la période d’évaluation et ont été dépensés par la direction générale des enjeux mondiaux et du développement (MFM) et par la direction générale des partenariats pour l’innovation dans le développement (KFM). Les décaissements dans chacun des pays ciblés à la fin de l’année financière 2013/14 pour les fonds de base et pour les fonds destinés aux projets de l’Initiative de Muskoka sont présentés au tableau 3.

Source : Base de données sur la SMNE du MAECD, version du 3 novembre 2014

Le tableau montre qu’au cours des quatre années allant de 2010/11 à 2013/14, les engagements de nouveaux fonds annoncés au Sommet de Muskoka ont ajouté un 156 % additionnel aux décaissements liés aux programmes et engagements de base. Ces augmentations n’ont pas été uniformes. Elles s’étendaient de 51 % de plus que le financement de base au Bangladesh à 250 % au Mozambique.^{Note de bas de page 11} Dans l’ensemble, 80,5 % des fonds destinés à l’Initiative de Muskoka ont été dépensés dans les sept pays africains ciblés. L’effet du financement sur la coopération avec les pays a varié d’un pays à l’autre.

2.2.2 Coopération avec des partenaires mondiaux

Les décaissements de la direction générale des enjeux mondiaux et du développement (MFM) concernant l’Initiative sur la SMNE au cours des quatre premières années s’élèvent à 1 376,6 millions de dollars, ce qui correspond à 56 % des dépenses totales que le MAECD a consacré à la SMNE. La plus grande partie de ce montant, soit environ 81 % (1 118 millions de dollars), a été consacrée à des programmes et à des partenariats établis, ce qui fait que ce montant a été consigné au titre du financement de base (voir le tableau 2). Afin de pouvoir examiner l’impact de l’Initiative sur la SMNE sur le portefeuille de MFM, la méthodologie du G-8 a été utilisée pour tous les projets. Cela abaisse le montant imputé pour les décaissements de l’Initiative de Muskoka de 95 millions de dollars, sans beaucoup d’effet sur les tendances illustrées.

Figure 2 : Décaissements de MFM relatifs à la SMNE selon la méthode d’imputation du G-8 (en millions $)

• Version texte

  	Total des décaissements	Décaissements pour la SMNE
  AF 09/10	1 608	226 (14 %)
  AF 10/11	1 463	275 (19 %)
  AF 11/12	2 081	377 (18 %)
  AF 12/13	1 795	310 (17 %)
  AF 13/14	1 758	319 (18 %)

Source : Ensemble de données historiques du MAECD sur http://www.international.gc.ca/ (accès le 14/06/2015)

Les décaissements totaux de la direction générale des enjeux mondiaux et du développement du MAECD ont varié entre 1,5 et 2,0 milliards de dollars au cours des quatre années de la période d’évaluation et ont affiché une légère tendance à la hausse à compter de l’année financière de référence 2009/10, soit l’année précédant l’Initiative de Muskoka. Les dépenses relatives à la SMNE sur les quatre années qu’a duré l’Initiative de la SMNE ont été, en moyenne, de 317 millions de dollars par année, ce qui correspond à une augmentation d’environ 40 % par rapport aux dépenses de l’année financière de référence 2009/10.

2.2.3 Participation de la société civile canadienne

Les organisations de la société civile canadienne ont participé activement à la conception de l’Initiative sur la SMNE en offrant leur expertise technique et en défendant des intérêts pendant la préparation du Sommet du G-8 à Muskoka. En novembre 2010, quatre mois après le Sommet, le ministre de la Coopération internationale a invité des spécialistes canadiens réputés du domaine de la santé et des représentants d’organisations de développement de la société civile à une table ronde. Cette réunion a donné deux grands résultats :^{Note de bas de page 12}

• l’annonce du Programme de partenariat pour l’Initiative de Muskoka (PPIM) s’accompagnant d’une enveloppe initiale de subventions de 75 millions de dollars à octroyer au moyen d’appels de propositions aux organisations canadiennes pour des projets en SMNE dans 31 pays à faibles revenus admissibles, principalement en Afrique;^{Note de bas de page 13}
• l’amorce du processus ayant mené à la création du Réseau canadien sur la SMNE.

Les 28 propositions choisies dans le cadre du PPIM ont été annoncées en septembre 2011. En 2012, des fonds additionnels été engagés pour le soutien du Réseau canadien sur la SMNE. Plusieurs des ententes conclues avec des organisations de la société civile canadienne ont servi à financer des initiatives multi-pays couvrant un total de 51 projets. Les fonds affectés aux projets allaient de 0,5 million à 18 millions de dollars, pour une enveloppe totale de 77 millions de dollars. Après l’annonce des projets en septembre 2011, la direction générale des partenariats pour l’innovation dans le développement (KFM) a conçu un modèle logique pour le programme étroitement lié à celui de l’Initiative sur la SMNE.^{Note de bas de page 14}

Le Réseau canadien sur la SMNE est issu des initiatives de défense d’un groupe informel d’OSC canadiennes vouées au développement et de professionnels de la santé pendant les préparatifs du Sommet du G-8 à Muskoka ainsi que de réunions de consultation subséquentes dont le ministre de la Coopération internationale a été l’hôte. Le Réseau a rapidement pris de l’expansion au-delà du groupe initial d’OSC de mise en œuvre et s’est imposé pour devenir un groupe de défense exigeant des efforts soutenus pour la santé maternelle et infantile dans les politiques canadiennes en développement ainsi qu’un portail permettant aux Canadiens d’obtenir de l’information sur les enjeux importants en SMNE. Le tableau 4 présente les décaissements de KFM aux organisations canadiennes pour la programmation en SMNE relevant du financement de l’Initiative de Muskoka et du financement de base, à la fin de l’année financière 2013/14.

* n’inclut pas les décaissements aux ONG internationales qui ne sont pas établies au Canada
Source : Base de données sur la SMNE du MAECD, version du 3 novembre 2014

3. Constatations

L’Initiative sur la SMNE n’est pas un « programme » qu’on peut évaluer en faisant l’évaluation des résultats du programme par rapport aux cibles et aux repères établis dans un cadre de stratégie de mise en œuvre et de résultats. Il s’agit d’une initiative thématique s’accompagnant d’un cadre stratégique qui est mis en œuvre au moyen de nombreuses stratégies autonomes de mise en œuvre de programme.

Contrairement à d’autres initiatives thématiques, par exemple la Stratégie sur les enfants et les jeunes de l’ancienne ACDI, l’Initiative sur la SMNE comporte un modèle logique unifié, une enveloppe budgétaire définie et un cadre de mesure du rendement. Elle n’a cependant pas d’unité de gestion chargée de mettre ces instruments en application et d’assumer la responsabilité directe du rendement du programme. Les hauts dirigeants qui ont participé à la conception de l’Initiative l’ont, par conséquent, décrite comme étant « hybride ». C’est une initiative visant à réaliser des objectifs de programme définis par l’intermédiaire d’unités de gestion décentralisées préexistantes qui étaient autonomes, et ce, à degré variable.

La tâche se complexifie encore parce que l’Initiative comporte deux éléments. L’élément le plus important est composé de projets faisant l’objet du financement de base qui, selon une analyse ultérieure, contribuent aux buts et aux objectifs de l’Initiative, mais qui dépassaient nettement la portée du processus de planification stratégique en matière de SMNE.

Le deuxième élément, plus modeste, composé de projets faisant l’objet du financement de l’Initiative de Muskoka, étaient plus accessible à la planification stratégique au niveau central, en partie parce qu’il s’accompagnait de nouveaux fonds qui étaient ainsi ajouté aux stratégies de mise en œuvre existantes (financement de base), et en partie parce que l’affectation de ces fonds s’est concentrée sur un plus petit nombre de programmes. Après la quatrième année de mise en œuvre, 70 % de l’enveloppe du financement de l’Initiative de Muskoka avait été dépensée dans 10 pays ciblés, par comparaison à 26 % de l’enveloppe du financement de base qui avait été davantage répartie entre divers pays, régions et initiatives mondiales.

Les critères d’évaluation thématique comme la pertinence sont donc utilisés de façon globale à l’Initiative sur la SMNE, incluant de part et d’autre l’élément du financement de base et celui du financement de l’Initiative de Muskoka. Les critères d’évaluation opérationnelle, comme l’efficience, ne pouvaient être appliqués qu’en se concentrant plus étroitement sur l’élément du financement de l’Initiative de Muskoka.

3.1 Pertinence

3.1.1 Le modèle logique de l’Initiative sur la SMNE et son alignement avec les engagements du G-8, les OMD 4 et 5 et les principes de l’efficacité de l’aide au développement

Le modèle logique de l’élément de l’Initiative de Muskoka de l’Initiative sur la SMNE énonce une stratégie commune qui s’applique à toutes les directions générales de programmation du MAECD.^{Note de bas de page 15} Il ne s’applique qu’à l’élément du financement de l’Initiative de Muskoka parce que les contributions de base à l’Initiative sur la SMNE étaient guidées par des stratégies corporatives préexistantes concernant le renforcement de la santé des enfants et des systèmes de santé. Le résultat ultime est la « survie accrue des mères, des nouveau-nés et des enfants de moins de cinq ans dans les pays qui reçoivent du financement dans le cadre de l’Initiative de Muskoka ». Cela correspond exactement aux objectifs mondiaux relatifs à la SMNE. La description du modèle logique indique que chaque programme mettra en œuvre la stratégie sous son propre programme ou sous le cadre stratégique propre au pays. Seuls le Programme de partenariat pour l’Initiative de Muskoka et le programme du Soudan du Sud ont développé des stratégies spécifiques pour la SMNE.

a) Le cadre stratégique de l’élément de l’Initiative de Muskoka de l’Initiative sur la SMNE

Le modèle logique comporte trois résultats intermédiaires qui sont définis comme les orientations du programme menant à la réalisation de l’objectif général, soit celui d’améliorer les chances de survie des mères, des nouveau-nés et des enfants (voir le tableau 5). L’orientation dominante était le renforcement des systèmes de santé. C’est à cela que sont allées 70 % des ressources du MAECD imputées à l’enveloppe de financement de l’Initiative de Muskoka au cours des quatre premières années de l’Initiative.

Source : ACDI (2011) Stratégie de gestion du rendement pour l’Initiative de Muskoka en matière de santé des mère, des nouveau-nés et des enfants

La prédominance du renforcement des systèmes de santé dans le positionnement stratégique de l’Initiative correspond entièrement au principe de l’Initiative du G-8 de Muskoka, soit de « soutenir les politiques et plans nationaux dirigés par les pays, en matière de santé ».^{Note de bas de page 16} Cela a fait en sorte que les projets financés dans le cadre de l’Initiative se sont concentrés sur la réponse aux goulots d’étranglement importants dans la prestation des services de santé aux mères et aux enfants, notamment les pratiques inefficaces en matière de ressources humaines, d’infrastructure et de gestion.

Un cadre conceptuel s’appliquant aux systèmes de santé a été conçu par l’OMS; il fait interagir six éléments constitutifs, comme le démontre la figure 3.

Figure 3 : Cadre de l’OMS concernant les systèmes de santé

• Version texte

  La figure 3 illustre le cadre du système de santé de l’Organisation mondiale de la santé (OMS).

  Les six éléments constitutifs du système sont 1) la prestation des services 2) les travailleurs de la santé 3) l’information 4) les produits médicaux, vaccins et technologies, 5) le financement et 6) le leadership/gouvernance.

  Investir dans ses six éléments constitutifs détermine l’accès, la protection, la qualité et la sécurité du système de la santé. Ceci mène à l’amélioration de la santé, la réceptivité, l’efficience et la protection contre les risques sociaux et financiers.

Source : OMS (2007). Strengthening Health Systems to Improve Health Outcomes: WHO’s Framework for Action.

Les investissements dans les six éléments constitutifs (du côté gauche) contribuent au renforcement des systèmes de santé de différentes manières. Pour expliquer cela simplement, le premier élément constitutif, celui de la prestation des services, est lié au résultat axé sur l’offre que le renforcement des systèmes de santé produit et il couvre les services relatifs à la santé des mères et des enfants réduisant, entre autres choses, le fardeau des maladies et l’amélioration de la nutrition.

Les lacunes dans la prestation des services en matière de SMNE doivent être cernées afin de mettre en application un cadre de renforcement des systèmes de santé en réponse au but d’améliorer les chances de survie des mères, des nouveau-nés et des enfants. Les lacunes sont causées par les goulots d’étranglement dans l’accessibilité aux intrants du système, comme les ressources humaines, les médicaments, les vaccins ou l’infrastructure, par le manque d’efficacité du financement ou par les défaillances transversales des éléments du système comme le manque d’information ou la mauvaise gouvernance. Les interventions pour renforcer chacun de ces éléments ou « éléments constitutifs » du système doivent être conçues et contrôlées de manière particulière.

Lors de la mise en œuvre de l’Initiative sur la SMNE dans les pays ciblés, le MAECD a dans une grande mesure suivi la logique des éléments constitutifs. L’Initiative a servi à soutenir la réforme en matière de santé et la décentralisation des budgets afin d’améliorer la gouvernance et d’améliorer l’efficience du financement de la santé; elle a permis de résoudre des pénuries de ressources humaines par la formation de sages-femmes et par la réorientation des tâches; elle a contribué à une plus grande efficience de la chaîne d’approvisionnement en vaccins et en produits de nutrition, etc.

Cependant, en ce qui concerne la stratégie telle que présentée dans le modèle logique de la SMNE, les résultats des activités visant à renforcer les éléments constitutifs des systèmes de santé sont répartis entre les trois orientations de la programmation. Ce qui fait que la définition de l’orientation visant le « renforcement des systèmes de santé » est plutôt inutile. De plus, les résultats des interventions horizontales de renforcement des systèmes de santé, comme les contributions à des fonds mis en commun de soutien au secteur de la santé, ne sont pas inclus dans le cadre stratégique. Ils sont catégorisés par défaut sous l’orientation de « renforcement des systèmes de santé » et sont suivis au moyen d’indicateurs de résultats sur la santé des mères, sans égard à ceux qui contribuent réellement à l’amélioration de la santé maternelle.

Les trois orientations de la stratégie du volet de l’Initiative de Muskoka de l’Initiative sur la SMNE ne sont pas transparentes au sujet de ce qui est financé ni ne présentent une structure logique sur laquelle fonder un cadre de mesure de rendement.
La stratégie réalisée sur la SMNE (c.-à-d. ce que les programmes accomplissent en réalité), par opposition à la stratégie prévue (c.-à-d. celle qui était présentée dans le modèle logique sur la SMNE)^{Note de bas de page 17} peut être mieux compris au moyen d’une analyse des décaissements pour les projets relevant du financement destiné à l’Initiative de Muskoka par codes sectoriels du CAD. La figure 4 présente le volume des décaissements sur les quatre années de l’Initiative tels qu’ils ont été codés selon les trois orientations de la stratégie sur la SMNE (à gauche) et selon les codes sectoriels du CAD (à droite).

Figure 4 : Décaissements pour les projets relevant du financement de l’Initiative de Muskoka selon les « orientations de Muskoka » et selon les codes sectoriels du CAD (en millions $)

• Version texte

  • Orientations de l'Initiative de Muskoka
    • Amélioration de la nutrition, 243,2
    • Réduction du fardeau des maladies, 140,7
    • Renforcement des systèmes de santé, 510,5
    • Total : 894,4 million $ CA
  • Codes sectoriels du CAD^{Note de bas de page 18}
    • Infrastructure des services de santé, 51,1
    • Gestion des services de santé, 86,6
    • Services de santé de base, 174,2
    • Lutte contre les maladies infectieuses, 156,2
    • Santé génésique et planification familiale, 77,4
    • Perfectionnement des ressources humaines, 106,4
    • Nutrition de base, 199,2
    • Installations d'approvisionement en eau et d'assainissement de base, 33,2
    • Total : 884,3 million $ CA

Source : Base de données sur la SMNE du MAECD, version du 3 novembre 2014. Les montants totaux de décaissements sont différents parce que certains projets sont partiellement codés avec des codes sectoriels du CAD qui ne sont pas reconnus comme contribuant à la SMNE (comme l’agriculture durable).

L’analyse de la stratégie sur la SMNE mise en œuvre selon les codes sectoriels du CAD révèle un portrait nettement différent de celui que brosse une analyse selon les orientations stratégiques :

• 28 % des fonds servent à résoudre des faiblesses des systèmes de santé comme les ressources humaines, l’infrastructure et la gestion;
• 60 % des fonds sont presque également répartis entre trois domaines de prestation de services : i) les services liés à la nutrition, ii) les services de santé de base, qui sont essentiellement des services de santé maternelle et néonatale, et iii) la lutte contre les maladies infectieuses, qui sont principalement des services de santé des enfants;
• 9 % des fonds servent à soutenir la santé génésique et la planification familiale, ce qui comprend les principaux services, en amont, qui visent la prévention de la mortalité maternelle et néonatale; et
• 4 % des fonds servent à soutenir des programmes visant l’amélioration de l’approvisionnement en eau et de l’assainissement.

Cette analyse indique que les interventions en matière de SMNE mises en œuvre dans le cadre des stratégies des programmes-pays du MAECD ne sont pas reflétées dans le modèle logique du ministère concernant la SMNE. Par conséquent, le modèle logique concernant la SMNE ne donne pas une orientation stratégique suffisante à la mise en œuvre de programmes, dissociant les indicateurs de mesure du rendement des activités financées et offrant peu de transparence au sujet des investissements du Canada dans la SMNE.

c) La demande et l’offre de services liées à la SMNE

Le modèle logique de l’Initiative sur la SMNE traite des inégalités entre les sexes, des pratiques néfastes et des déterminants sociaux au niveau des résultats. Cependant, au niveau des extrants, ces enjeux sont abordés dans le cadre des réponses relatives aux systèmes de santé, par exemple l’éducation à la santé et le travail de sensibilisation des travailleurs de la santé. Cela donne à la stratégie un profil axé sur l’offre. Cela correspond au cadre de l’OMS comportant les éléments constitutifs des systèmes de santé (figure 2), qui met l’accent sur les éléments requis pour la prestation de soins de santé de qualité. L’OMS reconnaît que son cadre « ne tient pas compte des actions qui influencent les comportements des gens tant en ce qui concerne la promotion et la protection de la santé que le recours aux services de soins de santé. »^{Note de bas de page 19} Ces actions font partie du concept de programmation axée sur la demande.

Le « modèle des trois retards » qui sert à comprendre et à résoudre la mortalité maternelle a vu le jour en 1994 et est devenu un concept d’analyse et de programmation largement accepté.^{Note de bas de page 20} Il pose comme principe que la mortalité maternelle est attribuable i) aux délais dans la décision de recours à des soins, ii) aux délais dans l’accès aux soins, et iii) aux délais dans l’obtention de soins appropriés. L’emphase de la stratégie visant la SMNE a été, dans une très grande mesure, sur la réduction du troisième délai en améliorant la disponibilité et la qualité des services de maternité de même que, dans une grande mesure sur le deuxième délai, en rapprochant les services de santé maternelle plus près des femmes. L’évaluation a aussi fait ressortir de nombreux exemples d’initiatives efficaces qui contribuent à résoudre le premier délai, en particulier des projets communautaires mis en œuvre par des ONG. L’augmentation des demandes de soins, tant pour les femmes que pour les enfants, à travers de programmes qui augmentent le pouvoir de décision aux femmes et le contrôle sur les ressources du ménage, qui subventionnent les coûts du transport pour les soins obstétriques d’urgence et qui éliminent les coûts cachés des services de santé ne sont pas inclus dans le modèle logique corporatif concernant la SMNE.

Il y a plusieurs causes sous-jacentes de la mortalité maternelle et infantile qui dépassent la portée du secteur de la santé. Les adolescentes de 15 à 19 ans risquent deux fois plus de mourir pendant une grossesse ou un accouchement que les femmes de plus de 20 ans. Les filles de moins de 15 ans risquent cinq fois plus de mourir.^{Note de bas de page 21} La violence faite aux femmes est associée à de nettes augmentations de la morbidité maternelle, comme le démontre la recherche menée dans le cadre de l’initiative « Données probantes et systèmes de santé au Nigéria » (projet A031274). L’amélioration du pouvoir de négociation des femmes au sein du ménage produit un effet positif sur la santé et la nutrition des enfants.^{Note de bas de page 22} Une analyse sur la mortalité maternelle menée dans 172 pays conclut que répondre aux besoins non satisfaits de planification familiale se traduirait par une réduction de 29 % de la mortalité maternelle.^{Note de bas de page 23}

De nombreux projets examinés, en particulier ceux qui ont été mis en œuvre par des ONG grâce au financement du PPIM ou d’un financement bilatéral, réagissaient aux causes communautaires fondamentales de la piètre santé maternelle et infantile ainsi qu’au volet « demande » de l’utilisation des services de santé. Cependant, à l’échelle du portefeuille complet de programmes lancés à l’aide du financement de l’Initiative de Muskoka, les interventions de ce genre ont reçu relativement peu d’appui, en partie parce que ce genre de programmation n’est pas incluse dans les énoncés sur les extrants et les résultats du modèle logique de l’Initiative sur la SMNE. Ce qui a été reconnu comme une lacune stratégique pour certains programmes, par exemple en Tanzanie, où le MAECD a commandé une étude qui incluait l’évaluation du soutien des ONG au volet « demande » des services de santé.^{Note de bas de page 24}

3.1.2 L’alignement des projets de l’Initiative sur la SMNE aux priorités nationales et systèmes de santé des dix pays ciblés

Les programmes sur la SMNE bilatéraux du MAECD dans les dix pays ciblés s’alignent bien avec les stratégies nationales de santé et de nutrition, grâce à la collaboration directe avec les autorités sanitaires publiques nationales ou avec des intermédiaires de l’ONU ou d’ONG.

En Éthiopie et au Mali, où le MAECD n’a pas financé de structures de l’État, l’alignement a résulté d’une participation au dialogue dans le secteur de la santé ou de la nutrition et de l’aide de partenaires intermédiaires de mise en œuvre. La programmation du MAECD s’est révélée très souple par son adaptation à l’évolution des priorités et des politiques nationales. Mentionnons, par exemple, les modifications survenues à mi-parcours dans les budgets et les plans de travail de projets entrepris dans le Soudan du Sud, en réponse à la révision d’un règlement sur l’attribution de permis d’exercer aux sages-femmes, et, en Tanzanie, en réponse à l’uniformisation et à la révision du curriculum de formation pour les agents de santé communautaires.

La direction générale de MFM achemine la plupart des fonds par des partenaires de mise en œuvre qui participent pleinement au développement et à la mise en œuvre de stratégies nationales. De même, tous les projets du PPIM inclus dans l’échantillon de l’évaluation ont été mis en œuvre en coordination étroite avec les autorités publiques, et la plupart au niveau décentralisé. L’alignement des programmes du portefeuille canadien de projets sur la SMNE avec les stratégies et les priorités nationales a été particulièrement marquée dans les pays, où des équipes décentralisées du MAECD ont fait un effort supplémentaire pour consulter et coordonner avec tous les partenaires de mise en œuvre financés par le Canada peu importe quelle était la source du financement, comme, par exemple, en Tanzanie.

En général, les projets examinés s’alignaient bien avec les systèmes nationaux de suivi et de production de rapports pour la SMNE. Cependant, comme ces systèmes sont souvent peu efficaces, plusieurs projets du PPIM ont établi des systèmes parallèles de production de rapports. Cela n’a pas contribué au renforcement des structures nationales, et dans certains cas, a même parfois augmenté considérablement le coût du soutien latent à ces structures.

3.1.3 L’ alignement de la programmation de MFM avec la stratégie de l’Initiative sur la SMNE

Le portefeuille des projets de MFM contribuant à l’Initiative sur la SMNE était dominé par des projets bénéficiant du financement de base qui étaient élaborés à l’extérieur du cadre stratégique de l’Initiative. Avant de lancer l’Initiative sur la SMNE, les programmes multilatéraux et mondiaux du MAECD comportaient déjà un épais portefeuille de soutien à la nutrition et à la santé des enfants, qui s’est maintenu en tant que soutien de base dans le cadre de l’Initiative. Il y avait, cependant, peu d’appui à la santé maternelle dans ce portefeuille, et il n’y avait aucun décaissement dans les projets de santé génésique et de planification familiale.

Grâce au financement de l’Initiative de Muskoka, MFM a approuvé douze projets, et onze d’entre eux ont commencé à recevoir des fonds avant la fin de l’année financière 2013/14. Les projets n’ont pas été le signal d’un profond changement stratégique du profil du portefeuille du programme de MFM en matière de santé et de nutrition. Trois projets ont eu tendance à mieux s’aligner avec la stratégie sur la SMNE :

• i) soutien à l’OMS dans la mise en œuvre des recommandations de la Commission de l’information et de la responsabilisation de l’ONU (projet M013603);
• ii) financement de l’Initiative du H4+ d’agences de l’ONU appuyant la Stratégie mondiale pour la santé de la femme et de l’enfant (projet M013402); et,
• iii) soutien de base à l’Initiative pour les micronutriments, pour en élargir la stratégie à l’intégration de la SMNE (projet M013403).

En général, environ 80 % du financement de la SMNE par MFM s’est maintenu dans les domaines de la nutrition, de la santé des enfants et de la lutte contre les maladies infectieuses.

3.1.4 L’alignement de la programmation de KFM avec la stratégie de l’Initiative sur la SMNE

La direction générale des partenariats pour l’innovation dans le développement était chargée d’un élément de financement relativement modeste de l’Initiative sur la SMNE. Cependant, elle exerçait une influence sur un auditoire assez vaste, grâce à son partenariat avec des organisations canadiennes de la société civile vouées au développement et à la défense des intérêts. KFM a élaboré un cadre stratégique de programme pour le Programme de partenariat pour l’Initiative de Muskoka (PPIM) qui s’alignait de près avec la stratégie corporative de l’Initiative sur la SMNE. Son trait caractéristique est qu’il incluait un objectif immédiat dans chacune des trois orientations visant le changement et les mesures à prendre au niveau de la collectivité.

Alors que chaque projet financé par le PPIM avait son propre profil, la plupart visaient des populations ou des régions mal desservies ou défavorisées. Leurs thèmes communs comprenaient la mobilisation des collectivités pour renforcer l’utilisation des services de santé maternelle et infantile, des activités visant à supprimer les obstacles sociaux, sexuels et géographiques à l’accès aux soins et des initiatives visant à modifier les structures, les normes et les comportements collectifs pour améliorer la nutrition, l’hygiène et l’assainissement. L’augmentation du pouvoir de décision des femmes sur la nutrition et la santé des ménages était un thème fréquent et, quand le besoin s’en est fait sentir, des projets se sont aussi attaqués à l’enjeu de la grossesse chez les adolescentes et à celui des mariages précoces.

En général, le programme de KFM s’alignait bien avec la stratégie de l’Initiative sur la SMNE. Le portefeuille des activités était bien réparti selon les secteurs et les objectifs. Les initiatives visant les facteurs de la collectivité et de la demande qui contribuent au mauvais état de santé des mères et des enfants faisaient partie des projets financés par le PPIM.

3.2 Efficacité

3.2.1 Atteinte des résultats de l’Initiative sur la SMNE

Les onze indicateurs de l’ONU (Commission de l’information et de la responsabilisation) sur lesquels repose le cadre de mesure du rendement de l’Initiative sur la SMNE sont suivis au niveau mondial et national par Compte à rebours 2015, une collaboration de partenaires internationaux du secteur de la santé mandatés par l’ONU^{Note de bas de page 25}. Le rapport de 2014 parlait de résultats atteints au niveau mondial et dans les pays ciblés de l’Initiative sur la SMNE, particulièrement en ce qui concerne la santé des enfants et, à un degré moindre, celle des mères. Cependant, dans la plupart des cas, les renseignements les plus récents remontaient à 2011, ce qui est trop tôt pour attribuer des résultats à l’Initiative.

Pour certains des dix pays ciblés, l’équipe d’évaluation a pu se procurer des renseignements plus récents, grâce à des enquêtes sur la population et au système national d’information sur la santé. Les données montrent d’autres réalisations grâce aux indicateurs de service, comme la couverture des soins prénataux, de l’immunisation ou de la présence de personnel qualifié à l’accouchement. Cependant, les renseignements plus récents sur l’atteinte des résultats à plus haut niveau, par exemple sur la réduction des taux de mortalité, n’étaient généralement pas disponibles.

Les rapports périodiques et les rapports d’évaluation des projets échantillonnés étaient des mines de renseignements sur l’atteinte des extrants et des résultats immédiats. Il s’agissait notamment de rapports sur les extrants visés, comme le nombre d’enfants immunisés ou le nombre d’agents de la santé formés. Un projet de recherche s’est intéressé aux indicateurs de résultats intermédiaires de dix projets d’ONG financés par le PPIM^{Note de bas de page 26}. Un rapport préliminaire, publié en juin 2015, parlait d’augmentations de tous les indicateurs dans la couverture de prestation de services pour la santé maternelle et infantile, particulièrement ceux qui touchaient la nutrition. En même temps, il montrait très peu d’améliorations dans la prévalence de la malnutrition chronique dans les régions où sont menés les projets. Cette constatation confirme le fait connu que les indicateurs de résultats à haut niveau n’évoluent pas à court terme.

3.2.2 Efficacité des mécanismes d’exécution des programmes du MAECD

Le fait de cibler le volet de l’Initiative de Muskoka de l’Initiative sur la SMNE à dix pays ciblés a renforcé la participation du Canada au secteur de la santé et au dialogue sur la coordination des donateurs au niveau national. L’effet de levier a varié d’un pays à l’autre.

• À Haïti et au Bangladesh, le Canada participait déjà bien au dialogue sur les politiques et à la coordination entre partenaires. Le financement supplémentaire a contribué à augmenter le profil et la visibilité de la position du Canada.
• Au Mali et en Éthiopie, l’efficacité du dialogue sur les politiques a souffert de la suspension du financement direct par le gouvernement canadien. L’influence politique a principalement été exercée par des partenaires intermédiaires, comme les agences de l’ONU et les ONG internationales.
• Au Malawi, le travail stratégique du Canada s’est principalement concentré sur l’éducation et la nutrition. Il a pris fin quand le Canada s’est retiré de la coopération bilatérale au développement avec ce pays.
• Au Nigéria et en Afghanistan, le Canada avait déjà une présence stratégique affirmée dans les forums pour l’éradication de la poliomyélite. Ce qui a été renforcée grâce à l’effet de levier procuré par le financement de Muskoka. En Afghanistan, le financement supplémentaire de l’Initiative de Muskoka a aussi contribué à donner au Canada le rang de partenaire principal dans le secteur de la nutrition.
• Les effets de levier les plus importants ont été observés au Mozambique, en Tanzanie et dans le Soudan du Sud, grâce à un financement très important de la SMNE par le Canada et à une solide expertise stratégique en santé acquise sur le terrain par le MAECD.

Dans tous les pays, le MAECD s’est servi de l’effet de levier procuré par l’Initiative sur la SMNE pour promouvoir et renforcer l’attention accordée à l’égalité des sexes dans le secteur de la santé. Le Canada s’est aussi fait le promoteur efficace de d’autres thèmes stratégiques communs, comme : la coordination accrue de l’aide internationale au développement; une transparence et une responsabilisation plus grandes dans la gestion des systèmes de santé; la décentralisation des budgets et de la prise des décisions; la réduction du morcellement du secteur de la santé, par exemple en intégrant la nutrition dans la prestation de ses services.

Il y a des exemples de réussite canadienne dans le dialogue sur les partenariats et la politique nationale du secteur public dans plusieurs pays, bien qu’on ne puisse pas toujours les attribuer directement à l’Initiative sur la SMNE.

Le financement de Muskoka représentait une fraction relativement mineure du portefeuille de programme sur la SMNE de MFM, lequel était surtout un financement de base. Cependant, il a donné plus de visibilité au Canada dans les forums consacrés aux politiques de développement international sur la SMNE et il a accru l’efficacité de la promotion des priorités stratégiques du Canada telles que l’égalité des sexes, la transparence et la reddition de comptes dans les organisations et les initiatives internationales. Sur le plan des programmes, l’accomplissement le plus notable du financement de MFM, dans le cadre de l’Initiative de Muskoka, a été la collaboration accrue des agences de l’ONU à la SMNE, grâce à l’appui du secrétariat du H4+ (projet M013402) combiné à l’appui au niveau des pays pour les projets communs des agences de l’ONU par les programmes géographiques dans plusieurs pays.

Le financement de Muskoka acheminé par l’entremise de KFM a joué un rôle important, celui de lier l’Initiative sur la SMNE du Canada à un vaste ensemble d’organisations canadiennes de la société civile engagées dans la coopération internationale. Le Programme de partenariat pour l’Initiative de Muskoka (PPIM) a créé un effet de levier pour le MAECD et les partenaires canadiens de la société civile. Le PPIM a d’abord permis aux partenaires canadiens de la société civile d’agrandir l’échelle et la portée de leurs programmes de SMNE. Ensuite, le PPIM a donné au MAECD l’accès à une expertise technique, à un appui du public et à la contribution de ressources humaines et financières supplémentaires vers l’atteinte des objectifs de développement canadien pour la SMNE.

3.2.3 Efficacité de la gestion

L’Initiative sur la SMNE n’était pas un « programme géré » et ne comportait pas de structure centrale de gestion. Néanmoins, les fonctionnaires interrogés du MAECD ont révélé que, au lancement de l’Initiative, l’ancienne direction générale des politiques de l’ACDI avait donné de fortes orientations thématiques ainsi que des consignes sur les paramètres de suivi, les exigences en matière de rapports et les méthodes d’imputation. Les personnes interrogées avaient senti l’utilité, mais certains ont déploré qu’on ait parfois négligé les préoccupations du personnel décentralisé. Par exemple, la question sur comment estimer les résultats attribués à des initiatives financées par plusieurs partenaires n’a pas, aux vues de certains répondants, obtenu de réponse satisfaisante.

Avant la fusion de l’ACDI avec le MAECI, une structure de gouvernance et de gestion de l’Initiative sur la SMNE avait été établie, à l’initiative de l’ancienne direction générale de la planification stratégique et du rendement (DGPSR) [voir la figure 3]. Au moment de l’évaluation, il n’était plus clair à quel point cette structure avait été efficace dans l’orientation de l’Initiative. Les fonctionnaires du MAECD interrogés par l’équipe d’évaluation ont révélé que, après la première année de l’Initiative, l’orientation et la gestion centralisées ont commencé à diminuer. En 2013, un groupe de travail des directions géographiques pour la SMNE s’est formé et s’est réuni régulièrement jusqu’à la fusion de l’ACDI avec le MAECI. Il s’est depuis reformé et il est présidé par la direction générale des enjeux mondiaux et du développement.

Figure 5 : Structure de gouvernance de l’Initiative sur la SMNE dans l’ex-ACDI

• Version texte

  La figure 5 illustre la structure de gouvernance de l’Initiative sur la SMNE dans l’ex-ACDI.

  Au premier niveau, les représentants des directions générales des programmes multilatéraux et mondiaux, des programmes géographiques,  des partenariats avec les Canadiens se sont tous rapportés au Groupe de coordination mondiale. Similairement, le groupe de travail de la direction générale des programmes géographiques se rapportait aussi au Comité d’appui au programme du directeur général.

  Au prochain niveau, le groupe de coordination de la santé de l’ancienne direction générale de la planification stratégique et du rendement, l’élément central de la SMNE et le Comité d’appui au programme du directeur général se rapportaient au Groupe de coordination mondiale de la SMNE.

  Ce Groupe de coordination mondiale de la SMNE se rapportait ensuite au vice-président de la DGPSR, au haut de la structure de gouvernance.

Source : MAECD (2013), Evaluability Assessments of Canada’s Contribution to the MNCH Initiative

Au moment de l’évaluation, la direction thématique de l’Initiative sur la SMNE était échue, au MAECD, à MFM. Un comité consultatif de hauts gestionnaires a continué d’exister, mais il se réunissait rarement. La plupart des fonctionnaires du MAECD interrogés par l’équipe d’évaluation n’a pas réussi à nommer quelqu’un ou une unité, à l’administration centrale, qui aurait joué un rôle central de coordination ou de gestion. Les engagements financiers et les dépenses ont continué d’être contrôlés grâce à l’Outil de suivi et de rapport sur les investissements, et des ajustements aux enveloppes budgétaires ont été faits afin que les engagements financiers restent fidèles aux prévisions, mais l’application planifiée d’un outil central de suivi et de rapport pour recueillir et analyser l’information sur les programmes dans les trois directions générales du MAECD à des fins d’orientation thématique et de gestion n’a jamais été mis en œuvre.

3.2.4 Efficacité des mécanismes d’exécution des projets à l’échelle des pays

Des systèmes de santé déficients sont le lot commun de tous les pays où les indicateurs concernant la santé maternelle et infantile sont décevants. Le renforcement des systèmes de santé était donc prioritaire dans les dix pays ciblés. Cependant, dans chacun d’eux l’approche du programme était adaptée aux besoins, aux capacités et au contexte de la coopération.

Dans le Soudan du Sud, cela a commencé en appuyant la mise en place de services obstétriques et néonataux d’urgence dans le pays qui n’avait pratiquement pas de services fonctionnels de santé maternelle. Au Bangladesh, cela s’attaquait à la crise structurelle chronique des ressources humaines de la santé. En Éthiopie, cela visait à intégrer la nutrition dans les soins de santé primaire. À Haïti, cela est devenu un élément de l’effort de reconstruction après le séisme. En Tanzanie, cette approche a participé à la redéfinition du rôle des travailleurs communautaires en santé dans l’appui à la prestation de services de SMNE dans les régions reculées. Certains choix de projets ont donné de meilleurs résultats que d’autres en termes de leur contribution à la santé maternelle et infantile, mais aucun de ces choix ne peut être jugé inapproprié.

L’évaluation du choix des mécanismes d’exécution suit les mêmes distinctions. Les programmes-pays qui jouissaient de généreuses affectations budgétaires, par exemple le programme de la Tanzanie, ont pu investir stratégiquement dans des mécanismes complémentaires : i) de soutien commun à la fonction publique pour poursuivre un programme de réforme du secteur de la santé; ii) d’appui aux agences spécialisées de l’ONU dans la délivrance d’une aide technique à la stratégie nationale; iii) d’appui aux ONG pour qu’elles comblent les lacunes du système national de santé et qu’elles maintiennent la stratégie du programme ancrée à l’expérience du terrain.

Un équilibre semblable entre différents mécanismes d’exécution des programmes a été atteint au Bangladesh, même si on y bénéficiait d’un financement de base à partir du budget existant du programme du secteur de la santé. Au Soudan du Sud, là où les structures de coopération étaient encore embryonnaires, il y avait des progrès graduels vers une diffusion similaire des mécanismes d’exécution. D’autres programmes-pays moins nantis et sans programmation majeure préexistante dans le secteur de la santé, par exemple au Malawi et en Éthiopie, ont destiné la plupart des fonds supplémentaires à des projets financés par de multiples donateurs et menés par l’UNICEF ou la Banque mondiale, avec une programmation additionnelle aux ONG. Au Mali, les changements politiques survenus pendant la mise en œuvre de l’Initiative ont obligé à repenser et à reprofiler les mécanismes d’exécution.

En choisissant les mécanismes d’exécution des projets, les programmes-pays bilatéraux ont pris des décisions stratégiques au sein des contextes politiques et de développement du pays. Dans certains pays, en Tanzanie, par exemple, les programmes-pays du MAECD ont permis d’augmenter l’effet de levier grâce à la collaboration avec les partenaires de mise en œuvre des projets financés par KFM.

3.3 Efficience

3.3.1 Atteinte des objectifs pour les engagements canadiens de ressources

La redevabilité à l’égard des résultats de la SMNE, d’après la Stratégie de gestion du rendement, concernait la totalité des engagements pour la SMNE des programmes de base et des programmes financés dans le cadre de l’Initiative de Muskoka. Cependant, la redevabilité à l’égard des ressources se fonde sur deux méthodes distinctes pour les deux enveloppes de financement.

On impute le versement des fonds de base à la SMNE en appliquant la clé de pondération du G-8 aux affectations sectorielles de chaque projet selon les codes sectoriels du CAD. Élaborée par un groupe de travail de spécialistes de la santé du G-8 avant le sommet de Muskoka, la clé de pondération permettait d’estimer les contributions courantes du G-8 à la SMNE avant la tenue du sommet. Elle se fonde sur les décaissements sectoriels déclarés au CAD par les États membres de l’OCDE, attribuant un pourcentage à chaque secteur selon la pertinence estimée de la SMNE. Les décaissements des fonds promis à Muskoka sont, par définition, considérés comme contribuant à 100 % aux objectifs de la SMNE. Les décaissements sont déclarés d’après leur contribution estimée aux trois volets de l’Initiative de Muskoka (voir le paragraphe 3.1.1). Avant la fin de l’exercice 2013/14, le MAECD avait déboursé 2,46 milliards de dollars, soit près de 90 % de l’engagement quinquennal canadien à l’égard de la SMNE (tableau 2, section 2.1).

Les deux méthodes parallèles de comptabilité des dépenses consacrées à la SMNE ont complexifié l’effort pour instaurer la responsabilisation à l’égard des ressources. La formule d’imputation du G-8 à la SMNE, utilisée pour les décaissements de base a probablement sous-estimée les dépenses consacrées à la SMNE. Les projets d’immunisation, par exemple, sont codés dans le secteur de la lutte contre les maladies et ils n’étaient donc imputés qu’à 40 % à la SMNE. Les décaissements signalés de fonds promis à Muskoka, d’autre part, peuvent parfois avoir surestimés les dépenses dans la SMNE. Par exemple, les contributions aux fonds communs du secteur de la santé en Afghanistan (projet A035218) ou au Mozambique (projet A033033) n’étaient pas propres à la SMNE et n’ont que partiellement contribuées aux objectifs de la SMNE. Comme elles étaient financées à partir de l’enveloppe de Muskoka, on considère qu’elles ont contribuées à 100 % à la SMNE.

Si la méthodologie du G-8 était appliquée uniformément à tous les décaissements effectués au cours des quatre premières années de l’Initiative, les sommes totales que le MAECD signale avoir consacrées à la SMNE seraient réduites de 2,456 à 2,125 milliards de dollars. La limite inférieure de cette fourchette n’est pas plus valide que la supérieure, mais elle représente environ 78 % de l’objectif de dépenses quinquennales du MAECD. Ce niveau de dépenses, à la 4e année, serait toujours considéré comme fidèle aux prévisions.

La Commission de l’information et de la responsabilisation de l’ONU a tôt fait de reconnaître le problème que constituait le manque d’uniformité du système mondial dans la comptabilisation des ressources au titre de la SMNE. Elle a demandé à l’OCDE d’élaborer un système de marquage des dépenses dans la SMNE dans la base de données de son Système de notification des pays créanciers (SNPC). En février 2014, l’OCDE a publié une directive visant à inclure un marqueur pour la santé génésique, maternelle, néonatale et infantile (marqueur SGMNI) dans les rapports sur les dépenses au SNPC^{Note de bas de page 27}. Cette méthode, déjà utilisée pour d’autres enjeux comme l’égalité des sexes, exigerait que tous les projets signalés portent un code permettant de chiffrer leur contribution aux objectifs de la SMNE (sur une échelle de quatre). Ce qui servirait ensuite pour calculer le montant total de l’appui à la SMNE à partir des dépenses consacrées au développement de chaque partenaire de l’OCDE. Ce système, qui a été élaboré avec l’appui technique du MAECD, a été éprouvé sur certains de ses programmes en 2014, mais, au moment de l’évaluation, il n’avait pas encore été appliqué à l’échelle d’un ministère ni signalé par aucun autre État membre de l’OCDE dans la base de données du SNPC.

3.3.2 Moment des décaissements à la SMNE

Officiellement, l’Initiative sur la SMNE a commencé au début de l’exercice 2010/11, mais la première moitié de cet exercice était déjà écoulée quand la programmation des fonds nouvellement engagés a été approuvée par le Conseil du Trésor, en septembre 2010. Il n’est donc pas étonnant que les directions générales des programmes géographiques n’aient déboursé qu’environ 13 % de l’affectation visée pour les dix pays ciblés au cours de la première année. Deux programmes-pays n’ont fait aucun décaissement, six n’ont décaissé qu’à un projet, et seuls le programme du Mozambique et celui de Haïti en ont financé deux et trois^{Note de bas de page 28}, respectivement. Tous les décaissements étaient des contributions à des fonds communs du secteur de la santé ou à des projets de l’ONU financés par plusieurs donateurs.

La direction générale de MFM jouissait d’une meilleure marge de manœuvre parce qu’elle finançait surtout ses programmes avec des fonds de base, à partir d’une réserve de projets et grâce à des contributions de base versées à des partenaires multilatéraux. C’est donc la direction générale qui a décaissé le plus de fonds, proportionnellement (56 %), au titre de la SMNE pendant la première année fiscale. Elle est aussi parvenue à signer des ententes et à commencer à décaisser pour quatre de ses douze projets financés par l’Initiative de Muskoka au cours de la première année financière.

Le décaissement en apparence rapide des fonds multilatéraux peut, cependant, être partiellement trompeur, parce que la direction générale verse souvent des avances pour les projets multilatéraux qui sont lents à démarrer. Par exemple, un projet (M013596) avait reçu un préfinancement de 9 millions de dollars en mars 2012 et, 18 mois plus tard, les dépenses comptabilisées pour ce projet ne se chiffraient qu’à 0,5 million de dollars. Des retards semblables de mise en œuvre ont aussi été observés en Tanzanie, dans un projet bénéficiant du financement de base et réalisé dans plusieurs pays contre la diarrhée et la pneumonie (projet M013810).

La direction générale de KFM a annoncé son choix de projets du PPIM en septembre 2011, alors que la deuxième année de l’Initiative était déjà bien avancée, et elle a commencé ses décaissements pour tous les projets choisis dans le dernier trimestre de l’exercice 2011/12.

Pour les dix pays ciblés par l’Initiative, cela signifiait que plus de la moitié de toute la programmation dans le cadre de l’Initiative sur la SMNE au cours de la première année financière ont bénéficié du financement de base. Le décaissement des fonds promis à Muskoka a commencé vers la fin de l’année.

Figure 6 : Décaissements pour la SMNE (toutes les directions générales) dans les dix pays ciblés, dans chaque année financière (en millions de dollars)

• Figure 6: MNCH disbursements (all Branches) in the 10 focus countries by fiscal year (million $)

  Exercise	de base	Muskoka	total
  2010/11	100,4	90,5	190,9
  2011/12	102,1	142,1	244,2
  2012/13	112,0	207,5	319,5
  2013/14	85,7	183,2	268,9

Source : Base de données du MAECD sur la SMNE : version du 3 novembre 2014

De fait, la période de mise en œuvre des projets financés grâce au 1,1 milliard promis à Muskoka a été de quatre plutôt que de cinq ans, et, pour les projets du partenariat, elle n’a été que de trois ans, tout au plus. Pour les projets bilatéraux et multilatéraux, cela n’a pas de conséquences graves, car les directions générales géographiques et la direction générale de MFM ont des programmes permanents de coopération avec leur pays et leurs partenaires mondiaux. Ils peuvent ainsi renouveler les fonds et continuer d’en engager. De plus, une grande partie des décaissements pour les projets pluriannuels de l’ONU et d’autres partenaires mondiaux, sont fait d’avance, gardant ainsi le calendrier des décaissements. Mais, pour les projets financés par le PPIM, ce fut un enjeu majeur. Ces projets avaient des dates de fin relativement fixes en 2015, et leur démarrage retardé n’a laissé à la plupart que trois années ou moins pour la réalisation du programme convenu.

3.4 Économie

En raison de la nature de l’Initiative sur la SMNE, il n’existait aucun mécanisme ni processus uniforme de sélection des intrants. La sélection se faisait par pays et en fonction du contexte et elle allait des intrants de systèmes à haut niveau, comme les interventions pour améliorer l’établissement des budgets des États du Nigéria, à des intrants précis comme l’appui à l’introduction du misoprostol (médicament agissant contre l’hémorragie post-partum) au Soudan du Sud.

La gamme des interventions appuyées par l’Initiative correspondait à la liste des interventions à impact élevé identifiées par les ministres du développement des pays du G-8, en 2010, avec une légère expansion pour répondre au renforcement privilégié des systèmes de santé.

Les principaux facteurs qui ont assuré la mise en œuvre économique de l’Initiative sur la SMNE ont été : i) la sélection des pays ciblés par l’Initiative, d’après des paramètres exprimant les besoins et la capacité de réponse du Canada à l’époque; ii) l’alignement des interventions dans ces pays avec les stratégies nationales; iii) la rapidité de réaction des programmes-pays au contexte épidémiologique et programmatique, facilitée par la gestion décentralisée de l’Initiative.

Dans les pays ciblés, plusieurs interventions du MAECD visant à renforcer les systèmes de santé ont favorisé la décentralisation de la planification, de l’établissement des budgets et de la gouvernance des services de santé au niveau du district. Le MAECD favorisait la décentralisation par des interventions au niveau des programmes, par exemple par le financement de subventions à la planification à l’échelon local, au Bangladesh, et par l’appui des politiques dans le secteur de la santé et dans les forums de coordination avec les partenaires dans plusieurs des pays ciblés.

La promotion de la décentralisation faite par le MAECD se fondait sur les constatations découlant du Projet d’interventions essentielles en santé en Tanzanie, qui a montré que l’on pouvait obtenir de meilleurs résultats en santé à des coûts moindres quand les budgets et la prise des décisions étaient décentralisés au niveau du district^{Note de bas de page 29}. Le projet a débuté dans les années 1990 et a été appuyé par l’ex-ACDI, notamment. C’est un exemple de l’utilisation des constats faits avec l’aide du Canada pour informer l’Initiative sur la SMNE.

L’évaluation a trouvé, dans l’examen des projets échantillonnés, que, presque toujours, les types d’interventions financées étaient très efficaces et d’un excellent rapport coût-efficacité, d’après les données publiées sur les impacts et les coûts de différentes interventions en matière de santé maternelle et infantile^{Note de bas de page 30}. Très peu d’exceptions ont été notées, et toutes concernaient des éléments de projet plutôt que la globalité des projets. Par exemple, les investissements dans les unités néonatales de soins spéciaux de haute technologie dans les hôpitaux de district du Bangladesh (projet A035530) étaient, dans certains cas, contestables, parce que la technologie n’était adaptée ni à la capacité technique ni à celle des ressources humaines de ces établissements. Des résultats comparables ont été atteints à moindres coûts, grâce à la mise en œuvre de la « méthode de la mère kangourou »^{Note de bas de page 31} dans les hôpitaux d’ONG de la même région (projet S065372).

Toutes les lacunes possibles dans la sélection des intrants qui étaient mentionnées par les parties prenantes interrogées pendant l’évaluation concernaient des programmes visant des facteurs de mortalité maternelle et infantile agissant en amont. Cela comprenait des initiatives visant la santé sexuelle des adolescents et la réduction des mariages précoces et des grossesses chez les adolescentes, des initiatives visant l’alphabétisation des femmes et l’autonomisation économique et la réduction de la violence contre les femmes. Certaines parties prenantes ont aussi mentionné que l’eau et l’assainissement étaient situés dans un angle mort de l’Initiative sur la SMNE, même si 4 % des dépenses financées par l’Initiative de Muskoka ont été versées dans ce secteur (voir la section 3.1.1).

3.5 Thèmes transversaux

3.5.1 L’égalité entre les sexes

La question de l’égalité entre les sexes était manifestement un enjeu central lors de l’élaboration de projets et de la négociation des accords sur les projets liés à la SMNE. Les partenaires de projet ont répondu avec divers niveaux de rigueur.

Certaines ONG partenaires ont préparé des analyses détaillées et bien documentées sur les enjeux relatifs à l’égalité entre les sexes affectant la santé maternelle et infantile dans le secteur qui relève de leur compétence, notamment le projet d’amélioration de la SMNE en Afghanistan (projet A035242) ou le Programme d’amélioration de l’état de santé des mères et des enfants au Soudan du Sud (projet S065383).

Encadré : Aborder l’égalité entre les sexes dans des projets axés sur la SMNE

Les enjeux d’égalité entre les sexes, affectant les risques associés à la santé maternelle et infantile et sur l’utilisation des services, varient d’un pays à l’autre et au sein même des pays. Dans certains projets, ces enjeux ont été rigoureusement documentés et portés à l’attention des responsables des programmes nationaux et internationaux de SMNE, notamment à l’aide de la recherche sur le lien entre la violence fondée sur le sexe et la mortalité maternelle au Nigéria, menée dans le cadre de l’initiative « Données probantes et systèmes de santé au Nigéria » (projet A031274). Dans certains pays, les responsables de projets et les équipes de pays du MAECD sont toujours confrontés à la résistance des dirigeants du secteur de la santé quant à la reconnaissance de l’impact de l’inégalité entre les sexes sur la santé maternelle.

Les enjeux en matière d’égalité des sexes ont également une incidence sur le niveau de la prestation de services, notamment sur le plan des ressources humaines en santé. En Afghanistan, le programme a contribué à accroître la proportion de femmes soignantes, ce qui a entraîné une utilisation accrue des services de santé maternelle. Au Bangladesh, la discrimination systémique fondée sur le sexe a une incidence sur la situation des infirmières et des sages-femmes; un enjeu abordé dans le cadre du projet de ressources humaines en santé (projet A034608). Au Soudan du Sud, une analyse réalisée dans le cadre du projet sur la profession de sage-femme fait état de « l’arrivée soudaine d’hommes dans la profession de sage-femme » (projet A035518). Il y avait une inquiétude qu’en raison de la valorisation de la profession de sage-femme, les femmes candidates à une formation soient évincées par l’afflux massif d’hommes dans la profession, un enjeu qui fut adopté dans le cadre de la stratégie en matière d’égalité entre les sexes du projet.

En général, les projets communs d’appui au secteur de la santé n’abordaient les questions liées à l’égalité des sexes que de façon superficielle en dépit des efforts considérables du personnel du MAECD de mettre ces questions à l’avant-plan. Les efforts menés dans le cadre des projets communs se limitaient souvent à la collecte de données ventilées par sexe ou au dénombrement des membres du personnel masculin et féminin, comme ce fut le cas au Bangladesh, en Afghanistan et au Mali.
L’enjeu de l’égalité entre les sexes a systématiquement été soulevé par le personnel du MAECD lors des forums sur les politiques dans le secteur de la santé et la coordination des partenaires tenus à l’échelle des pays et par les représentants de la direction générale de MFM du MAECD au sein de comités de gouvernance et de coordination des organisations de l’ONU et des initiatives de santé mondiales, notamment au conseil de GAVI, l’Alliance du Vaccin^{Note de bas de page 32}, où ils ont contribué à l’évaluation de la politique de GAVI sur l’égalité entre les sexes.^{Note de bas de page 33}

3.5.2 Gouvernance

Les parties prenantes interrogées dans divers pays ont confirmé que l’Initiative de Muskoka a aidé à accroître l’incidence de la participation canadienne sur les discussions nationales sur la santé génésique, maternelle et infantile. Les fonds additionnels pour les programmes ont permis d’accroître davantage le rôle canadien dans le dialogue sur les politiques, dans le cadre duquel les équipes-pays du MAECD se concentrent généralement sur la transparence, la responsabilisation et la coordination des intervenants du système de santé.

La question de la décentralisation des budgets et du financement adéquat des districts de santé était un thème important de la contribution du MAECD au dialogue sectoriel en santé, notamment au Bangladesh, en Tanzanie et au Soudan du Sud. À l’échelle mondiale, l’une des principales réalisations du MAECD dans le cadre de l’Initiative sur la SMNE est la contribution canadienne à l’amélioration de la collaboration entre les agences de l’ONU participant à l’initiative du groupe H4+ pour appuyer la Stratégie mondiale pour la santé de la femme et de l’enfant de l’ONU (projet M013402).

3.5.3 Viabilité de l’environnement

Dans le cadre de l’Initiative sur la SMNE, l’appui aux projets visant à améliorer la qualité de l’eau et les techniques sanitaires était limité, mais représentait néanmoins 4 % du financement issu de l’Initiative de Muskoka. Selon les documents de projets examinés, la majorité des projets liés aux services de santé comportait un volet sur le traitement des déchets médicaux. L’évaluation n’a pas permis de déterminer si les mesures à cet égard ont été mises en œuvre avec une rigueur et une qualité suffisantes. Lorsqu’ils ont été interrogés, certains partenaires de projet, notamment diverses ONG partenaires œuvrant en Tanzanie rurale, ont indiqué que l’enjeu lié aux installations sanitaires et d’approvisionnement en eau potable devrait recevoir une plus grande attention dans le cadre des efforts visant à améliorer les services en SMNE en établissement.

3.6 Durabilité

Les projets financés à même l’enveloppe de base et les projets financés par l’Initiative de Muskoka ont été élaborés en fonction de cadres de pays ou de stratégies de coopération multilatérales axées qui se réorientent vers la SMNE et ont reçu un financement considérablement accru provenant de l’Initiative sur la SMNE dans certains pays. La plupart des parties prenantes nationales qui ont été interrogées ont indiqué qu’outre l’intérêt, l’appui et la participation accrus du MAECD en matière de SMNE, les activités de coopération canadienne étaient demeurées sensiblement les mêmes.

La stratégie de durabilité adoptée par le MAECD misait principalement sur l’alignement avec les stratégies nationales en matière de santé, de nutrition et de santé génésique, ainsi que sur un accent marqué à l’égard de l’appui aux systèmes. Surmonter les problèmes de gestion, accroître la participation du public et l’utilisation des services de santé par la décentralisation et renforcer la reddition de comptes au public, améliorer la qualité des services et surmonter les pénuries de main-d’œuvre sont toutes des approches qui favorisent la durabilité.

Dans les pays où le contexte stratégique était favorable, en Tanzanie, par exemple, le MAECD a choisi d’appuyer les partenariats public-privé dans le secteur de la prestation des services de santé par la collaboration avec la Fondation Aga Khan (projet A035252) et avec le Comprehensive Community-based Rehabilitation (projet D000164), une ONG nationale qui offre des soins hospitaliers à l’aide de financement croisé entre les services à but lucratif et les services sans but lucratif.

Appuyer l’évolution des systèmes de santé afin de favoriser une plus grande durabilité est une stratégie à long terme qui n’est pas sans risques. La réussite est tributaire de la stabilité du pays, ce qui n’est pas une perspective à court terme pour des pays fragiles comme le Soudan du Sud. La réussite dépend également de la stabilité politique et de la volonté des dirigeants politiques de continuer d’accorder la priorité à la santé. À titre d’exemple, notons l’Éthiopie, qui, grâce à la priorisation des soins de santé primaires pour des motifs politiques, a fait d’importants progrès vers la mise en place d’un système de santé solide et durable.^{Note de bas de page 35} Les décisions politiques à court terme comme celles liées à la proportion des dépenses publiques consacrées au secteur de la santé, ont aussi une incidence majeure sur le succès ou l’échec de la stratégie de durabilité. La stratégie d’atténuation des risques contextuels relatifs à la durabilité est un engagement à long terme à l’égard des processus de coopération et d’élaboration de politiques au pays.

L’examen des projets financés par le PPIM dans les pays ciblés a suscité d’importants enjeux de durabilité. L’attribution des projets s’est faite au moyen d’un processus d’appel de propositions. En raison des délais inévitables associés à la conception du programme, au processus d’appel de propositions, à la sélection des projets et à la signature des contrats, beaucoup de projets ont dû être mis en œuvre en moins de trois ans. Le temps consacré à la mise en œuvre a été réduit davantage en raison de la nécessité de mener des études préliminaires et des études de fin de projet, et de mettre en place les structures de coopération à l’échelle locale. Pendant cette courte période de mise en œuvre, chacun des projets ont tenté de mettre en place un programme ambitieux visant à instaurer des changements au sein de la communauté et à l’échelle des services. Certains projets étaient intégrés à des projets de développement existants liés à la santé à long terme et aux systèmes communautaires, et ont servi à orienter les activités de coopération existantes vers les objectifs en matière de SMNE. Toutefois, d’autres projets financés par le PPIM disposaient d’une durée de financement limitée pour établir un partenariat, mettre en œuvre un programme et mettre fin progressivement à la coopération. Dans un tel contexte, la perspective de durabilité n’est pas réaliste.

3.7 Gestion du rendement

3.7.1 Suivi du rendement

La Stratégie de gestion du rendement de l’Initiative de Muskoka a été élaborée en 2011.^{Note de bas de page 36} Elle comprend un modèle logique et un cadre de mesure du rendement. Bien que le modèle logique soit propre au volet financé par l’Initiative de Muskoka, « le suivi du rendement et l’établissement de rapports qui seront réalisés relativement à la stratégie de GR porteront sur les investissements de 2,85 milliards de dollars. Le suivi des résultats et les rapports connexes sur les résultats engloberont les deux initiatives de financement. On ne peut pas distinguer les résultats attribués à chaque investissement puisque les résultats de haut niveau représentent les objectifs de toutes les initiatives sous Muskoka. »^{Note de bas de page 37} Le cadre de mesure du rendement ne comporte pas de cibles. Selon la stratégie de gestion du rendement, le modèle logique et le cadre de mesure du rendement devaient servir de guide visant à orienter les programmes-pays.

Les données relatives au rendement des projets de SMNE devaient être recueillies annuellement à l’échelle des projets à l’aide de l’outil de production de rapports de gestion des programmes; ces données devaient ensuite être consolidées à l’administration centrale. L’évaluation a révélé qu’un petit nombre de rapports sur le rendement ont été préparés à l’aide de cet outil, mais que ce dernier n’a toutefois pas été utilisé de façon systématique.

En l’absence d’un système servant à la collecte régulière de données sur le rendement de programme, les informations ont été recueillies et consolidées, au besoin. À titre d’exemple, en 2013, à la demande du ministre, les directions générales géographiques ont préparé un rapport d’étape sur la SMNE en consolidant les informations provenant de 16 programmes-pays et d’un programme régional.^{Note de bas de page 38} Des rapports d’étape ont aussi été préparés par l’ancienne direction générale des programmes multilatéraux et mondiaux (DGPMM) et l’ancienne direction générale des partenariats avec les Canadiens (DGPC). L’idée de préparer un rapport d’étape ministériel sur la SMNE dans lequel serait présentée une synthèse de ces trois rapports ne s’est pas concrétisée.

La plupart des projets échantillonnés avaient un cadre détaillé de mesure du rendement et fournissaient des rapports périodiques. En général, la production de rapports des ONG était plus assidue et complète. La plupart des projets mis en œuvre par des partenaires de l’ONU, des rapports narratifs semi-annuels ou annuels qui incluaient qu’une partie et non l’ensemble des données sur les indicateurs de rendement. Les projets de contributions à des fonds communs dans le secteur de la santé ne comportaient pas de modèles logiques ou de cadres de mesure du rendement adaptés aux besoins du MAECD, mais comportaient tout de même des mécanismes courants pour le suivi du rendement des partenaires communs.

Au cours des quatre premières années de l’Initiative sur la SMNE, même s’il n’a pas réussi à mettre en place un système simplifié, le MAECD est parvenu à compiler les données sur le rendement et à en faire rapport. Les coûts de transaction liés à la collecte et à la compilation de ces informations étaient élevés. Selon un gestionnaire de projet interrogé, les employés en soins de santé consacrent 40 % de leur temps à préparer des rapports et à remplir des formulaires de statistiques. Un groupe d’ONG participant à des projets financés par le PPIM a retenu les services d’une société de recherche pour faire le suivi des données sur le rendement pour 10 projets sur une période de trois ans, au coût de 1,1 million de dollars.^{Note de bas de page 39} Lors d’entrevues, certains membres du personnel décentralisé du MAECD ont indiqué qu’ils consacraient une bonne partie de leur temps à la production de rapports sur le rendement au début, mais que la tâche était maintenant gérable.

Le suivi des résultats qui découlent de l’appui du MAECD est un enjeu qui a été soulevé à maintes reprises lors des entrevues. Les données sur le rendement à l’échelle des extrants, comme le nombre de travailleurs de la santé formés ou le nombre d’enfants immunisés, étaient habituellement compilés à partir des rapports de projet. Les résultats déclarés pour les projets financés par plusieurs partenaires et les projets communs d’appui au secteur de la santé étaient calculés au prorata, en fonction de la proportion de la contribution canadienne au financement. Les deux méthodes ne prennent pas en compte la contribution du pays ni la contribution de la collectivité, souvent beaucoup plus élevée que l’aide fournie par les partenaires internationaux. L’enjeu est encore plus important pour les indicateurs du rendement de niveau supérieur, comme le nombre d’accouchements par du personnel qualifié, parce que les résultats obtenus ne découlent pas seulement des intrants de projet.

L’évaluation globale fait état d’un système de suivi du rendement qui a permis une redevabilité à l’égard des résultats, mais qui comporte toutefois de nombreuses lacunes systémiques. Ces lacunes ont entraîné des coûts assumés en grande partie par les partenaires des projets et le personnel de la santé de première ligne. Elles ont aussi entraîné des coûts de renonciation en investissements non réalisés dans le renforcement des systèmes nationaux de gestion systématique de l’information sur la santé.

Le MAECD est déterminé à réduire le fardeau de la production de rapports imposé aux systèmes de santé nationaux et aux fournisseurs de services. Cet engagement est réitéré dans la stratégie de gestion du rendement de l’Initiative sur la SMNE. Cependant, il ne se reflète pas entièrement dans les activités de suivi du rendement menées dans le cadre de l’Initiative sur la SMNE.

3.7.2 Gestion du rendement

L’évaluation n’a pas identifié un système de gestion du rendement précis pour l’Initiative sur la SMNE. Le rendement des projets financés dans le cadre de l’Initiative a été géré au niveau des projets et du programme à l’aide de processus bien établis et rigoureux propres à la direction générale et aux programmes, qui englobent l’établissement de rapports, le suivi sur place, les services contractuels de suivi des projets, les comités de gestion et de contrôle de projet, les évaluations de projets et les évaluations des programmes-pays.

4. Conclusions et recommandations

4.1 Conclusions

L’Initiative sur la santé des mères, des nouveau-nés et des enfants du MAECD a contribué efficacement à la Stratégie mondiale pour la santé de la femme et de l’enfant des Nations Unies et permettra au gouvernement du Canada de respecter les engagements qu’il a pris à Muskoka. Pendant la mise en œuvre de l’Initiative sur la SMNE, le MAECD a respecté des normes élevées en matière de responsabilisation en ce qui concerne les résultats et les ressources pour la SMNE qui furent établies au sein du G-8 et à l’échelle mondiale grâce au leadership du Canada.

1. L’Initiative sur la SMNE a soutenu efficacement les efforts visant à atteindre les 4e et 5e OMD dans dix pays ciblés affichant de hauts taux de mortalité maternelle et infantile. La programmation dans ces pays cibles était bien adaptée aux priorités et aux systèmes nationaux. La programmation a permis au MAECD de concentrer les ressources et de promouvoir les thèmes prioritaires du Canada en matière de développement, comme l’égalité entre les sexes, la transparence et la reddition de comptes. Cela a été rendu possible par la conception institutionnelle décentralisée de l’Initiative sur la SMNE, où les décisions sur les priorités et les secteurs d’investissement relevaient des programmes-pays et des programmes multilatéraux existants. Toutefois, un tel modèle institutionnel requiert un leadership fort sur les plans du soutien technique et du soutien à la coordination à l’échelon central (à l’administration centrale) afin de maintenir la cohérence générale de l’Initiative. Ce rôle de chef de file était présent aux premières étapes de l’Initiative sur la SMNE, mais s’est toutefois affaibli au fil du temps.
2. La stratégie sur la SMNE du Ministère était axée sur l’offre des interventions en santé, à savoir l’amélioration de la disponibilité, de la qualité et de l’équité des services de santé. Toutefois, les résultats de santé pour la mère et l’enfant dépendent aussi de facteurs liés à la demande, comme les comportements liés à la recherche de soins de santé et l’accessibilité des services. Ce qui est capturé dans le modèle dit à « trois délais » des causes des décès maternels : le délai à demander des soins (demande), le délai à se rendre à un établissement de santé (demande et offre) et le délai à recevoir des soins appropriés (offre). L’Initiative sur la SMNE était principalement axée sur le troisième délai, soit la prestation de soins appropriés.
3. Les programmes dont le but est de s’attaquer aux causes fondamentales du fort taux de mortalité maternelle et infantile à l’échelle de la collectivité étaient sous-représentés dans le cadre de l’Initiative sur la SMNE. La réduction de la mortalité chez les mères et les enfants ne peut pas être atteinte par la prestation des soins de santé seulement. Cela requiert aussi des efforts efficaces en prévention, notamment réduire le taux de grossesse chez les adolescentes, lutter contre la violence faite aux femmes, lutter contre l’exclusion des femmes des processus décisionnels au sein du ménage et régler la question des besoins non comblés en matière de planification familiale.
4. Les investissements du Ministère dans le renforcement des systèmes de santé ont contribué aux progrès réalisés vers l’atteinte des objectifs en matière de SMNE à l’échelle des pays. Des systèmes de santé renforcés (c.-à-d. des améliorations de la gouvernance du secteur de la santé, des ressources humaines, du financement, de la technologie et de la gestion de l’information) sont nécessaires à la prestation de services efficaces en matière de santé maternelle et infantile, à la réduction du fardeau des maladies, à l’amélioration de la nutrition. En définissant le renforcement des systèmes de santé comme étant l’un des trois objectifs intermédiaires, le modèle logique du volet financé de l’Initiative de Muskoka de l’Initiative sur la SMNE a permis à l’Initiative sur la SMNE a regroupé des interventions générales afin de renforcer les systèmes de santé (notamment l’appui des ministères de la santé grâce aux fonds mis en commun de soutien au secteur de la santé) et des interventions ciblées visant à améliorer la prestation des services de soins de santé maternelle (telles que des bonifications salariales pour les sages-femmes). Le cumul des décaissements destinés au renforcement des systèmes et à la prestation des services diminuent la clarté du soutien canadien à la SMNE. Le regroupement des décaissements liés au renforcement des systèmes et à la prestation des services a eu pour effet de rendre moins clair l’appui du Canada à l’égard de la SMNE et de réduire le rôle du modèle logique en tant qu’outil d’orientation stratégique des programmes-pays et des programmes multilatéraux.
5. Le Ministère est en bonne voie d’atteindre ou même de dépasser les engagements canadiens au Sommet de Muskoka en matière de ressources. Toutefois, l’utilisation du double système de comptabilité des décaissements de base et les dépenses engagées dans le cadre de l’Initiative de Muskoka a entraîné une sous-évaluation et une surévaluation des dépenses. En dépit des problèmes liés à la comptabilité, les intrants des programmes et des politiques de l’Initiative sur la SMNE fournie des intrants sur les programmes et les politiques à l’échelle des pays qui s’avèrent d’un bon coût-efficacité ; étaient rentables et adaptées au contexte.
6. Les thèmes transversaux, comme l’égalité entre les sexes, la gouvernance et l’environnement, ont été traités adéquatement. De nombreux projets mis en œuvre dans le cadre de l’Initiative sur la SMNE comportaient des analyses très bien documentées sur les enjeux liés à l’égalité entre les sexes de même que des stratégies détaillées sur la façon de régler ces enjeux. De même, les rares projets de construction financés dans le cadre de l’Initiative comprenaient des évaluations environnementales. Le MAECD a participé activement à des initiatives axées sur l’amélioration de la gouvernance dans le secteur de la santé dans les pays ciblés et, dans une certaine mesure, à l’échelle des organisations multilatérales.
7. La stratégie de durabilité des projets liés à la SMNE dépendait largement de l’appui au renforcement des systèmes de santé et de l’alignement avec les priorités et les stratégies nationales. Il s’agit d’une démarche efficace pour favoriser la durabilité, mais qui comporte aussi des risques contextuels importants. Ces risques peuvent être atténués en prolongeant des programmes de collaboration dans le secteur de la santé, en s’assurant la prévisibilité du financement et en travaillant étroitement avec les partenaires internationaux et les gouvernements nationaux des pays ciblés afin d’élaborer, de mettre en œuvre et de maintenir des interventions efficaces. Divers projets financés par le PPIM ont connu d’importants enjeux liés à la durabilité en raison de la durée limitée de la collaboration.
8. Le MAECD a fait un suivi du rendement global de l’Initiative sur la SMNE, malgré d’importantes inefficacités systémiques attribuable à l’absence du système de suivi du rendement prévu, qui n’a pas été mis en œuvre. Cela a entraîné des coûts, qui ont été assumés en partie par les partenaires des projets et les fournisseurs de services. Cela a empêché le MAECD de respecter pleinement son engagement de réduire le fardeau redditionnel imposé aux pays en développement. Toutefois, la gestion du rendement des projets financés dans le cadre de l’Initiative sur la SMNE s’est faite selon des processus rigoureux et bien établis propres aux directions générales et aux programmes.

4.2 Recommandations

Les recommandations suivantes reposent sur le rôle de leadership du Canada ainsi que sur son importante contribution à l’Initiative de Muskoka du G-8 et à la Stratégie mondiale pour la santé de la femme et de l’enfant des Nations Unies. Le rôle clé du Canada dans l’établissement des fondements d’une initiative mondiale visant à améliorer la santé des femmes et des enfants dans les régions les plus vulnérables du monde est largement documenté et reconnu. Plus précisément, le Canada a énormément contribué à instaurer des cadres qui favorisent la reddition de comptes, le pragmatisme et l’emphase entre les partenaires et au sein de son programme de développement international pour la SMNE.  

1. Le Ministère devrait envisager d’équilibrer son soutien à des interventions visant à la fois l’offre et la demande de services de SMNE. La mortalité des mères, des nouveau-nés et des enfants découle essentiellement de délais dans : 1) la décision d’obtenir les soins de santé appropriés en cas d’urgence (demande); 2) le déplacement vers une installation appropriée (demande et offre); et 3) l’obtention de soins adéquats une fois rendu sur place (offre). L’évaluation a trouvé un grand nombre d’exemples de programmes efficaces pour régler les problèmes liés aux deux premiers délais. Toutefois, l’Initiative sur la SMNE était principalement axée sur le troisième délai, soit la prestation de soins adéquats. Un plus grand impact peut être atteint en élargissant la portée de façon à cibler les trois délais.
2. Le Ministère devrait élargir la portée de la programmation dans le cadre de l’Initiative sur la SMNE en accordant une plus grande importance aux facteurs contribuant au taux élevé de mortalité chez les mères, les nouveau-nés et les enfants, comme la santé génésique. Les données existantes indiquent que la grossesse chez les adolescentes, la violence axée sur le sexe, l’accès et le recours limités à des services de santé génésique, y compris des programmes de planification familiale et le faible niveau d’instruction des femmes sont des facteurs étroitement liés à la mortalité des mères, des nouveau-nés et des enfants. Les efforts consentis afin de trouver des solutions à ces enjeux contribueraient à réduire la mortalité chez les mères et les enfants et à réduire les besoins de ressources pour la prestation de soins de santé adéquats.
3. Le Ministère devrait renforcer sa capacité à fournir un leadership et une coordination horizontaux ainsi que des conseils techniques sur la santé à toutes les directions générales de programmation. Ceci devrait être fourni par un groupe expressément chargé de la SMNE à l’administration centrale du MAECD. La conception institutionnelle de l’Initiative sur la SMNE comme une stratégie thématique mise en œuvre par l’intermédiaire des mécanismes d’exécution de programme existants du MAECD et axée sur un nombre limité de pays a été efficace et bien adaptée aux priorités et aux systèmes nationaux. Fort de cette expérience, une plus grande emphase à fournir des orientations claires et opportunes aux directions générales de programmation au sujet des principaux enjeux qui sont soulevées lors de la mise en œuvre permettra d’accroître davantage l’efficacité de l’initiative.
4. Le Ministère devrait continuer d’harmoniser les rapports financiers dans le cadre de l’Initiative. Le MAECD, en consultation avec d’autres partenaires du CAD de l’OCDE, a décidé d’aller de l’avant et de mettre en œuvre, dans ses rapports sur les dépenses présentés au CAD, le système d’indicateurs du CAD sur la santé génésique, maternelle, néonatale et infantile (SGMNI). Le maintien de cet élan et la mise en œuvre complète de cette approche permettront d’accroître la transparence sur le plan de la reddition de comptes à l’égard des dépenses engagées dans le cadre de l’Initiative sur la SMNE.
5. Le Ministère devrait continuer d’accroître la durabilité de l’Initiative en maintenant un horizon stratégique à long terme et en travaillant étroitement avec des partenaires internationaux et des gouvernements nationaux dans les pays ciblés à l’élaboration, à la mise en œuvre et au maintien d’interventions efficaces. Les changements des systèmes de santé des pays bénéficiaires requièrent du temps, un financement prévisible, une prise en charge à l’échelle locale et un appui politique. Régler ces enjeux liés à ces acteurs habilitants permettra d’accélérer et de maintenir les résultats en matière de SMNE.
6. La stratégie adoptée par le Ministère pour l’obtention de résultats en matière de SMNE à travers le renforcement des systèmes de santé a été efficace. À l’avenir, lorsqu’il adoptera une telle stratégie, le Ministère devrait mieux aligner la stratégie de gestion du rendement pour l’Initiative sur la SMNE avec les éléments constitutifs du cadre s’appliquant aux systèmes de santé conçu par l’Organisation mondiale de la santé. Cela permettrait d’accroître la transparence des investissements et d’améliorer l’orientation stratégique. Dans un tel cadre, l’amélioration de la prestation des services constitue le principal extrant découlant des investissements liés à la gouvernance, au financement, aux ressources humaines, à l’information, aux technologies et à l’équipement.
7. Afin de favoriser davantage la transparence et de rendre compte des résultats aux Canadiens, le Ministère devrait établir et mettre en place un système rigoureux de suivi du rendement et de production de rapports sur la SMNE. Ce mécanisme devrait correspondre le plus possible à l’engagement du Canada à « recourir davantage à des mécanismes communs pour la gestion et la comptabilité des fonds, la production de rapports sur les progrès et l’examen du rendement »^{Note de bas de page 40}. Selon ce principe, le système de suivi du rendement et de production de rapports devrait permettre le regroupement des informations à l’échelle du Ministère tout en reconnaissant les limites d’y associer directement les résultats de l’intervention du Canada.