Évaluation du Programme des partenaires pour le développement d’Affaires mondiales Canada – 2010-2011 à 2013-2014

Septembre 2016

Remerciements

Nous tenons à souligner le travail des membres de l’équipe de consultants d’Universalia Management Group qui ont effectué cette évaluation : Marie-Hélène Adrien (chef de l’équipe d’évaluation), Halcyon Louis, Eric Abitbol, Jérôme Gandin, Mia Choinière et Lorenzo Daîeff.

La Division de l’évaluation du développement tient également à remercier tous ceux et celles qui ont contribué à cette évaluation. Cela comprend la Direction générale des partenariats pour l’innovation dans le développement, en particulier au groupe d’Analyses et Impacts, qui a fourni un soutien tout au long du processus, de même que le personnel des programmes pays à l’administration centrale et sur le terrain qui a fourni de la documentation et participé aux entrevues au cours des visites sur le terrain au Bangladesh, au Burkina Faso et en Éthiopie. Bien d’autres intervenants se sont portés volontaires pour des réunions, des entrevues et des visites de sites de projets, dont des fonctionnaires, des représentants des donateurs, des partenaires de mise en œuvre, des organisations de la société civile et des consultants individuels qui ont été généreux de leur temps et qui ont fourni à l’équipe d’évaluation de l’information précieuse sur leurs programmes et projets.

À la Division de l’évaluation du développement, l’évaluation a été gérée par Sandra Gagnon et supervisée par Tara Carney.

David Heath
Chef de l’évaluation du développement

Liste des acronymes et des abréviations

ACDI

Ancienne Agence canadienne de développement international

AMC

Affaires mondiales Canada

APD

Aide publique au développement

CAD

Comité d’aide au développement (de l’OCDE)

CCCI

Conseil canadien pour la coopération internationale

CGF

Conseiller en gestion financière

CMR

Cadre de mesure du rendement

EF

Exercice financier

GAR

Gestion axée sur les résultats

KFM

Partenariats pour l'innovation dans le développement

MAECD

Affaires étrangères, Commerce et Développement Canada

MAECI

Ministère des Affaires étrangères et du Commerce international

MFM

Enjeux mondiaux et développement

OCDE

Organisation de coopération et de développement économiques

ODD

Objectifs de développement durable

OERF

Outil d'évaluation du risque fiduciaire

ONG

Organisation non gouvernementale

OSC

Organisation de la société civile

PPA

Processus de programmation autorisé

SCM

Planification ministérielle, finances et technologies de l'information (dirigeant principal des finances)

s.d.

Sans date disponible

SGD

Gestion des subventions et des contributions

SGMNE

Santé génésique, des mères, des nouveau-nés et des enfants

SMNE

Santé des mères, des nouveau-nés et des enfants

Sommaire exécutif

Le présent rapport expose les constatations, les conclusions, les leçons et les recommandations qui découlent de l’évaluation du Programme des partenaires pour le développement d’Affaires mondiales Canada au cours de la période allant de 2010-2011 à 2013-2014, y compris les décaissements dans le cadre de l’appel de propositions^{Note de bas de page 1}. L’évaluation s’est déroulée de mars 2015 à janvier 2016.

Justification, finalité et objectifs

L’évaluation a été entreprise à des fins d’apprentissage et de reddition de comptes afin de soutenir l’amélioration du Programme et de présenter une évaluation fondée sur des données probantes quant à la pertinence, l’efficacité, l’efficience et la durabilité du Programme des partenaires pour le développement pour ce qui est de l’atteinte des résultats escomptés.

Les objectifs de l’évaluation étaient les suivants :

• i. examiner les résultats obtenus par le Programme des partenaires pour le développement de 2010-2011 à 2013-2014 en ce qui a trait à la pertinence, à l’efficacité, à l’efficience, à la durabilité, aux thèmes transversaux et à la gestion du rendement^{Note de bas de page 2};
• ii. évaluer les constatations, les conclusions et les leçons, et formuler des recommandations dans le but d’améliorer le Programme^{Note de bas de page 3}.

Contexte du Programme des partenaires pour le développement

Le Programme des partenaires pour le développement (le Programme)^{Note de bas de page 4} a été établi en juillet 2010 conformément au Cadre pour la modernisation et l’efficacité des partenariats du Ministère, dans le but d’appuyer la participation des acteurs canadiens du développement. Le Cadre visait à concentrer 50 % des fonds disponibles pour les acteurs canadiens du développement (ci-après appelés partenaires canadiens) dans 20 pays ciblés. Le Programme a financé les propositions les plus méritoires soumises par des partenaires canadiens de toutes tailles afin d’accroître les possibilités d’une programmation en développement ciblée et axée sur les résultats. À partir de 2010, des projets ont été sélectionnés au moyen d’un mécanisme d’appels de propositions, utilisé pour accroître la transparence pendant la sélection des projets.

Méthodologie

Le Programme a été évalué au moyen d’une approche axée sur l’usage (utilisation-focused approach) faisant appel à des méthodes mixtes et à des techniques participatives. Les activités d’évaluation ont été réalisées en trois phases : le lancement, la collecte de données ainsi que l’analyse des données et la production de rapports. Les données ont été recueillies au moyen de consultations auprès des intervenants, d’examens de documents, d’un examen du portefeuille des projets, d’un sondage électronique et de visites dans les pays. Un échantillon non aléatoire choisi à dessein de 50 projets sur les 322 projets financés par le Programme au cours de la période d’évaluation a été sélectionné. Un atelier visant à reconstruire la théorie du changement du Programme a eu lieu en avril 2015.

Principaux messages

Dans l’ensemble, la qualité du partenariat entre Affaires mondiales Canada et les partenaires canadiens s’est améliorée au cours de la période d’évaluation. Toutefois, des questions ont été soulevées quant à la souplesse de certaines modalités opérationnelles utilisées par le Programme (p. ex. l’utilisation d’appels de propositions) et à la capacité du Programme de mettre en œuvre des pratiques susceptibles de contribuer à l’atteinte de résultats et de durabilité. Des améliorations sont nécessaires à ces égards afin d’accroître la capacité du Programme à atteindre les résultats escomptés, tant au niveau des extrants que des résultats. En général, le Programme a contribué à la mise en œuvre du Plan d’action pour accroître l’efficacité de l’aide du gouvernement du Canada et a démontré sa pertinence à répondre aux besoins des pays partenaires dans sa programmation. Les activités du Programme ont permis à la Direction générale d’aiguiller les partenaires vers les priorités ministérielles clés, d’encourager la créativité dans la conception des projets et de permettre la sélection des projets les plus méritoires.

Le Programme a tiré parti des ressources canadiennes pour la coopération technique nord-sud, a appuyé le Plan d’efficacité du développement du gouvernement du Canada, a favorisé l’établissement de partenariats entre le gouvernement et les organisations de la société civile canadienne, a appuyé le maintien ou l’établissement de partenariats nord-sud et a contribué à la réalisation de résultats de développement durables et à la prestation d’aide humanitaire.

Le Programme était pertinent par rapport aux priorités du Canada et aux besoins des pays partenaires. La gestion et la mise en œuvre du Programme se sont stratégiquement harmonisées avec la planification aux niveaux de la Direction générale, du Ministère ainsi qu’avec le Plan d’action du Canada sur l’efficacité de l’aide. Le Programme était en outre pertinent pour répondre aux besoins des pays partenaires et des collectivités bénéficiaires en ce qui a trait à la mise en œuvre de programmes de développement axés sur les résultats.

Les partenariats entre les partenaires canadiens et leurs homologues à l’échelle des pays faisaient intervenir des acteurs divers (organisations non gouvernementales, universités, secteur privé, etc.) et reflétaient l’adoption de bonnes pratiques. La qualité du partenariat entre la Direction générale et les partenaires canadiens a régressé avec l’instauration du mécanisme d’appels de propositions.

L’atteinte des résultats escomptés à l’échelon du Programme étaient variables. Même si l’on a observé des preuves de l’atteinte des extrants et des résultats immédiats, il n’y avait pas suffisamment de données disponibles sur l’atteinte de résultats intermédiaires et ultime à l’échelle du Programme. La grande variété de types de projets, d’objectifs et d’indicateurs, de même que la capacité limitée de production de rapports des partenaires de mise en œuvre, en particulier les partenaires de mise en œuvre locaux qui avaient déjà de la difficulté à présenter des données de résultats détaillées conformément aux lignes directrices du Programme sur la présentation de rapports, représentaient certaines des contraintes pratiques relativement au regroupement de résultats à l’échelle du Programme.

L’évaluation a relevé un certain nombre de facteurs propices (p. ex. partenariats de longue date et solide capacité de gestion de projet des partenaires de mise en œuvre locaux) qui ont facilité l’atteinte de résultats. En revanche, elle a également relevé des facteurs qui entravaient l’atteinte de résultats (p. ex. délais serrés des activités du projet). Les écarts d’efficacité entre les projets n’étaient pas faciles à expliquer et ne pouvaient être attribués à un seul facteur.

Pour la période visée, l’intégration des thèmes transversaux dans le Programme était variable. Malgré une intégration réussie de l’égalité entre les sexes et de la durabilité de l’environnement en tant que thèmes transversaux à l’échelle du Programme et des projets, l’intégration de la gouvernance à l’échelle des projets manquait de clarté et d’uniformité parce que les différents partenaires en avaient une compréhension différente.

Le Programme a connu des retards en ce qui a trait à l’approbation des projets. Les motifs des retards étaient souvent multiples, allant d’enjeux techniques dans le processus de propositions jusqu’à des enjeux dans le processus décisionnel. La capacité des ressources humaines, entre autres, était également insuffisante pour satisfaire aux exigences administratives du mécanisme d’appels de propositions.

Le Programme a ajouté de la valeur au programme de développement du Canada grâce à sa capacité à répondre aux besoins et à aider les populations mal desservies dans les pays partenaires et en apportant un complément au programme d’aide bilatérale. Le programme d’aide au développement comportait de multiples niveaux, et le Programme a contribué à l’obtention de résultats de développement dans des pays en développement et à la participation de la société civile canadienne à de la programmation de développement. Grâce au soutien qu’il a permis d’offrir à de petits projets, le Programme a aussi généré des occasions, pour des collectivités, de profiter d’idées novatrices et de pratiques exemplaires.

Bien que les partenaires canadiens et les agences de mise en œuvre locales aient démontré leur engagement à obtenir des résultats en matière de développement, le Programme s’est heurté à des difficultés sur le plan de la durabilité à l’échelle des projets. Il y avait un manque de stratégie claire pour assurer la durabilité financière et des ressources humaines des projets, y compris la capacité des agences de mise en œuvre locales à accéder aux ressources des projets auprès de sources locales.

La conception du Programme a été améliorée par l’accent mis sur le partenariat avec les organisations de la société civile, et de solides motifs ont été fournis pour travailler avec les organisations de la société civile et par l’entremise de celles-ci afin d’obtenir des résultats de développement international. Un modèle logique et un cadre de mesure du rendement sont des outils essentiels pour faire en sorte qu’un programme exerce une gestion axée sur l’obtention de résultats de développement. L’absence d’un modèle logique approuvé pour le Programme a créé un important défi pour l’évaluation des résultats intermédiaires et ultime à l’échelle du Programme. La théorie du changement reconstruite était ambitieuse, mais contenait des hypothèses inexactes qui ont nui à la capacité du Programme d’atteindre ses résultats de développement.

Un autre problème lié à la conception était que le personnel d’Affaires mondiales Canada et les partenaires canadiens ont indiqué que la mise à l’échelle des projets était rare en raison d’un manque de communication entre les différents mécanismes de programmation d’Affaires mondiales Canada, et le manque de familiarité avec la programmation du partenariat de la part du personnel des programmes bilatéraux et des employés canadiens sur le terrain.

Bien qu’il y ait eu communication et mise en commun de savoir au cours de la mise en œuvre des projets, il y a moins de données probantes à l’appui d’une gestion systématique du savoir dans le cadre du Programme. Des exemples de communication et de mise en commun de savoir ont été trouvés au niveau de la mise en œuvre des projets, mais certaines agences de mise en œuvre locales ont estimé que les partenaires de projets n’avaient pas suffisamment de possibilités d’apprentissage.

Recommandations

Recommandation 1 : Améliorer la gestion du rendement a) en révisant le modèle logique et la théorie du changement du Programme, et b) en intégrant les lignes directrices pour les thèmes transversaux à sa programmation. Il sera en particulier important d’assurer un suivi et une production de rapports robustes concernant les résultats intermédiaires au niveau du Programme.

Recommandation 2 : Veiller à ce que les partenaires canadiens intègrent des plans de sortie et des stratégies de durabilité qui sont dotés de ressources adéquates lors du design de tous les projets afin de favoriser la durabilité des résultats.

Recommandation 3 : Collaborer avec les partenaires canadiens pour appuyer un transfert des connaissances systématique plutôt qu’occasionnel au niveau des projets du Programme.

Recommandation 4 : Améliorer les communications entre les différents mécanismes de programmation d’Affaires mondiales Canada afin de faciliter la mise à l’échelle des projets.

Recommandation 5 : Déployer des efforts pour limiter les retards dans les approbations de projets qui relèvent du Programme. Cela peut comprendre l’examen et la rationalisation des processus internes ou une meilleure gestion de la capacité interne.

Réponse de la direction

Aperçu

La Division de l’évaluation du développement d’Affaires mondiales Canada a procédé à une évaluation ministérielle du Programme des partenaires pour le développement (2010-2011 à 2013-2014) au cours de la dernière année. L’évaluation a été effectuée au moyen d’une approche méthodologique systématique comprenant l’examen d’une grande quantité de documents du Ministère, du Programme et de projets, des visites sur le terrain dans trois pays en développement pertinents pour le Programme, des entrevues avec plus de cent soixante parties prenantes, de même qu’un sondage auprès de dizaines d’organisations canadiennes en vue de produire des données fiables qui ont servi de base aux constatations, aux conclusions et aux recommandations de ce rapport d’évaluation. L’évaluation tire de nombreuses conclusions positives au sujet du Programme pour ce qui est des éléments suivants : 1) faire progresser le Plan d’action du Canada sur l’efficacité de l’aide, 2) combler les lacunes dans le processus de développement en mettant l’accent sur les besoins des collectivités les plus pauvres et les plus vulnérables, 3) unir une vaste gamme de partenaires canadiens et du Sud en vue de soutenir des initiatives de développement international, 4) transférer les compétences et les ressources pour aider à renforcer les capacités des partenaires du Sud et 5) investir dans l’égalité entre les sexes. Toutes les cinq recommandations formulées dans le rapport ont été acceptées, dont trois avec des modifications.

La Direction générale des partenariats pour l’innovation dans le développement (KFM) prend note des écarts de rendement ciblés par les évaluateurs en ce qui a trait au Programme des partenaires pour le développement. Bon nombre de ces écarts sont semblables à ceux que l’on retrouve dans les évaluations d’autres projets et programmes de la programmation d’aide au développement d’Affaires mondiales Canada, plus particulièrement en ce qui a trait à la durabilité, à la mesure des résultats, à la synergie en matière de développement et à d’autres questions opérationnelles. Bien qu’il soit évident que ces questions ne sont pas nécessairement propres aux partenariats avec la société civile canadienne, étant donné qu’elles sont indissociables des défis liés à la gestion de projet dans le secteur du développement international, la direction de KFM accueille favorablement l’occasion d’examiner et d’améliorer le rendement de sa programmation. Les recommandations formulées dans la présente évaluation donnent à la direction un élan supplémentaire pour s’appuyer sur les réalisations antérieures et combler les lacunes persistantes dans l’ensemble de la programmation de KFM, comme en témoignent l’engagement et les mesures proposées dans le tableau ci-après. De plus, dans le cadre de son exercice sur la gestion du changement, KFM a déjà entamé des réflexions sur la façon de renforcer bon nombre des questions cernées. KFM mettra sur pied un groupe de travail interne, composé d’au moins un représentant de chacune de ses trois directions^{Note de bas de page 5}, pour superviser et surveiller la mise en œuvre de la présente réponse de la direction.

1. Introduction

Le rapport expose les constatations, les conclusions, les leçons et les recommandations qui découlent de l’évaluation du Programme des partenaires pour le développement d’Affaires mondiales Canada^{Note de bas de page 6} au cours de la période allant de l’exercice financier 2010-2011 à 2013-2014^{Note de bas de page 7}. L’évaluation s’est déroulée de mars 2015 à janvier 2016. Voir l’annexe II pour un aperçu du Programme durant la période d’évaluation.

1.1 Justification, finalité et objectifs de l’évaluation

Conformément aux exigences de la Loi sur la gestion des finances publiques du Canada et à la Politique sur l’évaluation du Conseil du Trésor du Canada (2009), cette évaluation a été réalisée à des fins de responsabilisation et d’apprentissage afin d’appuyer l'amélioration des politiques et des programmes et fournir aux Canadiens une évaluation fondée sur des données probantes quant à la pertinence, l'efficience, l'efficacité et la viabilité du Programme pour ce qui est d'atteindre des résultats de développement international.

Les objectifs spécifiques de l'évaluation étaient les suivants :

• i. examiner les résultats obtenus grâce au Programme de 2010-2011 à 2013-2014 en fonction de la pertinence, de l’efficacité, de l’efficience et de la durabilité, des thèmes transversaux et de la gestion du rendement^{Note de bas de page 8};
• ii. évaluer et diffuser les constatations, les leçons et les conclusions, et formuler des recommandations pour améliorer le Programme^{Note de bas de page 9};

1.2 Objet et portée de l’évaluation

L’objet de l’évaluation était le Programme des partenaires pour le développement d’Affaires mondiales Canada (le Programme). La portée couvrait les décaissements liés au Programme de 2010-2011 à 2013-2014, notamment celles engagées dans le cadre du mécanisme de sélection des appels de propositions.

2. Méthodologie

L’évaluation a été menée en fonction d’une approche axée sur l’utilisation (utilisation-focused approach) et qui incluaient des méthodes mixtes et des techniques de participation. Elle était fondée sur les principaux critères d’évaluation du Comité d'aide au développement (CAD) de l'Organisation de coopération et de développement économiques (OCDE), soit la pertinence,l’efficacité, l’efficience et la durabilité. Ces critères reflètent la Politique sur l'évaluation du Conseil du Trésor du Canada. L’évaluation comptait 33 questions ainsi que des questions supplémentaires sur les partenariats, la conception du Programme, la mesure du rendement et le partage des connaissances. Voir l’annexe IV pour un aperçu de la méthodologie de l’évaluation.

L’évaluation s’est déroulée en trois étapes : le lancement, la collecte des données ainsi que l’analyse de données et la production de rapports. Les données ont été recueillies dans le cadre de consultations avec les parties prenantes concernées par le Programme et les projets, de l’examen de documents, de l’examen d’un portefeuille de projets, d’un sondage électronique et de visites de pays. Les employés responsables du Programme à l’administration centrale ont également participé en avril 2015 à un atelier sur la théorie du changement, conçu pour accroître la prise en charge de l'évaluation au niveau du Programme afin d’appuyer les améliorations tournées vers l’avenir.

Puisque l’évaluation ne visait pas à dégager des généralisations en fonction de la signification statistique, le recours à un échantillonnage non statistique a permis de centrer l’évaluation sur des critères et des catégories prédéfinis afin d’optimiser la qualité des réponses aux questions clés de l’évaluation. Cette approche stratégique d’échantillonnage a accru la pertinence de l’évaluation pour les utilisateurs finaux identifiés. En fonction des critères définis – reflet des diverses catégories de projets, multitude de tailles et de valeurs, priorités thématiques d’Affaires mondiales Canada (AMC), projets correspondant aux critères « d’évaluabilité », par exemple, la disponibilité d’une documentation adéquate aux fins d’examen ou l’atteinte d’un niveau d'achèvement suffisant, et d’autres critères jugés pertinents par Affaires mondiales Canada pour la sélection des projets – 50 projets (sur 322 projets financés par le Programme) ont été sélectionnés à l’aide des critères approuvés. Cet échantillon a constitué la base de l’examen du portefeuille et des missions sur le terrain au Bangladesh, au Burkina Faso et en Éthiopie^{Note de bas de page 10}. La sélection finale des projets était fondée sur une approche stratégique veillant à ce que l’échantillon soit suffisamment varié pour réduire la partialité de l’évaluateur et renforcer la validité ainsi que la fiabilité des résultats de l’analyse des données, et par extension, les principales constatations de l’évaluation.

La mobilisation des parties prenantes par la consultation et la participation à des ateliers a constitué un important volet de cette évaluation. Cela n’a pas compromis l’intégrité du processus d’évaluation.

3. Contexte du Programme des partenaires pour le développement

Le Programme des partenaires pour le développement^{Note de bas de page 11} a été créé en juillet 2010 conformément au Cadre pour le renouvellement et l’efficacité des partenariats, lequel visait à appuyer la participation des acteurs canadiens du développement grâce à un processus d’évaluation comparative. L’objectif était de diriger 50 % du financement disponible aux fins du développement vers les acteurs canadiens du développement (ci-après, les partenaires canadiens) dans 20 pays^{Note de bas de page 12}. Des initiatives dans d’autres pays qui étaient admissibles à l’Aide publique au développement (APD) ont bénéficié du 50 % restant du financement en développement. Le Cadre a également permis d’aligner les activités du Programme avec les objectifs de la communauté internationale en matière de développement. Le Programme reflétait donc l’intention du Canada de renforcer son alignement sur la Déclaration de Paris sur l’efficacité de l’aide (2005), et à d’autres accords mondiaux sur l’efficacité de l’aide et la réduction de la pauvreté, notamment le Programme d’action d’Accra (2008) et les Objectifs du Millénaire pour le développement (2000).

À compter de 2010, les projets ont été sélectionnés au moyen d’un mécanisme d’appels de propositions. La Direction générale des partenariats pour l’innovation dans le développement (la Direction générale) appliquait un processus d’évaluation comparative pour sélectionner les projets permettant d’obtenir de bons résultats de développement, et pour favoriser la transparence. Dans le cadre de ce mécanisme, le Programme a offert aux partenaires canadiens un accès équitable à l’information sur les occasions de financement disponibles. Durant la période d’évaluation, le but du Programme était d’optimiser l’expertise des Canadiens en matière de développement pour obtenir des résultats sur le terrain au chapitre du développement et de contribuer à réduire la pauvreté. Le Programme a financé les propositions les plus méritoires soumises par des organisations canadiennes de développement de tout acabit pour augmenter les chances de mettre sur pied une programmation de développement ciblée et axée sur les résultats^{Note de bas de page 13}. Les partenaires canadiens ayant reçu du financement dans le cadre du Programme ont dû travailler avec une ou plusieurs agences de mise en œuvre locales situées dans des pays en développement.

De 2010-2011 à 2013-2014, le Programme a décaissé environ 924 millions de dollars, ce qui correspondait à 94 % des dépenses de la Direction générale. En outre, 80 % des dépenses étaient attribuables à des propositions non sollicitées faites par des partenaires canadiens avant la mise en œuvre du Cadre pour la modernisation et l’efficacité des partenariats. Le 20 % restant a été alloué à des projets sélectionnés dans le cadre du nouveau mécanisme d’appels de propositions.

En 2010, la Direction générale a lancé un mécanisme d’appels de proposition comportant cinq catégories :

• i. Enveloppe pour les petits projets (moins de 2 millions de dollars);
• ii. Enveloppe pour les grands projets (plus de 2 millions de dollars);
• iii. Enveloppe pour les partenaires universitaires;
• iv. Enveloppe de coopération volontaire;
• v. Enveloppe des partenaires du savoir.

En tout, sept appels de propositions ont été émis durant la période d’évaluation, dont trois appartenant à l’une des cinq catégories ci-dessus^{Note de bas de page 14}. Les quatre autres appels de propositions étaient de nature spéciale, émis en réponse à des besoins émergents en matière de développement et au programme canadien de développement (voir l’encadré). Durant la même période, 124 projets, pour une valeur totale de 355 millions de dollars, ont été sélectionnés et mis en œuvre dans 58 pays en développement grâce au mécanisme d’appels de propositions.

4. Constatations

4.1 Pertinence

L’évaluation a permis de mesurer la pertinence du Programme par rapport au Plan d’action canadien sur l’efficacité de l’aide, les objectifs et les politiques ministériels, et les priorités nationales des pays partenaires dans le cadre de projets.

Constatation 1 : Le Programme a fourni un soutien stratégique pour la concrétisation du Plan d’action canadien sur l’efficacité de l’aide.

La gestion et la mise en œuvre du Programme étaient stratégiquement alignées selon trois niveaux de planification : Direction générale, Ministère, et Plan d’action canadien sur l’efficacité de l’aide. Dans le cadre de l’évaluation, les partenaires canadiens ayant reçu du financement entre 2010-2011 et 2013-2014 ont été invités à participer à un sondage en ligne. Plus de 70 % des répondants (29 sur 40) ont indiqué que le Programme était pertinent avec le mandat et les besoins de leurs organisations respectives, de même qu’avec les objectifs stratégiques de la Direction générale, et donc ceux d’Affaires mondiales Canada.

Le Programme était aligné sur les cinq priorités thématiques du Canada au titre de l’Enveloppe de l’aide internationale : i) accroître la sécurité alimentaire; ii) assurer l’avenir des enfants et des jeunes; iii) favoriser une croissance économique durable; iv) promouvoir la démocratie; v) promouvoir la stabilité et la sécurité^{Note de bas de page 15} (80 % de la programmation du Programme de partenaires pour le développement visait les trois premières priorités). En outre, le Programme appliquait la Loi sur la responsabilité en matière d’aide au développement officielle (2008), laquelle faisait en sorte que toute l’aide officielle au développement soit dirigée vers les principes d’efficacité de l’aide et de réduction de la pauvreté dans le respect des valeurs canadiennes, notamment la citoyenneté mondiale, l’équité et la durabilité environnementale^{Note de bas de page 16}.

Dans le contexte mondial, le Canada a adhéré à plusieurs accords internationaux de développement visant l'efficacité de l'aide et la réduction de la pauvreté^{Note de bas de page 17}. Afin de respecter les engagements d’Affaires mondiales Canada, le Programme a financé des projets reflétant le programme d’action sur l’efficacité de l’aide (2007). Dans le cadre du processus d'évaluation, l'examen des projets sélectionnés aux fins de financement a confirmé que tous les projets respectaient les principes du programme d’action d’Accra de 2008.

Après 2013-2014, le Programme est demeuré pertinent en ce qui a trait aux efforts d’Affaires mondiales Canada en matière de développement international. Dans le cadre du soutien fourni par le Canada au titre du Partenariat mondial pour une coopération efficace au service du développement, Affaires mondiales Canada a lancé en février 2015, une Politique de partenariat avec la société civile qui énonçait les principes concernant la collaboration avec les partenaires canadiens pour réduire la pauvreté mondiale et offrir de l’aide humanitaire^{Note de bas de page 18}. Les priorités et les thèmes transversaux d’Affaires mondiales Canada, qui figuraient dans le Programme, étaient également des priorités thématiques des Objectifs en matière de développement durable établis par la communauté du développement international en septembre 2015^{Note de bas de page 19}.

Constatation 2 : Il y avait une étroite concordance entre les projets financés dans le cadre du Programme et les priorités thématiques du Plan d’action du Canada sur l’efficacité de l’aide.

Comme indiqué ci-dessus, en 2010-2011, une nouvelle modalité de financement, le mécanisme d’appels de propositions, a été mise en place pour soutenir la sélection de projets dans le cadre du Programme. L’une des hypothèses de ce nouveau processus est qu’un appel ciblé de propositions veillerait à ce que les projets s’alignent davantage aux priorités thématiques d’Affaires mondiales Canada et aux pays cibles (voir section 4.7, Conception, pour un examen critique du mécanisme d’appels de propositions). Concernant les projets, de nombreuses données ont indiqué un fort alignement entre les projets sélectionnés dans le cadre du mécanisme d’appels de propositions et le Plan d’action sur l’efficacité de l’aide.

Le nouveau processus prévoyait un objectif selon lequel 50 % du financement serait alloué aux pays cibles d’Affaires mondiales Canada d’ici 2012-2013 (le reste étant alloué aux pays admissibles à l’APD où le Canada est présent), et un objectif selon lequel 80 % du Programme viserait trois priorités thématiques du Ministère (soit la sécurité alimentaire, les enfants et les jeunes et la croissance économique durable).

L'objectif visant une harmonisation accrue entre la programmation du Programme des partenaires pour le développement et le Plan d’action du Canada sur de l'efficacité de l’aide a été atteint avec succès. L’examen du portefeuille^{Note de bas de page 20} a prouvé un alignement géographique et thématique entre la sélection des projets et les objectifs stratégiques d’Affaires mondiales Canada. L’alignement stratégique du processus de sélection des projets se retrouvait également dans la théorie du changement reconstruite pour le Programme^{Note de bas de page 21}, élaborée durant un atelier de théorie du changement à Affaires mondiales Canada. Parmi les facteurs faisant en sorte que le Programme aurait atteint son objectif ultime, l’Objectif du Canada en matière de politiques et de développement international (voir Théorie du changement reconstruite, annexe IV), était l’allocation d’au moins 80 % des fonds du Programme aux priorités thématiques d’Affaires mondiales Canada touchant le développement^{Note de bas de page 22}.

Le Programme a surpassé son objectif qui était d’allouer 80 % de ses fonds à des projets liés à ses trois priorités thématiques, comme l’indique le tableau 1.

Source : Direction générale des partenariats pour l'innovation dans le développement, document interne, s.d.

Constatation 3 : Les projets financés au moyen du Programme des partenaires pour le développement étaient pertinents aux besoins des pays et des communautés bénéficiaires.

Le Programme a été conçu pour favoriser la collaboration entre les partenaires canadiens et les agences de mise en œuvre locales dans les pays en voie de développement concernant la mise en place de programmes de développement axés sur les résultats. Une des caractéristiques clés du Programme a été la collaboration Nord-Sud, fondée sur la mise en commun de connaissances et d'expertise pour appuyer les résultats en matière de développement durable. Les partenaires canadiens et les agences de mise en œuvre locales englobaient une vaste gamme d'organisations de la société civile, notamment des organisations non gouvernementales, des organisations sans but lucratif et dirigées par des bénévoles, des universités, des fondations et des associations professionnelles, qui pouvaient aussi avoir collaboré avec des agences gouvernementales ou avec le secteur privé lors de la mise en œuvre de projets.

L’évaluation a permis de constater que les demandes présentées dans le cadre du Programme devaient fournir des renseignements sur la pertinence des résultats des projets pour le pays concerné. L’examen du portefeuille a dégagé des exemples d’alignement entre les objectifs du projet et les investissements nationaux dans le secteur social (notamment, les stratégies nationales de réduction de la pauvreté). Par exemple, tant en Éthiopie qu’au Zimbabwe, un projet mené par CARE, soit l’Initiative régionale africaine sur la nutrition, soutenait les objectifs nationaux liés à la santé et à la nutrition, notamment la mise en œuvre et la mise à l’échelle des programmes à l'échelle nationale.

Pour atteindre les objectifs stratégiques du Programme, le principal critère utilisé pour sélectionner les projets à financer a été la preuve de partenariat entre les partenaires canadiens et les agences de mise en œuvre locales pour garantir l’atteinte des résultats au chapitre du développement dans les pays visés. L’examen des propositions de projet a révélé qu’on devait confirmer, dans les demandes, si les agences de mise en œuvre locales avaient procédé à une évaluation, dans les communautés, des besoins du public cible. Cette information a été utilisée pour déterminer les besoins de la communauté ainsi que les capacités existantes à l’appui de la mise en œuvre des activités. Le projet sur la santé des personnes handicapées, des mères et des enfants mis en œuvre par le Centre for Rehabilitation of the Paralysed (avec l’aide de l’Université Queen’s) est un exemple d’évaluation des besoins de la communauté.

Plus particulièrement, l’examen du portefeuille a permis d’attribuer des notes sur la pertinence fondées sur une évaluation combinée de plusieurs critères, dont les suivants : la pertinence par rapport au pays et au contexte, la pertinence par rapport aux priorités stratégiques d’Affaires mondiales Canada, la pertinence relativement au Plan d’action pour accroître l’efficacité de l’aide, la pertinence relativement aux bénéficiaires et la complémentarité du Programme par rapport aux efforts des autres donateurs et gouvernements. Des 50 projets examinés, 34 ont obtenu la note « élevée » ou « importante » en matière de pertinence; 16 ont reçu la note « faible » ou « modeste ». La moyenne globale de tous les projets au chapitre de la pertinence s’est située près de la note « importante » (voir l’annexe VIII). En se fondant sur l’analyse de l’examen du portefeuille, d’entrevues et de travaux réalisés sur le terrain, les observations qualitatives suivantes au sujet de la pertinence des projets peuvent être ajoutées :

• Les projets ont semblé être très pertinents et alignés avec les objectifs stratégiques d’Affaires mondiales Canada (une conséquence directe des mécanismes de sélection des projets); la plupart des personnes interrogées et des répondants au sondage ont confirmé ce point de vue.
• En général, les projets ont mieux cadré avec les priorités d’Affaires mondiales Canada ou avec celles des partenaires locaux qu’avec celles des gouvernements locaux (p. ex. cadre stratégique de lutte contre la pauvreté), ou, à tout le moins, le lien n’a pas toujours été évident. Ceci étant dit, un certain nombre de projets ont collaboré étroitement avec les autorités locales et nationales.^{Note de bas de page 23}
• Les concepts d’« évaluations des besoins » et de « lignes de base » n’ont pas toujours été bien compris, comme le démontrent les diverses interprétations constatées dans l’ensemble des projets. Dans de nombreux cas, les évaluations des besoins ont été interprétées comme devant être des consultations entre le partenaire canadien et les partenaires locaux (ces derniers étant censés être à l’écoute des besoins des bénéficiaires), et non comme devant être des évaluations officielles (et participatives) des besoins des bénéficiaires. Toutefois, les personnes interrogées ont laissé entendre qu’Affaires mondiales Canada avait resserré les lignes directrices relatives aux évaluations des besoins et aux lignes de base à la fin de la période d’évaluation.
• L’évaluation n’a pas permis de trouver des projets clairement non pertinents pour les bénéficiaires. Toutefois, les missions sur le terrain ont visité des projets dont la pertinence était ambiguë (c.-à-d. des projets visant à combler un besoin pas nécessairement prioritaire ou des projets qui n’ont pas semblé avoir amélioré considérablement la situation) et des projets qui n’ont pas semblé avoir aidé les personnes pauvres les plus démunies (p. ex. projets d’éducation en milieu urbain).
• Peu de données probantes ont été recueillies sur la coordination et l’alignement avec d’autres donateurs ou avec d’autres projets de développement dans la région.
• Il n’y avait que des données probantes partielles indiquant que le financement du Programme a servi à compléter d’autres mécanismes de financement d’Affaires mondiales Canada (comme de nombreuses personnes interrogées l’ont laissé entendre). Toutefois, certaines personnes interrogées ont aussi mentionné que ce problème avait été partiellement reconnu au moment de l’évaluation et que des mesures avaient été prises pour le régler, incluant la résolution du manque de communication entre les employés de l’administration centrale et ceux sur le terrain lesquels pouvaient avoir eu une connaissance limitée de la programmation du partenariat.

4.2  Partenariat

L’évaluation a permis de cerner plusieurs types de partenariat pouvant avoir une incidence sur la mise en œuvre du Programme. Étant donné l’importance des deux types de partenariats suivants pour atteindre des résultats dans le cadre du Programme et des projets, les constatations de l’évaluation ont été établies à partir d’une analyse de l’accord de partenariat entre : 1) Affaires mondiales Canada et les partenaires canadiens, et 2) les partenaires canadiens et les agences de mise en œuvre locales.

Constatation 4 : Le partenariat entre les partenaires canadiens et leurs homologues régionaux était fondé sur de bonnes pratiques.

La mise en œuvre des projets sous le Programme a bénéficié de bons partenariats au niveau des projets. Les consultations avec les partenaires canadiens et les agences de mise en œuvre locales ont permis de dégager des exemples de projets qui adhéraient à plusieurs bonnes pratiques en matière de partenariats pour le développement (voir l’encadré)^{Note de bas de page 24}. Par exemple, pour sa mise en œuvre, le projet de l’ADRA Securing Mothers’ and Infants’ Lives with Equity (protéger la vie des mères et des nouveau-nés par l’équité) au Cambodge (2012-2015) a bénéficié de la collaboration de l’agence de mise en œuvre locale, une organisation non gouvernementale locale et le ministère provincial de la Santé. Le projet s’inspirait des pratiques établies à la suite de la création de groupes de promotion de la santé des mères et des enfants, qui visaient à diffuser de l’information sur la santé génésique et les enjeux de développement de l’enfant, et ont mené à un projet pilote de transport communautaire pour les mères et les enfants, dont les utilisateurs se sont dits très satisfaits.

L'évaluation a permis de constater que la collaboration entre les partenaires canadiens et les agences de mise en œuvre locales était de nature variée et faisait intervenir des partenaires d’organisations d’aide internationale et de développement, des coalitions, des organisations non gouvernementales indépendantes, des universités et des associations professionnelles. Dans certains cas, les partenaires ont également collaboré avec le secteur privé ou avec des agences gouvernementales dans les pays partenaires afin d’appuyer la mise en œuvre d’activités de projet.

De nombreux partenariats ont aussi été fondés sur des collaborations de longue date (en moyenne de deux à quatre décennies de collaboration) entre certains partenaires canadiens et agences de mise en œuvre locales. L’évaluation n’a révélé que deux projets sur un total de 50 (soit 4 % de tous les projets examinés) ayant présenté des partenariats difficiles. Ces deux projets ont été frappés par des retards dans la mise en œuvre et par une incapacité à atteindre leurs résultats de développement.

Constatation 5 : L’introduction du mécanisme d’appels de propositions a accru le caractère neutre du processus, mais a réduit la qualité du partenariat entre la Direction générale et les partenaires canadiens.

Avant la mise en place du mécanisme d’appels de propositions^{Note de bas de page 25}, les partenaires canadiens présentaient des propositions non sollicitées aux fins d’examen. Ils ont reçu l’appui du personnel du Programme sous la forme de consultations ouvertes ainsi que de la formation et de l'encadrement pour l’élaboration des propositions. L’implantation du mécanisme d’appels de propositions visait à simplifier les processus administratifs et à favoriser l'efficience et la transparence des processus de sélection des projets et de financement (voir tableau 2 pour de plus amples informations). Comme il a été confirmé lors de consultations avec le personnel du Programme et les partenaires canadiens, avant la mise en place du mécanisme des appels de propositions, le personnel du Programme était plus accessible pour les demandeurs de financement et pouvait fournir des précisions durant le processus d’élaboration des propositions.

L’accès au personnel du Programme par les demandeurs potentiels a été réduit entre 2010-2011 et 2011-2012 pour assurer le maintien des niveaux de transparence et d’intégrité souhaité durant la sélection des projets^{Note de bas de page 26}. Par conséquent, la qualité perçue du partenariat entre la Direction générale et les partenaires canadiens, y compris les partenaires de longue date et les nouveaux, a chuté au cours de cette période selon les entrevues et les groupes de discussion. Le sondage effectué en octobre 2015 dans le cadre de cette évaluation a indiqué que les partenaires canadiens étaient « plutôt insatisfaits » du mécanisme d'appels de propositions. Plus précisément, 64 % des répondants étaient « plus ou moins en désaccord » ou « totalement en désaccord » avec l'énoncé voulant que leur organisation était « satisfaite du rythme des processus de sélection et d’approbation des projets dans le cadre du mécanisme d’appels de propositions ». En outre, 51 % des répondants ont indiqué que la charge de travail de leur organisation avait augmentée en raison des exigences redditionnelles du nouveau mécanisme.

Des constatations similaires sont ressorties d’un sondage mené en 2014 par le Conseil canadien pour la coopération internationale (CCCI) sur les organisations de la société civile canadienne, pour évaluer l’expérience de ces organisations avec le mécanisme d’appels de propositions. Selon ce sondage, « la relation de financement institutionnel, autrefois stable, entre l’ACDI/MAECD et la société civile a été gravement affaiblie pour l’ensemble des organisations, incluant celles qui entretenaient des relations de longue date ». Les résultats du sondage du CCCI révélaient également que le mécanisme d’appels de propositions avait une incidence sur la capacité des partenaires canadiens à assurer la subsistance de leur organisation et à maintenir une programmation et des partenariats dans les pays partenaires.

Sources : Sources multiples – examen de documents; consultations avec les parties prenantes

4.3 Efficacité

L’évaluation a fondé son analyse de l’efficacité de la mesure dans laquelle le Programme a atteint les objectifs définis dans l’ébauche de son modèle logique. Puisque ce dernier n’a pas été approuvé au niveau de la Direction générale ou du Ministère, l’évaluation a également puisé dans la version reconstruite de la théorie du changement du Programme, définie lors d’un atelier avec les employés du Programme^{Note de bas de page 27}.

Constatation 6 : Le bilan des résultats au niveau du Programme est mitigé. Il y a des preuves solides de la réalisation des extrants et des résultats immédiats, et des preuves négligeables de l’atteinte des résultats intermédiaires^{Note de bas de page 28}.

Le Programme est parvenu à atteindre ses extrants escomptés pendant la période d’évaluation avec la presque totalité des projets échantillonnés obtenant d’excellents résultats. L’examen du portefeuille de projets a montré que le tiers des projets évalués a obtenu des résultats immédiats. Toutefois, le Programme n’a pas colligé les extrants et les résultats immédiats à l’échelle du Programme. En conséquence, le Programme n’était pas en mesure de rendre compte des résultats intermédiaires et ultimes des projets.

Des contraintes pratiques ont empêché le regroupement des résultats au niveau du Programme en raison de la vaste gamme de types de projets, d’objectifs et d’indicateurs ainsi que de capacités limitées de présentation de rapports des partenaires de mise en œuvre, particulièrement les partenaires de mise en œuvre locaux, qui avaient déjà de la difficulté à respecter les exigences de présentation des résultats détaillés respectant les lignes directrices du Programme en matière de présentation de rapports. En outre, les rapports sur les résultats intermédiaires et ultimes étaient limités par l’existence de résultats globaux qui se produisirent des mois ou des années après la fin des projets. Ainsi, en l’absence de ressources humaines et financières permettant le suivi de l’atteinte des résultats, la responsabilité du suivi et de la production de rapports sur les résultats intermédiaires des projets n’était pas bien définie. Il était donc très difficile pour les organisations partenaires d’établir un lien entre les extrants et les résultats intermédiaires obtenus, et les résultats globaux, qui étaient souvent liés à des indicateurs nationaux sur lesquels les petits projets financés par le Programme, n’auraient que peu d’influence.

Dans le Rapport ministériel sur le rendement, par exemple les rapports sur le Programme étaient typiquement axés sur des données fondées sur la perception (comme le niveau de satisfaction par rapport aux progrès réussis), mais ne présentaient pas les résultats au niveau du Programme. La figure 1 fournit des exemples de l’atteinte des résultats dans le cadre du Programme.

Figure 1 : Exemples de l’atteinte des résultats

Constatation 7 : L’efficacité globale du Programme a été influencée par plusieurs facteurs qui ont permis ou entravé l’atteinte des résultats au niveau des projets. Les écarts d’efficacité entre les projets n’étaient pas faciles à expliquer et ne pouvaient être attribués à un seul facteur.

Les constatations découlant de l’examen du portefeuille et des missions sur le terrain au Bangladesh, au Burkina Faso et en Éthiopie ont permis de déceler un certain nombre de facteurs facilitant l’atteinte de résultats. Parmi ceux-ci, notons un appui politique fort aux projets et une longue histoire de collaboration entre les partenaires du projet. Certains facteurs, en contrepartie, entravaient les progrès vers l’atteinte des résultats escomptés pour les projets et le Programme, notamment des contraintes touchant la conception du Programme, comme la brève durée des activités du projet, ainsi que des obligations relatives à des facteurs externes comme les défis contextuels au niveau du projet (défis politiques, administratifs, économiques ou encore liés à la sécurité).

À l’aide d’une échelle utilisant les valeurs faible, modeste, importante ou élevée, l’évaluation a permis de coter le rendement des 50 projets échantillonnés afin de déterminer la combinaison de facteurs favorisant une plus grande efficacité en matière d’atteinte des résultats. L’examen du portefeuille a montré que les agences de mise en œuvre locales qui étaient bien établies et avaient une longue histoire de collaboration avec les partenaires canadiens étaient mieux outillées en matière de gestion des résultats du développement. Le tableau 2 ci-dessous présente les principaux exemples de facteurs ayant facilité ou entravé la mise en œuvre des projets.

Sur une échelle en quatre points (de 1 – faible à 4 – élevé), l’efficacité moyenne des 50 projets examinés était « 3 – grande – », ce qui correspondait à l’observation que la majorité des projets avaient atteint la presque totalité de leurs extrants, mais il y avait moins de preuves de l’atteinte de résultats. L’efficacité moyenne des projets selon des caractéristiques distinctes était illustrée par le graphique « Efficacité » : de façon générale, l’efficacité des projets se situait près de la moyenne, peu importe leurs caractéristiques.

Efficacité

Derrière cette moyenne, une grande dispersion de l’efficacité des projets se trouve, qui varie généralement de « modeste » à « élevée ». Comme il a été préalablement expliqué, les raisons des retards ou des difficultés relativement à l’atteinte des résultats diffèrent selon les projets. Parmi les facteurs récurrents, notons les retards politiques (bureaucratie, changement de gouvernement, conflits locaux), les défis économiques (y compris l’inflation, les fluctuations du taux de change) et les conditions météorologiques extrêmes.

Lorsqu’elles sont regroupées par caractéristiques du projet (voir le tableau 4 ci-dessous), les principales différences de rendement reculent à une efficacité « grande ». Dans certains cas, les variations en matière d’efficacité entre les sous-catégories, bien que minimes, correspondaient aux autres faits recueillis aux fins de la présente évaluation. Par exemple, les projets choisis avant la mise en place du mécanisme d’appels de propositions (et les projets de longue durée) étaient plus efficaces en moyenne que les projets choisis dans le cadre d’appels de propositions et les projets courts, ce qui peut illustrer les contraintes de planification découlant du mécanisme d’appels de propositions ainsi que les contraintes de temps dans le cadre des projets courts, particulièrement en cas d’imprévu.

Dans d’autres cas, les légères variations de l’efficacité moyenne perçue par sous-catégorie s’expliquaient difficilement. Il n’était pas facile par exemple, de préciser pourquoi les projets sous certaines thématiques étaient systématiquement plus efficaces que les projets d’autres domaines. Cette variation de l’efficacité moyenne par priorités thématiques peut donc constituer un phénomène de l’échantillon (p. ex. les projets visant à faire progresser la démocratie pourraient offrir un meilleur rendement parce que cinq des sept projets choisis l’ont été dans le cadre de propositions non sollicitées et que ce type de propositions semble plus efficace pour d’autres raisons)^{Note de bas de page 29}. De même, il est difficile d’expliquer hors de tout doute la relation inégale entre le budget et l’efficacité des projets – alors que les petits et grands budgets sont tous deux plus efficaces que les budgets moyens. L’efficacité des projets à petits budgets peut avoir été, toutefois, influencée par une série de petits projets communautaires très efficaces en raison de leur approche intégrée, et ce, malgré leur petit budget.

4.4 Thèmes transversaux

Les trois thèmes transversaux d’Affaires mondiales Canada en matière de programmation de développement sont l’égalité entre les sexes, la durabilité de l’environnement et la gouvernance.

Constatation 8 : Il y avait de fortes indications de l’intégration de l’égalité entre les sexes dans l’ensemble du Programme.

Dans le cadre de l’examen du portefeuille, l’égalité entre les sexes a été évaluée grâce aux documents de projets disponibles (p. ex. rapports annuels, politiques des partenaires en matière d’égalité entre les sexes, formulaire d’évaluation de l’égalité entre les sexes d’Affaires mondiales Canada) et aux commentaires de spécialiste de l’égalité entre les sexes du Ministère. Les constatations tirées de l’examen du portefeuille de projets ont montré la grande intégration de l’égalité entre les sexes comme thème transversal à l’échelle du Programme et des projets. L’intégration de l’égalité entre les sexes comportait :

• la mise en œuvre et la diffusion de la Politique en matière d’égalité entre les sexes d’Affaires mondiales Canada^{Note de bas de page 30};
• le renforcement des capacités des employés d’Affaires mondiales Canada, afin de s’assurer qu’ils comprenaient et appliquaient les principes d’égalité entre les sexes (le renforcement des capacités des employés en matière d’égalité entre les sexes constituait un élément central du Plan d’action en matière d’égalité entre les sexes);
• la nomination d’un spécialiste de l’égalité entre les sexes pour la Direction générale;
• la sensibilisation des partenaires canadiens et des agences de mise en œuvre locales sur l’importance de l’intégration de l’égalité entre les sexes à l’échelle du projet.

À l’échelle du projet, l’intégration de l’égalité entre les sexes a contribué à l’inclusion des femmes dans les principaux processus de décision sur l’utilisation et l’accès aux services et aux ressources favorisant ainsi l’obtention de résultats de développement. Les constatations faisant suite à l’examen du portefeuille ont toutefois révélé que l’autonomisation économique ou politique des femmes était généralement une sous-composante de projets plutôt qu’un élément central favorisant une participation accrue des femmes aux processus décisionnels.

L’évaluation a également montré que la mesure dans laquelle l’égalité entre les sexes était intégrée ne s’appliquait pas toujours à l’échelle du projet. Par exemple, il serait irréaliste que le personnel du Programme anticipe que les projets mettent en branle de nouvelles lois sur l’égalité entre les sexes, puisque cet objectif dépasserait l’influence des projets individuels. Il s’agirait en outre d’un objectif ambitieux pour un cycle de projets de trois à quatre ans. À titre d’exemple, mentionnons le projet de l’Alliance internationale VIH/SIDA (IHAA). Comme dans de nombreux projets, il y avait mention de l’égalité entre les sexes dans les modèles logiques, mais peu de données probantes ont été obtenues au sujet de réels changements comportementaux (résultats). Le modèle logique porte entre autres sur les hommes et les femmes et sur la mesure dans laquelle les activités du projet visent à améliorer la santé des femmes et de leurs enfants, mais les considérations liées à l’égalité entre les sexes n’étaient pas explicites dans les documents du projet, malgré le fait que l’égalité entre les sexes était théoriquement intégrée dans la conception du projet de l’Alliance.

Constatation 9 : L’intégration de la durabilité de l’environnement n’a pas été appliquée à tous les projets.

La Politique environnementale en matière de développement durable (1992)^{Note de bas de page 31} d’Affaires mondiales Canada a été conçue afin de favoriser l’intégration des considérations environnementales aux processus décisionnels du Programme et des activités des projets, ce qui comprend la collaboration avec les partenaires et les pays en développement en vue de renforcer leurs capacités à promouvoir la durabilité de l’environnement. Dans le contexte du Programme pendant la période d’évaluation, les demandes de financement devaient préciser les procédures devant être établies afin d’intégrer les considérations relatives à la durabilité de l’environnement pendant la mise en œuvre du projet. Sur les 50 projets examinés, seuls quelques-uns (3) étaient explicitement axés sur l’environnement (en ce qui concerne le résultat final ou la justification du projet) – ce qui est dû en grande partie au fait que la durabilité n’est pas en soi une priorité stratégique d’Affaires mondiales Canada (bien qu’elle soit mentionnée dans la priorité relative à la croissance économique durable et qu’elle soit un thème transversal)^{Note de bas de page 32}. Sept des projets examinés ont été associés (par AMC) au centre de fonds « durabilité environnementale », mais peu d’entre eux étaient explicitement axés sur l’environnement (notons entre autres le projet de forage d’un puits à Ceegaag, en Somalie, et le projet de résilience climatique de la Boucle du Mouhoun, au Burkina Faso). Deux des projets examinés ont été réalisés à la suite de l’appel de propositions du Fonds canadien pour la résilience climatique en Afrique.

Cependant, beaucoup plus que trois projets ont intégré la durabilité de l’environnement en tant que facteur transversal, comme on a pu le constater clairement à partir des rapports de projets, des commentaires des spécialistes de l’environnement d’Affaires mondiales Canada et des évaluations environnementales stratégiques du Ministère. Toutefois, l’examen de la documentation a révélé que, dans de nombreux cas, les considérations environnementales portaient sur des préoccupations liées à la conformité, par exemple la conformité à la Loi canadienne sur l’évaluation environnementale (LCEE). Comme la LCEE ne s’appliquait pas à de nombreux projets (p. ex. les projets ne nécessitant pas de travaux de construction), les considérations environnementales étaient souvent plutôt limitées; en effet, les responsables d’au moins un projet avaient comme objectif d’imprimer moins de papier dans le cadre de leur stratégie de durabilité (un effort louable, qui ne constitue toutefois pas une mesure active en vue de l’établissement de moyens de subsistance durables). À quelques reprises, les cadres de gestion axée sur les résultats de certains projets ne comportaient pas d’analyse environnementale ni d’indicateurs environnementaux, mais en général, la situation a été corrigée à la suite de commentaires formulés par un spécialiste de l’environnement d’Affaires mondiales Canada.

Constatation 10 : L’intégration de la gouvernance à l’échelle des projets manquait de clarté et d’uniformité par rapport à l’intégration de l’égalité entre les sexes et de la durabilité de l’environnement.

L’intégration de la gouvernance comme thème transversal pendant la période d’évaluation s’appuyait largement sur les lignes directrices mises au point en 2013^{Note de bas de page 33}. La finalité de ces lignes directives avait pour but d’aider les partenaires canadiens à intégrer la gouvernance comme thème transversal à l’échelle des projets au moyen des considérations relatives à la gouvernance précisées par le Ministère^{Note de bas de page 34}. Comme les lignes directrices ministérielles qui avaient pour objectif l’intégration de la gouvernance à l’échelle des projets ont été diffusées au cours de la dernière année de la période visée par l’examen, il y avait un manque de clarté et d’uniformité quant à l’intégration de la gouvernance dans l’ensemble des projets évalués.

Les constatations tirées des consultations avec les partenaires canadiens et les agences de mise en œuvre locales ainsi que de l’examen du portefeuille des projets ont montré que l’intégration de la gouvernance était comprise différemment selon les partenaires de projets. Par exemple, selon certains partenaires canadiens et agences de mise en œuvre locales, la gouvernance signifiait les processus (participatifs ou inclusifs) alors que d’autres interprétaient la gouvernance comme la promotion efficace des droits de la personne. À l’échelle des projets, l’évaluation a permis de déceler des exemples de renforcement des capacités qui favorisaient la gouvernance des projets. Par exemple, le projet de sécurité alimentaire et économique de World Renew au Bangladesh a mis au point un modèle d’institutions populaires visant à donner aux groupes communautaires la force de devenir autonomes en lui fournissant les mécanismes d’auto-assistance permettant la mobilisation des ressources communautaires et la création de relations à l’appui de l’amélioration des résultats en santé.

Dans le cadre de l’examen du portefeuille, le thème transversal de la gouvernance a été évalué au moyen de documents de projets disponibles préparés, tels que des rapports annuels, des demandes relatives à des projets et d’autres documents pertinents. L’examen visait à déterminer dans quelle mesure les projets avaient intégré ou promu les considérations liées à la gouvernance, qui pouvaient être interprétées comme les capacités d’adaptation en temps opportun des programmes, l’efficience et l’efficacité, la transparence et la responsabilisation, l’équité, l’égalité et la non-discrimination, et la participation et l’inclusion. L’examen a aussi permis de savoir si des processus consultatifs transparents et inclusifs étaient en place ou non ou si les projets favorisaient le renforcement de la primauté du droit, des institutions et des droits de la personne.

Comme il est mentionné plus haut, l’une des principales constatations a été le manque de constance dans l’application ou l’interprétation de la gouvernance comme thème transversal (en effet, presque tous les projets pouvaient évaluer l’égalité entre les sexes et la durabilité environnementale au moyen de formulaires prévus à cet effet, alors qu’aucun processus normalisé d’examen de la gouvernance n’était visible dans les documents des projets). En général, relativement peu de projets – sauf certains projets axés sur la primauté du droit et réalisés par l’Association du Barreau canadien – ont ciblé explicitement la gouvernance comme résultat final. De nombreux projets ont omis d’indiquer clairement les façons dont ils ont interprété la gouvernance en tant que thème transversal; dans de nombreux cas, il y avait peu de données probantes au sujet des consultations ouvertes et transparentes avec les bénéficiaires (les personnes sondées ont mentionné que les appels inattendus et les courtes échéances liées à la présentation des demandes ont souvent fait en sorte qu’elles n’ont pas eu le temps d’évaluer les besoins en profondeur, avec comme résultat que les partenaires canadiens ont dû se fier aux partenaires locaux pour comprendre les besoins des bénéficiaires locaux). Toutefois, certains projets ont comporté des éléments inclusifs rigoureux, mais cela était davantage dû à la conception des projets qu’à l’influence du thème transversal d’Affaires mondiales Canada. Cela a été le cas pour les projets communautaires de plus petite envergure, comme le projet « Jeunesse, notre avenir », réalisé en Inde. Ce dernier a été mis en œuvre de façon très inclusive et a bénéficié de sa petite envergure, d’une mise en œuvre soignée, d’échéanciers généreux et, chose importante, de l’aide d’un partenaire légitime, expérimenté et très respecté à l’échelon local.

4.5 Efficience

Constatation 11 : La gestion financière du Programme respectait les normes du Secrétariat du Conseil du Trésor du Canada.

L’administration du Programme s’est conformée aux exigences du Conseil du Trésor pour la gestion des subventions et des contributions. En 2012, la vérification interne des subventions et des contributions^{Note de bas de page 35} au sein de la Direction générale a conclu que le Programme avait mis en place des mesures efficaces visant à demeurer conformes à la Politique sur les paiements de transfert et à la Directive sur les paiements de transfert. Le Programme a également respecté les politiques ministérielles et mis au point un système de gestion des ressources fondée sur le risque.

À l’échelle de la mise en œuvre de projets, alors que l’accent est mis sur le cadre des ententes de contribution entre les partenaires canadiens et les agences de mise en œuvre locales, l’examen du portefeuille n’a pas permis de découvrir des preuves de mauvaise gestion financière et de dépassement des coûts. Les agences de mise en œuvre locales ont régulièrement transmis aux partenaires canadiens des rapports de projets, sur lesquels ont été basés les rapports présentés par les agences locales à Affaires mondiales Canada. La vérification interne susmentionnée a toutefois permis de constater que la Direction générale ne possédait pas de système pour appliquer les exigences administratives du Programme.

Constatation 12 : Le Programme a connu des retards dans l’approbation des projets.

La vérification interne a permis d’attribuer les délais dans le choix des projets au faible système interne de supervision du Programme au sein de la Direction générale. Les agents de Programme, en particulier, n’avaient pas accès aux procédures détaillées et aux outils leur permettant de contribuer aux responsabilités de gestion du Programme. La vérification interne recensait d’autres défis, dont le lancement de plusieurs appels simultanément, ce qui a mené à un engorgement du processus d’examen des propositions mené par les spécialistes du secteur et les analystes financiers. Les preuves soulignaient que les délais découlaient souvent de plusieurs raisons, allant des problèmes techniques dans le cadre du processus de proposition aux problèmes relatifs au processus décisionnel.

La vérification interne a également montré que les ressources humaines de la Direction générale étaient insuffisantes pour respecter les exigences administratives du mécanisme d’appels de propositions, en particulier les étapes d’évaluation et de sélection des projets, en raison du volume de propositions reçues.

L’examen du portefeuille et les consultations des agences partenaires locales avaient également montré d’importants délais dans la mise en œuvre des projets en raison de la longueur du processus d’approbation, ce qui a forcé les agences de mise en œuvre locales à ajuster les activités et les ressources de projets dans certains cas^{Note de bas de page 36}. Le délai médian pour l’approbation des projets a été de 20,2 semaines (141,5 jours). Le délai a varié entre 7,9 semaines et 42,6 semaines (une norme de service de 16 semaines était visée). Il importe de mentionner que les différents appels ont généré des nombres variés de propositions. Il est donc plus approprié de comparer les temps de réponse relatifs en utilisant le nombre de propositions reçues pour un appel donné. Le nombre médian de jours ouvrables par proposition a été de 3 jours, et une gamme variait entre 1 jour et 9 jours^{Note de bas de page 37}. Le sondage mené par le CCCI en 2014 a aussi montré que le mécanisme d’appels de propositions a augmenté l’imprévisibilité du financement, ce qui s’est traduit par la nécessité pour les partenaires canadiens de réduire la portée de leurs activités de programmation dans les pays visés et parfois, leur nombre d’employés de base au Canada.

4.6 Durabilité

Constatation 13 : Bien que le Programme ait une valeur ajouté au Plan de développement du Canada en apportant un complément à la programmation d’aide bilatérale, il avait un effet limité à obtenir les ressources nécessaires pour soutenir la durabilité des résultats de développement.

La capacité à atteindre les populations difficiles d’accès et mal desservie constitue une caractéristique remarquable du Programme. Celui-ci a permis la mise en œuvre de projets à l’échelle communautaire et offrait la possibilité de contribuer à l’atteinte des résultats en matière de développement au sein des collectivités vulnérables. Il est à noter que nombre de ces collectivités n’étaient pas accessibles à l’aide des services offerts par leur gouvernement national respectif, et n’ont donc pu être rejointes pour les activités des programmes d’aide bilatérale du Canada. L’examen du portefeuille et les consultations du personnel de programme d’Affaires mondiales Canada montraient que le Programme venait compléter les activités des programmes d’aide bilatérale.

En outre, le Programme ajoutait de la valeur à de multiples niveaux aux efforts du Canada en matière d’aide au développement. Il contribuait à l’atteinte potentielle de résultats de développement dans les pays en développement, et a permis de mobiliser la société civile du Canada à la programmation de développement. Grâce au soutien offert par le Programme aux petits projets, il a également contribué à créer des possibilités permettant aux collectivités de profiter d’idées novatrices et de pratiques exemplaires.

On n’a toutefois pu préciser si le Programme avait permis de tirer parti des ressources et de favoriser la viabilité des résultats de développement. La présente constatation s’appuie sur l’observation que l’examen du portefeuille n’a pu révéler que l’argent du Programme était investi pour la mise à l’échelle ou la reproduction des projets. Dans le contexte de cette évaluation, la question de l’utilisation des ressources était comprise comme le fait de tirer profit de ressources dans les projets qui dépassaient le simple partenariat avec la direction de l’innovation, soit la mise à l’échelle ou la reproduction de projets, de nouveaux donateurs, etc.

Le coût de base d’un projet (partagé entre le Programme et le partenaire canadien) était tenu pour acquis. Les exigences de partage des coûts ne constituaient pas un enjeu majeur pour les partenaires, en partie parce qu’ils ont une expérience de longue date avec la programmation d’Affaires mondiales Canada. Il est donc probable que les partenaires établis soient familiers avec les exigences de partage des coûts, alors que les nouveaux partenaires, au terme des récents appels, profitaient d’un taux réduit pour leur premier projet.

Constatation 14 : Bien que les partenaires canadiens et les agences de mise en œuvre locales aient manifesté la volonté ferme d’obtenir des résultats de développement, le Programme s’est heurté à des difficultés sur le plan de la durabilité à l’échelon des projets.

Tous les intervenants ont reconnu que les ressources financières fournies à l’échelle du Programme n’étaient pas infinies. Ainsi, les partenaires locaux auraient dû engager des ressources financières et humaines afin d’être en mesure de maintenir les avantages et les résultats après la fin de la participation du Programme. Toutefois, il n’y a eu aucune indication d’une mise à l’échelle ou d’une reproduction future pour 32 % des projets choisis dans le cadre de l’examen du portefeuille ou des visites lors des missions terrain qui ont déjà été réalisées (c’est-à-dire que le taux de déboursements était de 100 %). Même si Affaires mondiales Canada poursuivait son engagement à l’égard de ces priorités thématiques, y compris l’attribution de fonds correspondant à chaque priorité, il y avait cependant une diminution constante des attributions financières au Programme (voir l’annexe I).

Les consultations avec les partenaires canadiens et les agences de mise en œuvre locales ont montré que les partenaires de projets souhaitaient poursuivre les activités de projet et, par extension, la durabilité des résultats, après la fin officielle de la programmation. Cela dit, l’évaluation a montré une absence de stratégie claire permettant d’assurer la viabilité financière des projets, y compris la capacité des agences de mise en œuvre locales à obtenir des ressources à partir de sources locales. En outre, il était difficile de savoir si le personnel de base du projet au sein des agences de mise en œuvre locales aurait été en mesure de contribuer à la viabilité des résultats à l’échelle communautaire si les systèmes à cet égard avaient été implantés par les membres de la collectivité.

L’évaluation a trouvé quelques exemples de partenariats de projets qui ont réussi à tirer profit du financement additionnel reçu de la part d’institutions subventionnaires. L’examen du portefeuille et les consultations des partenaires canadiens et les agences de mise en œuvre locales ont également indiqué que certaines activités de projet étaient intégrées au système en place dans les collectivités, une approche utilisée pour encourager la prise en charge accrue des projets par les membres de la collectivité, et une façon de favoriser la responsabilisation à l’égard de l’atteinte des résultats et de la durabilité.

Figure 2 : Exemples de mesures prises en matière de durabilité des projets et des résultats

Le soutien financier à la mise à l’échelle et à la reproduction des projets dans le but de permettre une viabilité des résultats accrue n’a pas été intégré au financement fourni par Affaires mondiales Canada. L’absence d’accès à des fonds réservés pour la durabilité a limité la capacité du Programme à atteindre son résultat ultime. La mise à l’échelle aurait été tout à fait possible dans le cadre de projets ayant montré une importante contribution à l’atteinte des résultats en matière de développement au niveau des résultats et aurait contribué à la viabilité des résultats à l’échelle du projet.

4.7 Conception

Constatation 15 : La conception du Programme a été améliorée grâce à la nouvelle importance accordée aux partenariats avec les organisations de la société civile.

Dans le cadre du Programme de développement mondial, il est essentiel de travailler avec les organisations de la société civile (OSC) et par l’entremise de celles-ci pour obtenir des résultats de développement international. Le Programme d’action d’Accra de 2008 et les Principes d’Istanbul sur l’efficacité du développement des OSC (2010)^{Note de bas de page 38} reconnaissaient tous deux que les OSC étaient des partenaires précieux et efficaces dans l’atteinte de résultats de développement. L’OCDE a aussi noté que tous les pays membres de son Comité d’aide au développement (CAD) travaillaient avec des organisations de la société civile, plus particulièrement pour atteindre un objectif précis de développement lié à la prestation de services (mise en œuvre de programmes d’aide) et « pour sensibiliser leur population à l’égard de la coopération pour le développement ». Ces objectifs cadraient étroitement avec l’approche de la Direction générale concernant, d’une part, la prestation de services par l’intermédiaire du Programme et, d’autre part, par l’engagement des Canadiens dans le cadre de son Programme Citoyens du monde^{Note de bas de page 39}. Cependant, le Programme des partenaires pour le développement du Canada était moins explicitement axé sur d’autres objectifs mentionnés par le CAD-OCDE.

Bien que la capacité améliorée des agences d’exécution locales soit un résultat immédiat du modèle logique du Programme^{Note de bas de page 40} et de la théorie du changement reconstruite, ce résultat n’était pas désigné ni n’a fait l’objet d’un suivi en tant que résultats de haut niveau. De même, ni le modèle logique du Programme ni la théorie du changement reconstruite n’indiquaient que le renforcement, en général, de la société civile consistait en l’un des résultats du Programme. Cependant, Affaires mondiales Canada avait de solides raisons d’établir des partenariats viables avec la société civile pour favoriser l’atteinte de résultats de développement. Il convient de noter que de nombreuses OSC canadiennes, y compris les partenaires canadiens qui ont demandé de participer au Programme, avaient des décennies d’expérience dans leurs secteurs et les pays ciblés, entretenaient de solides liens communautaires et liens de partenariats avec les agences d’exécution locales, et possédaient une expérience reconnue mondialement au chapitre de l’aide humanitaire. Grâce à ses partenariats avec des partenaires canadiens, Affaires mondiales Canada disposait du soutien nécessaire pour atteindre ses objectifs de développement, lesquels sont énoncés dans le Plan d’action du Canada sur l’efficacité de l’aide.

Constatation 16 : L’absence d’un modèle logique approuvé au niveau du Programme a rendu difficile l’évaluation des résultats au niveau du Programme.

Bien que le modèle logique ait donné une idée des résultats du Programme, il en était qu’au stade d’ébauche au moment de l’évaluation. Par conséquent, l’évaluation était limitée en ce qui concerne la mesure de l’atteinte des résultats au niveau du Programme. L’évaluation a signalé que le modèle logique était conçu pour la période allant de 2013-2014 à 2017-2018, de sorte qu’il ne s’appliquait qu’à la dernière année de la période visée par l’évaluation. Selon les rapports ministériels sur le rendement de 2012-2013 et de 2013-2014, le Programme se fondait sur des résultats escomptés qui n’étaient pas mentionnés dans l’ébauche du modèle logique.

L’absence de mesures et de lignes de référence quantitatives a également eu des incidences sur l’évaluation, l’ébauche du modèle logique se fondant sur des énoncés de résultats qualitatifs au niveau des extrants et des résultats. Ceci posait des enjeux significatifs pour la mesure des résultats, car l’emploi de cibles qualitatives augmentait le risque que l’on tire des conclusions inexactes fondées sur des données anecdotiques autodéclarées.

Constatation 17 : Les communications entre le Programme et les autres mécanismes de financement d’Affaires mondiales Canada n’ont pas été utilisées pour soutenir le renforcement des capacités ou accroître les activités au niveau des projets.

Les partenaires canadiens interrogés dans le cadre de l’évaluation ont indiqué qu’il existait une importante synergie entre le financement bilatéral (régional) d’Affaires mondiales Canada et le financement accordé au Programme. Trente-six pour cent (36 %) des répondants au sondage ont déclaré avoir reçu du financement dans le cadre du Programme d’aide bilatéral (régional) d’Affaires mondiales Canada en plus de fonds versés dans le cadre du Programme.

Les répondants voyaient de façon positive le niveau de synergie entre le Programme et le financement bilatéral d’Affaires mondiales Canada, et ils ont formulé les commentaires suivants :

• Le financement provenant des deux programmes a contribué à intensifier la participation des partenaires dans les pays visés par un projet;
• La synergie et la complémentarité entre les programmes ont aidé les partenaires, d’une part, à établir des méthodologies convenables pour les deux programmes et, d’autre part, à appuyer le développement des capacités dans les contextes locaux.

Cependant, les employés d’Affaires mondiales Canada et les partenaires canadiens ont indiqué que les projets faisaient rarement l’objet d’une mise à l’échelle en raison du manque de communication entre les programmes et du fait que le personnel des programmes bilatéraux et les employés canadiens sur le terrain ne connaissaient pas bien la programmation du partenariat. Dans ce contexte, les leçons de l’évaluation du Programme de gouvernance de la Direction générale des partenariats avec les Canadiens (2008-2012) demeuraient pertinentes. Plus particulièrement, « les possibilités d’enrichissement mutuel des projets sont importantes […] Les partenaires pourraient également miser sur l’enrichissement mutuel grâce aux projets multilatéraux et bilatéraux de l’ACDI. Les responsables de projets pourraient aussi travailler de concert et profiter de la même assistance technique^{Note de bas de page 41}. »

Constatation 18 : Le Programme a permis de corriger une lacune dans le programme de développement du gouvernement du Canada, mais il n’offrait qu’un soutien limité pour la mise en œuvre des projets de petite envergure.

Les consultations menées auprès des partenaires canadiens et des spécialistes sectoriels ont révélé que, selon certains intervenants, la souplesse du Programme avant le renouvellement était une force distincte, car des fonds étaient accordés à des projets qui n’étaient autrement pas admissibles à du financement, notamment les projets de petite envergure et les projets ne faisant pas partie des priorités thématiques d’Affaires mondiales Canada. Ces deux types de projets étaient habituellement financés à la suite de la soumission de propositions non sollicitées. La divergence d’opinions des parties prenantes a suscité des questions quant à l’utilité des petits projets : ont-ils contribué à enrichir un portefeuille diversifié ou ont-ils donné lieu à des investissements dans de petites initiatives à faible incidence. L’examen du portefeuille indiquait que les plus grands projets avaient tendance à être plus efficaces en ce qui concerne l’atteinte de résultats. Un important argument en faveur des plus petits projets axés sur la demande, était que ces projets permettaient de mettre à profit l’expérience des partenaires canadiens. De plus, les plus petits projets locaux étaient souvent en mesure de joindre les populations les plus marginalisées et mal servies.

Constatation 19 : La théorie du changement reconstruite du Programme reposait sur des hypothèses ambitieuses, mais inexactes, ce qui a eu une incidence sur la capacité du Programme à atteindre ses résultats de développement.

Dans l’ensemble, le Programme se fondait sur une solide théorie du changement, laquelle démontrait la complémentarité de celui-ci avec les programmes d’aide bilatérale d’Affaires mondiales Canada. Le Programme n’a pas été en mesure d’atteindre certains des résultats escomptés à chaque niveau en raison des hypothèses ambitieuses, mais inexactes, intégrées dans sa conception originale. Les hypothèses suivantes faisant partie de la théorie du changement reconstruite ont été intégrées dans le Programme et posaient particulièrement problème :

• i. La conception, la gestion et les activités du Programme seront améliorées si les processus de demande sont clairement définis, concurrentiels, objectifs et prévisibles.
• ii. Les résultats immédiats seront plus susceptibles d’être atteints si on améliore la schématisation des résultats et si les stratégies de sortie sont bien élaborées.
• iii. Les résultats intermédiaires seront favorisés si on consigne les leçons et qu’on les dissémine.
• iv. Pour pouvoir créer ou cerner des projets novateurs, un environnement propice à l’innovation est requis (leadership, définition commune, mesures incitatives, etc.), et un tel environnement existe à Affaires mondiales Canada.
• v. L’atteinte de résultats intermédiaires et leur contribution à un niveau supérieur laissent entendre qu’il existe des cadres convenus de résultats, et que les ressources sont proportionnelles aux résultats intermédiaires escomptés (ces hypothèses n’ont été vérifiées qu’en partie).

Selon les constatations de l’évaluation tirées de l’examen du portefeuille, les hypothèses telles qu’elles ont été formulées n’ont pas été validées lors de la mise en œuvre du Programme. Plus particulièrement, l’évaluation a constaté que le mécanisme d’appels de propositions n’était pas prévisible, car il n’y avait ni de stratégie de sortie bien élaborée, ni de système pour consigner et faire connaître les leçons apprises au niveau des projets. Par conséquent, l’atteinte des résultats intermédiaires et ultime au niveau du Programme était faible.

4.8 Gestion du rendement et partage des connaissances

L’évaluation du Programme des partenaires pour le développement s’inspirait de la notion selon laquelle la gestion du rendement va au-delà de la mesure du rendement du Programme ou du projet. Pour assurer une mesure adéquate, le but de l’évaluation tenait compte de ce qui suit : de l’intégration de la théorie du changement reconstruite, de l’existence et de l’utilisation d’un cadre de résultats au niveau du Programme et des projets, de la production de rapports sur l’atteinte des résultats et de l’application des leçons dégagées des activités de programmation pour guider la programmation à l’avenir.

Constatation 20 : Les cadres de suivi des projets ont permis de solidement appuyer le suivi des résultats obtenus au niveau des projets et la production de rapports connexes, mais ces activités ont souffert de la production insuffisante de rapports sur les résultats des projets.

Selon les constatations de l’examen du portefeuille, les agences d’exécution locales accordaient une importance considérable à la gestion axée sur les résultats (GAR) pendant la mise en œuvre des projets. L’évaluation a trouvé de solides preuves de suivi des résultats et de la production de rapports au niveau des projets, et ce, en utilisant des cadres de mesure du rendement (CMR). Les entrevues effectuées lors des visites terrain ont aussi révélé que les agences d’exécution locales ont profité d’une formation sur la GAR offerte par les partenaires canadiens, ce qui leur a permis d’assurer le suivi des résultats pendant la mise en œuvre des projets. L’examen du portefeuille a permis de constater que, dans la totalité des projets examinés, les outils de la GAR avaient été élaborés et intégrés dans les activités de projet, y compris les modèles logiques et les CMR. Ce processus a aussi été appuyé par l’encadrement fourni par les partenaires canadiens, de sorte que les agences d’exécution locales ont pu renforcer leurs capacités en matière de gestion axée sur les résultats de développement, y compris en ce qui concerne la production de rapports systématiques sur l’atteinte des résultats. Comme on l’a indiqué plus tôt, les rapports sur les projets faisaient état de niveaux de réalisation élevés au chapitre des extrants des projets. L’intégration de la GAR dans la conception des projets, à quoi s’ajoute la réalisation considérable d’extrants, cadrait entièrement avec les exigences du Programme. Le Programme appuyait la programmation d’aide au développement axée sur les résultats ainsi que la prestation de formation aux organisations locales (agences de mise en œuvre) pour permettre à celles-ci de diriger l’élaboration et l’exécution des projets.

Lors de consultations avec les partenaires canadiens, ces derniers ont indiqué que la Direction générale avait aussi appuyé l’élaboration de CMR pour les projets pendant la période visée par l’évaluation, notamment en fournissant une importante rétroaction concernant les versions provisoires en vue de la rédaction des versions définitives. Bien qu’on ne puisse pas nier l’utilité de la rétroaction pour la planification des projets, les constatations provenant de l’examen du portefeuille et des consultations auprès des parties prenantes révélaient que la plupart des CMR élaborés pour orienter la mise en œuvre des projets ne comprenaient aucune mesure de ligne de base quantitative.

En dépit des preuves montrant l’intégration de la GAR au niveau des projets, des questions ont été soulevées quant à savoir si les projets avaient les capacités nécessaires pour assurer le suivi des résultats et produire des rapports connexes. Dans un premier temps, il y a eu la question à savoir si, lors de l’étape de la conception, les agences de mise en œuvre locales ont recueilli assez de données au sujet des collectivités participant aux projets de façon à pouvoir établir des lignes de base, car l’absence de telles données a rendu difficile l’évaluation exacte des réalisations des projets. Dans un deuxième temps, une question s’est posée à savoir si les agences de mise en œuvre locales avaient les capacités nécessaires pour recueillir des données sur les résultats des projets. Cette question était particulièrement pertinente pour les projets de courte durée (par exemple, les projets d’un an financés au moyen du Fonds de relèvement et de reconstruction d’Haïti), au bout desquels les agences de mise en œuvre locales n’avaient plus de fonds ni de temps pour recueillir des données.^{Note de bas de page 42} Comme c’est le cas pour les rapports au niveau du Programme, peu de rapports ont été produits sur l’atteinte des résultats.

Constatation 21 : Bien qu’on ait échangé et partagé des connaissances lors de la mise en œuvre au niveau des projets, les données recueillies donnent à penser que ces échanges étaient principalement de nature informelle.

L’évaluation a trouvé des exemples d’échange et de partage de connaissances lors de la mise en œuvre au niveau des projets, mais de façon informelle. Les échanges ont eu lieu dans le cadre, entre autres, de discussions informelles, d’ateliers, d’échanges d’études, de séances d’encadrement et de « non-conférences » novatrices (réunions axées sur les participants). Les consultations avec les agences d’exécution locales et les partenaires canadiens ont aussi révélé que même si certaines formes d’échanges et de partage de connaissances étaient propres à certains projets, la plupart des projets ont profité de discussions informelles, de séances d’encadrement et d’échange de documents pertinents. Les partenaires canadiens et le personnel du Programme ont indiqué que l’échange de renseignements techniques et d’expériences pendant la mise en œuvre du projet se fondait sur la conception structurelle et les objectifs de chaque projet.

Les agences de mise en œuvre locales et les partenaires canadiens étaient reconnaissants des occasions créées pour les échanges informels. Certaines agences de mise en œuvre locales ont cependant indiqué qu’à leur avis, les partenaires de projet n’avaient pas reçu assez d’occasions d’apprentissage.

5. Conclusions, discussion, leçons et recommandations

5.1 Conclusions

Le Programme était pertinent pendant la période visée par l’évaluation (2010-2011 à 2013-2014). Selon les constatations de l’évaluation, le Programme cadrait avec le Plan de développement international d’Affaires mondiales Canada international, plus particulièrement en ce qui concerne l’engagement du Ministère à obtenir des résultats durables de développement international. Par extension, le Programme était aligné avec le Plan mondial pour l’efficacité du développement, lequel jouit du soutien du Canada, qui a signé plusieurs accords mondiaux sur l’efficacité de l’aide et la réduction de la pauvreté. Grâce à ses partenariats avec la société civile canadienne, le Programme a contribué aux efforts de coopération technique, dans le cadre desquels on a tiré parti des ressources canadiennes pour l’atteinte de résultats de développement sur le terrain. Comme le Programme a évolué en parallèle avec le Plan mondial pour l’efficacité du développement, il continue d’être pertinent pour les stratégies de développement mondiales de haut niveau ainsi que pour les activités de programmation propres aux projets dans les pays en développement.

De façon générale, le Programme a fait ce qui suit :

• Il a tiré parti des ressources canadiennes pour la coopération technique nord-sud.
• Il a appuyé le Plan d’efficacité du développement du gouvernement du Canada.
• Il a favorisé l’établissement de partenariats entre le gouvernement et la société civile canadienne et il a appuyé le maintien ou l’établissement de partenariats nord-sud.
• Il a contribué à la réalisation de résultats de développement durable et à la prestation d’aide humanitaire.

Les activités de l’évaluation consistaient en une évaluation indépendante et impartiale des données probantes disponibles concernant le rendement du Programme. L’évaluation reconnaissait qu’aucun format universel n’existait pour établir des partenariats efficaces. Pour que le Programme puisse continuer de contribuer à l’atteinte de résultats de développement de haut niveau, il doit évoluer parallèlement en fonction de divers facteurs, notamment, la disponibilité des ressources, le mandat et les intérêts des groupes des parties prenantes, les besoins des collectivités participant aux projets, les modalités du Plan sur l’efficacité de l’aide. La nécessité d’aligner les efforts de développement avec les principes de bons partenariats était au cœur du processus. Ces principes ne s’appliquaient pas à tous les partenariats; il fallait les adapter aux caractéristiques propres à chaque projet conjoint ou partenariat pour le développement. Cette approche était nécessaire pour maintenir une collaboration saine et ainsi garantir le niveau élevé de mutualisme et d’interdépendance nécessaire pour atteindre les résultats de développement.

L’évaluation a conclu que la qualité des partenariats entre Affaires mondiales Canada et les partenaires canadiens s’était beaucoup améliorée au cours de la période visée par l’évaluation. Des questions ont été soulevées au sujet de la souplesse de certaines modalités opérationnelles du Programme (p. ex. le mécanisme d’appels de propositions) et de la capacité du Programme à mettre au point et à faire respecter des pratiques qui permettaient d’atteindre des résultats et d’assurer la durabilité (p. ex. approbation définitive du modèle logique du Programme, planification de la durabilité au niveau des projets). Il faudrait faire avancer le Programme à cet égard pour accroître la capacité du Programme à atteindre des résultats de développement au niveau des extrants et des résultats.

L’évaluation a conclu que le Programme a réussi à mobiliser la société civile pour améliorer les liens entre la Direction générale et les partenaires canadiens dans le cadre du Programme. Selon les parties prenantes, le recours du Programme au mécanisme d’appels de propositions a nui à la qualité des partenariats entre Affaires mondiales Canada et les partenaires canadiens. Les parties prenantes ont par contre reconnu les efforts déployés par la Direction générale pour faire intervenir davantage les partenaires canadiens comme pour le lancement, en 2015, de la Politique de partenariat.

L’évaluation a aussi conclu que le Programme devrait continuer à investir dans les projets de grande et de petite envergure pour répondre à une vaste gamme de besoins, car il s’agit d’une approche viable à la programmation.

En outre, bien que le Programme ait permis de corriger une lacune dans la programmation de développement, il n’a pas tiré parti des ressources pour appuyer le développement durable, plus particulièrement les investissements dans les pratiques novatrices au moyen de la mise à l’échelle ou de la reproduction de projets.

Les activités du Programme ont permis à la Direction générale d’orienter les partenaires en fonction des priorités du Ministère, de favoriser la créativité dans la conception des projets et de permettre la sélection des projets les plus méritoires. Les données recueillies dans le cadre du sondage du CCCI (2014) et les données de l’évaluation recueillies lors des entrevues et du sondage révélaient que les partenaires canadiens font preuve d’un optimisme renouvelé en ce qui concerne l’engagement d’Affaires mondiales Canada d’établir des partenariats ouverts, collaboratifs et constructifs avec la société civile canadienne.

5.2 Discussion

Un élément a émergé des consultations avec les partenaires pour cette évaluation : l’amélioration de la qualité de la relation entre le Programme et les partenaires canadiens.

Il y a eu une amélioration de la qualité de la relation entre le programme et les partenaires canadiens grâce aux mesures récentes prises par Affaires mondiales Canada pour accroître son engagement envers la société civile.

Les représentants de la société civile et les experts sectoriels consultés au cours de l'évaluation ont convenu que la relation entre les organisations de la société civile et Affaires mondiales Canada s’est améliorée au cours de 2014-2015 et 2015-2016. Affaires mondiales Canada a pris des mesures pour améliorer son engagement auprès de la société civile, ce qui a coïncidé avec l'annonce en 2015 de la Politique de partenariat avec la société civile pour le développement international et l’aide humanitaire. La version définitive de cette Politique a été étayée par les contributions de 25 organisations de la société civile durant une consultation publique en ligne organisée par Affaires mondiales Canada en 2014.

En outre, les représentants de la société civile ont noté que les consultations ont contribué à rétablir un sentiment accru de partenariat entre la société civile et le gouvernement, et que les deux parties s’étaient réunies régulièrement depuis. La nouvelle Politique de partenariat avec la société civile contenait neuf buts et objectifs liés à la relation d’Affaires mondiales Canada avec la société civile, notamment « faire entendre davantage les points de vue des pauvres et des personnes marginalisées, y compris les femmes et les filles », « favoriser l’établissement d’un environnement porteur pour la société civile dans les pays en développement » et « favoriser le leadership des organisations de la société civile canadienne dans le développement international et l’innovation ». En réponse aux critiques quant à la façon dont les premiers appels de propositions avaient été menés, cette nouvelle politique indique qu’on « offrira des possibilités de financement prévisible, fondées sur le mérite, par l’entremise de modalités équitables, souples et transparentes qui appuieront les divers rôles et types d’organisations de la société civile au Canada et dans les pays en développement »^{Note de bas de page 43} [caractères gras pour mettre en évidence]. Le CCCI a indiqué que dans la Politique, le gouvernement s’engageait à rencontrer annuellement les représentants des organisations de la société civile pour discuter de la mise en œuvre de la Politique^{Note de bas de page 44}.

5.3 Leçons

Des partenariats de développement efficaces sont possibles grâce à l’intégration de bons principes de partenariat pour le développement et la prise en compte des enjeux pratiques au niveau opérationnel. Il est plus probable qu’on atteigne des résultats durables de développement si les partenaires pour le développement prévoient des pratiques exemplaires adaptées en matière de partenariats pour le développement dans leurs accords de collaboration et dans leurs activités. Par exemple, les partenariats peuvent être intégrés dans la conception des projets ainsi que dans l’évaluation continue des risques que peuvent poser les liens entre les partenaires.

Le modèle logique, auquel s’ajoute la théorie du changement du Programme/des projets, est un outil essentiel pour la gestion des résultats du développement. La probabilité d’atteindre des résultats de développement au niveau du Programme ou du projet baisse considérablement si la programmation n’est pas structurée en fonction d’un modèle logique ou d’une théorie du changement indiquant clairement la façon dont les résultats seront obtenus et mesurés.

Des lignes directrices claires et normalisées pour l’intégration des thèmes transversaux favorisent l’uniformité et la cohérence au cours de l’intégration. Afin d’atteindre le niveau de qualité requis pour l’intégration, les directives concernant l’intégration des thèmes transversaux doivent comprendre des lignes directrices claires au sujet du processus d’intégration.

La durabilité des résultats du développement dépend dans une large mesure de la conception et de la mise en œuvre de plans de sortie ou d’une stratégie de durabilité au niveau des projets. Comme le financement des projets n’est pas illimité, il est crucial que les partenaires doivent intégrer dans la conception des projets une stratégie relative à la durabilité des résultats. Ils doivent ensuite procéder à la mise en œuvre stratégique et à l’amélioration de cette stratégie tout au long du cycle de vie du projet.

5.4 Recommandations

Recommandation n^o 1 : Améliorer la gestion du rendement a) en révisant le modèle logique et la théorie du changement du Programme, et b) en intégrant les lignes directrices pour les thèmes transversaux à sa programmation. Il sera en particulier important d’assurer un suivi et une production de rapports robustes concernant les résultats intermédiaires au niveau du Programme.

• (a) En révisant le modèle logique et la théorie du changement, il sera possible d’appuyer l’établissement d’indicateurs réalistes au niveau du Programme, et ces indicateurs accroîtront la probabilité que le Programme atteigne les résultats escomptés. L’absence d’un modèle logique approuvé pour le Programme limite la capacité du personnel à faire le suivi et à évaluer le rendement de la Direction générale en ce qui concerne l’atteinte des résultats de développement. En outre, même si le Programme appliquait des principes de gestion axée sur les résultats au niveau des projets, il ne disposait pas d’un cadre robuste de mesure du rendement et n’a pas été en mesure d’évaluer son rendement avec exactitude. Il est recommandé donc que le Programme révise son cadre de mesure du rendement, y compris son modèle logique et sa théorie du changement. En révisant son outil de mesure du rendement, le Programme sera aussi mieux en mesure de rendre des comptes sur l’efficacité de ses décaissements.
• (b) Le Programme devrait intégrer des lignes directrices pour les thèmes transversaux dans sa programmation. Comme c’est la Direction générale des enjeux mondiaux et du développement qui est chargée d’élaborer des lignes directrices sur les thèmes transversaux, le Programme devrait intégrer les lignes directrices disponibles dans sa programmation en tant qu’importante exigence du Programme et des projets qu’il finance. Il est aussi nécessaire de travailler en étroite collaboration avec les partenaires canadiens pour voir à ce que le suivi des projets soit conforme avec les lignes directrices en matière d’intégration et avec les règlements généraux applicables à chaque domaine thématique, le cas échéant.

Recommandation n^o 2 : Veiller à ce que les partenaires canadiens intègrent des plans de sortie et des stratégies de durabilité qui sont dotés de ressources adéquates lors du design de tous les projets afin de favoriser la durabilité des résultats.

Les demandes de participation au Programme devaient faire état d’un plan de sortie ou d’une stratégie de durabilité pour favoriser la durabilité des résultats au-delà de la période visée par le financement. Le Programme devrait voir à ce que les partenaires canadiens établissent des plans viables de durabilité des résultats en partenariat avec les agences de mise en œuvre locales à l’étape de la conception des projets, ces plans devant être renforcés lors de la mise en œuvre des projets. Le Programme devrait aussi travailler en étroite collaboration avec les partenaires canadiens pour voir à ce que les partenariats au niveau des projets investissent les ressources adéquates dans la planification de la durabilité et dans la mise en œuvre finale. C’est essentiel pour assurer la durabilité des résultats, compte tenu de la durée relativement courte de la plupart des projets financés par le Programme et du fait que rien n’indique que des fonds supplémentaires seront accordés pour la mise à l’échelle ou la réplication des projets.

Recommandation n^o 3 : Collaborer avec les partenaires canadiens pour appuyer un transfert des connaissances systématique plutôt qu’occasionnel au niveau des projets du Programme.

Le processus de transfert des connaissances au niveau des projets se faisait de façon occasionnelle et fragmentée. Les agences de mises en œuvre locales, les partenaires canadiens et les participants au Programme ont indiqué qu’ils étaient satisfaits des avantages tirés du transfert des connaissances dans le cadre des projets individuels. Certaines agences de mise en œuvre locales ont exprimé leur intérêt à profiter d’autres occasions pour acquérir de nouvelles connaissances, et ils laissent entendre que les occasions pour transmettre les connaissances et les expériences étaient inadéquates, surtout lors de la mise en œuvre de projets multinationaux. Afin de poursuivre sur la lancée établie au niveau des projets individuels, il est recommandé que le Programme appuie l’élaboration et la diffusion de lignes directrices sur le transfert systématique des connaissances au niveau des projets. Non seulement ces lignes directrices appuieraient le renforcement des structures pour le transfert des connaissances lors de la mise en œuvre des projets, mais elles permettraient d’appuyer le renforcement des capacités lors de la mise en œuvre ou de la mise à l’échelle des projets à l’avenir.

Recommandation n^o 4 : Améliorer les communications entre les différents mécanismes de programmation d’Affaires mondiales Canada afin de faciliter la mise à l’échelle des projets.

Bien que les partenaires canadiens interrogés dans le cadre de l’évaluation aient indiqué qu’il existait une synergie entre le financement bilatéral (régional) d’Affaires mondiales Canada et le financement accordé dans le cadre du Programme de partenariats, ils ont fait valoir que les projets font rarement l’objet d’une mise à l’échelle en raison du manque de communication entre les programmes et du fait que le personnel des programmes bilatéraux et les employés canadiens sur le terrain ne connaissent pas bien les programmes du partenariat.

Recommandation n^o 5 : Déployer des efforts pour limiter les retards dans les approbations de projets qui relèvent du Programme. Cela peut comprendre l’examen et la rationalisation des processus internes ou une meilleure gestion de la capacité interne.

Plusieurs sources de données indiquaient que la mise en œuvre des projets accusait des retards en raison de la durée du processus d’approbation des projets, de sorte que les agences de mise en œuvre locales devaient ajuster les activités et les ressources des projets.