Méta-évaluation des évaluations décentralisées d’Affaires mondiales Canada

Mars 2017

Remerciements

La Direction de l’évaluation du développement d’Affaires mondiales Canada tient à remercier toutes les personnes qui ont contribué à la présente évaluation, notamment les collègues du Groupe de travail sur l’évaluation du développement et tous les autres qui ont offert leur soutien et leurs conseils tout au long du processus d’évaluation.

L’évaluation a été menée par une équipe indépendante d’Itad Limited. La Direction de l’évaluation du développement a assuré l’encadrement et la gestion du processus d’évaluation.

David Heath
Chef, Évaluation du développement

Liste des acronymes et des abréviations

Sommaire exécutif

Introduction

Le présent rapport rend compte de l’examen des évaluations décentralisées faites entre 2009 et 2014. Durant cette période, les évaluations décentralisées ont été gérées par les secteurs de programmes d’Affaires mondiales Canada (AMC). Elles visaient à favoriser la reddition de comptes, l’apprentissage et la prise de décisions, ainsi qu’à mener à l’amélioration des programmes. Les évaluations décentralisées étaient commandées et gérées au sein des secteurs de programmes, qui en assumaient la responsabilité seule ou conjointement avec d’autres donateurs, et mettaient l’accent sur les projets et les investissements à l’échelon des secteurs.

La finalité de cette étude est de fournir à AMC une évaluation de la qualité des évaluations décentralisées afin d’établir les mesures qu’elle doit prendre pour accroître la crédibilité, la fiabilité, la validité et l’utilisation des évaluations, de même que d’améliorer les systèmes de gestion d’information pour assurer le stockage et le partage des connaissances en matière d’évaluation.

Les six secteurs de programmes de développement d’AMC ont l’entière responsabilité de commander et de mener des évaluations décentralisées. Le rôle de PCE, et surtout de son Unité des services d’évaluation (USE), est de fournir orientation, soutien technique et assurance de la qualité des évaluations décentralisées, en tant que partie intégrante de la fonction de surveillance de PCE. L’USE n’a pas à accepter ni à approuver les résultats attendus de l’évaluation puisque cette responsabilité incombe aux secteurs de programmes.

La portée de l’étude consiste à examiner la planification des évaluations décentralisées, la qualité des documents d’évaluation, soit le cadre de référence, les plans de travail, les rapports d’évaluation et la réponse de la direction, l’efficacité des services de soutien et, enfin, l’utilité des évaluations décentralisées.

Pour évaluer la qualité, nous avons déterminé si les évaluations décentralisées d’AMC respectaient les normes de qualité pour l’évaluation du développement établies par le Comité d’aide au développement (CAD) de l’Organisation de coopération et de développement économiques (OCDE).^{Note de bas de page 1} Adoptée par 32 donateurs bilatéraux et organismes de développement multilatéraux en 2010, ces normes sont importantes puisqu’elles constituent un cadre international convenu. Axées sur la gestion et le déroulement d’une évaluation, elles visent à renforcer la contribution du travail d’évaluation aux résultats du développement, de même qu’à servir d’étalon par rapport auquel les membres du CAD sont évalués dans le cadre des examens par les pairs du CAD.

L’étude a été entreprise par une équipe d’Itad Ltd, société-conseils du Royaume-Uni, pour le compte de PCE. La méthodologie comportait six éléments : un examen de la qualité des 116 évaluations décentralisées, un sondage en ligne du personnel des secteurs des programmes d’AMC, un examen des services de soutien fournis par PCE, une étude de cas approfondie de huit évaluations décentralisées, un examen des systèmes de gestion de l’information d’AMC et de quatre agences pairs utilisées pour les évaluations, et un examen de l’état des recommandations de la précédente méta-évaluation qui a eu lieu en 2008.

Constatations

Qualité des évaluations décentralisées

Entre 50 % et 60 % des trois principaux documents d’évaluation – cadre de référence, plans de travail et rapports d’évaluation – respectent les normes de qualité du CAD de l’OCDE, mais peu d’entre eux obtiennent une note très satisfaisante.

Certaines indications laissent croire à une amélioration de la qualité au cours de la période d’examen, bien que cette tendance ne soit pas définitive. Le type d’évaluation (formative ou sommative) et le secteur qui mène l’évaluation n’influencent pas vraiment la qualité, mais les projets à budget plus élevé sont mieux évalués. La composition de l’équipe d’évaluation ou la taille du budget d’évaluation n’affectent pas la qualité, mais si le chef d’équipe est aussi évaluateur, la qualité s’en trouve améliorée.

Les documents d’évaluation correspondent à divers degrés aux normes du CAD de l’OCDE. Ils s’en tirent bien en ce qui concerne la plupart des aspects de la planification et de la conduite de l’évaluation, mais ils ne sont pas à la hauteur lorsqu’il s’agit des normes éthiques, de l’évaluabilité et de la méthodologie.

Même si certains aspects des réponses de la direction préparées par les secteurs sont de qualité raisonnable, les aspects liés à la mise en application immédiate des recommandations, au suivi et à la diffusion font piètre figure, comme en témoigne le niveau de détail fourni dans ces rapports.

Des cadres de référence de bonne qualité sont associés à un plan de travail et à un rapport d’évaluation de bonne qualité. Cela signifie qu’il vaut la peine d’investir dans un cadre de référence qui est rédigé avec soin et dans le respect de normes élevées de qualité. On ne constate aucun lien entre la qualité de ces documents et celle de la réponse de la direction, mesurée en fonction du niveau de détail fourni dans ces réponses.

La qualité d’un rapport d’évaluation est plus étroitement liée à quatre critères du CAD de l’OCDE : des questions d’évaluation appropriées, une méthodologie robuste, des constatations logiques et bien attribuées et la clarté de l’analyse. Une analyse plus poussée permet d’affirmer qu’une solide méthodologie est le facteur le plus important pour distinguer les cadres de référence, plans de travail et rapports d’évaluation de bonne qualité de ceux de piètre qualité.

Qualité des processus de planification des évaluations décentralisées

Les évaluations sont généralement planifiées bien à l’avance, mais la présence d’une finalité générale et d’un trop grand nombre de questions d’évaluation complique la tâche aux consultants et à leurs équipes d’évaluation de présenter un rapport de grande qualité. Les gestionnaires de programme des secteurs possèdent divers antécédents professionnels qui peuvent ne pas comprendre l’évaluation, alors que les budgets d’évaluation et les niveaux d’effort sont souvent insuffisants pour répondre aux attentes en matière de portée et de qualité. En outre, l’USE de PCE a de la difficulté à assurer la qualité parce que son mandat est de nature consultative et sa participation ne suffit pas ou n’est pas adaptée pour améliorer le processus de planification et ainsi contribuer à des évaluations de meilleure qualité. L’USE n’adopte pas toujours une approche adaptée à la situation pour évaluer la qualité, ce qui mène à une application inadéquate des normes de qualité. L’effectif de l’USE ne suffit pas non plus à répondre à la demande. L’USE a surtout de la difficulté à donner des conseils en temps opportun.

Utilisation des évaluations décentralisées

Les évaluations décentralisées servent surtout à des fins opérationnelles. Le personnel des secteurs des programmes entreprend de telles évaluations en grande partie pour vérifier le niveau de progression de la mise en œuvre du programme et de l’atteinte de ses objectifs. Les évaluations à mi-mandat servent à améliorer la mise en œuvre, alors que les évaluations finales facilitent la conception d’une nouvelle phase d’un projet ou la décision de prolonger ou non une intervention en cours.

Le personnel des secteurs trouve que les évaluations décentralisées sont plus utiles lorsqu’elles sont faites en temps opportun; et leur utilisation est plus fréquente s’il y a une appropriation, une finalité claire et un intérêt exprimé par la direction. Alors qu’une piètre qualité peut nuire à l’utilisation de l’évaluation, des rapports de bonne qualité ne garantissent pas une diffusion à grande échelle des recommandations et un suivi des plans d’action de la direction.

Les conclusions et les recommandations sont considérées comme les éléments les plus utiles des évaluations. Les leçons sont perçues comme moins utiles, surtout parce qu’il n’existe pas de système de gestion des connaissances à AMC pour favoriser l’apprentissage généralisé au-delà des personnes concernées par l’intervention. En outre, très peu d’évaluations décentralisées sont publiées sur le site Web d’AMC, ce qui en limite encore plus la mise en application et l’utilisation et place AMC en queue de peloton des agences pairs au chapitre de la transparence.

Examen des systèmes de gestion d’information d’AMC

On constate une profonde insatisfaction envers l’approche actuelle d’AMC concernant le stockage et la gestion des évaluations décentralisées, et sa nature ad hoc ne convient pas du tout. L’absence d’un système centralisé pour stocker les évaluations décentralisées leur enlève leur utilité pour l’organisation dans son ensemble. Les difficultés auxquelles AMC se bute ne sont pas uniques. Les autres agences ont opté soit de faire le suivi des évaluations en les publiant sur leur site Web ou en mettant en place une base de données consacrée aux évaluations afin d’offrir une meilleure façon de les stocker, de les récupérer et de les consulter. Cette dernière solution nécessite d’investir au-delà du matériel informatique, mais aussi dans des incitatifs pour susciter l’utilisation du système. À titre de comparaison, deux agences des Nations Unies encouragent le téléchargement et l’utilisation des évaluations en leur attribuant une note de qualité, en faisant le suivi des évaluations planifiées et publiées, ainsi qu’en reconnaissant les meilleures évaluations chaque année.

Mise en œuvre des recommandations de la méta-évaluation de 2008

Le rapport de 2008 recommande de renforcer PCE et de clarifier sa fonction et ses responsabilités dans le cadre du travail d’évaluation décentralisée. Depuis, après l’intégration de l’Agence canadienne de développement international (ACDI) au ministère des Affaires étrangères, du Commerce et du Développement (MAECD), aucun renforcement important de l’effectif n’a eu lieu; les postes nécessaires n’ont pas été dotés au cours de la période d’examen, et le roulement du personnel a été considérable. La politique d’évaluation du Ministère de 2005 n’a pas été mise à jour, et même si la Politique du Conseil du Trésor sur l’évaluation de 2009 précise les exigences relatives à la fonction d’évaluation dans l’ensemble du gouvernement, son application aux évaluations décentralisées n’y est pas explicitement abordée. On a fait très peu d’avancées concernant les recommandations de l’étude de 2008 portant sur la formation, la gestion de l’information et la communication.

Conclusions

L’étude conclut que le cadre de la politique d’évaluation ministérielle publié en 2005, même s’il était un solide document à l’époque, ne tient pas compte des changements apportés aux normes et pratiques internationales en matière d’évaluation, comme l’introduction des normes du CAD de l’OCDE en 2009, ni des importants changements survenus dans le contexte institutionnel du gouvernement du Canada en matière d’aide au développement, comme la fusion de l’ACDI et du MAECI, ainsi que les nouvelles politiques du Conseil du Trésor en matière d’évaluation. Le rôle et le statut de PCE n’ont pas été renforcés pour lui permettre de jouer son rôle de veiller à ce que l’efficacité de l’aide au développement soit rigoureusement mesurée.

Entre 50 % et 60 % des documents d’évaluation décentralisée sont de qualité acceptable, mais très peu d’entre eux obtiennent une note très satisfaisante. Au cours de la période allant de 2009 à 2014, plus de 40 % des projets examinés par l’équipe d’étude (représentant des dépenses de programme de 2,8 milliards de dollars)^{Note de bas de page 2} n’ont pas été bien évalués et, par conséquent, leurs résultats et rendement n’ont pas fait l’objet d’une évaluation fiable.

Le rôle de PCE dans le soutien de la qualité des évaluations décentralisées demeure flou. L’USE ne dispose pas de ressources suffisantes pour remplir le rôle attendu d’elle. Même si les utilisateurs de ses services les jugent utiles, son travail d’amélioration de la qualité n’est pas aussi efficace qu’il pourrait l’être. La fonction d’assurance de la qualité de l’USE semble être facultative puisque le personnel des secteurs ne requiert pas toujours ses services et contournent ses processus. En outre, on ne sait pas trop qui a le dernier mot sur la qualité et l’approbation de ces évaluations.

Les outils et modèles de qualité offerts par l’USE sont généralement utiles, de l’avis de leurs utilisateurs, mais ils ne règlent pas la question des capacités généralement faibles du personnel des secteurs. La stratégie de soutien adoptée par l’USE ne permet pas de trouver un équilibre entre la nécessité, d’une part, d’avoir des évaluations décentralisées de meilleure qualité et, d’autre part, d’offrir des évaluations à l’échelon des secteurs qui sont menées plus rapidement et plus faciles à utiliser.

Le système toujours utilisé par l’USE pour faire le suivi des évaluations décentralisées, les stocker et en tirer des apprentissages n’est pas efficace. Il est difficile de récupérer les documents et impossible de regrouper les constatations et les leçons.

Durant la période d’examen, on percevait que les évaluations décentralisées avaient moins de prestige et d’attention que les évaluations ministérielles, même si elles représentaient la majeure partie des dépenses en évaluation. L’ensemble des connaissances générées est imposant et aurait pu être utilisé plus efficacement pour éclairer AMC, le gouvernement du Canada, la population canadienne et le public international.

Recommandations

Le système d’évaluation décentralisée en place au sein d’AMC vise à fournir une orientation opérationnelle à chaque projet et une source d’apprentissage pour toute l’organisation. Il est possible d’améliorer davantage la qualité de ces évaluations et d'en soutenir plus fortement et efficacement la planification, la mise en œuvre, le stockage et l'utilisation. C’est pourquoi la présente étude fait les recommandations suivantes.

1. Renforcement du soutien aux évaluations décentralisées.
   1. Renforcer le rôle de la personne-ressource de l’évaluation au sein des secteurs en leur donnant une responsabilité claire et un encadrement afin de favoriser l’échange des connaissances en matière d’évaluation au sein de leur secteur.
   2. Clarifier les rôles et les responsabilités de tous les intervenants (personnel des secteurs, USE, cadres supérieurs, Comité de l’évaluation du développement, etc.), pour veiller à ce que l’amélioration de la qualité des évaluations soit convenablement soutenue (c’est-à-dire qu’elle soit intégrée et complète), ce qui est reflété (et communiqué) dans une politique d’évaluation révisée.
   3. Donner plus de formation et renforcer les compétences en évaluation du personnel des secteurs et envisager de faire travailler par rotation le personnel ayant des compétences en évaluation aux bureaux de la région ou du pays, surtout dans les pays ciblés par AMC.
   4. Donner un soutien adéquat à PCE/USE, soit du personnel en évaluation et des ressources budgétaires appropriés.
2. Renforcement de l’échange et de l’utilisation des évaluations.
   1. Présenter, en guise de point permanent à l’ordre du jour du Comité d’évaluation du développement, une déclaration périodique sur le nombre et l’état des évaluations décentralisées planifiées, commandées et achevées par secteur, thème et budget.
   2. Élaborer une stratégie de gestion des connaissances détaillée qui prévoit un forum pour échanger les leçons tirées des évaluations décentralisées, ainsi que la publication des rapports d’évaluation décentralisée, conformément à ce qui se fait sur la scène internationale.
   3. Instaurer une culture plus favorable à l’échange et à l’utilisation des connaissances tirées des évaluations par une meilleure communication et l’utilisation de divers médias (Web, médias sociaux, réseaux), ainsi que récompenser et reconnaître les bonnes pratiques et la qualité. Travailler dans le but de publier l’ensemble des évaluations achevées à moyen terme.
3. Renforcement de la planification et de la conduite des évaluations décentralisées.
   1. Renforcer le rôle, les capacités et les ressources du travail d’évaluation décentralisée à l’échelon des secteurs. Pour ce faire, élaborer et mettre en œuvre une stratégie de formation afin de permettre aux secteurs d’acquérir des compétences de base en évaluation et de travailler à partir de directives plus pratiques.
   2. Renforcer le rôle de l’USE en tant que courtier du savoir et non de l’assurance de la qualité.^{Note de bas de page 3} Pour ce faire, envisager que l’USE se concentre sur l’élaboration de directives et outils appropriés pour les évaluations décentralisées, en travaillant plus étroitement avec les secteurs sur certaines évaluations, et en concevant de meilleurs systèmes de gestion des connaissances. Renforcer les capacités de l’USE en dotant l’unité d’un effectif possédant le bon ensemble de compétences et d’expériences en évaluation, ainsi qu’une connaissance et une expertise de l’organisation et du contexte.
   3. Veiller à ce que les secteurs planifient annuellement les évaluations décentralisées à mener à l’aide des outils et du personnel de l’USE.
4. Renforcement de la gestion de l’information des évaluations décentralisées.
   1. À court et à moyen terme, renforcer l’accessibilité aux évaluations décentralisées. Par exemple, PCE pourrait tenir à jour une liste consolidée sur l’intranet et concevoir une fonction qui permet de mettre le personnel au courant des évaluations terminées, de la réponse de la direction et des principales constatations. Explorer la possibilité d’utiliser les bases de données existantes (p. ex. CRAFT) à cette fin.
   2. À long terme, créer une plateforme pour permettre au personnel et aux intervenants externes d’accéder à toutes les évaluations décentralisées.

Réponse de la direction

Aperçu

La Méta-évaluation des évaluations décentralisées d’Affaires mondiales Canada pour la période de 2009 à 2014 a été effectuée par Itad Ltd, société-conseil du Royaume-Uni, pour le compte de PCE (Direction de l’évaluation du développement). Elle visait à fournir à AMC une évaluation de la qualité des évaluations décentralisées afin d’établir les mesures qu’elle doit prendre pour accroître la crédibilité, la fiabilité, la validité et l’utilisation des évaluations, de même que d’améliorer les systèmes de gestion d’information pour assurer le stockage et le partage des connaissances en matière d’évaluation.

Selon les constatations et les conclusions, ainsi que pour soutenir l’amélioration de la planification, de la qualité et de l’utilisation des évaluations décentralisées, le rapport recommande de renforcer quatre aspects : 1) le soutien accordé aux évaluations décentralisées; 2) la diffusion et l’utilisation des évaluations décentralisées; 3) la planification et la conduite des évaluations décentralisées, et 4) la gestion de l’information issue des évaluations décentralisées. Sur les douze recommandations formulées dans le rapport, toutes sont acceptées.

La Direction de l’évaluation du développement d’Affaires mondiales Canada prend note des lacunes de rendement cernées par les évaluateurs dans le cadre de la méta-évaluation. Bon nombre de ces lacunes ont mis en lumière la nécessité de renouveler les processus et de mettre à jour les outils pour soutenir l’amélioration de la qualité et de l’utilisation des évaluations décentralisées menées par les secteurs de programmes de développement d’AMC. La direction de PCE accueille ces recommandations comme une occasion de réviser et d’améliorer les ressources et le rôle de l’Unité des services d’évaluation de PCE pour offrir de l’orientation au personnel des secteurs tout au long du cycle de vie de la planification des évaluations décentralisées, ainsi que pour veiller à ce qu’un soutien adéquat soit offert pour répondre à la demande. PCE reconnaît également la nécessité de mettre à profit les ressources d’AMC sur plusieurs plans, notamment : apprentissage et formation; communications; développement et transfert des connaissances; résultats et exécution; gestion des données et de l’information, et mesure du rendement.

Les recommandations formulées dans le cadre de cette évaluation insufflent à la direction des secteurs un nouveau souffle afin de mettre à jour les processus et de tirer profit des plateformes existantes pour combler les lacunes persistantes qui ont actuellement une incidence sur la planification, la qualité et l’utilisation d’une grande portion des documents d’évaluation décentralisée. Comme en témoignant les engagements et les mesures de suivi proposés dans le tableau ci-dessous, PCE s’attaquera à certains aspects en vue de renforcer les processus liés aux évaluations décentralisées et leur diffusion; la collaboration des secteurs énumérés sera également essentielle pour superviser et faire le suivi de la mise en œuvre de cette réponse de la direction.

1 Introduction

Le présent rapport constitue le tout dernier livrable de la méta-évaluation^{Note de bas de page 5} menée pour Affaires mondiales Canada (AMC).^{Note de bas de page 6} Il porte surtout sur la qualité et l’utilisation des évaluations décentralisées.^{Note de bas de page 7} Pour évaluer la qualité, nous avons déterminé si les évaluations décentralisées d’AMC respectaient les normes de qualité pour l’évaluation du développement établies par le Comité d’aide au développement (CAD) de l’Organisation de coopération et de développement économiques (OCDE).^{Note de bas de page 8} Adoptée par 32 donateurs bilatéraux et organismes de développement multilatéraux en 2010, ces normes sont importantes puisqu’elles constituent un cadre international convenu. Axées sur la gestion et le déroulement d’une évaluation, elles visent à renforcer la contribution du travail d’évaluation aux résultats du développement, de même qu’à servir d’étalon par rapport auquel les membres du CAD sont évalués dans le cadre des examens par les pairs du CAD.

L’étude s’est échelonnée d’octobre 2015 à septembre 2016; l’étape de démarrage s’est déroulée d’octobre à décembre 2015, puis la collecte de données a été effectuée de janvier à juin 2016. Elle a été entreprise par une équipe de cinq personnes d’Itad Ltd, cabinet-conseil du Royaume-Uni.

Ce rapport final comporte huit sections : introduction (section 1), objectifs et portée (section 2), évaluation de l’évaluabilité (section 3), méthodologie (section 4), constatations (section 5), ainsi que conclusions, leçons et recommandations (sections 6, 7 et 8).

1.1 Évaluations décentralisées à Affaires mondiales Canada

Les évaluations décentralisées sont des évaluations commandées et gérées par les secteurs de programmes^{Note de bas de page 9} afin de faciliter la reddition de comptes, l’apprentissage et la prise de décisions, ainsi que d’améliorer la programmation. Elles sont menées par des évaluateurs ou des firmes d’évaluation du secteur privé qui reçoivent le mandat par l’entremise des mécanismes d’approvisionnement du gouvernement du Canada. La décision de mener une évaluation décentralisée, tout comme sa portée, sa structure et les questions précises à aborder, repose sur les besoins et exigences des gestionnaires au sein des secteurs de programmes et ceux des partenaires de projet ou de programme. Les secteurs de programmes sont entièrement responsables de commander, de mener et d’assurer l’utilisation des évaluations décentralisées.

Les évaluations décentralisées servent également d’éléments constitutifs aux évaluations ministérielles qui sont menées au sein du Secteur des politiques, car elles sont une excellente source de données, surtout pour évaluer l’efficacité des programmes. Elles diffèrent des évaluations ministérielles lesquelles abordent de plus vastes questions thématiques et sont commandées et gérées directement par la Direction de l’évaluation du développement, ou PCE (autrefois appelées DED) d’AMC.

Le rôle de PCE dans le cadre des évaluations décentralisées est d’en assurer la qualité. Plus précisément, pendant toute la durée de l’évaluation, l’Unité des services d’évaluation (USE) de PCE voit à fournir orientation, soutien technique et assurance de la qualité des évaluations décentralisées, en tant que partie intégrante de la fonction de surveillance de PCE. L’USE est une petite équipe qui examine les livrables de l’évaluation, notamment le cadre de référence, les plans de travail et les rapports d’évaluation. Sa contribution est offerte au besoin, selon les demandes présentées par les secteurs de programmes. L’Unité a établi des modèles de rapports et des normes de qualité, en fonction des principes du CAD de l’OCDE, à l’intention des personnes responsables de commander et de rédiger les évaluations décentralisées. À l’exception du cadre de référence, qu’elle doit approuver avant qu’un appel d’offres ne soit enclenché, l’USE n’a pas l’autorité d’accepter ni d’approuver les livrables de ce type d’évaluation puisque cette responsabilité incombe aux secteurs de programmes. L’USE ne voit pas non plus à évaluer les soumissions des consultants souhaitant mener l’évaluation.

2 Objectifs et portée

2.1 Finalité

La présente méta-évaluation des évaluations décentralisées a comme finalité de fournir à AMC :

1. une évaluation de la qualité des évaluations décentralisées;
2. un ensemble de mesures à prendre par PCE pour améliorer la qualité des outils, principes directeurs et processus de planification d’AMC et ainsi accroître la crédibilité, la fiabilité, la validité et l’utilisation des évaluations;
3. des recommandations pour améliorer les systèmes d’information de gestion (SIG) qui facilitent le stockage et le partage des connaissances en matière d’évaluation.

La présente méta-évaluation servira à PCE et aux secteurs de programmes.

La finalité qui sous-tend la conduite de cette évaluation se fonde sur l’un des rôles confiés à PCE. En effet, conformément à la Politique d’évaluation du développement (ACDI, 2005), PCE est chargé de rendre compte de la qualité des évaluations décentralisées au comité d’évaluation en procédant périodiquement à des contrôles de la qualité et à des méta-évaluations.^{Note de bas de page 10}

Une méta-évaluation a déjà été menée en 2008.^{Note de bas de page 11} L’examen de ses recommandations vient également justifier la nécessité de la présente étude.

Depuis 2008, il existe de nouvelles normes de qualité (fondées sur les normes de qualité pour l’évaluation du développement du CAD),^{Note de bas de page 12} et celles-ci ont été officiellement intégrées aux accords d’offre à commandes établies pour le Ministère en 2009 afin d’obtenir des services d’évaluation. Elles fournissent dorénavant un tout nouveau cadre pour évaluer la qualité des évaluations.

La présente étude nous donne une belle occasion d’examiner l’évolution des évaluations décentralisées d’AMC au cours des sept dernières années, puis de déterminer si elles correspondent bien aux principes directeurs du CAD, s’il existe des obstacles à leur qualité et s’il y a des façons pour PCE de resserrer son appui aux secteurs de programmes à ce chapitre.

Enfin, avec la création d’Affaires mondiales Canada (autrefois le MAECD) par la fusion de l’ACDI et du MAECI, la période à l’étude a vu d’importants changements organisationnels et roulement du personnel par rapport à l’époque précédant la fusion. L’intégration des fonctions des affaires étrangères et du commerce à celle de l’aide au développement, ainsi que le transfert de la responsabilité d’évaluation à un ministère chargé de l’établissement de politiques, a créé un terrain fertile pour les synergies, mais a également nécessité le recadrage du travail de développement au sein de cette nouvelle structure. Les incitatifs ont changé, et un accent plus marqué est dorénavant mis sur l’étude minutieuse et la valeur ajoutée de l’aide depuis l’adoption de la Loi fédérale sur la responsabilité. En 2015, l’avènement d’un nouveau gouvernement au Canada est également venu insuffler une nouvelle orientation stratégique à l’aide fournie, ainsi qu’à la mesure et à la responsabilité de ses résultats, et les répercussions de ce changement sur l’évaluation ne se sont pas encore fait pleinement sentir.

2.2 Objectifs spécifiques

Selon le cadre de référence, la méta-évaluation doit viser huit objectifs particuliers :

1. Évaluer la qualité des évaluations décentralisées en fonction des normes de qualité pour l’évaluation du développement du CAD de l’OCDE;
2. cerner les éléments ou les critères de qualité qui sont parfaitement respectés ou qui laissent à désirer dans les documents d’évaluation d’AMC;
3. examiner les forces et les faiblesses des processus de planification des évaluations décentralisées;
4. déterminer si le soutien et l’expertise, ainsi que les outils de PCE, ont été mis à contribution dans les évaluations décentralisées;
5. établir si les constatations, les conclusions, les recommandations et les leçons issues des évaluations décentralisées ont été utilisées et à quelles fins, ou, si elles n’ont pas été utilisées, déterminer pourquoi;
6. déterminer la mesure dans laquelle les recommandations issues de la méta-évaluation de l’ACDI en 2008 ont été appliquées;
7. examiner les SIG utilisés actuellement pour le stockage et le partage des évaluations décentralisées et se pencher sur les améliorations ou les mises à niveau possibles de ces systèmes;
8. recommander des mesures à prendre pour améliorer la qualité des évaluations.

2.3 Objet et portée de l’évaluation

Le cadre de référence précise quatre objets pour cette méta-évaluation. Ensemble, ces quatre objets servent de fondement à l’évaluation de tout le cycle de vie des évaluations décentralisées, de leur planification à leur éventuelle utilisation. Ils sont présentés au Tableau 1.

Compte tenu de la nature différente de ces quatre objets, l’équipe responsable de l’étude a conçu des méthodologies et outils distincts pour chacun. Ces méthodologies et outils sont décrits au chapitre 4. L’utilité d’une évaluation ne découle pas seulement de sa qualité, elle dépend aussi du cadre institutionnel et des incitatifs. La portée de la présente méta-évaluation comprend donc une évaluation de ces facteurs.

Intervenants : Dans le cadre de sa portée, l’étude reconnaît la nécessité d’inclure divers groupes d’intervenants. Ceux-ci sont bien définis dans le cadre de référence et on en compte trois principaux : les commanditaires des évaluations décentralisées, les exécutants des évaluations décentralisées et les utilisateurs de cette méta-évaluation. Le plan de travail précise les moyens que prendra l’équipe d’étude pour joindre ces divers acteurs.^{Note de bas de page 15}

3 Évaluabilité

Le plan de travail permet de souligner les obstacles possibles au processus d’évaluation et à sa conception et cherche à les atténuer. L’approche de l’étude, présentée en détail dans le plan de travail, tente d’aborder les limites de la méthodologie, les contraintes pratiques et logistiques auxquelles l’équipe peut se buter, la disponibilité des données et des gens, ainsi que tout conflit d’intérêts découlant des expériences antérieures de notre équipe. L’expérience acquise lors de la précédente méta-évaluation menée en 2008 a également servi à élaborer le plan de travail. Par exemple, lors de l’étude de 2008, nous avons eu beaucoup de difficultés à repérer avec précision et à récupérer les documents d’évaluation. Pour surmonter cet obstacle, PCE a consacré plus d’un an à dresser l’inventaire des livrables des évaluations en vue de la présente étude. L’équipe d’étude a ensuite choisi une méthode d’échantillonnage dirigé afin d’obtenir la couverture la plus représentative possible des documents inventoriés et de remplacer les cas pour lesquels la documentation était incomplète. La stratégie de collecte de données a été conçue pour permettre à l’équipe de joindre les intervenants clés par divers moyens. Ainsi, pour éviter un éventuel manque de données probantes, la méthodologie prévoyait la consultation de plusieurs sources de données pour combler les lacunes et en arriver à des constatations plus solides.

Pour éviter de compromettre l’indépendance de l’évaluation, Itad a également examiné le lien qui unit ou unissait chacun des membres de l’équipe à l’ACDI et à AMC, puis a éliminé toute possibilité de conflit d’intérêts, notamment lorsque des membres de l’équipe avaient pris part à des évaluations antérieures. Les données tirées des entrevues et des documents consultés ont été conservées dans un endroit sûr et confidentiel.

4 Méthodologie

4.1 Questions d’évaluation

Le cadre de référence comporte six grandes questions d’évaluation. Ces questions portent sur : i) la qualité des documents d’évaluation décentralisée par rapport aux normes du CAD de l’OCDE et d’AMC; ii) les aspects des évaluations qui dépassent ces normes ou qui n’y répondent pas; iii) les forces et les faiblesses du processus de planification des évaluations décentralisées; iv) l’utilité des rapports d’évaluation décentralisée; v) la mise en application ou non des recommandations de la méta-évaluation de 2008, et vi) les possibilités d’améliorer les SIG actuels d’AMC.

Les six questions sont divisées en 20 sous-questions, lesquelles ont servi à structurer le chapitre 5 portant sur les constatations. Une grille d’évaluation détaillée a ensuite été élaborée pour présenter la façon dont l’étude permettra de répondre à chacune de ces sous-questions.

4.2 Méthodes

La portée de cette étude a permis à l’équipe d’Itad d’examiner en détail la qualité de l’évaluation destinée à AMC. Alors que les méta-évaluations passées ne se sont concentrées que sur certains aspects des déterminants de la qualité, la présente étude s’est penchée sur la qualité des documents d’évaluation, ainsi que sur les processus, le cadre institutionnel, les capacités et les systèmes de soutien qui tous jouent un rôle dans la détermination de la qualité. Pour ce faire, la méta-évaluation comporte six volets : i) un examen de la qualité des documents; ii) un sondage en ligne auprès du personnel; iii) un examen des processus de PCE/USE; iv) un ensemble d’études de cas approfondies; v) un examen des SIG d’AMC en vue des évaluations, et vi) un examen de la méta-évaluation de 2008. Le lien entre ces éléments et les processus d’évaluation décentralisée d’AMC est illustré à la Figure 1. Le plan de travail de l’étude, approuvé par PCE, décrit la méthodologie en détail.^{Note de bas de page 16}

Figure 1 : Processus d’évaluation et volets de l’étude

4.2.1 Examen de la qualité des documents

L’examen de la qualité porte sur le cadre de référence, les plans de travail, les rapports d’évaluation préliminaire et final ainsi que les réponses de la direction. Les gabarits se fondent sur les outils de PCE et les normes du CAD de l’OCDE. Chacun des 72 critères de qualité précis et les 16 niveaux de qualité générale ont été évalués sur une échelle de 1 à 4. Bien qu’un échantillon de 125 évaluations ait été choisi au départ,^{Note de bas de page 17} l’échantillon utilisé n’en compte que 116.^{Note de bas de page 18} Une analyse quantitative et qualitative des données d’examen a été effectuée afin de déterminer le caractère représentatif de l’échantillon, les caractéristiques des documents d’évaluation, les profils de variation de la qualité par rapport à un ensemble de variables indépendantes et les associations relatives à la qualité à faire entre les quatre livrables.

4.2.2 Sondage en ligne

Un sondage Web mené auprès du personnel d’AMC a permis de connaître les perceptions quant à la planification et l’utilisation des évaluations décentralisées, ainsi qu’à l’utilité du soutien de l’USE. Il nous a aidés à cerner les questions de suivi à poser lors des études de cas approfondies et des entrevues avec la haute direction. Quelque 114 membres du personnel ont répondu au sondage, et des résultats utilisables ont été obtenus de 90 d’entre eux.

4.2.3 Études de cas approfondies

Les études de cas ont permis d’explorer les obstacles et les catalyseurs d’une bonne planification de l’évaluation et de connaître les raisons et les façons d’utiliser les évaluations décentralisées. Un échantillon de 10 évaluations a été choisi à dessein pour tenir compte des divers niveaux de qualité et d’utilisation dans l’ensemble des six secteurs. Seulement huit ont pu être évaluées en raison des difficultés à joindre le personnel concerné, et une entrevue a été menée auprès de 25 personnes.

4.2.4 Examen des processus de PCE pour soutenir les évaluations décentralisées

Nous nous sommes concentrés sur le travail de l’USE, qui offre à la fois de l’assurance de la qualité tout au long du processus d’évaluation et des conseils techniques sur les concepts et méthodes d’évaluation au personnel d’AMC. L’étude a porté sur les capacités du personnel de l’USE, ainsi que sur les outils et processus qu’il utilise dans le cadre de son travail. Des données probantes ont été tirées de plusieurs sources : l’examen de la qualité, les entrevues auprès de 23 employés et consultants, les études de cas approfondies et les autres entrevues menées auprès de la haute direction et de consultants expérimentés d’AMC.

4.2.5 Examen des SIG d’AMC en vue des évaluations

Il s’agit ici d’examiner les systèmes en place à AMC pour stocker et partager les connaissances d’évaluation, puis de les comparer à ceux de quatre autres agences afin de cerner les pratiques exemplaires.^{Note de bas de page 19}

4.2.6 Examen de la méta-évaluation de 2008

Les recommandations de la méta-évaluation menée en 2008 ont été examinées à la lumière des données probantes découlant des autres volets de l’étude. Nous avons ainsi pu évaluer l’ampleur des changements survenus au cours de la période d’examen, de même que déterminé si les recommandations de l’étude de 2008 avaient fait l’objet d’un suivi.

4.3 Limites

L’évaluabilité et la conception de la méta-évaluation en vue de la présente étude ont soulevé un certain nombre de limites.

Cette étude était nécessaire pour définir la qualité des évaluations décentralisées en fonction de leur conformité à des normes internationales reconnues, soit celles proposées par le CAD de l’OCDE. Bien que ces normes soient détaillées et acceptées par le monde entier, il est possible d’utiliser d’autres façons d’évaluer la qualité qui reposent sur le point de vue des intervenants. En effet, le document d’orientation indique que les normes du CAD ne devraient pas exclure l’utilisation d’autres normes ni supplanter les directives propres à certains types d’évaluations.

Dans toute évaluation des facteurs touchant la qualité et l’utilisation des évaluations, certains aspects seront toujours difficiles à évaluer lorsque le travail est mené à distance ou à partir de documents secondaires. Parmi ces aspects, il y a la relation parfois imprévisible qui existe entre les gestionnaires de l’évaluation, les évaluateurs et les personnes évaluées, ainsi que les situations de conflits ou de biais entre les acteurs qui ne sont pas nécessairement rapportées dans les documents. Ces aspects ont été difficiles à évaluer dans l’examen de la qualité, mais l’équipe d’étude a réussi à découvrir de l’information sur ces questions délicates dans les études de cas, et cette information lui a été très utile pour se faire une meilleure idée des défis à surmonter au moment de mener une évaluation décentralisée.

En raison de l’absence à AMC d’un système pour faire le suivi de la mise en œuvre des réponses de la direction, ainsi que du nombre restreint et du format des rapports sur cette question, il existe très peu de moyens d’estimer l’utilisation. De plus, même si l’évaluation de l’outil qu’est la réponse de la direction faisait partie des volets clés de l’étude pour évaluer l’utilisation des évaluations, elle n’a pas permis de rendre compte de tous les résultats formels et informels des évaluations. À elle seule, elle ne constitue donc pas une mesure complète de l’utilité des évaluations décentralisées (consulter la section 5.4 pour plus de détails). Des entrevues clés ont cependant permis, dans une certaine mesure, de compenser cette lacune.

L’étude n’a pas permis d’explorer en détail les normes « générales » du CAD de l’OCDE sur la transparence, le partenariat, la coordination ou le renforcement des capacités, puisque ces critères n’ont pas été retenus pour l’examen de la qualité.

Nous avons eu quelques problèmes pratiques pour accéder aux documents et aux intervenants dans le cadre de l’examen de la qualité et des études de cas. La tâche de trouver tous les rapports pertinents s’est révélée ardue, et lorsque les documents sont demeurés introuvables, il a fallu obtenir des documents de remplacement, avec l’aide de PCE. Le plus petit échantillon de cadres de référence, de plans de travail et de réponses de la direction a restreint la portée de notre étude. Dans certains cas, les employés d’AMC concernés ont été réaffectés ou ont pris leur retraite, et il n’a pas toujours été possible de trouver les meilleures personnes à interroger. De nombreuses évaluations ont été menées il y a cinq ans, et les personnes interrogées ont peiné à s’en souvenir. Néanmoins, pour la plupart des études de cas et des entrevues avec la direction, le personnel approprié a pu être joint et se souvenait de détails pertinents.

L’échantillon de 114 répondants au sondage en ligne était acceptable, ce qui représente environ 20 % de l’ensemble statistique potentiel de plus de 500 employés invités à participer.^{Note de bas de page 20} Le profil des répondants correspond bien aux secteurs et aux catégories d’employés. En ce qui concerne l’examen de la qualité, l’échantillon de 116 documents a suffi pour effectuer une analyse comparative de base, mais le recours à des outils de corrélation plus perfectionné a été limité par la taille de l’échantillon. Comme l’indiquent les constatations de l’étude, les résultats de ce travail doivent être pris avec circonspection.

5 Constatations

Le présent chapitre rend compte des principales constatations de la méta-évaluation à partir de chacune des questions et sous-questions d’évaluation mentionnées à la section 4.1.

5.1 Qualité des évaluations décentralisées

5.1.1 Représentativité de l’échantillon utilisé pour l’examen de la qualité

L’échantillon de 116 rapports d’évaluation examinés pour leur qualité était également réparti entre les secteurs, selon la proportion des évaluations inventoriées. Les secteurs les mieux représentés sont l’Asie, l’Afrique et les Amériques, avec quelques rapports venant des secteurs Enjeux mondiaux et développement (MFM), Partenariats pour l’innovation dans le développement (KFM) et Europe, Moyen-Orient et Maghreb (EGM). La plupart des évaluations étaient formatives (46 %, y compris les évaluations à mi-mandat) ou sommatives (41 %, y compris les évaluations de projet finales), ce qui correspond bien à la proportion de ces types d’évaluation dans l’inventaire. Le budget moyen des projets de l’échantillon, soit 20 millions de dollars, était légèrement supérieur au budget moyen de 15 millions de dollars dans l’inventaire.^{Note de bas de page 21} Tous les thèmes prioritaires d’AMC et secteurs du CAD de l’OCDE étaient couverts par l’échantillon. Les domaines les mieux représentés avaient trait à la gouvernance démocratique et au développement économique. Le budget moyen des évaluations était de 103 000 $ (lorsque cette donnée était mentionnée). Les répartitions par secteur, thème et budget d’évaluation ne peuvent malheureusement être comparées à l’inventaire général puisque ces données n’y figurent pas. Cependant, selon des discussions tenues avec AMC, la couverture par thème et secteur, ainsi que le niveau des coûts d’évaluation, semblerait représentative.^{Note de bas de page 22}

5.1.2 Quelle est la qualité des documents d’évaluation décentralisée par rapport aux normes du CAD de l’OCDE?

Pour répondre à cette question, l’étude s’est penchée sur la seule note accordée à la qualité générale de chaque document d’évaluation (Figure 2). L’examen a permis de constater que 59 % des 116 rapports d’évaluation respectaient les normes du CAD de l’OCDE et de PCE (selon une note de qualité générale de 3 ou 4), et que c’était aussi le cas de 52 % des 81 cadres de référence et 52 % des 58 plans de travail. Des 28 réponses de la direction, 79 % étaient également d’un niveau de qualité satisfaisante, mais les critères de qualité utilisés étaient beaucoup moins difficiles à évaluer (liés à des questions comme le degré d’engagement à faire le suivi des recommandations), alors que la taille de l’échantillon de ce type de document était plus petite, donc possiblement moins représentative.

Bien que la plupart des documents aient été jugés de qualité satisfaisante, il convient de noter que seul un petit pourcentage d’entre eux semble très satisfaisant, de sorte que la majorité des documents de ce groupe présentent toujours à certains égards des lacunes qui pourraient limiter leur fiabilité ou leur utilité. Les forces et les faiblesses de chaque document sont examinées dans les sections suivantes.

Figure 2 : Répartition des notes obtenues pour la qualité de l’ensemble des évaluations

Facteurs expliquant la qualité globale des évaluations

La proportion des rapports d’évaluation présentant un niveau de qualité générale satisfaisant varie d’année en année, mais il semble que leur qualité ait connu un sommet en 2012 (Figure 3); toutefois, les données n’ont pas permis d’en avoir le cœur net dans le cadre de l’examen. Ainsi, en 2013 et 2014, 71 % (des 21 rapports) et 100 % (des 7 rapports) ont obtenu une note satisfaisante. Dans l’ensemble, une simple droite de tendance superposée au graphique indique une modeste amélioration de la qualité au cours de la période.^{Note de bas de page 23}

Figure 3 : Note moyenne de la qualité des rapports d’évaluation au cours de 2006-2014^{Note de bas de page 24}

Les notes varient de 1 à 4, avec un niveau de qualité moyen de 2,5.

On ne constate aucune différence significative entre la qualité des rapports d’évaluation selon le type ou le secteur (Figure 4 et Figure 5), bien que les évaluations commandées par les secteurs du partenariat et du multilatéral semblent légèrement de meilleure qualité que celles commandées par les trois secteurs régionaux.

Figure 4 : Répartition des notes obtenues pour la qualité des rapports d’évaluation selon le type d’évaluation^{Note de bas de page 25}

Figure 5 : Répartition des notes obtenues pour la qualité des rapports d’évaluation selon le secteur

On constate une forte relation positive entre le coût élevé d’un projet et la meilleure qualité de l’évaluation (Tableau 2).

On constate également une relation modérée mais tout de même significative entre le coût budgeté d’un projet et le budget d’évaluation attribué à ce projet.^{Note de bas de page 26}

On ne distingue aucune association claire entre la qualité du rapport et la taille de l’équipe d’évaluation dans les 86 cas pour lesquels des données étaient disponibles. Il y avait toutefois un lien entre le fait que le chef d’équipe était aussi un spécialiste de l’évaluation et la qualité du plan de travail et du rapport d’évaluation. Les trois quarts des plans de travail et des rapports d’évaluation étaient satisfaisants lorsque le chef d’équipe faisait partie des évaluateurs, alors que seuls le quart des plans de travail et la moitié des rapports d’évaluation étaient satisfaisants lorsque le chef d’équipe ne jouait pas le rôle d’évaluateur.

Quant aux 31 cas pour lesquels on dispose de renseignements, la taille du budget d’évaluation ne présente pas de lien évident avec la qualité ni du plan de travail ni du rapport d’évaluation.

5.2 Aspects de la qualité des documents d’évaluation d’AMC qui dépassent les normes du CAD ou qui n’y répondent pas

L’équipe d’étude a d’abord colligé les données probantes obtenues par divers outils lors de la méta-évaluation, puis déterminé si chacune des normes de qualité du CAD de l’OCDE était respectée. Elle a ainsi obtenu une évaluation partielle en raison du manque de données probantes pour certains aspects.

En ce qui a trait aux normes du CAD portant sur les considérations générales en matière d’évaluation, les données probantes ne suffisent pas pour commenter quatre des critères, puisque l’examen de la qualité et les études de cas n’ont pas permis d’explorer les questions de transparence, de partenariat, de coordination ou de renforcement des capacités de façon assez poussée. Cela dit, les indications trouvées dans les documents pour déterminer dans quelle mesure les évaluations ont été menées conformément aux principes éthiques pertinents (comme la confidentialité, la protection de la vie privée, le consentement éclairé et le respect des droits de la personne) étaient satisfaisantes dans très peu de documents d’évaluation (seulement 6 % des évaluations).^{Note de bas de page 27} Le respect des normes de contrôle de la qualité fluctue : c’est le cas de 61 % des cadres de référence, mais de seulement 48 % des plans de travail.

Quant aux normes du CAD relatives à la planification des évaluations, la situation est relativement bonne : 7 des 12 normes de qualité ont été respectées dans la majorité des documents. Les exceptions sont l’évaluabilité, ainsi que le choix d’une approche et d’une méthodologie, pour lesquelles la norme de qualité a été respectée dans environ le tiers des cas seulement.

Dans le cas des normes du CAD concernant la mise en œuvre et la présentation des résultats, 9 des 15 normes ont été satisfaites. Les aspects de la qualité qui respectent davantage les normes concernent la clarté du rapport, la logique de l’intervention et la consultation des parties prenantes. Les documents font moins bonne figure pour ce qui est de la méthodologie et des limites.

Enfin, la situation est la moins reluisante en ce qui concerne les normes de qualité liées à l’utilisation des évaluations. Les réponses de la direction respectent généralement la norme de qualité qui lui est appliquée, mais lorsqu’on tient compte des opinions exprimées lors des entrevues et dans le sondage en ligne, la norme relative à l’utilité est considérée comme partiellement respectée, alors que les normes liées à la réponse et au suivi des recommandations et à la diffusion ne sont pas satisfaites.

La section qui suit examine la qualité des quatre documents d’évaluation en fonction des divers critères du CAD de l’OCDE.

5.2.1 Cadres de référence

La qualité est à la fois satisfaisante et insatisfaisante (52 % et 49 %) dans les 81 cadres de référence évaluées; seulement 6 % ont été jugés très satisfaisants. L’analyse des résultats au fil du temps laisse entrevoir une amélioration de la qualité des cadres de référence depuis 2009, ainsi qu’une baisse générale de la proportion des cadres de référence jugés globalement comme non conformes aux normes du CAD de l’OCDE.

Selon les quatre principales sections du gabarit utilisé, on constate que les cadres de référence sont généralement de meilleure qualité à la section 3, sur la gestion et les processus, et à la section 2, sur la finalité, les objectifs et la portée. Plus de 80 % des cadres de référence sont jugés satisfaisants pour la qualité des aspects suivants : justification et finalité de l’évaluation, définir des objectifs spécifiques et définir clairement les livrables.

Les cadres de référence sont de moindre qualité pour les aspects couverts à la section 1, portant sur la structure (présentation et annexes), et à la section 4, portant sur les facteurs généraux (égalité des sexes, éthiques, limites). Les aspects les plus faibles sont ceux liés à l’éthique (qui, soit dit en passant, ne font pas partie des directives de l’USE), à la définition des limites attendues de l’évaluation, aux constatations et recommandations des évaluations précédentes et à la description du contexte.

5.2.2 Plans de travail

L’étude s’est penchée sur 58 plans de travail, et la qualité a été jugée satisfaisante dans 52 % des cas et insatisfaisante dans 49 % des cas. Les plans de travail sont le plus souvent satisfaisants lorsqu’il s’agit de décrire la finalité et les objectifs de l’évaluation à mener, ainsi que de décrire les mesures de gestion adéquates en vue du processus d’évaluation. L’aspect le plus faible concerne la définition des méthodes et outils appropriés : seulement 44 % des plans de travail respectent les normes du CAD de l’OCDE à ce chapitre.

Les données longitudinales donnent à penser que les plans de travail se sont grandement améliorés en 2013 et 2014, après une période de moindre qualité en 2012 et antérieurement. Voilà qui a sans doute marqué le début d’une tendance positive, bien que les cas soient relativement peu nombreux pour le confirmer.

Quant aux critères individuels, l’évaluation des plans de travail a révélé un certain nombre de forces. Plus de 70 % des plans ont été jugés satisfaisants pour les critères suivants : bonne définition des objectifs de l’évaluation, définition d’une portée appropriée, présence d’un niveau de participation des parties prenantes adéquat et description d’une équipe et d’un processus de gestion adéquats. Les critères de qualité non satisfaits sont une description inadéquate du contexte de l’évaluation, des méthodes d’analyse des données mal définies et le non-respect des normes en matière d’éthique et d’égalité des sexes. La qualité semble également plus faible lorsqu’il s’agit d’assurer des processus d’assurance de la qualité et de préciser les méthodes d’échantillonnage des données appropriées.

5.2.3 Rapports d’évaluation

La qualité générale des 116 rapports d’évaluation évalués est légèrement supérieure à celle des cadres de référence et des plans de travail : 50 % sont jugés satisfaisants et 9 %, très satisfaisants. Ce constat peut s’expliquer par la plus grande attention, ainsi que le niveau d’effort et le temps accordés à la rédaction du rapport d’évaluation final par rapport aux cadres de référence et aux plans de travail.

Selon les quatre principales sections du modèle d’examen, les aspects de la qualité qui s’en tirent mieux sont l’analyse logique et pertinente qui mène à des constatations, conclusions, recommandations et leçons apprises appropriées. Les aspects de la qualité qui laissent plus à désirer concernent l’absence de méthodes détaillées et appropriées; seulement 39 % des rapports respectent la norme requise à ce chapitre. Cette moindre qualité a des répercussions sur la qualité des données probantes qui ont été utilisées aux étapes subséquentes du processus d’évaluation en vue de formuler des constatations solides.

L’analyse des données longitudinale a débouché sur des observations similaires à celles faites sur les plans de travail, soit une amélioration de la qualité en 2013 et 2014 après un creux en 2012.

Quant aux critères individuels, l’évaluation des rapports d’évaluation a permis de constater que plus de 70 % d’entre eux sont satisfaisants pour ce qui est de définir des objectifs spécifiques, de décrire l’objet de l’évaluation, d’évaluer la qualité du système de suivi et d’évaluation et de formuler des constatations solides et détaillées. La qualité est moins bonne en ce qui concerne l’intégration des normes d’égalité des sexes et d’éthique, la prise en compte des évaluabilités ou la présentation des données des évaluations précédentes, et lorsque la description des méthodes est mauvaise (ou que les méthodes précisées sont peu pertinentes ou présentent d’importantes limites).

5.2.4 Réponses de la direction

Vu la disponibilité des documents, un échantillon relativement petit de 28 réponses de la direction a fait l’objet d’une évaluation de la qualité. Dans l’ensemble, lorsqu’elles sont disponibles, les réponses de la direction sont jugées solides, 79 % respectant la norme de qualité souhaitée. Cela dit, le format du rapport ne s’est pas avéré efficace pour juger de l’application des critères du CAD de l’OCDE.^{Note de bas de page 28}

Certaines parties de la réponse de la direction sont de qualité supérieure, surtout lorsqu’il s’agit de donner une réponse immédiate aux recommandations (et de les accepter, de les refuser ou de les adapter). La qualité est toutefois relativement moindre, quoique tout de même bonne, pour ce qui est des engagements envers la prise de mesures concrètes, de l’identification des personnes responsables et de l’établissement de dates limites.

5.2.5 Associations entre les documents d’évaluation et les caractéristiques de qualité

En plus d’avoir fait une analyse de fréquence, les notes attribuées ont servis à entreprendre une analyse de corrélation des quatre documents pris seule et ensemble.^{Note de bas de page 29}

Tout d’abord, une comparaison entre les notes attribuées à la qualité générale des quatre documents a permis de cerner certaines associations significatives, comme l’illustre le Tableau 3.

Selon les résultats obtenus, l’existence d’un lien entre la qualité des cadres de référence, des plans de travail et des rapports d’évaluation est très probable. Un cadre de référence de bonne qualité mènera très probablement à un plan de travail de bonne qualité, qui lui mènera très probablement à une évaluation de bonne qualité. On constate un lien un peu moins solide, mais tout de même significatif, entre la qualité du cadre de référence et celle de l’éventuel rapport d’évaluation.

Bien que les trois premiers documents d’évaluation présentent un important degré d’association, aucune corrélation importante n’a été cernée entre la qualité des réponses de la direction et celle d’un ou l’autre des autres documents. C’est donc dire que la qualité de l’évaluation, en ce qui concerne la conformité à une norme industrielle, n’influence pas l’utilisation des constatations ou des recommandations issues de l’évaluation, telle que mesurée par l’outil de réponse de la direction. Voilà qui est inquiétant si cela signifie que l’utilisation de l’évaluation, par exemple l’adoption des recommandations, ne tient pas compte de la fiabilité de ces recommandations.

Ensuite, une analyse de corrélation de tous les critères liés au rapport d’évaluation en fonction des notes attribuées à la qualité générale du rapport a été effectuée. Elle a révélé que la qualité générale du rapport d’évaluation est la plus étroitement liée aux quatre critères suivants : des questions d’évaluation de grande qualité, une méthodologie robuste et appropriée, des constatations logiques et bien attribuées et la clarté de l’analyse.

5.2.6 Analyse en composantes principales

Outre l’analyse de corrélation, l’équipe a également effectué une analyse en composantes principales des données sur la qualité pour tenter de cerner la plus importante combinaison de critères (ou « composantes ») qui étaient associés aux documents d’évaluation de grande qualité. Dans l’ensemble, cette analyse a souffert du petit nombre de cas et de l’échelle de notation restreinte. Elle a donc révélé un ensemble complexe d’associations dans lesquelles un grand nombre de composantes ont été générées.^{Note de bas de page 30}

Néanmoins, l’examen des relations entre les critères contenus dans le cadre de référence, les plans de travail et les rapports d’évaluation donne à penser que les critères liés à la méthodologie de ces trois documents (particulièrement la pertinence et la robustesse méthodologiques du rapport d’évaluation, les méthodes d’analyse des données du cadre de référence et les collecte et échantillonnage des données du plan de travail) sont ceux qui permettent le mieux d’expliquer la variance des notes attribuées. Cette constatation est assez révélatrice et semble mettre encore une fois en lumière l’importance de retrouver une méthodologie solide dans les trois documents pour que leur qualité générale soit élevée.

L’analyse des composantes principales a été reprise pour explorer le lien qui existe entre tous les critères de qualité se trouvant seulement dans le rapport d’évaluation. Elle a permis de constater qu’un peu plus de la moitié de la variance pouvait s’expliquer par deux composantes. La première, qu’on pourrait catégoriser sous « méthodologie », explique 41 % de la variance. Six des 15 premiers critères sont associés à cette dimension (avec de fortes pondérations pour robustesse méthodologique, sources de données probantes, limites et description du design). La seconde composante, qui représente 10 % de la variance, est un ensemble flou de critères de qualité, allant des recommandations au style et à la structure du rapport, en passant par la portée de l’évaluation.

5.2.7 Analyse qualitative

L’étude a également prévu une analyse qualitative des cinq commentaires des examinateurs pour les divers documents d’évaluation.^{Note de bas de page 31} L’analyse a extrait les caractéristiques des documents d’évaluation qui étaient le plus souvent associés aux rapports jugés satisfaisants ou insatisfaisants. Les résultats obtenus révèlent que les termes descriptifs associés aux évaluations mieux notées sont notamment la clarté, la couverture complète et suffisamment détaillée, une équipe et un budget suffisants, la justesse de la conception et des méthodes, ainsi que les solides recommandations et conclusions. En revanche, les caractéristiques liées aux évaluations moins bien notées sont notamment une mauvaise mise en contexte, le manque de renseignements de gestion, le traitement insuffisant des questions d’éthique et d’égalité des sexes, des données et une analyse inadéquates ainsi que des constatations génériques.

5.2.8 Sommaire de l’examen de la qualité

1. Entre 50 % et 60 % des trois principaux documents d’évaluation – cadre de référence, plans de travail et rapports d’évaluation – sont satisfaisants lorsqu’ils sont évalués par rapport aux normes de qualité du CAD de l’OCDE; peu d’entre eux obtiennent une note très satisfaisante. L’équipe d’étude a cependant décelé trois exemples de bonnes pratiques.^{Note de bas de page 32}
2. Certaines indications donnent à penser que la qualité s’est légèrement améliorée au cours de la période d’examen, mais on ne peut l’affirmer avec certitude. Le type d’évaluation et le secteur qui mène l’évaluation n’influencent pas vraiment la qualité, mais les projets à budget plus élevé sont mieux évalués. La composition de l’équipe d’évaluation ou la taille du budget d’évaluation n’affectent pas la qualité, mais si le chef d’équipe est aussi évaluateur, la qualité s’en trouve améliorée.
3. Les documents d’évaluation correspondent à divers degrés aux normes du CAD de l’OCDE. Ils s’en tirent bien en ce qui concerne la plupart des aspects de la planification et de la conduite de l’évaluation, mais ils ne sont pas à la hauteur lorsqu’il s’agit des normes éthiques, de l’évaluabilité et de la méthodologie. Même si les réponses de la direction sont de qualité raisonnable, les aspects liés au suivi et à la diffusion font piètre figure.
4. Des cadres de référence de bonne qualité sont associés à un plan de travail et à un rapport d’évaluation de bonne qualité. On ne constate aucun lien entre la qualité de ces documents et celle de la réponse de la direction.
5. La qualité d’un rapport d’évaluation est plus étroitement liée à quatre critères : des questions d’évaluation de bonne qualité, une méthodologie robuste et appropriée, des constatations logiques et bien attribuées et la clarté de l’analyse. Une analyse plus poussée permet d’affirmer qu’une solide méthodologie est le facteur le plus important pour assurer une bonne qualité générale des cadres de référence, des plans de travail et des rapports d’évaluation.

5.3 Qualité des processus de planification des évaluations décentralisées

Le cadre conceptuel prévu au plan de travail reconnaît le fait que le processus de planification de l’évaluation est ancré dans la relation qui existe entre le commanditaire de l’évaluation, l’USE et l’équipe d’évaluation et leurs capacités respectives, ainsi que dans le vaste cadre institutionnel dans lequel l’évaluation sera menée. La qualité et l’utilisation des évaluations reposent en grande partie sur cette interrelation.

Les données probantes utilisées dans la présente section proviennent de l’examen de la qualité, du sondage en ligne, des études de cas, des entrevues avec le personnel d’AMC dans l’USE et les secteurs (dont les notes sont conservées dans le fichier Web confidentiel d’Itad), ainsi que de l’analyse des outils et modèles de l’USE conçus pour favoriser la qualité des évaluations décentralisées.

5.3.1 Quels aspects et facteurs de qualité liés au processus de planification sont associés à la qualité générale du rapport d’évaluation?

L’analyse des données d’examen de la qualité a révélé une solide et importante corrélation entre la qualité du cadre de référence et celle du plan de travail, de même qu’entre la qualité du plan de travail et celle de l’évaluation (section 5.2.5). C’est particulièrement le cas lorsque le plan de travail prévoit une bonne évaluation de l’évaluabilité, une équipe de taille adéquate et une description claire des livrables. Il existe également une corrélation modérée mais tout de même significative entre la qualité du cadre de référence et celle du rapport d’évaluation. Voilà qui soutient l’argument voulant qu’un solide cadre de référence mène très probablement à un bon plan de travail, qui lui mène à une évaluation de bonne qualité. Cela signifie qu’il vaut la peine, pour les commanditaires de l’évaluation, d’investir dans un cadre de référence qui est rédigé avec soin et dans le respect de normes élevées de qualité.

Une triangulation des divers types d’analyse quantitative et qualitative révèle qu’une explication claire et détaillée des méthodes d’évaluation qui conviennent à la finalité, à l’objet et au contexte de l’évaluation constitue un des principaux facteurs contribuant à la qualité générale. Qu’elle soit fournie dans le cadre de référence ou le plan de travail, cette explication est un élément essentiel puisque la description de la méthodologie demeure l’aspect le plus faible.

Les études de cas indiquent que des évaluations de meilleure qualité sont généralement planifiées bien à l’avance, ce qui laisse ainsi suffisamment de temps pour assurer la qualité du processus et du document (vrai dans cinq études de cas sur huit). En règle générale, les évaluations sont planifiées et budgetées lorsqu’un projet est élaboré pour ainsi obtenir les ressources nécessaires et prévoir le calendrier. Cependant, il arrive dans certains cas que l’évaluation soit retardée, ce qui la détourne de sa principale finalité, par exemple lorsque les décisions qu’elle devait permettre d’éclairer ont déjà été prises.

La composition et les compétences et expérience techniques de l’équipe d’évaluation sont également associées à la qualité du rapport d’évaluation, surtout lorsque l’équipe mobilisée possède les compétences et habiletés appropriées, et encore plus lorsque le chef d’équipe possède des compétences en évaluation. L’offre à commandes^{Note de bas de page 33} est souvent considérée comme un moyen utile de confier l’évaluation à des consultants de qualité. Le processus de sélection des consultants locaux dans le pays où l’évaluation est menée, qui est souvent fait de manière distincte, soulève des préoccupations. Dans certains cas, ce processus a débouché sur la création d’équipes dysfonctionnelles ou dont les membres ne possédaient pas des compétences qui se complétaient bien.

Une des faiblesses du processus de planification des évaluations décentralisées est l’absence d’une finalité claire et précise. Dans six études de cas sur huit, la finalité de l’évaluation est trop générale ou pas assez claire ou il y avait une seconde finalité cachée qui minait la qualité de l’évaluation. On constate que la présence d’une finalité générale et d’un trop grand nombre de questions d’évaluation complique la tâche aux équipes d’évaluation de présenter un rapport de grande qualité.

Autre faiblesse cernée : l’absence d’une expérience de l’évaluation comparable chez certains gestionnaires de l’évaluation et employés de programme dans le cadre des évaluations menées par le secteur. Ces employés possédaient une vaste expérience du développement, mais bon nombre étaient débutants dans le domaine de l’évaluation et ont dû gérer le processus avec peu d’aide. L’absence de compétences en évaluation se fait très bien sentir lorsqu’un budget insuffisant est attribué aux évaluations, que les évaluations sont planifiées aux mauvais moments et que le cadre de référence renferme peu de contenu; parfois les questions d’évaluation sont copiées à partir de modèles sans aucune adaptation. Certaines de ces erreurs peuvent également découler des contraintes de temps, la gestion des évaluations n’étant que l’une des nombreuses responsabilités de ces employés.

Ensuite, les budgets et les niveaux d’effort ont tendance à être insuffisants compte tenu de la portée de l’évaluation et des attentes en ce qui concerne la qualité (dans cinq études de cas sur huit). Avec une finalité relativement générale, comme expliquée plus haut, et un budget limité, la qualité de certaines évaluations en souffre inévitablement. Selon certaines personnes interrogées, AMC ne donne pas assez de directives sur la façon de financement une évaluation; de telles directives seraient pourtant utiles pour accorder les ressources nécessaires à une évaluation de meilleure qualité. Au moment d’examiner les cadres de référence, l’USE ne semble pas non plus accorder beaucoup d’attention à la question des ressources. Le personnel d’AMC est également limité par les mécanismes d’approvisionnement et les processus en découlant qui lui sont offerts par Services publics et Approvisonnement Canada.

Enfin, l’étude a permis de constater que la participation de l’USE est souvent insuffisante ou pas assez personnalisée pour améliorer le processus de planification des évaluations et contribuer à en rehausser la qualité (trois cas sur cinq), compte tenu de son mandat et de son rôle limité dans les évaluations décentralisées. La capacité de l’USE d’offrir un plus vaste soutien aux évaluations décentralisées est limitée, et cette dernière se contente le plus souvent de formuler des commentaires sur les documents d’évaluation. Compte tenu des problèmes de capacité du personnel des programmes, une participation plus concrète aurait été très bien accueillie par bon nombre des gestionnaires de l’évaluation. Selon certains, l’USE n’adapte pas son approche à la situation lorsqu’il s’agit de qualité, ce qui mène à une application inappropriée des normes de qualité. Du point de vue des commanditaires d’évaluation, la participation de l’USE semble parfois davantage bureaucratique que facilitante, et les délais de réponse ne répondent pas aux attentes, ce qui vient réduire l’utilité du soutien offert par l’USE.

5.3.2 De quelle façon les considérations relatives aux capacités influencent elles le processus de planification des évaluations?

La pertinence d’être capable de mener et de soutenir les évaluations décentralisées s’applique à deux cas en particulier : l’USE et les secteurs des programmes.

L’USE ne joue aucun rôle de gestion dans ces évaluations, mais sa fonction est de fournir de l’assurance de la qualité et de l’aide technique de sorte que les processus et documents d’évaluation soient le plus crédibles et robustes possible. Tous les ans, elle estime prendre part à 50 ou 60 évaluations décentralisées; pour la période d’examen de cinq ans (2009-2014), 467 évaluations et leurs résultats connexes ont été documentés.^{Note de bas de page 34}

Tout au long de la durée de la présente évaluation, l’USE ne comptait pas assez d’employés pour répondre à la demande de services en fonction des pratiques actuelles. Officiellement, l’USE devrait disposer d’un effectif à temps plein de 3,5 employés.^{Note de bas de page 35} Même si ce nombre a été atteint à certains moments dans l’histoire de l’Unité, le personnel de l’USE a encore été réduit ces derniers temps.^{Note de bas de page 36} La situation est loin d’être idéale vu la charge de travail. Les entrevues et le sondage en ligne menés dans le cadre de l’étude démontrent sans exception que les intervenants tant des secteurs des programmes que de PCE décrivent l’USE comme « à court de personnel », « surchargée » et ayant « trop peu de ressources » pour remplir efficacement son mandat, surtout que le commanditaire d’une évaluation s’attend à ce que l’USE offre ses services en adoptant une approche plus personnalisée et adaptée à la situation.

L’USE a également besoin de plus d’expérience en évaluation pour soutenir efficacement le personnel des secteurs. Le sondage en ligne indique que 63 % du personnel des secteurs croit que l’USE possède de bonnes capacités techniques, mais les entrevues menées auprès des intervenants clés dressent un tableau plus nuancé. L’une des questions soulevées est la perception qu’il lui manque une expérience pratique de l’évaluation. Ainsi, certains employés sont moins à l’aise de faire preuve de jugement et de souplesse pour appliquer les gabarits d’assurance de la qualité, ce qui favorise une approche plus mécanisée qui se résume à « cocher des cases ». Cette perception est corroborée par les points de vue recueillis au sein de l’USE.^{Note de bas de page 37}

L’USE a surtout de la difficulté à donner des conseils en temps opportun. Malgré l’opinion généralement positive du personnel envers le soutien technique fourni par l’USE, le niveau de satisfaction générale envers l’Unité est bas. Sur les 57 répondants au sondage en ligne qui ont répondu à cette question, 40 % se disent satisfaits de services de soutien de l’USE. Le sondage et les entrevues menés auprès des intervenants clés révèlent une frustration assez répandue face au temps que prends l’USE pour fournir des commentaires. Ce délai peut éventuellement nuire à l’efficacité des évaluations, compte tenu de l’importance de les diffuser rapidement pour en assurer l’utilisation.

Les capacités du personnel des secteurs pour le travail d’évaluation sont bien sûr variées, mais moins qu’idéales dans l’ensemble. Les répondants au sondage en ligne devaient dire s’ils croyaient avoir les connaissances et les compétences nécessaires pour gérer une évaluation décentralisée. Sur les 88 qui se sont exprimés à ce sujet, un peu plus de la moitié (55 %) estiment que leurs connaissances sont faibles ou inexistantes, alors que 30 % estiment qu’elles sont assez bonnes et que seulement 14 % se sentent entièrement compétents.^{Note de bas de page 38}

En outre, l’USE n’a elle-même pas la capacité d’offrir une formation suffisante en évaluation, ce qui a déjà été considéré comme un moyen possible pour l’USE d’améliorer la qualité et le profil des évaluations à l’échelle du Ministère. Une certaine formation a été offerte dans le passé, et a donné de bons résultats, mais elle n’a pas été donnée de façon systématique. Le manque de ressources a empêché l’élaboration et la prestation d’une formation plus complète en évaluation. Cela ne veut pas dire que l’USE n’a pas réussi à aider le personnel des secteurs à acquérir des compétences, mais elle a plutôt cherché à le faire dans le cadre des missions liées aux évaluations. Cette approche nécessite cependant beaucoup de ressources. Il y a au sein d’AMC un besoin évident que l’USE participe davantage au renforcement des capacités internes. Un certain nombre d’intervenants ont dit à quel point ils aimeraient que l’USE se consacre exclusivement à l’assurance de la qualité et assume le rôle plus stratégique de favoriser et de renforcer les capacités en matière d’évaluations décentralisées au sein d’AMC.

5.3.3 De quelle façon les incitatifs et les systèmes influencent-ils le processus de planification des évaluations?

Les services d’assurance de la qualité et les conseils qui sont offerts ne sont pas seulement affectés par les capacités; ils le sont aussi par les systèmes et les incitatifs.

Les gabarits de l’USE sont généralement de bonne qualité. L’étude s’est penchée sur les cinq gabarits élaborés par l’USE pour structurer son processus d’assurance de la qualité. En règle générale, on estime que les gabarits et les outils sont bien structurés et complets. Dans le cas du gabarit de cadre de référence, il existe assez de données probantes pour croire qu’il est apprécié par le personnel des secteurs. Malgré les quelques petites améliorations à apporter à chacun de ces gabarits, c’est leur utilisation qui pose le plus de problèmes.

En matière de qualité, l’USE n’adapte pas son approche à la situation. Elle dispose d’un seul ensemble de normes qu’elle applique à toutes les évaluations qu’elle examine, même si la portée et le budget des évaluations varient considérablement. Certaines sont des évaluations menées à l’échelle du projet qui coûte environ 100 000 $, alors que d’autres sont des évaluations de programme complexe dont le budget peut atteindre 400 000 $. On peut comprendre que l’USE cherche à appliquer un nombre minimal de normes de qualité aux évaluations; cependant, comme le soulèvent les entrevues et le sondage en ligne, elle ne semble pas faire preuve d’assez de souplesse au moment d’appliquer les normes de qualité aux évaluations d’ampleur différente. Pour de nombreux répondants, le problème est que l’USE n’adapte pas ses attentes en matière de qualité en fonction des ressources disponibles pour mener l’évaluation. Les réponses au sondage en ligne illustrent bien ces propos, notamment « L’USE connaît surtout les évaluations de programme de grande envergure. Elle doit être mieux informée de ce qui est possible de faire dans le cadre d’une évaluation de moindre envergure » et « L’USE applique ses gabarits de façon trop rigide et ne tient compte ni des ressources ni du temps disponibles pour mener les évaluations décentralisées. »

Bon nombre des employés des secteurs de programmes croient que les multiples rondes de révisions d’un document d’évaluation sont inutiles et allongent le processus d’assurance de la qualité.^{Note de bas de page 39} Les entrevues ont révélé un certain nombre d’exemples de cadre de référence soumis à trois ou quatre rondes de modification.^{Note de bas de page 40} Ce processus itératif est une source de frustration pour de nombreuses personnes qui, tout en voulant assurer une qualité, doivent également répondre à leurs besoins opérationnels.^{Note de bas de page 41} Selon un intervenant, « le fait que le cadre de référence doit être parfait avant d’enclencher les mécanismes d’approvisionnement signifie que l’USE agit bel et bien comme filtre pour les évaluations. Certains programmes ont donc abandonné l’idée de faire l’évaluation de nombreux projets ». À titre d’exemple, un répondant au sondage explique que le processus enclenché pour que l’USE participe à une évaluation décentralisée est « lourd, onéreux et détaché de ce dont j’ai besoin d’en tirer pour le projet » et que, au bout du compte, en raison du temps qu’il prend, « le programme a décidé de laisser tomber l’évaluation ». Un autre intervenant fait remarquer que « le processus est trop long et trop rigoureux et ne répond pas aux besoins opérationnels du programme. »

En plus de causer de la frustration chez les utilisateurs des services de l’USE, les nombreuses révisions faites aux documents créent également une charge importante de travail pour l’USE. Puisque l’USE agit de facto comme filtre pour les évaluations, le processus doit être plus efficient et limité.

Il semble y avoir un décalage des attentes entre ce que l’USE croit que les utilisateurs de ses services veulent et ce que ces derniers veulent vraiment. C’est particulièrement le cas lors de l’élaboration des cadres de référence. L’USE adopte une approche très pratique parce qu’elle veut non seulement offrir l’assurance de la qualité, mais aussi renforcer les capacités en évaluation du personnel des secteurs dans le cadre du processus. Cette approche est conforme à son objectif, qui est de donner des directives pour améliorer la qualité des évaluations décentralisées en fonction des normes du CAD de l’OCDE, mais elle prend énormément de temps. Lorsqu’un agent de projet demande de l’aide à l’USE, c’est souvent parce qu’il souhaite terminer le cadre de référence le plus rapidement possible. Le personnel de projet n’a pas recours aux services de l’USE dans le but explicite de renforcer ses capacités, car il a des besoins opérationnels plus urgents à combler. Comme l’USE n’a pas les ressources pour donner de la formation en évaluation, on doit la féliciter d’essayer d’intégrer le renforcement des capacités à ses services de soutien. Cela dit, il n’est pas pratique de tenter de combiner les fonctions d’assurance de la qualité et de développement des capacités, car cela crée un goulot d’étranglement dans le système.

De façon plus globale, les entrevues de l’étude et le sondage en ligne révèlent que certains employés de PCE et des secteurs perçoivent un manque d’engagement de la part de la haute direction à soutenir le travail d’évaluation et particulièrement les évaluations décentralisées. Quelque 80 % du personnel interrogé croient qu’il y a un manque de soutien ou d’intérêt, surtout envers le travail d’évaluation mené par les secteurs. En outre, 72 % disent que la haute direction ne souligne pas assez l’importance de donner suite aux recommandations des évaluations décentralisées et de les mettre en application. Cette constatation doit être tempérée par les réponses que certains cadres supérieurs ont données lors des entrevues : de leur point de vue, il existe un engagement sérieux envers le renforcement de l’évaluation.

5.4 Utilisation des évaluations décentralisées

Les données probantes utilisées dans la présente section proviennent de l’examen de la qualité, des études de cas, du sondage en ligne et de l’analyse de l’utilisation des évaluations décentralisées dans les évaluations ministérielles.

Le sondage révèle que l’utilisation et la mise en application des évaluations décentralisées suscitent un intérêt mitigé (Figure 6) : 57 % des 74 employés disent les trouver utiles, alors que 21 % les trouvent inutiles. Le personnel des secteurs considère que les évaluations décentralisées sont plus utiles que les autres types d’évaluation, comme les évaluations de programme ou centralisées, surtout parce qu’elles sont plus pertinentes pour répondre à leurs besoins opérationnels immédiats.

« La plupart du temps, les évaluations de programme ne nous apprennent pas grand-chose (que nous ne connaissions pas déjà). Les évaluations de projet sont beaucoup plus utiles, et de loin (si elles sont faites en temps opportun). »

Figure 6 : Réponses du personnel au sondage sur l’utilité des évaluations décentralisées

5.4.1 Quels aspects ou facteurs de qualité sont associés à l’utilisation des évaluations?

Il est difficile, à partir de l’examen de la qualité, d’associer les critères de qualité à l’utilisation, parce que la réponse de la direction est un piètre moyen d’estimer l’utilisation et qu’il y a trop peu de cas à analyser pour offrir une évaluation fiable. En même temps, l’analyse de corrélation mentionnée plus tôt révèle qu’il n’existe pas d’association claire entre la qualité du cadre de référence, des plans de travail ou des rapports d’évaluation et celle de la réponse de la direction^{Note de bas de page 42} (section 5.2.5).

Selon les données tirées des études de cas, plusieurs facteurs peuvent être associés à une plus grande utilisation des évaluations :

• l’appropriation de l’évaluation par tous les employés du programme et les responsables de sa mise en œuvre;^{Note de bas de page 43}
• la conduite de l’évaluation en temps opportun pour éclairer la prise de décisions;
• la clarté de la finalité de l’évaluation;
• l’intérêt de la haute direction envers l’évaluation.

L’importante constatation à faire est la suivante : étant donné l’absence de corrélation entre la qualité du rapport d’évaluation et les engagements pris dans la réponse de la direction, un rapport de qualité ne garantit pas une utilisation élevée de l’évaluation.

5.4.2 Parmi les éléments des rapports d’évaluations, lesquels sont utilisés et lesquels ne le sont pas?

Le sondage en ligne demandait au personnel de dire quelles parties des rapports d’évaluation (constatations, conclusions, recommandation ou leçons) ils trouvaient les plus utiles. Pour les 63 personnes qui ont répondu à cette question, tous ces éléments semblent avoir leur utilité, mais les conclusions et les recommandations sont les plus utiles (plus de 80 % les trouvent utiles ou très utiles).

Les leçons sont les moins utilisées, surtout parce qu’il n’existe aucun système complet de gestion des connaissances à AMC pour favoriser l’apprentissage au-delà des simples interventions et que peu d’évaluations sont publiées sur le site Web d’AMC. Dans l’ensemble, l’utilisation des évaluations est mitigée pour certains programmes, mais virtuellement nulle pour la vaste organisation et la communauté internationale du développement.

Quant à l’utilisation des réponses de la direction, 62 employés ont donné pour cette question du sondage une opinion également partagée : 47 % les trouvent inutiles et 53 % les trouvent utiles. Certains commentaires critiquaient l’absence d’une culture institutionnelle pour intégrer les évaluations aux programmes ainsi que l’absence d’un suivi systématique des réponses de la direction.

5.4.3 Quelles sont les utilisations des évaluations et à quelles fins servent-elles?

Les évaluations décentralisées servent surtout à des fins opérationnelles. Le personnel des secteurs des programmes entreprend de telles évaluations en grande partie pour vérifier le niveau de progression de la mise en œuvre du programme et de l’atteinte de ses objectifs. Les évaluations à mi-mandat servent à améliorer la mise en œuvre, alors que les évaluations finales facilitent la conception d’une nouvelle phase d’un projet ou la décision de prolonger ou non une intervention en cours (Tableau 4). Les études de cas viennent confirmer ces constatations : deux évaluations facilitent la mise en œuvre et deux autres documentent une nouvelle phase. Les apprentissages ont donc tendance à rester confinés au seul projet et aux personnes directement concernées.

En outre, les évaluations décentralisées servent de sources de données standard aux évaluations ministérielles. Une analyse particulière de six études récentes a permis de conclure que même si l’évaluation décentralisée est utilisée régulièrement, il est peu fréquent que la qualité des données probantes qu’elle renferme soit évaluée sérieusement.

5.4.4 Qu’est-ce que les évaluations utilisées ont permis d’accomplir?

Il est difficile d’évaluer ce qui a été accompli par l’utilisation des évaluations. Les résultats reposent lourdement sur la nature des recommandations de l’évaluation et leur degré de mise en application et d’utilisation. Dans certains cas, les évaluations ont permis aux projets d’obtenir plus de résultats; dans d’autres, elles ont contribué à obtenir des résultats plus efficacement, et parfois elles ont rendu les résultats plus durables. Le temps et les ressources mis à notre disposition pour effectuer cette méta-évaluation ne permettaient pas de retracer à fond les liens de causalité entre une évaluation et son utilisation.

Un des facteurs entravant l’utilisation des évaluations que soulignent les études de cas est l’absence d’un système complet de gestion des connaissances au sein d’AMC. Lorsque les évaluations sont utilisées, leur utilisation se limite aux interventions concernées. Les apprentissages sont rarement communiqués aux autres programmes, et aucune évaluation décentralisée n’est publiée sur le site Web d’AMC afin d’informer les publics internes ou externes, ce qui en restreint gravement l’utilisation et la mise en application. À cet égard, l’absence d’investissement dans un système complet de gestion des connaissances issues des évaluations décentralisées représente une différence importante entre AMC et les quatre organismes pairs auxquels AMC a été comparé dans le cadre de notre étude (section 5.6).

5.5 Mise en application des recommandations de la méta-évaluation de 2008

La présente section examine la mesure dans laquelle les recommandations de la méta-évaluation de 2008 ont été mises en application et les facteurs sous-jacents qui ont influencé la réponse d’AMC.^{Note de bas de page 44}

5.5.1 Recommandations de 2008

Des données probantes provenant de diverses sources ont servi à explorer les progrès ou les défis d’AMC ou de PCE dans la mise en application de chacune des recommandations. Il s’agit notamment des données issues de l’évaluation des services et outils de PCE et de son USE, de l’examen des SIG d’AMC et du sondage en ligne menés dans le cadre de la présente étude.

En plus de demander aux intervenants d’évaluer le niveau de mise en oeuvre des recommandations de 2008, l’étude a également examiné les facteurs sous-jacents qui ont aidé ou empêché AMC à donner suite aux recommandations. Pour les recommandations de nature ministérielle, des données probantes de diverses sources ont été obtenues pour définir le contexte ministériel dans lequel PCE et l’USE évoluent.

Le Tableau 5 donne un aperçu du degré de mise en application de chacune des cinq principales recommandations de la méta-évaluation de 2008. Le rapport de 2008 recommande de renforcer PCE et de clarifier sa fonction et ses responsabilités dans le cadre du travail d’évaluation décentralisée. Au cours de la période de notre étude, aucun renforcement significatif de l’effectif n’a eu lieu, et on constate un roulement du personnel en raison de la rotation du personnel « mobile » à l’extérieur de l’Unité.^{Note de bas de page 45} Le cadre de la politique d’évaluation ministériel publié en 2005^{Note de bas de page 46} n’a pas été mis à jour au cours des dix dernières années, et la Politique sur l’évaluation du Conseil du Trésor de 2009^{Note de bas de page 47} clarifie la fonction d’évaluation, mais son application aux évaluations décentralisées n’y est pas explicitement abordée. Depuis lors, la politique a été remplacée par la Politique sur les résultats du Conseil du Trésor en 2016, laquelle sans aucun doute imposera de nouvelles exigences et entraînera des changements. On a fait très peu d’avancées concernant les recommandations de l’étude de 2008 portant sur la formation, la gestion de l’information et la communication.

5.6 Examen des systèmes de gestion de l’information d’AMC

5.6.1 Quelles sont les forces et les faiblesses des SIG d’AMC?

Depuis longtemps, AMC s’efforce de trouver la meilleure façon de stocker et de communiquer les évaluations décentralisées.^{Note de bas de page 48} Les méta-évaluations de 2004 et de 2008 ont toutes deux recommandé la mise en place de meilleurs systèmes pour faire le suivi des évaluations décentralisées et améliorer les apprentissages qui en découlent.^{Note de bas de page 49} La mémoire centrale servait auparavant de dépôt centralisé pour les rapports et évaluations des projets et des programmes. Sa fonctionnalité a été réduite au fil des ans à mesure que : i) de nouvelles données étaient stockées dans les secteurs plutôt qu’au dépôt central,^{Note de bas de page 50} et ii) le système de gestion électronique des documents et des dossiers (SGEDD) a été mis en place et a pris la relève de bon nombre de ses rôles. La mémoire centrale n’existe donc plus maintenant.^{Note de bas de page 51}

Même si l’USE fait de son mieux avec les outils dont elle dispose, l’approche actuellement adoptée par AMC pour gérer et stocker les évaluations ne convient pas au but visé. AMC ne dispose d’aucun système cohérent pour conserver et rendre accessibles les évaluations décentralisées. Il ne fait que s’efforcer par divers moyens temporaires de les réunir. Ces moyens sont les suivants^{Note de bas de page 52} :

1. les directives de l’USE, qui obligent les commanditaires de l’évaluation à assurer la publication du sommaire de toutes les évaluations décentralisées sur le site Web d’AMC. Dans les faits, cette publication s’est faite dans deux cas seulement;
2. le maintien par l’USE d’un registre des évaluations décentralisées sous forme de feuille de calcul qui renferme des liens vers le SGEDD. L’inventaire existe, mais il n’est pas facilement accessible ni connu par le reste de l’organisation;
3. le Plan de travail quinquennal continu en matière d'évaluation du développement, qui porte surtout sur les évaluations ministérielles, mais contient une liste des évaluations décentralisées planifiées et qui est mise à jour chaque année en fonction des plans d’évaluation des secteurs.^{Note de bas de page 53} Cependant, les évaluations commandées ne correspondent pas toujours à ce qui a été prévu.

Sans surprise, on constate une profonde insatisfaction envers l’approche actuelle d’AMC concernant le stockage et la gestion des évaluations décentralisées. Le sondage indique que 92 % des répondants sont insatisfaits de la façon dont les documents d’évaluation décentralisée sont stockés et diffusés, alors que 86 % trouvent qu’il est difficile d’y avoir accès. Ce message a été répété dans le cadre de deux études menées par AMC depuis 2007.^{Note de bas de page 54}

Même si le personnel estime que les évaluations décentralisées devraient être rendues publiques, AMC a d’autres défis à relever pour y parvenir. La solution la plus facile est tout simplement d’afficher des rapports de qualité sur son site Web. Les intervenants clés ont soulevé un certain nombre de difficultés à ce chapitre. Le premier problème pratique concerne la traduction^{Note de bas de page 55} et le second a trait à la plus grande réticence que semble avoir le gouvernement du Canada par rapport aux autres agences pairs de rendre les évaluations publiques.^{Note de bas de page 56}

L’absence d’un système centralisé pour stocker les évaluations décentralisées leur enlève leur utilité pour l’organisation dans son ensemble. À l’heure actuelle, il est presque impossible de trouver une évaluation décentralisée, à moins de savoir vers quel projet se tourner et de communiquer directement avec l’USE. Pour une organisation de la taille d’AMC et compte tenu de l’ampleur des ressources qui sont investies dans les évaluations décentralisées, cette approche est sous-optimale. Les leçons à tirer de ces évaluations sont réservées au projet ou au programme qui les a commandées, ce qui nuit à la prise de décisions fondée sur des données probantes à l’échelle de l’organisation.

5.6.2 Comment les autres agences surmontent-ells de telles faiblesses?

Pour formuler les recommandations de l’étude visant à aider AMC à améliorer son approche actuelle du stockage des évaluations décentralisées, nous avons mené une évaluation comparative des solutions prises par d’autres organismes pour régler la question. Quatre organismes ont ainsi été examinés : le ministère du Développement international du Royaume-Uni (DFID), le ministère des Affaires étrangères et du Commerce de l’Australie (DFAT), l’Organisation des Nations Unies pour l’égalité des sexes et l’autonomisation des femmes (ONU Femmes) et le Fonds des Nations unies pour l’enfance (UNICEF).

Cette analyse comparative a permis de cerner les deux grandes approches adoptées par ces organismes pour stocker et utiliser les évaluations décentralisées :

1. tenir une base de données distincte pour stocker les évaluations décentralisées; cette approche a été adoptée par l’UNICEF et ONU Femmes;
2. Intégrer les documents d’évaluation aux systèmes de gestion de projet de plus grande taille; cette approche a été adoptée par le DFID et le DFAT.

Un certain nombre de constatations découlent de l’analyse comparative; elles sont décrites dans les paragraphes qui suivent.

D’abord, les difficultés auxquelles AMC se bute pour créer un dépôt consolidé des évaluations décentralisées ne sont pas uniques. Le DFID et le DFAT jonglent eux aussi pour trouver la meilleure façon de rendre les évaluations décentralisées accessibles à toute l’organisation. Les deux ministères sont freinés par les limites de leur SIG à l’échelon des projets et les résistances organisationnelles qui existent souvent lorsqu’il s’agit de modifier les systèmes qui contiennent les données de base de l’organisation. Pour surmonter ces défis, le DFID et le DFAT ont opté pour énumérer l’ensemble de leurs évaluations décentralisées sur leur site Web externe. Même s’ils admettent tous deux que cette solution n’est pas idéale et comporte ses limites, elle permet à tout le moins de conserver dans un seul endroit l’ensemble des évaluations décentralisées pour que le personnel et le public puissent y accéder et les utiliser.

Ensuite, la mise en place d’une base de données entièrement réservée aux évaluations reste la meilleure solution, mais elle exige des investissements qui vont au-delà du matériel informatique. De leur côté, UNICEF et ONU Femmes ont choisi de bâtir une base de données indépendante pour leurs évaluations décentralisées.^{Note de bas de page 57} Ces bases de données sont accessibles par les intervenants internes et externes et renferment les divers documents d’évaluation, dont les sommaires, les rapports dans leur intégralité et les réponses de la direction.

Fait important, en plus d’investir dans le matériel informatique, UNICEF et ONU Femmes ont instauré des incitatifs pour stimuler l’utilisation des systèmes. L’une des principales difficultés pour créer une base de données fonctionnelle d’évaluations au sein d’un système décentralisé est d’assurer le téléchargement des documents d’évaluation. Les deux organismes ont cherché à surmonter cette difficulté par une foule de stratégies. Elles ont confié l’assurance de la qualité à un consultant externe, qui voit à examiner tous les rapports et à leur attribuer une note pour leur qualité. Ces notes sont ensuite rendues publiques avec les rapports, puis communiquées à l’interne pour hausser les normes. En outre, des indicateurs de rendement clés permettent de faire le suivi des pratiques, comme le nombre d’évaluations planifiées par rapport au nombre d’évaluations téléchargées. À ONU Femme, on souligne également les meilleures évaluations de l’année. De plus, les deux organismes disposent d’un personnel dédié à l’encadrement de la base de données et de la fonction d’assurance de la qualité. Ainsi, la responsabilité de la publication des évaluations est clairement établie, et ce rôle jouit de l’appui généralisé des structures et processus de l’organisation.

5.6.3 Quelles sont les autres possibilités d’améliorer les SIG d’AMC?

Selon l’analyse de l’approche actuelle d’AMC pour stocker et gérer les évaluations décentralisées et l’analyse comparative de l’approche des autres partenaires, l’étude a pu cerner un certain nombre de mesures à prendre. En tenant compte des ressources limitées et de quelques-uns des problèmes pratiques à surmonter pour apporter des changements, l’étude a divisé ses propositions en trois étapes : mesures à prendre immédiatement, à moyen terme et, si les ressources sont disponibles, à long terme. Ces mesures sont résumées ainsi : i) à court terme, modifier les fonctions de recherche des plateformes de bases de données utilisées actuellement; ii) à moyen terme, stocker les rapports d’évaluation dans l’intranet et les mettre régulièrement à jour, et iii) à long terme, créer une plateforme interrogeable dédiée pour permettre au personnel et aux intervenants externes d’accéder aux évaluations décentralisées et rendre les rapports d’évaluation décentralisée publics.

6 Conclusions

Les paragraphes suivants résument les constatations découlant des principales questions d’évaluation :

1. Il y a place pour l’amélioration des évaluations décentralisées à AMC. Entre 50 % et 60 % des documents d’évaluation décentralisée sont de qualité acceptable, mais très peu d’entre eux obtiennent une note très satisfaisante. Certaines données probantes indiquent que les tous derniers documents d’évaluation présentent une qualité légèrement améliorée, même cette tendance n’est pas définitive. Le type d’évaluation (formative ou sommative) et le secteur qui mène l’évaluation n’influencent pas vraiment la qualité, mais les projets à budget plus élevé sont mieux évalués. La composition de l’équipe d’évaluation ou la taille du budget d’évaluation n’affectent pas la qualité, mais si le chef d’équipe est aussi évaluateur, la qualité s’en trouve améliorée. Les rapports d’évaluation ont été jugés acceptables dans le cadre de cette étude (59 % des rapports d’évaluation examinés respectent les normes du CAD de l’OCDE). Si cette évaluation est exacte, on peut dire que, pendant la période allant de 2009 à 2014, 41 % des projets – représentant une dépense de programme de 2,8 milliards de dollars sur les 6,9 milliards de dollars (tableau 1) – n’ont peut-être pas satisfait aux normes de qualité. La qualité des cadres de référence et des plans de travail est moindre : 52 % sont considérés comme répondant aux normes.
2. Les documents d’évaluation correspondent à divers degrés aux normes du CAD de l’OCDE. Les normes respectées concernent la bonne définition des objectifs et de la justification, ainsi que l’établissement de solides processus de gestion. Les normes qui ne sont pas satisfaites concernent la définition de méthodes de collecte et d’analyse des données appropriées, l’évaluabilité et le suivi du respect des normes d’éthique. Les réponses de la direction sont de qualité raisonnable, comme en témoigne le degré de détail de la réponse aux recommandations, les aspects concernant le suivi et la diffusion font piètre figure, à part pour l’intervention concernée.
3. Au sujet de la qualité des processus de planification des évaluations décentralisées, bon nombre de données probantes révèlent que :
   1. L’absence d’une planification systématique des évaluations décentralisées à l’échelle du Ministère est un facteur qui contribue à mettre plusieurs bâtons dans les roues quand il s’agit d’offrir des évaluations de grande qualité, notamment : décrire clairement la finalité de l’évaluation, accorder assez de temps à la planification et à la conduite des évaluations, accorder assez de temps à la participation des experts techniques de l’USE et obtenir l’adhésion de la haute direction.
   2. La qualité des cadres de référence, des plans de travail et des rapports d’évaluation est interreliée, et une planification des évaluations de bonne qualité est susceptible de produire des rapports de bonne qualité. Les données indiquent également que le choix de méthodes d’évaluation qui conviennent à la finalité, à l’objet et au contexte de l’évaluation contribue grandement à sa qualité en général.
   3. Le rôle et les responsabilités du PCE pour soutenir la qualité des évaluations décentralisées ne sont pas clairs. Même si l’USE assure l’assurance de la qualité et le soutien, et même si ses outils et modèles sont jugés généralement utiles par les personnes qui y ont recours, le respect des directives de l’USE semble être facultatif puisque le personnel des secteurs ne requiert pas toujours ses services. Le rôle largement consultatif que joue l’USE signifie qu’elle a une influence limitée sur l’approbation des cadres de référence avant le processus d’approvisionnement et qu’elle n’est pas en mesure d’influencer la qualité du rapport final.
   4. L’USE n’a pas les ressources suffisantes pour jouer son rôle d’assurance de la qualité, et son travail n’est pas aussi efficace qu’il pourrait l’être. Il y a une différence entre ce que l’USE est censée faire (par exemple améliorer la qualité des évaluations décentralisées) et ce sur quoi elle a de l’emprise. Bien que l’USE s’efforce de toujours fournir des conseils en temps opportun ou d’appliquer les normes qui conviennent à la situation dans laquelle évoluent les commanditaires de l’évaluation ou aux échéances et ressources disponibles, la réalité est que le personnel des secteurs de programmes a besoin d’un meilleur soutien technique, et un meilleur système d’information centralisé améliorerait l’apprentissage des leçons.
4. Au sujet de l’utilisation des évaluations décentralisées :
   1. Les évaluations décentralisées sont surtout menées pour répondre aux besoins opérationnels et, lorsqu’elles sont faites en temps opportun, le personnel des secteurs les trouve utiles. Cependant, leur niveau de qualité n’est pas étroitement lié à leur degré d’utilisation; ainsi, l’adoption des recommandations ne tient pas toujours compte de la fiabilité des données probantes sur lesquelles ces recommandations se fondent. En outre la réponse de la direction n’est pas un moyen fiable d’évaluer l’utilité des évaluations, puisqu’elle vient surtout en format mécanisé qui se résume à « cocher des cases » et qu’elle est absente pour la majorité des évaluations décentralisées.^{Note de bas de page 58}
   2. L’approche de l’assurance de la qualité adoptée par AMC ne permet pas d’avoir à la fois des évaluations décentralisées de meilleure qualité et de répondre aux besoins opérationnels des secteurs en offrant des évaluations plus rapidement menées et plus faciles à utiliser. La volonté d’assurer la qualité de tout cadre de référence en adoptant un processus itératif nécessitant l’approbation finale de l’USE avant d’accorder un contrat n’est pas réaliste compte tenu des capacités du personnel de l’USE. Il est tout aussi irréaliste de s’attendre à ce qu’une telle façon de faire aura une grande influence sur la qualité de l’évaluation compte tenu du rôle beaucoup plus important que jouent les commanditaires de l’évaluation et les équipes du secteur privé qu’ils embauchent pour assurer des documents de grande qualité.
   3. Les personnes prenant part aux évaluations croient qu’AMC accorde moins de prestige et d’attention aux évaluations décentralisées qu’aux évaluations ministérielles, même si les premières représentent la majeure partie des dépenses en évaluation. Les 50 à 60 évaluations décentralisées menées chaque année ne font pas l’objet d’un choix et d’une priorité stratégiques, ce qui en réduit la valeur potentielle pour l’ensemble de l’organisation et d’autres organisations. Même si les données probantes issues des évaluations décentralisées servent régulièrement à documenter les évaluations ministérielles, leur qualité devra être suffisamment évaluée dans le cadre de ces études.
5. Au sujet de la mise en oeuvre des recommandations de la méta-évaluation de 2008 :
   1. Le rapport de 2008 recommandait de renforcer PCE et de clarifier sa fonction et ses responsabilités dans le cadre du travail d’évaluation décentralisée. Depuis, aucun renforcement significatif de l’effectif n’a eu lieu. On a fait très peu d’avancées concernant les recommandations de l’étude de 2008 portant sur la formation, la gestion de l’information et la communication.
6. Examen des SIG d’AMC :
   1. Le système utilisé actuellement par l’USE pour faire le suivi des évaluations décentralisées, les stocker et en tirer des apprentissages n’est pas un moyen efficace pour communiquer les évaluations à l’échelle du Ministère. Il est difficile de récupérer les documents et impossible de regrouper les constatations et les leçons. Par conséquent, le personnel du secteur qui commande de nouvelles évaluations peut difficilement tirer des leçons des expériences passées pour bien structurer l’évaluation pou choisir la meilleure équipe pour la mener. En outre, cela ne permet pas de favoriser l’acquisition de connaissances dans l’ensemble du Ministère. AMC est très en retard par rapport aux autres agences pairs dans son approche actuelle face à la transparence de l’évaluation, même si les autres agences ont également des difficultés à ce chapitre.
   2. Enfin, en guise de conclusion générale, la politique d’évaluation ministérielle doit être mise à jour (comme mentionné à la section 5.5). Elle n’a pas été révisée depuis 2005, malgré les nombreux changements importants qui sont survenus dans l’organisation et à plus vaste échelle depuis. Par exemple, la politique doit prévoir la conformité d’AMC aux normes d’évaluation du CAD de l’OCDE, ainsi qu’aux autres normes internationales de bonnes pratiques. À l’interne, le virage entrepris au cours de la période d’examen vers une approche axée sur la reddition de compte au lieu de l’apprentissage a réduit les possibilités qu’avait la fonction d’évaluation de favoriser une meilleure compréhension de l’incidence des programmes d’aide.^{Note de bas de page 59} Il faut rééquilibrer la situation. La fusion survenue en 2013 entre l’ACDI et le MAECI, puis la création d’AMC en 2015 ont modifié le rôle et le statut de PCE, alors que les restrictions imposées à l’embauche de personnel ont empêché PCE et l’USE de se doter des capacités nécessaires pour bien jouer son rôle de soutien et d’assurance de la qualité dans le cadre des évaluations décentralisées.

7 Leçons

1. Une bonne méthodologie d’évaluation est le principal facteur déterminant de la qualité des rapports d’évaluation décentralisée.
2. Tout investissement dans un cadre de référence de grande qualité mènera sans aucun doute à un rapport d’évaluation de grande qualité.
3. Une assurance de la qualité assurée par une unité qui se limite à évaluer les documents d’évaluation en fonction d’une seule norme de qualité ne suffit pas à améliorer la qualité des évaluations; l’adoption d’une approche plus complète et mieux intégrée qui tient compte de la connaissance du contexte, des capacités améliorées au sein des secteurs et des leçons apprises est plus susceptible de favoriser l’amélioration de la qualité.
4. Bien que les normes d’évaluation du CAD de l’OCDE offrent un fondement solide et reconnu dans le monde entier pour orienter le travail d’évaluation décentralisée, leur application doit être adaptée aux besoins sur le terrain et au cycle de vie des projets.
5. Puisque qu’il n’existe pas d'obligation ou de règle explicite quant à la façon dont la haute direction répond aux constatations ou aux recommandations des évaluations décentralisées, il est peu probable que la bonne qualité du rapport d’évaluation ait un lien avec son utilisation efficace.

8 Recommandations

Le système d’évaluation décentralisée en place au sein d’AMC vise à fournir une orientation opérationnelle à chaque projet et une source d’apprentissage pour toute l’organisation. Il est possible d’améliorer davantage la qualité de ces évaluations et de soutenir plus fortement et efficacement leur planification, mise en œuvre, stockage et utilisation. C’est pourquoi la présente étude fait les recommandations suivantes.

1. Renforcement du soutien aux évaluations décentralisées.
   1. Renforcer le rôle de la personne-ressource de l’évaluation au sein des secteurs en leur donnant une responsabilité claire et un encadrement afin de favoriser l’échange des connaissances en matière d’évaluation au sein de leur secteur.
   2. Clarifier les rôles et les responsabilités de tous les intervenants (personnel des secteurs, USE, cadres supérieurs, Comité de l’évaluation du développement, etc.), pour veiller à ce que l’amélioration de la qualité des évaluations soit convenablement soutenue (c’est-à-dire qu’elle soit intégrée et complète), ce qui est reflété (et communiqué) dans une politique d’évaluation révisée.
   3. Donner plus de formation et renforcer les compétences en évaluation du personnel des secteurs et envisager de faire travailler par rotation le personnel ayant des compétences en évaluation aux bureaux de la région ou du pays, surtout dans les pays ciblés par AMC.
   4. Donner un soutien adéquat à PCE/USE, soit du personnel en évaluation et des ressources budgétaires appropriés.
2. Renforcement de l’échange et de l’utilisation des évaluations.
   1. Présenter, en guise de point permanent à l’ordre du jour du Comité d’évaluation du développement, une déclaration périodique sur le nombre et l’état des évaluations décentralisées planifiées, commandées et achevées par secteur, thème et budget.
   2. Élaborer une stratégie de gestion des connaissances détaillée qui prévoit un forum pour échanger les leçons tirées des évaluations décentralisées, ainsi que la publication des rapports d’évaluation décentralisée, conformément à ce qui se fait sur la scène internationale.
   3. Instaurer une culture plus favorable à l’échange et à l’utilisation des connaissances tirées des évaluations par une meilleure communication et l’utilisation de divers médias (Web, médias sociaux, réseaux), ainsi que récompenser et reconnaître les bonnes pratiques et la qualité. Travauiller dans le but de publier l’ensemble des évaluations achevées à moyen terme.
3. Renforcement de la planification et de la conduite des évaluations décentralisées.
   1. Renforcer le rôle, les capacités et les ressources du travail d’évaluation décentralisée à l’échelon des secteurs. Pour ce faire, élaborer et mettre en œuvre une stratégie de formation afin de permettre aux secteurs d’acquérir des compétences de base en évaluation et de travailler à partir de directives plus pratiques.
   2. Renforcer le rôle de l’USE en tant que courtier du savoir et non de l’assurance de la qualité.^{Note de bas de page 60} Pour ce faire, envisager que l’USE se concentre sur l’élaboration de directives et outils appropriés pour les évaluations décentralisées, en travaillant plus étroitement avec les secteurs sur certaines évaluations, et en concevant de meilleurs systèmes de gestion des connaissances. Renforcer les capacités de l’USE en dotant l’unité d’un effectif possédant le bon ensemble de compétences et d’expériences en évaluation, ainsi qu’une connaissance et une expertise de l’organisation et du contexte.
   3. Veiller à ce que les secteurs planifient annuellement les évaluations décentralisées à mener à l’aide des outils et du personnel de l’USE.
4. Renforcement de la gestion de l’information des évaluations décentralisées.
   1. À court et à moyen terme, renforcer l’accessibilité aux évaluations décentralisées. Par exemple, PCE pourrait tenir à jour une liste consolidée sur l’intranet et concevoir une fonction qui permet de mettre le personnel au courant des évaluations terminées, de la réponse de la direction et des principales constatations. Explorer la possibilité d’utiliser les bases de données existantes (p. ex. CRAFT) à cette fin.
   2. À long terme, créer une plateforme pour permettre au personnel et aux intervenants externes d’accéder à toutes les évaluations décentralisées.