Plan de travail quinquennal continu en matière d'évaluation 2013-2014 – 2017-2018

Avril 2013

Liste des sigles et des acronymes

Sommaire

Le présent Plan de travail quinquennal continu en matière d’évaluation (ci-après « Le Plan ») indique les évaluations corporatives prévues pour la période allant de l’exercice 2013-2014 à l’exercice 2017-2018. Il est plus particulièrement axé sur l’exercice 2013-2014. Ces évaluations permettront à l’Agence canadienne de développement international (ACDI) de procéder à l’évaluation de toutes ses dépenses de programme directes, conformément à la Politique sur l’évaluation de 2009 du Conseil du Trésor. Le Plan fournit également la liste des évaluations planifiées par les directions générales au cours de l’exercice 2013-2014.

En 2012, la Direction de l’évaluation a procédé à un examen approfondi de l’univers d’évaluation de l’ACDI, avec l’intention d’analyser la totalité des dépenses de programme directes de l’Agence sur une période de cinq ans. Environ 12 évaluations corporatives devront être réalisées chaque année pour atteindre l’objectif d’évaluer la totalité des dépenses de programme directes d’ici 2017-2018.

En 2013-2014, la Direction de l’évaluation propose de mener deux évaluations pilotes de groupes de pays ciblés, soit le Mozambique et la Tanzanie ainsi que l’Éthiopie et le Ghana, pour lesquels il existe des similarités sur le plan des secteurs et des programmes. Cette approche permettra un examen thématique et une comparaison des leçons retenues au sein des groupes et assurera l’utilisation la plus efficace possible des ressources. À l’avenir, la Direction de l’évaluation propose de réaliser des évaluations par groupes, fondées sur des thèmes prioritaires, pour des pays où l’ACDI assure une présence modeste et pour des programmes régionaux, à condition que les deux évaluations pilotes prévues soient concluantes.

Travaux d’évaluation prévus pour l’exercice 2013-2014

En 2013-2014, la Direction de l’évaluation entamera ou achèvera les évaluations suivantes :

• Pays de concentration et programmes régionaux : Évaluations des programmes-pays du Mozambique/de la Tanzanie, de l’Éthiopie/du Ghana, de l’Indonésie et du Pakistan.
• États fragiles : Évaluations des programmes-pays de la Cisjordanie et de la bande de Gaza, de l’Afghanistan et d’Haïti.
• Organisations multilatérales : Examen de l’efficacité des activités de développement de la Banque interaméricaine de développement, de l’UNICEF et du Fonds international de développement agricole.
• Direction générale des partenariats avec les Canadiens (DGPC) : Évaluation de la programmation de la DGPC en matière de croissance économique et de viabilité de l’environnement.
• Évaluations corporatives : Méta-évaluation des évaluations menées par les directions générales.
• Évaluations horizontales : Évaluation de la Stratégie du Canada en matière de responsabilité sociale des entreprises pour les sociétés extractives canadiennes présentes à l’étranger, menée par le ministère des Affaires étrangères et du Commerce international, avec la participation de Ressources naturelles Canada et de l’ACDI.

D’autre part, la Direction de l’évaluation assumera les tâches suivantes :

• Produire un deuxième rapport annuel sur l’état de la mesure du rendement.
• Produire un deuxième rapport annuel sur les leçons tirées des évaluations de l’ACDI, intitulé « L’ACDI apprend ».
• Entreprendre un examen de la méthode actuelle d’évaluation des programmes-pays.
• Réaliser une analyse de l’utilisation des évaluations au sein de l’Agence.
• Actualiser les outils et les guides d’évaluation afin de les intégrer au nouveau Processus de programmation de l’Agence.
• Fournir des conseils techniques et des services d’assurance de la qualité dans le cadre des évaluations menées par les directions générales, sur demande, en tenant compte du risque et de l’importance relative des initiatives.
• Continuer la mise en œuvre de la stratégie de diffusion des connaissances tirées des évaluations.
• Servir de secrétariat pour le Comité d’évaluation de l’ACDI.

Ressources

Bien que l’on prévoie un niveau accru d’activités d’évaluation, le plafond actuel des ressources ne sera pas dépassé. La mise en œuvre de ce plan de travail nécessitera un budget de fonctionnement et d’entretien de 2,2 millions de dollars en 2013-2014 et un budget salarial de 1,7 million de dollars pour 18 équivalents temps plein.

1.0 Contexte

1.1 Introduction

Le présent document expose le Plan de travail quinquennal continu en matière d’évaluation de l’ACDI. Le Plan tient compte d’une série de facteurs, dont les suivants :

• L’évolution des contextes international, canadien et de l’ACDI.
• Les réalisations, expériences et leçons apprises au cours des années antérieures.
• Les exigences du Conseil du Trésor du Canada.
• La responsabilisation.
• L’optimisation des ressources.
• L’analyse stratégique des risques liés aux évaluations.^{Note de bas de page 1}

Il est à noter que la portée et le contenu du Plan sont conformes aux exigences de la Loi sur la gestion des finances publiques (LGFP) de 2006 et de la Politique sur l’évaluation du Conseil du Trésor (CT) de 2009. Le Plan trace la voie à suivre pour faire progresser l’ACDI vers l’objectif fixé, soit l’évaluation de la totalité de ses dépenses de programme directes, comme l’exigent la LGFP et la Politique sur l’évaluation du Conseil du Trésor de 2009. Il contribue aussi aux besoins et aux processus en matière d’apprentissage et de prise de décisions de l’Agence.

1.2 Contexte

Adoptée en 2005, la Déclaration de Paris sur l’efficacité de l’aide est le fruit d’un consensus voulant que les donateurs et les pays en développement revoient leurs modalités d’acheminement et d’utilisation de l’aide de sorte que celle-ci produise des résultats de meilleure qualité en matière de développement. Le Programme d’action d’Accra de 2008 complète la Déclaration de Paris en faisant la promotion de politiques et de mesures qui visent à accroître la transparence et la responsabilisation en ce qui a trait au renforcement de l’efficacité de l’aide.

Dans l’évaluation de la Déclaration de Paris, on soulignait que la plupart des principes et des engagements contenus dans la Déclaration se sont avérés susceptibles d’améliorer la qualité de l’aide. Toutefois, les données recueillies sur la mise en œuvre des engagements liés à la Déclaration montrent que même si des progrès ont été enregistrés, l’ampleur et la rapidité des changements ne correspondent pas à ce qu’on avait prévu.

Le Quatrième Forum de haut niveau sur l’efficacité de l’aide, qui s’est tenu à Busan en 2011, a réaffirmé les principes de la Déclaration de Paris et du Programme d’action d’Accra, tout en étant axé particulièrement sur la prise en charge, les résultats, l’inclusion, la transparence et la responsabilisation. De plus, il répondait à une réorientation d’une approche ciblant l’efficacité de l’aide vers une approche axée sur une coopération au développement efficace. Il comptait par ailleurs une plus grande diversité d’acteurs, comme les économies émergentes. Le Forum s’est soldé par un appui au Partenariat de Busan pour une coopération au développement efficace.

Dans le cadre du plan gouvernemental visant à retourner à l’équilibre budgétaire grâce à des économies annuelles permanentes de l’ordre de 4 milliards de dollars d’ici 2014-2015, le Plan d’action économique de 2012 faisait état d’économies prévues de 9,7 % dans l’enveloppe de l’aide internationale de la période allant de 2012 à 2015. Le budget prévoit que l’ACDI parviendra à des économies de 152,7 millions de dollars en 2012-2013, de 191,6 millions en 2013-2014, de 319,2 millions en 2014-2015 et à d’autres économies les années suivantes.

Le gouvernement du Canada continue d’encourager les ministères à utiliser les évaluations pour renforcer les programmes. Conformément à la LGFP, la Politique sur l’évaluation de 2009 du Conseil du Trésor exige que la totalité des dépenses de programme directes soit évaluée sur une période de cinq ans. Elle suggère également l’utilisation d’approches d’évaluation souples qui sont fondées sur le risque, l’envergure et la portée. Les ministères doivent concevoir un plan d’évaluation stratégiquement ciblé qui s’appuie sur une analyse des risques liés aux évaluations et sur les priorités du ministère et du gouvernement. Cette politique révisée devrait permettre l’établissement d’une fonction d’évaluation plus rigoureuse, axée sur l’optimisation des ressources et la responsabilisation, ainsi que sur l’obtention, en temps voulu, de renseignements crédibles et objectifs concernant la pertinence et l’efficacité de toutes les dépenses de programme directes.

1.3 Contexte de l’ACDI

En mai 2009, le Canada a établi cinq priorités thématiques afin de guider ses efforts en matière d’aide internationale : accroître la sécurité alimentaire, assurer l’avenir des enfants et des jeunes, favoriser la croissance économique durable, promouvoir l’avancement de la démocratie et veiller au renforcement de la sécurité et de la stabilité. La programmation de l’ACDI s’articule autour des trois premières priorités et de trois thèmes transversaux : la viabilité de l’environnement, l’égalité entre les sexes et la gouvernance.

Les économies proposées par l’ACDI dans le cadre du plan d’action pour la réduction du déficit ont été fixées en vertu des principes de l’efficacité de l’aide et au terme d’un processus rigoureux. L’Agence a examiné les programmes et les opérations pour juger de leur efficacité, de leur efficience, de leur viabilité financière et de leur concordance avec les priorités gouvernementales.

En plus de mettre en œuvre les décisions du Plan d’action économique de 2012 et de s’adapter aux nouvelles réalités financières, l’ACDI prend des mesures pour assurer la viabilité financière de ses opérations et de ses services. Les changements à l’Agence touchent tous ses secteurs et sont regroupés en deux grandes catégories :

D’abord, la concentration des activités de programmes pour optimiser les ressources :

• en mettant un terme à la programmation bilatérale dans huit pays où l’ACDI assure une présence modeste (Cambodge, Chine, Malawi, Népal, Niger, Rwanda, Zambie et Zimbabwe) en raison, entre autres choses, de considérations concernant les coûts opérationnels;
• en consolidant la programmation régionale en Afrique en un seul programme, soit le Programme régional panafricain, et en réduisant la programmation régionale pour l’Asie du Sud-est;
• en réduisant les budgets de programmes pour la Bolivie, le Pakistan, le Mozambique, l’Éthiopie, la Tanzanie, l’Afghanistan et l’Afrique du Sud;
• en réduisant et en regroupant les fonds accordés à un certain nombre de programmes multilatéraux et mondiaux.

Ensuite, la restructuration et la rationalisation des services de l’Agence et des opérations des programmes afin de réduire les coûts opérationnels grâce à la consolidation et à la simplification accrues des ressources financières et humaines et des services liés aux technologies de l’information et à la gestion de l’information. La fonction de communication sera aussi centralisée afin de mettre de l’avant une approche plus coordonnée à l’échelle du pays. Il y aura aussi une consolidation des activités complémentaires telles que les affaires du Cabinet et du Parlement et les fonctions liées à la gestion des évaluations et du rendement, afin de maximiser l’efficience et l’efficacité. De plus, les directions générales de programmes prendront des mesures pour rationaliser leurs fonctions organisationnelles et de soutien.

L’ACDI s’emploie à réduire le nombre d’équivalents temps plein, pour respecter ses niveaux budgétaires prévus. Pour ce faire, elle tire parti de l’attrition (départs volontaires) et gère avec prudence les postes à pourvoir pour aider à la gestion de la réduction, en respectant les directives sur le réaménagement des effectifs. Elle met aussi en œuvre des mesures pour que la base de connaissances des programmes et du personnel ainsi que les résultats obtenus par ceux-ci soient recensés et intégrés afin d’améliorer les programmes en cours.

L’examen par les pairs de l’ACDI effectué par l’Organisation de coopération et de développement économiques (OCDE), qui a été publié en juin 2012, a confirmé que l’Agence a réalisé des progrès depuis 2007 dans de nombreux domaines, dont les suivants :

• Concentration géographique et thématique plus ciblée.
• Contributions fermes et stratégiques au système multilatéral.
• Coopération interministérielle renforcée dans les États touchés par des conflits.
• Soutien accru à l’égard de l’égalité entre les sexes et de l’autonomisation des femmes.
• Amélioration de la transparence et de la responsabilisation.

Les points que l’examen par les pairs de l’OCDE a permis de relever comme étant importants pour l’avenir de l’aide étrangère canadienne comprennent le fait d’associer l’aide du Canada au contexte de la politique étrangère, de modifier les plans d’action de l’ACDI pour accroître l’efficacité de l’aide, et de terminer la décentralisation des activités de programmes sur le terrain. De plus, l’examen par les pairs suggérait de continuer de recourir au Réseau d’évaluation du rendement des organisations multilatérales (MOPAN) pour mesurer le rendement des organismes multilatéraux et pour contribuer aux évaluations conjointes de ce réseau et à celles du Réseau sur l’évaluation du développement du Comité de l’aide au développement (CAD) de l’OCDE.

2.0 Fonction d’évaluation de l’ACDI

Grâce aux activités d’évaluation de l’ACDI, les Canadiens, les parlementaires, les ministres, les organismes centraux, ainsi que les partenaires, les bénéficiaires et la direction de l’ACDI disposent d’une appréciation crédible, objective et fondée sur des données probantes de la pertinence et du rendement (dont les résultats obtenus et les leçons apprises dans les pays en développement) des programmes, des politiques et des projets de l’Agence.

Les améliorations organisationnelles de l’ACDI au cours des récentes années comprennent l’accroissement de l’indépendance de sa fonction d’évaluation grâce au renforcement de la gouvernance et de l’indépendance de son Comité d’évaluation. Le Comité regroupe maintenant six membres provenant de l’extérieur du gouvernement et cinq cadres supérieurs de l’ACDI, dont la présidente, qui assure la présidence du Comité. Le Comité d’évaluation fait office d’organe consultatif auprès de la présidente sur les activités liées aux évaluations.

La fonction d’évaluation de l’ACDI est régie par la Politique sur l’évaluation de l’Agence, laquelle est en processus de mise à jour pour tenir compte des nouvelles exigences énoncées dans la Politique sur l’évaluation du Conseil du Trésor de 2009. La politique et le plan de travail quinquennal continu guident les fonctions d’évaluation de l’Agence et des directions générales. La Direction de l’évaluation est responsable de la fonction d’évaluation corporative, qui se concentre sur les évaluations de l’utilité et du rendement des programmes. Les évaluations menées par la Direction de l’évaluation satisfont aux exigences de la Politique sur l’évaluation de 2009 du Conseil du Trésor.

En 2012, la Direction de l’évaluation a entrepris un processus de renouvellement visant à optimiser la pertinence et la crédibilité des renseignements stratégiques disponibles pour la prise de décisions et à promouvoir l’amélioration de la gestion du rendement au sein de l’Agence. Elle a été intégrée à la nouvelle Direction de la planification stratégique, de la gestion du rendement et de l’évaluation. Cette dernière comprend trois divisions : gestion du rendement, planification stratégique et évaluation.

Les directions générales de programmes dirigent et gèrent (seules ou avec d’autres donateurs) leurs propres évaluations. La Direction de l’évaluation fournit des conseils et veille à l’assurance de la qualité tout au long de ce processus, au besoin, en tenant compte des risques et de l’importance relative des évaluations. Ces évaluations s’appliquent aux investissements réalisés en deçà du niveau des sous-sous-programmes de l’architecture d’alignement des programmes. Les évaluations menées par les directions générales appuient la prise de décision, l’amélioration des projets et des programmes, la responsabilisation mutuelle et l’apprentissage. Bien que les résultats de ces évaluations accroissent l’efficacité de l’aide de l’ACDI, les pays en développement partenaires en sont les premiers bénéficiaires. Les évaluations menées par les directions générales servent aussi d’éléments de base pour les évaluations corporatives.

Les évaluations corporatives et celles qui sont menées par les directions générales font partie intégrante de la fonction de surveillance de l’ACDI et elles contribuent à l’apprentissage et à l’adoption de meilleures pratiques. Le présent plan recense les évaluations corporatives et celles qui ont été menées par les directions générales, en plus de quelques évaluations d’initiatives réunissant plusieurs donateurs.

Les principales responsabilités de la Direction de l’évaluation et des directions générales de programmes sont énumérées ci-dessous.

2.1 Responsabilités de la Direction de l’évaluation

La Direction de l’évaluation a les responsabilités suivantes^{Note de bas de page 2} :

• Élaborer, en coordination avec les directions générales, le plan quinquennal continu en matière d’évaluation, qui inclue les évaluations corporatives et les évaluations menées par les directions générales.
• Veiller à ce que les évaluations corporatives soient menées de façon neutre, rigoureuse et en fonction de l’optimisation des ressources.
• Élaborer et mettre en œuvre une approche de diffusion pour que les connaissances émergeant des évaluations soient diffusées largement à l’échelle de l’Agence, afin de favoriser l’apprentissage organisationnel.
• Mettre en place une approche systématique pour faire un suivi du respect des engagements exposés dans les réponses de la direction et les plans d’action.
• Fournir des conseils techniques et veiller à l’assurance de la qualité, incluant de la formation et des outils, en appui aux évaluations menées par les directions générales, si les ressources le permettent, et établir des priorités en fonction des risques et de l’importance relative des évaluations.
• Gérer une offre permanente de consultants qualifiés pour réaliser les évaluations, et aider les directions générales de programmes et de services à déterminer ceux qui sont les mieux qualifiés pour mener à bien ces évaluations.
• Étudier les dispositions relatives à la responsabilisation et au rendement qui doivent être incluses dans les documents destinés au Cabinet (mémoires au Cabinet, présentations au Conseil du Trésor) et formuler des conseils à ce sujet.
• Nouer et entretenir des alliances stratégiques profitables avec des intervenants clés, tant à l’intérieur qu’à l’extérieur de l’Agence.
• Soutenir le Comité d’évaluation pour assurer une gouvernance et une surveillance rigoureuse.

2.2 Responsabilités des directions générales de programmes

Les directions générales de programmes ont les responsabilités suivantes^{Note de bas de page 3} :

• Veiller à ce qu’il y ait suffisamment de données sur le rendement pour que les évaluations corporatives puissent être réalisées.
• Préparer tous les ans leurs plans de travail pluriannuels en matière d’évaluation afin de les intégrer au Plan de travail quinquennal continu de l’ACDI en matière d’évaluation.
• Réaliser les évaluations conformément à leurs plans de travail pluriannuels en matière d’évaluation et mettre en œuvre les recommandations découlant de ces évaluations.
• Diffuser les résultats aux fins de la prise de mesures de suivi et d’apprentissage, et pour assurer la transparence.
• Formuler des commentaires sur les rapports préliminaires et préparer les réponses de la direction et les plans d’action.
• Mettre en œuvre les réponses de la direction ou les plans d’action approuvés.

3.0 Élaboration du plan de travail

3.1 Défis et principales considérations

Plusieurs défis et considérations doivent être pris en compte pour élaborer le plan de travail de l’ACDI en matière d’évaluation pour l’exercice 2013-2014 :

• L’exigence de la Politique sur l’évaluation du Conseil du Trésor de 2009, qui concerne l’évaluation de la totalité des dépenses de programme directes de l’ACDI sur cinq ans.
• La période de mise en œuvre de certaines évaluations, qui parfois dépasse l’échéancier prévu en raison de divers facteurs, y compris le contexte du pays et la disponibilité des ressources.
• L’importance d’optimiser les ressources liées aux évaluations corporatives, et de gérer les évaluations en respectant l’enveloppe budgétaire attribuée.
• Les retombées du plan d’action pour la réduction du déficit sur les ressources organisationnelles et des programmes.
• L’importance à accorder à l’utilisation des résultats des évaluations pour améliorer les programmes et la prise de décisions, conformément à la directive récente du Conseil du Trésor, ainsi que la nécessité de personnaliser la conception des évaluations selon les besoins des utilisateurs.
• La nécessité de veiller à ce que les approches et les méthodes utilisées pour réaliser les évaluations de l’ACDI tiennent compte de l’évolution de la réflexion sur les pratiques exemplaires en matière d’évaluation des activités de développement, y compris de la directive récente du Conseil du Trésor au sujet de l’évaluation axée sur la théorie.
• La nécessité d’analyser et de gérer les niveaux de risque de certaines évaluations, y compris de celles qui concernent les États fragiles. Les catastrophes naturelles et les problèmes de sécurité rendent certaines évaluations sur le terrain problématiques et coûteuses.
• Le nombre limité d’évaluateurs qualifiés (consultants et employés). Au cours de la dernière année, plusieurs évaluateurs expérimentés de l’ACDI ont pris leur retraite.

Le présent plan a été élaboré en supposant que le niveau des ressources consacrées par l’Agence aux évaluations en 2013-2014 serait équivalent à celui de 2012-2013.

3.2 Relever les défis

Afin de relever les défis susmentionnés, le plan prévoit les stratégies suivantes :

• Afin de respecter l’exigence du Conseil du Trésor concernant la portée des évaluations, la Direction de l’évaluation doit augmenter le taux annuel des évaluations corporatives qui doivent être réalisées à partir de 2013-2014, en comparaison avec le taux des récentes années.
• Les risques liés aux évaluations sont examinés de diverses façons, selon le contexte. Les évaluations conjointes sont une façon de tirer parti des ressources de multiples donateurs et d’atténuer les risques en matière de sécurité (p. ex. l’évaluation multi- donateurs sur les activités de prévention des conflits et de consolidation de la paix au Soudan du Sud). Dans d’autres cas, la Direction de l’évaluation fait appel à des consultants qui possèdent une expérience substantielle dans les États fragiles (p. ex. en Afghanistan).
• Pour tenir compte des récents départs d’employés, un plan de relève a été élaboré, et quatre agents d’évaluation subalternes ont été embauchés. Ils recevront une formation en matière d’évaluation et travailleront au sein d’équipes hybrides, en compagnie d’évaluateurs externes, pour acquérir des compétences. La convention d’offres à commandes destinées aux consultants externes de l’Agence sera aussi renouvelée au cours de la prochaine année.
• Pour relever les défis liés aux retards par rapport aux plans de mise en œuvre originaux, la Direction de l’évaluation procèdera à une surplanification de l’ordre de 20 % pour s’assurer de mener un nombre suffisant d’évaluations par année.

3.3 Portée et chronologie des évaluations

La Direction de l’évaluation a procédé à un examen approfondi de l’univers d’évaluation de l’ACDI, avec l’intention d’analyser la totalité des dépenses de programme directes de l’Agence sur une période de cinq ans. Environ 12 évaluations corporatives doivent être réalisées chaque année pour atteindre l’objectif d’évaluer la totalité des dépenses de programmes directes d’ici 2017-2018 (l’Annexe 1, « Détermination de l’univers d’évaluation », fournit une description détaillée de cet univers). L’ACDI a aussi consulté le Secrétariat du Conseil du Trésor (SCT) pour déterminer ses obligations en ce qui concerne les évaluations des programmes qui se terminent et de ceux qui doivent se terminer. On a déterminé que l’Agence n’est pas tenue d’évaluer ces programmes, mais qu’elle peut le faire pour en tirer des leçons ou atteindre d’autres objectifs.

Un examen de la chronologie des évaluations a été réalisé afin d’optimiser leur utilité et leur valeur. Comme le recommande le SCT, la chronologie a été établie en tenant compte d’une combinaison de besoins et de risques liés aux évaluations^{Note de bas de page 4}. La composante relative aux besoins comprend des facteurs tels que la contribution de l’évaluation aux processus décisionnels (p. ex. renouvellement de la stratégie de programmation, reconstitution des ressources attribuées aux organisations et aux institutions partenaires). La composante relative aux risques liés aux évaluations comprend des facteurs tels que la complexité et l’importance relative (financière) du programme ou de l’activité devant être évaluée. Le tableau 1 présente la chronologie des évaluations proposée sur une période de cinq ans.

3.4 Évaluations de 2012-2013 reportées sur 2012-2013

Certaines évaluations sont mises en œuvre sur plusieurs exercices financiers, habituellement pour des raisons de complexité ou de retards imprévus. En plus des évaluations prévues à la section 4 du présent document, la Direction de l’évaluation réalisera en 2013-2014 plusieurs évaluations qui ont été reportées à partir de l’exercice 2012-2013. Celles-ci comprennent, entre autres, les suivantes :

Évaluation : Haïti
Date d’achèvement prévue : Février 2014
Justification : Évaluation complexe qui a nécessité de longues consultations avec les directions générales et d’autres ministères. En outre, certaines questions liées aux contrats ont ralenti le processus.

Évaluation : Afghanistan
Date d’achèvement prévue : Octobre 2014
Justification : La mise en œuvre a été retardée en raison de questions liées aux contrats.

Évaluation : Indonésie
Date d’achèvement prévue : Octobre 2013
Justification : La mise en œuvre a été retardée en raison de questions liées aux contrats.

Évaluation :Pakistan
Date d’achèvement prévue : Octobre 2013
Justification : La mise en œuvre a été retardée en raison de questions liées aux contrats.

4.0 Évaluations prévues pour l’exercice 2013-2014

Compte tenu de la diversité des mécanismes de programmation de l’ACDI, la Direction de l’évaluation a adopté une stratégie d’évaluation organisationnelle à volets multiples.

4.1 Pays ciblés et pays où l’ACDI assure une présence modeste

Les évaluations porteront principalement sur les 20 pays ciblés par l’ACDI, auxquels au moins 80 % des ressources bilatérales sont attribuées. En 2013-2014, la Direction de l’évaluation propose deux évaluations pilotes de groupes de pays, soit le Mozambique et la Tanzanie ainsi que l’Éthiopie et le Ghana, pour lesquels il existe des similarités sur le plan des secteurs et des programmes. Cette approche permettra de procéder à un examen thématique et à une comparaison des leçons tirées au sein des groupes. Les évaluations des programmes du Pakistan et de l’Indonésie, qui ont été commencées en 2012-2013, seront achevées en 2013-2014. L’évaluation de l’un de ces groupes et une des évaluations de pays individuel seront vraisemblablement amorcées ultérieurement en 2013-2014 et elles seront achevées l’année suivante.

À l’avenir, pour les pays où l’ACDI assure une présence modeste, la Direction de l’évaluation propose de mener des évaluations pilotes de groupes de pays, en fonction des thèmes prioritaires, en commençant par la croissance économique durable (c.-à-d. Cuba, Guatemala, Nicaragua, Philippines, Sri Lanka, Égypte, Jordanie, Maroc, Afrique du Sud). Une évaluation groupée des programmes régionaux (interaméricain, panafricain et de l’Asie du Sud-est) est aussi proposée, compte tenu des similarités entre les thèmes des programmes, les architectures régionales et les agents d’exécution, ainsi que de la possibilité de tirer des leçons dans l’ensemble des régions. Les évaluations groupées n’ont pas comme seul objectif une meilleure utilisation des ressources financières ; elles visent aussi à accroître l’efficacité des évaluations, conformément au principe de l’efficacité de l’aide.

4.2 États fragiles

Les évaluations des programmes de l’Afghanistan et d’Haïti, qui ont été amorcées en 2012-2013, seront achevées en 2013-2014. Une évaluation des programmes de la Cisjordanie et de la bande de Gaza sera entreprise en 2013-2014. Ces évaluations tiendront compte de l’étendue de l’harmonisation des programmes des États fragiles avec les principes pour l’engagement international dans les États fragiles et les situations précaires établis par le CAD de l’OCDE. Ces principes orientent les interventions internationales dans les États fragiles et visent le renforcement de la gouvernance et de l’État, en faveur de la stabilité à long terme.

4.3 Direction générale des programmes multilatéraux et mondiaux

La Direction générale des programmes multilatéraux et mondiaux (DGPMM) appuie un grand nombre d’institutions et de fonds internationaux. La Direction de l’évaluation a eu recours à une méthode visant à évaluer l’efficacité des activités de développement de ces organisations, en utilisant leurs propres rapports sur le rendement et leurs données d’évaluation. Cette approche, qui devrait être adoptée par tous les donateurs, permet d’élargir la portée de l’évaluation à un plus grand nombre d’institutions sur une période plus courte, à un coût moindre pour chacun des participants, et d’exercer une plus forte influence sur la mise en œuvre des changements requis. D’autres donateurs ont commencé à s’intéresser peu à peu à cette méthode avec l’examen du Fonds des Nations Unies pour l’enfance (UNICEF), complété en 2013 en partenariat avec le gouvernement des Pays-Bas.

Étant donné que l’approche complète le travail effectué par le MOPAN, qui prévoit la participation de multiples donateurs, la Direction de l’évaluation et la DGPMM veulent utiliser ce forum pour promouvoir une plus grande adhésion à l’égard des évaluations conjointes de l’efficacité des activités de développement des organisations multilatérales en 2013.

En 2013-2014, la Division de l’Évaluation entreprendra l’évaluation de la Banque interaméricaine de développement, du Fonds des Nations Unies pour l’enfance et du Fonds international de développement agricole.

4.4 Direction générale des partenariats avec les Canadiens

La programmation de la DGPC est structurée autour de cinq domaines thématiques, qui correspondent à son modèle logique et à sa structure organisationnelle. Les unités d’évaluation suivantes s’harmonisent avec cette structure de la programmation :

1. Gouvernance
2. Croissance économique et viabilité de l’environnement
3. Développement humain
4. Mobilisation des Canadiens
5. Création et diffusion du savoir

En 2013-2014, la Direction de l’évaluation évaluera la programmation liée à la croissance économique et à la viabilité de l’environnement. Les évaluations de programmes-pays portent également sur les investissements de la DGPC.

4.5 Évaluation des politiques et des processus organisationnels

L’Agence a besoin de données sur le rendement de ses programmes, mais aussi sur le rendement des initiatives qui touchent l’ensemble de ses activités, comme les politiques, les enjeux thématiques et les mécanismes d’exécution. En 2013-2014, on procédera à une métaévaluation pour évaluer la qualité des évaluations menées par les directions générales. En outre, le rapport sur l’État de la mesure du rendement, qui a été mandaté par le Conseil du Trésor, sera préparé. Ce rapport devrait être publié annuellement.

4.6. Évaluations horizontales

Pour l’exercice 2013-2014, l’ACDI s’est vu demander de participer à la planification et à la mise en oeuvre d’une évaluation horizontale de la stratégie du gouvernement du Canada relative à la responsabilité sociale des entreprises pour les sociétés extractives canadiennes présentes à l’étranger. Cette évaluation avait été prévue au moment de l’approbation de la stratégie en mars 2009. Les ministères responsables de la mise en oeuvre de la stratégie et de la réalisation d’un examen sont le ministère des Affaires étrangères et du Commerce international (MAECI), Ressources naturelles Canada (RNCan) et l’ACDI.

4.7 Analyse des risques liés aux évaluations

Le SCT exige que les ministères et les organismes gouvernementaux établissent le calendrier quinquennal proposé des évaluations en fonction des besoins et des risques liés aux évaluations identifiées. Un cadre des risques liés aux évaluations a été élaboré et il tient compte de quatre critères : la sensibilité politique, l’importance relative, la complexité et le contexte. Les critères ont été pondérés en fonction du rang qu’occupe le risque organisationnel correspondant dans le profil de risque organisationnel.

Pour élaborer le cadre des risques liés aux évaluations et réaliser l’analyse, la Direction de l’évaluation a consulté les lignes directrices du SCT et le profil de risque organisationnel de l’ACDI. L’analyse des risques liés aux évaluations a servi à :

• guider l’attribution des ressources financières et humaines pour mettre en œuvre chaque évaluation ;
• guider l’approche ou la méthode propre à chaque évaluation ;
• orienter la chronologie des évaluations pour répartir de façon appropriée les risques liés aux évaluations tout au long du plan quinquennal, au besoin.

Le cadre des risques liés aux évaluations, la méthode d’analyse et les notes finales attribuées aux risques liés à l’évaluation se trouvent à l’annexe 2.

5.0 Autres activités de la Direction de l’évaluation pour l’exercice 2013-2014

5.1 Soutien aux évaluations menées par les directions générales

Comme nous l’avons expliqué précédemment, les évaluations menées par les directions générales sont les éléments de base des évaluations corporatives menées par la Direction de l’évaluation. Elles complètent également les évaluations corporatives en brossant un tableau plus complet du rendement de l’Agence.

La Direction de l’évaluation :

1. intégrera les plans d’évaluation des directions générales de programmes dans le Plan de travail quinquennal continu en matière d’évaluation;
2. fournira des conseils techniques et veillera à l’assurance de la qualité, au besoin, en tenant compte des risques liés aux évaluations et de l’importance relative des évaluations;
3. veillera à ce que le nouveau Processus de programmation de l’Agence comporte des outils et des guides d’évaluation actualisés.

La Direction de l’évaluation actualise ses outils pour mieux appuyer les employés responsables des programmes. La première étape a été la mise à jour du cadre de référence générique, qui est maintenant offert dans les deux langues officielles. Ensuite, la Direction de l’évaluation préparera un guide sur la conception des évaluations. Une base de données centrale, destinée à regrouper l’ensemble des évaluations menées par les directions générales qui utilisent la convention d’offres à commandes, est en cours d’élaboration.

Afin d’aider les directions générales et d’optimiser les ressources limitées, la Direction de l’évaluation utilisera des moyens convenus pour fournir des conseils aux responsables des programmes au sujet des évaluations menées par les directions générales. Elle offrira aussi des services d’experts et des conseils afin d’appuyer l’élaboration de plans stratégiques annuels et du plan de mise en œuvre de l’Initiative internationale pour la transparence de l’aide (IITA), pour favoriser l’obtention de données sur les activités.

Une synthèse des leçons tirées des programmes terminés sera élaborée par les directions générales pour bien rendre compte de l’expérience de l’ACDI et orienter les futurs programmes. La Direction de l’évaluation offrira des conseils et du soutien, à la demande des directions générales. En terminant, la Direction de l’évaluation entamera des travaux sur un nouvel arrangement en matière d’approvisionnement destiné aux consultants externes en évaluation, et elle consultera les directions générales de programmes tout au long de ce processus.

5.2 Examen de la méthode d’évaluation des programmes-pays

En 2013-2014, la Direction de l’évaluation entreprendra un examen de la méthode actuelle d’évaluation des programmes-pays. L’examen permettra de veiller à ce que la méthode soit conforme aux pratiques exemplaires et aux normes du domaine de l’évaluation de programmes internationaux.

5.3 Engagements pris dans les présentations au Conseil du Trésor

Au cours des dernières années, plusieurs engagements en matière d’évaluation ont été pris dans le cadre des présentations au Conseil du Trésor sollicitant l’approbation d’initiatives importantes. Bon nombre de ces initiatives sont des sous-éléments de programmes. Quatre des onze engagements d’évaluation pris à l’égard du SCT (pris entre 2006-2007 et 2010-2011) incombent à la Direction de l’évaluation. Les sept autres incombent aux directions générales de programmes. Le tableau 2 présente la liste de ces engagements d’évaluation.

Ces engagements peuvent être respectés par l’entremise des évaluations de programmes prévues, plutôt que par des évaluations distinctes. Le niveau de risque de ces évaluations dépend du pays, du programme et de l’organisation examinés. Le nombre d’évaluations est appelé à diminuer dans le futur.

5.4 Optimisation des avantages tirés des évaluations sur le plan de l’apprentissage et du savoir

Les évaluations de l’ACDI constituent une source d’information impartiale et crédible qui est utilisée dans les examens stratégiques, le renouvellement des modalités et des conditions, les présentations au Conseil du Trésor, les rapports sur les plans et les priorités, les rapports ministériels sur le rendement et les mémoires au Cabinet. Elles fournissent aussi des informations qui permettent d’éclairer les prises de décisions sur les investissements.

Même si l’ACDI a traditionnellement tiré parti d’une culture propice à l’évaluation, il est encore nécessaire d’optimiser les avantages tirés des évaluations sur le plan de l’apprentissage et du savoir. L’approche et le plan de travail de l’Agence sur la diffusion des connaissances tirées des évaluations permettront d’accroître la visibilité, l’accessibilité et l’utilisation des constatations et des leçons tirées des évaluations, tant à l’intérieur qu’à l’extérieur de l’ACDI.

Depuis 2011-2012, la Direction de l’évaluation met en œuvre une approche et un plan de travail pour la diffusion des connaissances en matière d’évaluation, visant à accroître la visibilité, l’accessibilité et l’utilisation des résultats des évaluations, tant à l’intérieur qu’à l’extérieur de l’Agence. Un élément clé de ce plan est un rapport annuel sur les leçons tirées des évaluations. Le rapport indique les principales leçons tirées des évaluations corporatives et il présente des résumés d’une page des évaluations examinées. En décembre 2012, la Direction de l’évaluation a publié son premier rapport annuel sur les leçons retenues, intitulé « L’ACDI apprend : Leçons tirées des évaluations de 2011-2012 ».

En 2013-2014, la Division de l’Évaluation :

• Publiera son deuxième rapport « L’ACDI apprend : Leçons tirées des évaluations »;
• Échangera sur les connaissances et les leçons relatives aux évaluations, dans le cadre des cafés-rencontres sur les évaluations;
• Présentera des exposés interactifs sur les principales constatations des évaluations;
• Fournira des conseils aux directions générales au sujet de la préparation des résumés des évaluations;
• Utilisera d’une façon accrue les réseaux de connaissances de l’ACDI afin de diffuser les constatations et les leçons tirées des évaluations.

5.5 Mesurer l’utilisation des évaluations au sein de l’Agence

En s’appuyant sur un essai pilote réalisé par Affaires autochtones et Développement du Nord Canada, la Direction de l’évaluation a élaboré et a mis à l’essai des outils propres à l’ACDI pour mesurer l’utilisation des évaluations au sein du personnel et des décideurs de l’Agence. En 2013-2014, elle modifiera les outils en fonction des résultats de l’essai pilote. Les outils révisés serviront à générer une analyse de base de l’utilisation des évaluations. L’exercice sera rétrospectif (pour mesurer l’utilisation antérieure) et prospectif (pour accroître l’utilisation future). Les leçons tirées de cet exercice permettront à la Direction de l’évaluation de mieux cibler ses évaluations et la diffusion des résultats.

5.6 Initiatives organisationnelles

Un soutien sera fourni à l’égard des initiatives à l’échelle de l’organisation, comme le Rapport ministériel sur le rendement, le Rapport sur les plans et les priorités et le Cadre de responsabilisation de gestion (CRG). Les comités et les groupes de travail organisationnels représentent une partie importante de la charge de travail de la Direction de l’évaluation. Ils constituent des mécanismes de diffusion des connaissances et de responsabilisation, et ils influencent les prises de décisions sur les politiques et les programmes.

5.7 Alliances stratégiques

Au Canada, la Direction de l’évaluation s’efforcera de maintenir sa relation de travail fructueuse avec le Centre d’excellence en évaluation du SCT, et d’établir une relation plus solide avec la Société canadienne de l’évaluation. Les rapports avec ces communautés de praticiens sont importants pour le maintien et l’essor du leadership canadien dans le domaine de l’évaluation. Ils constituent pour la Direction de l’évaluation une source de pratiques exemplaires et de leçons.

À l’échelon international, la Direction de l’évaluation concentrera sa collaboration avec le Réseau sur l’évaluation du développement du Comité d’aide au développement (de l’OCDE), afin de promouvoir davantage l’adoption de sa méthode d’évaluation de l’efficacité des activités de développement des organisations multilatérales.

6.0 Plans d’évaluation des directions générales de programmes pour l’exercice 2013-2014

Les directions générales de programmes mènent des évaluations pour accroître l’efficacité des projets et des programmes qui profitent aux pays en développement.

La section suivante décrit les activités d’évaluation prévues par les directions générales au cours de l’exercice 2013-2014. Les évaluations menées par les directions générales complètent les travaux d’évaluation de la Direction de l’évaluation, car elles permettent d’obtenir des évaluations du rendement, des données sur le suivi et d’autres renseignements utiles.

6.1 Direction générale des programmes géographiques – Évaluations prévues pour l’exercice 2013-2014

Le suivi, l’évaluation et l’établissement de rapports se déroulent sur une base continue à la Direction générale des programmes géographiques (DGPG). La liste des évaluations prévues pour 2013-2014 (ci-dessous) n’est donc pas définitive.

6.2 Direction générale des partenariats avec les Canadiens – Évaluations prévues pour l’exercice 2013-2014

La DGPC a élaboré un plan continu en matière d’évaluation pour une période de quatre ans, soit de l’exercice 2013-2014 à l’exercice 2016-2017. Le plan est axé sur la mise en œuvre des évaluations thématiques dans les domaines de programmation prioritaires de l’Agence. Pour l’exercice 2013-2014, la DGPC prévoit mener les évaluations suivantes :

• Évaluation des programmes de la DGPC en matière d’approvisionnement en eau et d’assainissement.
• Conseils provinciaux et régionaux de coopération internationale, supportés par la DGPC.
• Évaluation du programme multilatéral mondial d’observation des élections.

La DGPC réalisera aussi les évaluations du rendement des projets suivantes afin de répondre aux engagements particuliers du Conseil du Trésor en matière d’évaluation :

• Évaluation sommative du programme de la Fondation Jules et Paul-Émile Léger.
• Évaluation sommative du Programme de coopération volontaire de la DGPC.
• Évaluation formative de l’Initiative de la Fondation Aga Khan Canada intitulée « Partenariat pour l’avancement du développement humain en Afrique et en Asie ».

Durant l’exercice 2013-2014, dépendamment de la disponibilité des ressources, la DGPC mettra en œuvre les évaluations des éléments de sa programmation suivants :

• Protection des enfants et des jeunes.
• Éducation de base et de la petite enfance.
• Renforcement des associations de santé professionnelles.
• Projets pilotes de responsabilité sociale des entreprises du secteur extractif.
• Compétences professionnelles.
• Primauté du droit et d’accès à la justice.

6.3 Direction générale des programmes multilatéraux et mondiaux – Évaluations prévues pour l’exercice 2013-2014

La DGPMM réalise trois types de programmation distincts qui sont évalués à l’aide de critères distincts.

Soutien institutionnel à long terme

Le Canada, à titre de membre des conseils d’administration des institutions multilatérales et de participant aux consultations directes avec les institutions, prend part activement, avec d’autres donateurs, aux processus d’évaluation, entre autres à l’examen des évaluations et à la prestation de conseils au sujet des recommandations. Voici des exemples d’évaluations qui seront réalisées par nos partenaires en 2013-2014 :

• Évaluation des programmes : Violence contre les enfants, Fonds des Nations Unies pour l’enfance (UNICEF).
• Examen d’évaluation annuel 2013, Banque asiatique de développement.
• Évaluation de la mise en œuvre du Plan de gestion de modernisation, Organisation internationale de la Francophonie.

La réalisation d’évaluations englobant les partenaires clés, par exemple, par l’entremise du MOPAN, offre d’autres possibilités de dialogue et de comparaison.

Initiatives mondiales

Chaque initiative mondiale comporte un robuste volet consacré au suivi et à l’établissement de rapports. Ces évaluations prennent généralement la forme d’évaluations à mi-parcours et d’évaluations finales. Dans la plupart des cas, l’évaluation est menée par le partenaire. L’ACDI, tout comme d’autres donateurs, joue souvent un rôle dans le processus, mais il s’agit davantage d’un rôle de soutien que d’un rôle normatif. Dans quelques cas, l’Agence mène l’évaluation. Par exemple, dans le cadre du financement récemment accordé par l’ACDI à l’Initiative pour les micronutriments, l’Initiative a accepté qu’une évaluation externe soit réalisée. Cette dernière a été achevée en mars 2012. Voici des exemples d’évaluations d’initiatives mondiales qui seront menées en 2013-2014 avec l’appui de la DGPMM :

• Évaluation à mi-parcours de l’initiative H4+ visant à accélérer les progrès dans le secteur de la santé des mères et des nouveau-nés, menée par le Fonds des Nations Unies pour la population (FNUAP).
• Évaluation finale de l’initiative de traitement communautaire du paludisme et de la pneumonie, menée par Aide à l’enfance.
• Évaluation finale du projet de recherche en écosanté sur les maladies infectieuses émergentes de l’Initiative de recherche en santé mondiale, menée par le Centre de recherches pour le développement international (CRDI).

Aide humanitaire internationale

Bien que l’ACDI appuie les évaluations menées par ses partenaires humanitaires au sujet de leurs programmes, elle soutient également l’apprentissage à l’échelle du système d’intervention humanitaire pour mieux déterminer la mesure dans laquelle le système répond de façon globale aux besoins cernés. Le Bureau de la coordination des affaires humanitaires (BCAH) réalise des évaluations pour promouvoir la transparence, la reddition de comptes et l’apprentissage en formulant des jugements objectifs et systématiques sur la pertinence, l’efficacité, l’efficience et les répercussions des interventions humanitaires.

L’ACDI soutient aussi certains mécanismes d’apprentissage et d’évaluation tels que le Réseau d’apprentissage pour la responsabilisation et l’efficacité en matière d’assistance humanitaire (ALNAP). Dans presque tous les cas, les organisations non gouvernementales partenaires de l’Agence incluent le suivi et l’évaluation dans le cadre du projet, et cela s’applique aux initiatives d’interventions d’urgence comme aux initiatives humanitaires complexes. Dans certains cas, l’ACDI réalise une évaluation. Par exemple, une évaluation axée sur les résultats des programmes de la Banque canadienne de grains a été menée en 2010. En plus des évaluations en temps réel menées à la suite de crises, voici des exemples d’évaluations qui seront réalisées en 2013 :

• Évaluation de la préparation aux interventions, Bureau de la coordination des affaires humanitaires.
• Évaluation réalisée par le Réseau d’apprentissage pour la responsabilisation et l’efficacité en matière d’assistance humanitaire (ALNAP), intitulée « The State of the Humanitarian System 2013 ».
• Évaluation finale de l’Initiative des premiers intervenants de la Société canadienne de la Croix-Rouge.

Voici la liste (non définitive) des évaluations prévues par la DGPMM pour l’exercice 2013-2014.

7.0 Budget

Comme il est indiqué ci-dessus, la Direction de l’évaluation mènera un plus grand nombre d’évaluations par année, soit environ 12, et conservera ses responsabilités existantes envers l’Agence et les directions générales. De nouvelles économies seront réalisées par la réalisation d’évaluations thématiques et groupées, une plus grande attention accordée à la conception des évaluations et une utilisation accrue des compétences déjà existante au sein de l’Agence pour la mise en œuvre. Ces économies permettront à la Division de l’évaluation de respecter le plafond budgétaire actuel. Le plan de travail prévoit également une surprogrammation de 20% pour tenir compte des écarts potentiels au chapitre de l’exécution.

En se fondant sur l’expérience passée, que certaines évaluations doivent être mises en œuvre sur de multiples exercices en raison de la complexité, de questions liées aux marchés ou de difficultés imprévues découlant de la réalisation dans des pays en développement ou des États fragiles.

7.1 Dépenses de fonctionnement et d’entretien (à l’exclusion des salaires)

Comme le démontre le tableau 1, un budget de 2,2 millions de dollars est requis pour 2013-2014 afin de mettre en œuvre le plan proposé. Ce montant comprend le coût des services contractuels d’experts de l’extérieur ainsi que d’autres dépenses non salariales, dont les frais de traduction et de déplacements du personnel. La Direction de l’évaluation cherchera à améliorer la coordination entre les évaluations corporatives et les évaluations menées par les directions générales en vue de maximiser l’efficience des ressources.

7.2 Budget salarial

La Direction de l’évaluation dispose d’un budget salarial d’environ 1,7 million de dollars et d’un effectif de 18 équivalents temps plein (ETP) : le directeur, 16 évaluateurs et un employé de soutien administratif.

Initiatives de l’ACDI en matière d’évaluation (AF 2013-2014 – AF 2017-2018)

Engagements envers le SCT en matière d’évaluation^{Note de bas de page 17}

Le tableau ci-dessous présente les engagements en matière d’évaluation précisés dans les présentations au Conseil du Trésor qui ont été approuvées entre 2006-2007 et 2010-2011. Il ne comprend pas les engagements déjà respectés.

Annexe 1 : Détermination de l’univers d’évaluation

En 2012-2013, la Direction de l’évaluation a revu son univers d’évaluation pour tenir compte des résultats du plan d’action pour la réduction du déficit. Le nombre d’unités de l’univers d’évaluation est fondé sur l’architecture des activités de programme (AAP) de l’ACDI (2013-2014), sur les cadres de mesure du rendement approuvés par le SCT et sur les engagements pris dans le cadre des présentations au Conseil du Trésor.

En se basant sur ces facteurs et à la suite d’une consultation exhaustive menée à l’échelle de l’Agence, y compris avec les gestionnaires de la DGPMM et de la DGPG, la Direction de l’évaluation a établi un univers d’évaluation provisoire comprenant 52 unités sur les cinq prochaines années :

• 5 unités d’évaluation liées aux États fragiles et aux collectivités touchées par une crise;
• 8 unités d’évaluation liées aux pays à faible revenu;
• 8 unités d’évaluation liées aux pays à revenu intermédiaire;
• 1 unité d’évaluation liée aux programmes régionaux;
• 22 unités d’évaluation liées à l’engagement à l’échelle mondiale et aux politiques stratégiques;
• 5 unités d’évaluation liées à la mobilisation des Canadiens;
• 3 engagements précis pris dans le cadre de la présentation au Conseil du Trésor (voir tableau 2).

Le tableau 3 présente les unités d’évaluation susmentionnées. Après avoir consulté le SCT, on a déterminé qu’il n’est pas nécessaire d’évaluer les programmes qui doivent prendre fin.

Pour planifier le calendrier des évaluations, la Direction de l’évaluation mène de vastes consultations à l’échelle de l’Agence pour répondre aux besoins des utilisateurs et de l’Agence et pour s’assurer que les programmes en cours soient évalués tous les cinq ans conformément aux exigences du SCT. De plus, la Direction de l’évaluation fait en sorte que le calendrier des évaluations s’intègre aux principaux processus décisionnels tels que la reconstitution des fonds multilatéraux.

Annexe 2 : Analyse des risques liés aux évaluations

Le SCT exige que les ministères et les organismes gouvernementaux établissent le calendrier quinquennal des évaluations en fonction des besoins et des risques liés aux évaluations. Par conséquent, il s’attend à ce que les ministères entreprennent un exercice d’analyse des risques liés aux évaluations.^{Note de bas de page 19}

L’analyse des risques liés aux évaluations de l’ACDI sert à :

1. guider l’attribution des ressources financières et humaines pour mettre en œuvre chaque évaluation;
2. guider l’approche ou la méthode propre à chaque évaluation;
3. orienter la chronologie des évaluations pour répartir de façon appropriée les risques d’évaluation tout au long du plan quinquennal, au besoin.

Le cadre des risques liés aux évaluations de l’ACDI (tableau 4) a été élaboré conformément aux lignes directrices du SCT.^{Note de bas de page 20} Les critères qui le composent sont : la sensibilité politique, l’importance relative, la complexité et le contexte.^{Note de bas de page 21} Chacun de ces critères a des répercussions directes sur la réussite de l’évaluation et sur sa diffusion. Les quatre critères ont été pondérés en fonction du rang qu’occupe le risque organisationnel pertinent dans le profil de risque organisationnel de l’ACDI.^{Note de bas de page 22}

Le cadre des risques liés aux évaluations ci-dessous (tableau 4) présente les quatre critères de risques liés aux évaluations, leurs définitions et la méthode d’évaluation.

Le tableau de cotation des critères de risque liés aux évaluations (tableau 5) a aussi été créé, à la recommandation du SCT, pour établir des définitions cohérentes des niveaux de risques pour chaque critère. Les critères de risque liés aux évaluations ont été associés aux risques organisationnels correspondants du profil de risque de l’Agence. Les quatre critères ont été pondérés en fonction du rang qu’occupe le risque organisationnel associé.

Comme l’indique le tableau 5, chaque risque a été coté de faible (1) à élevé (4). Les cotes de chaque catégorie de risque ont été pondérées en fonction du rang qu’occupe le risque organisationnel associé dans le profil de risque organisationnel. La moyenne finale pour chaque unité d’évaluation a ensuite été calculée. Ces moyennes pondérées finales ont été évaluées au moyen de l’échelle des risques liés aux évaluations (tableau 6) pour déterminer la note finale du risque lié aux évaluations :

Échelle des risques liés aux évaluations

Risque faible : (0,0 -1,9)
Risque moyen : (2,0 -2,9)
Risque substantiel : (3,0 -3,6)
Risque élevé : (3,7 -4,0)

Selon les méthodes décrites plus haut, chaque unité d’évaluation a été évaluée en fonction des quatre critères (sensibilité politique, importance relative, complexité et contexte).