La gestion axée sur les résultats appliquée aux programmes d’aide internationale Un guide pratique

Mis à jour juin 2022

Table des matières

• Préface
• Auditoire
• Première partie : Une introduction à la gestion axée sur les résultats
  • 1.0 Introduction
  • 1.1 La gestion axée sur les résultats
  • 1.2 La gestion axée sur les résultats et la théorie du changement
  • 1.3 Le suivi et l’évaluation axés sur les résultats
  • 1.4 L’adoption d’une approche participative
  • 1.5 L’intégration de l’égalité entre les sexes, la viabilité de l’environnement et la gouvernance
• Deuxième partie : Méthodes et outils de la gestion axée sur les résultats
  • 2.0 Introduction
  • 2.1 Les résultats et les extrants
  • 2.2 Le modèle logique
  • 2.3 La matrice des extrants et des activités
  • 2.4 L’exposé narratif de la théorie du changement
  • 2.5 Les indicateurs
  • 2.6 Le cadre de mesure du rendement
  • 2.7 Le plan de suivi et d’évaluation axé sur les résultats
• Troisième partie : Instructions étape par étape
  • 3.0 Introduction
  • 3.1 Étape 1 : Identifier l’équipe de conception et les parties prenantes
  • 3.2 Étape 2 : Effectuer une analyse de la situation
  • 3.3 Étape 3 : Élaborer la théorie du changement du projet, y compris le modèle logique, la matrice des extrants et des activités et l’exposé narratif
    • Étape 3 a) Déterminer le résultat ultime
    • Étape 3 b) Déterminer les résultats intermédiaires
    • Étape 3 c) Déterminer les résultats immédiats
    • Étape 3 d) Déterminer les principaux extrants et les principales activités
    • Étape 3 e) Valider la théorie du changement
    • Étape 3 f) Réunir tous les éléments
    • Étape 3 g) Rédiger un exposé narratif de la théorie du changement
    • Étape 3 h) Évaluer le modèle logique et la matrice des extrants et des activités
  • 3.4 Étape 4 : Élaborer le cadre de mesure du rendement et le plan de suivi et d’évaluation axés sur les résultats
    • Étape 4 a) Copier les énoncés de résultats attendus et d’extrants du modèle logique dans le cadre de mesure du rendement
    • Étape 4 b) Formuler les indicateurs
    • Étape 4 c) Déterminer les sources des données, les méthodes de collecte, la fréquence et la responsabilité
    • Étape 4 d) Insérer les données de base
    • Étape 4 e) Définir les cibles
    • Étape 4 f) Rédiger un plan préliminaire de suivi et d’évaluation axé sur les résultats
    • Étape 4 g) Évaluer le cadre de mesure du rendement
• Quatrième partie : Gestion axée sur les résultats pendant la mise en œuvre du projet
  • 4.0 Introduction
  • 4.1 Le suivi et la collecte de données
  • 4.2 Ajustements au modèle logique et au cadre de mesure du rendement d’un projet opérationnel
  • 4.3 Les rapports sur les résultats
    • Qu’entend-on par rapports sur les résultats?
    • Pourquoi présenter des rapports sur les résultats?
    • Conseils pour l’élaboration des rapports
    • Exemple illustré d’un rapport sur les résultats
• Conclusion
• Bibliographie
• Figures
  • Figure 1 - Chaîne de résultats d’Affaires mondiales Canada
  • Figure 2 - Chaîne de résultats détaillée d’Affaires mondiales Canada
  • Figure 3 - Illustration de la structure pyramidale du modèle logique
  • Figure 4 - Exemple d’un calendrier axé sur les résultats
  • Figure 5 - Méthodes de collecte de données
  • Figure 6 – L’arbre à problèmes
  • Figure 7 - Modèle logique dûment rempli
  • Figure 8 - Matrice des extrants et des activités dûment remplie
• Encadrés
  • Encadré 1 - Gestion axée sur les résultats
  • Encadré 2 – Définition : Résultats
  • Encadré 3 - Définitions : Types de parties prenantes
  • Encadré 4 – Définition : Résultats de développement
  • Encadré 5 – La gestion axée sur les résultats dans des contextes de crise ou d’après-crise
  • Encadré 6 – « Niveau d’atteinte des résultats » et « progrès réalisés en vue des résultats »
  • Encadré 7 - Illustration simple des notions clés de la gestion axée sur les résultats
  • Encadré 8 – Définition : Chaîne de résultats
  • Encadré 9 – Définition : Résultat ultime
  • Encadré 10 - Définition: Évaluation ex post
  • Encadré 11 - Définition : Résultat intermédiaire
  • Encadré 12 - Définition : Résultat immédiat
  • Encadré 13 - Définition : Extrant
  • Encadré 14 - Définition : Activités
  • Encadré 15 - Définition : Intrants
  • Encadré 16 – Définitions : Attribution et responsabilisation Accountability
  • Encadré 17 – Le contrôle des coûts d’une évaluation
  • Encadré 18 - Définitions : Suivi et évaluation axés sur les résultats
  • Encadré 19 – Système de suivi gérable
  • Encadré 20 - Objectifs de la politique en matière d’égalité entre les sexes pour l’aide internationale d’Affaires mondiales Canada
  • Encadré 21 – L’autonomisation des femmes
  • Encadré 22 – Exemples de résultats escomptés et d’indicateurs d’égalité entre les sexes
  • Encadré 23 - Définitions : Termes liés à l’égalité entre les sexes couramment utilisés dans les énoncés de résultats
  • Encadré 24 - Principes d’intégration de la viabilité de l’environnement
  • Encadré 25 - Exemples de résultats escomptés et d’indicateurs associés à une approche intégrée
  • Encadré 26 - Exemples de résultats escomptés et d’indicateurs associés à une approche ciblée
  • Encadré 27 – Exemples d’autres résultats et indicateurs environnementaux
  • Encadré 28 - Exemples de résultats et d’indicateurs en matière de gouvernance
  • Encadré 29 - Principales considérations liées à la gouvernance
  • Encadré 30 - Des outils itératifs
  • Encadré 31 – À qui les extrants appartiennent-ils?
  • Encadré 32 – Exemples d’énoncés d’extrants escomptés objectifs et subjectifs
  • Encadré 33 – Exemple d’extrants par rapport aux activités et aux sous-activités
  • Encadré 34 – Définition : Organigramme technique de projet
  • Encadré 35 - Les choses ont bien changé!
  • Encadré 36 - Les hypothèses
  • Encadré 37 - Définition : Cadre de mesure du rendement
  • Encadré 38 – Définition : Indicateur
  • Encadré 39 - Exemples d’indicateurs quantitatifs
  • Encadré 40 - Exemple d’indicateur qualitatif assorti d’une échelle
  • Encadré 41 – Autres exemples d’indicateur qualitatif
  • Encadré 42 – Définitions : Indicateurs précurseur, retardataire et simultané
  • Encadré 43 – Définition de l’OCDE : Triangulation
  • Encadré 44 – Exemple : Un indicateur avec données de base et cibles
  • Encadré 45 – L’arbre à solutions
  • Encadré 46 – Définition : Tautologie
  • Encadré 47 - Exemple d’enjeu et de résultat ultime attendu
  • Encadré 48 - Définition : Résultat ultime
  • Encadré 49 - Définition : Résultat intermédiaire
  • Encadré 50 - Exemple de résultats escomptés intermédiaires
  • Encadré 51 - Définition : Résultat immédiat
  • Encadré 52 - Exemple de résultats immédiats attendus
  • Encadré 53 - Définitions : Extrants et activités
  • Encadré 54 - Problèmes courants à éviter touchant les modèles logiques
  • Encadré 55 – Définitions : « Niveau d’atteinte des résultats » et « progrès réalisés en vue des résultats »
  • Encadré 56 – Écueils à éviter dans les rapports
  • Encadré 57 – Définition : données réelles
  • Encadré 58 – Définition: Résultat inattendu
• Tableaux
  • Tableau 1A – Illustration de la structure syntaxique d’un énoncé de résultat escompté construit sur un nom d’action
  • Tableau 1B – Illustration de la structure syntaxique d’un énoncé de résultat escompté construit sur un nom d’action avec une variation de la position du Quoi
  • Tableau 1C – Illustration de la structure syntaxique d’un énoncé de résultat escompté dont la direction est exprimée par un participe passé
  • Tableau 2 – Exemples d’énoncés de résultats escomptés faibles ou bien formulés
  • Tableau 3 – Illustration de la structure syntaxique d’un énoncé d’extrant escompté
  • Tableau 4 – Erreurs courantes à éviter avec les extrants
  • Tableau 5 – Unités d’analyse par type
  • Tableau 6 - Illustration de la structure d’un indicateur de rendement
  • Tableau 7 – Exemples de sources de données
  • Tableau 8 – Autres méthodes de collecte des données

Préface

Le présent guide constitue une introduction complète à la manière dont Affaires mondiales Canada applique l’approche de la gestion axée sur les résultats à ses programmes d’aide internationale, plus particulièrement au niveau des projets. Il fournit des explications sur les concepts, les principes, la terminologie et les outils de la gestion axée sur les résultats ainsi que des instructions, étape par étape, pour leur application.

Dans le contexte the développement international, cette approche et également appelée gestion axée sur les résultats de développement ou gestion axée sur les résultats de développement durable.

Ce guide est accompagné de diverses fiches-conseils sur la gestion axée sur les résultats, de listes de contrôle, de modèles et d’un glossaire de la gestion axée sur les résultats. Pour le public externe, veuillez consulter la page Web externe d’Affaires mondiales Canada sur la gestion axée sur les résultats.

Tout commentaire ou question à l’intention des auteurs est bienvenu et peut leur être acheminé à l’adresse gar.rbm@international.gc.ca.

Auditoire

Le présent guide est destiné au personnel d’Affaires mondiales Canada (AMC) (à l’Administration centrale et sur le terrain) responsable des projets et programmes / portefeuilles d’aide internationale, et au large éventail de partenaires canadiens , internationaux et locaux avec qui AMC collabore. Si les notions et les principes qui sous-tendent la gestion axée sur les résultats sont les mêmes pour la plupart des organisations et des donateurs, les demandeurs et les partenaires qui travaillent avec AMC auront intérêt à utiliser ce guide pour comprendre l’approche du Ministère concernant la gestion axée sur les résultats et son application aux projets qu’il finance.

Ce guide sera également utile à tout le personnel d’AMC qui veut comprendre en quoi consiste la gestion de projet axée sur les résultats en général, et plus particulièrement dans le contexte des programmes d’aide internationale.

Le personnel qui gère un programme-pays, un programme lié à une institution et d’autres programmes / portefeuilles peut aussi s’inspirer de ces lignes directrices pour l’aider dans sa gestion du programme en fonction des résultats.

Tous les Canadiens qui s’intéressent à la gestion axée sur les résultats y trouveront de l’information utile et des exemples précis qui enrichiront leurs connaissances sur le sujet.

Ce guide se veut également un complément au formulaire de demande de financement d’AMC pour les projets d’aide internationale susceptibles de contribuer à l’atteinte des résultats attendus du Ministère en matière d’aide internationale.

Première partie : Une introduction à la gestion axée sur les résultats

1.0 Introduction

La première partie explique la gestion axée sur les résultats en donnant un aperçu de ses principes fondamentaux.

• Orientation vers les résultats : conception, planification et gestion des projets et de programmes / portefeuilles de manière que l’attention portée à l’obtention des résultats ne se relâche jamais pendant le cycle du vie du projet, notamment pendant la mise en œuvre.
• Analyses fondées sur des données probantes : concevoir et planifier des projets et programmes / portefeuilles sur la base d’une analyse fondée sur des données probantes et approfondie du problème et du contexte dans lequel il s’inscrit, ce qui contribue à une solution fondée sur des données probantes, la théorie du changement. Cela comprend ce qui suit :
  • Bénéficiaires (détenteurs de droits) : Identification des bénéficiaires (aide internationale) ou du public cible (défense des intérêts) et conception d’initiatives pour répondre aux leurs besoins.
  • Développer des modèles logiques avec des résultats attendus réalistes sur la base de la théorie du changement.
• Contribution et influence : prémisse voulant que les résultats intermédiaires et ultimes ne relèvent pas du contrôle exclusif d’une seule organisation, programme / portefeuille ou d’un seul projet, mais qu’une organisation, programme / portefeuille ou un projet peut contribuer à l’atteinte de ces résultats, et influer sur celle-ci et que ces résultats doivent encore être mesurés et évalués.
• Suivi et évaluation axés sur les résultats, y compris la mesure du rendement : effectuer un suivi et une évaluation, y compris la mesure du rendement, et d'autres informations, en recueillant et en analysant les données sur les indicateurs de sortie collectés et les données sur les indicateurs d’extrants et (surtout) les indicateurs (quantitatifs et qualitatifs) de résultats et d’autres informations pour mesurer et évaluer les progrès réalisés pour obtenir les résultats attendus. Cette évaluation doit s'appuyer sur des indicateurs de bonne qualité et des leçons apprises.
• L’apprentissage : Augmenter les connaissances de ce qui fonctionne et de ce qui ne fonctionne pas fondées sur des données probantes issues de la mesure des performances, et l’intégration de ces derniers dans les décisions pendant la mise en œuvre. Les leçons doivent être partagées pour informer d'autres programmes similaires, actuels et futurs.
• Ajustement / adaptation continu fondé sur des données probantes : utiliser les données des indicateurs (quantitatifs et qualitatifs) d’évaluer et comparer les résultats attendus aux résultats réels. Cette évaluation permet de prendre des décisions fondées sur des données probantes et d’ajuster / adapter les projets ou programmes / portefeuilles, le cas échéant, au cours de la mise en œuvre afin d’optimiser et d’améliorer la réalisation des résultats attendus.
• Gestion des risques : détermination et gestion des risques, en tenant compte des résultats attendus et des ressources requises.
• Rapports et communication sur les résultats fondés sur des données probantes : fournir des informations transparentes, claires et fondées sur des données probantes concernant les résultats obtenus et les ressources engagées, et communiquer ces informations au parties prenantes concernées.

Les principes fondamentaux qui précèdent s’appuient en outre sur les concepts suivants :

• Approche participative : mobilisation des parties prenantes clés, y compris des bénéficiaires (détenteurs de droits) et des intermédiaires (détenteurs de responsabilités) pendant la cycle de vide de la programmation. La GAR et les approches participatives sont complémentaires et essentielles l’une à l’autre.
• Intégration de l’égalité entre les sexes, la viabilité de l’environnement et la gouvernance: sont pris en considération dans tous les aspects de la planification, de la conception et de la mise en œuvre des projets axés sur les résultats.

Ces principes sont à la base de l’approche choisie par Affaires mondiales Canada pour gérer ses programmes d’aide internationale en fonction de l’atteinte de résultats.^{Note de bas de page 2}

1.1 La gestion axée sur les résultats

Qu’est-ce que la gestion axée sur les résultats ?

La gestion axée sur les résultats (GAR) est une approche de gestion modulable fondée sur le cycle de vie et axée sur l’obtention de résultats : de l’ initiation, à la conception et à la planification, à la mise en œuvre (suivi axé sur les résultats, y compris la mesure de performances, l’adaptation/ajustement et l’établissement de rapports) et à la clôture (évaluation et rapports finaux, et intégration des enseignements tirés dans la programmation future). C’est une façon de travailler et de penser stratégiquement –  un état d’ esprit –  pour gérer les programmes/portefeuilles, projets et les autres activités avec efficacité et efficience pour obtenir les résultats attendus.

Selon le document La gestion axée sur les résultats – Énoncé de principe 2008 d’Affaires mondiales Canada :

La GAR est une approche cyclique [adaptive] de gestion qui considère à la fois la stratégie, les personnes, les processus et les mesures, de manière à améliorer la prise de décisions, la transparence et la responsabilité. Elle est essentielle pour permettre à la haute direction […] d’exercer une gestion judicieuse, conforme aux normes de rendement et de responsabilisation du gouvernement. Elle mise sur la production des résultats attendus, la mesure du rendement, l’apprentissage et l’adaptation, de même que la production de rapports sur le rendement. Par GAR, on entend :

• la définition de résultats attendus réalistes, fondés sur les analyses appropriées;
• l’identification précise des bénéficiaires des programmes et l’élaboration de programmes qui répondent à leurs besoins;
• le suivi, à partir d’indicateurs appropriés, des progrès en fonction des résultats et des ressources consommées;
• l’identification et la gestion des risques, tout en tenant compte des résultats attendus et des ressources requises;
• l’accroissement des connaissances en tirant des leçons de l’expérience et en les intégrant au processus de décisions;
• l’établissement de rapports sur les résultats obtenus et les ressources utilisée.

Autrement dit, la gestion axée sur les résultats n’est pas seulement un ensemble d’outils ou de directives, mais une façon de penser stratégiquement à vos projets ou à vos programmes / portefeuilles, projets et autres initiatives afin de les gérer plus efficacement. Cette meilleure gestion vous permet d’améliorer l’atteinte des résultats, c’est-à-dire les changements positifs auxquels vous souhaitez que vos programmes / portefeuilles ou vos projets contribuent.

Pourquoi avoir recours à la gestion axée sur les résultats ?

Depuis quelques décennies, une pression constante s’exerce sur les gouvernements du monde entier pour qu’ils soient plus transparents et redevables à l’égard des contribuables en ce qui a trait à leur utilisation des ressources publiques. En effet, la préoccupation du public devant l’augmentation des déficits des comptes nationaux et la nécessité d’une gouvernance plus transparente et plus responsable des affaires publiques sont des facteurs importants qui ont contribué à l’évolution de la gestion moderne.

Pendant très longtemps, les ministères (et les organismes d’exécution) ont porté leur attention sur les intrants (ce qu’ils dépensaient), les activités (ce qu’ils réalisaient) et les extrants (ce qu’ils produisaient). Bien que l’information sur les intrants, les activités et les extrants soit importante, elle ne permettait pas aux exécutants de savoir s’ils réalisaient des progrès ou non relativement aux enjeux qu’ils avaient identifiés. Le fait de perdre de vue les résultats attendus de leurs programmes limitait l’efficacité de leurs efforts. 

Il fallait donc trouver une nouvelle méthode de gestion qui rehausserait les normes de rendement et qui définirait le succès en fonction des résultats réellement obtenus. La gestion axée sur les résultats a été adoptée pour répondre à ce besoin.

En 1954, le professeur de gestion Peter Drucker avait baptisé « piège de l’activité^{Note de bas de page 3} » la tendance à mettre l’accent sur les activités au détriment des résultats. La gestion axée sur les résultats exige plutôt  que nous nous intéressions non seulement aux activités et aux extrants, mais surtout aux résultats réels ; les changements auxquels vos programmes contribuent ou ont contribués. En définissant des résultats attendus réalistes et clairement définis, en évaluant les risques, en recueillant des renseignements pour évaluer régulièrement les progrès réalisés en regard de ces résultats pendant la mise en œuvre et s’adapter / effectuer des ajustements en temps opportun, les praticiens peuvent mieux gérer leurs projets et leurs programmes / portefeuilles pour optimiser et améliorer l’atteinte des résultats.

Cette attention portée à l’évaluation au niveau des résultats au cours de la mise en œuvre est l’un des principaux changements introduits par la gestion axée sur les résultats. Si les méthodes de gestion plus classiques définissaient des objectifs ou des résultats attendus au stade de la planification, une fois que s’amorçait la mise en œuvre, le suivi se limitait aux intrants, aux activités et aux extrants. Avec la gestion axée sur les résultats, on s’intéresse aux résultats non seulement au stade de la conception et planification , mais encore tout au long de la mise en œuvre.

Les politiques et les procédures établies par le Secrétariat du Conseil du Trésor, y compris , le Cadre de responsabilisation de gestion et la Politique sur les résultats engagent le gouvernement du Canada à mettre l’accent sur les résultats comme principe de gestion dans tous ses ministères et organismes. Il n’y a d’ailleurs pas que le gouvernement du Canada pour qui la gestion axée sur les résultats est une exigence. C’est une approche de gestion largement acceptée en développement international (à laquelle on fait souvent référence à titre de gestion pour des résultats de développement ou gestion axée sur les résultats de développement durable), ainsi qu’en action humanitaire^{Note de bas de page 4} en situation de crise ou d’après-crise^{Note de bas de page 5}. La gestion axée sur les résultats est d’ailleurs prônée par le Comité d’aide au développement de l’Organisation pour la coopération et le développement économiques (CAD-OCDE) et par les Nations Unies. C’est l’un des principes de l’efficacité^{Note de bas de page 6} de l’aide. Elle est utilisée par la plupart des donateurs, des organisations multilatérales, des organisations non-gouvernementales et par un nombre croissant de pays partenaires et occupe également une place importante dans les accords internationaux en matière de coopération au développement^{Note de bas de page 7} ainsi que d’autres formes de coopération en aide internationale.

La gestion axée sur les résultats aide Affaires mondiales Canada à mettre en œuvre la Politique sur les résultats et la Politique sur les paiements de transfert du Secrétariat du Conseil du Trésor du Canada.

L'approche de la gestion axée sur les résultats d’AMC en matière d'aide internationale s'aligne également sur les principes directeurs de l'OCDE-CAD sur la gestion des résultats en matière de développement durable.

La prise de décision fondée sur des données probantes

Les renseignements – ou les données probantes – recueillis sur les progrès réalisés en vue de l’atteinte des résultats permettent aux gestionnaires et au personnel de prendre des décisions fondées sur des données probantes. Faute de données probantes sur ces progrès, les décisions ont plutôt tendance à reposer sur les budgets et autres intrants, les activités et les extrants. C’est un peu comme si on se fiait seulement sur sa jauge d’essence, au volant, pour se rendre à sa destination. On ne manquera peut-être jamais d’essence, mais il se peut également qu’on ne parvienne jamais à destination. Plus concrètement, si l’on ne garde pas un œil sur ses progrès réalisés en vue des résultats attendus, on ne saura jamais s’il faut apporter des ajustements pour les atteindre.

Lorsqu’on ne se fonde pas sur des données probantes pour prendre des décisions ou que les données sont inexactes, on risque de compromettre la réalisation des résultats attendus. C’est pourquoi le suivi et l’évaluation axés sur les résultats constituent une composante vitale de l’approche de gestion axée sur les résultats.  Se référer à la section 1.3 sur le suivi et l’évaluation axés sur les résultats.

Pour résumer, la gestion axée sur les résultats est affaire d’efficacité; elle vise à maximiser la réalisation des résultats ultimes,à savoir, des améliorations dans la vie des gens. La nature des résultats ultimes peut varier selon le type de programme. Par exemple, dans le cas du développement international, les résultats ultimes concernent une amélioration durable de la vie des personnes dans les pays en développement, comme une plus grande prospérité économique et de meilleurs résultats en santé et en éducation. Dans le domaine de l’aide humanitaire, ils décriraient une réduction de la souffrance, le maintien de la dignité ou des vies sauvées dans les populations touchées par des crises. En sécurité internationale, ils pourraient avoir trait à la réduction des menaces pour les populations de pays où Affaires mondiales Canada à des programmes et pour les Canadiens.

L’exemple du cheminement scolaire d’un étudiant dans l’encadré ci-après illustre en termes simples la façon dont les principes de la gestion axée sur les résultats sont appliqués au quotidien dans le monde entier et pourquoi cette approche est utile.

1.2 La gestion axée sur les résultats et la théorie du changement

La théorie du changement fait partie intégrante de la gestion axée sur les résultats. Le Secrétariat du Conseil du Trésor du Canada l’explique comme suit :

Chaque programme repose sur une théorie du changement – une série d’idées décrivant comment et pourquoi le programme donnera les résultats attendus. La théorie permet de faire le lien entre les activités et [le résultat ultime attendu] du [projet ou] programme. Elle est inhérente à la conception du programme (ou du projet) et est souvent basée sur la connaissance et l’expérience du programme [ou de l’équipe de conception], la recherche, les évaluations, les pratiques exemplaires ou les leçons apprises.

La théorie du changement redynamise les racines analytiques de la gestion axée sur les résultats, en mettant l’accent sur la nécessité de comprendre les conditions qui influent sur le projet ainsi que les motivations et les contributions des divers intervenants. Lorsque la gestion axée sur les résultats est bien appliquée, on conçoit un projet sur la base d’une analyse approfondie de l’enjeu que l’on souhaite aborder et du contexte dans lequel il existe. Cette analyse permet de proposer une solution fondée sur des données probantes : la théorie du changement. 

Une théorie du changement explique de quelle façon l’intervention devrait produire les résultats prévus. Cette théorie débute habituellement par une séquence d’événements et de résultats  (extrants, résultats immédiats, résultats intermédiaires, résultats finaux) qui devraient avoir lieu conséquemment à l’initiative. Cette séquence est habituellement appelée la « logique du programme » ou le « modèle logique ». La théorie du changement va toutefois plus loin : elle décrit les mécanismes du changement, formule les hypothèses et définit les risques et le contexte qui pourraient appuyer la théorie ou l’empêcher de se concrétiser sous la forme de résultats observés.^{Note de bas de page 9}

Voici un exemple simple de théorie du changement provenant de la résolution de conflit :

Telles qu’elles sont appliquées au domaine des conflits, les théories du changement renvoient aux liens présumés qui existent entre diverses mesures pour la réduction de conflit ou bâtir la paix et leurs résultats… L’une des stratégies d’atténuation des conflits les plus populaires nécessite de réunir les représentants des groupes de belligérants afin qu’ils puissent interagir dans un lieu sécuritaire. On s’attend ainsi à ce que les interactions permettent à chacun de mettre un visage humain sur «l’autre», favorisent l’établissement d’un lien de confiance et mènent éventuellement à la réduction des tensions. Cette stratégie repose sur une théorie du changement appelée « hypothèse du contact » qui s’explique de la façon suivante : « Si les acteurs clés des groupes de belligérants ont la chance d’interagir, ils se comprendront et s’apprécieront mieux, seront plus en mesure de travailler ensemble et préféreront régler les conflits de manière pacifique ».^{Note de bas de page 10}

La théorie du changement ne représente pas une nouvelle façon d’aborder la conception, la mise en œuvre et l’évaluation de programmes et projets. Cependant, depuis quelques années, elle est de plus en plus répandue dans les programmes d’aide internationale. Un large éventail d’intervenants internationaux, des organismes gouvernementaux aux institutions multilatérales en passant par les organisations de la société civile, y font appel afin « d’aborder d’une manière mieux intégrée la définition de la portée, la conception, le développement de stratégies jusqu’à la mise en œuvre, l’évaluation et l’étude d’impact^{Note de bas de page 11}».

La théorie du changement sera revue régulièrement pendant la mise en œuvre, à mesure qu’évolueront le projet ou le programme / portefeuille et le contexte dans lequel ils sont exécutés. Cette façon de procéder est conforme au principe d’ajustement continu qui est au cœur de la gestion axée sur les résultats : faire le suivi des progrès, comparer les résultats attendus aux résultats réels, apprendre et apporter des ajustements, au besoin.

L’importance des hypothèses

Les hypothèses sont les croyances conscientes et inconscientes que nous avons tous au sujet de la manière dont le monde fonctionne. Du point de vue de l’équipe de conception, les hypothèses sont des croyances (validées ou non) au sujet des conditions existantes qui pourraient avoir une incidence sur l’atteinte des résultats, et de la raison pour laquelle les changements attendus à chaque niveau mèneront au prochain niveau. Dans le contexte de la théorie du changement et du modèle logique, les hypothèses décrivent les conditions nécessaires qui doivent exister si l’on veut que les relations de cause à effet dans la théorie du changement fonctionnent comme prévu. Il faut donc prendre soin d’expliciter les hypothèses importantes sur lesquelles la logique interne de la théorie du changement est basée.

Les hypothèses peuvent être difficiles à cerner, étant donné qu’elles sont souvent tenues pour acquises ou liées à des convictions profondes. Une bonne façon de faire ressortir des hypothèses consiste à tenir des exercices participatifs avec un large éventail de parties prenantes, locales et autres, parce que les hypothèses ont tendance à varier d’une partie prenante à l’autre et qu’elles deviennent apparentes lorsque les points de vue divergent sur la probabilité qu’un projet donne lieu au changement souhaité.

L’importance de cerner les risques

Affaires mondiales Canada décrit le risque comme l’effet de l’incertitude sur les résultats attendus. L’élaboration d’une théorie du changement aidera aussi à cerner les risques qui pourraient nuire à l’atteinte des résultats. 

Remarque : Une fois les risques cernés, des stratégies de réponses appropriées devraient être élaborées et gérées durant toute la vie du projet. De l’information et des outils sur l’évaluation, la gestion et le suivi du risque à Affaires mondiales Canada sont disponibles sur demande à gir.irm@international.gc.ca.

La chaîne de résultats

L’élaboration d’une théorie du changement associe un processus de réflexion et d’analyse à la cartographie systématique de la séquence logique de changements dans un projet, des intrants aux résultats. La chaîne de résultats fournit le cadre théorique qui permet d’articuler cette séquence logique. Affaires mondiales Canada définit la chaîne de résultats comme suit (voir l’encadré 8 ci-après) : 

La chaîne de résultats répond au besoin des praticiens d’avoir à leur disposition un moyen de décomposer des changements complexes en composantes ou en étapes qui mènent^{Note de bas de page 12} les unes aux autres. Elles facilitent l’identification et le séquencement des changements pendant l’analyse et la planification. Ces étapes deviennent alors les points où les praticiens vérifieront dans quelle mesure les changements attendus se produisent tout au long de la mise en œuvre des projets.

Chaque organisation peut définir sa propre chaîne de résultats, selon le nombre et le type de composantes de base ou de niveaux qu’elle souhaite utiliser. Comme le montrent les exemples suivants, les chaînes de résultats ne se ressemblent pas toutes. Si, à Affaires mondiales Canada, une chaîne de résultats compte six niveaux (voir l’exemple ci-après), d’autres organisations peuvent prévoir un moins grand nombre de niveaux et utiliser des termes différents pour décrire ces niveaux (p. ex., la chaîne de résultats de la Direction de la coopération pour le développement de l’Organisation de coopération et de Développement économique peut ne compter que cinq niveaux : intrants, activités, extrants, résultats et impact).

En résumé, quand des praticiens abordent un problème en particulier, leurs chaînes de résultats respectives établiront une structure pour la conception de leur projet et leur diront quels types de composantes de base doivent être définis au fur et à mesure de l’élaboration de leur théorie du changement.

Figure 1 - Chaîne de résultats d’Affaires mondiales Canada

Version texte

La figure 1 représente un exemple de chaîne de résultats où chaque niveau mène au suivant.

Niveaux de la chaîne de résultats d'Affaires mondiales Canada

• Intrants
• Activités
• Extrants
• Résultats immédiats (résultat de développement)
  • (à court terme)
• Résultats intermédiaires (résultat de développement)
  • (à moyen terme)
• Résultat ultime (résultat de développement)
  • (à long terme)

Exemples simples d’énoncés associés à chaque niveau de la chaîne de résultats d’Affaires mondiales Canada

• Intrants : Financement, Individus, Matériel
• Activités: Acheter matériaux; engager entrepreneur; vérifier travaux; suivre la construction
• Extrant : Puits construits conformément au cahier des charges
• Résultat immédiat : Accès accru à l’eau potable dans la communauté (résultat de développement)
• Résultat intermédiaire : Augmentation de l’utilisation de l’eau potable dans la communauté (résultat de développement)
• Résultat ultime Amélioration de la santé des femmes, hommes, filles et garçons dans la communauté (résultat de développement)

La chaîne de résultats d’Affaires mondiales Canada

La chaîne de résultats d’Affaires mondiales Canada se répartit en six niveaux. Chaque niveau représente une étape distincte dans la logique d’un projet. Les trois niveaux supérieurs – résultats ultime, intermédiaires et immédiats – constituent les changements que vous vous attendez à voir se produire. Dans le contexte du développement, on y fait alors référence à titre de résultats de développement. Les trois niveaux du bas – intrants, activités et extrants – représentent les moyens pour y arriver.

Dans la chaîne de résultats, chaque niveau se distingue des autres, avec des définitions claires du type de changement auquel on s’attend à ce niveau. Ces définitions, ainsi que la définition pour les intrants, les activités et les extrants, sont décrites ci-dessous. Elles, ainsi que la définition des résultats de développement, furent adaptées de l’Énoncé de principe sur la gestion axée sur les résultats de 2008 d’Affaires mondiales Canada.

Résultat ultime – Changement d’état, de condition ou de bien-être des bénéficiaires

Le résultat ultime d’un projet explique « pourquoi » nous avons choisi d’intervenir et doit décrire les changements d’état, de condition ou de bien-être que les bénéficiaires ultimes du projet devraient connaître. Il ne faut pas confondre ces changements avec ceux qui pourraient se produire dans leur milieu, comme une « augmentation de la croissance économique […] ». Il s’agirait plutôt de refléter les changements dans les conditions de vie des femmes, des hommes, des filles et des garçons dans le pays partenaire. Par exemple :

• Prospérité économique accrue^{Note de bas de page 13} pour les personnes pauvres, en particulier les femmes et les jeunes, dans le pays X
• Sécurité alimentaire accrue parmi les groupes en situation alimentaire précaire dans la région Y du pays X
• Équité accrue de la santé des filles et des garçons de moins de cinq ans dans les zones rurales de la région X
• Équité accrue des résultats d’apprentissage de tous les garçons et les filles de la province en crise Y du pays X
• Souffrance réduite des communautés en situation d’insécurité alimentaire aiguë dans le pays X
• Liberté accrue^{Note de bas de page 14} des femmes, des hommes, des files et des garçons marginalisés dans le pays X
• Vulnérabilité réduite des menaces transnationales posées par les organisations criminelles internationales pour les personnes de la région Y
• Menaces réduites d’instabilité pour les populations touchées du pays Z
• Bien-être accru des femmes du village Y dans le pays Z

Un résultat ultime se produit généralement après la fin du projet, mais il devrait quand-même être mesuré, lorsque faisable, tout au long de celui-ci alors que des changements pourraient se produire plus tôt. Une fois le projet terminé, la réalisation du résultat ultime peut être évaluée au moyen d’une évaluation ex post.

Résultats intermédiaires – Changement de comportement, de pratiques ou de rendement

Les résultats intermédiaires expriment quels changements de comportement, de pratiques ou de performance devraient se manifester parmi les intermédiaires ou les bénéficiaires, ou les deux, au cours du cycle de vie d’un projet. Par exemple :

• Utilisation accrue de services de développement des affaires et de services financiers par des microentreprises, en particulier celles dirigées par des femmes, dans la province Y du pays X
• Meilleure utilisation des services essentiels de santé maternelle, y compris ceux qui sont liés à la santé sexuelle et reproductive, par les femmes du village Y du pays X
• Amélioration de la fourniture aux femmes enceintes de soins prénatals fondés sur l’égalité entre les sexes et les droits par les professionnels de la santé de la région X
• Accès équitable accru à une éducation sûre et de qualité pour les filles et les garçons de la province touchée par la crise Y du pays X
• Utilisation accrue d’une aide humanitaire (matériel et services)  fondée sur l’égalité entre les sexes par les réfugiés et les personnes déplacées des provinces Y et Z du pays X
• Engagement accru dans les débouchés commerciaux par les petites et moyennes entreprises, en particulier celles dirigées par des femmes, dans le pays X
• Adoption accrue des instruments juridiques de lutte contre la criminalité par le gouvernement national du pays Y
• Protection accrue des droits des minorités par le gouvernement X du pays X
• Stocks réduits d’armes de destruction massive dans le pays X
• Augmentation des exportations vertes et propres par les petites et moyennes entreprises du pays X
• Augmentation de la compétitivité des petites et moyennes entreprises vertes et propres du pays X

Les résultats intermédiaires découlent habituellement de l’application des capacités renforcées au niveau des résultats immédiats parmi les intermédiaires ou les bénéficiaires. Par exemple, l’« amélioration des soins prénatals offerts par les professionnels de la santé dans la région X » peut découler des résultats immédiats « augmentation des connaissances des professionnels de la santé de la région X en matière de soins prénatals » et « amélioration de l’accès des cliniques rurales à l’équipement et aux infrastructures dans la région X ».

Résultats immédiats – Changement de capacités

Les résultats immédiats expriment le changement de capacité qui devrait se manifester chez les intermédiaires ou les bénéficiaires au cours du cycle de vie d’un projet. Par exemple :

• Amélioration des connaissances sur les pratiques de production agricole durable chez les femmes propriétaires de petites entreprises agricoles du village X du pays Y
• Amélioration des compétences en affaires des femmes et des jeunes de milieu urbain dans la ville Y du pays X
• Amélioration des connaissances et des compétences aux fins de l’élaboration, de la ratification et/ou de la mise en œuvre d’instruments juridiques au sein du personnel de l’organisation X dans les pays de la région Y
• Amélioration de l’accès à des installations d’eau et d’assainissement chez les femmes en âge de procréer, les nouveau-nés et les enfants de moins de cinq ans dans les zones rurales du pays X
• Augmentation de la capacité chez les travailleurs de la santé de relever les défis de la nutrition des femmes et des enfants, en particulier les filles du pays Z
• Sensibilisation accrue au commerce de l’énergie solaire et éolienne comme possibilité de croissance des petites et moyennes entreprises du pays X
• Amélioration des compétences en négociation commerciale chez les autochtones, en particulier les femmes, de la province Y du pays X
• Capacités améliorées pour le gouvernement X d’élaborer des lois et des politiques et de développer des institutions qui protègent les droits fondamentaux des femmes du pays X
• Amélioration des connaissances et des compétences des organisations de la société civile pour plaider en faveur des droits de la personne auprès du gouvernement du pays X

Les résultats immédiats constituent le premier niveau de changement qui peut se manifester chez les intermédiaires ou les bénéficiaires une fois que l’exécutant a commencé à fournir les extrants d’un projet. Par exemple, l’« augmentation des connaissances des professionnels de la santé de la région X en matière de soins prénatals » pourrait découler de la prestation des extrants « formation en soins prénatals offerte au personnel infirmier et aux sages-femmes sélectionnés » et « programme de mentorat établi à l’intention des infirmières et infirmiers stagiaires ».

Extrants – Produits et services

Dans la chaîne de résultats d’Affaires mondiales Canada pour la programmation d’aide internationale, les extrants sont les produits ou les services directs découlant des activités de l’exécutant. Par exemple :

• Séances de démonstration présentées aux femmes propriétaires de petites entreprises agricoles au sujet des pratiques agricoles durables dans la province Y du pays X
• Assistance technique relative aux instruments juridiques (lois, politiques, législations, lois types et règlements) fondés sur l’égalité entre les sexes offerte au personnel (f/h) de l’organisation Y du pays X
• Installations d’eau potable et d’assainissement construites/rénovées dans les zones rurales du pays X
• Conseils techniques fournis au ministère de l’Éducation et aux administrations locales sur une éducation de qualité et tenant compte des sexospécificités, pour les enfants à l’école et hors de l’école dans la province Y touchée par la crise
• Programmes de perfectionnement des compétences tenant compte des sexospécificités et encadrement en cours d’emploi sur le tri, le diagnostic et les soins de santé primaires dispensés au personnel (f/h) dans les centres régionaux de santé du pays X
• Bénévoles communautaires (f/h) formés pour diffuser des messages clés sur les mesures essentielles de nutrition et d’hygiène dans les villages Y, X et Z du pays X
• Assistance technique sur le développement de critères normalisés et non discriminatoires d’admission et de processus d’accréditation des enseignants tenant compte des sexospécificités fournie aux gestionnaires et au personnel régional du ministère de l’Éducation du pays Y
• Formation sur les interventions à adopter face à la violence sexuelle et aux autres formes de violence sexiste dispensée aux équipes d’enquête sur le terrain (f/h) de la province Y du pays X
• Produits de nutrition (p. ex., suppléments) achetés et fournis à l’hôpital local du district Y du pays X
• Conseils fournis sur des plans et des outils de communication tenant compte des sexospécificités aux gestionnaires de l’établissement de formation X du pays Y
• Aide directe pour l’inclusion à l’école Y du pays X fournie aux filles et aux garçons à risque.

Activités

Dans le cas des projets financés par Affaires mondiales Canada, les activités sont les actions entreprises ou le travail mené directement par les exécutants du projet. Les activités décomposent un extrant en diverses tâches requises pour le réaliser. Il peut y avoir plus d’une activité par extrant. Par exemple :

Premier exemple

Extrant : Programmes de perfectionnement des compétences tenant compte des sexospécificités et encadrement en cours d’emploi sur le tri, le diagnostic et les soins de santé primaires dispensés au personnel (f/h) dans les centres régionaux de santé du pays  X

Activités :

• Effectuer une évaluation des besoins, y compris des consultations auprès du personnel masculin et féminin
• Concevoir du matériel de formation tenant compte des sexospécificités
• Dispenser une formation au personnel masculin et féminin dans les centres régionaux de la santé
• Élaborer un plan d’encadrement en cours d’emploi avec les centres de santé régionaux
• Offrir un encadrement en cours d’emploi continu à certains membres (f/h) du personnel

Deuxième exemple

Extrant : Formation sur les interventions à adopter face à la violence sexuelle et aux autres formes de violence sexiste dispensée aux équipes d’enquête sur le terrain (f/h) de la province Y du pays X

Activités :

• Mettre au point un programme et de matériels de formation pour les équipes d’enquête sur le terrain en matière de prévention de la violence sexuelle et d’autres formes de violence sexiste
• Dispenser une formation aux équipes d’enquête sur le terrain en matière de prévention de la violence sexuelle et d’autres formes de violence sexiste

Intrants

Ensemble, les intrants, les activités et les extrants représentent « comment » les exécutants vont s’employer à atteindre les résultats attendus.

Figure 2 - Chaîne de résultats détaillée d’Affaires mondiales Canada

modèle logique.

À quel niveau se situe l’« accès » dans la chaîne de résultats?

Comme nous l’avons mentionné ci-dessus, les changements d’accès peuvent s’inscrire soit au niveau immédiat, soit au niveau intermédiaire, selon le contexte du projet et sa théorie du changement. S’il est raisonnable de penser qu’un changement d’accès puisse résulter directement de la prestation d’un ou de plusieurs extrants, alors on peut situer ce changement d’accès au niveau immédiat. Si par contre il est nécessaire de susciter un changement de capacité (ou autre changement applicable au niveau immédiat) avant que le changement d’accès en question ne puisse se produire, alors l’accès se situerait au niveau des résultats intermédiaires.

Le but de la distinction entre le « comment », le « quoi » et le « pourquoi » En établissant clairement la distinction entre le « comment » (intrants, activités et extrants, où les extrants sont définis comme de simples produits et services) et le « quoi » et le « pourquoi » (résultats), on réaffirme que les résultats doivent aller au-delà des produits et des services fournis par les exécutants.

La figure 2 ci-dessus définit plus simplement les changements particuliers attendus à chaque niveau.

Attribution, contrôle, contribution et influence

L’approche de la théorie du changement reconnaît que chaque résultat peut avoir plus d’une cause. C’est la raison pour laquelle il est important que la théorie du changement d’un projet reflète cette complexité intrinsèque dans la conception du projet.

Cette approche tient compte du fait qu’au niveau de résultats intermédiaires et ultimes, les organisations, programmes / portefeuilles et les projets ne peuvent à eux seuls revendiquer l’attribution complète ou l’entière responsabilité de la réalisation de ces résultats. Les organisations et les projets contribuent plutôt aux changements décrits dans les résultats ultimes et intermédiaires, et ils influent sur leur réalisation. Cette contribution et cette influence se conjuguent à d’autres efforts, en particulier ceux des intermédiaires et des bénéficiaires du programme / portefeuille et projet, ainsi qu’aux contributions des autres bailleurs de fonds ou intervenants.

Ainsi, comme l’indique la double flèche du côté gauche du diagramme de la chaîne de résultats ci-dessus, les niveaux des intrants, des activités, des extrants et des résultats immédiats sont ceux sur lesquels vous aurez le plus grand degré d’attribution et de contrôle. Ils seront progressivement remplacés par la contribution et l’influence à mesure que vous remonterez la chaîne de résultats.

La chaîne de résultats et le modèle logique

Même si certains praticiens utilisent de façon interchangeable les expressions « chaîne de résultats » et « modèle logique », Affaires mondiales Canada établit une distinction entre les deux. Comme elle est décrite ci dessus, la chaîne de résultats établit un modèle conceptuel de la façon dont une organisation donnée divise les changements en composantes de base ou en étapes. Elle permet d’établir et de nommer les niveaux qui seront utilisés quand l’organisation procédera à l’élaboration de la théorie du changement dans le cadre de la conception du projet.

Le modèle logique constitue toutefois un outil plus complexe et plus nuancé. Compte tenu de la nature complexe et multiforme du changement, surtout dans le domaine des programmes d’aide internationale, une théorie du changement comprend plusieurs voies complémentaires qui, une fois combinées, mènent à un résultat ultime. Donc, à Affaires mondiales Canada, la théorie du changement d’un projet donné est :

• schématisée dans le modèle logique, qui affiche les niveaux propres aux extrants et aux résultats, et la matrice des extrants et des activités, qui vient ajouter les activités;
• expliquée en détail dans un exposé narratif, conformément à la description donnée dans les deuxième partie et troisième partie.

La structure pyramidale du modèle logique est particulièrement utile pour illustrer la convergence des différentes voies du changement en un résultat ultime. Alors que les voies vers le changement suivent une logique verticale, il faut aussi garder à l’esprit qu’en réalité il y a également une relation horizontale dynamique et complémentaire entre les diverses voies à l’intérieur d’un modèle logique.

La structure pyramidale du modèle logique est particulièrement utile pour illustrer la convergence des différentes voies du changement en un résultat ultime. Alors que les voies vers le changement suivent une logique verticale, il faut aussi garder à l’esprit qu’en réalité il y a également une relation horizontale dynamique et complémentaire entre les diverses voies à l’intérieur d’un modèle logique.

Figure 3 - Illustration de la structure pyramidale du modèle logique

Version texte

Un résultat ultime découle de la réalisation d'une combinaison de plusieurs résultats intermédiaires différents.

Chaque résultat intermédiaire découle de la réalisation d'une combinaison de différents résultats immédiats.

Chaque résultat immédiat découle de la réalisation d'une combinaison de différents extrants.

Le modèle logique doit rentrer dans une page.

Outils liées à la théorie du changement

Dans les programmes d’aide internationale d’Affaires mondiales Canada, la théorie du changement s’exprime dans trois outils, à savoir :

• le modèle logique – à la section 2.2 et section 3.3;
• la matrice des extrants et des activités – à la section 2.3 et section 3.3, étape 3 d);
• l’exposé narratif de la théorie du changement – à la section 2.4 et section 3.3, étape 3 g).

1.3 Le suivi et l’évaluation axés sur les résultats

Le suivi et l’évaluation ont toujours été des aspects fondamentaux d’une bonne gestion de projet et de programme. Avant l’introduction de la gestion axée sur les résultats, les projets et les programmes faisaient l’objet de suivi et d’évaluation traditionnels. La différence entre l’approche traditionnelle et l’approche axée sur les résultats est bien expliquée dans la publication de la Banque mondiale intitulée Road to Results: Designing & Conducting Effective Development Evaluations :

• Le suivi et l’évaluation traditionnelssont axés sur les intrants, les activités et les extrants (c’est-à-dire sur la mise en œuvre du projet ou du programme).
• Le suivi et l’évaluation axés sur les résultats combinent l’approche traditionnelle visant la mise en œuvre avec le souci de déterminer les progrès réalisés en regard des résultats […].
• C’est ce lien entre l’état d’avancement de la mise en œuvre et les progrès réalisés dans l’atteinte des résultats souhaités des politiques et des programmes gouvernementaux qui fait l’utilité du suivi et de l’évaluation axés sur les résultats comme outil de gestion publique. La mise en œuvre de ce type de système permet à l’organisation de modifier et d’ajuster à la fois sa théorie du changement et ses processus de mise en œuvre, pour appuyer plus nettement l’atteinte des résultats […] souhaités .

Le suivi et l’évaluation axés sur les résultats sont distincts et pourtant complémentaires. Ils exigent tous deux que l’on recueille des données sur les résultats et que l’on fasse preuve de pensée critique et d’analyse. Ils visent tous deux à fournir des renseignements qui contribuent à l’apprentissage, aide à la prise de décision, améliorent le rendement et permettent d’atteindre de meilleurs résultats.

La gestion axée sur les résultats est un processus continu de collecte et d’analyse de données sur les indicateurs, et d’utilisation de ces données pour évaluer l’atteinte des résultats attendus et les progrès accomplis en vue de les atteindre. Elle fournit des renseignements sur l’état d’avancement d’un programme / portefeuille ou projet, et des éléments probants de celui-ci, à tout moment (et au fil du temps) par rapport aux cibles, aux extrants et aux résultats attendus, à tous les niveaux : immédiat, intermédiaire et ultime. Elle se veut descriptive, dans la mesure où elle cherche à déterminer s’il y a ou non changement. En comparaison, l’évaluation axée sur les résultats fournit des données reposant sur une analyse approfondie et visant à appuyer un but précis, tel que l’apprentissage ou la reddition de compte (parfois les deux) à un moment précis.

Le suivi est exercé par les divers intervenants de différentes façons tout au long de la mise en œuvre. Au niveau du projet, l’exécutant est responsable au premier chef de recueillir et d’analyser des données des indicateurs et d’évaluer le rendement et l’atteinte des résultats attendus et les progrès accomplis en vue de les atteindre. Le personnel d’Affaires mondiales Canada assure toutefois aussi le suivi des projets. Le suivi d’Affaires mondiales Canada englobe toujours l’examen des rapports de rendement fournis par les exécutants, mais peut aussi inclure des visites sur place, des recoupements avec d’autres parties prenantes, ou l’embauche de surveillants externes, selon le type de projet.

Remarque : Certaines organisations appellent le suivi et l’évaluation axés sur les résultats « suivi et évaluation du rendement ».

Le suivi axé sur les résultats permet la gestion

Il devient crucial de mesurer les extrants et les résultats grâce au suivi pendant la mise en œuvre. La collecte et l’évaluation de données sur les indicateurs effectué de façon régulière donne aux gestionnaires et aux parties prenantes des moyens d’agir en leur fournissant de l’information en temps réel sur le niveau d’atteinte des résultats ou les progrès réalisés en vue de les atteindre. Cette information fait ressortir les points forts, les faiblesses et les problèmes au fur et à mesure qu’ils se font jour et permet aux gestionnaires de prendre des mesures correctives en temps opportun pendant la mise en œuvre du projet. De ce fait, elle augmente la probabilité d’atteinte des résultats attendus.

Ce cycle continu de mesures de rendement, d’évaluation factuelle des progrès, d’apprentissage et d’ajustements est ce qui fait de la gestion axée sur les résultats une approche de gestion adaptive. C’est plutôt qu’un exercice de collecte de données ou de rapports d’indicateurs.

Outils de suivi et d’évaluation axés sur les résultats

Pour assurer le suivi et l’évaluation de votre projet, il est important d’établir un plan structuré de collecte et d’analyse de données sur le rendement au cours de la conception du projet. Les outils qu’Affaires mondiales Canada utilise à cette fin sont les suivants :

• le cadre de mesure du rendement – section 2.6 et section 3.4
• le plan de suivi et d’évaluation – section 2.7 et section 3.4

1.4 L’adoption d’une approche participative

L’efficacité de la gestion axée sur les résultats repose sur un consensus entre les principaux acteurs au sujet des résultats à atteindre, de la façon de les atteindre et des stratégies de suivi et d’évaluation qui éclaireront le mieux tout ajustement requis pour atteindre les résultats attendus. Ainsi, la gestion axée sur les résultats exige que les projets soient conçus, planifiés et mis en œuvre à l’aide d’une approche participative.

Qu’est-ce qu’une approche participative?

Prise en charge partagée

Que votre projet soit axé sur le développement international, l’action humanitaire, l’avancement de la démocratie ou la sécurité internationale, les parties prenantes doivent avoir voix au chapitre dans la prise de décisions, et les responsables du projet doivent s’efforcer résolument à répondre à leurs besoins spécifiques. En d’autres termes, le projet doit reposer sur une « une prise en charge partagée du processus décisionnel ». Dans le contexte du développement, les approches participatives ont été mises en pratique « en réponse aux approches parachutées, dans lesquelles le pouvoir et le processus décisionnel reposaient en grande partie entre les mains de professionnels externes du développement ».

Les projets axés sur l’avancement de la démocratie ou sur la sécurité internationale peuvent être mandatés par l’intermédiaire d’instruments, comme des pactes ou des résolutions du Conseil de sécurité des Nations Unies, qui ne permettent pas aux parties prenantes de fournir leur avis. Dans ces cas, il demeure important que la structure et la conception du projet permettent dans toute la mesure du possible la prise en charge commune de ce dernier pour en assurer le succès.

Faire appel aux bonnes personnes

L’adoption d’une approche participative signifie que l’équipe de conception doit s’assurer que toutes les parties prenantes clés – y compris les intermédiaires et les bénéficiaires, hommes et femmes – ont l’occasion de participer et sont consultés tout au long du cycle de vie du projet : conception, planification, mise en œuvre, suivi et rapports. Bien qu’une approche participative demande beaucoup de temps et de ressources aux phases de la planification et de la conception d’un projet, cette approche procure, à long terme, des avantages énormes et durables.

Allocation appropriée du temps et des ressources nécessaires pendant le cycle de vie du projet

Il est important de consacrer le temps et les ressources nécessaires à la participation de toutes les parties prenantes clés dans la planification, le suivi conjoint, l’évaluation et la prise de décision tout au long du cycle de vie du projet.

Choisir la bonne méthode

Il existe de nombreuses méthodes facilitant l’adoption d’une approche participative. Les équipes de projet devraient choisir celles qui sont le mieux adaptées au contexte dans lequel elles travaillent. Quelles que soient les méthodes choisies, il est essentiel que les résultats attendus et les indicateurs soient élaborés dans le cadre d’un processus de concertation impliquant tous les principales parties prenantes. Les méthodes choisies doivent également favoriser une participation équitable et axée sur l’égalité entre les sexes.

Pourquoi une approche participative est-elle importante?

Une approche participative accroît l’efficacité

L’approche participative contribue de façon intrinsèque à la réussite de la gestion axée sur les résultats et augmente les chances d’atteindre et de maintenir les résultats attendus. Voici trois raisons d’utiliser une approche participative.

1. Élargir la base d’informations requises pour une conception et une planification réalistes du projet.
   Pour bien déterminer et évaluer les résultats, il faut recueillir le plus d’information possible. Le fait de réunir les parties prenantes clés du projet – y compris les intermédiaires et les bénéficiaires – contribuera à ce que leurs connaissances, leur expérience, leurs besoins et leurs intérêts se reflètent dans la conception du projet. C’est essentiel pour recueillir de l’information sur les contextes locaux, culturels et sociopolitiques, et sur d’autres pratiques, institutions et capacités susceptibles d’influer sur le projet, afin d’en assurer une conception plus réaliste.
2. Encourager la prise en charge et l’engagement locaux.
   L’étroite collaboration et l’étroite participation des bénéficiaires, des intermédiaires et d’autres parties prenantes, à la fois dans la conception et la mise en œuvre d’un projet, augmentent la probabilité que ses résultats reflètent leurs besoins et leurs intérêts, soient pertinents et réalistes dans le contexte local et fassent l’objet d’un suivi de façon continue. Elles permettent aussi la création d’un sentiment de propriété envers le projet et ses résultats attendus.
3. Rendre l’atteinte des résultats attendus et de la durabilité plus probable.
   Lorsque les bénéficiaires et les intermédiaires sont pleinement engagés dans la conception, la mise en œuvre et le suivi d’un projet, y compris la collecte de données, les résultats attendus sont plus susceptibles de se réaliser de manière durable. Autrement dit, la participation accroît l’appropriation des résultats obtenus et fait en sorte que les intervenants locaux seront plus susceptibles de demeurer des agents actifs de leur propre développement.

Affaires mondiales Canada a des obligations en vertu de la Loi sur la responsabilité en matière d’aide au développement officielle

La Loi sur la responsabilité en matière d’aide au développement officielle (LRADO) est entrée en vigueur le 28 juin 2008 et s’applique à tous les ministères et organismes fédéraux qui fournissent une aide au développement officielle (ADO). Le paragraphe 4(1) de la LRADO établit trois critères pour encadrer l’utilisation de l’ADO :

(1) L’aide au développement officielle ne peut être fournie que si le ministre compétent est d’avis qu’elle :
• (a) contribue à la réduction de la pauvreté;
• (b) tient compte des points de vue des pauvres;
• (c) est compatible avec les normes internationales en matière de droits de la personne.

Ces critères ont des incidences spécifiques sur la conception des projets d’Affaires mondiales Canada et la formulation de leurs résultats. Des notes d’orientation ont été élaborées pour aider le personnel d’Affaires mondiales Canada et les éventuels exécutants à faire preuve de diligence raisonnable pour satisfaire aux exigences de la loi (voir ci-dessous). En prônant l’adoption d’une approche participative à la planification, à la conception et à la mise en œuvre des projets, la gestion axée sur les résultats aide Affaires mondiales Canada à se conformer aux exigences de la LRADO, en particulier quant à l’obligation de tenir compte des points de vue des pauvres.

1.5 L’intégration de l’égalité entre les sexes, la viabilité de l’environnement et la gouvernance

L’égalité entre les sexes, la viabilité de l’environnement et la gouvernance sont intégrés à toutes les politiques, tous les programmes / portefeuilles et projets de développement international du Canada :

• Promouvoir l’égalité entre les femmes et les hommes;
• Favoriser la viabilité de l’environnement;
• Aider à renforcer les institutions et les pratiques de gouvernance.

L’intégration des concepts est bien plus qu’un exercice théorique. Ils fournissent une optique à travers laquelle on devrait examiner tous les aspects de la planification, de la conception et de la mise en œuvre de projets axés sur les résultats. L’intégration de ces thèmes renforce les programmes de développement et d’aide internationale en améliorant l’inclusion, leur viabilité et leur efficacité, ce qui aboutit à de meilleurs résultats.

L’égalité entre les sexes

Les résultats d’égalité entre les sexes sont fondamentaux pour l’efficacité des programmes, puisqu’ils font en sorte que les hommes et les femmes reçoivent le soutien personnalisé dont ils ont besoin pour obtenir des résultats semblables. C’est pourquoi Affaires mondiales Canada a une politique sur l’égalité entre les sexes. La méthodologie de gestion axée sur les résultats d’Affaires mondiales Canada appuie l’égalité entre les sexes en intégrant les dimensions relatives à ce thème transversal.

En vertu de cette politique, l’égalité entre les sexes doit se refléter dans les résultats de tous les projets d’aide internationale du Canada. La clé d’une approche qui aborde l’égalité entre les femmes et les hommes dans un projet consiste en une combinaison de résultats d’égalité entre les sexes basés sur une analyse sexospécifique; des indicateurs sensibles à la sexospécificité et des cibles qui visent une réduction importante des inégalités entre les sexes; ainsi que des activités au sein du projet qui contribuent à l’égalité entre les sexes. Les résultats d’égalité entre les sexes sont formulés à l’intérieur des résultats du modèle logique, idéalement au niveau aux niveaux des résultats intermédiaires et immédiats, afin d’agir face aux lacunes et les enjeux identifiés au cours de l’analyse sexospécifique du projet. Le développement de résultats d’égalité entre les sexes ne signifie pas qu’il faille simplement ajouter «hommes et femmes» ou «femmes incluses» dans les énoncés de résultat. Un résultat d’égalité entre les sexes doit démontrer explicitement des changements au niveau de l’inégalité des sexes.

Il est parfois nécessaire qu’un projet vise précisément la réduction des inégalités entre les sexes ou le renforcement socioéconomique des femmes. Un tel projet est alors considéré comme ciblant précisément l’égalité entre les sexes et devrait compter des résultats en matière d’égalité entre les sexes à tous les niveaux de son modèle logique, en commençant par le résultat ultime.

Les projets sont évalués en fonction de leur niveau d’intégration de l’égalité entre les sexes, et c’est ce codage qui alimente les rapports qu’établit le Canada à ce sujet à l’intention des Canadiennes et des Canadiens et à l’échelle internationale.

La viabilité de l’environnement

La viabilité de l’environnement est un facteur déterminant en matière de réduction de la pauvreté et de développement durable. Partout dans le monde, mais surtout dans les pays en développement, les populations dépendent largement de leur milieu naturel pour leur bien-être physique, social et économique. Qu’il s’agisse des ressources essentielles à la vie, comme l’eau, la nourriture et l’air, ou des ressources nécessaires pour assurer la croissance économique et résister aux catastrophes naturelles, l’état du milieu naturel et les possibilités qu’il offre est directement lié à leur développement.

La viabilité de l’environnement devrait se refléter dans les résultats de tous les projets d’aide internationale en vertu de la politique du développement durable du Ministère, de la Loi canadienne sur l’évaluation environnementale (2012) et de la Directive du Cabinet sur l’évaluation environnementale des projets de politiques, de plans et de programmes. Pour assurer l’intégration de la viabilité de l’environnement, on applique un processus d’intégration de l’environnement qui comporte une analyse environnementale des politiques et programmes proposés ainsi que l’intégration de considérations appropriées liées à la viabilité de l’environnement dans la conception, la mise en œuvre et le suivi de ces politiques et programmes.

Le Processus d’intégration de l’environnement mis en place par Affaires mondiales Canada entraîne l’adoption de l’une des approches suivantes pour les projets de développement international :

• On applique une approche intégrée afin de sauvegarder ou enrichir les résultats et l’environnement en incorporant des considérations de durabilité de l’environnement dans tous les projets. On doit identifier des indicateurs et des cibles spécifiques à l’environnement qui correspondent aux considérations de durabilité de l’environnement qui sont reflétés dans les résultats du projet.

Une approche ciblée s’impose lorsqu’on souhaite tirer parti de possibilités offertes par l’environnement ou lorsque la dégradation de l’environnement est telle que les autres efforts développementaux pourraient être compromis en l’absence d’initiatives ciblées. Dans le cadre d’une telle approche ciblée, il faut définir des résultats propres à l’environnement ainsi que des indicateurs connexes et des cibles.

Il importe de signaler que, pour qu’un projet soit considéré comme intégrant la viabilité de l’environnement, son cadre de mesure du rendement doit inclure au moins un indicateur qui mesure la dimension de durabilité de l’environnement dans un résultat au niveau intermédiaire (pleine intégration) ou immédiat (intégration partielle).

La gouvernance

L’efficacité de la gouvernance repose sur la manière dont l’État, les personnes, les acteurs non étatiques et la société civile interagissent pour opérer des changements, y affecter des ressources et prendre des décisions. L’atteinte de résultats durables dans tous les domaines de l’aide internationale dépend de systèmes de gouvernance efficients, efficaces et stables, et sur des institutions qui reflètent la volonté de la population. Le renforcement de la gouvernance est donc un moyen essentiel de réduire la pauvreté, d’assurer le développement durable et de s’attaquer aux facteurs de conflit et de fragilisation des États, à divers stades de leur développement. Inversement, l’instabilité politique, l’utilisation arbitraire du pouvoir et l’incertitude par rapport aux politiques ont des effets négatifs importants sur la durabilité des résultats de développement.

Affaires mondiales Canada a inclus la gouvernance dans sa programmation d’aide internationale. Ceci signifie que l’analyse, la planification et la conception de projet et de programme / portefeuille doivent tenir compte de considérations propres à la gouvernance. Ces considérations doivent se refléter dans les résultats escomptés et faire l’objet d’un suivi au moyen d’indicateurs de gouvernance pertinents. Ces considérations en gouvernance jouent d’ailleurs un rôle important dans la conformité des projets à la Loi sur la responsabilité en matière d’aide au développement officielle. Pour qu’un investissement soit considéré comme de l’aide au développement officielle, il faut que le Ministre soit d’avis qu’il contribue à la réduction de la pauvreté, qu’il tient compte du point de vue des pauvres et qu’il est compatible avec les normes internationales en matière de droits de la personne. Ces deux derniers critères sont déterminants pour l’intégration de la gouvernance comme thème transversal.

En consultant un spécialiste en gouvernance sur la manière d’intégrer ce thème de façon transversale, vous pouvez vous assurer qu’ils sont techniquement judicieux et qu’ils sont faisables sur le plan politique. L’intégration de la gouvernance dans les programmes de développement et d’aide internationale vise des objectifs spécifiques :

• renforcer la responsabilisation et la transparence des institutions dans les pays partenaires
• favoriser la participation citoyenne et leur appropriation des processus de prise de décision
• renforcer la capacité de prestation de services de tous les ordres de gouvernement

Pour en améliorer l’intégration en tant que thème transversal, il est recommandé que les responsables du programme-pays et les spécialistes procèdent le plus tôt possible à une analyse des aspects de gouvernance de tout projet proposé. Une telle analyse vise à faire en sorte que les projets dans les divers secteurs renforcent les processus et les systèmes de gouvernance dans le cadre de leurs résultats de programme et qu’elles abordent les risques en matière de gouvernance. Cette analyse du contexte de gouvernance doit aussi tenir compte des considérations suivantes :

• la participation et l’inclusion
• la transparence et la responsabilisation
• l’équité, l’égalité et la non-discrimination
• la capacité et l’adaptation aux besoins
• l’efficacité et l’efficience (voir ci-après l’encadré 21 – Principales considérations clés liées à la gouvernance).

Le site Internet d’Affaires mondiales Canada présente des conseils sur la gouvernance. Les notes d’orientation suivantes sont liées à la conformité à la Loi sur la responsabilité en matière d’aide au développement officielle.

• Note d’orientation : Contribuer à la réduction de la pauvreté
• Note d’orientation : tenir compte des points de vue des pauvres
• Note d’orientation : Compatibilité avec les normes internationales en matière de droits de la personne

Deuxième partie :
Méthodes et outils de la gestion axée sur les résultats

2.0 Introduction

Affaires mondiales Canada s’est doté de méthodes et d’outils afin de faciliter la gestion axée sur les résultats pour son personnel, les exécutants et les autres intervenants.

La théorie du changement de chaque projet est présentée dans le modèle logique, l’exposé narratif de la théorie du changement et la matrice des extrants et des activités.

Sa stratégie de suivi et d’évaluation axés sur les résultats est résumée dans le cadre de mesure du rendement et développée dans le plan de suivi et d’évaluation.

Ces outils ont été conçus pour être utilisés tout au long du cycle de vie du projet. Ils devraient être élaborés pendant la phase de planification et de conception du projet, puis validés au début du projet, dans le cadre de l’élaboration du plan de mise en œuvre (PMO) du projet, ou de son équivalent, et utilisés comme outils de gestion pendant la mise en œuvre.

Étant donné que la gestion axée sur les résultats permet d’aborder des changements complexes de manière itérative et qu’elle encourage un cycle d’amélioration constante, ces outils sont des documents évolutifs. Au fur et à mesure que le projet change, ces outils peuvent être ajustés ou modifiés à l’intérieur de certains paramètres (voir détails à la section 4.2) pour refléter le changement. Ce cycle d’amélioration permet une gestion proactive axée sur les résultats tout au long de la mise en œuvre.

Pour pouvoir élaborer ces outils, il est important de bien comprendre leurs composantes. Les sections qui suivent définissent donc certains éléments de base, comme les résultats, les extrants, les activités et les indicateurs; décrivent chacun des outils de gestion axée sur les résultats d’Affaires mondiales Canada, puis expliquent comment les utiliser pour la planification et la mise en œuvre d’un projet.

Utiliser les outils d’autres partenaires

Il ne faut pas oublier que d’autres praticiens utilisent parfois des outils différents pour présenter la théorie du changement d’un projet ou d’un programme donné. Si Affaires mondiales Canada utilise le modèle logique, la matrice des extrants et des activités, l’exposé narratif de la théorie du changement et le cadre de mesure du rendement pour mettre la gestion axée sur les résultats en application au niveau des projets, d’autres utilisent la méthode du cadre logique ou des cadres de résultats. L’important, c’est qu’une fois que l’on s’est entendu sur les outils et la terminologie à utiliser, tous les partenaires d’un projet les utilisent, quels qu’ils soient, afin que tous aient la même compréhension des résultats attendus du projet et de sa logique d’ensemble.

Bien que les outils et la terminologie diffèrent parfois, les principes sous-jacents de la gestion axée sur les résultats demeurent les mêmes. La plupart des conseils présentés ci-dessous s’appliqueront, quels que soient le gabarit ou la terminologie utilisés. En s’acquittant de leurs responsabilités générales de diligence raisonnable, les agents d’Affaires mondiales Canada doivent s’assurer que la conception de tout projet proposé est sensé et que les exécutants gèrent en fonction de l’atteinte des résultats, quels que soient les outils qu’ils utilisent.

2.1 Les résultats et les extrants

Comme nous l’avons mentionné à la section 1.2, le modèle logique est l’outil qui permet de visualiser les relations logiques entre les futurs extrants, résultats immédiats, résultats intermédiaires et résultat ultime d’un projet. La distinction entre les résultats et les extrants est capitale si on veut s’assurer que les résultats aillent au-delà des produits et des services (extrants) fournis par les exécutants. La section qui suit se penche donc en détail sur les résultats et sur les extrants, avant que nous abordions le modèle logique comme tel.

Qu’est-ce qu’un résultat?

Tel qu’il a été défini dans la Première partie :

• Un résultat est un changement descriptible ou mesurable entraîné par les résultats de plus faible niveau ou les extrants d’une initiative. Les résultats peuvent être décrits comme immédiats, intermédiaires ou ultimes. Les extrants contribuent aux résultats immédiats; les résultats immédiats contribuent aux résultats intermédiaires; et les résultats intermédiaires contribuent aux résultats ultimes. Les résultats ne relèvent pas du contrôle exclusif d’une organisation, d’une politique, d’un programme ou d’un projet unique, ils relèvent plutôt du champ d’influence de l’organisation.

Pour ceux qui sont familiers avec la terminologie anglaise de la gestion axée sur les résultats, il est à noter que celle-ci utilise deux mots distincts pour parler de résultat, soit Result et Outcome. En Français, ces mots se traduisent tous deux par Résultat.

Comment formuler un énoncé de résultat attendu?

Il est bref, mais précis

Un résultat escompté est formulé sous forme d’énoncé d’une seule phrase. Il s’agit d’une description brève, mais précise d’un changement qui peut se manifester de façon réaliste chez les bénéficiaires ou les intermédiaires. Par sa précision et malgré sa brièveté, l’énoncé doit communiquer vos attentes exactes, en laissant le moins de place possible à l’interprétation.

Il décrit un changement

Un énoncé de résultat décrit un changement spécifique qu’une politique, un programme ou un projet est censé réaliser ou auquel il contribue, et qui découle de l’investissement d’Affaires mondiales Canada dans une activité de programmation en coopérations avec d’autres. Un énoncé de résultat décrit un continuum plutôt qu’une situation ou un événement statique.

Il est pertinent

Un énoncé de résultat doit être pertinent à l’égard des besoins réels du pays, des bénéficiaires et des intermédiaires. Le recours systématique aux approches participatives tout au long de la planification et de la mise en œuvre permet de veiller à cette pertinence. De plus, un énoncé de résultat devrait être pertinent par rapport aux aspects d’égalité entre les sexes, d’environnement et de gouvernance propres à l’enjeu en question. Enfin, les énoncés de résultats intermédiaires et ultimes devraient s’harmoniser avec les priorités d’Affaires mondiales Canada au niveau du programme, du secteur et du Ministère.

Il utilise une syntaxe spécifique

Un énoncé de résultat doit être formulé pour indiquer :

• la direction du changement prévu, généralement en utilisant un nom d’action;
• le quoi, c’est-à-dire ce qui changera;
• le qui, c’est-à-dire qui sont les intermédiaires ou les bénéficiaires (femmes et hommes) chez qui le changement se manifestera,
• l’endroit* où il s’opérera.

À Noter : En français, il existe trois façons de formuler les énoncés de résultats.

1. En utilisant un nom d’action en début d’énoncé (par exemple, Augmentation) (voir tableau 1A);
2. En utilisant un nom d’action mais en séparant le quoi en deux portions (Voir tableau 1B);
3. En utilisant un participe passé en début d’énoncé (Accès accru) pour indiquer la direction. (Voir tableau 1C).

On utilise de préférence la première syntaxe basée sur un nom d’action, mais pour les cas où la formulation se prêterait moins bien (Accroissement de l’accès), on utilisera la troisième formule : Accès accru.

Tableau 1A - Illustration de la structure syntaxique d’un énoncé de résultat escompté construit sur un nom d’action

Vous trouverez ci-dessous un ordre alternatif des éléments d’un énoncé de résultat escompté. Peu importe le modèle que vous utiliserez, la direction du changement doit être placée en début d’énoncé.

Tableau 1B - Illustration de la structure syntaxique d’un énoncé de résultat construit sur un nom d’action avec une variation de la position du Quoi

Tableau 1C - Illustration de la structure syntaxique d’un énoncé de résultat escompté dont la direction est exprimée par un participe passé

*Remarque : Le « où » (l’endroit) doit être indiqué au niveau des résultats ultimes et intermédiaires. Si l’endroit est différent au niveau des résultats immédiats (p. ex., village en particulier dans la province ou dans le pays identifié dans le résultat ultime ou intermédiaire), il doit être inclus dans l’énoncé. S’il n’est pas différent ou si l’emplacement est implicite dans le « qui », il n’est pas nécessaire de l’indiquer.

La syntaxe utilisée par Affaires mondiales Canada pour les énoncés de résultats aide à démontrer la nature progressive et continue du changement positif escompté dans le cadre de la programmation de l’aide internationale.

Un énoncé de résultat commence par un nom d’action indiquant la direction (augmentation, accroissement, réduction, etc.) et qualifiant le changement escompté. Le début (« Augmentation… ») évoque immédiatement la perspective d’un changement et d’une amélioration.

Par opposition, si la phrase est à la voix passive et que le mot indiquant la direction est placé en milieu de phrase (« Les services…font l’objet d’une utilisation accrue par les producteurs laitiers… »), le sens de l’énoncé n’est plus le même : il s’agit d’une constatation et non plus d’une indication d’un changement à venir. La même chose vaut si le mot indiquant la direction (participe passé) est placé à la fin de la phrase (« L’utilisation des services…par les producteurs…..a augmenté »), cela signifie qu’aucune amélioration n’est nécessaire. Dans le contexte de l’aide internationale, il est entendu que les changements ne se produisent pas de façon concluante, mais progressive (p. ex., il y aura toujours lieu d’augmenter des services de vulgarisation).

De plus, l’utilisation d’un verbe (auxiliaire) avant le participe passé (« …est renforcé») en début de phrase met l’accent sur l’effort (l’activité) nécessaire pour atteindre le résultat, et non pas le résultat lui-même.

Il est simple et décrit un seul changement

Un énoncé de résultat devrait être formulé en termes simples et faciles à comprendre pour le grand public, comme les bénéficiaires ou le public canadien. Si des termes techniques sont utilisés, ils devraient faire l’objet d’une note en bas de page et être définis dans le modèle logique ou l’exposé narratif de la théorie du changement.

Un énoncé de résultat ne devrait jamais utiliser d’expressions comme « grâce à », « au moyen de », « menant à » ou « découlant de ». Leur utilisation indique que l’énoncé de résultat comprend plus d’un niveau de changement, puisqu’elle vise les relations dans l’ensemble des différents niveaux du modèle logique—et non dans un seul résultat. Dans ces cas, l’énoncé peut probablement être divisé en deux énoncés de résultats placés à deux différents niveaux du modèle logique.

Par exemple, l’énoncé de résultat « Amélioration de la prospérité économique des villageois et villageoises au moyen de meilleurs débouchés dans le secteur du tourisme » est incorrect car il comprend deux changements, à savoir l’« amélioration de la prospérité » (un résultat ultime) et de « meilleurs débouchés » (un résultat intermédiaire).

Les énoncés de résultat doivent se limiter à exprimer un changement – et ce même si le changement supplémentaire était au même niveau de la chaîne de résultats. Par exemple, prenons l’énoncé : « Augmentation de la production par les petits producteurs agricoles (femmes et hommes) d’aliments nutritifs de qualité et vente de produits locaux par des vendeurs dans la région ABC ». Il décrit deux changements différents au niveau intermédiaire et, par conséquent, il devrait être scindé en deux énoncés de résultats distincts.

Il est mesurable

Un énoncé de résultat doit être suffisamment clair et précis pour être mesuré. Chaque énoncé de résultat devrait pouvoir être mesuré par un assortiment de deux ou trois indicateurs dont, idéalement, certains seraient qualitatifs et d’autres quantitatifs.

Il diffère des indicateurs

Sauf s’il s’agit d’une programmation très ciblée, comme un fonds établi pour traiter une maladie particulière, la mesure de l’énoncé de résultat ne devrait pas se limiter à un seul indicateur; le résultat ne devrait pas non plus reformuler ou reproduire l’indicateur. Par exemple :

• L’énoncé « réduction du taux de mortalité maternelle » ne peut être mesuré que par le suivi des « taux de mortalité maternelle », et c’est pourquoi il ne s’agit pas d’un bon énoncé. À trop se concentrer sur un seul paramètre (l’indicateur), on peut en arriver involontairement à des résultats négatifs, par exemple, davantage de femmes survivent à l’accouchement, mais en ressortent handicapées. Autrement dit, un accent mis uniquement sur le taux de mortalité maternelle pourrait mener à des programmes qui ne tiennent pas compte de la morbidité maternelle ou des causes profondes de la mortalité maternelle, comme les attitudes affichées à l’égard du mariage précoce ou des grossesses en bas âge. Comme nous l’avons mentionné plus tôt, les types de changements liés à la programmation d’aide internationale sont souvent complexes et multiformes.
• En visant seulement à réduire le taux de mortalité maternelle et en limitant le suivi à ce taux, on peut perdre de vue des problèmes connexes tels que l’augmentation de la morbidité maternelle et la baisse de la qualité de vie (dans le cas de femmes qui survivent à la grossesse et à l’accouchement, mais qui en sortent avec des séquelles ou un handicap).
• Par contre, l’« amélioration de la santé maternelle » peut être mesurée par le suivi du taux de mortalité maternelle, du taux de morbidité maternelle et d’un certain nombre d’autres indicateurs, et décrit un changement beaucoup plus global.

N’oubliez pas qu’une programmation très ciblée ou « verticale » s’accompagne habituellement, en tout ou en partie, d’approches plus globales et holistiques à l’échelle de la collectivité, du pays ou de la région.

Il est réaliste et réalisable

Un énoncé de résultat doit décrire un changement réaliste, compte tenu de la portée, de l’échéancier et du budget du projet. Par exemple, il ne serait pas réaliste d’établir le résultat ultime suivant :

« amélioration de la santé des hommes, des femmes, des filles et des garçons dans le pays X », si le projet devait avoir lieu dans la municipalité Y du pays X et cibler les femmes. Dans ce cas, le résultat ultime visé par le projet pourrait être le suivant : « Amélioration de la santé des femmes dans la municipalité Y du pays X ».

Des énoncés trop ambitieux ou irréalistes peuvent certes communiquer notre intention de viser haut et de bien faire, mais ils donnent une fausse impression de ce qu’il est possible de réaliser compte tenu des délais et des ressources à notre disposition. De plus, ils peuvent fausser les outils de suivi axé sur les résultats. Par exemple, si, dans un énoncé, on s’engage à l’augmentation de l’emploi alors que seule l’augmentation de l’employabilité est réaliste, les indicateurs élaborés pour mesurer l’énoncé trop ambitieux ne seront probablement pas adaptés pour mesurer un changement d’employabilité, même s’il a lieu. Des énoncés trop ambitieux ou irréalistes nuisent donc à la bonne gestion axée sur les résultats d’un projet.

Tableau 2 - Exemples d’énoncés de résultats escomptés faibles ou bien formulés

Qu’est-ce qu’un extrant?

Tels que définis dans la Première partie,

• Les extrants sont des produits ou des services directs provenant des activités d’une organisation, d’une politique, d’un programme ou d’un projet.

Dans le contexte d’un projet financé par Affaires mondiales Canada, les extrants sont les produits ou services provenant des activités de projet réalisées par un exécutant à l’aide des fonds de projet d’Affaires mondiales Canada. S’il y a plusieurs exécutants, la responsabilité, individuelle ou partagée, devrait être clairement établie.

Ce qu’un extrant n’est pas :

• Les extrants ne sont pas des résultats.
• Dans le contexte d’un projet financé par Affaires mondiales Canada, les extrants ne sont pas les produits ou les services que fournissent les intermédiaires ou les bénéficiaires du projet.
• Les extrants ne sont pas les produits ou les services fournis par d’autres intervenants dans le pays ou le secteur.

Comment formuler un énoncé d’extrant attendu

Il indique clairement ce que l’exécutant livrera

Un énoncé d’extrant décrit un produit ou un service qu’un exécutant est censé fournir à une population, à un groupe ou à une organisation donné (à savoir, les intermédiaires ou les bénéficiaires d’un projet). Les énoncés d’extrants devraient être suffisamment précis et détaillés pour indiquer clairement le produit ou le service que l’exécutant fournira, mais ils ne devraient pas chercher à détailler toutes les activités nécessaires pour livrer l’extrant en question.

Il utilise une syntaxe différente de celle de l’énoncé de résultat

Étant donné que les extrants ne sont pas des résultats, l’énoncé d’extrant diffère de l’énoncé de résultat. L’énoncé d’extrant porte sur ce que l’exécutant produira ou fournira, alors que l’énoncé de résultat décrit les changements dont les intermédiaires ou les bénéficiaires ressentiront les effets. Il ne devrait donc pas commencer par une description d’un changement et sa direction, et devrait éviter les mots tels que « est augmenté » ou « est amélioré ».

La syntaxe d’un énoncé d’extrant

• Formulé au passé
• Comprend des renseignements sur :
• quel produit ou service a été fourni;
• à quel sujet;
• à qui ou pour qui.

Tableau 3 - Illustration de la structure syntaxique d’un énoncé d’extrant escompté

Vous trouverez ci-dessous une variation de l’ordre des éléments

Un extrant ne devrait jamais être confondu avec un résultat. Une différence évidente dans la syntaxe permet au lecteur de faire plus facilement ces distinctions.

Il devrait être objectif

Les extrants doivent être objectifs et ne pas contenir de termes subjectifs. Si des mots sont ajoutés pour qualifier davantage le produit ou le service décrit par l’extrant, ces mots devraient avoir une définition standard et communément comprise. La définition peut être incluse dans une note en bas de page dans le modèle logique.

Il représente un ensemble d’activités terminées

Dans le modèle logique, un énoncé d’extrant est un ensemble de tâches terminées. Dans la matrice des extrants et des activités, chaque extrant est décomposé en ses activités constitutives. Il est possible de subdiviser les activités en sous-activités, toutefois ces dernières devraient figurer seulement dans l’organigramme technique de projet, et non dans la matrice des extrants et des activités. Par conséquent, il est important de faire la distinction entre l’extrant lui-même, ses activités et ses sous-activités.

Le niveau de détail choisi dépendra de la portée et de l’envergure du projet et du budget prévu pour chaque extrant. Dans le cas des petits projets, la répartition des activités dans la matrice des extrants et des activités présente parfois un niveau de détail suffisant pour l’établissement des échéanciers et des budgets. Par contre, pour un très grand projet, il est parfois nécessaire de subdiviser les activités dans un organigramme technique de projet afin d’assurer une planification efficace.

Tableau 4 - Erreurs courantes à éviter avec les extrants escomptés

2.2 Le modèle logique

Une carte routière vers les résultats du projet

Comme une carte routière ou un plan détaillé, un modèle logique est une représentation visuelle des principaux éléments de la théorie du changement d’un projet ou d’un programme particulier reflétant la série de changements qui sont cruciaux pour que le projet soit couronné de succès. Il décrit les liens logiques entre les extrants prévus et les résultats attendus (immédiats, intermédiaires et ultimes) que le projet vise à obtenir ou auxquels il souhaite contribuer. Le modèle logique d’Affaires mondiales Canada commence au niveau du résultat ultime et s’arrête maintenant au niveau des extrants.

Le modèle logique prend la forme d’une pyramide comportant diverses voies complémentaires qui appuient simultanément un seul résultat ultime. Chaque voie se rapporte à un aspect ou à un élément distinct de l’enjeu ciblé par le projet. L’atteinte du résultat ultime dépend de celle de tous les résultats qui jalonnent chaque voie. Les flèches qui relient les différents niveaux représentent les hypothèses (expliquées dans l’exposé narratif de la théorie du changement) selon lesquelles les extrants ou les résultats d’un niveau devraient mener ou contribuer aux changements décrits au niveau supérieur. Elles représentent également les conditions préalables, y compris les risques, qui peuvent avoir une incidence sur l’atteinte des résultats.

Veuillez garder en tête que les voies du changement suivent un flux vertical, mais il existe une complémentarité dynamique, une relation horizontale entre les diverses voies à l’intérieur du modèle logique.

Les modèles logiques sont utilisés comme outils de planification au cours de la conception d’un projet et comme outils de gestion au cours de la mise en œuvre.

La raison d’être du modèle logique est de :

• refléter visuellement les principaux éléments de la théorie du changement du projet;
• aider l’équipe de projet, les parties prenantes et les gestionnaires à développer et à visualiser la théorie du changement du projet, valider sa logique et que les résultats attendus sont réalistes et pertinents;
• veiller à ce que le cadre de mesure du rendement du projet et la stratégie de suivi et d’évaluation soient clairement liés à la théorie du changement du projet et à ses résultats attendus;
• aider l’équipe du projet à assurer une gestion du projet axée sur les résultats;
• offrir aux surveillants et aux évaluateurs un point de repère essentiel;
• faciliter la communication avec le personnel et les autres parties prenantes au sujet du projet.

Le travail des autres

Il importe de noter que le modèle logique tient compte uniquement des relations qui existent entre les extrants produits par le projet et les résultats auxquels ils contribuent. Dans bien des cas, les résultats du modèle logique dépendent également du travail d’autres intervenants, p. ex., autres donateurs ou organisations locales. Le travail des autres n’est généralement pas pris en compte dans le modèle logique, mais il devrait figurer comme « hypothèse » dans l’exposé narratif de la théorie du changement. Voir la Section 2.4 ci-dessous pour plus d’information.

La modélisation logique

Nous avons recours au processus de modélisation pour étoffer davantage notre théorie du changement. Cela implique la création d’une compréhension commune de comment le projet fonctionnera en réfléchissant d’abord à la situation en particulier et en examinant tout ce que l’équipe de conception a cerné et appris au terme de l’analyse de la situation et des consultations. L’équipe de conception applique alors ces données probantes et ces connaissances à l’exploration des différentes voies causales qui peuvent apporter le changement souhaité. Les voies indiquées comme étant les plus appropriées servent de fondement à la façon dont fonctionnera le projet.

Ce processus collaboratif et itératif qui aboutit au modèle logique contribue donc à une compréhension commune du projet au sein de l’équipe de conception. Il vous aidera à bien visualiser et articuler ce que vous voulez réaliser et comment vous comptez vous y prendre. De plus, le processus de modélisation aide à cerner les hypothèses qui sous-tendent souvent la conception d’un projet, de même que les risques et les stratégies qui permettront de les gérer. Voir l’étape 3 de la section 3.3 pour plus d’information.

Le modèle logique est le produit final du processus de modélisation; il ne devrait pas être élaboré en dehors d’un tel processus.

Gabarit – modèle logique

Affaires mondiales Canada possède un gabarit pour un modèle logique.

La structure du modèle logique

Dans un modèle logique d’Affaires mondiales Canada, un résultat ultime (changement d’état, de condition ou de bien-être touchant les bénéficiaires[33]) devrait reposer sur deux ou trois résultats intermédiaires (changements de comportement, de pratiques ou de rendement). On s’attend à ce que leur réalisation permette d’atteindre le résultat ultime. Pour rendre possible un changement du type visé au niveau du résultat ultime, il faut souvent que de multiples changements de rendement, de comportement ou de pratique se produisent parmi une variété de parties prenantes différentes.

Chaque résultat intermédiaire devrait reposer sur deux ou trois résultats immédiats (changements de capacité : compétences, habiletés, connaissances, etc.). Pour qu’un changement de comportement, de pratiques ou de rendement (le résultat intermédiaire) se produise, il faut souvent répondre à de multiples besoins en matière de capacités.

Chaque résultat immédiat devrait reposer sur deux ou trois extrants (produits ou services directs découlant des activités du projet), puisqu’un changement en matière de capacité exigera habituellement plus que l’obtention d’un seul produit ou la livraison d’un seul service pour se réaliser.

Paramètres du modèle logique

Sur une page

Le modèle logique ne doit pas dépasser une page. Étant donné que le modèle logique est censé offrir une représentation visuelle des éléments principaux de la théorie du changement du projet, son niveau de détail devrait être suffisamment approfondi pour bien décrire le projet, mais suffisamment concis pour présenter les détails essentiels sur une seule page^{Note de bas de page 34}.

Si vous constatez que le niveau de complexité et de détail de votre modèle logique vous oblige à dépasser une page, essayez ce qui suit :

• examinez le modèle logique pour repérer toute répétition;
• envisagez de simplifier le niveau de détail;
• envisagez de déplacer certains des détails des extrants vers les activités, dans la matrice des extrants et des activités.

Si cela ne permet toujours pas de régler le problème, envisagez d’utiliser des modèles logiques imbriqués pour y « déballer » divers éléments du projet. Vous devriez consulter un conseiller en gestion axée sur les résultats pour des conseils sur les modèles logiques imbriqués.

Le nombre d’extrants et de résultats

Vous trouverez ci-dessous le nombre minimal et maximal recommandé pour chaque type d’énoncé du modèle logique. Ces paramètres devraient en outre vous aider à respecter la limite d’une page.

• Résultat ultime : un seul – limite stricte 
• Résultats intermédiaires : deux ou trois
• Résultats immédiats : deux ou trois par résultat intermédiaire
• Extrants : deux ou trois par résultat immédiat

Comment élaborer un modèle logique

Veuillez consulter la section 3.3 pour obtenir une explication détaillée de la manière d’élaborer un modèle logique.

2.3 La matrice des extrants et des activités

La matrice des extrants et des activités accompagne le modèle logique et l’exposé narratif de la théorie du changement. Ensemble, ces documents présentent la théorie du changement du projet en illustrant toute la chaîne de résultats d’Affaires mondiales Canada, du résultat ultime aux activités et, lorsque la matrice des extrants et des activités sert de base à un budget axé sur les résultats ou les extrants, jusqu’aux intrants.

La matrice décompose les extrants en activités nécessaires à leur réalisation. Tel que défini dans la Première partie,  les activités se définissent comme suit : « Actions entreprises ou travail mené à travers lesquels des extrants sont mobilisés pour produire des extrants.^{Note de bas de page 35} ». Les énoncés d’activité doivent commencer par un verbe à l’infinitif présent, par exemple « Effectuer une étude géologique et une analyse de l’eau ».

La matrice des extrants et des activités est présentée sous forme de tableau, contrairement au modèle logique, qui prend la forme d’un diagramme visuel. Cette présentation permet d’économiser de l’espace et d’ajouter d’autres types de renseignements dans des colonnes supplémentaires (renseignements supplémentaires ci-dessous). La matrice répète les niveaux des résultats immédiats et des extrants du modèle logique afin de faciliter les renvois entre les deux documents. Cela permet également au lecteur de suivre la logique de la chaîne de résultats à partir des activités jusqu’au niveau des résultats immédiats.

Contrairement au modèle logique, la matrice n’est pas assujettie à un nombre maximal de pages. Toutefois, nous recommandons de regrouper sur la même page dans la mesure du possible les énoncés apparentés, par exemple en réunissant tous les énoncés d’un résultat immédiat ou un extrant.

Gabarit – matrice des extrants et des activités

Affaires mondiales Canada dispose d’un gabarit normalisé pour la matrice des extrants et des activités.

La matrice des extrants et des activités : autres considérations

Penser en fonction de l’organigramme technique de projet

L’une des façons d’élaborer la matrice des extrants et des activités consiste à se rapporter à l’organigramme technique de projet. La structure étoffe la matrice des extrants et des activités en ventilant les extrants du projet et les séries d’activités en tâches ou sous‑activités correspondantes. Le niveau d’activité correspond au premier niveau, sous les extrants de l’organigramme technique de projet. Les tâches ou les sous-activités correspondent au deuxième, voire au troisième niveau de l’organigramme technique de projet.

Conformément à des pratiques exemplaires largement acceptées dans ce domaine, les activités doivent représenter 100 % du travail nécessaire à la production de l’extrant. De plus, il est important qu’une même activité ne figure pas sous plus d’un extrant. Autrement, la somme des activités du projet représenterait plus de 100 % du travail effectivement accompli.

Il peut arriver que des activités semblables puissent figurer sous divers extrants (p. ex., « embaucher un formateur… »). Toutefois, chacune de ces activités devrait être différenciée en fonction de l’extrant auquel elle appartient (p. ex., « embaucher un formateur en gestion financière », à distinguer de « embaucher un formateur en techniques d’animation communautaire »).

Qu’en est-il des sous-activités?

Dans les directives antérieures sur la gestion axée sur les résultats, il était souvent question du concept de sous-activités. Brièvement, les sous activités sont toutes les tâches qui composent une activité. Dans le contexte de l’organigramme technique de projet, les sous‑activités correspondent simplement à toutes les tâches qui représentent une décomposition plus détaillée d’une activité.

Ni le modèle logique, ni la matrice des extrants et des activités ne comprennent les sous-activités. Les sous-activités sont présentées dans l’organigramme technique de projet seulement.

Combien devrait-il y avoir d’activités par extrant?

On recommande de deux à cinq activités par extrant, mais le nombre exact dépendra de la taille et de la nature d’un projet spécifique. Chaque activité doit représenter une tâche nécessaire à la production de l’extrant, mais aucune activité ne doit représenter une tâche nécessaire à une autre activité (il s’agirait alors d’une sous-activité au niveau suivant dans l’organigramme technique de projet).

Autres utilisations possibles de la matrice des extrants et des activités

Pour ceux qui sont intéressés, la matrice des extrants et des activités peut aussi servir de fondement aux échéanciers des plans de travail annuels. Par exemple, une fois qu’un projet est approuvé (durant la phase du lancement), l’exécutant peut utiliser le format de la matrice des extrants et des activités comme base de création d’un échéancier axé sur les résultats en ajoutant des colonnes pour les échéances^{Note de bas de page 36}(voir la figure 4 ci-après).

Figure 4 - Exemple d’un calendrier axé sur les résultats

Comment élaborer une matrice des extrants et des activités

Veuillez consulter la section 3.3, étape 3 d) pour obtenir une explication détaillée de la manière d’élaborer une matrice des extrants et des activités.

2.4 L’exposé narratif de la théorie du changement

L’exposé narratif de la théorie du changement apporte un complément essentiel au modèle logique et à la matrice des extrants et des activités. Il décrit la théorie du changement du projet et fait ressortir ce qui n’est pas explicite dans le modèle logique et la matrice des extrants et des activités, comme les liens logiques entre les résultats du projet et les principales hypothèses sur lesquelles ces liens reposent. De plus, il justifie ces liens, ces hypothèses et les autres choix faits à l’égard de la conception de projet par des données probantes et des leçons apprises provenant d’autres initiatives ou d’autres praticiens. L’exposé narratif devrait également traiter de tout risque majeur à l’atteinte des résultats et des mesures qui ont été ou qui seront mises en œuvre pour gérer le risque^{Note de bas de page 37}. Si l’on apporte des modifications au modèle logique et à la matrice, il est possible qu’il faille mettre à jour l’exposé narratif de la théorie du changement.

L’exposé narratif de la théorie du changement peut aider toute personne qui se joint à l’équipe de projet à mieux comprendre sa logique. Plus particulièrement, il aide à communiquer les détails et les considérations qui ont été soulevés au cours de l’analyse de situation et du processus de modélisation, mais que la seule structure du modèle logique ne parviendrait pas à communiquer. Il s’agit du seul document de projet à traiter explicitement des hypothèses, qui sont aussi essentielles que les résultats attendus pour comprendre la logique du projet. Par ailleurs, un exposé narratif bien rédigé peut servir de description de projet.

Comment rédiger l’exposé narratif de la théorie du changement

Veuillez consulter la section 3.3, étape 3 g) pour obtenir une explication détaillée de la manière de rédiger l’exposé narratif de la théorie du changement.

2.5 Les indicateurs

Les indicateurs sont les éléments de base du cadre de mesure du rendement.

Il est important que les parties prenantes s’entendent à l’avance au sujet des indicateurs qui serviront à mesurer le rendement du projet.

Les indicateurs quantitatifs

• On utilise les indicateurs quantitatifs pour mesurer des quantités ou des montants

Les indicateurs qualitatifs

• Les indicateurs qualitatifs permettent de rendre compte d’une information expérientielle, comme la qualité de quelque chose ou la perception qu’ont les bénéficiaires de leur situation. Ils permettent de mesurer la présence ou l’absence de conditions particulières, ou la perception des individus ou des groupes relativement à la mesure dans laquelle un service correspond aux normes établies.
• Les indicateurs qualitatifs peuvent fournir une information contextuelle au sujet de situations, d’événements et de pratiques.

Remarque : Les spécialistes ont beaucoup débattu de la valeur des données quantitatives et de celle de l’information qualitative, y compris de la valeur relative des mesures ou indicateurs quantitatifs par rapport aux mesures ou indicateurs qualitatifs. Il semblerait que ce débat soit presque clos dans le domaine de l’évaluation, grâce au recours de plus en plus fréquent aux méthodes mixtes. Les praticiens du domaine ne considèrent plus ces sources d’information comme irréconciliables : les deux sont nécessaires. D’ailleurs, toute mesure quantitative repose sur des jugements qualitatifs, tandis que toute mesure qualitative peut être codée et analysée selon des méthodes quantitatives. 

Afin d’évaluer et de suivre correctement la réalisation des résultats, un agent/gestionnaire a autant besoin de mesures quantitatives que de mesures qualitatives. Par exemple, il ne suffit pas de savoir combien de femmes participent à une activité : la qualité de leur participation et de leur expérience est également une donnée importante qu’il faut saisir pour avoir une vue d’ensemble.

Comme il est difficile d’organiser des données qualitatives aux fins de comparaison ou d’analyse, les indicateurs qualitatifs devraient être « quantifiés » dans la mesure du possible. On peut y arriver en utilisant une échelle de valeurs; par exemple, «niveau de confiance (sur une échelle de 1 à 4) qu’ont les fermiers vis-à-vis la sécurité des routes menant au marché local.»

La structure d’un indicateur de rendement

Les indicateurs de rendement sont constitués selon une syntaxe comportant trois éléments : unité de mesure, unité d’analyse et contexte.

L’unité de mesure est le premier élément de l’indicateur : nombre, pourcentage, niveau, ratio, etc. Il est important de prévoir la notion de proportionnalité dans l’unité de mesure, en veillant à ce que cette dernière se compose d’un numérateur et d’un dénominateur. Pour ce faire, l’unité de mesure est souvent exprimée comme un nombre sur le total (#/total) ou un pourcentage du nombre total » (%/total).

L’unité d’analyse précise ce qui sera observé : il peut s’agir de particuliers, d’institutions, d’artéfacts sociaux ou de groupes sociaux. Le type d’unité d’analyse déterminera comment ventiler les données recueillies : selon le sexe, l’âge, le groupe ethnique, le milieu rural ou urbain, le statut socio-économique, la propriété ou toute autre catégorie pertinente pour le projet ou le programme. La ventilation des données est d’une importance cruciale pour l’utilité des données recueillies. Par exemple, il sera impossible de mesurer un changement dans l’accès des femmes aux services de base si les données recueillies au cours du suivi ne sont pas ventilées selon le sexe. De même, prenons l’exemple d’un projet qui vise à améliorer la santé des membres d’un groupe ethnique marginalisé en travaillant à la remise en état et à la dotation de centres de soins de santé dans des régions isolées. Ces centres de santé devront veiller à recueillir des données sur les patients d’une manière qui permette une ventilation par groupe ethnique. 

Tableau 5 - Unités d’analyse par type

Le contexte est l’ensemble des circonstances qui font en sorte qu’un indicateur est utile pour mesurer un extrant ou un résultat en particulier. Par exemple, pour le résultat « accès amélioré des filles et des garçons de la province X du pays Y à des écoles primaires financées par l’État », admettons que l’un des moyens choisis pour mesurer les progrès réalisés est de voir combien d’enfants vivent dans un certain rayon d’une école publique. Dans pareil cas, le contexte serait « vivant dans un rayon de 1 km de marche d’une école primaire financée par l’État ».

Tableau 6 - Illustration de la structure d’un indicateur de rendement

Les indicateurs précurseurs, retardataires et simultanés

Nous utilisons habituellement des indicateurs afin de mesurer les progrès sur les résultats dans le modèle logique. Parfois, par contre, il y a besoin de corroborer les hypothèses expliquées dans l’exposé narratif de la théorie du changement et qui sont représentées, dans le modèle logique, par les flèches entre les niveaux. Dans ce cas, on peut utiliser des « indicateurs précurseurs » qui mesurent des événements antérieurs au changement attendu, ou des « indicateurs retardataires » qui mesurent des événements ultérieurs au changement attendu. Les données sur ces indicateurs peuvent aider à valider ces hypothèses. Comme mentionné précédemment, on avance des hypothèses à chaque niveau de la chaîne des résultats. Les indicateurs précurseurs et retardataires nous permettent de vérifier ces hypothèses en visant un peu plus bas ou un peu plus haut que le résultat escompté, sans mesurer le niveau suivant dans le modèle logique.

Idéalement, les indicateurs mesureraient toujours des choses qui correspondent directement aux changements décrits dans les résultats de votre modèle logique. Cependant, dans certains cas, il peut s’avérer difficile, voire impossible, de trouver de tels indicateurs « simultanés ». Dans ce cas, il est aussi possible d’utiliser des indicateurs « précurseurs » ou « retardataires. »

Les concepts d’indicateurs précurseurs, retardataires et simultanés proviennent du cycle des affaires en Économie. On peut illustrer ces concepts à l’aide de la métaphore du feu de circulation.

Types de changements mesurés par les indicateurs

On peut classer les indicateurs en fonction du niveau de ce qu’ils mesurent dans le modèle logique : des extrants, des résultats immédiats, des résultats intermédiaires et des résultats ultimes.

• Indicateurs d’extrants 
  Ils mesurent les produits ou les services découlant des activités du projet fournis par un exécutant à des intermédiaires ou à des bénéficiaires. Par exemple, le nombre de séances de formation offertes, ou le niveau de satisfaction (échelle de 1 à 4)  des participants (femmes et hommes) quant à la pertinence de la formation par rapport à leurs tâches.
  Indicateurs de résultats immédiats 
  Ils mesurent les changements sur le plan de la capacité, comme les compétences, les connaissances, les capacités ou la sensibilisation, et parfois l’accès, des intermédiaires ou des bénéficiaires, qui découlent de la production des extrants. Par exemple, #/total de travailleuses et de travailleurs (f/h) de la santé qui passent les examens d’agrément.
  Indicateurs de résultats intermédiaires 
  Ils mesurent les changements dans les comportements, les pratiques ou le rendement des intermédiaires ou des bénéficiaires, découlant de la réalisation des résultats immédiats. Par exemple, %/total des établissements de santé (public/privé) qui offrent des services sexospécifiques aux populations ethniques dans la langue de leur choix.
• Indicateurs de résultats ultimes 
  Ils mesurent des changements durables dans la vie des bénéficiaires, découlant de la réalisation des résultats intermédiaires. Par exemple, le revenu annuel moyen des petits producteurs agricoles (femmes et hommes), toutes sources confondues.

Critères d’un bon indicateur de rendement

1. Validité : L’indicateur mesure-t-il ce que l’on veut mesurer?
   • L’indicateur de rendement mesurera-t-il bel et bien le résultat ou l’extrant? N’oubliez pas qu’il faut différents indicateurs pour mesurer les changements attendus aux différents niveaux du modèle logique.
   • Fiabilité : L’indicateur offrira-t-il une mesure constante au fil du temps?
2. L’indicateur de rendement vous permettra-il de mesurer le résultat ou l’extrant au fil du temps?
   • Produira-t-il des données identiques lorsqu’il sera appliqué à une même situation à différents moments?
   • Si un chercheur différent recueille les données, l’indicateur demeurera-t-il constant?
3. Sensibilité : L’indicateur pourra-t-il mesurer le changement à mesure qu’il s’opère?
   • Lorsque le changement décrit dans l’énoncé de résultat commence à s’opérer, l’indicateur y sera-t-il suffisamment sensible pour détecter ce changement?
   • L’indicateur de rendement mesurera-t-il à la fois l’amélioration et la détérioration d’une situation (en d’autres mots, est-il neutre)?
4. Simplicité : Sera-t-il facile de recueillir les données?
   • Les sources d’information sont-elles faciles d’accès?
   • L’équipement ou l’expertise nécessaires pour le suivi de cet indicateur de rendement sont-ils aisément accessibles?
   • L’indicateur de rendement permet-il une analyse relativement simple du résultat?
   • Est-il suffisamment clair et direct pour être compris par l’ensemble des parties prenantes?
5. Utilité : L’information recueillie sera-t-elle utile pour la prise de décision?
   • L’information fournie par l’indicateur de rendement répond-elle aux besoins des destinataires?
   • Le fait de connaître cette information vous permettra-t-il, à vous-même ou aux autres intervenants, de faire les choses mieux ou plus efficacement?
   • L’indicateur de rendement est-il exprimé de telle sorte qu’il trouvera un écho chez les destinataires?
   • Permet-il de communiquer facilement l’état du résultat?
   • Cet indicateur de rendement fournira-t-il l’information en temps utile?
6. Abordabilité : Avez-vous les ressources pour recueillir les données?
   • Avez-vous les moyens de recueillir des données pour cet indicateur de rendement?
   • Est-ce que l’information obtenue justifie son coût éventuel?

Autres considérations

Dans le cadre des forums de haut niveau de Paris, d’Accra et de Busan sur l’efficacité de l’aide, le Canada s’est engagé à utiliser davantage les systèmes existants des pays partenaires pour le suivi. C’est pourquoi Affaires mondiales Canada encourage les agents de projet et les partenaires des projets à utiliser les systèmes de suivi ou les indicateurs existants dans le pays partenaire.

Il peut être difficile de choisir un indicateur qui respecte chacun des critères ci-dessus. Les contraintes de temps, de ressources et autres nous amènent souvent à nous contenter de ce qui est réaliste, à défaut de l’idéal. Choisissez des indicateurs de rendement qui offrent la meilleure mesure possible des résultats obtenus compte tenu du budget disponible et qui utilisent les méthodes de collecte et les sources de données existantes. Cherchez l’équilibre entre rigueur et réalisme. En définitive, le critère le plus important pour un indicateur est que vous recueillez vraiment des données pour celui-ci.

2.6 Le cadre de mesure du rendement

À Affaires mondiales Canada, le cadre de mesure du rendement est l’outil de la gestion axée sur les résultats utilisé pour planifier systématiquement la collecte des données pertinentes sur les indicateurs pendant la durée de vie du programme / portefeuille et du projet, afin d’évaluer et de démontrer les progrès réalisés dans l’atteinte des résultats attendus. Le cadre de mesure du rendement est le « squelette » du plan de suivi : il permet d’en documenter les principaux éléments pour assurer la collecte régulière de données réelles sur les indicateurs du cadre de mesure du rendement. Le cadre de mesure du rendement contient tous les indicateurs utilisés pour mesurer les progrès réalisés par rapport à l’atteinte des résultats et des extrants escomptés du programme / portefeuille et du projet. En outre, il indique qui a la responsabilité de recueillir les données pour l’indicateur, de quelle source, à quelle fréquence et selon quelle méthode. Il indique également les données de base (ou données de référence) et la cible pour chaque indicateur.

Comme c’est le cas pour le modèle logique, le cadre de mesure du rendement doit être élaboré ou évalué au moyen d’un processus participatif qui met à contribution les partenaires locaux, les intermédiaires (détenteurs de responsabilités), les bénéficiaires (titulaires de droits) et d’autres parties prenantes, ainsi que le personnel d’Affaires mondiales Canada dont la participation est pertinente.

Le cadre de mesure du rendement comme outil de gestion

Le cadre de mesure du rendement est l’outil qui permet d’assurer la « gestion axée sur les résultats» pendant la mise en œuvre du programme / portefeuille et du projet. Il fournit le plan pour la collecte des données durant la mise en œuvre. C’est grâce aux données réelles recueillies sur les indicateurs énumérés dans le cadre de mesure du rendement, ainsi qu’à l’analyse qu’en fait l’équipe du programme / portefeuille et du projet, que cette dernière peut détecter un problème qui risque de compromettre les résultats attendus assez tôt afin de corriger le tir. Un cadre de mesure du rendement dûment rempli est donc une nécessité pour une prise de décisions fondée sur des données probantes. Bien sûr, il faut avoir les moyens de comparer! C’est pourquoi il faut toujours obtenir des données de base, tout comme il faut toujours établir des cibles dans le cadre de mesure du rendement.

Rappelez-vous : si on ne sait d’où on part et vers où on se dirige, il est impossible d’évaluer correctement les progrès.

Pour résumer, le cadre de mesure du rendement vous aidera à :

• planifier la collecte systématique de données pertinentes pendant la durée de vie du programme / portefeuille et du projet;
• documenter les principaux éléments du système de suivi;
• veiller à la collecte régulière de données réelles pour chaque indicateur du cadre de mesure du rendement.

Les données recueillies pour les indicateurs du cadre de mesure du rendement vous aideront à :

• mesurer et évaluer les progrès réalisés en vue des résultats attendus;
• démontrer à tous les intervenants les progrès réalisés en vue de l’atteinte des résultats;
• prendre des décisions fondées sur des données probantes pour maintenir le programme / portefeuille et le projet sur la bonne voie.

Gabarit  – Cadre de mesure du rendement

Affaires mondiales Canada dispose d’un gabarit normalisé de Cadre de mesure du rendement.

Contenu du cadre de mesure du rendement

Le cadre de mesure du rendement est divisé en huit colonnes : résultats attendus, indicateurs, données de base, cibles, sources de données, méthodes de collecte de données, fréquence et responsabilité. Pour établir un cadre de mesure du rendement, il faut remplir chaque colonne avec exactitude.

Résultats attendus (1re colonne)

Cette colonne reproduit tout simplement les extrants et les résultats du modèle logique. Il est très important que tout changement apporté aux énoncés dans l’un des deux documents se retrouve dans l’autre, de sorte que les extrants et les résultats présentés dans le cadre de mesure du rendement correspondent à ceux du modèle logique en tout temps. Voir la section 2.1 et section 2.2.

Indicateurs (2e colonne)

Dans cette colonne, il faut préciser des indicateurs pour chaque extrant et chaque résultat de votre modèle logique. Voir la section 2.5.

Combien d’indicateurs doit-on utiliser pour les résultats?

Pour chaque résultat, sélectionnez deux ou trois indicateurs (ou plus, s’il y a lieu). Vous devez inclure au moins:

• un indicateur qualitatif;
• un indicateur quantitatif.

Un indicateur devrait mesurer une dimension spécifique d’un résultat, comme l’accès ou la qualité, y compris les inégalités entre les sexes ou la durabilité environnementale, selon le cas. Des indicateurs additionnels peuvent être qualitatifs ou quantitatifs, selon la dimension spécifique du résultat que l’on souhaite mesurer. Noter que lorsque l’on accole des qualificatifs comme transparent, participatif, efficace, équitable ou durable à un énoncé de résultat, ils doivent être mesurés. En autres mots, il faut s’assurer que  les indicateurs choisis mesurent chaque élément de l’énoncé de résultat. Cela veut parfois dire que plus de trois indicateurs sont nécessaires.

Parfois, ces autres indicateurs contribuent à la triangulation, c’est-à-dire la collecte de données sur un même enjeu à partir de sources multiples. En faisant des recoupements entre ces sources, on rehausse la fiabilité des données. Par exemple, on peut se faire une meilleure idée de la qualité des services si on consulte à la fois les usagers, les fournisseurs et les relevés de service.

Ainsi, on peut mieux valider les résultats, tout en se limitant à un nombre d’indicateurs gérable. N’oubliez pas que ce sont les données probantes cumulatives de données recueillies sur une grappe d’indicateurs que les gestionnaires examinent pour voir si leurs projets et leurs programmes progressent. On ne devrait pas mesurer un résultat à l’aide d’un seul indicateur.

Combien d’indicateurs doit-on utiliser pour les extrants?

Pour chaque extrant, on devrait sélectionner un ou deux indicateurs (ou plus s’il y a lieu).

Les indicateurs d’extrant peuvent mesurer différents aspects d’un produit ou d’un service, par exemple :

• Quantité – l’existence ou la quantité d’un produit ou d’un service (p. ex., # de documents produits qui traite d’égalité entre les sexes [par type]; # d’employés [f/h] du réseau de la santé formé en analyse comparative entre les sexes)
• Respect des échéances — la mesure dans laquelle l’extrant est fourni à temps
• Qualité – la qualité d’un produit ou d’un service (y compris sa conformité aux normes établies) ou encore la qualité du processus grâce auquel il a été fourni. Par exemple, pour un extrant comme « analyse des besoins sexospécifiques effectuée », l’un des indicateurs pourrait mesurer la perception qu’ont les femmes de leur participation équitable (sur une échelle de 5 points) aux consultations liées à cette analyse des besoins.

Données de base (3e colonne)

Les données de base fournissent la valeur propre à un indicateur donné au début d’un projet ou programme. Elles sont recueillies à un moment précis et seront utilisées comme référence pour mesurer ou évaluer les progrès réalisés par rapport à l’atteinte des résultats.

Elles sont nécessaires à l’établissement de cibles réalistes. Elles sont donc requises pour chaque indicateur du cadre de mesure du rendement et devraient être ventilées selon le sexe, l’appartenance ethnique, l’âge, le statut socio-économique ou toute autre catégorie pertinente pour l’indicateur en question.

Quand devrait-on les recueillir?

Les données de référence doivent être collectées avant la mise en œuvre du projet. Idéalement, cette collecte de données devrait être effectuée pendant la conception du projet. Toutefois, si cela est impossible, les données de référence doivent être collectées lors du démarrage du projet afin de s’assurer que les données collectées correspondent à la situation de départ du projet et non à une situation ultérieure. La phase de démarrage est la période commençant immédiatement après la signature de l’accord et avant le dépôt du plan de mise en œuvre (ou l’équivalent).

Cibles (4^e colonne)

Une cible précise une valeur particulière ou une plage de valeurs que vous aimeriez obtenir par rapport à un indicateur de rendement, à une date donnée dans le futur. C’est en vous fiant à l’ensemble des cibles établies pour les divers indicateurs d’un résultat escompté donné que vous déterminerez dans quelle mesure ce dernier est atteint. Les cibles doivent être fixées à la lumière des données de base pour veiller à ce qu’elles représentent véritablement une bonne mesure de l’atteinte d’un résultat. Sans cette information, il y a un risque de fixer des cibles irréalistes, ou encore de fixer des cibles trop faciles à atteindre, ou déjà atteintes. Dans le cadre de mesure du rendement, la colonne des cibles doit présenter les cibles de fin de projet, mais on peut également inclure des cibles annuelles. L’idéal serait que les cibles annuelles continuent d’être mises à jour dans le cadre du processus d’établissement des plans de travail annuels.

Les cibles fournissent une base concrète et utile pour engager la discussion avec les intermédiaires, les bénéficiaires, et les autres parties prenantes. Si des cibles clés sont manquées, c’est un signal pour les parties prenantes et les gestionnaires d’analyser collectivement comment et pourquoi les plans ou les stratégies n’ont pas fonctionné, de déterminer comment on pourrait les remettre sur la bonne voie, puis de prendre des mesures correctives de façon constructive et en s’appuyant mutuellement pour atteindre les résultats attendus.

Les cibles ne devraient jamais être intégrées dans les énoncés de résultats attendus

Les cibles devraient figurer seulement dans le cadre de mesure du rendement; elles ne devraient pas figurer dans les énoncés de résultats attendus. Au stade de la planification, les cibles sont souvent données à titre indicatif, jusqu’à ce que le plan de mise en œuvre du projet ou le premier plan de travail annuel soit approuvé. On peut aussi les modifier de façon raisonnable pendant la durée du projet dans le cadre d’une gestion saine axée sur les résultats. C’est l’une des raisons pour lesquelles les cibles ne doivent pas être intégrées dans les énoncés de résultats attendus.

De plus, en excluant les cibles des énoncés des résultats attendus, la théorie du changement peut conserver son caractère autonome. Ainsi, il n’est pas nécessaire de modifier le modèle logique à cause de l’ajustement d’une cible. Par ailleurs, on pourrait reprendre le même modèle logique pour un projet semblable ou pour une phase subséquente, pourvu que la même théorie du changement s’applique. Il s’agirait alors de choisir des indicateurs et d’établir des cibles propres au nouveau contexte.

Points à prendre en compte lors de l’élaboration des cibles

• L’unité de mesure et l’unité d’analyse d’une cible doivent être les mêmes que celles de l’indicateur auquel elle se rapporte.
• Si les indicateurs sont ventilés par sexe, appartenance ethnique, âge, statut socio-économique ou autres catégories pertinentes, on devrait ventiler les cibles de la même manière.
• Les cibles doivent être élaborées à l’aide des données de base existantes.
• Les cibles doivent être élaborées pour la fin du projet, en précisant la date d’atteinte prévue.
• Il est possible d’établir pour les cibles des échéanciers supplémentaires, à court ou long terme (mensuel, annuel, à mi-parcours, etc.).
• Les cibles doivent être réalistes et revues régulièrement.
• On devrait faire participer les bénéficiaires, les intermédiaires et les autres intervenants à l’établissement et à l’examen des cibles. De la sorte, on assurera une appropriation locale et on contribuera à établir des cibles réalisables.

Sources des données (5e colonne)

Les sources des données sont les personnes, les organisations ou les documents qui fournissent des données pour les indicateurs. L’exécutant doit préciser les sources de données pour les indicateurs; elles peuvent être primaires ou secondaires.

• Les données primaires sont recueillies directement par l’exécutant, à la source.
• Les données secondaires sont celles qui sont recueillies et documentées par une autre personne ou organisation, parfois à des fins tout à fait différentes.

Les données primaires sont toujours spécifiques à un projet. L’utilisation de données secondaires, si elles sont pertinentes pour vos indicateurs et vos résultats, peuvent permettre d’économiser et de générer des synergies avec les systèmes des pays partenaires, avec d’autres projets, ou entre donateurs ou organisations.

Tableau 7 - Exemples de sources de données

Méthodes de collecte des données (6e colonne)

Les méthodes de collecte de données^{Note de bas de page 40} représentent la façon dont les données sur les indicateurs sont recueillies. Le choix d’une méthode de collecte de données dépend du type d’indicateur et de la raison pour laquelle l’information est recueillie. Les méthodes de collecte de données peuvent être informelles et moins structurées, ou encore formelles et plus structurées. Les différentes méthodes « impliquent […] certains compromis en ce qui a trait aux coûts, à la précision, à la crédibilité et aux échéanciers^{Note de bas de page 41}».

Au moment de choisir les méthodes de collecte de données, il est important de s’assurer que les destinataires de l’information sur le rendement, y compris Affaires mondiales Canada, sont à l’aise avec les compromis associés aux méthodes choisies, et donc avec le type d’information qu’ils recevront^{Note de bas de page 42}. Les sources de données et les méthodes de collecte devraient être déterminées par les exécutants de concert avec les parties prenantes et avec l’appui des spécialistes du suivi et de l’évaluation.

La figure ci-dessous illustre quelques méthodes possibles de collecte des données. « [L]es méthodes plus structurées et formelles pour recueillir des données tendent à être plus précises, plus coûteuses et à demander plus de temps.^{Note de bas de page 43}» Si vos indicateurs sont ventilés (par âge, sexe, appartenance ethnique, etc.), il faut bien s’assurer que les méthodes de collecte des données choisies vous permettront de recueillir des données ventilées.

Figure 5 - Méthodes de collecte de données

Version texte

Ce diagramme illustre les méthodes de collecte de données qui peuvent aller de méthodes informelles et moins structurées, telles que :

• Discussions avec les individus concernés
• Entrevues avec les membres de la communauté
• Visites sur le terrain
• Examen des dossiers officiels (système de gestion de l’information et données administratives)
• Entrevues avec des informateurs clés
• Observations participante
• Entrevues avec des groups de contrôle

Aux exemples formels et plus structurés, tels que :

• Observation directe
• Questionnaires
• Enquête ponctuelle
• Commission d’enquête
• Recensement
• Expériences sur le terrain

Source : Banque mondiale, Vers une culture du résultat. Dix étapes pour mettre en place un système de suivi d’évaluation axé sur les résultats., p. 80

Le choix d’une méthode de collecte des données dépend de plusieurs facteurs :

• les ressources d’un projet ou d’une organisation, son accès aux sources de données, ses besoins et ses contraintes, etc.;
• le type d’indicateur;
• la façon dont l’information recueillie sera utilisée;
• la fréquence à laquelle cette information sera recueillie.

Les méthodes de collecte des données ne devraient pas être choisies de façon improvisée. On doit les sélectionner avec soin dans le cadre du processus d’élaboration des indicateurs, tout en tenant compte des coûts et des limitations connexes. D’ailleurs, la détermination des méthodes de collecte des données et des sources de données aidera à choisir et à valider des indicateurs de rendement réalistes et abordables.

Choix de sources de données et de méthodes de collecte de données appropriées

• Déterminez quelle méthode de collecte des données convient le mieux aux indicateurs en question.
• Si vous recueillez des données primaires, n’oubliez pas de tenir compte de facteurs liés à l’âge ou au sexe de vos sources et du contexte culturel en général. Par exemple, les entrevues avec des femmes pourraient devoir être réalisées par des femmes; si on utilise des groupes témoins, il peut s’avérer nécessaire d’avoir des groupes différents pour les hommes et les femmes ou pour les adultes et les enfants.
• Lorsqu’on a recours à l’échantillonnage, que ce soit pour des indicateurs quantitatifs ou qualitatifs, il est important que l’échantillon soit représentatif et que les limites de cette représentativité soient reconnues^{Note de bas de page 44}.
• Favorisez les recoupements entre données de sources multiples. Par exemple, pour des données sur les taux de morbidité d’un pays, consultez non seulement les statistiques du gouvernement mais aussi celles de l’Organisation mondiale de la santé.
• Évaluez les avantages et les inconvénients de chaque méthode de collecte des données (exactitude, difficulté, fiabilité, coût, temps nécessaire).

Tableau 8 - Autres méthodes de collecte des données

Fréquence (7e colonne)

La fréquence désigne la ponctualité de la collecte de données: combien de fois l’information pour chaque indicateur sera-t-elle recueillie ou validée? L’information pour un indicateur de rendement sera-t-elle recueillie de façon régulière (chaque trimestre ou chaque année) dans le cadre d’une gestion axée sur les résultats continue et de ses rapports, ou à des points précis du cycle du projet, comme à la mi-parcours ou en fin de projet?

Éléments à prendre en compte pour décider de la fréquence de la collecte de données pour un indicateur de performance:

• le niveau du résultat dans le modèle logique (la fréquence de collecte de données dans le cas des indicateurs d’extrants et des indicateurs de résultats immédiats est plus fréquente que dans le cas des résultats intermédiaires ou ultime);
• le niveau de risque lié à un résultat escompté en particulier;
• la difficulté et le coût associés à la collecte des données.

Responsabilité (8e colonne)

Par responsabilité, on entend la personne qui est responsable de la collecte de données pour les indicateurs du cadre de mesure du rendement. Il est important d’être précis lorsque l’on identifie les différents intervenants responsables dans le cadre de mesure du rendement. On devrait utiliser un titre ou un rôle plutôt que le nom d’une personne (par exemple, agent sur le terrain, spécialiste de l’égalité entre les sexes, gestionnaire de projet, etc.).

Comment élaborer un cadre de mesure du rendement

Veuillez consulter la section 3.4 dans laquelle on explique l’élaboration d’un cadre de mesure du rendement. 

2.7 Le plan de suivi et d’évaluation axé sur les résultats

Un plan de suivi et d’évaluation axé sur les résultats est un plan détaillé, qui précise certains aspects du cadre de mesure du rendement. Il aborde la logistique, les budgets et d’autres paramètres opérationnels de la collecte et de l’analyse des données. Il est important de souligner que le cadre de mesure du rendement, même s’il constitue le « squelette » du plan de collecte systématique des données, ne contient pas suffisamment d’information pour orienter la mise en fonction d’un système de suivi. Il faut dresser un plan de suivi et d’évaluation préliminaire axé sur les résultats avant de soumettre un projet pour approbation, afin que le budget soit établi en tenant compte des ressources requises. L’exécutant pourra ensuite finaliser le plan de suivi et de mise en œuvre dans le cadre du plan de mise en œuvre du projet ou son équivalent.

Suivi

Le plan de suivi et d’évaluation axé sur les résultats devrait décrire des activités précises de suivi, les responsabilités (pour la collecte, l’analyse et le stockage des données) ainsi que les échéanciers. Il devrait contenir une explication détaillée des outils de collecte de données indiqués dans la colonne « Méthodes de collecte des données » du cadre de mesure du rendement, y compris la façon dont les échantillons seront sélectionnés et comment les données seront analysées, notées, stockées et utilisées. Il devrait faire ressortir toute difficulté prévue par rapport à la collecte des données (y compris les données de base), à leur analyse et à l’établissement de cibles, et devrait aborder les stratégies possibles pour les surmonter. Enfin, il devrait préciser les ressources financières et humaines à affecter à ces activités de suivi axé sur les résultats, lesquelles devraient se refléter dans le budget du projet. Cela peut nécessiter l’embauche d’un surveillant de projet, l’affectation d’un employé et de ressources financières au suivi ainsi que l’établissement d’un système de suivi pour recueillir des données sur les indicateurs d’extrants et de résultats du cadre de mesure du rendement.

Évaluation

Le plan de surveillance et d’évaluation axé sur les résultats devrait préciser les évaluations à entreprendre et veiller à ce que des ressources de projet suffisantes soient mises de côté. Les évaluations peuvent être commandées par Affaires mondiales Canada, l’exécutant, ou conjointement avec l’exécutant ou d’autres parties prenantes. Une évaluation de l’évaluabilité peut également être incluse dans le plan. Voir la section 3.4, étape 4 f) pour plus de détails.

Synergie entre suivi et évaluation

Les possibilités de synergie entre le suivi et l’évaluation sont appréciables, et elles peuvent se traduire par des économies considérables sur le plan de la collecte de données à mi-parcours et en fin de projet. La section 3.4, étape 4 f) fournit de plus amples détails à ce sujet.

Troisième partie :  Instructions étape par étape

3.0 Introduction

Il y a quatre étapes à la planification et à la conception de projet axées sur les résultats.

Version texte

Le graphique représente les 4 étapes décrites ci-dessous. Utilisez une approche participative tout au long du processus.

La troisième partie du présent guide est organisée par étape pour aider les équipes de projet à comprendre les processus et les techniques employés pour élaborer les outils de gestion axée sur les résultats d’Affaires mondiales Canada.

Étape 1 : Identifier l’équipe de conception et les intervenants

La composition de l’équipe de conception peut avoir un impact considérable sur la qualité de la conception du projet. Le recours à une approche participative tenant compte de l’équité entre les sexes dans la planification et la conception d’un projet peut, comme cela est mentionné à la section 1.4, s’avérer très profitable. 

Étape 2 : Effectuer une analyse de la situation

Dans l’Énoncé de principe sur la gestion axée sur les résultats, la description des tenants et des aboutissants de la gestion axée sur les résultats commence par l’affirmation suivante : « Par gestion axée sur les résultats, on entend : la définition de résultats attendus réalistes, fondés sur les analyses appropriées […] ». L’analyse de la situation est donc une étape fondamentale de la planification et de la conception de projet axées sur les résultats.

Étape 3 : Élaborer la théorie du changement, y compris le modèle logique, la matrice des extrants et des activités et l’exposé narratif

La troisième étape porte sur la manière d’établir les résultats attendus d’un projet et les moyens pour y arriver ainsi que la façon de documenter les hypothèses formulées et les facteurs et risques externes susceptibles d’avoir une incidence sur l’atteinte des résultats.

Étape 4 : Élaborer un cadre de mesure du rendement et un plan de suivi et d’évaluation axé sur les résultats

La dernière étape de la planification et de la conception de projet axées sur les résultats concerne l’élaboration des outils qui permettront de recueillir et d’analyser l’information nécessaire à une bonne gestion axée sur les résultats tout au long de la mise en œuvre du projet.

3.1 Étape 1 : Identifier l’équipe de conception et les parties prenantes

Choisir les bonnes personnes pour votre équipe de conception

Formez l’équipe qui participera à la conception du projet. Dans la mesure du possible, veillez à ce que votre équipe de conception comprenne des participants locaux. Leur participation peut éviter que l’équipe se fonde sur des hypothèses erronées (souvent inconscientes) au sujet du contexte local, lesquelles peuvent nuire à la conception de projet et avoir une influence négative affectant l’atteinte des résultats. La composition de l’équipe de conception peut varier selon le type de programme, mais l’équipe devrait toujours comprendre :

• des spécialistes de contenu, comme des spécialistes sectoriels et des spécialistes de  l’environnement, de la gouvernance et de l’égalité entre les sexes;
• un conseiller en gestion du rendement ou en gestion axée sur les résultats ou un spécialiste du suivi et de l’évaluation.

S’assurer de la disponibilité des personnes choisies

Une fois que vous avez formé votre équipe, vérifiez que les personnes que vous avez choisies sont disponibles et disposées à participer aux quatre étapes du processus de conception de projet. Envisagez de mener ce processus là où le projet sera mis en œuvre, afin de faciliter la participation des membres de l’équipe locale et des parties prenantes.

Identifier les principales parties prenantes et susciter leur implication

Étant donné que vous devrez concevoir le projet de manière participative, l’équipe de conception[45] devrait toujours identifier les principales parties prenantes, y compris les bénéficiaires et les intermédiaires locaux, et s’assurer qu’ils participent et sont consultés régulièrement au cours du processus de conception.

3.2 Étape 2 : Effectuer une analyse de la situation

L’analyse de la situation est une démarche structurée qui aide l’équipe de conception à faire ce qui suit : a) cerner les enjeux qu’elle prévoit aborder et b) comprendre le contexte complexe (national, régional, politique, culturel, social, relatif à l’égalité entre les sexes, environnemental, etc.) dans lequel ces enjeux s’inscrivent. Cette démarche devrait reposer sur des recherches, des consultations, des analyses et des discussions. Ainsi, l’analyse de la situation représente une première étape nécessaire à la planification et la conception de projet axées sur les résultats. Elle fournira une partie cruciale des données probantes à l’appui de la théorie du changement.  

L’analyse de la situation aidera l’équipe de conception à faire ce qui suit :

• Dégager une compréhension commune du problème et de ses divers éléments, y compris les aspects d’égalité entre les sexes.
• Dégager une compréhension commune des principaux acteurs, de leurs rôles et responsabilités et de leurs capacités.
• Relever les insuffisances d’information propres au projet qu’il faudra combler par des recherches et des consultations plus poussées.
• Choisir, parmi les nombreux éléments de la situation, ceux que le projet visera à traiter.
• Déterminer les liens possibles avec la planification à l’échelle des programmes, y compris les projets complémentaires.
• Examiner le problème général et ses divers éléments à la lumière des interventions connues d’autres donateurs et d’organisations et de gouvernements partenaires, afin de cerner tout chevauchement, toute synergie ou toute occasion possibles.
• Réfléchir aux résultats que l’on pourrait attendre du projet.
• Commencer à élaborer une théorie du changement pour le projet.

Comment effectuer une analyse de la situation?

La première étape d’une analyse de la situation consiste à cerner l’enjeu ou le besoin à satisfaire. Voici des documents qui servent souvent de sources d’idées :

• les plans et les priorités des pays partenaires;
• les évaluations des besoins déjà réalisées;
• les rapports des projets en cours ou achevés (indiquant les lacunes ou les besoins qui restent à traiter);
• l’égalité entre les sexes,  l’environnement et la gouvernance analyses et les stratégies relatives aux programmes, aux secteurs;
• les évaluations de programme ou de projet, sectorielles, thématiques et ministérielles d’Affaires mondiales Canada;
• les évaluations des autres donateurs ou partenaires, y compris les évaluations conjointes.

Si aucun de ces documents n’est disponible ou utile, envisagez de procéder à des évaluations ou à des analyses des besoins, selon les nécessités.

Comprendre le contexte

Une fois que vous avez cerné une idée ou un enjeu à traiter, la prochaine étape est de comprendre le contexte dans lequel il s’inscrit (sur le plan culturel, sociopolitique, économique, environnemental et de l’égalité entre les sexes), ainsi que les rôles joués par les parties prenantes et les diverses incidences de cet enjeu sur la vie des femmes, des hommes, des garçons et des filles. Vous pouvez utiliser des données et des renseignements provenant de diverses sources comme base de cette analyse. Par exemple :

• un plan de développement national ou une stratégie de réduction de la pauvreté, et toute autre stratégie et engagement national pertinent, comme une stratégie relative à l’égalité entre les sexes, à l’environnement et ainsi de suite;
• une étude politique, économique, socioculturelle ou comparative entre les sexes effectuée sur le terrain;
• une étude de la portée comportant une analyse comparative entre les sexes et des analyses de l’environnement et de la gouvernance;
• une analyse antérieure de l’enjeu;
• des entrevues, des réunions ou des groupes de discussion avec les parties prenantes, les intermédiaires et les bénéficiaires potentiels;
• des évaluations de projets antérieurs portant sur le même enjeu ou un enjeu semblable;
• des entrevues ou des réunions avec des experts en la matière ou sur l’égalité entre les sexes, l’environnement ou la gouvernance;
• la théorie du changement de projets semblables.

Utiliser l’information

Après la collecte des données préliminaires, il y a bien des façons d’utiliser cette information pour brosser un tableau du contexte et cibler la portée du projet. Voici des outils utilisés couramment à ce stade :

• Analyse de l’arbre à problèmes
• Analyse comparative entre les sexes (exigée pour toutes les initiatives)
• Analyse basée sur les droits de la personne et les droits de l’enfant
• Analyse des parties prenantes
• Schéma des parties prenantes
• Analyse des lacunes au niveau des capacités
• Analyse des conflits
• Analyse politico-économique

Outils d’analyse de situation utilisés à Affaires mondiales Canada

Analyse de l’arbre à problèmes

L’arborescence de problèmes est l’une des méthodes utilisées le plus fréquemment à Affaires mondiales Canada; quoique les membres du personnel et les partenaires peuvent décider d’en utiliser d’autres. Il s’agit d’un outil d’analyse visuel qui permet à ses utilisateurs de décomposer un problème très complexe en ses composantes, puis d’examiner et d’étudier les liens de cause à effet entre ces composantes. Il permet aux utilisateurs de déterminer la portée potentielle d’un projet donné (ses intermédiaires et ses bénéficiaires), ses activités, ses extrants et ses résultats, et de se faire une idée des autres principales parties prenantes, de leur rapport aux enjeux et de l’expérience qu’ils en font. Il est donc tout indiqué pour appuyer la formulation d’une théorie du changement et l’élaboration du modèle logique.

L’Arbre à problème

Ses principales étapes sont les suivantes :

1. Identifier le ou les problèmes de fond;
2. Identifier les causes et les effets;
3. Noter les relations;
4. Revoir l’arbre à problèmes
5. Créer un arbre à solutions

Figure 6 – L’arbre à problèmes

Version texte

Dans l’arbre à problèmes :

Les branches représentent les effets du problème;

Le tronc représente le problème de fond;

Les racines représentent les causes du problème.

Schéma des parties prenantes

Le schéma des parties prenantes est un autre outil utilisé au stade de l’analyse de la situation. Il permet à l’équipe de conception de recenser les principales parties prenantes, y compris les intermédiaires et les bénéficiaires, les relations qui existent entre eux, leur niveau d’intérêt pour les enjeux en question et l’influence qu’ils ont sur ces enjeux.

Le schéma des parties prenantes peut se faire sous forme d’exercice distinct ou dans le cadre de l’exercice de l’arbre à problèmes. Pour chaque enjeu ajouté à l’arbre, il s’agit de se poser les questions suivantes :

• À qui appartient-il?
• Qui le contrôle?
• Qui en décide?
• Qui en est responsable?
• Qui a le pouvoir de le changer?

3.3 Étape 3 : Élaborer la théorie du changement du projet, y compris le modèle logique, la matrice des extrants et des activités et l’exposé narratif

Le processus de modélisation

Une fois l’analyse de la situation terminée, vous devriez être prêt à élaborer la théorie du changement du projet et son modèle logique. Pour cela, vous devez déterminer les résultats et les extrants du projet et les activités les mieux adaptées pour produire les extrants. Vous devrez aussi exposer les hypothèses et présenter les données probantes qui permettent d’expliquer comment on peut s’attendre à ce qu’un changement mène au prochain. Ce processus s’appelle « modélisation »; voir la rubrique La modélisation inhérente au modèle logique sous la section 2.2 pour plus de détail.

Il existe plusieurs façons d’élaborer un modèle logique. Une méthode couramment utilisée consiste à réunir les principales parties prenantes dans une pièce pour une séance de remue-méninges sur la théorie du changement et de noter leurs idées sur des feuillets autocollants. Comme les feuillets autocollants peuvent être déplacés et réorganisés, il s’agit d’un moyen facile et accessible d’établir un modèle logique dans les premières étapes du processus; rédigez les énoncés des résultats et des extrants (un par feuillet), puis organisez-les de façon à illustrer la théorie du changement de votre projet.

Rappels

Utilisez des méthodologies participatives afin d’assurer une participation équitable et utile des parties prenantes concernés tout au long du processus, de la séance de remue-méninges à la mise au point de la version finale. Une telle approche contribue à satisfaire aux exigences de la Loi sur la responsabilité en matière d’aide au développement officielle.

Lorsque vous élaborez votre théorie du changement, n’oubliez jamais le contexte et les priorités du pays, ainsi que les priorités d’Affaires mondiales Canada relatives au programme, au secteur et au ministère. Tenez compte également des contraintes possibles, comme la durée et le budget.

La meilleure façon d’élaborer une théorie du changement est de commencer avec le résultat ultime avant de déterminer les résultats intermédiaires et immédiats et de décider quelles approches programmatiques sont requises.

Lorsque vous formulez les résultats et les extrants du projet, songez à la mesure dans laquelle vous prévoyez y intégrer l’égalité entre les sexes, afin de déterminer à quel niveau du modèle logique vous devriez formuler des résultats en matière d’égalité entre les sexes, et de quelle manière.

Étape 3 a) Déterminer le résultat ultime attendu

De manière générale, on commence par la fin, c’est-à-dire par le niveau du résultat ultime, comme cela est indiqué dans les étapes ci-dessous. En abordant d’abord les résultats (ultime, intermédiaires puis immédiats), on peut être certain que les extrants et les activités choisis seront ceux qui seront nécessaires pour arriver aux changements décrits aux niveaux supérieurs.

En travaillant en équipe :

• Reprenez l’enjeu que vous avez choisi et, en vous appuyant sur votre analyse de la situation, identifiez les bénéficiaires ultimes du projet et le changement voulu à leur bien-être, leur état ou leurs conditions de vies.
• Formulez un énoncé de résultat correspondant au résultat ultime, selon la syntaxe présentée à la section 2.1. Inscrivez-le sur un feuillet autocollant.
• Assurez-vous d’identifier toutes hypothèses inhérentes au résultat ultime ainsi que tous risques qui pourraient nuire à la réalisation du résultat ultime. Inscrivez-les sur des feuillets autocollants.
• Veillez à ce que le type de changement décrit soit un changement durable d’état, de condition ou de bien-être pour les bénéficiaires ultimes (et non des changements liés uniquement à leur milieu). Par exemple, l’énoncé pourrait être « amélioration de la prospérité économique des jeunes filles et jeunes garçons travaillant dans le secteur du tourisme du pays X », et non « amélioration du rendement économique du secteur du tourisme du pays X ». Consultez les exemples de changements appropriés à chaque niveau de la chaîne de résultats, à la section 1.2.
• Placez votre feuillet autocollant avec le résultat ultime sur l’espace de travail (p. ex., un mur) et placez toutes hypothèses ou risques près de celui-ci.

Rappels

Le résultat ultime est la « raison d’être » du projet. Il devrait décrire un changement positif durable dans l’état, les conditions ou le bien-être des bénéficiaires (titulaires des droits).

Bien que le résultat ultime survienne généralement après la fin du projet, il est important de le mesurer tout au long de la durée du projet. Cela a pour but de déterminer si le projet :

• commence à contribuer au changement escompté dans la vie des bénéficiaires;
• est toujours pertinent (autrement dit, un changement positif ou négatif est-il survenu dans la situation des bénéficiaires, en raison duquel il faut apporter un ajustement au projet?)

Si votre projet concerne expressément l’égalité entre les sexes (c.-à-d. que l’initiative a été conçue expressément pour faire face à des inégalités entre les sexes ou contribuer à l’autonomisation des femmes, et qu’autrement, elle n’aurait pas été entreprise), des résultats en matière d’égalité entre les sexes devraient se retrouver à tous les niveaux du modèle logique, en commençant par le résultat ultime.

Le résultat ultime doit être ancré de manière réaliste dans la théorie du changement du projet. Par exemple, si le projet consiste à travailler dans le village Y du pays X à améliorer la santé des mères seules, le résultat ultime ne peut pas être « amélioration de la santé de toute la population, hommes et femmes, du pays X ». Il doit tenir compte de la réalité du projet : « amélioration de la santé des mères seules du village Y du pays X ».

Étape 3 b) Déterminer les résultats intermédiaires attendus

Une fois le résultat ultime formulé, poursuivez votre remue-méninges en équipe pour élaborer les résultats intermédiaires du projet.

• Demandez-vous : quels changements de comportement, de pratiques ou de rendement seraient nécessaires pour mener au changement de situation décrit dans le résultat ultime?
• Une autre façon d’y arriver est de se demander qui (les intermédiaires, les bénéficiaires) devrait modifier son comportement, ses pratiques ou son rendement, et de quelle manière, afin de produire le résultat ultime.
• N’oubliez pas d’exposer vos hypothèses quant aux raisons pour lesquelles ces changements devraient mener au résultat ultime. De même, faites état des risques qui pourraient empêcher l’atteinte de ces résultats. Inscrivez-les sur des feuillets autocollants.
• Formulez des énoncés de résultats pour vos résultats intermédiaires, selon la syntaxe présentée à la section 2.1. Inscrivez-les sur des feuillets autocollants.
• Placez vos feuillets autocollants avec les résultats intermédiaires sur l’espace de travail (p. ex., un mur) en dessous du résultat ultime et, ensuite, placez toutes hypothèses ou risques-clés près du résultat auquel ils s’appliquent.

Si l’égalité entre les sexes est pleinement intégrée à votre projet, des résultats en matière d’égalité entre les sexes devraient être compris au niveau des résultats intermédiaires et aux niveaux inférieurs.

Dans le cas des projets pour lesquels l’environnement a une pertinence modérée ou élevée, il faudrait intégrer les considérations environnementales aux énoncés de résultats. Idéalement, on devrait le faire à la fois au niveau des résultats immédiats et à celui des résultats intermédiaires, mais, à tout le moins, on devrait le faire au niveau des résultats immédiats.

Étape 3 c) Déterminer les résultats immédiats attendus

Une fois les résultats intermédiaires formulés, poursuivez votre remue-méninges en équipe pour élaborer les résultats immédiats, en vous assurant d’y inclure tout ce qui est nécessaire pour donner lieu à chaque résultat intermédiaire.

• Demandez-vous : quels changements de capacité  (changement dans les habiletés, les connaissances, la sensibilisation ou parfois même l’accès) de la part de qui (intermédiaires ou  bénéficiaires) seraient nécessaires pour que les changements de comportement, de pratiques ou de rendement décrits au niveau intermédiaire se réalisent?
• N’oubliez pas d’exposer vos hypothèses quant aux raisons pour lesquelles ces changements devraient mener aux résultats intermédiaires, tout comme les risques qui pourraient empêcher l’atteinte de ces résultats. Inscrivez-les sur des feuillets autocollants.
• Formulez des énoncés de résultats pour vos résultats immédiats, selon la syntaxe présentée à la section 2.1. Inscrivez-les sur des feuillets autocollants.
• Placez chaque énoncé de résultat immédiat sur l’espace de travail (p. ex., un mur) sous l’énoncé du résultat intermédiaire auquel il contribue de façon logique, puis disposez les hypothèses ou les risques près des résultats auxquels ils s’appliquent.

Les résultats immédiats mènent ou contribuent aux résultats intermédiaires et représentent les changements qui sont liés directement à l’existence des extrants (les produits et les services).

Si l’égalité entre les sexes est intégrée de façon limitée à votre projet, les résultats relatifs à l’égalité entre les sexes devraient être compris au niveau des résultats immédiats et aux niveaux inférieurs.

Dans le cas des projets pour lesquels l’environnement a une pertinence modérée ou élevée, on devrait intégrer les considérations environnementales aux énoncés de résultats. Idéalement, on devrait le faire à la fois au niveau des résultats immédiats et à celui des résultats intermédiaires, et, à tout le moins, au niveau des résultats immédiats.

Étape 3 d) Déterminer les principaux extrants attendus et les principales activités prévues

• Poursuivez le remue-méninge avec votre équipe de conception afin d’élaborer les principaux extrants du projet, ainsi que leurs activités associées, en vous assurant d’établir tout ce qui est nécessaire pour que les résultats immédiats se réalisent. Inscrivez chaque extrant sur des feuillets autocollants, de même que les activités. Consultez la section 2.1 et la section 2.3.
• N’oubliez pas d’exposer vos hypothèses quant aux raisons pour lesquelles ces changements devraient mener aux résultats immédiats, tout comme les risques qui pourraient empêcher l’atteinte de ces résultats. Inscrivez-les sur des feuillets autocollants.
• Placez chaque extrant et ses activités associées sur l’espace de travail (p. ex., un mur) sous le résultat immédiat auquel il contribue de façon logique, puis disposez les  hypothèses ou les risques près des extrants auxquels ils s’appliquent.

N’oubliez pas que les extrants représentent des produits ou des services achevés qui découlent des activités d’un exécutant. Les activités représentent les éléments distincts nécessaires à l’achèvement de ces produits ou services. Une autre façon d’envisager les activités est de penser à l’organigramme technique du projet : les activités correspondent au premier niveau de ventilation sous les extrants. Voir la section 2.3.

Étape 3 e) Valider la théorie du changement

Disposez tous les feuillets autocollants où vous avez noté les énoncés de vos résultats, de vos extrants et de vos activités de façon à former une pyramide correspondant à un modèle logique. Passez en revue tous les niveaux de haut en bas et de bas en haut (du résultat ultime aux activités et des activités au résultat ultime), afin de vous assurer que tout s’enchaîne de façon logique, que la théorie du changement est solide et basée sur des données probantes, et qu’elle tient compte des pratiques exemplaires sectorielles, de l’intégration de l’égalité entre les sexes,  la viabilité de l’environnement et la gouvernance des programmes et des projets d’aide internationale . Assurez-vous que chaque résultat est appuyé par le niveau inférieur, et que toutes les activités et tous les extrants contribuent directement au résultat immédiat auquel ils sont associés. Procédez à faire les ajustements requis, tel que le déplacement ou l’ajout de résultats, d’extrants et d’activités.

Validez vos hypothèses et risques et assurez-vous de les documenter afin de pouvoir les utiliser au moment de rédiger l’exposé narratif de votre théorie du changement (consultez l’étape 3 g) de la section 3.3).

Vérifiez que vos énoncés de résultat sont bien formulés et qu’ils répondent aux critères énumérés à la section 2.1. Pour y arriver, essayez de penser à des indicateurs potentiels pour chaque résultat. Ceci vous aidera à vous assurer que vous serez capable de mesurer l’atteinte de votre résultat. Vous pourrez aussi vous assurer de ne pas avoir choisi un indicateur pour tenter ensuite de le formuler comme un résultat (p. ex., réduction du taux de mortalité maternelle) plutôt que d’utiliser un résultat en bonne et due forme (p. ex., amélioration de la santé maternelle). Le fait de vous mettre le plus tôt possible à la recherche d’indicateurs est une bonne technique pour peaufiner vos énoncés de résultats et la théorie du changement de votre projet dans son ensemble.

Affaires mondiales Canada a élaboré une liste de vérification du modèle logique afin d’aider son personnel et ses partenaires à évaluer la validité de la théorie du changement ou de la conception d’un projet, sur la base de leur représentation dans le modèle logique, la matrice des extrants et des activités ou d’autres outils du cadre de résultats.

Étape 3 f) Réunir tous les éléments

Remplissez le gabarit de modèle logique en y inscrivant les énoncés de résultats et d’extrants que vous avez élaborés pendant votre session de remue-méninges.

Figure 7 - Modèle logique dûment rempli

Version texte

Ceci est un exemple de modèle logique complet. Chaque niveau de la chaîne de résultats découle du niveau inférieur.

Résultat ultime 1000 Santé améliorée des femmes, des hommes, des filles et des garçons de la région Y du pays X.

Résultat intermédiaire 1100 Utilisation équitable améliorée de l’eau potable par les femmes, les hommes, les filles et les garçons de la région Y

Résultat intermédiaire 1200 Amélioration des services de santé sexospécifiques de première ligne offerts aux femmes, hommes, filles et garçons de la région Y

Résultat immédiat 1110 Accès équitable amélioré à l’eau potable pour les femmes, les hommes, les filles et les garçons de la région Y

Résultat immédiat 1120 Capacité accrue des femmes et des hommes membres de groupes de gestion collective de l’eau de la région Y à entre­tenir les puits

Résultat immédiat 1210 Accès équitable accru aux établissements de santé pour les femmes, les hommes, les filles et les garçons de la région Y

Résultat immédiat 1220 Compé­tences accrues du per­sonnel (f/h) des centres de santé locaux de la région Y en matière de triage, de diagnostic et de soins de santé sexospécifiques

Extrants

1111 Puits construits dans la collectivité X en consultation avec des intervenants locaux, surtout des femmes, en leur qualité de principales gestionnaires de l’eau dans la collectivité

1112 Puits existants remis en état dans la région Y à l’aide d’approches participatives respectant l’égalité entre les sexes

1121 Formation sur l’entretien des puits élaborée et offerte aux  hommes et aux femmes membres des groupes de gestion collective de l’eau dans la région Y

1122 Assistance technique liée à l’approvisionnement en pièces auprès de fournisseurs locaux et régionaux offerte aux groupes de gestion collective de l’eau de la région Y

1211 Centres de santé régionaux de la région Y remis en état et équipés

1212 Campagne de sensibilisation sexospécifique* au sujet de l’offre de services de santé dans les centres régionaux  nouvellement remis en état effectuée

1221 Documenta­tion sexospécifique* élaborée pour les programmes de perfectionnement et de mentorat  sur le triage, le diagnos­tic et les soins de santé primaires

1221 Programmes de perfectionne­ment et services de mentorat sexospé­cifiques* offerts au personnel (f. et h.) des centres de santé régionaux en matière de triage, de diagnostic et de soins de santé primaires

*Remarque : Dans le contexte de ce projet, le terme « sensibilisation aux sexospécificités » est appliqué aux programmes, au matériel de formation et aux campagnes fondés sur une analyse comparative entre les sexes qui visent à promouvoir l’égalité des rôles des femmes et des hommes dans les soins de santé (p. ex., des femmes et des hommes aussi bien comme médecins que comme fournisseurs de soins), à remettre en question les stéréotypes sexospécifiques et les préjugés sexistes qui mènent à la discrimination et à des pratiques néfastes (p. ex., préférence pour les garçons, abus/harcèlement sexuel, violence fondée sur le sexe), à défendre le droit des femmes et des filles dans la prise de décisions touchant à la santé, particulièrement en matière de droits sexuels et reproductifs, et à promouvoir la participation égale et le partage égal des avantages entre les femmes et les hommes (les filles et les garçons).

Remplissez la matrice des extrants et des activités, en y reportant les résultats immédiats et les extrants du modèle logique et en y détaillant les activités pour chaque extrant.

Figure 8 - Matrice des extrants et des activités dûment remplie

Étape 3 g) Rédiger un exposé narratif de la théorie du changement

Chaque modèle logique devrait être accompagné d’un exposé narratif décrivant la théorie du changement pour le projet. Cet exposé devrait être rédigé de façon itérative lors de l’élaboration du modèle logique. La description doit être axée sur ce qui n’est pas explicite dans le modèle logique et sur la façon dont les rapports de cause à effet vont s’enchaîner et les résultats, se produire. Elle devrait expliquer les liens qui existent entre chaque niveau, y compris les hypothèses et les risques, et référer aux  données probantes et aux pratiques exemplaires qui justifient les choix de conception. Ces liens et ces hypothèses doivent inclure les rôles et les contributions d’autres intervenants qui ne participent pas directement au projet, mais de qui l’atteinte des résultats du projet dépend aussi. Par exemple, il faut renvoyer aux engagements, politiques et programmes du gouvernement des pays bénéficiaires qui sont importants aux fins de l’atteinte des résultats de projet. Voir section 1.2 et section 2.4.

Longueur d’une à trois pages

Idéalement, l’exposé narratif devrait faire d’une à trois pages. Toutefois, dans le cas de grands projets, il est possible que vous ayez besoin de plus de pages pour couvrir l’étendue des initiatives.

Structurer l’exposé narratif par résultat

Commencez l’exposé narratif par une section expliquant la manière dont les résultats intermédiaires (les résultats de fin de projet) contribueront au résultat ultime. Concentrez-vous sur les relations entre chaque résultat intermédiaire et le résultat ultime, en expliquant la théorie, les pratiques exemplaires, les hypothèses et les risques qui sous-tendent vos choix en termes de résultats intermédiaire.  

Pour chaque résultat intermédiaire, créez une section ou un paragraphe distinct expliquant comment les extrants du projet mèneront aux résultats immédiats, et comment ces derniers mèneront, au résultat intermédiaire en question. L’explication doit porter sur les relations entre les extrants et le résultat immédiat, et entre les résultats immédiats et les résultats intermédiaires, en expliquant la théorie, les pratiques exemplaires, les hypothèses et les risques qui sous-tendent vos choix. S’il y a lieu, expliquez la manière dont la viabilité de l’environnement, l’égalité entre les sexes et la gouvernance sont intégrées dans le modèle logique dans son ensemble jusqu’au niveau des résultats intermédiaires.

Mettre l’accent sur les hypothèses

Décrivez les hypothèses les plus importantes avancées à chaque étape du modèle logique (c.-à-d. celles sans lesquelles les résultats au prochain niveau ne pourraient être atteints). Vous devriez utiliser des références, des citations et des données probantes tirées de vos consultations et de vos analyses socio-économique, culturelle, politique, environnementale et comparative entre les sexes et les consultations, afin de justifier les hypothèses avancées à chaque étape du modèle logique.

Recenser les risques et les réponses au risque

Mentionnez brièvement les principaux risques et facteurs contextuels qui pourraient avoir une incidence sur l’atteinte des résultats. Indiquez toutes les stratégies d’atténuation des risques que vous mettez en œuvre ou que vous prévoyez mettre en œuvre. Consultez les guides et les outils d’évaluation, de gestion et de suivi des risques d’Affaires mondiales Canada, disponibles sur demande à l’adresse gir.irm@international.gc.ca.

Mentionner le travail des autres acteurs

Mentionnez le travail que les autres organisations réalisent dans la région, et décrivez tout lien entre leurs résultats et la théorie du changement du projet. Dans certains cas, le travail des autres acteurs peut expliquer les choix faits dans la conception du projet (p. ex., la décision de ne pas entreprendre une activité en particulier parce qu’un autre donateur s’en occupe).

Décrire comment la participation sera encouragée

Décrivez les méthodes que vous utiliserez pour favoriser la participation d’un large éventail d’intervenants (y compris les intermédiaires et les bénéficiaires) tout au long du cycle de vie du projet.

Étape 3 h) Évaluer le modèle logique et la matrice des extrants et des activités

Une fois la phase de conception d’un projet terminée, il doit faire l’objet d’une évaluation, à la fois pour des raisons de contrôle de la qualité et dans le cadre du processus décisionnel et d’approbation, avant de procéder à sa mise en œuvre. Qu’il s’agisse de revoir la conception de votre propre projet ou celle d’un projet proposé par une autre organisation, les mêmes conseils s’appliquent.

Le personnel d’Affaires mondiales Canada devrait utiliser la liste de vérification du modèle logique  lorsqu’il évalue le modèle logique présenté par un demandeur avec sa proposition. Il convient de noter que si un bon nombre de questions dans les listes de vérification se rapportent spécifiquement à la terminologie et aux outils d’Affaires mondiales Canada, la liste de vérification du modèle logique comporte des questions touchant à l’utilisation d’outils de gestion axée sur les résultats qui ne sont pas propres à Affaires mondiales Canada. Le type de questions posées peut éclairer l’évaluation des propositions lorsque Affaires mondiales Canada a convenu d’utiliser les gabarits du partenaire.

L’évaluation du modèle logique et de la matrice des extrants et des activités devrait se faire de manière participative. Distribuez l’ébauche du modèle logique, de la matrice des extrants et des activités et de l’exposé narratif à vos collègues, aux spécialistes des thèmes, des secteurs et des thèmes transversaux, aux parties prenantes, incluant les bénéficiaires, et ainsi de suite. Cela vous permettra de vous assurer que la version finale correspond à la compréhension commune de la théorie du changement du projet, y compris les résultats attendus, les hypothèses et la conception.

3.4 Étape 4 : Élaborer le cadre de mesure du rendement et le plan de suivi et d’évaluation axés sur les résultats

Considérations clés

L’élaboration d’un cadre de mesure du rendement commence à la phase de la conception. Il s’agit d’un processus itératif qui va de pair avec le processus de modélisation menant au modèle logique. Veillez à remplir le cadre de mesure du rendement en adoptant une approche participative et qui tienne compte de l’équilibre entre les sexes. Prévoyez la participation des personnes clés dans les catégories suivantes : intervenants locaux, partenaires, bénéficiaires et spécialistes concernés (thèmes, secteurs et thèmes transversaux).

Tenez compte des facteurs suivants au cours de ce processus :

• l’expérience et la capacité des intervenants locaux en matière de suivi du rendement d’un projet;
• les indicateurs existants suivis par le gouvernement-hôte ou d’autres intervenants, lesquels pourraient servir à mesurer les résultats attendus du projet;
• la fiabilité et la validité des données recueillies sur ces indicateurs existants;
• les occasions d’utiliser et de renforcer les systèmes des gouvernements locaux;
• les lacunes en matière de données que le projet pourrait combler.

Étape 4 a) Copier les énoncés  de résultats attendus et d’extrants du modèle logique dans le cadre de mesure du rendement

Copiez et collez les plus récents résultats et extrants de votre modèle logique dans les cases de la première colonne du gabarit de cadre de mesure du rendement.

Étape 4 b) Formuler les indicateurs

Établissez des indicateurs de rendement pour tous les extrants et résultats attendus, selon les conseils présentés à la section 2.5. Normalement, vous devriez avoir commencé à penser aux indicateurs qui conviendraient à vos résultats au cours du processus de validation de votre modèle logique et de votre théorie du changement.

Il se peut que le processus de recherche et de formulation d’indicateurs vous amène à modifier vos énoncés de résultat ou d’extrant. Assurez-vous que toute modification faite aux résultats dans le cadre de mesure du rendement se reflète aussi dans le modèle logique. Si le modèle logique a déjà été approuvé par Affaires mondiales Canada et les parties prenantes, rappelez-vous que tout changement apporté à la portée, à l’échelle ou à l’intention du projet doit être approuvé par l’autorité d’Affaires mondiales Canada qui avait approuvé le projet à l’origine. Voir section 4.2 pour plus d’information à ce sujet.

Validez et vérifiez la qualité de vos indicateurs de rendement, en consultant la liste de vérification du cadre de mesure du rendement d’Affaires mondiales Canada. Par exemple, les indicateurs sont-ils valides, fiables, sensibles, simples, utiles et abordables? Sont-ils sexospécifiques? S’il y a lieu, tiennent-ils compte de la proportionnalité? S’ils portent sur des personnes, sont-ils ventilés par sexe et selon toute autre catégorie pertinente pour le projet?

Étape 4 c) Déterminer les sources des données, les méthodes de collecte, la fréquence et la responsabilité

Déterminez les sources de données et les méthodes de collecte des données pour les indicateurs de rendement que vous avez choisis. Cherchez à inclure des sources de données multiples dans la mesure du possible afin d’accroître la fiabilité des données que vous allez recueillir sur vos indicateurs. Envisagez l’utilisation de stratégies d’échantillonnage. Si vous voulez recueillir des données auprès de bénéficiaires, à quel niveau pensez-vous le faire? Au niveau des ménages? Des collectivités? À d’autres niveaux ? Par exemple, si votre source de données est « les enfants d’âge scolaire », allez-vous recueillir vos données dans les écoles ou, compte tenu que tous les enfants ne fréquentent pas forcément l’école, dans les familles? À première vue, l’idée de recueillir des données au niveau des ménages peut paraître trop coûteuse, mais si vous employez une méthode d’échantillonnage statistiquement valide, cette collecte de données pourrait bien être à votre portée. L’échantillonnage peut vous aider à réduire les coûts sans nuire à la fiabilité et à la validité de vos données.

En examinant les sources de données disponibles et les méthodes de collecte des données pertinentes, vous pourriez être amené à modifier votre choix d’indicateurs.

La fréquence et la responsabilité de la collecte de données dépendent souvent des sources de ces données. Par exemple, la source de données peut être un rapport gouvernemental annuel. La fréquence de collecte serait alors annuelle, selon la fréquence du rapport, et l’exécutant serait probablement chargé de recueillir les données de cette source gouvernementale.

Déterminez la fréquence et la responsabilité (de l’analyse et de la collecte de données) pour chaque indicateur de rendement. Ce serait aussi le moment opportun pour évaluer le coût de la collecte des données.

Étape 4 d) Insérer les données de base

Utilisez les données recueillies lors de l’étude des données de base du projet pour remplir la colonne des données de base du cadre de mesure du rendement.

Si l’étude des données de base n’a pas été menée au moment de la conception du projet, mais le sera à l’étape du démarrage du projet :

• Précisez-le dans le cadre de mesure du rendement en indiquant, par exemple : « Les données de base seront recueillies lors du démarrage du projet entre le XX-XX-XX et le XX-XX-XX » ou « Les données de base seront obtenues d’ici le XX-XX-XX ». Indiquez la date à laquelle la collecte sera terminée. Idéalement, ceci devrait être fait au plus tard dans les 90 jours après la signature de l’accord avec Affaires mondiales Canada.
• Il peut être nécessaire de fournir des données de base estimatives pour les indicateurs-clés aux fins de conception, de planification et d’établissement des cibles. Dans ce cas, inscrivez la valeur estimative et le moment où les données de base seront confirmées (« Données de base estimées : X. Elles seront confirmées lors du démarrage du projet entre le XX-XX-XX et le XX-XX-XX » ou « Données de base estimées : X. Elles seront confirmées d’ici le XX-XX-XX »). Pour la mise en œuvre du projet, les valeurs estimatives doivent être remplacées par les données de base réelles recueillies lors du démarrage du projet; la colonne des données de base dans le cadre de mesure du rendement doit être mise à jour. Autrement dit, il ne devrait pas y avoir de données de base estimatives dans le cadre de mesure du rendement soumis avec le plan de mise en œuvre du projet (ou l’équivalent).

Étape 4 e) Définir les cibles

Sélection des cibles et détermination de la date prévue de réalisation

Vos cibles établissent le rendement attendu à la fin d’une période donnée, habituellement la durée du projet. Elles vous aident ainsi à déterminer un budget réaliste, à allouer des ressources en conséquence et à établir la portée et l’envergure en fin de projet. Nous vous encourageons également à établir des cibles annuelles dans le plan de travail annuel, ce qui vous aidera à mieux suivre les progrès au fil du temps.

Si une étude de base a été réalisée :

• Établissez des cibles réalistes pour chaque indicateur en fonction des données de base que vous avez déterminées.

Si les données de base seront recueillies plus tard :

• Vous devez, au minimum, établir des cibles pour les extrants et les résultats clés qui vous aideront à déterminer une allocation de ressources réaliste ainsi que  la portée et l’envergure en fin de projet. Ces cibles devraient se fonder sur une estimation des données de base établie, par exemple, à l’aide de données et de tendances historiques fiables pour vos indicateurs de rendement (p. ex., données gouvernementales, information provenant d’une phase antérieure du projet ou information recueillie pendant une analyse des besoins ou une analyse de la situation).
• Lorsque vous aurez recueilli l’ensemble des données de base, n’oubliez pas d’établir des cibles pour tous vos indicateurs (et de valider les cibles préliminaires fournies pour les indicateurs clés).
• Un cadre de mesure du rendement complet, comprenant toute modification apportée aux données de base, aux cibles et même aux indicateurs, doit accompagner le plan de mise à œuvre (ou son équivalent soumis) à Affaires mondiales Canada.

Étape 4 f) Rédiger un plan préliminaire de suivi et d’évaluation axé sur les résultats

Suivi

• Passez en revue l’ensemble des indicateurs pour déterminer, en fonction de la source ou de la méthode de collecte de données, si vous devez prendre des dispositions particulières ou élaborer des instruments tels que des guides d’entrevue, des questionnaires, des formulaires ou des méthodes de classement.
• Prévoyez de mettre les instruments de collecte de données à l’essai et de faire tout ajustement requis avant de les utiliser.
• Pensez à offrir une formation sur les méthodes de collecte de données et l’utilisation des instruments de suivi au personnel, aux intervenants ou à toute personne qui participera à la collecte des données.

Il faudra prévoir dans le budget de projet les ressources nécessaires pour l’élaboration et la mise à l’essai des instruments de collecte de données, ainsi que pour la formation du personnel et des parties prenantes.

Une fois le plan de suivi et d’évaluation terminé, l’exécutant devrait être en mesure de se prononcer sur les coûts de collecte des données, les méthodes d’échantillonnage et la taille des échantillons, les analyses statistiques prévues, les gabarits de capture de données et les systèmes de stockage de données.

Évaluation

La composante « évaluation » du plan de suivi et d’évaluation devrait préciser les points suivants :

• Justification et but : Pourquoi entreprendre l’évaluation? Pourquoi à ce moment précis? Pour qui est-elle entreprise? Sera-t-elle utilisée pour l’apprentissage, la reddition de comptes ou à d’autres fins?
• Objectifs spécifiques : Qu’est-ce que l’évaluation cherche à savoir?
• Questions clés provisoires : Au stade de la conception d’un nouveau projet, il peut déjà être possible de préciser les questions clés de l’évaluation qui sont d’intérêt pour les parties prenantes. Par exemple, si le projet met en œuvre une approche novatrice, quels sont les éléments que l’on voudrait évaluer et quand? Cela permet d’étayer les besoins de données de suivi et d’évaluation et assure la collecte des données en temps opportun.
• Envergure : Qu’est-ce qui est évalué? Est-ce une composante spécifique du projet, les activités qui ont lieu dans une zone géographique particulière ou autre chose?
• Échéanciers : Quand l’évaluation aura-t-elle lieu?
• Responsabilités : Qui gérera l’évaluation? Comment sera-t-elle gouvernée?
• Budget : Combien coûtera la gestion de cette évaluation ou la participation à celle-ci?
• Mis à part un cadre de mesure du rendement complet, qu’est-ce qui devrait être mis en place dès maintenant afin d’évaluer le rendement dans quelques années?
• Évaluations précédentes : Y a-t-il des évaluations antérieures de projets similaires, en particulier de phases antérieures, qui peuvent aider à mieux planifier ce projet et ses évaluations?
• Évaluabilité : Une évaluation de l’évaluabilité est-elle nécessaire?

Évaluation de l’évaluabilité

Une évaluation de l’évaluabilité fait beaucoup plus que fournir de l’information à savoir si une initiative ou un projet peut être évalué ou non. En outre, une telle évaluation :

• passe en revue la conception du programme ainsi que le modèle logique et/ou la théorie du changement;
•  évalue les cadres de mesure du rendement des programmes et les systèmes de surveillance;
•  fait un examen critique de la validité, de la fiabilité et de l’utilité des données de base, du suivi et des autres ensembles de données disponibles;
• valide les besoins prévus d’évaluation du point de vue des parties prenantes et des utilisateurs;
• éclaire  la conception de l’évaluation afin de maximiser la qualité et l’utilité de l’évaluation prévue.

Synergie entre le suivi et l’évaluation

Répondez aux questions suivantes pendant l’élaboration du plan de suivi et d’évaluation pour favoriser la synergie entre le suivi et l’évaluation :

• Est-ce qu’il a été envisagé d’impliquer un évaluateur afin de valider la théorie du changement, le cadre de mesure du rendement et les instruments de collecte de données au début du projet et pendant son cycle de vie?
• Comment le cadre de mesure du rendement et les données recueillies sur ses indicateurs, y compris les données de base, faciliteront-ils ou éclaireront-ils le travail de l’évaluateur?
• Y a-t-il des données en dehors du cadre de mesure du rendement qui pourraient utilement étayer une évaluation?
• Dans le cas de l’évaluation formative, est-ce que certaines données recueillies par l’évaluateur peuvent être utilisées pour les indicateurs du cadre de mesure du rendement?
• Comment seront répartis les rôles et les responsabilités entre l’exécutant, les autres parties prenantes, tout agent de suivi externe, le personnel d’Affaires mondiales Canada et les équipes d’évaluation?

Parachèvement du plan de suivi et d’évaluation dans le cadre du plan de mise en œuvre

Le plan de suivi et d’évaluation axé sur les résultats doit être parachevé et soumis à Affaires mondiales Canada pour approbation dans le cadre du plan de mise en œuvre du projet ou son équivalent.

Étape 4 g) Évaluer le cadre de mesure du rendement

Qu’il s’agisse de revoir la conception de votre propre projet ou celle d’un projet proposé par une autre organisation, les mêmes conseils s’appliquent.

Le personnel d’Affaires mondiales Canada devrait utiliser la liste de vérification du cadre de mesure du rendement lorsqu’il examine le cadre de mesure du rendement présenté par un éventuel exécutant avec sa proposition. Il convient de noter que si un bon nombre de questions dans cette liste se rapportent spécifiquement à la terminologie et aux outils d’Affaires mondiales Canada, certaines questions touchent l’utilisation d’outils qui ne sont pas propres à Affaires mondiales Canada. Le type de questions posées peut éclairer l’évaluation des propositions pour lesquelles Affaires mondiales Canada a convenu d’utiliser les gabarits du partenaire.

Les exécutants et le personnel d’Affaires mondiales Canada peuvent également utiliser cette liste de vérification pendant le processus itératif d’élaboration de leur cadre de mesure du rendement, afin de le valider et de l’améliorer.

L’évaluation du cadre de mesure du rendement devrait se faire de manière participative avec les parties prenantes et les spécialistes concernés.

Quatrième partie : Gestion axée sur les résultats pendant la mise en œuvre du projet

4.0 Introduction

Au cours de la mise en œuvre, gérer un programme / portefeuille et projet en fonction de l’atteinte de ses résultats signifie recueillir des données sur les indicateurs qui mesurent à la fois les extrants et les résultats, utiliser ces données et d’autres informations pour comparer les résultats attendus et les résultats réels, et ajuster / adapter les opérations pendant la mise en œuvre afin d’optimiser la réalisation des résultats escomptés.

Ce cycle de mesure, d’évaluation factuelle des progrès réalises vers résultats attendus, d’apprentissage et d’ajustements au cours de la mise en oevure (comme l’illustre le diagramme ci-dessous) est ce qui fait de la gestion axée sur les résultats une approche de gestion adaptive plutôt qu’un simple exercice de collecte de données sur les indicateurs ou d’établissement de rapports.

Version texte

Gestion axée sur les résultats pendant la mise en œuvre. Que faisons-nous pendant la mise en oeuvre pour gérer les résultats et atteindre les résultats attendus ?

Nous recueillons des données sur des indicateurs (qualitatifs et quantitatifs) qui mesurent les extrants et surtout les résultats.

Nous analysons les données recueillies sur les indicateurs et d’autres informations.

Nous utilisons cette analyse pour évaluer le progrès réalisés par rapport aux résultats attendus.

Cette évaluation, soutenue par les données sur les indicateurs, est utilisée de manière ciblée pour:.

• Apprendre ce qui fonctionne et ce qui ne fonctionne pas, et intégrer les enseignements tirés dans un processus décisionnel fondé sur des données probantes
• Ajuster et adapter, si nécessaire, la programmation pour atteindre les résultats attendus
• Rapporter et communiquer de façon narrative sur des résultats fondés sur des données probantes

Les leçons apprises doivent être partagées et intégrées dans le processus de prise de décision pour d’autres programmes similaires en cours, ainsi que pour les programmes futurs.

4.1 Le suivi et la collecte de données des indicateurs

Tout au long de la mise en œuvre, le personnel d’Affaires mondiales Canada et l’exécutant veillent au suivi du projet de manière différente, chacun selon ses rôles et ses responsabilités. C’est à l’exécutant que revient la responsabilité première de la collecte et de l’analyse des données sur l’ensemble des indicateurs du cadre de mesure du rendement, en fonction de la fréquence et des méthodes de collecte de données qui y sont précisées. Le plan de suivi et d’évaluation axé sur les résultats fournit normalement davantage de renseignements sur la collecte des données, y compris des échéanciers et des outils tels que des questionnaires, des gabarits, etc. Le type de suivi effectué par le personnel d’Affaires mondiales Canada dépend du type de projet ou d’investissement. L’examen de divers rapports en est une constante, mais il peut inclure des visites sur le terrain, la contre-vérification d’informations auprès d’autres parties prenantes ou l’embauche d’un agent de suivi externe.

Comme cela a été mentionné à la section 1.3, le fait d’assurer un suivi des résultats en recueillant régulièrement des données sur les indicateurs du projet pendant sa mise en œuvre donne aux gestionnaires et aux parties prenantes des moyens d’agir en leur fournissant en temps réel de l’information sur les progrès réalisés relativement à l’atteinte des résultats. Cette information fait ressortir les points forts, les points faibles et les problèmes au fur et à mesure qu’ils se font jour et permet aux gestionnaires de prendre des mesures correctives en temps opportun pendant la mise en œuvre du projet. De ce fait, ils augmentent leurs chances d’atteindre les résultats attendus.

Les données recueillies pendant la mise en œuvre servent de fondement aux évaluations. Comme nous l’avons mentionné précédemment, le coût d’une évaluation peut être grandement réduit grâce à la documentation continue et assidue de l’atteinte des résultats. De plus, les évaluateurs interviennent à un moment précis dans la vie du projet. Quels que soient les efforts qu’ils y consacrent pendant une évaluation, toutes les données qu’ils recueillent ne pourront jamais remplacer la mine d’information générée grâce à un suivi assidu axé sur les résultats et la mesure du rendement. Par exemple, même les meilleures techniques d’évaluation ne peuvent palier à l’absence de données de suivi nécessaires pour une analyse des tendances du projet ou du programme / portefeuille évalué. Le manque de données peut limiter la qualité d’une évaluation, ou dans certains cas, rendre une évaluation trop coûteuse à entreprendre. Bref, le suivi des données des indicateurs est essentiel.

4.2 Ajustements au modèle logique et au cadre de mesure du rendement d’un projet opérationnel

Le modèle logique et le cadre de mesure du rendement ont été élaborés aux étapes de la conception et de la planification du projet, mais, comme nous l’avons vu à la section 2.0 et à la section 2.6, ce ne sont pas des outils statiques. Ce sont des outils itératifs et il est possible et parfois même souhaitable de les ajuster pendant la mise en œuvre, dans le cadre de la gestion courante du projet, axée sur les résultats. D’ailleurs, le modèle logique et le cadre de mesure du rendement devraient être validés pendant l’élaboration du plan de mise en œuvre ou de son équivalent. D’autres ajustements peuvent s’avérer nécessaires lorsque les circonstances changent pendant la mise en œuvre, ou lorsque les données recueillies par rapport aux indicateurs vous montrent que des ajustements s’imposent si vous voulez atteindre les résultats attendus.

On recommande d’effectuer de tels ajustements lors de la présentation du plan de mise œuvre, et ensuite lors de la présentation du plan de travail annuel ou lors de réunions du comité directeur de projet. Indépendamment du moment choisi, les modifications doivent être soumises à la discussion et approuvées par les principales parties prenantes du projet, y compris Affaires mondiales Canada. De plus, de tels ajustements doivent être justifiés et documentés, et ils ne doivent pas changer la portée, l’échelle ni l’intention du projet.

En particulier, tout changement apporté aux résultats intermédiaires ou ultimes, ou à des cibles à tous les niveaux du modèle logique, doit être discuté avec Affaires mondiales Canada afin de déterminer s’il modifie la portée du projet. Voici des exemples : modification de la portée géographique d’un projet, de son étendue  (p. ex., le nombre et le type de bénéficiaires); suppression, ajout ou modification importante d’un résultat ou des cibles au niveau des résultats et des extrants. Si Affaires mondiales Canada détermine que les changements constituent un changement de portée ou entraînent des augmentations importantes des ressources ou des fonds requis, ces changements déclencheront une modification de l’instrument financier utilisé par le projet et ils devront être approuvés par l’autorité d’approbation initiale à Affaires mondiales Canada.

Si des changements au modèle logique ou au cadre de mesure du rendement déclenchent l’application de la Loi canadienne sur l’évaluation environnementale (2012), il faudra prendre les mesures requises par la Loi afin de s’y conformer.

4.3 Les rapports sur les résultats

L’établissement de rapports fait partie intégrante des activités courantes et du processus décisionnel. La reddition de compte contribue à promouvoir une boucle continue de rétroaction dans laquelle les rapports sur les activités, les extrants et les résultats fournissent de l’information et des analyses pour la prise de décision tout au long du cycle de vie d’un projet.

Qu’entend-on par rapports sur les résultats?

La présentation de rapports sur le rendement axés sur les résultats consiste à rendre compte du niveau d’atteinte des résultats attendus ou des progrès réalisés à leur égard. Il s’agit de comparer ce que l’on espère atteindre avec ce qui est réellement réalisé, et d’expliquer tout écart entre les deux. Pour ce faire, les exécutants doivent évaluer les résultats réels d’après les données sur le rendement en utilisant les indicateurs qualitatives et quantitatives établis dans le cadre de mesure de rendement.

Pourquoi présenter des rapports sur les résultats?

La présentation de rapports sur les résultats, et pas seulement sur les extrants, soutient le processus décisionnel, permet de rendre  compte des progrès à Affaires mondiales Canada, aux parties prenantes locales et à la population canadienne, et fournit une base pour la participation citoyenne au Canada et dans les pays partenaires.

Les rapports représentent donc plus qu’un simple véhicule pour assurer la reddition de compte envers Affaires mondiales Canada. Ils constituent un important outil de gestion, dont les exécutants, les parties prenantes locales et Affaires mondiales Canada se servent pour :

• réfléchir de manière stratégique au sujet du projet, et de la théorie du changement qui l’éclaire, d’une manière continue;
• repérer les problèmes et les enjeux ayant une incidence sur la capacité du projet d’atteindre les résultats attendus;
• apporter des ajustements ponctuels et basés sur des données probantes au projet en se fondant sur les informations sur le rendement;
• tirer certaines leçons afin d’améliorer l’efficacité de l’aide au développement/ des programmes, pendant la durée de vie du projet et au‑delà communiquer au sujet du rendement global du projet et des résultats atteints.

En présentant une analyse systématique de l’évolution du projet à l’égard des résultats attendus, les rapports contribuent à une approche de gestion de projet rigoureuse qui est axée sur les résultats. Ils servent également de base à l’évaluation et à la communication de la contribution d’un projet à l’ensemble de la programmation.

Conseils pour l’élaboration des rapports

Les paragraphes qui suivent présentent des conseils génériques sur la façon de présenter un rapport sur les extrants et les résultats réels (c’est-à-dire les extrants et les résultat réalisés).

Un rapport axé sur les résultats (trimestriel, semi-annuel, annuel ou final) est un historique du rendement à l’égard des résultats réels (étayé par des données recueillies sur les indicateurs définis dans le cadre de mesure du rendement), par rapport aux résultats attendus figurant dans le modèle logique. Tout écart entre les deux devrait être expliqué et comprendre une analyse de leur signification et de leur impact sur le projet. L’historique du rendement devrait être mis en contexte et traiter de tous les risques qui se sont présentés et de la façon dont ils ont été traités.

Pour chaque indicateur

• Présentez les données réelles selon la fréquence de collecte requise dans le cadre de mesure du rendement.
• Analysez les données réelles (en les comparant aux données de base et aux cibles), puis utilisez cette analyse comme fondement pour votre évaluation narrative du niveau d’atteinte des résultats ou des extrants attendus, ou des progrès réalisés à l’égard de ceux-ci.

Comment décrire les réalisations

Dans leur description soit du niveau d’atteinte des résultats ou des extrants, soit des progrès réalisés à leur égard, les exécutants devraient rédiger une description qui s’appuie sur des données réelles (qualitatives et quantitatives) recueillies sur les indicateurs définis dans le cadre de mesure du rendement. Autrement dit, ce sont les données réelles qui appuient les affirmations faites par l’exécutant relativement aux progrès réalisés à l’égard des résultats attendus.

Pour chaque extrant et résultat immédiat

• Décrivez les progrès accomplis pendant la période visée par le rapport.
• Décrivez les progrès cumulatifs réalisés depuis le début du projet.
• Expliquez tout écart, ainsi que tout résultat inattendu (négatif ou positif).

Pour chaque résultat intermédiaire et résultat ultime

• Décrivez les progrès cumulatifs réalisés depuis le début du projet.
• Expliquez tout écart, ainsi que tout résultat inattendu (négatif ou positif).

Autres considérations

Veillez à ce que la description des résultats ne décrive pas seulement les changements qui se sont concrétisés, mais qu’elle fournisse également assez d’information sur le contexte et donne un sens de la proportionnalité. Par exemple :

• Où le résultat s’est-il produit? (Dans quelle région? Quelle est la répartition dans la région?)
• Qui sont les bénéficiaires et les intermédiaires qui ont vécu le changement et combien sont-ils  (femmes, hommes, filles, garçons, groupes particuliers, organisations)?
• Le cas échéant, il faut fournir des exemples démontrant, données probantes à l’appui, les progrès liés à  l’égalité entre les sexes, la viabilité de l’environnement et la gouvernance.
• Tous les facteurs ou éléments qui pourraient expliquer le rendement (changements du contexte politique, catastrophes, etc.) devraient être mentionnés.

Veuillez-vous assurer que vos explications sont claires et concises. Si vous obtenez des résultats inattendus, rapportez-les également.

Progrès réalisés depuis le début du projet jusqu’à présent (cumul)

L’utilisation de l’eau potable par les ménages de la région X a augmenté modestement depuis le début du projet, au début de 2008, comme le montrent les pourcentages enregistrés en 2009 (dernière période de rapport), passant de 24 % parmi les 250 ménages de la communauté A et de 10 % parmi les 100 ménages de la communauté B à au moins 40 % et 15 % respectivement. Même si aucune enquête auprès des ménagères n’est prévue cette année, les preuves recueillies l’observation et des conversations avec les parties prenantes de la communauté (y compris la Coopérative des femmes pour l’eau, qui compte des membres des deux communautés) indiquent que plus de ménages des deux communautés utilisent les puits cette année.

Une femme à la tête d’un ménage de la communauté A qui vit dans une petite exploitation agricole en périphérie de la région X a déclaré : « Cette année, je suis allée chercher l’eau au puits plutôt qu’à la rivière, contrairement à ce que j’avais l’habitude de le faire. L’année dernière, mes enfants ont été souvent malades et ma fille n’avait pas le temps d’aller à l’école. Maintenant, mes enfants sont en meilleure santé et ma fille peut aller à l’école presque chaque matin ».

La réalisation jusqu’ici de plusieurs extrants (y compris la construction de 5 puits sur 6, la tenue de deux séances de formation sur l’entretien des puits et l’organisation de 10 séances de sensibilisation communautaire portant sur l’utilisation de l’eau potable salubre) s’est traduite par un accès accru à de l’eau potable et à une meilleure compréhension de son importance par les membres des deux communautés (voir les données réelles sur les résultats immédiats 1110 et 1120) – les deux extrants susmentionnés ayant contribué à cette hausse de l’utilisation.

Exemple illustré d’un rapport sur les résultats^{Note de bas de page 46}

Résultat intermédiaire attendu : 1100 Utilisation accrue de l’eau potable dans un contexte d’environnement durable par les ménages dans la collectivité X

De plus, on a observé que moins de femmes des deux communautés utilisaient la rivière comme source d’eau, ce qui confirme les chiffres relatifs à l’utilisation accrue d’eau potable salubre. Au début du projet, 80 % des 520 femmes de la communauté A et 95 % des 260 femmes de la communauté B utilisaient la rivière quotidiennement. En janvier 2010, ces pourcentages étaient passés respectivement à 65 % de 520 (communauté A) et 90 % de 260 (communauté B). Comme le montre l’indicateur, les changements souhaités ne se sont pas opérés également pour les deux communautés. Comme il est précisé dans le rapport sur l’extrant 1111, la construction du dernier des trois puits prévus pour les quartiers de la communauté B (soit le puits prévu pour le quartier le plus populeux) a dû être reportée en raison d’un risque de contamination attribuable à la présence de latrines qui étaient trop près du site prévu. La construction du dernier puits l’année prochaine devrait corriger ce déséquilibre.

Quelque 60 % des femmes de la communauté A et 23 % des femmes de la communauté B estiment utiliser de l’eau propre « la plupart du temps » ou « tout le temps ». Il s’agit d’une augmentation de 35 % et 15,4 % respectivement depuis le début du projet. On observe un écart entre le pourcentage de femmes qui estiment utiliser de l’eau propre et le pourcentage de femmes qui utilisent réellement de l’eau salubre (considérant le nombre de femmes qui utilisent encore l’eau de la rivière), ce qui indique qu’il reste du travail de sensibilisation communautaire à faire.

Les membres de la Coopérative des femmes pour l’eau continuent d’inspecter les puits pour s’assurer que leur utilisation n’entraîne pas d’accumulation d’eau et qu’il n’y a pas de fuite. Le pourcentage d’inspections des puits approuvés est passé de 90 % (9/10) durant la première année à 70 % (7/10) durant la deuxième année. Cette baisse est un signe que les utilisateurs doivent être encouragés à signaler promptement les accumulations et les fuites à la Coopérative des femmes pour l’eau pour lui permettre de commander les pièces et de procéder aux réparations rapidement.

Variance (écarts) et résultats inattendus

Le pourcentage des femmes des deux communautés qui utilisent quotidiennement la rivière est plus élevé que prévu. Dans le cas de la communauté A, on a constaté un écart de 15 % entre la cible de cette année pour cet indicateur (50 %/520 [260 femmes] — voir le plan de travail annuel) et l’utilisation réelle (65 %/520 [338 femmes]). On mène actuellement un sondage informel auprès des membres de la Coopérative des femmes pour l’eau pour savoir pourquoi les femmes qui ont déjà accès aux puits se rendent quand même à la rivière, et des ajustements seront apportés aux séances de sensibilisation en fonction des constatations.

Dans le cas de la communauté  B, l’écart de 40 % entre la cible annuelle de 55 %/260 (143) femmes établie dans le plan de travail annuel de cette année et l’utilisation réelle de 90 %/260 (234 femmes) est attribuable en grande partie au retard de construction décrit précédemment. De nouveaux sites ont été proposés, et une analyse environnementale de ces sites a confirmé le bien-fondé de leur choix par la communauté. Entre-temps, étant donné que des observations et des preuves anecdotiques indiquent que de nombreuses femmes de la communauté B étaient réticentes à utiliser d’elles-mêmes les puits situés dans les quartiers de la communauté A, nous appuyons le projet de la Coopérative des femmes pour l’eau d’organiser des collectes d’eau intercommunautaires.

Pour des conseils complets sur la présentation des rapports, veuillez consulter le Guide de rapport des résultats en matière d’aide internationale pour les partenaires d'Affaires mondiales Canada, et ses compagnons, Liste de vérification 5.1 pour la gestion axée sur les résultats – Analyse des rapports de résultats des exécutants de projets d’Affaires mondiales Canada et Fiche de conseil en gestion axée sur les résultats no. 3.2 – Résultats, indicateurs, données de références, cibles et données réelles : Quelle est la différence ?.

Conclusion

Rappel

La gestion axée sur les résultats vise principalement à maximiser la réalisation des résultats attendus d’un programme / portefeuille et d’un projet.

Cela signifie qu’il faut gérer le projet en fonction de résultats du début à la fin et qu’il faut s’assurer qu’un accent constant est mis sur l’atteinte de résultats comme suit :

• S’assurer que la conception d’un programme / portefeuille et d’un projet est rigoureuse et fondée sur une analyse approfondie de l’enjeu et du contexte dans lequel il existe et élaborer une solution réaliste fondée sur des données probantes, à savoir, la théorie du changement du projet
• Veiller à ce que les documents de planification et de mise en œuvre d’un programme / portefeuille et d’un projet (le modèle logique, la matrice des extrants et des activités, l’exposé narratif de la théorie du changement, ainsi que les outils budgétaires et de gestion des risques) reflètent la théorie de changement
• Veiller à ce que les documents de planification et de mise en œuvre d’un programme / portefeuille et d’un projet comprennent un cadre (le cadre de mesure du rendement) et une stratégie de suivi, y compris des indicateurs, des données de base, des cibles et un plan de suivi et d’évaluation axé sur les résultats.
• Mobiliser les intervenants clés, y compris les intermédiaires et les bénéficiaires, lors de la conception, de la planification et de la mise en œuvre
• Tenir compte de l’égalité entre les sexes, de la viabilité environnementale et de la gouvernance dans tous les aspects de la planification, de la conception et de la mise en œuvre axées sur les résultats du projet
• Garder à l’esprit que les résultats intermédiaires et ultimes ne relèvent pas du contrôle exclusif d’une organisation, d’un programme / portefeuille et d’un projet, mais qu’une organisation ou un projet contribue à l’atteinte de ces résultats et influe sur ceux-ci
• Entreprendre le suivi et l’évaluation au moyen de la collecte et de l’analyse de données sur les extrants et les indicateurs de résultats afin de mesurer le niveau d’atteinte des résultats attendus ou les progrès réalisés en vue de les atteindre.
• Utiliser les données d’indicateurs recueillies et évaluées pour comparer les résultats attendus avec les résultats réels, et rajuster les opérations tout au long de la mise en œuvre du projet afin de maximiser l’atteinte des résultats
• Cerner, suivre et gérer les risques tout au long de la durée d’un programme / portefeuille et d’un projet
• Apprendre et échanger des leçons, et les intégrer aux décisions lors de la mise en œuvre et dans l’établissement des futurs programmes
• Préparer des rapports fondés sur des données probantes (en utilisant l’analyse et les données sur les extrants et les résultats) faisant état du niveau d’atteinte des résultats attendus ou des progrès réalisés en vue de les atteindre.

Ce guide sera mis à jour périodiquement selon les besoins. Les questions et commentaires sur ce guide devraient être acheminés à gar.rbm@international.gc.ca.

Bibliographie

Bradley, D. et H. Schneider. Participatory Approaches: A Facilitator’s Guide – Part 1. Kingston upon Thames, R.-U., Voluntary Service Overseas, 2004.

Canada. Affaires Mondiales Canada. Politique en matière d’égalité entre les sexes [en ligne], 2010.

Canada. Agence Canadienne de Développement International. La gestion axée sur les résultats à l’ACDI: Guide d’introduction aux concepts et aux principes [en ligne], 1999.

Canada. Agence de Développement International (depuis 2015 Affaires Mondiales Canada). La gestion axée sur les résultats – Énoncé de principe 2008 [en ligne], 2008.

Canada. Affaires Mondiales Canada. Gestion axée sur les résultats – Énoncé de principe 2008 : Définitions révisées des principaux termes [en ligne], 2008.

Canada. Justice Canada. Loi canadienne sur l’évaluation environnementale [en ligne]. Lois du Canada 2012, ch. 19, art. 52.

Canada. Justice Canada. Loi sur la responsabilité en matière d’aide au développement officielle [en ligne]. Lois du Canada 2008, ch. 17, art. 4.

Canada. Secrétariat du Conseil du Trésor du Canada. Des résultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouvernement du Canada [en ligne], 2000.

Canada. Secrétariat du Conseil du Trésor du Canada. Pour soutenir des évaluations efficaces : Guide d’élaboration de stratégies de mesure du rendement [en ligne], 2010.

Canada. Secrétariat du Conseil du Trésor du Canada. Approches d’évaluation axées sur la théorie : Concepts et pratiques [en ligne], 2012.

Crossman, Ashley. Units of Analysis.

Drucker, Peter F. The Practice of Management, New York, Harper & Row, 1954.

Funnell, Sue, C., et Patricia J. ROGERSs, Purposeful Program Theory, Effective use of Theories of Change and Logic Models, John Wiley and Sons, Inc., 2011.

Groupe des Nations Unies pour le Développement. Results-Based Management (RBM) [en ligne].

Investopia, What are leading, lagging and coincident indicators? What are they for? [en ligne].

Morra Imas, Linda G. et Ray C. RIST, The Road to Results: Designing and Conducting Effective Development Evaluations, Washington, D.C., Banque mondiale, 2009. License: CC BY 3.0 IGO.

Organisation de Coopération et de Développement Économiques – Le Comité D’aide au Développement. « Normes de qualité pour l’évaluation du développement », Lignes directrices et ouvrages de référence du CAD. Paris, OCDE, 2010.

Project Management Body of Knowledge (PMBOK) – Work Breakdown Structure

Rietbergen-McCracken, Jennifer, éd. “Participation in practice: the experience of the World Bank and other stakeholders.” World Bank discussion papers, no. WDP 333. Washington, D.C., Banque mondiale, 1996.

Vogel, Isabel, Review of the use of ‘Theory of Change’ in international development. Londres, R.-U., Department for International Development, 2012.

Universite du Wisconsin-Extension, Program Development and Evaluation.

Zall Kusek, Jody et Ray C. RIST, Ten Steps to a Results-Based Monitoring and Evaluation System. Washington, D.C., Banque mondiale, 2004. License: CC BY 3.0 IGO