Évaluation formative de la Banque canadienne de grains (2016-2021) – Résumé exécutif

Raison d'être et objectif de l'évaluation

Cette évaluation formative couvre l'accord de subvention quinquennal (2016-2021) de la Banque canadienne de grains (BCG) avec Affaires Mondiales Canada (AMC) pour un montant de 125 millions de dollars. Elle évalue la performance et la valeur ajoutée de la BCG dans la réponse aux besoins humanitaires et l'alignement sur les politiques pertinentes au cours de la période, afin de supporter AMC dans ses décisions sur le renouvellement du financement de base de la BCG. Un accord de subvention a permis de financer les programmes d'assistance alimentaire, de nutrition, d'engagement public et de politique publique de la BCG, ainsi qu'une contribution à la gestion du programme et aux frais généraux. Selon les termes du programme, le BCG a apporté des fonds de contrepartie dans une proportion de un pour quatre. L'assistance, qui vise principalement à répondre aux besoins des populations touchées en matière de sécurité alimentaire et de nutrition, a été fournie par le biais de 155 initiatives distinctes dans 31 pays. Les actions ont été mises en œuvre par 15 agences membres de la BCG et leurs partenaires, le siège du BCG assurant la coordination générale, le soutien technique et la liaison avec AMC.

Logique d'intervention

Au cours de la période quinquennale 2016-2021, la situation mondiale en matière de sécurité alimentaire et de nutrition s'est détériorée après une période d'amélioration de 15 ans. Les Nations unies ont estimé que d'ici 2021, près de 10 % de la population mondiale serait exposée à des niveaux élevés d'insécurité alimentaire en raison de chocs sanitaires et économiques, de conflits et d'événements climatiques et environnementaux.

Pour y remédier, l'objectif ultime du programme est de "réduire la faim, améliorer la nutrition et renforcer la sécurité alimentaire des personnes et des ménages touchés par la faim dans les pays en développement". Cet objectif est soutenu par cinq résultats intermédiaires liés à la consommation alimentaire, à la nutrition, aux moyens de subsistance, aux politiques nationales et à la sensibilisation, ainsi que par trois thèmes transversaux: l'égalité des sexes, la sensibilité à l'environnement et l'apprentissage organisationnel.

Champ d'application et méthodologie

Cette évaluation s’est concentrée sur deux des cinq résultats intermédiaires :

1. la stabilisation et l'augmentation de la consommation immédiate de nourriture par les personnes touchées par la faim, et
2. l'amélioration de la qualité du régime alimentaire et des pratiques nutritionnelles et la réduction des maladies chez les personnes et les ménages touchés par la faim, ainsi que sur les résultats immédiats qui y sont associés.

Les objectifs spécifiques de cette évaluation étaient d'évaluer la performance humanitaire de la BCG en répondant aux besoins humanitaires par le biais de dix questions d'évaluation sous sept critères : Couverture, Responsabilité et Participation, Efficacité, Efficience, Cohérence, Complémentarité et Connectivité. Elle a également évalué comment et dans quelle mesure les processus mis en place dans le cadre de la subvention évaluée ont contribué à la performance, et dans quelle mesure le BCG a apporté une valeur ajoutée.

Après une évaluation de l'évaluabilité, un processus initial et un rapport visant à clarifier la portée de l'évaluation et à raffiner les questions d'évaluation, des informations ont été recueillies grâce à une approche utilisant un examen détaillé des rapports relatifs à 30 projets (représentant 20 % des fonds du programme), des études de cas de trois pays (y compris des discussions avec des groupes cibles et des entretiens en face à face et à distance au Liban, au Sud-Soudan et au Zimbabwe), une enquête électronique et des entretiens à distance avec le personnel du BCG, des agences membres et des partenaires. L'évaluation a porté sur un total de 30 projets financés par les fonds d’AMC au cours de la période d'évaluation. Ensemble, ces projets représentent un financement de 27,8 millions de dollars (environ 20 % du total des fonds du programme pour la période évaluée). L'équipe d'évaluation était composée de quatre experts internationaux et de trois experts nationaux (un dans chacun des trois pays étudiés).

Résultats de l'évaluation et recommandations par question d'évaluation

QE 1 : Dans quelle mesure le BCG et ses partenaires ont-ils agi avec impartialité et donné la priorité aux personnes vulnérables et à celles qui en ont le plus besoin ?

Le BCG a fortement adhéré aux principes d'impartialité et de priorisation des plus vulnérables grâce à un cadre solide de systèmes, de procédures, d'orientations et de soutien au renforcement des capacités, combiné à un ciblage des bénéficiaires agile et adapté au contexte. L'un des principaux moteurs de cette démarche est le vaste réseau de partenaires locaux de mise en œuvre du BCG, qui peuvent utiliser leurs connaissances locales pour identifier et atteindre les personnes les plus démunies, bien que dans un petit nombre de cas, les organismes gouvernementaux aient pu être perçus comme participant à la sélection des bénéficiaires. Les besoins nutritionnels ont été moins bien pris en compte, en partie à cause des limites imposées à l'utilisation des ressources et, dans une moindre mesure, parce que les orientations et le renforcement des capacités en matière de programmation nutritionnelle d'urgence ont été relativement limités.

• Recommandation 1 : Examiner comment garantir une clarté absolue sur la provenance de l'aide et la neutralité dans les pays où des relations de travail étroites avec le gouvernement peuvent être mal interprétées.
• Recommandation 2 : Le BCG achève la révision des lignes directrices sur l'alimentation complémentaire et élabore ou fournit d'autres lignes directrices sur la nutrition fondées sur des normes et des protocoles internationaux.
• Recommandation 3 : L’AMC devrait envisager de permettre l'attribution d'un pourcentage de financement sur la base des preuves recueillies par les partenaires du BCG ayant une forte présence sur le terrain.

QE 2 : Dans quelle mesure l'aide alimentaire et nutritionnelle fournie par le BCG a-t-elle permis de répondre aux besoins immédiats des bénéficiaires (y compris les plus vulnérables) en matière de sécurité alimentaire et de nutrition à court et à moyen terme ?

Dans l'ensemble, le portefeuille d'aide alimentaire du BCG était globalement bien ciblé et répondait localement aux besoins alimentaires de base, mais seule une petite partie du financement d’AMC a été allouée aux besoins nutritionnels critiques - en partie à cause de la nature cloisonnée de ses mécanismes de financement. En outre, la nature à court terme de nombreuses actions a eu pour conséquence que les réponses n'ont pas toujours comblé les lacunes alimentaires ou nutritionnelles et qu'un pourcentage significatif d'entre elles ont dû être étendues au-delà de leur portée temporelle initiale. Des tentatives ont été faites pour améliorer la pertinence en mettant en œuvre des programmes aux objectifs complémentaires, mais les contraintes de ressources en matière de suivi et d'évaluation et la pandémie de Covid-19 ont entraîné des lacunes en matière d'apprentissage dans certains domaines.

• Recommandation 4 : L’AMC devrait envisager d'engager des ressources supplémentaires pour renforcer les actions en faveur de la nutrition afin d'atteindre les personnes les plus vulnérables.
• Recommandation 5 : L’AMC et la BCG devraient travailler ensemble pour identifier les créneaux où ils peuvent collaborer pour combler les lacunes mondiales en matière de nutrition dans le contexte humanitaire.
• Recommandation 6 : L’AMC devrait envisager de modifier ses politiques et son architecture de financement pour permettre aux réponses de l'aide alimentaire et de la nutrition d'être "boulonnées" en tant qu'éventualités / modificateurs de crise aux programmes de développement et de résilience si le besoin s'en fait sentir. De même, l’AMC devrait examiner comment le processus de transition des populations affectées de l’aide alimentaire vers des programmes de résilience à plus long terme peut être facilité car cela est clairement dans leur intérêt à plus long terme.

QE3 : Dans quelle mesure les personnes les plus vulnérables touchées par la crise ont-elles été consultées et ont-elles pu influencer les décisions relatives à l'aide ?

La BCG et les organisations membres ont largement réussi à garantir la participation des populations vulnérables, en grande partie grâce à leur méthode de travail avec les partenaires locaux de mise en œuvre et aux exigences de financement pour les évaluations de la situation afin d'éclairer la conception du projet. Les mécanismes et processus de retour d'information et de réclamation se sont considérablement améliorés au cours du programme, et des processus efficaces de responsabilisation des populations affectées sont désormais une composante intégrale de tous les projets.

QE4 : Dans quelle mesure les projets des membres du BCG (financés par l’AMC) ont-ils atteint les résultats escomptés, dans les délais impartis, à un niveau de qualité acceptable et selon la modalité la plus appropriée ?

Les projets ont atteint leurs objectifs en matière d'aide alimentaire - par exemple les scores de consommation alimentaire - dans la plupart des cas, et leurs résultats en matière de nutrition dans de nombreux cas où des objectifs ont été identifiés (dans la petite proportion de programmes où les aspects nutritionnels ont été inclus - généralement des actions à plus long terme). Une série de facteurs ont influé sur la réalisation des résultats, notamment les ressources limitées, la rapidité des réponses, la courte durée des projets, la capacité des partenaires, le contexte environnemental, politique et économique, ainsi que les questions culturelles et comportementales. Les décisions relatives aux modalités et aux mécanismes de mise en œuvre des programmes individuels ont été largement adaptées au contexte et fortement influencées par les préférences des bénéficiaires. Les transferts en nature ont été largement utilisés - en partie en raison de la préférence déclarée des bénéficiaires, mais aussi en raison de la position quelque peu "neutre" de certains membres/partenaires à l'égard de l'aide en espèces et sous forme de bons (CVA).

• Recommandation 7 : La BCG devrait développer davantage ses orientations sur l'évaluation de la situation et la conception de projets, tant pour l'aide alimentaire que pour la nutrition d'urgence.
• Recommandation 8 : Optimiser la portée communautaire du BCG pour améliorer les résultats en matière de nutrition en intégrant des composantes nutritionnelles dans les programmes d'aide alimentaire.
• Recommandation 9 : Envisager de permettre l'allocation de fonds à des crises de sécurité alimentaire identifiées par des alertes "informelles" générées par des partenaires utilisant des méthodes approuvées.
• Recommandation 10 : Investir des ressources dans la collecte de données sur l'ensemble des besoins d'une population en matière d’aide alimentaire et sur les avantages et les inconvénients des décisions de demi-ration, le cas échéant.
• Recommandation 11 : Étudier la possibilité pour l’AMC d'autoriser un financement complémentaire pour faire face à des situations d'urgence spécifiques qui durent plus longtemps que prévu ou revoir le système d'approbation des extensions de projets existants.
  Dans certains cas, les périodes de soudure durent plus longtemps que prévu et les populations touchées ont besoin d'un soutien à plus long terme. La BCG est en mesure de répondre à ces situations en prolongeant les projets, mais cela a pour conséquence de retirer des ressources à d'autres organismes.
• Recommandation 12 : L’AMC devrait aider la BCG à renforcer ses capacités afin de s'assurer que les partenaires sont prêts pour la CVA.

QE5 : Dans quelle mesure les résultats du BCG ont-ils été fournis avec l'utilisation la plus rationnelle et la plus économique des intrants, et avec la modalité la plus appropriée ?

La BCG, les membres et les partenaires ont fait preuve d'une utilisation rationnelle et économique des intrants pour les programmes de nutrition, mais le fait de combiner les projets d'aide alimentaire et de nutrition plutôt que de mener des actions autonomes distinctes permettrait d'accroître l'efficacité dans la réalisation des résultats en matière de sécurité alimentaire et de nutrition. Des niveaux d'efficacité satisfaisants ont été atteints en ce qui concerne les modalités au niveau individuel ou au niveau du programme, mais des améliorations sont possibles au niveau du portefeuille et au niveau stratégique : il s'agit notamment d'améliorer la préparation à la mise en œuvre des approches fondées sur l’aide en espèces et par les bons, ainsi que les processus de documentation et d'établissement de rapports liés aux modalités de l'CVA.

• Recommandation 13 : L’AMC devrait évaluer l'utilité et l'exactitude des données sur le coût par bénéficiaire communément collectées et la manière dont elles sont utilisées pour éclairer la sélection des modalités. Cela permettrait de tirer des enseignements sur les avantages, en termes d'efficacité et d'efficience, de l'ajout des aliments thérapeutiques et des aliments complémentaires aux programmes d'aide alimentaire.
• Recommandation 14 : L’AMC et la BCG devraient envisager de cibler et de déterminer de manière plus proactive qui et où sont les pays et les lieux qui ont besoin d’aide alimentaire d'urgence d'année en année et de concevoir des programmes (par exemple, des filets de sécurité sociale) pour répondre aux besoins à long terme.
• Recommandation 15 : L’AMC et la BCG devraient renforcer leur préparation et leur action anticipative et envisager de passer à une mise en œuvre plus localisée et à des approches de programmation plus légères et plus efficaces, y compris une évaluation de leur état de préparation au changement climatique.
• Recommandation 16 : Mettre à jour les politiques et stratégies d’AMC et de la BCG en adoptant une position plus favorable à l'CVA, conformément à celle d'autres donateurs clés, notamment en mettant à jour les orientations, la terminologie et les modèles de rapports relatifs à l'CVA.
• Recommandation 17 : L’AMC soutiendra la BCG dans l’analyse de l'efficacité relative des différentes modalités et des différents mécanismes de mise en œuvre et à rassembler les enseignements tirés à des fins de diffusion et de renforcement des capacités.

QE6 : De quelle manière les capacités des agences membres et de leurs partenaires de mise en œuvre, des bénéficiaires, des populations ciblées et de leurs représentants ont-elles été reconnues et améliorées/renforcées ?

La BCG apprécie clairement les différents niveaux de capacité de ses membres et de ses partenaires et cherche à s'en inspirer ; au cours du programme, des améliorations significatives ont été apportées aux capacités dans certains domaines transversaux essentiels. Certaines améliorations pourraient être apportées au soutien technique, à l'orientation et au renforcement des capacités en matière de nutrition, d'CVA et, dans une moindre mesure, d'aide alimentaire.

• Recommandation 18 : L’AMC devrait envisager de faire de la nutrition un thème transversal, afin de s'attaquer au fardeau mondial croissant de la malnutrition et d'améliorer l'efficience et l'efficacité de l'aide alimentaire.
• Recommandation 19 : Le BCG et ses membres améliorent leurs capacités d'évaluation des capacités afin de mieux cibler les efforts de renforcement des capacités de la CVA sur les agences/partenaires les plus faibles. L’AMC soutiendra la BCG à s'assurer qu'un conseiller technique de la CVA est nommé.
• Recommandation 20 : La BCG devrait élaborer un plan de renforcement des capacités afin d'accroître les capacités des membres et des partenaires en matière de nutrition (mesures/évaluations, mise en œuvre, suivi et évaluation). Cela pourrait éventuellement impliquer l'engagement de conseillers techniques régionaux capables de fournir une formation sur le terrain et/ou d'assurer la qualité de la surveillance nutritionnelle.

QE7 : Les membres et les partenaires de mise en œuvre ont-ils bien coordonné leur action avec celle d'autres acteurs ?

L'appartenance de la BCG présente une valeur ajoutée significative grâce à une méthode de travail très collégiale et, au cours de la période de subvention, la BCG a souligné la nécessité d'améliorer la coordination et l'a soutenue, en particulier avec des entités externes telles que le gouvernement et les systèmes de clusters. Ces efforts ont été efficaces, mais certains domaines restent à renforcir, notamment l'implication des petits partenaires dans les réseaux nationaux et le partage des enseignements entre les agences au niveau de la BCG.

• Recommandation 21 : La BCG doit poursuivre ses efforts de renforcement des capacités et des exigences en matière de coordination (et d'autres questions qui contribuent également aux capacités du personnel), et encourager / soutenir les petits membres et partenaires à s'enregistrer auprès des organes de coordination au minimum.
• Recommandation 22 : Envisager une approche collective dans laquelle tous les membres de la BCG et les partenaires de mise en œuvre sont reconnus comme membres d'un groupe sectoriel. De cette manière, même si la capacité du personnel d'une agence particulière est faible, ils peuvent participer par procuration et recevoir des mises à jour.
• Recommandation 23 : Que les conseillers techniques/personnes de référence au siège de la BCG participent au groupe sectoriel mondial sur la nutrition afin d'aider à comprendre la place de la nutrition dans le monde, d'identifier les créneaux dans lesquels la BCG peut contribuer à lutter contre les taux croissants de malnutrition dans le monde, et de déterminer la meilleure façon de coordonner l'action avec d'autres acteurs sur le terrain.
• Recommandation 24 : La participation du personnel au siège de la BCG au niveau mondial peut fournir des informations au niveau mondial (informations sur la situation sur le terrain) et soutenir en particulier l'agenda de la "localisation" - par exemple, que les groupes nationaux comprennent des membres locaux qui connaissent la situation sur le terrain.

QE8 : Comment et dans quelle mesure les nouveaux critères et processus de projet introduits dans la subvention 2016-mars 2021 ont-ils contribué ou entravé les performances observées en matière de satisfaction des besoins humanitaires ?

Plusieurs des "nouveaux" critères et processus de projet - en particulier ceux permettant de suivre les résultats de l'aide alimentaire - ont contribué à la performance globale du programme en vue de répondre aux besoins humanitaires, tandis que d'autres (par exemple, certains liés au genre) ont donné peu de résultats pour le niveau d'effort requis. En outre, la prolifération de nouvelles lignes directrices et de processus sur les normes du Cadre intégré de classification de la sécurité alimentaire (IPC) au cours de cette période de subvention a réduit le temps disponible pour améliorer les capacités, les interventions, les orientations et les résultats en matière de nutrition ou d'assistance en espèces et en bons (CVA).

• Recommandation 25 : Dans les cas où les données de l'IPC ne sont pas disponibles, la BCG et l’AMC conviennent mutuellement d'autres sources acceptables de données, d'indicateurs et de niveaux critiques nécessaires pour les approbations de financement d’AMC.
• Recommandation 26 : Qu'au lieu d'un "de feu vert", l’AMC définisse clairement ses principes et ses critères, identifie les indicateurs clés requis, les niveaux d'IPC et les exigences en matière de rapports.
• Recommandation 27 : Reconsidérer le niveau minimum d'information nécessaire pour s'assurer que le projet est efficace, en identifiant qui et comment il sera utilisé. Réduire le nombre d'indicateurs et soutenir la collecte d'indicateurs en temps réel afin que les données puissent éclairer la programmation (c'est-à-dire moins d'indicateurs ciblés), en plus de fournir des données aux donateurs.
• Recommandation 28 : Fixer des niveaux plus modestes de données requises (tant pour l'analyse de la situation que pour l'établissement de rapports) en fonction de la durée et/ou du niveau de financement et/ou de la disponibilité des données existantes des projets. Définir clairement les indicateurs clés limités sur lesquels le programme sera évalué.
• Recommandation 29 : Inclure des indicateurs nutritionnels clés pour les programmes d'aide alimentaire, en plus des indicateurs de sécurité alimentaire.

QE9 : Dans quelle mesure les actions financées ont-elles amélioré leur vulnérabilité, les aspects liés au genre et à la diversité à la lumière des politiques et pratiques du BCG et d’AMC en matière de genre et de vulnérabilité en vigueur à l'époque ?

L'équipe d'évaluation a constaté des améliorations significatives dans la stratégie, la politique, les orientations, les outils et les pratiques de la BCG en ce qui concerne le genre et la prévention de l'exploitation et des abus sexuels, et des améliorations moindres en ce qui concerne la vulnérabilité et la diversité. Des progrès limités ont été accomplis dans la réalisation des résultats nutritionnels sexospécifiques définis dans le modèle logique de la BCG et décrits dans le Politique d’aide internationale féministe du Canada (PAIF) d’AMC. Certaines actions visant à remédier aux lacunes sont déjà en cours à la suite du rapport de la BCG sur les "meilleures pratiques en matière de programmation sensible au genre - Délégation au genre" produit en juin 2019. Cependant, l’AMC devrait envisager d'augmenter le financement des programmes d'aide alimentaire à court terme et des programmes voisins à plus long terme pour permettre de s'attaquer à la charge de travail excessive des femmes et des jeunes filles. En outre, le financement d’AMC pour permettre une meilleure évaluation de l'état nutritionnel permettrait de mieux prendre en compte les besoins nutritionnels de tous les bénéficiaires, mais devrait se concentrer sur les besoins nutritionnels spécifiques et supplémentaires des différents types de femmes, de filles et d'autres groupes vulnérables clés (âge et handicap).

• Recommandation 30 : L'équipe d'évaluation soutient les recommandations pour les programmes d'aide alimentaire élaborées par la BCG.
• Recommandation 31 : L’AMC devrait envisager d'augmenter le financement dans le cadre de la PAIF et des programmes d'aide alimentaire à court terme et des programmes voisins à plus long terme pour des actions visant à remédier à la charge de travail excessive des femmes et des filles, et veiller à ce que suffisamment de temps et de ressources soient consacrés au type de changement transformateur en matière de genre que la PAIF exige (et pour lequel la BCG s'engage), d'une manière qui ne précipite pas ou n'augmente pas les risques pour les femmes et les filles et la réputation de l'organisation dans des contextes fortement patriarcaux.
• Recommandation 32 : L’AMC devrait mettre à jour la PAIF afin de reconnaître l'importance d'assurer un temps et un soutien adéquats pour qu'un changement transformationnel se produise dans le cadre de la programmation, ainsi qu'une approche sensible dans des contextes patriarcaux spécifiques.
• Recommandation 33 : L’AMC, en étroite collaboration avec les agences, devrait demander, suivre et analyser des informations plus détaillées sur le genre, la vulnérabilité et la diversité lorsqu'elles existent, et que d'autres données sur la vulnérabilité (liées aux objectifs du programme) soient plus largement collectées, incluses dans les évaluations de situation et communiquées à l'AMC, et que la BCG et l’AMC analysent les données et partagent les résultats et les apprentissages.
• Recommandation 34 : L’AMC devrait envisager des augmentations de financement pour permettre une programmation plus importante consacrée à l'évaluation de l'état nutritionnel et à la satisfaction des besoins nutritionnels de tous les bénéficiaires, mais en mettant l'accent sur les besoins nutritionnels spécifiques et supplémentaires de différents types de femmes et de filles.

QE10 : Dans quelle mesure les actions étaient-elles cohérentes avec les orientations et les politiques environnementales de la BCG et d’AMC en vigueur au cours de la période d'évaluation ?

Bien que l’AMC ait renforcé les exigences en matière d'évaluation environnementale, seules quelques évaluations ont été réalisées, et certaines d'entre elles n'ont pas tenu compte de considérations pratiques et ont retardé les meilleurs intérêts des communautés. Toutefois, certains des efforts environnementaux accrus déployés par la BCG ont été couronnés de succès et justifient un soutien supplémentaire pour la poursuite du renforcement des capacités, bien que l'utilisation des "évaluations environnementales" ne soit pas toujours pertinente et qu'une approche flexible de leur application doive être appliquée.

• Recommandation 35 : Soutien d’AMC à la BCG pour accroître les efforts pratiques visant à réduire les impacts environnementaux de la programmation de l'aide alimentaire humanitaire, y compris :
  • Intensification des efforts visant à modifier les pratiques environnementales liées au fonctionnement général (par exemple, l'impact environnemental des bureaux et des déplacements)
  • Promotion des technologies de l'information et des méthodes à distance pour le suivi et l'évaluation, le renforcement des capacités et le partage des informations et des enseignements.
  • Sensibilisation et soutien à la cuisson économe en combustible plus holistique et à faible technicité - y compris la diffusion des connaissances sur la nécessité d'utiliser des types d'aliments nécessitant des temps de cuisson plus courts.
• Recommandation 36 : Examiner plus attentivement la nécessité de procéder à des évaluations environnementales.

Réponses de la direction

Réponse du Ministère : Le ministère a pris note des constatations et recommandations du consultant et les a partagées avec les parties prenantes concernées pour considération.

Réponse du partenaire de la coopération : Le partenaire a pris note des conclusions et recommandations du consultant et les a partagées dans leur organisation pour considération

Si vous souhaitez obtenir une copie du rapport d’évaluation, veuillez communiquer avec info@international.gc.ca.