Évaluation du programme de développement régional pour les Caraïbes, de 2011-2012 à 2016-2017

Rapport final

Direction de l’évaluation de l’aide internationale (PRA)
Affaires Mondiales Canada
Avril 2018

Sigles et abréviations

ACDI

Agence canadienne de développement international (ancienne désignation)

AusAID

Australian Agency for International Development

BDC

Banque de développement des Caraïbes

CAD-OCDE

Comité d’aide au développement de l’OCDE

CARICOM

Communauté des Caraïbes

CARILED

Programme de développement économique local dans les Caraïbes

CDM-HIP

Programme de mise en œuvre harmonisée de la gestion globale des catastrophes

CEP

Chef d’équipe de projet

DFID

Ministère du Développement international du Royaume-Uni

EEC

Éducation pour l’emploi de la CARICOM

EFPT

Enseignement et formation techniques et professionnels

MAECD

Ministère des Affaires étrangères, du Commerce et du Développement

MAECI

Ministère des Affaires étrangères et du Commerce international du Canada (ancienne désignation)

OCDE

Organisation de coopération et de développement économiques

ONU

Organisation des Nations Unies

OPS

Organisation panaméricaine de la santé

OSC

Organisation de la société civile

PRSRC

Projet de renforcement des statistiques dans la région des Caraïbes

PEIC

Programme d’entrepreneuriat pour l’innovation dans les Caraïbes

PIB

Produit intérieur brut

PJSC

Programme pour la justice et la sécurité des citoyens

PNUD

Programme des Nations Unies pour le développement

PROPEL

Promotion de la production agricole régionale par la création d’entreprises et de réseaux

RRC

Réduction des risques liés aux catastrophes

RRCC

Réduction des risques liés aux catastrophes dans les Caraïbes

SCGD

Service consultatif sur la gestion de la dette

SEMCAR

Appui à la gestion économique dans les Caraïbes

USAID

Agence américaine pour le développement international

UWI

University of the West Indies

Table des matières

Résumé

La présente évaluation du Programme de développement régional pour les Caraïbes avait pour objectif d’évaluer la pertinence, l’efficacité et la durabilité des résultats des programmes de développement pour la période s’échelonnant de 2011‑2012 à 2016‑2017. Le but de l’évaluation était de fournir des renseignements utiles sur lesquels appuyer la prise de décisions et l’amélioration des politiques et des programmes. Le rapport présente les constatations, les conclusions et les recommandations de l’évaluation. Il fait aussi état des éléments à prendre en considération dans l’élaboration des futurs programmes d’aide internationale.

L’évaluation des projets étudiés a révélé que les programmes d’Affaires mondiales Canada sont pertinents, car ils répondent aux besoins et aux priorités de la région, ainsi qu’aux politiques ministérielles. En tant que partenaire, le Canada a été en mesure de fournir du soutien et de l’expertise dans le cadre de ses programmes, et donc de favoriser une collaboration mutuellement bénéfique avec la région. Le Canada était également un partenaire clé dans la promotion de l’égalité entre les sexes, qui est une question complexe dans la région. Les partenaires et les autres donateurs perçoivent Affaires mondiales Canada comme un partenaire de développement fiable et souple. Malgré les changements organisationnels qui ont eu lieu, il a été reconnu que les programmes ont fourni un soutien stable et cohérent aux mêmes secteurs tout au long de la stratégie décennale, ce qui a accru le potentiel de résultats dans le domaine du développement. Parallèlement, il aurait été possible de renforcer la visibilité du programme dans la région.

Le programme était stratégiquement conçu pour inclure des initiatives complémentaires dans trois secteurs, et également favoriser la collaboration et la communication dans la région, l’échange des connaissances et la synergie entre les projets. Par ailleurs, l’approche régionale a limité la capacité du programme de s’adapter aux besoins spécifiques des pays. Dans certains cas, il aurait été possible d’obtenir des résultats plus durables en complétant les initiatives régionales par un ensemble d’initiatives nationales ciblées.

L’aide internationale canadienne s’est traduite par l’offre d’une expertise professionnelle et technique qui a contribué à l’accroissement de la capacité dans la région. Toutefois, même si certains résultats ont été obtenus dans tous les secteurs de programmes, il fallait plus de temps pour obtenir des résultats constants à long terme. Le programme visait à intégrer le concept de l’égalité entre les sexes dans ses projets. Toutefois, en raison d’obstacles qui se sont présentés, la mise en œuvre et le suivi liés à ce concept ne se sont pas faits de façon uniforme dans l’ensemble des projets. Les projets faisant partie de l’échantillon étudié visaient à renforcer les capacités ainsi qu’à élargir la portée potentielle et à accroître la durabilité des résultats du programme. Toutefois, la durabilité des projets constituait un défi, notamment en raison du financement à long terme et du renforcement des capacités requis.

Même si les ressources financières du programme étaient gérées avec efficacité, tel n’était pas nécessairement le cas pour d’autres domaines opérationnels comme les communications, la structure organisationnelle matricielle de gestion, les contraintes organisationnelles, les ressources de gestion de l’information et l’accès à l’expertise technique.

Résumé des recommandations

1. Compléter les programmes régionaux par des investissements propres à chaque pays et faire participer les gouvernements nationaux aux projets régionaux.
2. Élaborer un court plan d’action qui définit la façon dont le programme contribuera à promouvoir l’échange des connaissances, la visibilité, le dialogue politique et le renforcement des capacités, afin de mieux intégrer ces concepts dans les opérations quotidiennes et de s’assurer que le personnel et les partenaires en ont la même interprétation.
3. Élaborer un court plan d’action qui définit la manière dont le programme contribuera à promouvoir et à intégrer le concept de l’égalité entre les sexes dans les opérations quotidiennes, et s’assurer que le personnel et les partenaires en ont la même interprétation.
4. Examiner la structure actuelle de la matrice de gestion en vue d’améliorer la communication, la coordination et la cohésion parmi le personnel.

Table des matières

Contexte du programme 

Contexte régional des Caraïbes

 

Le Programme de développement régional pour les Caraïbes vise 11 pays insulaires (Antigua‑et‑Barbuda, Bahamas, Barbade, Dominique, Grenade, Jamaïque, Montserrat, Sainte-Lucie, Saint‑Kitts-et-Nevis, Saint‑Vincent‑et-Grenadines et Trinité-et-Tobago) et 3 pays continentaux (Belize, Guyana et Suriname), dont la population totale est estimée à 7 millions d’habitants.

Sur les 14 pays visés par le programme régional, quatre (Bahamas, Barbade, Trinité‑et‑Tobago et Saint‑Kitts‑et‑Nevis) sont classés parmi les pays à revenu élevé et sont donc exclus de la liste des pays admissibles au soutien de l’aide publique au développement du Comité d’aide au développement (CAD) de l’Organisation de coopération et de développement économiques (OCDE). Dans la mesure du possible, le programme a concentré ses activités sur les pays à revenu faible et intermédiaire tout en permettant aux pays à revenu élevé de participer à la promotion de la coopération régionale.

La région des Caraïbes comprend 25 pays, dont 15 sont membres et 5 sont membres associés de la Communauté des Caraïbes (CARICOM), l’initiative de la région pour l’union économique et politique, qui a été créée en 1973. Sur les 15 pays membres de la CARICOM, 14 sont visés par le Programme de développement régional pour les Caraïbes d’Affaires mondiales Canada; Haïti est visé par un programme distinct.

Les pays de la région peuvent être classés en deux catégories : les pays dépendant du tourisme et des services, et les pays exportateurs de marchandises. Un grand nombre de ces pays sont de petits pays insulaires côtiers de faible altitude. Ils doivent faire face à des défis de développement durable similaires : petite population, diversification économique limitée, endettement élevé, vulnérabilité aux catastrophes naturelles et pénurie de ressources humaines accentuée par l’émigration de travailleurs qualifiés et professionnels.

La crise financière mondiale de 2008-2009 a alourdi le déjà lourd fardeau de la dette de la plupart des pays des Caraïbes. Dans l’ensemble de la région, la dette du secteur public équivalait en moyenne à 64,6 % du PIB en 2017, en baisse par rapport à 79 % en 2012^{Note de bas de page 1}. La plupart des pays ne pouvaient pas bénéficier d’un allègement de la dette en raison de leur revenu, et ils sont peu nombreux à avoir pu obtenir un financement assorti de conditions libérales auprès d’institutions financières internationales.

La petite taille de certains pays insulaires en développement pose plusieurs problèmes de capacité, qui soulignent le besoin de collaboration. Les pays des Caraïbes prennent depuis trois décennies la voie de l’intégration régionale. Toutefois, malgré les gains promis, les gouvernements de ces pays ont fermement maintenu leur souveraineté individuelle à bien des égards.

Bien que les pays de la CARICOM aient généralement des traditions démocratiques fortes, leurs institutions publiques doivent renforcer leur capacité d’élaborer des politiques et des règlements, leur transparence et leur responsabilisation en matière de finances ainsi que leur capacité de fournir des services.

À quelques exceptions près, la région est demeurée paisible. Au cours des deux dernières décennies, il a également progressé vers l’égalité entre les sexes. Cependant, l’exclusion et la violence étaient encore très répandues dans la région pendant la période visée par l’évaluation. En outre, les inégalités sociales et l’insécurité économique ont crû à l’échelle de la région, hausse qui est attribuable à l’augmentation du chômage et de la pauvreté. De plus, les ménages dirigés par une femme vivaient plus souvent dans la pauvreté et étaient plus vulnérables aux difficultés économiques.

Programmes d’Affaires Mondiales Canada

Le programme a vu le jour en 2006-2007, lorsque le gouvernement du Canada s’est engagé à investir 600 millions de dollars sur une période de 12 ans (de 2008-2009 à 2019-2020) dans la région des Caraïbes. Par ailleurs, il a été décidé de remplacer le programme bilatéral antérieur avec les pays individuels des Caraïbes (à l’exception d’Haïti) par une approche régionale, afin de tirer parti des points communs et de relever les défis communs dans la région. En outre, le programme a géré des projets régionaux et nationaux en Jamaïque et au Guyana.

Pendant la période visée par l’évaluation, de 2011‑2012 à 2016‑2017, le Programme de développement régional pour les Caraïbes a été guidé par trois stratégies successives et un projet de programme‑cadre de développement, tous axés sur la croissance économique durable, la promotion de la démocratie et la gestion des risques liés aux catastrophes. Parallèlement, l’égalité entre les sexes et la durabilité de l’environnement étaient des thèmes transversaux.

Les programmes étaient axés sur trois principaux volets : la croissance économique durable; la gouvernance et la promotion de la démocratie; la résilience aux risques et l’adaptation aux changements climatiques. Le volet de la résilience aux risques et de l’adaptation aux changements climatiques a été soutenu par des fonds destinés à la croissance économique durable et à l’aide humanitaire internationale.

Le Programme de développement régional pour les Caraïbes est géré par le Secteur des Amériques d’Affaires mondiales Canada. Le Ministère a supervisé d’autres programmes dans la région par l’intermédiaire d’autres secteurs. Le Canada a également offert d’autres programmes dans la région par l’entremise d’autres ministères fédéraux, comme la Gendarmerie royale du Canada et le ministère de la Défense nationale. De 2011-2012 à 2016-2017, les décaissements au titre de l’aide internationale bilatérale d’Affaires mondiales Canada dans le cadre du programme régional ont atteint 336 millions de dollars, avec des décaissements annuels allant de 43 à 106 millions de dollars et une moyenne annuelle de 56 millions de dollars^{Note de bas de page 2}.

Stratégies

• Cadre stratégique de programmation de la Communauté des Caraïbes (de 2007‑2008 à 2017-2018)
• Stratégie des Caraïbes 2.0 (2009)
• Cadre de programmation pour les Caraïbes, 2010‑2015
• Projet de stratégie de développement régional du Canada avec les Caraïbes (2014-2019)

Les programmes ont été gérés selon une structure organisationnelle décentralisée. Un directeur général à l’administration centrale est chargé de la stratégie des programmes à long terme du Secteur des Amériques. Parallèlement, la gestion du Programme de développement régional pour les Caraïbes est déléguée à un directeur principal en poste à la Barbade, qui fait office de centre régional pour la gestion du programme régional décentralisé.

Le directeur principal collabore en tant que pair avec cinq chefs de mission, qui sont en poste dans les hauts commissariats de la région, et qui ont également le mandat de superviser les programmes de commerce et de développement. Le directeur principal rend compte à deux directeurs généraux, dont un qui est en relation avec le programme régional et l’autre en relation avec la Banque de développement des Caraïbes. Le directeur principal joue un rôle de leadership à titre de membre du conseil d’administration de la Banque de développement des Caraïbes.

Cinq directeurs adjoints rendent compte au directeur principal, dont quatre sont basés sur le terrain, et un qui est basé à l’administration centrale. L’équipe, qui se trouve à Ottawa, supervise de nombreuses tâches liées à la coordination des demandes opérationnelles et à la conformité aux exigences ministérielles.

Changements ministériels de 2011-2012 à 2016‑2017

Un certain nombre de changements sont survenus au Ministère au cours de la période visée par l’évaluation :

Fusion

• Avant 2013, l’aide au développement était mise en œuvre par l’Agence canadienne de développement international (ACDI). En 2013, le ministère des Affaires étrangères et du Commerce international (MAECI) a fusionné avec l’ACDI sous la dénomination de « ministère des Affaires étrangères, du Commerce et du Développement » (MAECD).
• Depuis novembre 2015, le titre d’usage du ministère est Affaires mondiales Canada.

Passage à des programmes régionaux

• Le passage à des programmes régionaux pour les Caraïbes a commencé dès 1994, et a été davantage souligné au milieu de 2008, à la suite de l’annonce par le gouvernement du Canada, cette même année, d’un engagement financier pluriannuel dans la région.

Portée et méthodologie de l’évaluation

Portée de l’évaluation

• L’évaluation couvre la période s’échelonnant de 2011-2012 à 2016-2017.
• L’évaluation porte sur les projets bilatéraux du Secteur des Amériques. (Voir le modèle logique du programme à l’annexe 1.)
• L’échantillon évalué compte 16 projets représentant 40,9 % (137 millions de dollars)^{Note de bas de page 3} au titre de l’aide bilatérale^{Note de bas de page 4} au cours de la période visée par l’évaluation. (Voir les renseignements sur l’approche d’échantillonnage à l’annexe 2.)
• La portée de l’évaluation tenait compte de la position d’Affaires mondiales Canada dans le domaine du développement et des politiques dans les Caraïbes, ainsi que de la relation entre les activités hors projet (dialogue politique, coordination des donateurs, etc.) et l’efficacité du Programme de développement régional pour les Caraïbes.

Questions d’évaluation

Pertinence

1. Dans quelle mesure la stratégie et les priorités des programmes de développement régional pour les Caraïbes d’Affaires mondiales Canada correspondaient-elles aux besoins et aux priorités de développement de la région?

Efficacité

2. Dans quelle mesure les programmes d’Affaires mondiales Canada ont-ils contribué à l’atteinte des résultats immédiats, intermédiaires et finaux visés?
3. Quels facteurs ont influé sur l’efficacité du Programme de développement régional pour les Caraïbes?

Durabilité

4. Dans quelle mesure les résultats et les avantages des programmes d’Affaires mondiales Canada se sont-ils poursuivis ou se poursuivront-ils au-delà de l’aide au développement?

Efficience

5. Y a-t-il des possibilités d’améliorer l’efficience des programmes d’Affaires mondiales Canada?

Thème transversal

6. Dans quelle mesure les programmes de développement d’Affaires mondiales Canada dans la région des Caraïbes intègrent-ils et obtiennent-ils des résultats liés à l’égalité entre les sexes?

Méthodologie

La Direction de l’évaluation de l’aide internationale (PRA) d’Affaires mondiales Canada a effectué l’évaluation selon une approche mixte traditionnelle qui mettait l’accent sur les méthodes qualitatives. Elle a recueilli des données primaires et secondaires auprès d’une combinaison de sources au Canada et dans les Caraïbes, afin de fournir de multiples sources de données à l’appui des constatations et des conclusions. Elle a mené une mission de collecte de données au premier trimestre de 2017-2018 dans les pays sélectionnés pour l’échantillon d’évaluation (Barbade, Guyana, Trinité-et-Tobago, Jamaïque, Saint-Kitts et Antigua). Les annexes 2 et 3 présentent, respectivement, des renseignements supplémentaires sur la méthodologie et les limites des données.

• Entrevues avec les intervenants clés n = 177
  • Menées en personne et au téléphone
  • Employés actuels et anciens du programme d’Affaires mondiales Canada et spécialistes du secteur à l’administration centrale et dans les Caraïbes
  • Partenaires d’exécution dans les Caraïbes et en Amérique du Nord, y compris des représentants du gouvernement du Canada, des banques internationales et des organisations humanitaires
  • Représentants des partenaires donateurs internationaux recrutés sur place
  • Surveillants du secteur de programme
  • Représentants des gouvernements dans les Caraïbes (aux niveaux municipal et national)
  • Bénéficiaire
• Examen des documents
  • Examen de 224 documents de projet et de programme :
    • Stratégies régionales, sectorielles et de programme d’Affaires mondiales Canada
    • Modèles logiques de programme et cadres de mesure du rendement
    • Rapports annuels
    • Rapports d’évaluation
    • Documents propres à 16 projets sélectionnés dans l’échantillon d’évaluation
• Analyse financière
  • Examen des décaissements prévus et réels :
    • Source des données financières : dirigeant principal des finances, Affaires mondiales Canada, 2017
    • Examen des décaissements pour les programmes régionaux de la CARICOM et des Caraïbes; accent mis sur les décaissements au titre de l’aide bilatérale par le secteur géographique
• Visites sur place n = 5
  • Les données primaires ont été recueillies lors de visites sur les lieux de mise en œuvre de quatre projets faisant partie de l’échantillon d’évaluation. Cinq visites sur place ont été effectuées : Guyana (n = 2), Jamaïque (n = 3).
• Entrevues de groupe n =2
  • Deux discussions en groupe avec les bénéficiaires d’un projet de l’échantillon ont eu lieu en Jamaïque et au Guyana.
  • Les entrevues de groupe ont eu lieu avec 45 participants (22 bénéficiaires, 20 membres du personnel des partenaires d’exécution et 3 responsables du programme du gouvernement local).
• Analyse documentaire
  • Examen de 35 documents internationaux :
    • Revues spécialisées
    • Littérature grise
    • Sites Web d’organismes d’aide internationale

Table des matières

Constatations

Constatations – Pertinence

Les programmes correspondaient aux besoins et aux priorités de la région, ainsi qu’aux politiques du Canada.

Le programme était conforme aux objectifs de la politique étrangère du Canada, tels qu’ils sont énoncés dans la Stratégie d’engagement du Canada dans les Amériques, qui mettait l’accent sur l’accroissement de la prospérité et la lutte contre l’insécurité. Il cadrait également avec les objectifs de la CARICOM et avec l’analyse du Programme des Nations Unies pour le développement concernant la nécessité pour la région d’adopter des politiques résilientes connues pour réduire la vulnérabilité humaine, éliminer les obstacles à la croissance inclusive et contribuer à la durabilité environnementale^{Note de bas de page 5}.

Le Canada a fourni un soutien et de l’expertise qui ont favorisé une collaboration mutuellement avantageuse dans un certain nombre de domaines. Par exemple, les collaborations en matière de sécurité comprenaient la lutte contre les activités liées à la criminalité financière et au crime organisé, qui pourraient transiter entre la région des Caraïbes et le Canada. De plus, dans le domaine des finances, il y avait un risque important que des pays dans les Caraïbes fassent défaut, ce qui aurait pu amener le Canada à augmenter ses versements de fonds destinés à la région, fonds qui auraient eu peu d’effet sur le développement. En ce qui concerne la santé, l’incidence croissante des maladies transmissibles dans les Caraïbes^{Note de bas de page 6} (VIH/sida, tuberculose, dengue, hépatite, Zika^{Note de bas de page 7}, Chikungunya^{Note de bas de page 8}), une surveillance inadéquate et l’important trafic dans les deux sens ont fait de la région un dangereux vecteur de maladie et auraient pu présenter des risques potentiels pour le Canada^{Note de bas de page 9}.

Le Canada était un partenaire clé au chapitre du soutien de l’égalité entre les sexes. Il s’agit d’une question complexe dans la région, où les attitudes envers l’égalité entre les sexes varient et où la violence envers les femmes coexiste avec la marginalisation des hommes vulnérables et la discrimination contre les communautés lesbiennes, gaies, bisexuelles, transgenres et allosexuelles.

Priorités de la politique étrangère du Canada pour l’engagement en Amérique latine et dans les Caraïbes^{Note de bas de page 10} :

• favoriser une croissance économique inclusive et un développement durable;
• contribuer à l’éradication de la pauvreté;
• promouvoir et défendre les droits de la personne;
• renforcer la démocratie;
• encourager l’adoption de mesures d’atténuation des changements climatiques et d’adaptation à ceux-ci;
• améliorer la sécurité dans la région;
• multiplier les possibilités offertes aux groupes marginalisés (en particulier les femmes et les filles) et aux peuples autochtones.

Le programme d’aide du Canada a été perçu positivement. Il a été reconnu pour sa stabilité et la constance avec laquelle il a appuyé les mêmes secteurs au fil des ans, contribuant ainsi à stimuler les retombées en matière de développement.

Le Canada était perçu comme un partenaire de développement fiable et souple, et le programme et son personnel avaient une bonne réputation dans la région. Le programme a été touché par les changements survenus au sein du Ministère au cours de la période visée par l’évaluation (décentralisation, fusion et pressions en faveur d’une réorientation rapide vers les opérations régionales). Malgré ces changements, le programme a maintenu une vision cohérente dans ses trois stratégies et son cadre, et il a soutenu un investissement cohérent des ressources dans les mêmes secteurs sur 10 ans. Le programme a été conçu pour favoriser les synergies entre les projets et entre les secteurs et pour soutenir les activités à l’échelle  régionale, nationale et communautaire. Le programme visait une bonne combinaison des projets et une bonne complémentarité des initiatives.

La reconnaissance publique de l’engagement du Canada et de ses contributions au développement international dans la région est faible en raison du peu de notoriété de ses projets.

Divers intervenants de la région ont souligné que, mis à part les participants directs, peu de personnes connaissaient les projets canadiens. Ce faible niveau de sensibilisation pourrait être attribuable en partie à l’adoption d’une approche régionale et à l’affectation de fonds par l’intermédiaire d’organisations multilatérales et régionales, ce qui a dilué la visibilité du Canada en tant que donateur.

En général, une grande visibilité peut être un catalyseur du développement, car elle attire l’attention politique sur les politiques et les projets de développement au Canada et à l’étranger. De plus, elle peut favoriser l’efficacité des opérations. Une bonne visibilité des programmes peut mettre en évidence les bonnes et les mauvaises pratiques, et ainsi contribuer à maintenir la pression des pairs et, par conséquent, à améliorer le rendement^{Note de bas de page 11}. Déployer des efforts pour améliorer la visibilité aurait facilité le dialogue sur les politiques.

Le programme visait à fournir à la région la capacité d’effectuer ce qui suit :

• mobiliser les parties prenantes et les décideurs pour engager un dialogue politique et partager les connaissances;
• promouvoir des réseaux régionaux et des partenariats qui donnent une voix aux gens;
• stimuler les synergies entre projets et entre secteurs;
• adopter une approche visant à réduire la quantité de travail qui s’effectue en silos entre les pays de la région.

Le programme était perçu comme le ciment qui facilitait les opérations et la collaboration régionales. L’approche régionale relative à la conception du programme était pertinente et offrait de la valeur, mais il restait certains défis à relever.

Les programmes dans les Caraïbes visaient à promouvoir la coopération régionale, le réseautage, la production et l’échange de connaissances, par l’entremise d’organisations multilatérales, d’institutions régionales et d’autres partenariats. Le programme était intrinsèquement cohérent parce qu’il était stratégiquement conçu pour favoriser les synergies entre les projets et entre les secteurs. Il comprenait des initiatives complémentaires déployées dans un ou plusieurs pays. Le programme a été conçu de manière à éviter la constitution d’un large portefeuille de petits projets ou d’une série de projets multinationaux indépendants et autonomes. Le programme était axé sur une approche régionale qui allait au-delà des fonds régionaux couvrant plusieurs pays et des problèmes communs. Au lieu de cela, il y avait des efforts pour créer un lien entre les différentes initiatives et pour s’assurer que toutes les personnes concernées étaient au courant du travail de chacun. De nombreux donateurs ont confirmé que l’approche d’Affaires mondiales Canada était pertinente dans tous les secteurs dans lesquels le programme avait investi. Ils ont également signalé que la décision du Canada de maintenir des projets bilatéraux dans certains des pays des Caraïbes était stratégique.

Par ailleurs, même si cette approche permet de décaisser rapidement d’importants montants à temps, la conception du programme a limité sa flexibilité de s’adapter aux besoins propres des pays. Selon une précédente évaluation des programmes régionaux, une approche mixte en vertu de laquelle un programme régional est axé sur les activités au niveau national a pour avantage de rendre les programmes régionaux et nationaux susceptibles de se renforcer mutuellement^{Note de bas de page 12}.

Selon les bénéficiaires de projets et les donateurs, un certain nombre de projets régionaux du programme n’étaient pas constamment adaptés à la diversité des Caraïbes. Voilà qui suggère que, dans certains cas, des initiatives régionales pourraient être complétées par des initiatives nationales ciblées afin de parvenir à des résultats plus durables.

Un examen des programmes régionaux réalisés par d’autres donateurs a permis de constater que les approches régionales sont un complément important aux programmes bilatéraux, car elles favorisent les efforts communs pour relever les défis^{Note de bas de page 13}. En outre, selon d’autres donateurs, lorsqu’ils travaillent avec de petits pays, ni les investissements régionaux ni les projets bilatéraux ne sont efficaces et durables par eux‑mêmes. Par contre, les investissements régionaux assortis d’initiatives nationales peuvent avoir de meilleures chances de succès.

Aperçu de l’approche du Programme de développement régional pour les Caraïbes

En raison des caractéristiques de sa conception, le programme présente plusieurs forces et faiblesses inhérentes :

• Forces :
  • Promotion du dialogue sur les politiques et provision de moyen pour favoriser la communication et la collaboration régionales pour résoudre les problèmes communs en utilisant des approches communes
  • Promotion du réseautage, de l’échange des connaissances et de la coopération Sud-Sud
  • Stimulation, en principe, des synergies entre projets et entre secteurs
• Faiblesses :
  • Pressions exercées par le gouvernement à l’époque pour passer rapidement d’une conception bilatérale à une conception régionale et pour accorder la priorité aux décaissements rapides de fonds
  • Complexité de la gestion de la communication et de la coordination internes
  • Temps requis pour obtenir des résultats à l’échelle régionale
  • Difficulté à mesurer les résultats à l’échelle régionale
  • Faible capacité d’adaptation à la diversité des Caraïbes, au contexte local et aux besoins de certains pays. Il n’était pas réaliste de s’attendre à des résultats homogènes dans la région pour un projet donné, puisque le degré de progrès vers l’atteinte des résultats avait tendance à varier selon le pays.
  • Risque potentiel pour les relations bilatérales; le programme aurait pu rater des occasions de profiter d’occasions bilatérales, ce qui aurait pu réduire son influence sur les gouvernements nationaux.
  • Approche régionale supposant que les gouvernements, les décideurs et les parties prenantes s’engageraient en faveur d’une coopération régionale. Certains pays étaient en fait préoccupés par les coûts potentiels, les empiétements sur la souveraineté et l’incertitude quant aux avantages potentiels de l’approche régionale.

Le personnel, les partenaires et d’autres travailleurs humanitaires ont observé que le programme, tel qu’il était conçu, permettait à Affaires mondiales Canada de s’engager auprès de pays qui n’étaient pas admissibles au financement officiel de l’aide publique au développement, de favoriser le dialogue politique régional et d’encourager la coopération fonctionnelle régionale, qui était un objectif plus réalisable que l’intégration économique et politique régionale. Ils ont également observé que le programme permettait à Affaires mondiales Canada d’obtenir de meilleurs résultats en travaillant avec des réseaux régionaux et nationaux existants, ce qui augmentait la capacité du programme d’influer sur les enjeux régionaux et nationaux et facilitait l’enrichissement mutuel des projets.

Constatations – Efficacité

En ce qui concerne les projets ayant fait l’objet de l’étude, le Programme de développement régional pour les Caraïbes a contribué à renforcer les capacités dans la région et a donné des résultats positifs dans tous les secteurs. Cependant, il faudrait plus de temps pour obtenir des résultats intermédiaires cohérents.

Il a été difficile d’obtenir des résultats dans les Caraïbes, en partie à cause de l’absence de cohésion des pays en tant que groupe, de la faiblesse des politiques et des cadres juridiques, du manque de capacité gestionnelle et institutionnelle et d’autres obstacles bureaucratiques dans la région.

Résultat atteint : Croissance économique durable

Les projets de croissance économique durable ont atteint des résultats immédiats et intermédiaires, mais il fallait plus de temps pour obtenir des résultats uniformes à tous les niveaux qui contribuent au développement des affaires et des activités commerciales et économiques.

Parmi les résultats immédiats, les petites et moyennes entreprises ont accru leur capacité de soutenir la concurrence sur les marchés de projets comme les projets de PROPEL, COMPETE et EPIC. Les projets portant sur la gestion des finances publiques et la gestion de la dette ont également produit des résultats positifs. Cependant, le niveau de soutien politique requis pour favoriser le changement a varié selon les pays.

Un des résultats à moyen terme des projets a été la stimulation du développement des entreprises et des activités commerciales et économiques.

Par ailleurs, sur les sept projets faisant partie de l’échantillon qui étaient axés sur la croissance économique durable, les synergies étaient restées limitées entre au moins deux projets initialement conçus pour être complémentaires. En outre, quelques autres projets dans le domaine de la gestion de la dette se faisaient concurrence entre eux.

Résultat atteint : Gouvernance et de promotion de la démocratie

Dans le secteur de la justice, les projets de gouvernance et de promotion de la démocratie ont atteint le résultat à moyen terme qui consistait à renforcer les capacités du système judiciaire. Il faut toutefois plus de temps pour obtenir des résultats à long terme qui contribueront à renforcer le système de justice pour les femmes et les hommes, et à améliorer l’efficacité du leadership et la gestion d’institutions publiques responsables et sensibles à l'égalité entre les sexes. Parmi les projets dans ce secteur, le projet JURIST a produit des résultats qui ont contribué à renforcer la capacité du système de justice de promouvoir l’égalité entre les sexes, afin d’améliorer le système de justice pour les hommes et les femmes.

Résultat atteint : Résilience aux risques et d’adaptation aux changements climatiques

Les projets de résilience aux risques et d’adaptation aux changements climatiques ont produit les résultats immédiats et à moyen terme escomptés, mais il faut plus de temps pour obtenir des résultats uniformes dans l’ensemble du secteur afin d’améliorer la gestion des risques de catastrophe.

L’annexe 4 présente des renseignements supplémentaires sur les résultats propres aux projets.

Occasions manquées de tirer parti des synergies et de maximiser les résultats.

Dans l’ensemble, les résultats ont révélé qu’il y avait différents niveaux de synergie entre les projets examinés. Sur papier, les projets étaient liés. En réalité, pour des raisons historiques, un grand nombre de projets ont été mis en œuvre à différents moments et avec des partenaires différents. De plus, le mandat des projets et les méthodes de travail pour les réaliser étaient également différents. Il aurait été possible d’améliorer les résultats en mettant l’accent sur la prise en charge des projets régionaux, sur le dialogue politique et sur l’échange des connaissances. D’autres donateurs ayant de l’expérience dans la mise en œuvre d’une approche régionale ont souligné que ces concepts interdépendants étaient la clé du succès des programmes régionaux^{Note de bas de page 14}. Il y a peut-être eu des occasions manquées de renforcer et de maintenir les liens entre ces concepts pour obtenir des résultats régionaux.

Prise en charge des projets régionaux

À la lumière de l’expérience vécue par d’autres donateurs, la prise en charge des projets régionaux est facilitée lorsque les objectifs du programme sont propres à chaque pays^{Note de bas de page 15}. Même si le programme peut être élaboré à l’échelle régionale, un meilleur équilibre dans la mise en œuvre entre les activités régionales et nationales est préférable^{Note de bas de page 16}. De plus, les personnes interrogées ont mentionné qu’un des facteurs clés de la réussite de la mise en œuvre des projets régionaux était leur acceptation politique par les gouvernements nationaux et leur acceptation sociale par les bénéficiaires directs. Cependant, le niveau de sentiment de prise en charge a varié parmi les projets, les bénéficiaires et les partenaires (en particulier parmi les gouvernements nationaux). Selon les personnes interrogées, il était essentiel de mobiliser les gouvernements nationaux dès le début de la mise en œuvre des projets et de collaborer en temps opportun avec eux afin de garantir leur prise en charge des projets, en prévision du retrait de notre participation, et d’assurer la durabilité de ces projets. 

Dialogue sur les politiques

Le dialogue politique peut se définir  comme une « discussion organisée entre deux ou plusieurs acteurs sur la répartition des valeurs susceptible de déboucher sur de nouvelles politiques ou de modifier celles qui existent déjà. Dans ce contexte, le dialogue politique a la possibilité d’aboutir à des transformations plutôt que d’être transactionnel. » (Source : AUSAID, Thinking and Working Politically: An Evaluation of Policy Dialogue in AUSAID, 2013)

D’une part, les donateurs et les partenaires ont reconnu le rôle du programme dans le dialogue politique. Par exemple, sur le conseil d’administration de la Banque de développement des Caraïbes le Canada a été reconnu pour son efficacité dans le maintien du dialogue sur les politiques, ce qui a permis au programme de répondre aux questions liées à ses priorités dans la région, et également de favoriser la visibilité du Canada. Il y avait des signes évidents d’un dialogue politique constructif dans d’autres forums régionaux et avec les autorités nationales.

D’autre part, il y avait un manque d’uniformité dans le contenu et la fréquence des dialogues avec les gouvernements nationaux. En particulier, l’évaluation a révélé que le personnel du programme avait de la difficulté à faire la distinction entre les concepts du dialogue politique et de la coordination des donateurs. En raison de cette confusion, certains membres du personnel avaient parfois de la difficulté à accomplir les activités spécifiques de façon distincte et stratégique. Le manque d’interlocuteurs solides est l’un des principaux défis pour un dialogue politique soutenu dans les Caraïbes, mais il n’est pas le seul facteur à avoir façonné le processus. Par exemple, il y avait un manque perçu de preuve de la reconnaissance par Affaires mondiales Canada de l’importance du dialogue politique dans le programme. Les résultats ont révélé que certains membres du personnel connaissaient bien l’économie politique de la région, ce qui leur permettait de reconnaître les possibilités d’engagement. Cependant, les membres du personnel ont mentionné qu’ils n’avaient pas le temps, l’espace et le soutien nécessaires pour s’engager dans un dialogue politique de fond. Au cours des entrevues, le personnel a déclaré que le passage à une approche de programmes régionaux et à des méthodes d’exécution multilatérales avait conduit à mettre l’accent sur la gestion des opérations.

La dernière évaluation, effectuée en 2013, contenait une observation semblable : « Le dialogue politique avec les bénéficiaires et les autres donateurs a été relativement efficace, mais il y a moyen de faire mieux. Même si les ressources du Programme ont augmenté, les hauts fonctionnaires responsables de la coordination de l’aide à l'échelle nationale et régionale sont moins bien informés des interventions canadiennes importantes. » Remarque : Il n’y a pas de recommandations sur le dialogue politique dans cette évaluation.

L’échange des connaissances aurait pu avoir une meilleure cohérence entre les projets

L’approche régionale a permis de surmonter certains des défis importants pour le développement durable dans les Caraïbes : promouvoir la coopération et l’intégration entre les pays de la région; et échanger les connaissances, l’expérience et les meilleures pratiques.

Cependant, dans de nombreux cas, l’échange des connaissances au sein des projets s’est fait de manière informelle. Dans le cas des projets en cours, les connaissances requises aux fins de la formation et de l’assistance technique n’avaient pas toujours été correctement définies, et le personnel ne semblait pas savoir spontanément où trouver les connaissances recherchées. Pour assurer un échange des connaissances plus efficace, les participants aux projets devraient interagir davantage et influencer le comportement de chacun. Dans certains projets, cette interaction n’a pas été observée. Les projets auraient bénéficié d’un processus structuré d’échange des connaissances.

Égalité entre les sexes

Des efforts ont été déployés pour favoriser l’égalité entre les sexes, mais il aurait fallu avoir un meilleur accès à l’expertise technique et à un cadre analytique plus solide pour ajouter de la valeur aux opérations du programme.

Les questions liées à l’égalité entre les sexes dans la région sont complexes. La plupart des modèles logiques approuvés pour les projets du programme comprenaient des références à l’égalité entre les sexes, mais les efforts d’intégration, de traitement, de suivi et d’attribution des ressources visant à favoriser l’égalité entre les sexes étaient inégaux d’un projet à l’autre. En effet, sur les 45 projets qui étaient en cours pendant la période visée par l’évaluation, aucun n’a spécifiquement porté sur l’égalité entre les sexes. Plus de la moitié des projets visaient au moins un résultat immédiat ou à moyen terme en faveur de l’égalité entre les sexes pour les femmes et les filles, alors que 42 % ne visaient pas un tel résultat (figure 1).

Affaires mondiales Canada a déterminé le degré d’intégration de l’égalité entre les sexes selon une échelle d’évaluation des résultats prévus des projets, de la capacité institutionnelle ou de l’objectif principal.

La classification est la suivante : spécifique, soit le niveau le plus élevé, puis intégrée, limitée et aucune.

Figure 1. Intégration de l’égalité entre les sexes dans les projets de 2011-2012 à 2016-2017 (n = 45)

Données pour la figure 1

Aucune – 42%, limitée – 16%, intégrée – 42%, spécifique – 0%

Même si les projets du programme tiennent de plus en plus compte de l’égalité entre les sexes, les résultats des projets faisant partie de l’échantillon n’en étaient qu’aux premières étapes à cet égard. Pour certains projets, il n’a pas été possible d’effectuer une surveillance et de rendre compte avec précision des progrès accomplis vers l’égalité entre les sexes, en raison de l’intégration tardive et de l’utilisation incohérente d’indicateurs de résultats à cet égard. En outre, dans certains cas, les orientations fournies par le programme aux partenaires d’exécution sur l’intégration de l’égalité entre les sexes n’étaient pas claires, ce qui a contribué à des résultats inégaux. Dans un cas, les partenaires étaient tenus de rendre compte d’activités liées à l’égalité entre les sexes, qui n’étaient pas prévues dans la conception initiale du projet.

Depuis la précédente évaluation effectuée en 2013, des spécialistes expérimentés de l’égalité entre les sexes ont participé à diverses étapes (conception, mise en œuvre, suivi) d’un certain nombre de projets. Ils ont aidé les organisations et leur personnel à prendre conscience des questions liées à l’égalité entre les sexes et de leurs idées préconçues sur ces questions.

Les résultats ont également mis en lumière certains obstacles, notamment l’accès limité aux spécialistes de l’égalité entre les sexes à l’administration centrale et dans les régions et les contraintes budgétaires qui ont empêché le programme d’embaucher son propre spécialiste. Même si les spécialistes de la question devraient idéalement participer à toutes les étapes d’un projet, depuis sa conception jusqu’à son suivi, ceux qui travaillent à l’administration centrale devaient superviser simultanément différents programmes, ce qui a limité leur capacité de participer étroitement à tous les projets dans un même programme.

On a estimé que les activités de projet suivantes étaient susceptibles de produire des résultats en faveur de l’égalité entre les sexes :

• établir des liens entre la famille, l’école et les communautés (PAJTS – Jamaïque);
• mettre l’accent sur l’autonomisation et la réduction de la vulnérabilité des femmes et des hommes (projet JURIST);
• fournir une formation spécialisée aux entrepreneures (EPIC)
• favoriser une gestion budgétaire respectant l’égalité entre les sexes (Centre régional d’assistance technique pour les Caraïbes – CARTAC);
• effectuer des analyses comparatives entre les sexes et recueillir des données de référence ventilées selon le sexe (Projet de renforcement des statistiques dans la région des Caraïbes – PRASC)*;
• mobiliser un spécialiste des questions liées à l’égalité entre les sexes d’Affaires mondiales Canada qui offre de la formation et de l’aide sur le terrain pour améliorer la conception des projets.

* Le projet ne faisait pas partie de l’échantillon, mais plusieurs des personnes interviewées ont mentionné cette pratique.

Constatations – Durabilité

L’accent mis par le programme sur le renforcement des capacités et l’adoption de pratiques prometteuses dans la région a contribué à l’amplification de la portée du programme et à l’atteinte de résultats durables.

Dans l’ensemble, le programme a été conçu pour favoriser la durabilité des projets. De plus, les projets individuels devaient contribuer à renforcer la durabilité d’autres projets. La plupart des projets faisant partie de l’échantillon visaient à renforcer les capacités grâce à la formation, à l’assistance technique, à l’échange des connaissances et des compétences et, au bout du compte, à changer les attitudes, les comportements et les pratiques afin d’assurer la durabilité des systèmes. Plusieurs pratiques des projets ont été adoptées dans toute la région, ce qui a élargi la portée du programme. Pour accroître la probabilité de résultats durables, il a été jugé essentiel que le programme soit centré sur la collaboration directe avec les institutions régionales, sur les synergies entre les projets et sur le renforcement des capacités techniques et de leadership à l’échelle nationale, régionale et communautaire. Parmi les pratiques prometteuses, mentionnons la « formation des formateurs », et le renforcement du leadership et de la gouvernance. Le programme a travaillé en collaboration avec les dirigeants et les acteurs locaux afin de favoriser l’engagement local nécessaire pour apporter des changements. Malgré la nature toujours changeante des institutions, la collaboration s’est poursuivie par l’entremise des réseaux régionaux, ce qui a contribué à renforcer la durabilité des projets.

La durabilité des projets reste un défi important dans la région. Voici certains facteurs qui ont nui à la durabilité des projets du programme :

1. ressources humaines, notamment une pénurie de personnes bien formées pour gérer les gouvernements, en particulier dans les pays de l’Organisation des États des Caraïbes orientales;
2. croissance économique faible ou nulle, lourd fardeau de la dette et faible gestion de la dette;
3. particularités des pays;
4. politiques nationales et régionales inadéquates et, dans certains cas, manque de volonté politique pour favoriser les réformes;
5. cadres juridiques faibles;
6. capacités limitées d’absorption et de gestion des institutions régionales et faiblesse des partenaires régionaux dans certains cas;
7. exigences de durabilité variables selon les pays, ce qui complexifie la gestion des projets régionaux;
8. vulnérabilité aux changements climatiques et aux catastrophes naturelles.

Par ailleurs, le niveau d’efforts déployés pour assurer la durabilité d’un projet a varié d’un projet à l’autre. En qui a trait à la durabilité des projets, mentionnons les défis suivants : la complexité et l’ampleur des projets, le manque de souplesse requise pour s’adapter aux contextes spécifiques des pays, la durée du soutien et les synergies limitées entre certains projets.

Le potentiel de durabilité varie à l’échelle du programme. Cette situation pourrait s’expliquer en partie par le fait que le personnel et les partenaires ne comprennent pas tous de la même façon les étapes requises pour assurer la durabilité, ainsi que par la pression politique exercée pour décaisser rapidement les fonds. En outre, la complexité de la coordination et l’ampleur des projets régionaux ont incité certains membres du personnel à se concentrer sur les opérations quotidiennes au détriment de la gestion axée sur les résultats à long terme. Dans certains cas, le travail sur les modalités de la composante de durabilité de la stratégie de développement a commencé bien après le début de la mise en œuvre du projet.

Bien que l’approche régionale n’ait pas toujours été adaptée au contexte du pays, la formation et l’assistance technique ont été adaptées aux besoins locaux. Cependant, l’effet à court terme de la formation et de l’assistance technique n’était pas toujours suffisant pour favoriser les changements de comportement au sein des organisations. Il aurait fallu de solides cultures et systèmes institutionnels pour stimuler davantage le changement organisationnel.

Les projets ont manqué d’uniformité dans la prestation des services consultatifs et des conseils stratégiques qui auraient été nécessaires pour favoriser le renforcement institutionnel. Par exemple, le projet EPIC a démontré un mentorat efficace, mais d’autres projets comme le SEMCAR et le SCGD ont exprimé des besoins à plus long terme d’expertise canadienne et de mentorat technique pour obtenir des résultats durables.

Cependant, le secteur de la résilience aux risques et de l’adaptation aux changements climatiques a acquis une expérience précieuse en travaillant directement avec les pays. Des projets d’autres secteurs pourraient s’inspirer de l’expérience qu’il a acquise. Par exemple, plusieurs des initiatives de renforcement des capacités liées à la gestion des risques de catastrophe étaient axées sur la communauté et correspondaient aux besoins des pays. Mentionnons par ailleurs que le Programme de mise en œuvre harmonisée de la gestion globale des catastrophes (CDM‑HIP) a travaillé avec plusieurs bureaux nationaux, et que l’Organisation panaméricaine de la santé (OPS) a travaillé avec chaque ministère national de la Santé, en mettant l’accent sur le renforcement institutionnel.

Constatations – Efficience

Dans l’ensemble, le programme a été bien administré et s’est avéré efficient en ce qui concerne la gestion des ressources financières.

Des analyses des risques liés à la gestion et aux fiducies ont été réalisées pour les projets faisant partie de l’échantillon, conformément aux règles et aux procédures d’Affaires mondiales Canada, et les projets ont généralement bénéficié de décaissements en temps opportun (décaissements prévus par rapport aux décaissements réels). Malgré les délais et les perturbations de la mise en œuvre des activités de plusieurs projets, la plupart des projets étaient en voie d’être terminés à temps.

Le programme a fourni une solide fonction de gestion de projets et a traité les problèmes de gestion de projets en temps opportun. La division du travail par secteur a permis au personnel d’acquérir l’expertise nécessaire pour fournir des conseils et répondre rapidement aux besoins des partenaires. De plus, le programme s’est révélé efficace lorsqu’il s’agissait de donner suite aux observations et aux recommandations des éléments de surveillance du secteur.

Les atouts du programme relatifs à l’efficience comprenaient son travail avec différentes organisations de mise en œuvre, ainsi que sa capacité à influer sur la conception et les résultats de projets, y compris avec les acteurs multilatéraux du secteur économique. Le personnel du projet a influencé positivement la gestion de projets.

Les entrevues avec le personnel et les partenaires ont indiqué que la décentralisation avait contribué à une meilleure compréhension de la région. La présence sur le terrain des chefs d’équipe de projets a amélioré la qualité des partenariats. Le secteur des employés recrutés sur place et l’expertise relative au pays ont ajouté de la valeur au programme.

Globalement, les projets étaient considérés comme valides sur le plan technique, respectés et appréciés.

Par ailleurs, des difficultés relatives à l’efficience opérationnelle demeuraient : la structure de la matrice de gestion, les communications, l’accent sur les décaissements financiers rapides et importants, les contraintes ministérielles, les ressources de gestion de l’information et l’accès à l’expertise technique.

Structure de gestion matricielle

Le programme comporte une structure organisationnelle complexe, et la majorité du personnel est réparti dans cinq pays (Barbade, Guyane, Jamaïque et Trinité-et-Tobago, en plus du Canada). En raison de la nature du programme régional, l’utilisation d’une structure organisationnelle matricielle était considérée comme la plus appropriée. En suivant une structure matricielle de gestion, il se peut que le personnel doive relever de plusieurs gestionnaires en même temps, selon les projets qui leur sont attribués.

Durant la période visée par l’évaluation, la structure matricielle portait à confusion parce que les rôles et responsabilités n’étaient pas toujours clairs. En effet, la structure matricielle de gestion du programme contribuait, aux yeux du personnel tous niveaux confondus, à un manque de clarté quant aux ressources du programme, à l’affectation du personnel et aux responsabilités à l’échelle du secteur, ainsi qu’aux pouvoirs et aux liens hiérarchiques. La structure matricielle de gestion a contribué à la confusion concernant la différence entre le rôle et l’autorité des gestionnaires du secteur et des chefs d’équipe du secteur lors de projets précis. De plus, certains membres du personnel étaient situés dans un pays différent de leur gestionnaire et des projets desquels ils étaient responsables, ce qui limitait les opportunités d’efficacité et responsabilité.

Les difficultés liées à la compréhension de la structure de gestion complexe étaient aussi ressenties par certains partenaires, qui ont indiqué avoir du mal à déterminer qui devrait être la personne-ressource principale du programme. Par exemple, certains partenaires ont reçu des directives contradictoires de la part de différents membres du personnel à l’administration centrale et sur le terrain.

Communication

La grande majorité des répondants ont signalé un manque de communication et de coordination dans certains projets, ainsi que l’absence d’un mécanisme de coordination officiel parmi les partenaires de mise en œuvre. Ces lacunes ont entraîné le dédoublement des efforts pour au moins deux projets de l’échantillon et la confusion concernant les mandats de deux projets du secteur économique.

Certaines occasions ont été manquées concernant les communications internes et le transfert des connaissances ministérielles. Le personnel a rapporté qu’en raison de l’absence de renseignements clairs de la part de la direction, il ne comprenait pas toujours les raisons qui sous-tendent les décisions ni la situation actuelle et l’orientation future du programme.

Accent sur les décaissements rapides et importants

À la suite de l’annonce par l’ancien gouvernement, en 2008, d’une enveloppe de 600 millions de dollars pour le programme d’aide du Canada aux Caraïbes, le programme a subi des pressions pour concevoir rapidement un programme régional et cibler les projets actuels et nouveaux en conséquence. Cette pression a eu une influence négative sur certains projets durant la période visée par l’évaluation, y compris l’absence de cibles et d’objectifs clairs; un manque de prise en charge des projets régionaux par les autorités nationales dans quelques cas; le besoin de repenser la répartition des ressources en milieu de projet dans d’autres cas; et finalement, le recadrage de certains projets plus vieux pour qu’ils soient conformes à l’approche régionale, ce qui a déstabilisé les activités.

Contraintes ministérielles

Malgré ses nombreux avantages, la décentralisation a eu une influence limitée sur l’amélioration de la capacité du personnel sur le terrain à réagir rapidement dans le cadre de ses activités de programme. Cette situation s’explique surtout, dans la pratique, par le fait que la majorité des décisions ont été prises à l’administration centrale, ce qui a entraîné des retards opérationnels. De plus, pendant la période visée par l’évaluation, le programme s’est ajusté à des réductions importantes des ressources humaines. La charge de travail accrue s’est encore intensifiée en raison de demandes concurrentes et de modifications des priorités provenant de l’administration centrale. Le personnel a souligné certains problèmes persistants après le regroupement, lesquels ont diminué l’efficience du programme. Il s’agissait notamment de problèmes de synchronisation entre les cycles du projet et les cycles de production de rapports, en raison desquels le programme a eu de la difficulté à fournir les renseignements attendus dans le cadre du Rapport ministériel sur le rendement avant l’achèvement des rapports annuels ministériels. La gestion financière réalisée par une organisation des États-Unis a aussi entraîné des retards imprévus.

Parmi les autres contraintes et difficultés ministérielles, mentionnons les nombreuses demandes et décisions communiquées au programme par le Ministère avec peu d’explications ou de directives, une planification lente offrant peu d’occasions d’analyse, un processus de planification long et exigeant en main-d’œuvre pour les nouveaux projets qui ne facilitait pas une coopération souple et rapide en réaction aux besoins de la région, et les procédures administratives lourdes en ce qui a trait à l’approvisionnement et à l’approbation. Par conséquent, les membres du personnel ne savaient pas exactement quelle était l’orientation des programmes, ce qui les a portés à se concentrer sur la gestion des processus et la production de rapports au détriment de l’analyse qualitative nécessaire à une planification et à une gestion optimales des projets.

Gestion de l’information

Les outils de gestion de l’information inadéquats ou absents et les inefficacités du processus des missions ont entraîné une diminution du temps disponible pour examiner le contenu réel des programmes. Le manque d’accès aux systèmes de gestion de l’information a eu pour conséquence que les membres du personnel de la région devaient demander à leurs collègues de l’administration centrale de les aider à obtenir l’information et les documents auxquels ils n’avaient pas accès, ce qui a réduit l’efficacité dans la région et à l’administration centrale. Ce point a été soulevé par le passé, ainsi que dans le cadre des récentes évaluations des programmes‑pays.

Expertise technique

Un autre problème qui a influé sur l’efficience opérationnelle du programme était la surveillance et l’accès à l’expertise technique au niveau du secteur. Même si les rapports de surveillance fournissaient une analyse utile au niveau des projets, peu offraient une analyse valable au niveau du secteur. De tels rapports auraient permis d’adapter les projets en fonction des changements dans un secteur donné, mais les demandes d’analyses sur le plan du secteur n’étaient pas uniformes à l’échelle du programme. La clarté des directives fournies aux surveillants des secteurs au sujet des mandats et des produits livrables variait et était limitée dans certains cas.

Finalement, parmi les autres défis fréquemment évoqués concernant les activités du programme, mentionnons l’accès limité à la formation des employés recrutés sur place, le budget de déplacements limité pour le personnel et la direction, et l’accès limité à l’expertise des spécialistes du secteur à l’administration centrale.

Table des matières

Conclusions

Pertinence

La stratégie et les priorités des programmes de développement régional pour les Caraïbes d’Affaires mondiales Canada correspondaient aux besoins et aux priorités de la région. Comme il a été souligné dans l’évaluation de 2004, une approche régionale des programmes de développement était appropriée pour les Caraïbes faisant partie du Commonwealth, et tel était toujours le cas durant la période visée par l’évaluation. Le programme répondait à la réalité multipartite complexe de la région, élément essentiel au type d’innovation nécessaire pour le développement durable. Le programme a été avantageux pour la région grâce à la collaboration avec les partenaires et à l’expertise qu’il a fournie. Parallèlement, l’ajout de projets propres à chaque pays dans le cadre de la conception du programme régional aurait pu faciliter l’obtention de résultats.

Efficacité

Les programmes d’Affaires mondiales Canada ont contribué à l’atteinte des résultats immédiats visés. Le cycle du programme était trop court pour permettre la réalisation de la plupart des résultats intermédiaires. L’atteinte de ces résultats aurait normalement requis des cycles plus longs que prévu, en raison de la nature du développement international. Les preuves observés ont indiqués que les projets soutenus par Affaires mondiales Canada ont entraîné des résultats durant la période visée par l’évaluation, mais il aurait fallu plus de temps pour voir des transformations importantes.

Un facteur ayant influé sur l’efficacité du programme était l’approche régionale. Cette approche permettrait d’obtenir des résultats plus importants encore si le programme renforçait son soutien dans les domaines suivants : la prise en charge (acceptation politique des gouvernements et acceptation sociale des bénéficiaires directs, participation et coordination des pays), l’échange de connaissances et le dialogue sur les politiques. Les expériences des donateurs confirment que, en travaillant avec de petits États insulaires, ni les investissements régionaux ni les projets bilatéraux ne peuvent être durables par eux-mêmes; les investissements régionaux combinés à des initiatives dirigées par le pays ont de meilleures chances de succès.

Même si les chefs d’équipe de projet ont joué un rôle crucial dans le programme, la variation des approches individuelles et des méthodes de travail a eu des répercussions sur l’efficacité opérationnelle. La perception, la définition et la promotion des concepts d’égalité entre les sexes, de partenariat, de renforcement des capacités, de dialogues sur les politiques et d’échange de connaissances variaient parmi les chefs d’équipe de projet.

Pour aborder les objectifs relatifs à la politique d’égalité entre les sexes d’Affaires mondiales Canada, il aurait été nécessaire de réaliser une analyse approfondie et de bien comprendre les normes et les relations entre les sexes ainsi que la façon dont elles contribuaient aux inégalités entre les femmes et les hommes dans les Caraïbes. En raison des priorités du gouvernement à l’époque, le programme n’a pas pu consacrer les ressources nécessaires à la réalisation de cette analyse. Au-delà des projets individuels, les objectifs du programme concernant la réduction des inégalités entre les sexes n’étaient pas clairs. L’absence d’un plan clair expliquant comment le programme appuyait l’obtention de résultats liés à l’égalité entre les sexes dans la région signifiait que les efforts à cet égard étaient fragmentés et réactifs, au lieu d’être cohérents et stratégiques.

Durabilité

L’accent mis par le programme sur le renforcement des capacités, combiné avec l’approche régionale, dans certains cas, a abouti à l’adoption de pratiques prometteuse à travers la région. De plus, la collaboration entre les réseaux régionaux a contribué à des résultats durables. Cela dit, le rythme de développement est lent dans les Caraïbes; par conséquent, la durabilité a tendance à prendre plus de temps à se réaliser. La région est complexe et diversifiée sur les plans culturel et politique. La coopération internationale dans la région est une entreprise risquée, multidimensionnelle et à long terme, mais le programme aurait pu augmenter les probabilités de retirer des bénéfices continus de son portefeuille d’investissements dans le développement.

Plus précisément, le programme aurait pu réaliser un plus grand nombre d’analyses de la durabilité au niveau du projet. Il aurait pu examiner la façon dont le renforcement des capacités était conçu et traité à l’échelle des projets.

Efficience

L’efficience du Programme de développement régional pour les Caraïbes sur le terrain était limitée en partie par les contraintes ministérielles, sur lesquelles il avait un contrôle restreint.

Le choix et la conception d’une approche régionale avaient initialement pour but d’améliorer l’efficience, était donné que cette approche facilitait le processus de décaissements d’importants volumes de financement par l’entremise d’organisations multilatérales. Toutefois, des pressions externes exercées à l’époque pour passer d’une conception de programme bilatérale à une conception de programme régionale et pour prioriser les décaissements rapides de fonds ont entraîné des difficultés dans l’utilisation efficiente des ressources du programme au sein des projets et dans l’atteinte de résultats.

La nature de l’approche régionale signifie que les projets régionaux doivent avoir une influence accrue sur les environnements habilitants régionaux. Pour ce faire, il faut un dialogue plus ciblé, au-delà du conseil d’administration de la Banque de développement des Caraïbes et au‑delà des activités de projet.

Selon l’avis unanime du personnel interrogé, le programme devrait réviser certaines de ses pratiques actuelles liées aux communications internes et à la matrice de gestion pour améliorer l’efficience.

Table des matières

Recommandations et réponse de la direction

Recommandation 1

Compléter les programmes régionaux par des investissements propres à chaque pays et faire participer les gouvernements nationaux dans les projets régionaux.  (Pertinence)

Convenu : Le programme régional des Caraïbes reconnait l’importance de travailler étroitement avec les pays des Caraïbes afin de faire face aux objectifs et enjeux régionaux, pour répondre à leurs besoins et guider les investissements. Des investissements adaptés par pays pourraient être nécessaires afin de répondre plus efficacement aux besoins spécifiques, par exemple dans le cas de la reconstruction après un désastre.

Recommandation 2

Élaborer un court plan d’action qui définit la façon dont le programme contribuera à promouvoir l'échange des connaissances, la visibilité, le dialogue politique et le renforcement des capacités, afin de mieux intégrer ces concepts dans les opérations quotidiennes et de s’assurer que le personnel et les partenaires en ont la même interprétation. (Efficacité - durabilité)

Convenu : Le programme développera un court plan d’action stratégique sur l'échange des connaissances faisant la promotion de l'échange des connaissances, la visibilité, le dialogue des politiques (diplomatie du développement) ainsi que du renforcement des capacités. Ce plan d'action sera complété par une stratégie de communication qui visera à augmenter la visibilité et la compréhension des contributions du programme d'aide internationale du Canada dans la région et dans les pays distincts.

Recommandation 3

Élaborer un court plan d’action qui définit la manière dont le programme contribuera à promouvoir et à intégrer le concept de l’égalité entre les sexes dans les opérations quotidiennes, et s’assurer que le personnel et les partenaires en ont la même interprétation. (Efficacité)

Convenu : Suivant la politique féministe d’aide internationale, le programme régional de développement des Caraïbes développera un plan d'action sur l'égalité des genres indiquant comment les investissements d'aide internationale seront alignés aux cibles de la politique. Ce plan d'action spécifiera l'intégration de l'égalité des genres dans les opérations quotidiennes, incluant l'analyse qui informera l'élaboration des initiatives, les consultations, ainsi que le suivi et la mise en œuvre. Ce plan d'action inclura également le dialogue des politiques et les communications, indiquant comment le programme s'engagera avec le gouvernement, la société civile et les partenaires régionaux en matière d'égalité entre les genres. L'approche du Canada en matière d'aide internationale y sera spécifiée liant  les communications et les efforts diplomatiques des Chefs de mission de la région.

Recommandation 4

Examiner la structure actuelle de la matrice de gestion en vue d’améliorer la communication, la coordination et la cohésion parmi le personnel. (Efficience)

Convenu : L’équipe du programme a revu et complété sa structure matricielle de gestion afin de s'assurer d'optimiser son efficacité. (Incluant une meilleure communication, coordination et cohésion au sein de l'équipe). La structure matricielle modifiée a fait l'objet de consultations au sein du programme. Elle élabore avec plus de clarté les rôles et responsabilités des employés ainsi que les liens formels de gestion. Elle sera mise à jour suite à la réorganisation de 2018 de l'équipe du siège au bureau de l'Amérique centrale et des Caraïbes.

Table des matières

Aspects à prendre en considération pour les programmes futurs

Aspects à prendre en compte pour les programmes régionaux des secteurs géographiques

1. Étant donné que les pays d’une région ne sont pas tous également motivés par la coopération régionale, les programmes pourraient envisager la mise en place de programmes régionaux avec des pays choisis qui soutiennent davantage cette approche.
2. Pour éclairer la conception du programme, faciliter la coordination et éviter les dédoublements, les programmes régionaux pourraient cartographier les initiatives actuelles et prévues dans la région, y compris le financement de tous les donateurs.
3. Une conception du projet simple à l’échelle nationale et régionale peut permettre une meilleure adaptation à la capacité institutionnelle limitée des partenaires d’exécution. Elle facilite aussi la coordination avec de multiples intervenants, ainsi que le suivi et l’évaluation du projet.

Aspects à prendre en considération pour les programmes d’aide internationale

1. Les programmes décentralisés qui fournissent des équipes sur le terrain dotées de capacités en matière de conseil et de gestion dans des pays partenaires, et dotées de pouvoirs financiers et de pouvoirs liés au programme, pourraient être davantage préparées à offrir l’aide de manière efficiente^{Note de bas de page 17}.
2. La présence d’experts du secteur sur le terrain pourrait aider les programmes à respecter ses engagements, y compris les engagements liés aux domaines d’intervention établis dans la Politique d’aide internationale féministe du Canada, comme l’égalité entre les sexes et le renforcement du pouvoir socioéconomique des femmes et des jeunes filles.

Table des matières

Annexes

Annexe 1 : Cadres de programmes

Annexe 2 : Méthodologie – Échantillonnage

Une méthode d’échantillonnage dirigé a été employée pour bien représenter les secteurs thématiques, les mécanismes d’exécution et les types d’investissement. En concertation avec les représentants du programme, 16 projets du portefeuille global comptant 45 projets ont été sélectionnés. L’échantillon de projets évalués représente 40,9 % (137 millions de dollars)^{Note de bas de page 18} des décaissements totaux d’Affaires mondiales Canada (336 millions de dollars) au titre de l’aide bilatérale^{Note de bas de page 19} aux fins du développement dans les Caraïbes de 2011-2012 à 2016-2017.

Annexe 3 : Limites

1) Logistical constraints in the Caribbean region limited the size and representativeness of the evaluation project sample, as well as access to data from primary sources

Program size, the geographic spread of countries in the region, time, travel, and budget constraints limited the possibility of site visits and the conduct of interviews with key stakeholders in all 14 participating countries.

Mitigation strategy: A sample of 16 projects out of the 45 was selected, and 6 countries were selected to be visited for data collection and key‑stakeholder interviews. Care must be taken, however, when drawing inferences at the program level for all projects based on the sample.

2) Challenges were encountered with the program’s tracking of documents at the project and program level

The evaluation reviewed over 200 documents and reports at the program and project level that were shared by GAC staff, partners and sector monitors. Some data gaps encountered could be attributed to various causes such as the absence of a report, or obstacles in locating and accessing information in the program’s document repository. In addition, comprehensive project‑level data was not always available because of the limited number of monitoring and evaluation reports at the project, sector, and program levels.

Mitigation strategy: When the available data was insufficient, the evaluation relied heavily on interview data collected during the field visit.

3) Data availability was a challenge in the region

Attribution of results from regional projects largely depended on quality and availability of data. In the Caribbean context, gathering data to represent the entire region was a challenge, not only because of the number of countries but also because of limited statistical capacity, especially in the case of small states. This lack of capacity could have had adverse impacts on data availability and reliability.

Mitigation strategy: The evaluation strived to triangulate evidence as much as possible.

4) Limited number of previous evaluations

In addition to limited reliable data sources, there was a limited number of previous regional and project evaluations, especially for small states, where statistical capacity was low to begin with.

5) Availability of performance measurement framework

No program‑level performance measurement framework was available for the timeframe being evaluated.

Mitigation strategy: The evaluation relied on logic models available at the project and program levels, interviewed more stakeholders (n=177), and reviewed more program documents (n=224) than initially planned.

6) Lack of data and resources required to conduct a cost‑benefit analysis

Baseline data was not available to assess the benefits of the regional approach.

Mitigation strategy: The evaluation strived to triangulate evidence as much as possible.

Annexe 4 : Échantillon des résultats obtenus dans chaque secteur

Table des matières