Programme d’amélioration de la formation axée sur les compétences pour l’emploi (PAFACE)
- Numéro du projet : A-035555-001
- Numéro d’accord : 7060232
- Titre de l’évaluation : Évaluation formative du Programme d’amélioration de la formation axée sur les compétences pour l’emploi
- Type d’évaluation : Évaluation formative
- Commandée par : Affaires mondiales Canada
- Consultant : Salasan Consulting Inc.
- Date : Le 26 juillet 2018
Le Programme d’amélioration de la formation axée sur les compétences pour l’emploi (PAFACE) est un programme quinquennal 1 (avril 2014 à septembre 2019) de 13 millions de dollars en Tanzanie financé par Affaires mondiales Canada. Collèges et instituts Canada (CICan) est l’organisme d’exécution responsable de la mise en œuvre du programme et travaille en collaboration avec les intervenants nationaux, y compris le ministère de l’Éducation, des Sciences et de la Technologie (MoEST), la Vocational Education and Training Authority (VETA) et le National Council for Technical Education (NACTE). CICan fournit une contribution en nature de 1,3 million de dollars au programme, avec des partenaires locaux, des établissements d’enseignement et de formation techniques et professionnels (EFTP) en Tanzanie, le MoEST, la VETA, le NACTE et des associations d’employeurs tanzaniens qui offrent de multiples contributions en nature.
Le PAFACE est conçu pour renforcer les capacités des établissements de formation technique et professionnelle de Tanzanie à fournir des compétences efficaces pour les programmes d’emploi. Au moyen d’une approche collaborative et consultative, le programme vise à réunir les intervenants canadiens et tanzaniens en partenariat afin de renforcer les capacités individuelles, institutionnelles et systémiques parmi les intervenants tanzaniens. Par l’entremise de CICan, 14 collèges communautaires canadiens s’associent à 11 établissements techniques et professionnels de Tanzanie afin d’élaborer des programmes axés sur la demande et sur les compétences qui prépareront les étudiants au monde du travail en tant qu’employés d’entreprises d’extraction ou de tourisme, ou en tant qu’entrepreneurs qui peuvent créer leurs propres entreprises et éventuellement employer eux-mêmes des gens. Deux autres collèges canadiens, le Collège Seneca et le Collège Douglas, offrent des services de consultation au programme.
En 2017, Affaires mondiales Canada a retenu les services de Salasan Consulting Inc. pour effectuer une évaluation formative du PAFACE. L’évaluation a été effectuée par le Ron Titus et Ruta Mutakyahwa en octobre et en novembre 2017. L’évaluation formative du PAFACE a été conçue pour faire le point sur les résultats obtenus et envisager des mesures pour renforcer la mise en œuvre du projet. L’évaluation ayant lieu au cours de la quatrième année de sa mise en œuvre, elle offre l’occasion d’informer Affaires mondiales Canada et CICan de ce qui fonctionne et pourquoi, et de ce qui doit être amélioré pour renforcer la mise en œuvre future de cette initiative.
L’évaluation vise à :
- améliorer la connaissance qu’ont les intervenants de l’état du projet et des mesures à prendre pour atteindre les résultats attendus;
- déterminer les facteurs et les contraintes qui sont favorables ou qui nuisent à l’atteinte des résultats dans le cadre du projet et de l’environnement habilitant;
- éclairer le processus décisionnel d’Affaires mondiales Canada au sujet des programmes futurs en Tanzanie.
L’évaluation visait plus particulièrement à :
- évaluer l’efficacité, la pertinence et la durabilité des résultats;
- évaluer l’efficience de l’intervention de développement;
- évaluer les résultats obtenus au niveau immédiat et les progrès réalisés vers l’atteinte de résultats au niveau intermédiaire, comme l’indiquent les documents de projet pertinents, le modèle logique et le cadre de gestion du rendement;
- fournir des constatations, des conclusions, des recommandations et des leçons apprises pour renforcer le rendement et la durabilité des projets et documenter les programmes ou projets actuels et futurs connexes;
- cerner et évaluer les résultats inattendus (positifs et négatifs).
L’approche de l’évaluation a suivi une méthodologie d’évaluation axée sur les résultats, conformément aux normes et aux pratiques en la matière de l’Organisation de coopération et de développement économiques et du Comité d’aide au développement. Les méthodes mixtes appuyaient la triangulation et l’analyse des données. Les sources ont fait l’objet de discussions avec les intervenants et Affaires mondiales Canada afin d’aider l’équipe d’évaluation à analyser et à déterminer de façon indépendante la fiabilité des données dans la pondération des constatations. Les méthodes de collecte des données (p. ex. les guides d’entrevue) étaient liées à des critères et à des questions spécifiques dans la matrice de conception de l’évaluation, et ce, afin de s’assurer que toutes les questions étaient traitées adéquatement et que les critères et chaque question avaient des sources de données multiples et diversifiées.
Le chef d’équipe a visité sept collèges communautaires canadiens ou a communiqué avec eux au moyen d’entrevues téléphoniques, et l’équipe d’évaluation a visité les quatre collèges partenaires en Tanzanie au cours de visites sur le terrain. L’approche de l’échantillonnage dirigé a été choisie et approuvée au moyen de discussions avec Affaires mondiales Canada et CICan, et a été jugée la méthode d’échantillonnage la plus appropriée compte tenu du délai limité et de la variance du nombre de programmes et d’étapes de programmes. En raison de la stratégie d’échantillonnage utilisée, les intervalles de confiance ne s’appliquent pas; l’échantillon est sujet à un biais; et les résultats ne sont pas généralisables pour les établissements qui n’ont pas été visités. Une approche fondée sur des études de cas appuyait toutefois la triangulation et une analyse approfondie des sites visités.
Guidée par la matrice de conception de l’évaluation et les questions qui s’y trouvent, l’équipe d’évaluation a recueilli et analysé les données, et les constatations ont été présentées selon chacune des principales catégories d’évaluation. Dans le cadre de l’analyse des méthodes mixtes du couplage de données qualitatives et quantitatives distinctes, l’équipe d’évaluation a utilisé l’analyse inductive générale comme base pour l’analyse des données recueillies. Les constatations nouvelles et préliminaires ont été communiquées à Affaires mondiales Canada et à d’autres intervenants clés identifiés et approuvés par le Ministère, afin de les vérifier et de cerner les lacunes statistiques ou d’autres sources de données à consulter.
Les considérations liées à l’égalité des genres ont été intégrées à l’ensemble de la stratégie de collecte de données pour assurer l’équité entre les sexes dans les sources de données, et des stratégies de collecte de données particulières pour évaluer les capacités distinctes des intervenants en ce qui a trait à la prestation et à l’élaboration de documents, de programmes et de politiques tenant compte de l’égalité des genres. L’analyse de l’égalité des genres a appuyé l’évaluation des différences fondées sur le genre dans les résultats, ainsi que l’analyse des capacités des diverses parties prenantes, en ce qui concerne l’élaboration et la mise en œuvre de programmes, de documents et de politiques tenant compte du genre dans le secteur de l’EFTP. La gouvernance et la durabilité environnementale ont également été intégrées dans l’approche d’évaluation.
Principales constatations*
Efficacité
- Le PAFACE a renforcé la collaboration entre les intervenants du secteur (gouvernement, industrie, établissements de formation) et au sein des EFTP; amélioré la capacité d’utiliser l’information sur le marché du travail, les indicateurs de rendement clé et le système d’information sur la gestion des évaluations et de la normalisation; amélioré les capacités techniques et pédagogiques; amélioré le leadership et la gestion; renforcé les capacités à offrir une formation axée sur les compétences; et renforcé la capacité à attirer et à retenir des étudiants de sexe féminin et masculin.
- Les réalisations du PAFACE à ce jour contribuent indéniablement à améliorer la coordination et la promotion de l’EFTP en Tanzanie; à améliorer la gestion, la conception et la prestation de programmes d’emploi axés sur la demande, le genre et les compétences relatives à l’environnement pour les secteurs de l’extraction et du tourisme dans les établissements d’EFTP ciblés; et à augmenter la disponibilité de diplômés techniques et professionnels pour les secteurs de l’extraction et du tourisme.
- Les intervenants étaient très satisfaits des réalisations et des contributions du PAFACE à ce jour, et ils ont défini une gamme d’avantages qu’ils tirent du programme.
- Le programme a connu de nombreux succès et doit surmonter plusieurs défis clés. Le modèle est l’une des principales réussites de la mise en œuvre du programme, qui a été constamment mentionné parmi les sources de données et les méthodes d’utilisation. Deux des grands défis de la mise en œuvre du programme sont le manque de budget dédié à l’équipement et la courte durée.
- Au cours du processus d’évaluation, on a relevé un certain nombre de résultats positifs imprévus, notamment à des échelons individuel, institutionnel et communautaire.
Efficience
- Le PAFACE est réalisé dans le respect des délais et du budget, sans aucun manque d’efficacité dans sa gestion ou dans sa mise en œuvre
Pertinence
- Les résultats du PAFACE se sont révélés pertinents pour répondre aux besoins et aux priorités des principaux intervenants et de la Tanzanie, notamment en ce qui concerne sa nouvelle politique en matière d’industrialisation.
Viabilité
- Même si le plan de viabilité et de fin d’activités n’a pas été mis à jour depuis le début du projet, il y a une forte appropriation et un fort engagement à l’échelle de la collectivité locale. De plus, le type d’investissements effectués par le programme (p. ex. le renforcement des capacités institutionnelles et les investissements dans les programmes d’études) est un des mécanismes clés de viabilité qui suggèrent la longévité des résultats du programme.
Thèmes transversaux
Égalité des genres
- Le PAFACE atteint ses objectifs en matière d’égalité des genres et fait la promotion d’activités efficaces visant l’intégration de l’égalité des genres tout au long de la mise en œuvre du programme, tel qu’il a été conçu.
Durabilité environnementale
- Malgré l’absence d’une stratégie environnementale, le PAFACE comprend un volet sur la protection de l’environnement, comme en témoignent les rapports d’étape du programme et les visites de l’équipe d’évaluation dans les établissements d’EFTP.
Gouvernance
- Même si le PAFACE aborde clairement les objectifs en matière de gouvernance d’Affaires mondiales Canada dans sa conception et dans sa mise en œuvre, CICan ne semble pas comprendre l’approche et les exigences du Ministère en matière de gouvernance à titre de thème transversal et n’a pas intentionnellement intégré les questions de gouvernance ou n’a pas produit de rapport sur le sujet à ce jour.
Considérations relatives à la conception
- Le PAFACE a été conçu en fonction d’une bonne compréhension du contexte local et des leçons apprises au cours des projets antérieurs que CICan a mis en œuvre en Tanzanie et dans d’autres pays de développement.
Conclusions*
- Malgré les retards dans l’approbation des cours, le PAFACE atteint généralement ses résultats immédiats en plus d’être sur la bonne voie d’atteindre ses résultats intermédiaires. L’exception concerne les institutions tanzaniennes où les ressources (personnel, immeubles, équipements, finances) ne sont pas suffisantes pour donner les cours élaborés par le PAFACE (résultat immédiat 1310), comme au centre régional de formation et de services professionnels(CRFSP) de Pawani, au centre de formation professionnelle de Shinyanga et au CRFSP de Moshi.
- Le PAFACE est mis en œuvre de façon efficace, les ressources ou les apports étant convertis en résultats de manière économique.
- Les résultats du PAFACE sont pertinents aux besoins et aux priorités des principaux intervenants. En outre, les résultats du PAFACE sont pertinents pour les besoins et les priorités de la Tanzanie, en particulier pour sa nouvelle politique en matière d’industrialisation.
- Il est très probable que les résultats ou les avantages découlant du PAFACE se poursuivent après la fin de la participation d’Affaires mondiales Canada. En bref, cela signifie que les résultats immédiats ont été jugés durables.
- Le PAFACE contribue à réduire les inégalités entre les sexes en matière d’accès et de participation à l’enseignement et à la formation techniques et professionnels.
- Le PAFACE obtient des résultats en matière de durabilité environnementale.
- Le PAFACE a obtenu certains résultats en matière de gouvernance, mais une volonté accrue et une meilleure compréhension de la part de CICan permettra à celui-ci d’améliorer la communication des résultats.
- Le PAFACE est un programme modèle d’EFTP bien conçu et très pertinent pour la Tanzanie et pour tous les intervenants concernés. Sa théorie du changement s’avère solide et adaptée aux besoins locaux.
Recommandations*
Pour Affaires mondiales Canada
- Affaires mondiales Canada devrait diriger la mise en place d’un groupe de coordination des donateurs pour le secteur de l’EFTP et d’un groupe de travail distinct sur l’EFTP qui inclurait des représentants de tous les intervenants de l’EFTP en Tanzanie.
- Affaires mondiales Canada devrait demander à CICan de consigner, dans ses rapports annuels, les contributions en nature que les partenaires tanzaniens apportent au PAFACE.
Pour Collèges et instituts Canada
- CICan devrait songer à embaucher un spécialiste de l’approvisionnement pour centraliser les processus d’approvisionnement visant les partenariats.
- CICan devrait examiner, de concert avec la VETA et le NACTE, la façon dont le PAFACE peut aider les organes de réglementation à transférer la formation offerte par celui-ci à des fournisseurs privés d’EFTP.
- CICan devrait analyser la gouvernance du PAFACE, en suivant les directives d’Affaires mondiales Canada, préparer un plan de gouvernance pour le reste du projet, mettre le plan en œuvre, et rendre compte de la mise en œuvre du plan dans les rapports du PAFACE.
- CICan devrait collaborer avec ses partenaires afin de préparer un plan de viabilité et de fin d’activités à jour pour le PAFACE.
Pour le ministère de l’Éducation, de la Science et de la Technologie
- Il faudrait communiquer tous les programmes d’études mis au point par l’intermédiaire du PAFACE à toutes les institutions visées par celui-ci.
- Le NACTE devrait songer à harmoniser son programme d’études et ses cours dans l’ensemble des institutions.
Leçons*
- Les chances de réussite d’un projet s’améliorent lorsqu’il existe un partenariat solide reposant sur la confiance, l’engagement, la transparence, la responsabilité commune et une vision du leadership.
- Une période de cinq ans n’est pas suffisante pour garantir la durabilité à long terme des résultats pour un programme d’EFTP comme le PAFACE.
- Il est nécessaire de se pencher sur les budgets des projets et des programmes d’EFTP afin de s’assurer qu’ils suffisent pour acheter et entretenir le matériel ou pour soutenir les dons de matériel, ce qui peut entraîner une réduction du nombre d’institutions appuyées au moyen d’un budget donné – selon les résultats de l’initiative d’EFTP. Autre possibilité : les partenaires et les intervenants d’exécution devront définir les autres méthodes servant à répondre aux besoins en matière de matériel pour les nouveaux cours et en convenir avant que le plan de mise en œuvre du projet soit accepté.
- Il est important d’établir de bonnes relations de travail avec les organes de réglementation et de les faire participer aux activités de projet pour faciliter l’approbation de nouveaux programmes d’études, cours et programmes.
- L’expérience internationale est très importante pour les enseignants, car elle leur permet de constater ce qu’il est possible de faire et ce qui se passe dans d’autres pays que le leur.
- Les responsables des institutions d’EFTP doivent sortir de leurs bureaux et se rendre dans les collectivités qu’ils servent afin de promouvoir l’EFTP en tant qu’enseignement alternatif et moyen de subsistance viable.
*Les principales constatations, conclusions, recommandations et leçons présentées ci-dessus sont celles du consultant et ne reflètent pas nécessairement les points de vue de Collèges et instituts Canada, d’Affaires mondiales Canada ou du gouvernement du Canada. Affaires mondiales Canada ne garantit pas l’exactitude des renseignements contenus dans ce rapport.
Le Ministère a pris note des résultats, des conclusions et des recommandations du consultant et les a communiqués aux parties prenantes concernées pour considération.
Notes de bas de page
- 1
- Le présent rapport est disponible en français et en anglais. Pour en obtenir un exemplaire, prière de communiquer avec Affaires mondiales Canada à Ottawa.