Évaluation de l’institut canadien du service extérieur - RAPPORT FINAL

Affaires mondiales Canada
Bureau de l’inspecteur général
Direction de l’évaluation

Mai 2016

Abréviations, acronymes et symboles

Remerciements

La Direction de l’évaluation (ZIE), Bureau de l’inspecteur général, Affaires mondiales Canada (AMC), désire remercier toutes les personnes qui lui ont fait part de leur opinion au sujet de la pertinence et du rendement de l’Institut canadien du service extérieur (ICSE). ZIE désire également souligner la contribution de chacun des centres de l’ICSE à la production de données à l’appui de la présente évaluation.

Sommaire

Fondé en 1992, l’Institut canadien du service extérieur était initialement chargé de fournir une formation aux agents du service extérieur. Le mandat de l’ICSE s’est depuis élargi et l’Institut offre actuellement des occasions d’apprentissage continu, soit des programmes de formation en affaires internationales, en perfectionnement professionnel et en perfectionnement en gestion, en responsabilité ministérielle, en langues étrangères et en efficacité interculturelle.

Pendant l’exercice 2012-2013, les crédits que l’ancien MAECD a affectés à l’ICSE s’élevaient à 15,3 millions de dollars, les autres ministères (AM) versant à l’Institut une somme additionnelle de 3,2 millions de dollars pour la prestation de formation interculturelle. Toutefois, après la fusion avec l’Agence canadienne de développement international (ACDI), la plupart des contributions des AM ont pris fin.

L’ICSE est responsable de mettre en œuvre la Politique pangouvernementale en matière d’apprentissage, de formation et de perfectionnement à AMC et de fournir des services consultatifs pour l’élaboration de plans d’apprentissage individuels et organisationnels. Composé de quatre centres d’apprentissage, l’ICSE fournit ses services à une clientèle de près de 10 000 employés, à l’Administration centrale et dans plus de 270 bureaux de 180 pays. L’Institut offre une formation approfondie aux membres du personnel du Service extérieur, aux employés canadiens (EC) et aux employés recrutés sur place (ERP). La formation est fournie en classe, en ligne et par le biais de l’apprentissage à distance; ces activités sont conçues pour renforcer le rôle de premier plan d’Affaires mondiales Canada (AMC) sur la scène internationale, tout en fournissant des possibilités d’apprentissage à tous les groupes professionnels.

La dernière évaluation de l’ICSE a eu lieu en 2007. Étant donné l’important laps de temps écoulé depuis l’évaluation précédente et l’élargissement de l’éventail des services fournis par l’ICSE découlant de la fusion de l’ACDI et du ministère des Affaires étrangères et du Commerce international (MAECI), il est devenu prudent d’évaluer la pertinence continue et le rendement de l’Institut au sein d’AMC. L’évaluation couvre la période de l’exercice 2010 2011 à l’exercice 2014 2015.

Guidés par une évaluation de la pertinence et du rendement, comme définie dans les enjeux fondamentaux de la Directive sur la fonction d’évaluation du Conseil du Trésor, des entretiens avec les informateurs clés, des groupes de discussion, des visites sur place et un examen des documents ont été effectués. L’équipe d’évaluation a interprété les données et les a soumises à la technique de la triangulation afin d’établir les perceptions des clients et leur expérience des services de l’ICSE, ce qui a donné lieu à la rédaction de la présente évaluation. L’analyse a été fondée sur les données de 99 entretiens et 30 documents liés à des programmes, ainsi que sur des documents contenant des données financières et administratives^{Note de bas de page 1}. L’efficacité de la prestation de la formation d’ICSE par rapport à la prestation d’autres fournisseurs de formation ministériels a aussi été évaluée.

Dans l’ensemble, les évaluateurs ont recueilli suffisamment de données pour montrer qu’entre 2010 et 2015, l’ICSE a donné un large éventail de cours à un grand nombre de clients. De plus, outre la prestation d’une formation harmonisée avec les priorités ministérielles et gouvernementales et adaptée aux besoins de formation ministériels, l’ICSE a apporté une autre importante contribution dans le domaine en fournissant une formation en efficacité interculturelle. Les clients de l’ancien MAECD et des autres ministères (AM) ont reconnu la qualité de cette formation.

L’équipe d’évaluation a aussi constaté que, malgré certaines limites reconnues sur le plan des capacités, l’ICSE a fourni un soutien efficace à la prestation de formation par la plupart des fournisseurs dans l’ensemble du Ministère. Toutefois, les résultats indiquent qu’il s’impose de mettre à jour et de réexaminer certaines des offres de base de l’Institut pour faire en sorte que celui-ci continue de répondre aux besoins de formation des employés. De plus, les données sur les modèles de gouvernance des AM soulignent les avantages de la prestation centralisée de la formation (avec la planification, la conception et l’exécution des programmes, la gouvernance, l’administration, l’établissement de rapports nationaux, l’élaboration de politiques et l’évaluation centralisés) et des fonctions décentralisées liées aux compétences spécialisées. Les résultats donnent à penser qu’en centralisant certaines fonctions, on pourrait réaliser des économies sur le plan administratif dans la prestation des cours (en groupant les ressources afin d’éviter le dédoublement des efforts) et obtenir l’uniformisation des activités de prestation des cours.

Selon les constatations, les observations et les analyses de l’équipe d’évaluation, les quatre mesures suivantes sont recommandées pour améliorer la pertinence et le rendement de l’ICSE et encourager une culture de l’apprentissage au Ministère.

Recommandation n^o1 :

Il est recommandé que le Ministère crée un organe de gouvernance ministérielle pour appuyer l’établissement stratgique des priorités et la prestation de la formation au Ministère. D’autres ministères ont déjà adopté un modèle centralisé de prestation de la formation.

Recommandation n^o2 :

Conformément à la recommandation n^o1, il est recommandé que le Ministère élabore une stratégie en matière de prestation de la formation. Une stratégie en matière de formation permettrait d’élaborer une approche uniforme à l’égard de l’évaluation des besoins, de la planification et de l’établissement des priorités en matière de formation et d’améliorer la surveillance de la prestation de la formation en collaboration avec d’autres directions générales.

Recommandation n^o3 :

Il est recommandé que le Ministère étudie les options de centralisation des fonctions de gestion de base qui se rattachent à la prestation de la formation de l’ICSE (le financement, la conception des programmes, les services consultatifs en matière d’apprentissage, l’établissement de rapports, l’élaboration des politiques et l’évaluation), au moment d’élaborer une approche normalisée de collaboration avec les autres directions générales en matière de prestation de la formation.

Recommandation n^o4

Il est recommandé que l’ICSE, de concert avec ses partenaires de prestation de la formation ministérielle, convienne d’une stratégie d’évaluation systématique et d’une stratégie de mesure du rendement, y compris un mécanisme de collecte des données pour l’obtention de données primaires provenant des participants à la formation, de leurs gestionnaires et superviseurs, de leurs pairs et de leurs subordonnés.

1.0 introduction

L’évaluation de l’Institut canadien du service extérieur (ICSE) est un élément du plan d’évaluation quinquennal et a pour objet de répondre à l’exigence du Conseil du Trésor (CT) selon laquelle toutes les dépenses directes de programme doivent être évaluées tous les cinq ans. La présente évaluation fournit une appréciation neutre, fondée sur des éléments probants, de la pertinence et du rendement (sur le plan de l’efficacité, de l’efficience et de l’économie) du programme de l’ICSE. Une attention particulière a été portée aux services de formation fournis par l’Institut. Parmi les publics cibles du présent rapport d’évaluation figurent le gouvernement du Canada (GC), les bénéficiaires des services de formation d’Affaires mondiales Canada (AMC), la haute direction d’AMC et la population canadienne.

1.1 Contexte de la formation ministérielle

À titre de ministère fédéral responsable de la politique étrangère, du commerce et du développement et de fournisseur de services de la plateforme internationale pour le GC, AMC et ses employés doivent posséder les connaissances, capacités et habiletés nécessaires à la réalisation des priorités fédérales à l’étranger. Ce mandat pose des difficultés sur le plan de la formation, puisqu’il n’est pas toujours facile pour les autres fournisseurs de produits d’apprentissage d’offrir la formation requise.

La formation à AMC est fournie par un ensemble de fournisseurs de services de formation, notamment l’ICSE, des fournisseurs au niveau des directions générales et d’autres organismes, comme l’École de la fonction publique du Canada (EFPC). Au cours des quatre derniers exercices, soit de 2011-2012 à 2014-2015, les dépenses annuelles moyennes en formation pour l’ensemble des bureaux d’AMC ont atteint 25,6 millions de dollars. Cette somme englobe le montant moyen de 17,1 millions de dollars dépensé par l’ICSE, qui représente environ 67 p. 100 des dépenses de formation totales du Ministère (voir le tableau 1 pour d’autres renseignements).

Les besoins de formation du Ministère découlent de la nécessité de réaliser les priorités stratégiques d’AMC. Ils sont aussi définis par les collectivités fonctionnelles d’AMC et les clients au sein et à l’extérieur du Ministère.

1.2 Renseignements généraux sur l’ICSE

Fondé en 1992, l’ICSE fournit des services de formation et de perfectionnement professionnel aux employés d’AMC et d’autres organismes fédéraux sur des thèmes liés aux affaires internationales, à la responsabilité des entreprises, à la gestion et au perfectionnement professionnel par le biais de cours en classe, à distance ou en ligne. Composé de quatre centres (ou écoles), l’ICSE offre des services consultatifs en matière d’apprentissage à des clients du Ministère et du gouvernement fédéral. Il offre plus de 150 cours donnés par un instructeur et 50 cours en ligne à plus de 10 000 étudiants, y compris aux employés de missions à l’étranger. Les efforts de formation font l’objet d’un suivi et de l’établissement de rapports par l’ICSE au nom des fournisseurs de services ministériels, conformément à la Directive sur l’administration de la formation indispensable du CT.

Les principaux clients de l’ICSE sont les quelque 10 000 employées d’AMC, dont environ 40 p. 100 sont des employés recrutés sur place (ERP) (3 671). Les 6 187 autres employés d’AMC sont des membres du personnel non permutant de l’Administration centrale (environ 30 p. 100) et des employés canadiens à l’étranger (EC) (environ 30 p. 100), qui travailllent à l’Administration centrale et qui sont affectés à des missions d’une durée d’un à cinq ans. Parmi les clients de l’ICSE figurent aussi d’autres ministères et des organisations non gouvernementales qui s’acquittent de fonctions à l’étranger.

L’ICSE exerce un mandat fondé sur la Politique en matière d’apprentissage du MAECI de 2008, qui s’applique à tous les employés d’AMC et qui est mise en œuvre conjointement avec la Directive sur l’administration de la formation indispensable et la Politique en matière d’apprentissage, de formation et de perfectionnement du CT de 2006.

ICSE est chargé de coordonner les activités de mise en œuvre des politiques mentionnées précédemment et de fournir des services consultatifs sur l’élaboration de plans d’apprentissage individuels et organisationnels à AMC. L’ICSE apporte un soutien à l’appui du sous-ministre à l’égard des pratiques de gestion de pointe, du leadership organisationnel renforcé et de la promotion de l’innovation.

1.3 Structure de gouvernance et activités fondamentales de l’ICSE

Avant la fusion de l’ancien MAECI et de l’ancienne ACDI, l’ICSE a relevé des secteurs de la Planification ministérielle, des Finances et des Ressources humaines (RH). C’est maintenant du secteur des RH que relève l’ICSE. Chacun des quatre centres d’apprentissage qui le composent livre un ensemble de solutions de formation :

• le Centre d’apprentissage interculturel (CFSC),
• le Centre d’apprentissage en affaires internationales et en gestion (CFSD),
• le Centre de formation en langues étrangères (CFSL),
• le Centre d’apprentissage des services ministériels (CFSS)^{Note de bas de page 2}

Les besoins en formation et en apprentissage du Ministère sont comblés par chacun des centres responsables d’un secteur précis de la formation et du perfectionnement. Parmi les cours à temps plein ou à temps partiels figurent les programmes de formation en classe dirigée par un instructeur, les cours offerts à distance et les tutoriels en ligne offerts aux EC et à leurs conjoints, aux ERP et aux clients des AM. Chaque centre est spécialisé dans la formation dans un domaine d’études précis (voir l’annexe 2). Le programme de cours des affaires internationales est, par exemple, axé sur l’étude des langues étrangères, de l’efficacité en matière de politique étrangère et de commerce mondial ainsi que de l’efficacité interculturelle.

Outre les services de formation offerts par le biais de ses quatre centres, l’ICSE offre des services consultatifs en matière d’apprentissage et des services de « changement organisationnel et d’efficacité ». Ce dernier volet de services est livré dans des cours sur la promotion du travail en équipe, la gestion du changement, la gestion de projet et la gestion axée sur les résultats, la communication, la formation en leadership et en gestion et la planification stratégique.

1.4 Partenaires et clients de l’ICSE

Les partenaires de l’ICSE sont l’EFPC et les gestionnaires ministériels, tandis que ses clients sont les employés d’AMC, les gestionnaires et les autres ministères. Les gestionnaires ministériels (d’AMC et des autres ministères) jouent un rôle central : ils apportent une contribution déterminante pour l’élaboration des programmes de formation de l’Institut. L’ICSE propose aux directions générales des services consultatifs adaptés et des initiatives de formation en matière d’apprentissage. Au sein d’AMC, les directions générales fournissent de la formation distincte des cours offerts par l’ICSE. Une formation spécialisée a par exemple été fournie sur des programmes à créneau particulier, comme l’établissement de rapports sur la sécurité, ainsi qu’une formation de programme pour le Service des délégués commerciaux.

1.5 Ressources du programme

Le tableau 1 montre les dépenses annuelles de l’ICSE pour les exercices 2010-2011 à 2014-2015.

L’ICSE possède un effectif de 120 employés dans ses quatre centres; les cours dirigés par un instructeur sont en grande partie donnés par un instructeur contractuel. L’Institut dispose de bureaux et de salles de cours dans l’Immeuble Fontaine, dans le complexe Place du Portage, dans l’Édifice Lester B. Pearson et sur un campus du Centre Bisson qui lui est réservé.

2.0 Portée et objectifs de l’évaluation

2.1 Portée

L’évaluation portait sur la pertinence et le rendement des contributions de l’ICSE, y compris les services de formation que l’Institut fournit, dans un effort pour évaluer les économies sur le plan de la prestation. Cet exercice a consisté à examiner le mandat, les cas de dédoublement des efforts et les économies de coûts attribuables au choix des instructeurs (c.-à-d. les instructeurs du Ministère c. les instructeurs contractuels) et les modes de prestation des cours (cours en classe et apprentissage en ligne). L’évaluation a couvert la période allant de l’exercice 2010-2011 à l’exercice 2014-2015, les données financières ayant été recueillies jusqu’au 31 mars 2014.

L’évaluation sommaire de l’ICSE a pour objectif de fournir une évaluation objective et factuelle de la pertinence et du rendement des contributions de l’Institut à titre de fournisseur de services de formation, d’apprentissage et de perfectionnement au Ministère. L’évaluation a aussi été motivée par l’objectif de déterminer si AMC est mieux servi par des services de formation centralisés ou décentralisés.

2.2 Objectifs

L’évaluation avait pour objectifs :

• 1) d’évaluer la pertinence de l’ICSE en déterminant s’il continue de répondre à un besoin démontrable et en établissant jusqu’à quel point il répond aux priorités du gouvernement fédéral et aux priorités stratégiques du Ministère ainsi qu’aux priorités en matière de formation, d’apprentissage et de développement, et en définissant la pertinence de son rôle actuel.
• 2) d’évaluer le rendement de l’ICSE sur le plan de l’atteinte de ses objectifs de façon efficace et rentable;
• 3) d’analyser le modèle de gestion en place pour la prestation de la formation à AMC et de s’inspirer des enseignements des modèles de prestation de la formation d’autres ministères.

2.3 Méthodologie

Les évaluateurs ont utilisé des méthodes qualitatives et quantitatives et de nombreuses filières d’enquête pour la collecte systématique des données, leur analyse et triangulation afin d’appuyer la validation des résultats et la définition des tendances, des points de ressemblance ou des points de divergence. Ils ont par exemple soumis les données d’évaluation des cours à un processus de triangulation avec des entretiens menés auprès de clients de l’ICSE afin de déterminer le degré satisfaction de ces derniers à l’égard des services. Les données sur le rendement et les données financières ont aussi été soumises à la technique de la triangulation avec des entretiens auprès de gestionnaires de l’ICSE et de clients du Ministère et des AM afin d’évaluer l’efficacité de la prestation de services.

La méthode d’évaluation et le niveau d’effort connexe ont été calibrés selon la qualité et la disponibilité des renseignements sur le rendement des sources suivantes :

• L’ICSE recueille certaines données sur le rendement; il a partagé des données groupées pour la prestation de la formation et la plupart des extrants et des indicateurs de résultat immédiat;
• L’ICSE a effectué deux analyses des besoins liés à la formation en langues étrangères et au perfectionnement en gestion et en leadership;
• Une évaluation de l’ICSE a été menée en 2007;
• Les données du Grand livre général (GLG) pouvaient être consultées dans le système de gestion intégrée (SGI), qui regroupait les dépenses de formation à l’échelle du Ministère, y compris les dépenses de l’ICSE.

Les évaluateurs ont utilisé une approche de méthodes mixtes. Les méthodes qualitatives comme des entretiens et des groupes de discussion ont surtout été utilisées pour répondre aux questions de la pertinence et du rendement. Ces méthodes ont été complétées par d’autres sources d’information et d’analyses, y compris des analyses quantitatives.

Deux sources de données ont été utilisées dans la présente évaluation : 1) un examen des documents et 2) des entretiens avec les clients directs et non directs de l’ICSE. Ces entretiens ont englobé des groupes de discussion avec les clients et gestionnaires de l’Institut. Les données qualitatives tirées des entretiens et des visites sur les sites des missions ont constitué les principales sources de données de l’évaluation.

1) Examen des documents : Les données ont été analysées selon les indicateurs de l’évaluation et les enjeux liés à la conception, à la prestation et à l’évaluation des services de formation de l’ICSE. De plus, des rapports, des documents de l’ICSE, de la littérature sur l’évaluation des programmes d’apprentissage ainsi que des données financières et administratives ont été examinés. Parmi les autres sources de données figurent des documents et fichiers de programme (p. ex. des études d’analyse des besoins déjà effectuées, des documents d’approbation fondateurs du GC, et des rapports d’études nationales et internationales). Voir l’annexe 5 pour la liste des documents examinés.

L’équipe d’évaluation a également étudié les approches de l’évaluation de la formation utilisées dans les centres. Les documents analysés englobent les documents stratégiques et de planification du travail, les rapports annuels, les renseignements et données sur l’offre de cours de l’ICSE ainsi que les évaluations par les clients des cours offerts. Les évaluateurs ont ensuite soumis les données sur le degré de satisfaction à l’égard des cours à la triangulation avec les entretiens auprès des clients en vue d’évaluer le degré de satisfaction des clients et la participation des employés à la prestation des services consultatifs en matière de formation et d’apprentissage de l’ICSE.

Des données sur le rendement et des données financières ont été recueillies :

• Données sur le rendement : Les évaluateurs ont analysé les données administratives disponibles sur les finances, les ressources humaines et les activités de l’ICSE qui leur avaient été fournies par les membres du personnel de l’Institut.
• Données financières : L’équipe d’évaluation a analysé les dépenses de formation du Ministère et de l’ICSE pour les exercices 2010-2011 à 2014-2015, utilisant les paramètres établis pour l’évaluation afin de comprendre les tendances pour cette période. Les directions générales qui avaient engagé d’importantes dépenses de formation à l’extérieur de l’ICSE ont été analysées; ces cas ont été repérés au moyen d’une analyse des données du Système de gestion intégrée (SGI). Ces données financières ont ensuite été vérifiées par les conseillers en gestion financière et les gestionnaires de l’ICSE. Les évaluateurs ont évalué l’efficacité des activités de l’Institut au moyen des données budgétaires et financières du SGI utilisant les codes du grand livre (GL)^{Note de bas de page 4}.

2) Entretiens : Les entretiens ont été menés auprès de 99 informateurs clés, notamment des représentants de missions à l’étranger qui étaient des clients de l’ICSE, des clients de l’Institut relevant du Ministère et d’autres ministères, des gestionnaires de l’ICSE et du Ministère, et des membres de la haute direction d’autres ministères qui jouent un rôle dans la prestation de la formation. L’équipe d’évaluation a aussi tenu des entretiens avec les instituts du service extérieur de trois autres pays (Japon, Allemagne et Inde) pour établir une base de comparaison de modèles de formation. Un résumé montrant le nombre et le genre d’entretiens qui ont été tenus figure au tableau 2.

Les données recueillies lors des entretiens avec les sources mentionnées précédemment ont été compilées au moyen d’une matrice de résumés d’entretiens. Les données ont été classées selon des thèmes définis en fonction des réponses aux questions des entretiens et elles ont ensuite été soumises à une technique de triangulation avec les données d’examen des documents.

L’équipe d’évaluation a effectué des visites des missions pour une autre évaluation menée en parallèle avec l’évaluation de l’ICSE^{Note de bas de page 5}. Elle a donc profité de l’occasion pour tenir des entretiens avec les chefs de mission (CDM), les chefs de mission adjoints, les coordonnateurs désignés des activités de formation et d’apprentissage des missions et les ERP des missions suivantes : Tokyo, Shanghai, Delhi, Tel‑Aviv, Sao Paolo, Rio de Janeiro, Brasilia et Berlin. Les données recueillies lors des entretiens en personne complètent donc les analyses documentaires et financières visant à établir l’efficacité ou le rendement de l’ICSE.

2.4 Limites

L’information qualitative fournie lors des entretiens avec une variété de clients, gestionnaires et partenaires de l’ICSE (n=99) a constitué la principale source de données. Les analyses statistiques sont de nature descriptive et les analyses de coûts de l’efficacité opérationnelle sont fondées sur les données existantes vérifiées auprès de l’ICSE.

L’évaluation n’a pas couvert les résultats liés aux effets des services de formation sur l’acquisition de connaissances et les résultats organisationnels en raison de la non-disponibilité des données. La présente évaluation sommative s’est limitée à la prestation de services de formation et un accent particulier a été mis sur la pertinence continue de l’ICSE.

L’utilisation d’entretiens comporte le risque d’un biais des répondants qui peut limiter la capacité de généralisation des résultats au niveau du Ministère au chapitre de la pertinence continue et du rendement de l’ICSE. Pour atténuer cette limite, l’équipe d’évaluation a soumis à une technique de triangulation plusieurs sources d’analyse pour les questions de l’évaluation portant sur la pertinence, le rendement et, dans une moindre mesure, l’efficacité.

Comme mentionné dans les constatations de l’évaluation, il y avait des écarts entre le codage financier du Ministère et celui de l’ICSE, ce qui a entraîné une incohérence dans les données sur les dépenses. Il n’a donc pas été possible d’effectuer une analyse coûts-avantages complète. Ce sont les données qualitatives recueillies lors des entretiens qui ont été utilisées pour l’évaluation de la rentabilité.

En raison du manque de données disponibles pour l’analyse de la rentabilité et de l’efficacité, il n’a pas été possible de comparer les coûts des programmes, des méthodes de prestation (en classe, à distance et en ligne), des fournisseurs de services de formation d’AMC ou des sources de formation externes. L’analyse des coûts quotidiens par étudiant peut aider à déterminer quels modes de prestation de la formation sont coûteux et quels autres modes le sont moins, et quels programmes ont été offerts au plus grand nombre d’étudiants pour chaque dollar dépensé. Les analyses fondées strictement sur les coûts quotidiens par étudiant sont toutefois limitées, car elles ne fournissent que très peu d’information au sujet des acquis. Ainsi, sur une base quotidienne par étudiant, un programme d’apprentissage autonome en ligne peut coûter jusqu’à la moitié moins cher qu’un programme de formation en classe dirigée par un instructeur portant sur le même sujet, mais dans le dernier cas, les étudiants apprendront peut-être deux fois plus de choses. Dans cet exemple, la rentabilité des deux modes de prestation est la même sur le plan de l’apprentissage. On parle dans le domaine de la formation du concept du « rendement des investissements dans la formation », ou RIF. Or, les évaluateurs ne disposaient pas de données sur l’apprentissage, soit les mesures des acquis, pouvant être liées aux coûts quotidiens par étudiant selon les programmes ou les modes de formation, pour réaliser la présente étude.

De plus, étant donné le mandat particulier d’AMC, il est difficile d’examiner les données financières comparables d’établissements semblables d’autres pays. Dans le cas qui nous intéresse ici, les différences sur le plan de la taille du pays, des priorités du pays, de la structure organisationnelle et d’autres facteurs rendraient les comparaisons directes difficiles et le processus de comparaison exigerait de nombreuses réserves, ce qui rendrait la comparaison dénuée d’intérêt.

Pour atténuer ces contraintes, l’équipe d’évaluation, pour son analyse de la rentabilité et de l’efficacité, a mis à profit les bases de données fournies par l’ICSE et tirées de la base de données financières du Ministère ainsi que les analyses de l’Institut s’appuyant sur ces bases de données.

2.5 Complexité du processus d’évaluation : problèmes liés au modèle Kirkpatrick

La principale méthode utilisée pour évaluer l’efficacité des programmes de formation est le modèle Kirkpatrick, qui comporte quatre niveaux d’évaluation :

1) la réaction de l’apprenant (satisfaction);
2) l’apprentissage (connaissances ou compétences acquises);
3) le comportement (transfert de l’apprentissage vers le lieu de travail);
4) les résultats (transfert ou conséquences pour l’organisation).

L’ICSE a intégré des mécanismes de rétroaction dans la plupart des produits de formation qu’il offre. Ces mécanismes sont utiles pour évaluer l’efficacité de la formation en fonction des résultats des premier et deuxième niveaux du modèle Kirkpatrick. Les résultats des troisième et quatrième niveaux, dont on pourrait affirmer qu’ils sont les plus utiles, sont les moins utilisés dans les évaluations de l’efficacité de la formation. C’est bien le cas de l’ICSE, car ces deux résultats sont difficiles à mesurer en raison des obstacles liés à la définition du contexte d’apprentissage et au coût et au niveau d’efforts requis pour obtenir ces renseignements.

Le Cadre d’apprentissage – 2011-2014 de l’ancienne ACDI définit la formation, l’apprentissage et le perfectionnement de la façon suivante :

• Formation : Moyen à la fois structuré et ordonné de transférer les connaissances et le savoir-faire dont ont besoin les employés pour s’acquitter efficacement de leur travail. Il s’agit d’un apprentissage continu et adaptatif, pas d’un exercice isolé.
• Apprentissage : Acquisition de nouvelles connaissances/idées qui changent la façon dont une personne perçoit et comprend les choses, ou agit.
• Perfectionnement : Activités (officielles ou officieuses) destinées à améliorer la connaissance de soi et de son identité : méthodes, programmes, outils, techniques et systèmes d’évaluation qui appuient le perfectionnement de chaque employé d’une organisation.

2.6 Questions étudiées

Les questions de l’évaluation, ainsi que les sous-questions et indicateurs pour chacun des cinq grands enjeux, sont décrites à l’annexe 3.

2.7 Obstacles à la réalisation de l’évaluation

L’acquisition et la validation des données ont posé des difficultés en raison du grand nombre de fournisseurs de services de formation à AMC et parce qu’il n’existe pas de lieu central pour le stockage des données de l’ICSE ni de processus uniforme de collecte des données dans l’ensemble des centres de l’ICSE. En effet, chaque centre héberge ses propres données sur l’évaluation et le rendement; néanmoins, certaines données statistiques sur les cours sont centralisées dans un centre.

3.0 Constatations de l’évaluation

3.1 Enjeu n^o1 (pertinence) : besoin continu du programme

Constatation n^o1 : L’ICSE joue un rôle important dans la préparation des fonctionnaires du Ministère et d’autres ministères à l’exercice de fonctions à l’Administration centrale et dans les missions à l’étranger.

La pertinence de l’ICSE est liée à sa capacité de répondre aux besoins de formation par rapport à la capacité des autres fournisseurs de formation internes (soit environ 26 fournisseurs internes, voir l’annexe 4 pour la liste exhaustive) et fournisseurs de l’extérieur. Selon les données financières ministérielles, les dépenses de formation sont dispersées, environ les deux tiers des dépenses annuelles du Ministère liées à la formation étant directement imputables à l’ICSE. La formation fournie par les trois autres grands fournisseurs de formation ministérielle a représenté environ 16 p. 100 de l’ensemble des produits de formation [Secteur de la plateforme internationale (ACM), Sécurité internationale et intervention en cas de crise (JFM) et Secteur des ressources humaines (HCM, l’ICSE non compris)].

Graphique 1. : Dépenses moyennes liées à la formation, par secteur, de 2011-2012 à 2014-2015

Si on exclut les dépenses de formation de l’ICSE, on constate que pour la période de 2011-2012 à 2014-2015, le Ministère a dépensé une somme annuelle moyenne de 8 677 720 dollars pour la formation. Ces dépenses englobent tous les cours de formation, séminaires, droits de scolarité, achats liés à la formation, coûts des enseignants, cours de langue et services des conseillers en formation non rattachés à l’ICSE.

Selon les données sur la réponse aux besoins de formation des clients, l’ICSE répond à un besoin continu; l’Institut contribue aussi à la prestation de formation dans d’autres secteurs du Ministère. Cette constatation est fondée sur la demande continue des services de l’ICSE, sur le volume de la formation offerte et sur le grand nombre de clients servis entre 2008 et 2014. Elle est aussi fondée sur les commentaires dans l’ensemble positifs que nous avons reçus au sujet de la formation de l’ICSE, tant à l’intérieur qu’à l’extérieur d’AMC. Cette importante contribution est également mise en évidence dans les résultats des entretiens : les participants ont l’impression commune que l’ICSE répond aux besoins de formation centraux et continus des employés ministériels.

Malgré le besoin continu des services de l’ICSE, des directions générales répondent aussi à des besoins de formation. L’Institut agit à titre de partenaire de prestation pour les directions générales du Ministère.

L’examen des documents a démontré qu’entre 2009 et 2014, l’ICSE a réalisé une série de programmes et services de formation au profit de plus de 96 000 clients. Plus de la moitié de ces clients ont reçu une formation en efficacité interculturelle (56 902) et la majorité de ces clients, soit les deux tiers, provenaient d’AM. Près de 30 000 étudiants ont reçu une formation en responsabilité ministérielle et 70 % de ces produits de formation avaient la forme d’un programme d’apprentissage autonome en ligne (cours en communications et habiletés interpersonnelles, cours de gestion des ressources humaines et financières, cours sur le SGI, cours sur les valeurs et l’éthique, et cours sur la gestion et les technologies de l’information). Pendant la période visée, l’ICSE a donné plus de 4 400 séances de formation (soit 628 séances par année), utilisant les méthodes de l’enseignement en classe, à distance dirigé par un instructeur ou en ligne de façon autonome.

Il existe un besoin continu de services de formation, de services consultatifs en matière d’apprentissage et de fourniture de systèmes de gestion de l’apprentissage fournis par l’ISCE qui doivent répondre aux besoins de formation du Ministère. En parallèle avec le besoin continu des services de formation de l’ICSE, le besoin de la formation spécialisée fournie par les directions générales persiste.

3.2 Enjeu n^o2 (pertinence) : harmonisation avec les priorités du gouvernement

Constatation n^o2 : Les activités de l’ICSE continuent de concorder avec les priorités ministérielles et fédérales.

Il existe un besoin continu de formation, parce que la formation, l’apprentissage ainsi que le perfectionnement et l’amélioration continue constituent des priorités fondamentales du GC. L’ICSE répond à un besoin de prestation de formation et appuie la prestation de formation dans l’ensemble du Ministère. Il joue un rôle de premier plan selon le mandat que lui a confié la Politique en matière d’apprentissage du Ministère; il constitue la plaque tournante ministérielle pour la formation et agit à titre d’important contributeur à la conception et à l’exécution des programmes d’apprentissage; il joue aussi un rôle de chef de file en matière de planification et d’évaluation des produits de formation.

Les données recueillies lors de l’examen des documents et des entretiens montrent que les activités de l’ICSE sont cohérentes avec les priorités du GC et concordent avec les résultats stratégiques ministériels et fédéraux. Les activités de formation de l’Institut doivent contribuer à l’obtention des résultats stratégiques du programme international du Canada, des services de commerce international et consulaires destinés aux Canadiens et de la plateforme internationale du Canada. Les activités de l’ICSE sont également liées à l’architecture d’alignement des programmes (AAP), contribuant à cinq des sept résultats de l’AAP du niveau des programmes : les conseils stratégiques et l’intégration des politiques internationales, la diplomatie et la défense des intérêts, le commerce international, les services consulaires et la gestion des urgences ainsi que la gouvernance, les orientations stratégiques et la prestation des services communs. L’ICSE offre aussi des cours sur les nouvelles priorités, comme la gestion fondée sur les risques et le perfectionnement en gestion, et il fournit des services de formation en matière de sécurité.

L’harmonisation avec les priorités et les résultats stratégiques en matière de formation du gouvernement fédéral et du Ministère est démontrée par la réalisation du mandat de la Politique en matière d’apprentissage du Ministère, qui est harmonisée avec la Politique en matière d’apprentissage, de formation et de perfectionnement du Conseil du Trésor. Il a de plus été montré en mars 2014 que les activités de l’ICSE sont en accord avec les résultats du Processus opérationnel commun des ressources humaines (POCRH) sur le plan de la gestion du rendement, de l’apprentissage, du perfectionnement et de la reconnaissance des employés.

La formation constitue également un élément essentiel de la gestion des RH. Selon le plan ministériel intégré de gestion des RH, malgré des contraintes fiscales et le réaménagement des ressources à l’intérieur du Ministère, il existe un besoin d’investissement dans la modernisation des programmes de recyclage des effectifs et des employés. Il s’impose également de combler les lacunes définies et de faire en sorte qu’AMC continue de disposer d’effectifs à haut rendement, représentatifs et dynamiques.

La mise en œuvre de la Politique en matière d’apprentissage, de formation et de perfectionnement du Conseil du Trésor fait partie du mandat de l’ICSE. Les activités de l’Institut sont également en accord avec de nombreuses priorités générales et priorités de gestion du changement du Ministère, notamment :

• le perfectionnement professionnel et le perfectionnement en gestion;
• la gestion du rendement;
• la gestion de la transformation organisationnelle et de la fusion;
• le Processus opérationnel commun des ressources humaines pour la gestion du rendement, de l’apprentissage, du perfectionnement et de la reconnaissance des employés.

L’ICSE définit les besoins de formation ministériels, les présentant sous forme de « parcours d’apprentissage » pour les groupes professionnels; ces parcours sont ensuite rendus conformes aux exigences obligatoires de formation définies dans la Politique en matière d’apprentissage, de formation et de perfectionnement du Conseil du Trésor et à sa directive afférente. Les parcours d’apprentissage définissent les activités de formation des onze communautés fonctionnelles (classés sous les catégories « formation hautement recommandée », « formation recommandée », « formation fondée sur l’affectation » et « formation facultative »). Ils contiennent également des suggestions de cours pour l’amélioration du rendement au travail de chaque groupe, ce qui en fait un outil pertinent pour plusieurs secteurs du Ministère. L’ICSE définit notamment les besoins de formation en langue étrangère par poste, dans un exercice exhaustif tenu sur une base annuelle. La description des besoins de formation en langues étrangères est ensuite saisie dans le SGRH et les gestionnaires peuvent ainsi la consulter facilement. Enfin, un « portail du leadership » donne accès aux ressources de perfectionnement en leadership au sein d’AMC. Les parcours d’apprentissage et le Portail du leadership permettent donc à l’ICSE de rejoindre les trois groupes d’employés visés par la directive du CT. Ces outils aident l’Institut à répondre aux exigences en matière de formation pour les trois groupes d’employés, comme prescrit dans la politique en matière d’apprentissage du CT (nouveaux employés, gestionnaires de tous les niveaux et spécialistes fonctionnels), et à exercer l’une des quatre fonctions de base de l’excellence dans la fonction publique définies par le greffier du Conseil privé, la gestion.

Selon le plan intégré de gestion des RH 2013-2014 d’AMC, le Ministère atteindra ses objectifs stratégiques en veillant à continuer de « recruter, de former, de maintenir en poste et de soutenir le personnel talentueux et compétent » et de favoriser la cohérence des politiques à l’échelle internationale.

Certains interviewés ont déclaré au cours des entretiens que l’on pouvait garantir la rentabilité en enseignant la bonne matière. Ils entendaient par « bonne matière » une matière harmonisée avec les priorités ministérielles. La question de l’harmonisation est en grande partie résolue par le biais de l’exercice d’évaluation des besoins de l’ICSE. Des interviewés ont toutefois mentionné que des efforts plus soutenus s’imposaient peut-être à ce chapitre.

3.3 Enjeu n^o3 (pertinence) : harmonisation avec les rôles et responsabilités du gouvernement fédéral

Constatation n^o3 : Non seulement la formation de l’ICSE est en accord avec les priorités ministérielles, mais la gestion et la mise en œuvre des activités de l’ICSE constituent également un rôle pertinent pour le gouvernement fédéral et pour AMC.

Selon les entretiens avec les gestionnaires de l’ICSE, les cadres supérieurs d’AMC et l’examen des documents, la formation, l’apprentissage et le perfectionnement des employés font partie des responsabilités premières du gouvernement fédéral, tandis que la création d’une main-d’œuvre formée d’employés compétents constitue l’une des responsabilités principales d’AMC.

Le développement des compétences et des connaissances et le perfectionnement en gestion et en leadership sont considérés comme le fondement même d’un gouvernement attentif à ses citoyens, responsable et novateur.

Les activités de l’ICSE correspondent à deux éléments du Cadre de responsabilisation de gestion (CRG), outil de gestion du rendement clé utilisé par le GC. Ces éléments sont : 1) la gestion des personnes et 2) l’apprentissage, l’innovation et la gestion du changement.

Les politiques du GC en matière de formation et de perfectionnement sont définies dans deux documents :

1. Le rapport du greffier du Conseil privé de 2013, qui renforce l’importance de la création et du partage des connaissances et qui souligne l’importance d’un environnement propice à la culture de l’acquisition du savoir;

2. La Politique en matière d’apprentissage, de formation et de perfectionnement du CT, qui habilite les administrateurs généraux à diriger les activités d’apprentissage organisationnel.

La formation, l’apprentissage et le perfectionnement relèvent du mandat d’AMC, comme il est énoncé dans la Politique en matière d’apprentissage du MAECI et les documents ministériels sur la planification et le rendement, notamment le Rapport sur les plans et les priorités (RPP), le Rapport ministériel sur le rendement (RMR), le profil de risque ministériel intégré et le plan intégré des activités ministérielles. Le plan intégré des activités ministérielles définit l’apprentissage et la gestion du rendement comme étant une priorité en matière de gestion des RH et un service interne.

L’examen des documents a démontré les progrès réalisés par l’ICSE sur le plan de la contribution aux résultats organisationnels. Tant le RMR que le Processus opérationnel commun des ressources humaines (POCRH) ont révélé que l’ICSE contribue à la gestion ministérielle de l’apprentissage et du perfectionnement des employés. La mise en œuvre réussie des sept domaines du POCRH montre bien cette contribution. Par ce processus, AMC fait en sorte que les services ministériels de gestion des RH utilisent une seule méthode pangouvernementale qui permet d’obtenir des mesures du rendement à l’échelle du gouvernement.

3.4 Question de rendement n^o4 : obtention des résultats escomptés

Constatation n^o 4 : L’ICSE offre un large éventail d’occasions de formation et la plupart de ses clients se déclarent satisfaits des services qu’ils ont reçus.

Les données d’évaluation des cours de l’ICSE indiquent toujours des degrés de satisfaction élevés à l’égard de la pertinence et de l’applicabilité du contenu de ces cours, y compris l’augmentation auto-évaluée des connaissances ou des compétences attribuable à la formation. La seule exception à cette évaluation positive est l’offre de cours en ligne, dont les cotes de satisfaction étaient légèrement inférieures à celles des cours en classe.

Presque tous les clients de l’ICSE interviewés à l’intérieur et à l’extérieur du Ministère étaient soit en accord, soit fortement en accord avec l’énoncé selon lequel les services de l’ICFS avaient contribué à la réalisation de leurs objectifs stratégiques et opérationnels et selon lequel ils étaient satisfaits des services de l’Institut.

Les clients du Ministère qui étaient en désaccord ou fortement en désaccord avec l’énoncé précédent ont mentionné un manque de capacités et de compétences pédagogiques nécessaires à une offre de cours efficace. Certains coordonnateurs de la formation dans les missions, en réponse à une question sur la qualité des services de l’ICSE, ont précisé que l’offre des cours et la qualité du contenu des cours étaient bonnes, mais que l’éventail des cours de l’Institut ne répondait pas à tous les besoins de formation. Les personnes qui participaient à la prestation des services de formation estimaient de façon générale que l’ICSE ne devrait pas offrir de cours dont le contenu correspond aux compétences spécialisées d’autres secteurs du Ministère ou d’autres ministères. De plus, selon les entretiens tenus dans les missions avec les clients de l’ICSE et de CFSL, il existe des problèmes liés à la formation en langues étrangères : le moment de la formation en langues étrangères par rapport à d’autres cours de formation avant l’affectation^{Note de bas de page 8}.

La grande majorité des clients de l’intérieur et de l’extérieur d’AM avaient une perception positive en ce qui concerne la formation en efficacité interculturelle. La formation en efficacité interculturelle constitue le plus important volet des programmes de formation de l’ICSE, celui-ci ayant consacré à ce domaine plus de la moitié de ses activités de formation au cours des quatre dernières années et les deux tiers des clients provenant de l’extérieur du Ministère (45 000). La plupart des clients ayant suivi une formation en efficacité interculturelle que nous avons interrogés estiment qu’il s’agit d’un service spécialisé qu’il est difficile d’obtenir ailleurs.

Les opinions sur l’utilité de la formation variaient largement et englobaient des rétroactions positives et négatives. Cette grande variabilité indique la nécessité d’entreprendre un examen du programme de l’ICSE afin de lancer un processus d’examen et de renouveau pour l’évaluation des besoins de formation des employés et de définir les mesures à prendre pour améliorer la formation. Une bonne compréhension des besoins d’apprentissage exprimés sur le plan des compétences (compétences propres à la mission, exigées ou recommandées), de l’apprentissage individuel ou du cheminement de carrière ou encore dans le contexte de la conception du programme, pourrait contribuer à renforcer la capacité du Ministère de répondre aux besoins en matière de formation et de réaliser les priorités organisationnelles.

L’ICSE a signé un certain nombre de protocoles d’entente (PE) avec d’autres ministères concernant la formation en efficacité interculturelle et il a établi des cibles pour accroître leur nombre. L’EFPC est considérée comme étant un partenaire de formation, mais il n’existe par de partenariat officiel entre l’ICSE et l’EFPC. L’ICSE a financé la participation des agents du service extérieur aux cours de perfectionnement en leadership offerts par l’EFPC. Selon une mission, cette aide a suscité des commentaires positifs au sujet des efforts de l’ICSE pour favoriser et encourager ces partenariats; elle a aussi servi à améliorer le profil de l’Institut. Il reste du travail à faire pour officialiser la relation avec l’EFPC et ainsi clarifier les rôles respectifs de l’ICSE et de l’EFPC dans la formation en matière d’affaires internationales. Il existe aussi des partenariats non officiels avec des directions générales clientes.

Les cours de l’ICSE ne répondent pas à tous les besoins de formation, particulièrement dans les cas où le contenu spécialisé se rattache à un autre secteur d’activité du Ministère. Pour mettre à profit les compétences spécialisées des AM, il faut une mesure de normalisation (comme un portail pangouvernemental visant à faciliter l’accès à la formation). L’ICSE n’exerce pas actuellement cette fonction.

Outre son offre de cours, l’ICSE fournit un soutien à l’efficacité organisationnelle par le biais de son Fonds d’apprentissage organisationnel. Ce fonds accorde environ 3 500 $ par demande aux clients de l’Administration centrale et des missions. Presque les deux tiers des inscriptions aux services de formation en langues étrangères proviennent des missions.

Pour définir les besoins de formation ministériels, le CFSI effectue régulièrement des évaluations des besoins et consulte si possible les membres du personnel. On constate donc une certaine variabilité dans la façon dont les besoins d’apprentissage sont évalués et traités au Ministère. Ainsi, les entretiens tenus dans les missions ont révélé que l’ICSE ne communique pas de façon générale avec les missions à ce sujet. En effet, les missions élaborent et mettent en œuvre des plan d’apprentissage sans recourir aux services de l’ICSE.

À la lumière de ce qui précède, les résultats de la présente évaluation soulignent le besoin continu des services de formation de l’ICSE et des directions générales. Comme l’a mentionné un interviewé, [traduction] « nous ne portons pas attention à la question de savoir qui offre la formation, nous pensons plutôt aux secteurs d’activité ». La plupart des missions interviewées sont satisfaites du niveau de soutien reçu de l’ICSE, soulignant que, dans la plupart des cas, les cours et les conseils de l’Institut étaient bien adaptés à la préparation avant l’affectation ou aux exigences propres aux postes à l’étranger.

Constatation n^o5 : Les outils d’information sur l’ICSE, comme le site Web interne, sont efficaces pour joindre un grand nombre de personnes. Cette facilité d’accès a permis à l’Institut de rester en contact avec la vaste clientèle qui utilise ses services chaque année.

Le large éventail de cours offerts par l’ICSE et le rôle de celui-ci dans la mise en œuvre de la Politique en matière d’apprentissage, de formation et de perfectionnement du CT montrent la pertinence et le rendement de l’ICSE. La contribution de l’Institut consiste à sensibiliser les employés à l’importance de la formation et à faciliter leur accès aux activités de formation. L’ICSE atteint une vaste clientèle chaque année. Ces clients sont de façon générale satisfaits des services de formation, mais, comme mentionné précédemment, un petit nombre de clients ont déclaré que le contenu de la formation était trop général.

Entre 2011 et 2014, le site Web interne « ICSE virtuel » a reçu en moyenne 1,6 million de visites par année et, en 2014, le site Web a reçu plus de 10 000 visites uniques. L’Institut a fourni à des EC (3 654), à des ERP (10 509) et à près de 57 000 clients d’autres ministères, une formation en efficacité interculturelle; de ces nombres, plus de 6 000  participants étaient des clients d’AMC.

Comme le montre le graphique 2 ci-après, la formation a été fournie en grande partie dans le domaine de la responsabilité ministérielle et de l’efficacité interculturelle, la première étant en grande partie axée sur l’apprentissage autonome en ligne. En plus de fournir des produits de formation, l’ICSE héberge un système central de gestion de l’apprentissage pour l’inscription aux cours (y compris les cours donnés par d’autres directions générales).

Le graphique suivant illustre la distribution des produits de formation par sujet, entre 2009 et 2014. Les principaux groupes d’employés desservis par ces programmes sont les FS, les EC, les CO, les EX et les AS.

Graphique 2. : Étudiants ayant reçu une formation de l’ICSE (de 2009 à 2014*)

Les directions générales clientes considèrent le système de gestion de l’apprentissage et les services consultatifs en matière d’apprentissage de l’ICSE comme étant « essentiels » et « indispensables » à la prestation d’une formation adaptée à chaque direction générale. Les répondants ont mentionné que les directions générales seraient incapables d’exécuter efficacement les tâches liées à la prestation de services de formation et à la création d’une base de connaissances sans l’aide de l’ICSE.

L’ICSE contribue à la conception des programmes d’apprentissage et fournit un soutien opérationnel en offrant des plateformes (salles de classe et interface en ligne) et en aidant à embaucher des instructeurs qualifiés. Selon l’un des interviewés, sans l’ICSE, sa direction générale n’aurait disposé d’aucune aide financière et d’aucune compétence spécialisée pour la conception de produits de formation efficaces ou pour la réalisation d’évaluations des besoins. Certains clients ministériels ont par ailleurs mentionné un manque de soutien de l’ICSE, faisant remarquer que celui-ci pourrait améliorer son aide à l’apprentissage en ligne.

Constatation n^o6 : La culture de l’apprentissage à AMC n’en est encore qu’à ses débuts.

Les résultats des entretiens donnent à penser qu’il s’impose de soutenir l’instauration d’une culture de l’apprentissage à AMC. Certaines personnes interviewées ont suggéré un investissement dans des « coaches » en apprentissage qui fourniraient un appui à la planification de la carrière et au perfectionnement des employés et qui tenteraient de renforcer la participation des gestionnaires au processus d’apprentissage de leurs employés (p. ex. en menant des évaluations avant et après les activités d’apprentissage afin d’analyser les acquis ainsi que l’efficacité au travail). D’autres encore ont suggéré le renforcement du partage des connaissances avec les pairs après la tenue d’activités d’apprentissage; cette pratique encouragerait l’apprentissage organisationnel et, plus concrètement, faciliterait les transitions dans un ministère comportant un nombre élevé de postes permutants.

Selon la littérature sur l’évaluation de l’apprentissage, le facteur le plus déterminant pour la mise en pratique des acquis de la formation est le soutien social. Ce sont les interventions ciblant les bénéficiaires de la formation et les personnes qui ont des interactions avec eux, soit les collègues et les supérieurs, qui sont les plus susceptibles de contribuer à créer un environnement propice à la formation et à l’apprentissage.

La recension des écrits nous amène à faire une constatation intéressante : l’utilisation du modèle d’évaluation de Kirkpatrick est des plus courante, mais son utilisation au niveau organisationnel est rare, étant donné la difficulté de mesurer les retombées de l’apprentissage individuel pour une organisation. Cette difficulté est évidente dans le cas de l’ICSE, qui a obtenu un taux de réponse raisonnablement élevé (environ 73 p. 100) dans le cas de l’évaluation des résultats des niveaux 1 et 2 (réaction et comportement lié à la formation), mais une très faible quantité de données ou aucune donnée pour les résultats des niveaux 3 et 4.

AMC a mis en place des mécanismes officiels et officieux pour la planification et la prestation des services de formation et d’apprentissage. Parmi ces mécanismes figurent les réseaux et groupes de travail suivants, qui comportent une composante d’apprentissage ou qui sont entièrement voués à l’apprentissage :

1. Réseau des formateurs du MAECD : Ce réseau permet à des formateurs et à des animateurs de toutes les directions générales du Ministère de se réunir afin d’échanger de l’information et des pratiques exemplaires. Il encourage le réseautage entre ses membres et aide à établir des partenariats pour de nouveaux projets d’apprentissage. Ce réseau devrait représenter une ressource précieuse pour tous les formateurs;
2. Réseau d’apprentissage en ligne de l’ICSE : Ce réseau facilite le partage de l’information et des pratiques exemplaires en matière d’apprentissage électronique, encourage le réseautage entre l’ICSE et les employés d’AMC que l’apprentissage électronique intéresse, et fournit un forum pour l’ICSE et les employés d’AMC qui désirent partager de l’information au sujet de projets d’apprentissage électronique en cours d’élaboration;
3. Réseau des coordonnateurs de l’apprentissage dans les missions : Ce réseau fournit un forum pour toutes les questions d’apprentissage, de formation et de perfectionnement qui touchent les membres du personnel des missions. Il permet aux coordonnateurs de l’apprentissage dans les missions de mettre en commun leurs idées et leurs meilleures pratiques. Il leur offre également un cadre pour une collaboration à l’échelle de la planète. L’ICSE agit comme point de convergence à l’Administration centrale; il entretient des liens et une collaboration avec les gestionnaires de programme qui sont chargés de la formation dans les missions.
4. Comité consultatif de l’apprentissage des services consulaires, de la sécurité et de la gestion des urgences : Ce comité répond au besoin de formation spécialisée en matière de services consulaires. Ce besoin a été défini par les employés lors de conférences dans les missions (2008), dans des rapports d’inspection des missions (de 2004 à 2007) et dans la présentation au CT sur les services consulaires et la gestion des urgences (2008).
5. Réseau de l’apprentissage à distance : Les membres de ce réseau se réunissent tous les deux mois; ils représentent quinze AM qui échangent de l’information sur leurs pratiques exemplaires et les nouvelles tendances dans le domaine de l’apprentissage en ligne.

Mentionnons également le Comité de formation en commerce, le Forum des chefs en apprentissage, le Groupe de travail sur la sécurité, le Comité du renouvellement des AGC du PFGAC et le Comité de gouvernance des ERP.

Certaines missions ont créé des comités de formation chargés de définir les besoins de formation du personnel et d’établir un budget de formation. Il n’y a toutefois pas de mandat uniforme pour ces comités ni de définition officielle de leurs rôles et responsabilités (p. ex. une description de travail pour le poste de coordonnateur de la formation, même si chaque mission devrait en avoir rédigé une). Ce manque d’uniformité entraîne donc comme conséquence la variabilité de l’efficacité des comités de formation et comme corollaire négatif, le défaut de répondre efficacement aux besoins de formation ainsi qu’aux attentes.

L’ICSE participe à des réseaux de consultation auprès des directions générales, qui s’attachent à définir les priorités en matière de formation et d’apprentissage dans les domaines des politiques, du commerce et de la gestion. Il est difficile de dire si ces réseaux jouent un rôle stratégique en matière de coordination. Il est également difficile de savoir s’ils favorisent une culture de l’apprentissage à AMC. Dans l’affirmative, il reste également à établir de quelle façon. Il serait possible de tirer avantage de ces réseaux ou d’examiner de quelle façon ceux-ci pourraient, sur le plan stratégique, servir l’objectif de promotion d’une culture de l’apprentissage généralisée au sein d’AMC.

Constatation n^o7 : L’ICSE a réalisé des progrès en vue de l’obtention de résultats liés à la prestation de la formation. Il existe toutefois un manque de surveillance centralisée du rendement et d’évaluation des résultats des activités de formation, d’apprentissage et de perfectionnement au niveau organisationnel.

L’équipe d’évaluation a comparé les extrants et les résultats par rapport aux résultats escomptés, comme indiqué dans le tableau 5. Ce tableau fournit des exemples d’indicateurs utilisés pour mesurer le progrès par rapport aux résultats escomptés. Puisque l’ICSE ne recueille que les données sur la réaction des étudiants et sur l’apprentissage (données liées aux résultats des niveaux 1 et 2, conformément au modèle de Kirkpatrick, voir point 2.4 à la p. 13), seulement trois résultats liés aux retombées ont été décrits dans la présente évaluation.

Selon les entretiens, les documents de l’ICSE et les données sur les cours, des progrès ont été réalisés en vue de l’obtention des extrants et des résultats immédiats suivants :

Extrants :

• Politique ministérielle en matière de formation
• Évaluation des besoins en matière de formation (deux études ont été menées au cours de la période de 2008 à 2013)
• Catalogue des cours et contenus (consultables par voie électronique)
• Offres de cours en classe, à distance et en ligne
• Évaluations des cours et des programmes
• PE avec les partenaires

Résultats :

• Respect des engagements et des exigences en matière de formation du GC
• Employés dotés des connaissances et compétences requises
• L’ICSE est vu comme le centre d’expertise en matière d’apprentissage en affaires internationales à l’échelle de l’administration fédérale

Les données tirées des documents et obtenues lors des entretiens ont révélé l’existence de lacunes nuisant à l’obtention de résultats de l’ICSE :

• un manque de surveillance centralisée du rendement et de l’évaluation des résultats des activités de formation, d’apprentissage et de perfectionnement au niveau organisationnel;
• l’absence d’une approche stratégique en matière de planification de la formation au niveau du Ministère.

Constatation n^o8 : Bien que l’ICSE remplisse son rôle de fournisseur central de la formation et réalise des progrès dans la coordination des activités de prestation de la formation, il est difficile de mesurer les conséquences générales sur l’organisation découlant de la formation fournie par l’ICSE.

L’ICSE démontre qu’il répond aux besoins de formation ministériels par le degré de satisfaction généralement élevé de ses clients, comme le confirment les données recueillies lors des entretiens et de l’évaluation des cours. Ces données montrent la rapidité à laquelle l’ICSE s’adapte aux priorités en matière de formation et aux nouveaux besoins de formation des clients du Ministère et des AM. Ces résultats ne tiennent cependant pas compte des résultats d’apprentissage des niveaux supérieurs liés à la mise en pratique de la formation (changement de comportement) et aux conséquences de la formation pour l’organisation (rendement des investissements). Les perceptions de la pertinence et de la conception des produits de formation de l’ICSE sont toujours positives, mais il n’existe pas de résultats liées à la formation de niveau supérieur, au niveau individuel et organisationnel, pour évaluer les retombées de la formation.

En raison de la difficulté de mesurer le comportement (le transfert des apprentissages vers le milieu de travail) et les résultats (le transfert vers l’organisation ou les retombées pour l’organisation) selon le modèle de Kirkpatrick (voir p. 13), il y a un manque de données disponibles au sujet des améliorations possibles. Ce problème est en grande partie attribuable au fait que les évaluations des cours ne ciblent pas les effets de la formation sur le comportement des bénéficiaires de la formation ni sur l’organisation dans son ensemble. Il n’y a donc pas de liens apparents entre l’évaluation de la formation et le processus de gestion du rendement.

Des efforts sont faits pour améliorer la formation (p. ex., la mise à l’essai de cours pilotes pour favoriser l’élaboration d’un programme de cours souple et réceptif). Ainsi, à CFSD, 80 p. 100 des cours ont été modifiés au cours des deux dernières années. Il n’y a toutefois pas d’approche officielle pour la conception ou le réaménagement de la formation, l’examen des programmes et l’évaluation des besoins à l’ICSE ou au Ministère.

Le processus d’élaboration des cours n’est pas non plus structuré et l’ICSE n’est pas toujours consulté pour ces travaux, surtout dans les directions générales qui fournissent leurs propres programmes de formation et qui embauchent des spécialistes de l’apprentissage (p. ex. les filières commerciale et politique). Certaines directions générales qui fournissent leur propre formation ne disposent pas des services de spécialistes sur place; les produits de formation ne font donc pas toujours usage des méthodes d’apprentissage adaptées aux adultes. Les cadres de l’ICSE soulignent le manque de consultation pour la conception des cours, attribuant cette situation aux lacunes de l’Institut en ce qui concerne les compétences spécialisées dans certains domaines. Ils ont mentionné la valeur potentielle de l’ICSE comme guichet unique, où tous les conseillers en apprentissage et les personnes-ressources possédant des compétences spécialisées pourraient être installés au même endroit.

Constatation n^o9 : L’ICSE a pris des mesures pour devenir un programme de formation efficace, mais l’absence d’une stratégie ministérielle en matière de formation ou d’un cadre de gouvernance étendu limite son rendement.

Tandis que la gestion de l’ICSE est clairement définie à l’interne, la responsabilité de la gestion ministérielle et les rôles de surveillance sont moins clairs. Il ne semble pas y avoir de gestion stratégique intégrée au niveau des portefeuilles pour la planification et la mise en œuvre des programmes de formation.

Selon les résultats de l’ensemble des entretiens et de l’examen des documents, il a été établi que la mise en place d’un cadre de gouvernance appuyant la désignation de la formation comme priorité stratégique et la prestation des services de formation au Ministère s’impose. Comme il existe plus de 25 fournisseurs de services, il est difficile de gérer de façon stratégique les dépenses liées à la formation. L’analyse a révélé plusieurs lacunes dans les efforts d’AMC en matière de planification stratégique, d’établissement des priorités relatives à la formation, et de création de liens entre les efforts en matière de formation et l’amélioration du rendement et des résultats.

Deux importants facteurs nuisent au rendement : 1) le fait que la formation ne fait pas partie du processus de planification stratégique ministériel et 2) le fait qu’il n’existe pas à l’échelle du Ministère de stratégie en matière de formation et d’apprentissage pouvant être éclairée par les compétences spécialisées de l’ICSE. De plus, l’Institut n’a pas élaboré de processus d’évaluation systématique et complète des besoins en matière de formation qui tiendraient compte de toutes les directions générales et de toutes missions à l’étranger. Ces facteurs contribuent au risque de chevauchement ou de dédoublement des efforts.

Les opinions divergeent quant au rôle que devrait jouer l’ICSE. Certains représentants des directions générales qui ont été interrogées estiment que l’Institut devrait continuer à fournir un soutien administratif afin de faciliter la prestation au sein du Ministère de services de formation autres que ceux qu’il fournit lui-même, les compétences spécialisées restant dans les directions générales. D’autres étaient d’avis que les services liés à la formation devraient être centralisés à l’ICSE et les spécialistes de l’apprentissage, installés dans les locaux de l’ICSE.

Certaines personnes interviewées étaient en faveur du regroupement de diverses sources de financement pour la formation en un seul fonds régi par des modalités communes. À l’heure actuelle, il existe diverses sources de financement, chacune dotée de ses prpres modalités. Ainsi, certaines activités de formation obligatoires pour les employés des missions ne sont offertes qu’à Ottawa, mais les dépenses admissibles liées à la participation à ces cours ne couvrent pas les frais de déplacement, qui doivent être payés à partir d’autres sources. Certaines sources de financement ne sont disponibles que pendant des périodes limitées de l’année, souvent durant la deuxième moitié de l’année financière.

La fusion de l’ancienne ACDI et de l’ancien MAECI a créé l’occasion d’établir une politique et un cadre de gestion de la formation intégrés. Les synergies et les points forts de l’ancien Cadre d’apprentissage – 2011-2014 de l’ACDI et de la Politique en matière d’apprentissage du MAECI pourraient former la base d’une nouvelle stratégie de gestion de la formation, de l’apprentissage et du perfectionnement à l’échelle du Ministère.

En fonction de l’examen des documents, l’ICSE recommande qu’il devienne obligatoire pour les gestionnaires de rédiger des plans d’apprentissage et de les communiquer à l’ICSE et au Réseau de l’apprentissage. Dans ses recommandations connexes, l’Institut demande aux gestionnaires d’inclure les lacunes sur le plan des compétences dans leurs plans d’apprentissage et de gestion des ressources humaines, et aussi qu’une structure de gouvernance et un système de gestion établissant des liens entre le rendement et l’apprentissage soit établis. Cette mesure permettrait de mettre en correspondance les priorités et besoins en cascade en matière d’apprentissage avec les priorités opérationnelles.

Un cadre de planification stratégique permettant d’analyser la façon dont l’ICSE planifie, conçoit, met en œuvre et évalue ses produits de formation pourrait être utile à cet égard. Il permettrait de surveiller les quatre éléments d’un programme de formation, soit la planification, la conception, la mise en œuvre et l’évaluation. Ce genre de cadre ressemble à ce que les AM font dans leurs types de modèles de prestation décrits en détail dans la partie 5.0.

Une comparaison des offres de cours des quatre centres de l’ICSE, des autres fournisseurs ministériels et de l’EFPC a révélé qu’il n’y a qu’un faible chevauchement, voire aucun, à l’intérieur du Ministère et un certain chevauchement entre les cours de l’ICSE et de l’EFPC. L’EFPC, par exemple, dans le cadre de ses services internationaux, offre les cours « La Chine et ses rouages » et « L’Union européenne et ses rouages » aux cadres supérieurs et aux clients de la fonction publique. L’Institut a été sollicité pour fournir sa contribution à l’élaboration de ces cours^{Note de bas de page 9}.

Il n’est pas facile d’établir dans quelle mesure les contenus de cours de l’ICSE et de l’EFPC se chevauchent; rien n’indique une intention de définir les rôles de l’ICSE et de l’EFPC dans la prestation de la formation en affaires internationales. La clarification de ces rôles serait avantageuse pour l’Institut qui pourrait mieux cibler la clientèle, le contenu des cours et les objectifs de formation en fonction des rôles de l’EFPC.

3.5 Question de rendement n^o5 : démonstration de l’efficacité et de l’économie

L’équipe d’évaluation a retenu les services d’un consultant pour évaluer la rentabilité et l’efficacité de l’ICSE. Les constatations et recommandations de l’évaluation reposent sur la synthèse des observations qualitatives ainsi que sur des analyses des coûts de l’efficacité opérationnelle.

Les responsables de l’évaluation ont analysé les dépenses en matière de formation des différentes directions générales afin d’établir dans quelle mesure le modèle actuel de prestation de la formation répond aux besoins d’AMC et du GC. Ainsi, des dépenses importantes engagées pour retenir les services de prestataires de formation de l’extérieur spécialisés dans un domaine donné pourraient indiquer l’existence d’une lacune dans les compétences de l’ICSE.

En plus d’examiner l’ICSE, l’équipe d’évaluation a examiné les modèles de prestation de la formation d’autres ministères afin de créer une base de comparaison entre des ministères présentant des caractéristiques semblables sur le plan de la formation et AMC. Les données ont été recueillies en vue d’établir si le modèle de prestation centralisée ou le modèle de prestation décentralisée fournit le meilleur rendement. Plusieurs observations ont été formulées quant aux divers modèles de prestation examinés. Toutefois, il n’a pas été possible de mener une analyse en profondeur pendant la période de l’évaluation, en raison des différences dans les mandats, les activités, le financement, les budgets et la disponibilité de l’information.

L’évaluation de l’efficacité et de l’économie, en fonction des entretiens avec les informateurs clés et de l’examen des documents, a porté sur les mesures suivantes :

• un chevauchement des efforts à l’ICSE et dans l’ensemble du Ministère;
• la demande de formation, la fréquence et le volume de la prestation des services et les modes de prestations conjointement avec les perceptions de la qualité, de l’utilité et de l’applicabilité de la formation;
• une analyse coûts-avantages des modes de prestation des cours (cours en classe, à distance ou en linge) et des genres de cours (instructeurs internes ou instructeurs contractuels);
• les dépenses de formation moyennes par jour-étudiant.

Les résultats de l’analyse de la rentabilité et de l’efficacité aident à établir si le système de prestation des services de formation et d’affectation des ressources est optimal ou s’il y a d’autres façons plus efficaces ou plus économiques d’obtenir les mêmes résultats ou de meilleurs résultats.

Constatation n^o10 : Il existe certaines preuves de l’efficacité de l’ICSE. L’Institut a en effet pris des mesures pour concilier l’efficacité, la portée et la qualité de la prestation des cours. L’ICSE poursuit ses efforts pour définir des approches rentables de prestation de la formation.

Comme le montre le tableau 8 (page 32), il a été constaté que le nombre moyen d’étudiants par session dans les quatre grands secteurs de programme de l’ICSE a augmenté entre 2008-2009 et 2011-2012, passant de 7,28 étudiants par session à 18,36 étudiants par session. Les données qualitatives donnent à penser que les employés de l’ICSE, dont la plupart sont des spécialistes de l’apprentissage, ont déployé des efforts en vue d’améliorer l’efficacité des cours et des programmes de l’ICSE. Les représentants de l’ICSE qui ont participé aux entretiens ont décrit les mesures prises pour améliorer l’efficacité dans des domaines comme l’approvisionnement et la passation de marchés, l’utilisation de spécialistes à l’interne ou d’autres spécialistes dont les services sont moins coûteux, l’annulation de cours auxquels un nombre insuffisant de personnes étaient inscrites, l’amélioration continue des cours en fonction d’observations et d’évaluations systématiques, l’utilisation de locaux de formation à coût modique et la réduction au minimum des déplacements liés à la formation.

Mentionnons, au chapitre de la rentabilité, que les cours offerts en ligne ou sous forme de webinaires sont rapidement devenus le mode de prestation de la formation privilégié dans les missions. Il existe une tendance vers la prestation de cours électroniques, car ils sont plus rentables que les autres modes de prestation (p. ex. l’envoi de formateurs dans les missions ou la convocation du personnel des missions au Canada pour des séances de formation).

Les entretiens avec les gestionnaires de l’ICSE ont révélé que des efforts avaient été faits pour examiner les besoins en matière de formation dans les missions, à compter de l’automne 2011, surtout pour les ERP. Ainsi, la formation des ERP avait été offerte antérieurement uniquement à l’Administration centrale quatre fois par année en groupes de 20 personnes, pour deux semaines de formation. Étant donné les coûts élevés en cause (400 000 $ pour la formation de 80 ERP), la durée de la formation, qui était de deux semaines, a été ramenée à une semaine et la formation est donnée dans les régions, plutôt qu’à l’Administration centrale. De plus, une approche pédagogique mixte est utilisée, des cours en ligne étant donnés avant les séances en classe.

CFSS a lancé une nouvelle méthode de mentorat ERP-ERP, décrite comme étant une méthode de formation efficace pour les nouveaux ERP. La prestation des services a aussi été modifiée. Le Centre a établi des points de prestation de la formation communs pour réduire les frais de déplacement.

Constatation n^o11 : La dépense la plus importante de l’ICSE est la formation en langues étrangères donnée par CFSL, qui représente 36 p. 100 des dépenses.

Le tableau 6 résume les dépenses, les jours-étudiants, et les coûts quotidiens par étudiant pour les quatre centres et pour les fonctions centrales de l’ICSE.

Des efforts sont faits pour accroître les économies quant à la formation à l’étranger, mais les missions continuent d’élaborer leurs propres programmes de formation. Selon les entretiens, les missions maintiennent cette pratique parce que l’Administration centrale ne répond pas entièrement à la demande de formation. Les gestionnaires de l’ICSE ont exprimé l’importance de participer au processus dès les premiers stades de la planification de la formation afin de faciliter la définition des besoins en matière de formation. Dans une optique semblable, il a été mentionné que le fait de permettre à l’ICSE de siéger au Comité de la gestion ministérielle était un moyen de garantir que les besoins en matière de formation étaient harmonisés avec les priorités ministérielles.

Comme le montre le tableau 6, les dépenses totales annuelles de l’ICSE pour la période de 2011-2012 à 2014-15 s’élevaient à 17 146 320 de dollars. Cette somme n’inclut pas les coûts d’infrastructure ni les coûts liés aux salaires des employés en formation et des employés d’AMC qui agissent comme spécialistes dans les cours. Les frais de déplacement indiqués dans le tableau ne couvrent pas les déplacements payés par la mission ou la direction générale de l’employé.

La dépense la plus importante, qui représentait 36 p. 100 des dépenses totales, était la formation en langues étrangères fournie par CFSL, suivie de la formation ministérielle et administrative fournie par CFSS (23 p. 100), la formation en affaires internationales et en gestion fournie par CFSD (13 p. 100) et la formation interculturelle fournie par CFSC (8 p. 100). Les dépenses liées aux fonctions centrales de l’ICSE représentaient les deux pour cent restants des dépenses moyennes de l’Institut.

Dans le cas de CFSL, tous les services de formation sont conçus et fournis par les instructeurs contractuels; les honoraires de ces instructeurs constituent la dépense la plus importante du Centre. CFSL effectue aussi le transfert vers les missions et les autres directions générales d’AMC des fonds destinés à la formation en langues étrangères^{Note de bas de page 15}. Les données en jours-étudiants fournies pour CFSL ne comprennent pas les jours de formation financés au moyen des transferts; le calcul des coûts par jour-étudiant a donc été fondé sur les dépenses annuelles totales et ces coûts excluent les transferts vers les missions et les autres directions générales.

Mentionnons aux fins de comparaison que l’École de la fonction publique du Canada (EFPC) annonce actuellement des cours en classe dirigés par un instructeur dont les droits d’inscription varient de 311 $ à 1 582 $ par jour-étudiant. Par ailleurs, le Niagara Institute, organisme privé sans but lucratif, qui fait partie du Conference Board du Canada, annonce des cours en classe dirigés par un instructeur dont les frais d’inscription varient de 958 $ à 3 345 $ par jour-étudiant. Les frais par jour-étudiant à l’EFPC et au Niagara Institute englobent les coûts des infrastructures et de tous les spécialistes, mais ils n’incluetnt pas les frais de déplacement et les frais liés aux déplacements. Il importe de prendre note que bon nombre des cours de la formation fournie par l’ICSE couvrent les frais de déplacement international (p. ex. la formation fournie aux employés recrutés sur place). Les coûts par jour-étudiant de la formation des autres fournisseurs à AMC n’ont pu être calculés en raison du manque de données en jours-étudiants. Toutefois, comme le montre le tableau 7, les trois premiers fournisseurs de formation en importance (à l’exception de l’ICSE) ont dépensé ensemble une somme annuelle moyenne de 8 387 000 de dollars.

Le financement de CFSL a été sensiblement majoré en 2011-2012 à la suite d’une décision du CT de renforcer le soutien du GC à la formation en langues étrangères. Pendant la même période, les méthodes comptables de ce centre ont été améliorées. Les modifications apportées facilitent l’analyse des dépenses de formation en langues étrangères, mais rendent difficile la comparaison des dépenses engagées avant l’exercice 2011-2012 avec celles qui ont été engagées par après.

Constatation n^o12 : La formation en classe dirigée par un instructeur étant le modèle de formation le plus répandu à l’ICSE, il est peu probable que l’apprentissage autonome en ligne soit utilisé à son plein potentiel.

Il n’est pas possible d’établir une comparaison directe des divers modes de prestation des cours avec les données disponibles, car celles-ci ne sont pas ventilées par mode de prestation. On peut toutefois constater que les quatre centres utilisent différents agencements des trois principaux modes d’apprentissage (apprentissage en classe, à distance et en ligne). Des observations peuvent donc être formulées quant aux coûts par jour-étudiant associés à chaque centre et quant à l’influence potentielle des divers modes de prestation sur les coûts.

La formation en classe dirigée par un instructeur est de loin le mode de prestation le plus courant; elle représente 91 p. 100 des 32 009 jours-étudiants fournis par l’ICSE dans une année moyenne (voir le tableau 6). L’apprentissage autonome en ligne et les cours en ligne dirigés par un instructeur ne représentant que 9 p. 100 des jours-étudiants, il y a place pour une augmentation de l’offre de ce genre de cours. Toutefois, étant donné que la plupart des centres offrent un mélange de la formation en classe et des cours en ligne, il est difficile d’établir quelle est la méthode de prestation la plus économique.

Malgré le fait que les étudiants indiquent habituellement une préférence pour les méthodes d’apprentissage en classe et par l’expérience, plutôt que l’apprentissage en ligne, seulement 60 des 150 cours sont actuellement offerts en ligne. Aucune étude n’a été menée pour évaluer l’utilité des cours en ligne sur le plan du contenu fourni par rapport aux autres méthodes de prestation, ni pour mesurer leur rentabilité. Il faudra donc mener d’autres études sur ces questions.

Constatation n^o13 : Au cours des années visées par l’évaluation, CFSC a engagé des dépenses presque dix fois plus élevées pour la formation interculturelle destinée aux personnes de l’extérieur du Ministère (selon le principe du recouvrement des coûts) que pour la formation des employés d’AMC.

La formation de CFSC est en grande partie conçue et mise à l’essai à l’interne par les employés du Centre. Les cours sont ensuite donnés par des instructeurs contractuels. Au cours des années visées par l’évaluation, CFSC a engagé des dépenses presque dix fois plus importantes pour la formation interculturelle des clients de l’extérieur du Ministère (selon le principe du recouvrement des coûts) que pour la formation des employés d’AMC^{Note de bas de page 16}. Au cours de trois des quatre années pour lesquelles des données sur les dépenses ont été recueillies, les frais d’inscription demandés aux clients de l’extérieur du Ministère ont enrichi les fonds ministériels consacrés à la formation des fonctionnaires d’AMC.

Constatation n^o14 : Les modèles de dotation des quatre centres de l’ICSE ne sont pas très uniformes. Il est donc impossible d’établir une comparaison de la rentabilité de ces modèles.

Chacun des quatre centres possède son propre domaine et ses propres objectifs de formation ainsi que ses propres spécialistes de l’apprentissage. De plus, les modèles de dotation varient d’un centre à l’autre. En effet, dans certains cas, la formation est élaborée et fournie par le personnel du centre, tandis que dans d’autres cas, ces services sont impartis.

Voici les descriptions des différents modèles de dotation des centres, en ordre décroissant, selon le coût par jour-étudiant :

1. CFSS : Ce sont les employés qui conçoivent et fournissent la plupart des services de formation; 35 p. 100 des jours-étudiants ont été dépensés pour de l’apprentissage autonome en ligne, 10 p.100, pour de la formation en ligne dirigée par un instructeur et le reste des fonds, pour de la formation en classe dirigée par un instructeur.
2. CFSD : Ce sont des entrepreneurs qui conçoivent et fournissent tous les services de formation; 10 p. 100 des jours-étudiants ont été dépensés pour l’apprentissage autonome en ligne et le reste, pour la formation en classe dirigée par un instructeur. Les employés de CFSD assistent aux cours en classe dirigés par un instructeur à titre d’observateurs pour fournir un soutien administratif et à des fins de contrôle de la qualité.
3. CFSL : Ce sont des entrepreneurs qui conçoivent et fournissent toute la formation; tous ces services ont été fournis selon le mode d’apprentissage de la formation en classe dirigée par un instructeur.
4. CFSC : Ce sont les employés qui conçoivent la formation et des entrepreneurs qui la fournissent; sept pour cent des jours-étudiants ont été dépensés pour l’apprentissage autonome en ligne et le reste, pour la formation en classe dirigée par un instructeur.

En présence d’explications antagonistes, il est impossible de conclure si la variation des coûts en jours-étudiants d’un centre à l’autre est attribuable au modèle de dotation.

Constatation n^o15 : Les employés peuvent surveiller les activités inefficaces et corriger les problèmes par l’observation en classe et l’évaluation des cours. Toutefois, pour améliorer l’efficacité, il faut exercer une surveillance empirique et disposer d’une base de données pour mettre en commun l’information des quatre centres.

Graphique 3. : Nombre d’étudiants par session selon les principaux secteurs

Comme l’indique le tableau 8 et comme l’illustre le graphique 3, le nombre total d’élèves par session a augmenté sensiblement entre 2008-2009 et 2011-2012. Il est en effet passé d’un nombre moyen de 7,28 étudiants par session à un nombre moyen de 18,36 étudiants par session. Seul le programme de perfectionnement en gestion a présenté une légère diminution du nombre d’étudiants par session.

Les efforts de l’ICSE pour surveiller les économies sur le plan de la formation ne sont en grande partie que de simples constats. La plupart des employés de l’ICSE sont capables de repérer les inefficacités ou les activités inefficaces et de corriger ou d’atténuer les problèmes. Avec des mesures systématiques comme l’observation régulière en classe et l’évaluation des cours, on pourrait soutenir que l’Institut possède les outils nécessaires pour améliorer l’efficacité de ses cours.

Il existe toutefois un manque de surveillance empirique. Les dépenses de l’ICSE ne sont pas comptabilisées selon le mode de prestation ou le domaine, de sorte à permettre aux dirigeants d’examiner les enjeux et de comparer des approches sur une base empirique. Le fait que l’équipe d’évaluation, dans la présente étude, ait dû consulter différentes bases de données pour obtenir des données exactes pour les quatre centres donne à penser qu’il y a place à l’amélioration à cet égard.

L’ICSE ne recueille que très peu de données sur le plan des acquis. L’absence de ces données nuit à l’évaluation par l’Institut du rendement des investissements en formation et, par le fait même, à la rentabilité de la formation de l’ICSE. CFSL fait exception; ce centre évalue les compétences linguistiques avant et après la formation, ce qui lui permet de calculer les acquis de façon précise. Bien que CFSL ne se livre actuellement pas à cet exercice, il pourrait mettre en correspondance les acquis et les dépenses en formation et comparer l’efficacité de la formation en fonction de certains indices comme le mode de prestation, le programme et le domaine (p. ex. des langues de divers degrés de difficulté).

L’ICSE a pour mandat de coordonner les activités de formation à l’échelle du Ministère, de fournir des services d’inscription et d’autres services administratifs communs à l’ensemble des fournisseurs de formation d’AMC et de donner des conseils spécialisés dans des domaines comme l’évaluation des besoins et la conception de la formation. L’acceptation de ces services n’est pas uniforme, ce qui peut mener à des cas de chevauchement ou à une baisse de la qualité des services. De nombreux ministères fédéraux disposent d’un guichet unique pour tous les produits de formation officielle et les services d’apprentissage connexes, qui sont habituellement hébergés dans le secteur des Ressources humaines, et le fait que GAC embauche de 20 à 25 fournisseurs de services donne à penser qu’il pourrait y avoir des inefficacités. La rentabilité ne consiste pas seulement pour l’ICSE à fournir sa formation de la façon la plus efficace possible, mais aussi à encourager l’efficacité dans la prestation de la formation à l’échelle du Ministère, quelle que soit l’entité qui fournit la formation.

Comme mentionné par les personnes interviewées, il existe un manque d’intégration des divers systèmes utilisés pour gérer la formation d’AMC. L’ICSE utilise un système de gestion de l’apprentissage (SGA) qui lui permet de faire le suivi des inscriptions et des cours terminés. Ce système n’est cependant pas intégré avec le Système de gestion des ressources humaines du Ministère (SGRH). Les données liées à la formation sont donc enregistrées dans un système ou dans l’autre, mais souvent pas dans les deux, ce qui crée des lacunes dans les bases de données et qui diminue les possibilités d’analyse. De plus, cette situation peut entraîner un risque de répétition qui pourrait réduire l’efficacité générale de la formation au Ministère. Sans des données complètes, les décisions de gestion du personnel ne sont peut-être pas bien éclairées. Ainsi, si une importante lacune a été décelée dans les compétences d’un certain groupe d’employés, il est peut-être possible de la corriger plus facilement et à coût moindre par le recrutement plutôt que par la formation.

Le SGA de l’ICSE a la capacité de desservir l’ensemble du Ministère. Il pourrait contribuer à réduire le nombre de cas de chevauchement administratif, améliorer l’uniformité, réaliser des économies d’échelle et effectuer le genre de suivi mentionné précédemment. Puisque le système n’est pas utilisé de façon uniforme par les fournisseurs de formation du Ministère, ces avantages n’ont pas été obtenus. Par conséquent, tandis que les personnes interviewées ont déclaré qu’il n’y a pas de répétition des cours au Ministère, il pourrait bien y avoir chevauchement des activités administratives liées à ces cours. Les participants aux entretiens ont mentionné avoir observé des cas de manque de coordination des fonctions et des activités de formation (p. ex. des occasions ratées d’offrir aux ERP, de façon concertée, une série de cours de l’ICSE et d’autres fournisseurs lorsque ces employés se déplacent au Canada).

5.0 Constatations de l’évaluation au sujet de la performance des modèles de formation dans les autres ministères

Comme il a été mentionné précédemment dans la section sur les méthodes, dans leurs travaux, les évaluateurs ont comparé AMC à d’autres ministères présentant des besoins de formation semblables. Ils ont évalué les similitudes et les différences des modèles de prestation de la formation (formation centralisée, formation décentralisée et modèle hybride), des modèles de gestion et des approches en vue de la rentabilité et de l’efficacité dans la prestation de la formation. Les documents pertinents des AM ont été examinés et des entretiens ont été tenus avec les informateurs clés des cadres supérieurs et les gestionnaires participant à la prestation de la formation dans les ministères sélectionnés Ces entretiens ont été tenus avec des cadres supérieurs de six organisations de l’extérieur d’AMC, soit cinq AM et une organisation sans but lucratif^{Note de bas de page 17}, au sujet de leurs modèles de prestation de la formation.

Constatation n^o16 : Plusieurs points communs ont été recensés entre les AM et leurs modèles de formation. Il s’agit en grande partie 1) des facteurs de motivation de la formation, 2) des stratégies de gestion, et 3) de la coordination stratégique.

Facteurs de motivation de la formation

Les fonctionnaires des AM interviewés ont mentionné les mêmes facteurs de motivation de la formation : le développement de compétences axées sur le comportement et la réponse à l’exigence d’établir des normes nationales de formation uniformes. Cinq des six organisations représentées lors des entretiens ont mis en place des normes nationales de formation ou un plan national en matière de formation (PNF).

Ainsi, l’ASFC possède un PNF organisé en portefeuilles qui s’applique à l’ensemble de l’organisation. L’un des quatre portefeuilles, la formation prioritaire, est divisé en six catégories : la formation obligatoire, les normes nationales de formation (p. ex. la préparation des agents des services frontaliers à l’exercice de leurs fonctions), la formation prioritaire selon le secteur de programme, les autres programmes de formation régionaux, la formation en langues officielles et le perfectionnement professionnel. Le respect des normes de formation, surtout dans le cas des agents des services frontaliers et des agents correctionnels, est essentiel à l’efficacité de la formation, et ces normes doivent faire l’objet d’une surveillance continue aux fins de la conformité.

Gestion

Du point de vue du financement, cinq des six organisations ont centralisé la gestion des fonds destinés à la formation et à l’apprentissage sous la fonction organisationnelle de la formation et de l’apprentissage. La sixième organisation aura transféré ses fonds dans une réserve de fonds centralisée en 2014-2015. Trois des organisations représentées lors des entretiens ont fait la transition d’un modèle centralisé vers un modèle décentralisé de la prestation des services et prévu un budget de formation organisationnelle centralisée. La formation est considérée un programme, plutôt qu’un service et elle est définie dans l’AAP comme étant un programme doté d’un budget spécial.

La deuxième fonction centralisée dans les six organisations dont des représentants ont été interviewés est la fonction consultative dans le domaine de l’apprentissage. Cette fonction a été évoquée comme améliorant l’uniformité et la pertinence des modes de prestation de la formation (p. ex. les normes communes en matière de conception et de prestation).

Le financement de la formation est habituellement centralisé, mais certaines fonctions de formation sont exécutées au moyen d’un modèle hybride (un ensemble d’approches centralisées et décentralisées). Certaines fonctions sont centralisées (p. ex. le financement, la conception des programmes, l’établissement de rapports nationaux, l’élaboration de politiques et l’évaluation), tandis que d’autres fonctions qui peuvent être exécutées de concert avec les directions générales fonctionnelles sont décentralisées (p.ex. instructeurs et spécialistes).

Quatre des six organisations dont des représentants ont été interviewés ont participé à un réseau d’apprentissage de l’extérieur de leur organisation qui englobait des organisations qui avaient lancé des efforts de formation semblables. Ces réseaux servent de plateforme pour l’échange des pratiques exemplaires en conception et exécution de programmes d’apprentissage pour des groupes clients semblables.

Coordination stratégique

Pour ce qui est de la coordination stratégique de la fonction de formation, les six organisations représentées dans les entretiens ont établi une stratégie de formation ou un PNF. Une entité de gestion centralisée surveille la fonction de formation et d’apprentissage et sert de mécanisme pour définir et classer les besoins d’apprentissage organisationnels en ordre de priorité. Les produits d’apprentissage sont examinés annuellement et mis en correspondance avec les priorités de la planification stratégique des effectifs et les priorités ministérielles. Les investissements dans l’apprentissage sont déclarés chaque année à une entité de surveillance ou un comité de la gestion ministérielle.

À titre d’exemple, le PNF d’une organisation est un processus à quatre étapes qui débute par l’affectation d’un budget ministériel pour la formation et l’apprentissage. Des prévisions de la formation sont ensuite élaborées et des directives sont ensuite données aux secteurs et directions générales pour garantir que les besoins énoncés sont définis en fonction d’un ensemble établi de critères (p.ex. priorités nationales définies en matière de formation et nécessités du service locales précises). Le coût de la formation et des objectifs de formation sont ensuite fixés selon les prévisions, les niveaux de conformité de référence et la disponibilité des ressources. Enfin, les fonds sont affectés par le biais du PNF pour la mise en œuvre. Cet exercice de planification et d’établissement des priorités est répété sur une base annuelle et la mise en œuvre du plan fait l’objet d’une surveillance continue.

Dans le cadre de cette fonction de coordination stratégique, tous les AM dont des employés ont participé aux entretiens utilisent un mode d’apprentissage technologique pour les cours, si possible, et ils procèdent régulièrement à un examen des cours pour déterminer le mode de prestation optimal. Ces organisations transforment progressivement les cours en classe en cours en ligne, ce qui augmente leur accessibilité et qui entraîne une réduction des coûts (p. ex. dans une organisation, l’apprentissage en ligne représente 40 p.100 de l’ensemble de la formation).

Constatation n^o17 : L’analyse des pratiques des AM montre les avantages qui découlent de la centralisation de la prestation de la formation, du budget de formation ministériel et du budget lié à un processus de planification stratégique.

L’un des objectifs de l’évaluation était de recueillir des données permettant d’établir si la prestation de la formation à AMC devrait être centralisée, décentralisée ou fournie au moyen d’une combinaison des deux modes. Les données recueillies lors des entretiens avec les représentants des AM soulignent les avantages d’une prestation de la formation centralisée : certaines fonctions sont centralisées pour des raisons de comptabilité et d’efficacité administrative (par la mise en commun des ressources en vue de réduire le nombre de cas de répétition des efforts), et pour uniformiser la qualité des cours (l’utilisation uniforme de méthodes d’apprentissage des adultes uniformes).

Certains clients des directions générales et des missions que l’équipe d’évaluation a interviewés trouvaient difficile de connaître le « point d’entrée » des demandes de renseignements de l’ICSE pour leurs propres besoins d’apprentissage ou de services consultatifs, cette difficulté entraînant des retards. Ces interviewés estimaient qu’un portail de service aux clients centralisé ou « point d’entrée » pourrait contribuer à améliorer l’efficacité de la prestation des services, surtout si les conseillers en apprentissage possédant des compétences en pédagogie étaient facilement accessibles. L’ICSE possède actuellement quatre centres, chacun possédant son propre point de contact. CFSE pourrait peut-être exercer cette fonction, étant donné ses responsabilités en matière d’évaluation, de conception de produits d’apprentissage et de services consultatifs.

Il existe à AMC, un forum des RH qui a pour objectif de définir les besoins en formation et une stratégie de gestion des RH. Il n’y a toutefois pas d’entité de gestion ministérielle ou de gestion des RH chargée d’élaborer la politique ministérielle en matière de formation. Cette affirmation a été faite par les gestionnaires de l’ICSE et pendant les entretiens avec les employés des missions. Sous l’actuel modèle de gestion décentralisée, les directions générales à l’Administration centrale et dans les missions ont en grande partie la responsabilité d’élaborer leurs propres politiques, plans et normes de formation, ce qui entraîne des lacunes, des incohérences et de l’incertitude à l’égard du droit à la formation.

Les fonctionnaires des AM interviewés qui ont un besoin semblable de prestation de services régionaux ont tendance à offrir leurs services par le biais des directions générales fonctionnelles et d’un centre national d’expertise national, qui constitue le point focal de l’établissement de rapports et de la gestion. Dans ce modèle, la formation est fournie de la même façon que la formation de l’ICSE, des conseillers en apprentissage travaillant de concert avec la direction générale fonctionnelle responsable.

En outre, l’expérience des fonctionnaires des AM interviewés montre les avantages de la centralisation du budget de formation ministérielle et d’un budget lié à un processus de planification stratégique. Cette approche favorise une prestation pertinente, rentable et efficace de la formation; en raison de l’exercice d’une surveillance continue, la formation fournie répond aux normes et politiques établies. Dans ces organisations, la formation continue reste décentralisée pour servir les clients géographiquement dispersés et pour répondre aux besoins de formation spécialisée des employés, les compétences spécialisées étant hébergées dans les directions générales fonctionnelles ou les secteurs où la formation est fournie.

6.0 Conclusions de l’évaluation

L’évaluation montre que l’ICSE répond à un besoin continu de prestation d’une formation et d’un perfectionnement professionnel aux employés d’AMC et d’autres organismes fédéraux. De plus, l’évaluation a permis de conclure que les activités de l’Institut sont harmonisées avec les priorités du GC.

Le besoin de formation en leadership existe toujours : la formation de la fonction publique constitue une priorité pangouvernementale; la formation, l’apprentissage et le perfectionnement sont des priorités stratégiques ministérielles et la formation permet au Ministère de réaliser ses priorités en matière de politique internationale. L’ICSE reste un atout précieux et en quelque sorte particulier pour la prestation de cette formation. Les cours de l’Institut sont, de façon générale, considérés comme étant pertinents par les clients et l’efficacité interculturelle et, plus particulièrement, la formation sur l’efficacité interculturelle est considérée comme étant un service spécialisé de qualité qu’il est difficile d’obtenir ailleurs. De plus, le fait que l’Institut fournisse un SGA centralisé qui répond aux besoins du Ministère en matière de gestion des ressources humaines, de formation, d’apprentissage et de perfectionnement montre bien qu’il existe un besoin continu des services de l’ICSE.

Le gouvernement fédéral joue également un rôle dans la formation, l’apprentissage et le perfectionnement se rattachant au leadership, à la coordination et à l’encouragement d’une culture de l’apprentissage. La formation est définie comme étant une priorité du GC dans les politiques du CT sur l’apprentissage, la formation ainsi que le perfectionnement et l’apprentissage continu dans la fonction publique et les rapports du greffier du Conseil privé. La création d’une culture de l’apprentissage est soulignée à titre de priorité pour encourager la création de la fonction publique du Canada comme organisation apprenante. Au niveau ministériel, l’ICSE exerce ses activités en accord avec les priorités d’AMC et il joue un rôle de premier plan, veillant à ce que les employés reçoivent la formation nécessaire pour répondre aux exigences de leur poste. De plus, l’évaluation confirme qu’il est pertinent que le GC et AMC exercent une surveillance des activités de l’ICSE.

Au chapitre du rendement, les services de l’ICSE reçoivent de façon générale une note positive des clients. De plus, les outils de sensibilisation, comme le site Web interne, ont été des outils efficaces pour annoncer les services de l’ICSE. L’Institut a aussi pris des mesures pour concilier la qualité des cours et l’efficacité de la prestation des cours. L’évaluation a toutefois défini un certain nombre de domaines qui bénéficieraient d’une centralisation et d’une communication accrues. La surveillance du rendement n’a pas été centralisée dans l’ensemble de l’ICSE. La coordination des quatre centres de l’Institut pourrait contribuer à réduire les inefficacités et à faciliter l’accès à l’information et aux méthodes de chacun des centres. De plus, les données recueillies auprès des AM soulignent l’utilité d’une formation centralisée pour améliorer la responsabilité et l’efficacité administrative et d’un budget centralisé pour améliorer la prestation et la rentabilité de la formation. Mais plus fondamentalement, l’ICSE n’a pas de stratégie globale claire pour la prestation de la formation ni une entité organisationnelle capable d’en créer une. La fusion avec l’ACDI représente une occasion d’énoncer une seule stratégie pour l’apprentissage et la formation qui pourrait s’inspirer du Cadre d’apprentissage – 2011-2014 et de la Politique en matière d’apprentissage du MAECI.

7.0 Recommandations

Recommandation n^o1 : Il est recommandé que le Ministère crée un organe de gestion ministérielle pour appuyer l’établissement des priorités et la prestation de la formation au Ministère. D’autres ministères ont déjà adopté un modèle de prestation de la formation centralisé.

Les données recueillies au cours de l’évaluation indiquent nettement la nécessité d’une entité de gestion qui améliorerait sensiblement la capacité du Ministère de planifier, classer en ordre de priorités et exécuter ses activités de formation. La création de cette entité permettrait également d’atténuer les lacunes ou de réduire le nombre de répétitions des efferts en matière de formation. Ainsi, l’évaluation a révélé un certain degré de chevauchement des contenus des cours de l’ICSE et de l’EFPC.

Trois autres ministères, étudiés aux fins de comparaison, ont fait la transition vers un modèle centralisé de prestation de la formation.

Recommandation n^o2 : Conformément à la recommandation n^o1, il est recommandé que le Ministère élabore une stratégie en matière de prestation de la formation. Une stratégie en matière de formation permettrait d’élaborer une approche uniforme de l’évaluation des besoins, de la planification et de l’établissement des priorités de formation et d’améliorer la surveillance de la prestation de la formation en collaboration avec d’autres directions générales.

Il manque un cadre de planification stratégique qui permettrait d’analyser de quelle façon l’ICFS planifie, conçoit, met en œuvre et évalue la formation. Ce cadre engloberait une stratégie pour l’examen des programmes de l’ICSE qui tiendrait compte des besoins des clients, des priorités organisationnelles et des modes de prestation, ainsi qu’une stratégie de gestion qui énoncerait les rôles et responsabilités à AMC en matière de prestation de la formation. Il est possible de mettre en application les enseignements tirés du processus de réorientation stratégique que l’ancienne ACDI avait entrepris pour mettre à jour ses services d’apprentissage et de formation. Le Cadre d’apprentissage – 2011-2014 de l’ancienne ACDI et la Politique en matière d’apprentissage du MAECI pourraient servir de fondement à une future stratégie.

L’ICSE pourrait également étudier des approches systématiques et stratégiques d l’exécution et l’évaluation des programmes de formation.

Un cadre de planification stratégique pourrait couvrir les quatre composantes d’un programme de formation efficace : 1) la planification, 2) la conception, 3) la mise en œuvre et 4) l’évaluation^{Note de bas de page 18}. Les objectifs et les indicateurs correspondants pourraient alors être associés à chaque composante. L’étape de la planification pourrait être intégrée à des processus de planification annuelle. Cette approche correspond aux processus en place dans les AM dont des fonctionnaires ont été interviewés au sujet du modèle de prestation de la formation.

Recommandation n^o3 : Il est recommandé que le Ministère étudie les options de centralisation des fonctions de gestion de base qui se rattachent à la prestation de la formation de l’ICSE (le financement, la conception des programmes, les services consultatifs en matière d’apprentissage, l’établissement de rapports, l’élaboration des politiques et l’évaluation), au moment d’élaborer une approche normalisée de collaboration avec les autres directions générales en matière de prestation de la formation.

Comme le montrent les données des AM, les fonctions de soutien administratif à la formation et de prestation de services consultatifs en matière d’apprentissage sont souvent centralisées. Dans les ministères qui offrent une formation régionale, ce sont des spécialistes qui fournissent la formation, tandis qu’un organe de coordination central est responsable de la gestion. Selon les données obtenues, il serait possible de renforcer la centralisation du soutien administratif et des services consultatifs en matière d’apprentissage.

Recommandation n^o4 : Il est recommandé que l’ICSE, de concert avec ses partenaires de prestation de la formation ministérielle, convienne d’une stratégie d’évaluation systématique et d’une stratégie de mesure du rendement, y compris un mécanisme de collecte des données pour l’obtention de données primaires provenant des participants à la formation, de leurs gestionnaires et superviseurs, de leurs pairs et de leurs subordonnés.

Actuellement, il n’y a pas de collecte de données de haut niveau sur l’applicabilité de l’efficacité de la formation et de l’efficacité organisationnelle. Il faudrait élaborer une stratégie qui permettrait de recueillir des données appuyant une analyse détaillée des effets de la formation (c’est-à-dire les résultats des niveaux 1 et 2 du modèle de Kirkpatrick). De plus, le fait de faire appel à la participation des bénéficiaires de la formation directs et indirects pourrait entraîner l’amélioration de l’utilité des données d’évaluation.

Il s’impose de centraliser les données de l’ICSE appuyant la mesure et l’évaluation du rendement. Étant donné les difficultés rencontrées lors des efforts pour obtenir les données financières et les données sur le rendement pour l’évaluation, il est recommandé que l’ICSE étudie les options en vue de la centralisation de toutes les données administratives et financières. CFSE occupe une position privilégiée pour jouer ce rôle à titre de point focal de l’évaluation à l’Institut.

Au chapitre des résultats et des effets de la formation, il n’existe que très peu sinon aucune donnée; en effet, seulement neuf cours ont fait l’objet d’une évaluation du troisième niveau au cours des quatre dernières années. L’élaboration d’une stratégie de mesure du rendement qui tient compte des priorités en matière de gestion des ressources ministérielles et humaines du Ministère et qui les lie à une stratégie en matière de formation, pourrait fournir un fondement solide pour un cadre de planification stratégique.

8.0 Réponse de la direction et plan d’action

RECOMMANDATION n^o1

Il est recommandé que le Ministère crée un organe de gestion ministérielle pour appuyer l’établissement des priorités et la prestation de la formation au Ministère. D’autres ministères ont déjà adopté un modèle de prestation de la formation centralisé.

RECOMMANDATION n^o2

Conformément à la recommandation n^o1, il est recommandé que le Ministère élabore une stratégie en matière de formation. Une stratégie en matière de formation permettrait d’élaborer une approche uniforme de l’évaluation des besoins, de la planification et de l’établissement des priorités de formation et d’améliorer la surveillance de la prestation de la formation en collaboration avec d’autres directions générales.

RECOMMANDATION n^o3

Il est recommandé que le Ministère étudie les options de centralisation des fonctions de gestion de base qui se rattachent à la prestation de la formation de l’ICSE (le financement, la conception des programmes, les services consultatifs en matière d’apprentissage, l’établissement de rapports, l’élaboration des politiques et l’évaluation), au moment d’élaborer une approche normalisée de collaboration avec les autres directions générales en matière de prestation de la formation.

RECOMMANDATION n^o4

Il est recommandé que l’ICSE, de concert avec ses partenaires de prestation de la formation ministérielle, convienne d’une stratégie d’évaluation systématique et d’une stratégie de mesure du rendement, y compris un mécanisme de collecte des données pour l’obtention de données primaires provenant des participants à la formation, de leurs gestionnaires et superviseurs, de leurs pairs et de leurs subordonnés.

Annexe 1 : Liste des constatations

Constatation n^o1 : L’ICSE joue un rôle important dans la préparation des fonctionnaires du Ministère et d’autres ministères à l’exercice de fonction à l’Administration centrale et dans les missions à l’étranger.

Constatation n^o2 : Les activités de l’ICSE continuent d’être en accord avec les priorités ministérielles et fédérales.

Constatation n^o3 : Non seulement la formation de l’ICSE est en accord avec les priorités ministérielles, mais la gestion et la mise en œuvre des activités de l’ICSE constituent également un rôle pertinent pour le gouvernement fédéral et pour AMC.

Constatation n^o4 : L’ICSE offre un large éventail d’occasions de formation et la plupart de ses clients se déclarent satisfaits des services qu’ils ont reçus.

Constatation n^o5 : Les outils d’information sur l’ICSE, comme le site Web interne, sont efficaces pour joindre un grand nombre de personnes. Cette facilité d’accès a permis à l’Institut de rester en contact avec sa vaste clientèle qui utilise ses services chaque année.

Constatation n^o6 : La culture de l’apprentissage à AMC n’en est encore qu’à ses débuts.

Constatation n^o7 : L’ICSE a réalisé des progrès en vue de l’obtention de résultats liés à la prestation de services de formation. Il existe toutefois un manque de surveillance centralisée du rendement et d’évaluation des résultats des activités de formation, d’apprentissage et de perfectionnement au niveau organisationnel.

Constatation n^o8 : Bien que l’ICSE remplisse son rôle de fournisseur central de la formation et qu’il réalise des progrès dans la coordination des activités de prestation des services de formation, il est difficile de mesurer les conséquences générales sur l’organisation découlant de la formation fournie par l’ICSE.

Constatation n^o9 : L’ICSE a pris des mesures pour devenir un programme de formation efficace, mais l’absence d’une stratégie ministérielle en matière de formation ou d’un cadre de gestion général limite son rendement.

Constatation n^o10 : Il existe certaines preuves de l’efficacité de l’ICSE. L’Institut a pris certaines mesures pour concilier l’efficacité, la portée et la qualité de la prestation des cours. L’ICSE poursuit ses efforts pour définir des approches rentables de prestation des services de prestation.

Constatation n^o11 : La dépense la plus importante de l’ICSE était la formation en langues étrangères donnée par CFSL, qui représentait 36 p. 100 des dépenses.

Constatation n^o12 : La formation en classe dirigée par un instructeur étant le modèle de formation le plus répandu à l’ICSE, il est peu probable que l’apprentissage autonome en ligne soit utilisé à son plein potentiel.

Constatation n^o13 : Au cours des années couvertes par l’évaluation, CFSC a engagé des dépenses presque dix fois plus élevées pour la formation interculturelle destinée aux personnes de l’extérieur du Ministère (selon le principe du recouvrement des coûts) que pour la formation des employés d’AMC.

Constatation n^o14 : Les modèles de dotation des quatre centres de l’ICSE ne sont pas très uniformes. Il est donc impossible d’établir une comparaison de la rentabilité de ces modèles.

Constatation n^o15 : Les employés peuvent surveiller les activités inefficaces et corriger les problèmes par l’observation en classe et l’évaluation des cours. Toutefois, pour améliorer l’efficacité, il faut exercer une surveillance empirique et disposer d’une base de données pour mettre en commun l’information des quatre centres.

Constatation n^o16 : Plusieurs points communs ont été recensés entre les AM et leurs modèles de formation. Il s’agit en grande partie 1) des facteurs de motivation de la formation, 2) des stratégies de gestion et 3) de la coordination stratégique.

Constatation n^o17 : L’analyse des pratiques des AM montre les avantages qui découlent de la centralisation de la prestation de la formation, du budget de formation ministériel et du budget lié à un processus de planification stratégique.

Annexe 2 : Fonctions des centres de l’ICSE

Annexe 3 : Enjeux et questions de l’évaluation

Le tableau suivant est un résumé des questions de l’évaluation présentées selon les enjeux de l’évaluation sur les plans de la pertinence et du rendement et indiquant les mesures de collecte des données prises pour répondre à ces questions.

Tableau 10. : Résumé des enjeux fondamentaux et des questions étudiées lors de l’évaluation de l’ICSE

Enjeux liés à la pertinence : Besoin continu et harmonisation avec les priorités du gouvernement

Questions liées au rendement (économie et efficacité)

Annexe 4 : Liste des fournisseurs de formation à AMC

Annexe 5 : Documents examinés

Documents du Ministère

• MAECD. (2014). Profil du risque ministériel 2014-2015 du MAECD. Direction générale de la planification ministérielle et de la gestion du rendement et du risque (PDD).
• MAECD. (2012-2013). Plan d’activités ministériel intégré (PAMI) d’Affaires étrangères et Commerce international Canada.
• MAECD. (2013-2014). Plan d’activités ministériel intégré (PAMI) d’Affaires étrangères et Commerce international Canada.
• MAECI. (2009). Plan intégré des ressources humaines du Ministère des Affaires étrangères et du Commerce international pour 2009-2012.
• MAECI. (2013). Plan intégré des ressources humaines du Ministère des Affaires étrangères et du Commerce international pour 2013-2014.
• MAECI. Stratégie de gestion de l’information et de la technologie de l’information (GI/TI) du MAECI 2012-2015.
• ACDI (2011).  Cadre d’apprentissage de l’ACDI – 2011-2014.
• MAECI (2007). Évaluation de l’Institut canadien du service extérieur. Bureau de l’inspecteur général.
• MAECD. (2013). Cadre de mesure du rendement (CMR) 2014-2015 du MAECD.
• MAECD. (2008). Politique en matière d’apprentissage du MAECD.
• MAECD. Service des délégués commerciaux du Canada. (2014). Stratégie d’apprentissage du SDC pour la réussite du service à la clientèle.
• MAECD. Service des délégués commerciaux du Canada. (2012). Service des délégués commerciaux : Service, satisfaction, succès – Stratégie d’apprentissage du SDC.
•  ACDI. Division de l’apprentissage continu (2011). Cadre de travail de l’évaluation de la fonction d’apprentissage (EFA).
• MAECI. (1995). Évaluation de la fonction d’apprentissage du MAECI – Rapport final. Bureau de l’inspecteur général.
• MAECI. (2013). Rapport ministériel sur le rendement de 2012-2013 d’Affaires étrangères et Commerce international Canada.
• MAECI. (2014). Rapport sur les plans et priorités 2013-2014 du ministère des Affaires étrangères et du Commerce international.
• Secrétariat du Conseil du Trésor du Canada. Bureau du dirigeant principal des ressources humaines (2012). Processus 5.0 : Rendement, apprentissage, perfectionnement et reconnaissance des employés. Mai 2012.

Documents de l’ICSE

• ICSE. (mars 2014). Note d’information de l’ICSE dans le contexte de la fusion. Centre d’apprentissage interculturel.
• ICSE. (2010). Stratégie d’évaluation des programmes et des cours de CFSI. 
• ICSE. (2013). Plan des services de perfectionnement organisationnel.
• ICSE. (2009). Rapport annuel sur l’apprentissage – Statistiques sur la formation 2008-2009.
• ICSE. (2011). Centre de formation en langues étrangères. Présentation au Comité des langues étrangères. Décembre 2011.

Documents du gouvernement du Canada

• Secrétariat du Conseil du Trésor du Canada (2013). Processus opérationnel commun des ressources humaines (POCRH) Processus 5.00. Documentation : Rendement, apprentissage, perfectionnement et reconnaissance des employés.
• ICSE (2013). Centre de formation en langues étrangères. Projet d’évaluation des besoins en matière de compétences professionnelles en langue étrangère –  2013 : Résultats et recommandations.
• ICSE (2013). Rapport d’évaluation des besoins en gestion et en leadership.

Sites Web :

• Site Web de l’ICSE
• Site Web interne ICSE virtuel
• Services d’orientation auprès de l’École de la Fonction publique du Canada.
• Catalogue des cours de l’ICSE virtuel