Évaluation du développement de l'UNICEF

Remerciements

La Division de l'évaluation du développement du ministère des Affaires étrangères, du Commerce et du Développement (MAECD) souhaite remercier tous ceux et celles qui ont contribué à cet examen de l'efficacité de l'aide au développement de l'UNICEF. Le MAECD est reconnaissant pour la contribution et le soutien précieux apportés par toutes les personnes qui ont pris part à cet effort de collaboration.

Nos remerciements vont d'abord à ceux et celles qui ont collectivement facilité l'évaluation (indépendante des donateurs) de l'efficacité de l'aide au développement de l'UNICEF. L'évaluation a été dirigée par le ministère des Affaires étrangères des Pays-Bas, sous le leadership de M. Ted Kliest. Une équipe d'experts-conseils de la firme Goss Gilroy Inc. – composée de messieurs Ted Freeman et Robert Barnes et de mesdames Sheila Dohoo Faure, Louise Mailloux et Tasha Truant – a réalisé l'analyse et la rédaction de cette évaluation. Le présent rapport est publié sur le site Web de l'Organisation de coopération et de développement économiques (OCDE).

Le MAECD a rédigé le chapitre portant sur la relation du Canada avec l'UNICEF. Nous souhaitons remercier l'équipe de la Division des programmes des Nations Unies, du Commonwealth et de la Francophonie de la Direction des enjeux mondiaux et du développement du MAECD pour sa participation à cet exercice.

Nous souhaitons remercier mesdames Lamia Naji, agente d'évaluation junior, et Tricia Vanderkooy, gestionnaire de l'évaluation de la Division de l'évaluation du développement du MAECD, qui ont réalisé l'évaluation de l'engagement du Canada à l'égard de l'UNICEF. Mme Naji a rédigé le chapitre portant sur cette question, tandis que Mme Vanderkooy a apporté son aide pour la révision du chapitre. Nous voulons également remercier messieurs Andrés Velez-Guerra, chef d'équipe, et James Melanson, directeur de l'évaluation, pour avoir supervisé l'examen.

Sincères salutations,
Caroline Leclerc
Chef de la Division de l'évaluation du développement

Liste des sigles et des acronymes

ACDI

Agence canadienne de développement international

CAD

Comité d'aide au développement

CCC

Principaux engagements pour les enfants dans l'action humanitaire

EvalNet

Réseau du CAD sur l'évaluation du développement

DFID

Ministère du Développement international du Royaume-Uni

GID

Direction générale des enjeux globaux et du développement

MAECD

Affaires étrangères, Commerce et Développement Canada

MOPAN

Réseau d'évaluation du rendement des organisations multilatérales

MFM

Direction générale des enjeux globaux et du développement^{Note de bas de page 1}

MoRES

Système de suivi des résultats pour l'équité

ONU

Nations Unies

ONUSIDA

Programme conjoint des Nations Unies sur le VIH/sida

UNDAF

Plan cadre des Nations Unies pour l'aide au développement

UNEG

Groupe des Nations Unies pour l'évaluation

INUEF

Initiative des Nations Unies pour l'éducation des filles

UNICEF

Fonds des Nations Unies pour l'enfance

VISION

Système virtuel intégré d'information

WEOG

Europe de l'Ouest et autres groupes

Sommaire

Contexte

Le présent rapport fournit les résultats d'un examen de l'efficacité des programmes humanitaires et de développement du Fonds des Nations Unies pour l'enfance (UNICEF). Cet examen a été commissionné par le Ministère des Affaires étrangères des Pays-Bas et a été préparé par une équipe de Goss Gilroy Inc. d'Ottawa, au Canada^{Note de bas de page 2}. En plus, une revue de l'engagement du Canada avec l'UNICEF a été entreprise par Affaires étrangères, Commerce et Développement Canada (MAECD) et est présentée au chapitre 5.

La méthode et l'approche communes adoptées dans le cadre de cet examen ont été élaborées sous la direction du Réseau du CAD sur l'évaluation du développement – le CAD étant le Comité d'aide au développement de l'Organisation de coopération et de développement économiques (OCDE). Cet examen est basé sur le contenu de rapports d'évaluation produits et publiés par l'UNICEF ainsi que sur l'examen de documents de l'organisme lui-même, en consultation avec ses employés qui travaillent à l'administration centrale, à New York.

Objectif

Le présent rapport se veut une évaluation indépendante fondée sur des données probantes de l'efficacité des activités liées à l'aide humanitaire et au développement qui ont été menées par l'UNICEF (ci-après appelées « programmes »), rapport que tous les intervenants pourront utiliser. L'approche privilégiée vise à travailler en coordination avec des initiatives telles que les examens par les pairs des fonctions d'évaluation des organismes onusiens qui sont réalisés par le Réseau du CAD sur l'évaluation du développement/Groupe des Nations Unies pour l'évaluation et les évaluations réalisées par le Réseau d'évaluation du rendement des organisations multilatérales (MOPAN). Cette approche reconnaît également que les organisations multilatérales continuent de faire des progrès au chapitre de l'établissement de rapports sur l'efficacité du développement et qu'elles devraient à terme préparer elles-mêmes et de façon régulière des rapports fondés sur des données probantes et vérifiées sur le terrain.

Approche et méthodologie

L'examen, réalisé entre octobre 2012 et mai 2013, a commencé par l'étude préliminaire des documents de l'UNICEF et l'identification de la population des rapports d'évaluation de l'UNICEF se trouvant dans la base de données mondiale de l'UNICEF et les rapports produits par son système mondial de contrôle des évaluations. Des entrevues ont ensuite été réalisées auprès des employés affectés aux programmes et à l'évaluation qui travaillent à l'administration centrale de l'UNICEF, à New York. En consultation avec le personnel de l'évaluation, l'équipe chargée de l'examen a créé un échantillon de 70 rapports d'évaluation de l'UNICEF publiés entre 2009 et 2011 et qui étaient représentatifs de la programmation de l'organisme. Les évaluations ont été sélectionnées de façon à inclure des programmes humanitaires et de développement, des programmes mis en œuvre dans les divers types de pays et régions où l'UNICEF est présent et des programmes dans chacun des cinq domaines prioritaires figurant dans le plan stratégique à moyen terme de l'organisme. Il faut toutefois noter que la population des évaluations recensées à l'UNICEF sous-représentait l'action et la programmation humanitaires dans certains des pays ayant obtenu les sommes les plus importantes au chapitre du financement de l'aide humanitaire ou au développement.

La qualité de chacune des évaluations a été établie à partir des normes d'évaluation fixées par le Groupe des Nations Unies pour l'évaluation. Étant donné que l'échantillon ne contenait aucune évaluation à laquelle le système mondial de contrôle des évaluations (GEROS) de l'UNICEF aurait attribué la cote « insatisfaisante (not confident to act) », seulement quatre des évaluations ont été exclues pour des raisons liées à la qualité et quatre autres pour diverses raisons (parce que leur portée était trop étroite, parce qu'elles ne couvraient pas un nombre minimal de critères d'efficacité ou encore parce qu'elles reprenaient les résultats d'évaluation contenus dans d'autres évaluations de l'échantillon). Ainsi, 62 rapports d'évaluation ont été retenus pour faire l'objet d'une cotation systématique dans le cadre de l'examen.

Chaque évaluation a été notée à l'aide d'une échelle de cotation de quatre points allant de « Très insatisfaisant » à « Très satisfaisant », la cote étant attribuée en fonction de six critères clés d'efficacité du développement et de 19 sous critères. L'équipe chargée de l'examen a également identifié les facteurs contribuant à l'obtention de constatations à la fois positives et négatives pour chacun des six critères clés utilisés pour juger de l'efficacité de l'aide au développement, tel que rapporté dans les évaluations. Les résultats de la méta-synthèse des constatations des évaluations ont ensuite été résumés et présentés au personnel de l'UNICEF avant l'élaboration du présent rapport.

Couverture des critères d'évaluation dans les évaluations examinées

L'équipe chargée de l'examen a établi des balises afin de déterminer dans quelle mesure les sous-critères ont été couverts dans les 62 évaluations, et ce, en fonction du nombre d'évaluations couvrant chacun des sous-critères. La couverture pouvait être bonne, moyenne ou faible. Les résultats pour les sous-critères ayant une faible couverture n'ont pas été rapportés. La couverture a été jugée faible pour seulement deux sous-critères : la mesure dans laquelle les changements apportés par les programmes sont durables sur le plan de l'environnement, et l'efficacité des systèmes pour la gestion axée sur les résultats. Les constatations pour ces sous-critères n'ont pas été rapportées.

Limites : Le caractère rétrospectif de l'examen

La section du rapport portant sur la méthodologie utilisée explique de façon plus détaillée certaines des limites inhérentes à l'examen qui sont liées aux questions d'échantillonnage et de couverture. Il serait bon de noter ici qu'un examen de l'efficacité de l'aide au développement qui repose principalement sur des évaluations déjà publiées est par sa nature même rétrospectif plutôt que prospectif. L'UNICEF a déjà donné suite ou est en train de donner suite à certains enjeux majeurs répertoriés dans les évaluations examinées. Ainsi, les résultats d'évaluations globales récentes de l'UNICEF ont été utilisés par la Division des programmes pour préparer son prochain plan stratégique. Le présent rapport rend compte des suites données lorsque le personnel de l'UNICEF a signalé la chose à l'équipe chargée de l'examen ou encore dans le cas où les documents proposent des exemples pour illustrer les mesures prises par l'UNICEF.

Constatations de l'examen de l'efficacité de l'aide au développement

Pertinence des programmes appuyés par l'UNICEF

La question de la pertinence des programmes de l'UNICEF est bien couverte dans les évaluations, et les constatations indiquent que ceux-ci répondent très bien aux besoins des groupes cibles. La vaste majorité des évaluations ont révélé un très haut niveau de pertinence pour ce qui est des besoins des groupes cibles, de l'alignement avec les objectifs nationaux de développement et de l'efficacité des partenariats. Toutefois, la programmation dans les pays à revenu intermédiaire était un peu plus susceptible d'obtenir une cote plus élevée pour les partenariats efficaces que les pays les moins avancés.

Le principal facteur ayant contribué à la pertinence de la programmation de l'UNICEF a été l'alignement de ceux-ci sur les priorités gouvernementales, particulièrement dans la mesure où ils avaient été conçus pour appuyer la mise en œuvre de politiques publiques, soutenir la programmation et le renforcement des capacités des institutions ou des gouvernements nationaux et qu'ils étaient basés sur des partenariats avec des intervenants clés. Lorsque ces conditions n'étaient pas réunies, notamment lorsqu'il y avait des lacunes dans les partenariats créés par l'UNICEF avec le gouvernement national (souvent en raison de l'inadéquation de la prise en charge par le gouvernement) et d'autres organismes onusiens, cela avait une incidence sur la pertinence de la programmation.

Atteinte des objectifs

La question de l'atteinte des objectifs est généralement très bien couverte dans les évaluations, à l'exception des sous-critères liés à la façon d'aborder les changements dans les politiques et les programmes nationaux de développement. Les constatations sont aussi largement positives. En effet, dans les trois quarts des évaluations, les constatations relatives à la mesure dans laquelle les programmes financés par l'UNICEF atteignent les objectifs énoncés étaient positives. Des résultats encore plus intéressants ont été obtenus pour ce qui est de la capacité des programmes à avoir des retombées positives pour les populations cibles. En effet, près de neuf évaluations sur dix faisaient état de constatations satisfaisantes ou plus que satisfaisantes. Les résultats ont été un peu moins positifs pour ce qui est de l'ampleur des avantages des programmes mesurée en termes du nombre de bénéficiaires des programmes. Finalement, les trois quarts des programmes ont été noté positivement pour ce qui est de leur capacité à appuyer les changements positifs dans les politiques et les programmes nationaux.

C'est la grande qualité de la conception des programmes (au chapitre de la priorité, de l'alignement et de la mobilisation des partenaires nationaux) qui a contribué de façon positive à l'atteinte des objectifs. Le rôle joué par l'UNICEF en influençant les politiques nationales, ainsi que la pertinence de la portée des programmes et l'adéquation des ressources mobilisées, ont également contribué favorablement à l'atteinte des objectifs. Le contraire s'est également vérifié : des faiblesses dans la conception des programmes, des budgets inadéquats et des résultats insuffisants ont nui à l'atteinte des objectifs.

Égalité entre les sexes

Les évaluations ont dressé un tableau plutôt sombre de la situation au chapitre de l'efficacité en matière d'égalité entre les sexes. D'abord, la couverture de l'efficacité au chapitre de l'égalité entre les sexes n'était pas bonne. Ensuite, moins de la moitié des évaluations où la question de l'égalité entre les sexes a été abordée avaient obtenu la cote « satisfaisant » ou mieux pour ce sous-critère. Comme 20 évaluations n'ont pas abordé la question de l'égalité entre les sexes, cela veut dire qu'un tiers seulement des évaluations indiquaient que les programmes avaient abordé cette question de façon efficace. Cette constatation est surprenante dans la mesure où la prise en compte de l'égalité entre les sexes représente une « stratégie fondamentale » de la programmation de l'UNICEF. De plus, il est surprenant de constater que les évaluations des programmes mis en œuvre dans les pays les moins avancés étaient davantage susceptibles de contenir des constatations relatives à l'égalité entre les sexes que les évaluations des programmes mis en œuvre dans des pays à revenu intermédiaire.

L'UNICEF a récemment déployé des efforts pour accroître l'efficacité au chapitre de l'égalité entre les sexes. En effet, pour donner suite à l'évaluation de l'égalité entre les sexes réalisée en 2008, l'UNICEF a lancé un plan d'action stratégique pour son plan d'action en matière d'égalité entre les sexes 2010-2012 (plan d'action dans lequel huit domaines d'activité organisationnelle ont été identifiés). L'UNICEF a également signalé son intention de prendre des mesures concrètes à ce chapitre au moment d'élaborer son nouveau plan stratégique.

Comme pour d'autres sous-critères, la présence de certains facteurs précis a contribué à l'efficacité de l'égalité entre les sexes, tandis que leur absence a nui à celle-ci. Parmi les facteurs ayant eu une incidence positive sur l'égalité entre les sexes, l'inclusion d'objectifs et de cibles sexo-spécifiques est celui qui a été le plus souvent mentionné. L'absence de tout objectif précis en matière d'égalité entre les sexes ou l'absence d'une perspective sexo-spécifique au moment de la conception et de la mise en œuvre des programmes sont les facteurs qui ont le plus souvent nui à l'efficacité à ce chapitre.

Durabilité

Dans l'ensemble, les résultats en ce qui a trait à la durabilité sont mitigés. De façon générale, la couverture du sous-critère de la durabilité dans les évaluations était bonne. À peu près la moitié des évaluations avaient obtenu une cote positive pour la probabilité que les avantages se poursuivent et pour le soutien à la durabilité par le biais du développement des capacités institutionnelles et/ou des collectivités. Les évaluations ont indiqué que la programmation mise en œuvre dans des pays à revenu intermédiaire était davantage susceptible d'obtenir une cote positive au chapitre du renforcement des capacités institutionnelles et/ou des collectivités que celle mise en œuvre dans les pays les moins avancés. Les trois quarts des rapports d'évaluation étaient plus positifs pour ce qui est du renforcement d'un environnement propice au développement. Cela peut s'expliquer par le fait que les efforts nécessaires à la création d'un environnement plus porteur n'ont pas, en soi, à être des activités continues et que, par conséquent, il peut être plus facile d'obtenir des conclusions positives pour ce sous-critère que pour d'autres sous-critères pour lesquels, il faut prouver les répercussions à long terme.

La participation active des gouvernements et des collectivités a contribué de façon positive à la durabilité. Par contre, des faiblesses dans la conception et la mise en œuvre des programmes (notamment le fait de ne pas élaborer de plan pour la durabilité), des lacunes au chapitre des capacités à l'échelon des pays et le fait d'être toujours tributaire du soutien des donateurs sont autant d'éléments qui ont fait obstacle à la durabilité.

Efficience

La couverture de l'efficience a été relativement bonne dans les évaluations, mais les constatations sont toutefois mitigées et doivent être interprétées avec précaution. Le fait que les constatations relatives à l'efficacité en termes de coûts aient été positives dans deux tiers des évaluations constitue un résultat relativement bon.

Il n'en demeure pas moins qu'il est inquiétant de constater que parmi les évaluations qui ont tenu compte de ces sous-critères, la moitié contenait des constatations négatives au chapitre de la mise en œuvre en temps opportun, et les deux tiers au chapitre de l'efficience des systèmes administratifs. Il est également inquiétant de constater que la cote « très insatisfaisant » a été attribuée pour les deux sous-critères dans une évaluation sur cinq. Notons cependant qu'il est possible que les constatations aient semblé plus négatives qu'elles ne l'étaient en réalité dans la mesure où on a tendance à ne pas s'attarder à la question de la mise en œuvre en temps opportun et de l'efficience des systèmes administratifs lorsqu'il n'y a aucun problème à signaler sur le terrain.

Des systèmes de suivi efficaces, l'utilisation d'approches à faibles coûts pour la prestation des services et le recours à une solide planification financière et gestion de trésorerie sont autant de facteurs qui ont contribué à l'efficacité en termes de coûts. Par contre, l'absence de rapports réguliers et en temps opportun sur des données pertinentes relatives aux coûts a une incidence négative sur l'efficacité en termes de coûts. Certaines évaluations ont également fait état de retards dans le démarrage de programmes et la fourniture d'intrants, retards qui auraient contribué à réduire la rentabilité.

Des thèmes semblables ont également été évoqués parmi les facteurs ayant eu un impact sur le calendrier de la mise en œuvre et du suivi des programmes et sur l'efficacité des systèmes et des procédures. Les fortes capacités de programmation et de gestion des bureaux régionaux et de pays de l'UNICEF, la coordination opportune des organisations partenaires, le suivi efficace des programmes de même que la supervision régulière et la gestion efficace des flux de trésorerie sont autant de facteurs qui ont contribué de façon positive à une réponse rapide aux demandes des programmes. Par contre, certains facteurs liés aux procédures et aux systèmes administratifs de l'UNICEF ont eu un effet négatif sur le calendrier de mise en œuvre. Ainsi, des retards importants dans la passation des marchés et la lourdeur et la rigidité des procédures et des systèmes financiers utilisés pour le décaissement des fonds ont retardé la mise en œuvre des programmes.

Recours à l'évaluation et au suivi pour améliorer l'efficacité de l'aide humanitaire et au développement

La couverture des sous-critères relatifs à l'utilisation du suivi et des évaluations était très bonne, et les résultats sont plutôt positifs. Entre la moitié et les deux tiers des évaluations ont obtenu de bonnes cotes pour l'efficacité des systèmes et des processus d'évaluation, ainsi que pour le recours à des évaluations pour accroître l'efficacité. Cependant, juste un peu plus du tiers des évaluations ont obtenu une bonne cote pour l'efficacité des processus et des systèmes utilisés pour l'établissement de rapports et le suivi des résultats.

Les évaluations ont répertorié peu de facteurs ayant contribué de façon positive à l'utilisation des résultats du suivi et des évaluations pour accroître l'efficacité de l'aide au développement – au-delà du fait que faire partie d'un processus d'évaluation plus large (qu'il s'agisse des évaluations des programmes-pays réalisées par l'UNICEF ou des évaluations globales menées par les donateurs) a contribué à l'utilisation des résultats du suivi et des évaluations. D'ailleurs, l'utilisation des évaluations est d'autant plus populaire, vu la tendance croissante qui consiste à préparer des réponses de la direction aux évaluations (réponses qui comprennent des plans d'action pour la mise en œuvre des recommandations issues des évaluations). Deux facteurs ont toutefois fait obstacle à l'utilisation des résultats du suivi et des évaluations : d'abord l'absence d'un cadre de résultats clair et le caractère inadéquat ou inapproprié des indicateurs, et ensuite, l'information inadéquate des lignes de base.

Depuis 2011, l'UNICEF a fait de grands efforts pour renforcer la définition des résultats, le suivi des programmes et l'établissement de rapports en élaborant et en mettant en œuvre le système de suivi des résultats pour l'équité (MoRES). Ce système devrait faire l'objet d'une évaluation formative que le Bureau de l'évaluation de l'UNICEF devrait réaliser en 2013. De plus, l'UNICEF a récemment utilisé les rapports d'évaluation globale existants pour éclairer l'élaboration de son plan stratégique à venir. Ces initiatives semblent contribuer à combler les lacunes au chapitre du suivi et de l'évaluation qui ont été décelées dans le cadre du présent examen des évaluations.

Conclusions

1. Les programmes appuyés par l'UNICEF sont très pertinents aux besoins des membres des groupes cibles et ils vont dans le sens des plans et des priorités de développement des pays de programmation. L'UNICEF a également noué avec succès des partenariats efficaces avec des organisations gouvernementales et non gouvernementales, particulièrement dans le cadre de ses interventions dans des situations humanitaires. La programmation de l'UNICEF a été d'autant plus pertinente que l'organisme a fait des efforts pour assurer l'alignement de ses programmes sur les principaux plans de développement et documents stratégiques nationaux.
2. Dans l'ensemble, l'UNICEF a été efficace en atteignant les objectifs de ses programmes humanitaires et de développement, en obtenant des avantages pour les membres des groupes cibles et en appuyant des changements positifs aux politiques et aux programmes nationaux. Les programmes de l'UNICEF qui ont été couronnés de succès pour ce qui est de l'atteinte des objectifs l'ont souvent été en raison de la grande qualité de la conception des programmes et du rôle joué par l'UNICEF en vue d'influer sur les politiques sectorielles nationales. Par contre, les lacunes observées dans la conception des programmes (souvent liées au manque de limpidité des relations de cause à effet et à l'absence d'une gestion axée sur les résultats) expliquent le plus souvent pourquoi des programmes appuyés par l'UNICEF n'ont pas atteint leurs objectifs.
3. Ces lacunes observées dans la conception des programmes ont contribué à l'atteinte de résultats mitigés pour ce qui est de la durabilité. L'UNICEF obtient des cotes plutôt bonnes pour sa contribution au renforcement d'un environnement propice au développement. Par contre, ses résultats ne sont pas aussi bons pour ce qui est de la durabilité probable de ces résultats ou encore le renforcement des capacités des institutions et des collectivités. Cela s'explique en grande partie par le fait que l'organisme ne planifie pas en vue d'assurer la durabilité et qu'il ne tient pas compte de la durabilité au moment de concevoir ses programmes.
4. Le rendement de l'UNICEF au chapitre de l'égalité entre les sexes est une vive source de préoccupation. La couverture de cette question dans les évaluations laisse à désirer, et dans le cas où cette problématique y est abordée, les résultats sont faibles. L'absence de tout objectif précis en matière d'égalité entre les sexes ou l'absence d'une perspective sexo-spécifique au moment de la conception et de la mise en œuvre des programmes sont les principaux facteurs qui expliquent les piètres résultats obtenus à ce chapitre. Or, dans la mesure où la prise en compte de l'égalité entre les sexes une « stratégie de base » de l'UNICEF, il est étonnant que cette question ne soit abordée adéquatement que dans les deux tiers des évaluations.
5. La couverture de la durabilité de l'environnement n'était pas suffisante pour justifier la présentation des résultats. Il semble que cette question ou celle de l'impact des programmes appuyés par l'UNICEF sur l'environnement ne soit pas abordée dans la plupart des évaluations (même si certaines évaluations d'interventions humanitaires et de programmes d'eau, d'assainissement et d'hygiène le font). Vu l'importance accrue donnée aux interventions visant à atténuer l'effet des changements climatiques dans certains programmes-pays de l'UNICEF, il est possible que la couverture de la durabilité de l'environnement s'améliore à l'avenir.
6. Les résultats relatifs à l'efficience des programmes sont mitigés et l'interprétation des résultats est difficile dans la mesure où la question de l'efficience n'est pas abordée systématiquement dans l'ensemble des évaluations. Il est probable que les facteurs liés spécifiquement au calendrier et aux systèmes de mise en œuvre n'aient été mentionnés dans les évaluations que dans les cas où ils ont posé problème. Cela peut expliquer en partie la faiblesse dans l'atteinte des objectifs. Toutefois, le sous-critère lié à l'efficacité en termes de coûts a été couvert de façon plus systématique dans les évaluations et a montré des résultats plutôt positifs. Cela reflète toutefois les façons dont les programmes ont tenté de réduire les coûts unitaires et d'assurer une utilisation plus efficace des ressources, plutôt qu'une analyse des coûts globaux des programmes dans la mesure où ces coûts ne figurent pas dans près de la moitié des évaluations. La mise en place de systèmes de suivi efficaces pour faire le suivi des coûts et accroître l'efficacité par des coûts de prestation ou des prix unitaires plus bas et les efforts déployés pour trouver des approches de programmation à faible coût sont des facteurs qui améliorent l'efficacité par rapport aux coûts. Par contre, là où les résultats ne sont pas très positifs, le facteur posant problème est le plus souvent le manque de données pertinentes relatives aux coûts.
7. Les évaluations reflétaient des constatations plutôt positives pour ce qui est de l'utilisation des évaluations à l'UNICEF, mais un peu moins pour ce qui est du suivi et de l'établissement de rapports. L'utilisation des évaluations s'explique par la tendance de plus en plus marquée de préparer des réponses de la direction aux évaluations ; réponses qui comprennent notamment des plans d'action. Les cotes relatives à l'utilisation des systèmes de gestion axée sur les résultats étaient insuffisantes pour rendre compte des résultats. L'absence de cadres de résultats clairs, d'indicateurs appropriés et le manque d'information sur les lignes de base sont autant de facteurs qui ont empêché l'UNICEF d'utiliser de façon efficace les systèmes de suivi et d'évaluation. La mise au point et la mise en œuvre des systèmes de suivi des résultats pour l'équité (MoRES) représentent un effort significatif pour combler ces lacunes.
8. Bien que l'échantillon des évaluations examinées reflète assez bien la population des évaluations de l'UNICEF réalisées entre 2009 et 2011, un examen du profil, par pays et par type de programme, des évaluations réalisées semble indiquer que l'UNICEF n'a pas une couverture adéquate de la programmation dans les pays qui reçoivent les sommes les plus importantes au titre du financement de l'aide au développement et de l'aide humanitaire. Il y a une couverture nettement limitée de l'action humanitaire de l'organisme onusien.
9. L'UNICEF déploie des efforts considérables et consacre beaucoup de temps à la mise au point d'un système de suivi des résultats dont la mise en œuvre est en cours à tous les niveaux de l'organisme et il utilise les résultats des évaluations globales pour sa planification stratégique. Ces initiatives permettent d'espérer le renforcement de l'établissement de rapports sur les résultats – ce qui pourrait, à l'avenir, rendre superflus les examens sur l'efficacité de l'aide au développement. Cela pourrait dépendre de la facilité avec laquelle la fonction d'évaluation pourrait être incorporée au système comme moyen de vérifier la contribution de l'UNICEF et de tester la validité des théories du changement.

L'UNICEF a lancé un certain nombre d'initiatives dans la période qui a suivi la publication des évaluations examinées afin de s'attaquer à certains des problèmes rapportés ici. Voici quelques exemples des principales initiatives :

• L'élaboration ainsi que la mise en œuvre continue de nouveaux systèmes pour le suivi et l'établissement de rapports sur les résultats;
• Le développement continu, par le Bureau de l'évaluation, du système mondial de contrôle des évaluations (GEROS) et la poursuite des efforts déployés en vue d'améliorer la couverture des évaluations;
• L'apport de changements aux procédures de fonctionnement en vue de réduire les goulets d'étranglement liés aux procédures;
• L'élaboration de priorité stratégique pour le plan d'action en matière d'égalité entre les sexes;
• Le déploiement d'efforts pour utiliser les constatations de la recherche et des évaluations afin d'éclairer et de renforcer la planification stratégique.

Bien que ces initiatives n'aient pas été évaluées, des documents et des entrevues réalisées à l'UNICEF permettent de penser qu'elles représentent un effort majeur en vue de trouver des solutions aux enjeux recensés. Il ne fait aucun doute que leur efficacité fera l'objet d'évaluations futures.

Relations du Canada avec l'UNICEF

La dernière partie du rapport porte sur l'engagement du Canada à l'égard de l'UNICEF, y compris les résultats de la stratégie institutionnelle pour cet engagement que gère la Direction des enjeux mondiaux et du développement. Cette partie, qui porte spécifiquement sur le Canada, répond aux exigences relatives aux évaluations prévues par la politique fédérale afin de démontrer la pertinence, l'efficience et l'efficacité des dépenses en développement engagées par Affaires étrangères, Commerce et Développement Canada (MAECD), et de formuler des recommandations relativement à l'engagement futur à l'égard de l'organisme onusien.

L'examen de l'engagement du Canada à l'égard de l'UNICEF a permis d'identifier les points forts suivants :

• Les efforts déployés par l'UNICEF sont fort pertinents pour deux des priorités du Canada au chapitre du développement international : accroître la sécurité alimentaire, et assurer l'avenir des enfants et des jeunes. Les programmes de l'UNICEF en matière de santé et d'éducation contribuent aussi indirectement à la troisième priorité de développement du Canada, soit assurer une croissance économique durable.
• L'UNICEF établit de plus en plus de partenariats avec la société civile, les gouvernements nationaux et les autres organismes onusiens, partenariats qui contribuent à l'efficacité de ses programmes.
• Le Canada joue un rôle influent pour ce qui est du renforcement des capacités humanitaires au sein de l'UNICEF.
• Le Canada utilise ses ressources financières et humaines de façon efficiente dans le cadre de sa collaboration avec l'UNICEF. Il s'agit là d'une conclusion reprise aussi bien par les autres donateurs que par l'UNICEF.

L'examen de l'engagement du Canada à l'égard de l'UNICEF a permis de cerner des domaines où des améliorations pourraient être apportées :

• Malgré les progrès réalisés par l'UNICEF au chapitre de l'intégration de l'égalité entre les sexes dans sa programmation, la mesure du rendement et l'établissement de rapports à cet égard demeurent insuffisants. La contribution de l'UNICEF à la durabilité de l'environnement et à la gouvernance ne pouvait pas être évaluée dans le cadre de cet examen.
• En dépit des progrès enregistrés dans l'atteinte des objectifs stratégiques du Canada pour son engagement à l'égard de l'UNICEF, le MAECD n'a pas élaboré d'outils de mesure du rendement qui lui permettraient d'évaluer son rendement en vue d'atteindre ces objectifs et d'en faire le suivi.
• Malgré les améliorations observées en matière de partenariats, l'UNICEF a parfois démontré sa réticence à se lancer dans le programme plus large de réforme de l'ONU, alors que le Canada et d'autres donateurs appuient activement cet effort.
• Dans le cadre de son engagement à l'égard de l'UNICEF, le Canada n'a pas mis l'accent sur la durabilité de la programmation. Or, il s'agit là d'une faiblesse que l'UNICEF a soulignée dans ses propres évaluations.
• L'évaluation de l'action humanitaire reste difficile, et ce, même dans le cas des programmes-pays où l'accent est mis sur l'action humanitaire.

L'examen de l'engagement du Canada s'achève par des recommandations à prendre en considération concernant son engagement à l'égard de l'UNICEF :

1. Le MAECD doit continuer à mettre l'accent sur l'intégration de l'égalité entre les sexes dans les programmes de l'UNICEF et doit souligner l'importance de la mesure du rendement et des rapports dans ce domaine.
2. Le MAECD devrait élaborer un cadre de mesure du rendement pour évaluer les progrès réalisés par rapport aux objectifs stratégiques du Canada dans le cadre de sa relation avec l'UNICEF. Le MAECD devrait élaborer un cadre de mesure du rendement pour évaluer les progrès réalisés dans l'atteinte des objectifs stratégiques définis par le Canada pour sa relation avec l'UNICEF.
3. Pendant que le Canada et les autres membres de l'Assemblée générale sont à la recherche de mécanismes pour harmoniser le système de développement des Nations Unies, le MAECD devrait continuer à travailler avec l'UNICEF pour identifier des moyens réalistes et concrets qui permettront à l'UNICEF de collaborer avec d'autres organisations des Nations Unies.
4. Le MAECD devrait inciter l'UNICEF à améliorer sa planification de la durabilité. Les encouragements pourraient prendre la forme d'initiatives visant à renforcer les plans de conception et de mise en œuvre des programmes de l'UNICEF.
5. Le MAECD devrait encourager l'UNICEF à améliorer ses rapports au niveau des résultats, ses analyses et ses évaluations des programmes d'aide humanitaire

Introduction

1.1 Contexte

Le présent rapport fournit les résultats d'un examen de l'efficacité des programmes humanitaires et de développement appuyés par le Fonds des Nations Unies pour l'enfance (UNICEF). Cet examen a été commissionné par le Ministère des Affaires étrangères des Pays-Bas et a été préparé par une équipe de Goss Gilroy Inc. d'Ottawa, au Canada^{Note de bas de page 3}. En plus, une revue de l'engagement du Canada avec l'UNICEF a été entreprise par Affaires étrangères, Commerce et Développement Canada (MAECD) et est présenté au chapitre 5.

La méthodologie et l'approche communes adoptées pour ce type d'examen ont été élaborées sous la direction du Réseau sur l'évaluation du développement (EvalNet) du Comité d'aide au développement (CAD) de l'Organisation de coopération et de développement économiques (OCDE). Le rapport est basé sur le contenu de rapports d'évaluation produits et publiés par l'UNICEF ainsi que sur l'examen de documents de l'organisme lui-même et des consultations avec ses employés qui travaillent à l'administration centrale, à New York.

La méthode est fondée sur des critères d'évaluation communs, tirés des critères d'évaluation utilisés par le CAD (annexe 1). Elle a été mise à l'essai en 2010 dans le cadre d'études pilotes sur les rapports d'évaluation de la Banque asiatique de développement et de l'Organisation mondiale de la santé. En juin 2011, les membres du réseau EvalNet du CAD ont déterminé que l'approche et la méthode élaborées constituaient une méthode acceptable pour évaluer l'efficacité de l'aide au développement mise en œuvre par les organisations multilatérales. On a réalisé, en 2011-2012, les premiers examens complets fondés sur la méthodologie approuvée. Avec l'aide et la participation du ministère des Affaires étrangères des Pays-Bas, l'Agence canadienne de développement international (ACDI)^{Note de bas de page 4} a dirigé l'examen du Fonds des Nations Unies pour le développement et du Programme alimentaire mondial (PAM).

En 2012-2013, on a réalisé deux autres examens de l'efficacité de l'aide au développement. Le Canada a piloté une évaluation de la Banque africaine de développement et le ministère des Affaires étrangères des Pays-Bas a piloté l'examen de l'UNICEF.

L'examen de l'UNICEF a été réalisé entre octobre 2012 et mai 2013. Il comprenait trois rondes de consultation avec l'UNICEF, dont deux jours de réunions à l'étape du lancement du projet, une présentation et un examen des constatations préliminaires en mars 2013, ainsi que la présentation et la discussion du rapport final le 6 mai 2013. Le rapport final a également été présenté et discuté lors d'une réunion des organismes donateurs de l'UNICEF, dirigée par la mission permanente des Pays-Bas auprès des Nations Unies à New York, le 7 mai 2013.

Dès le départ, on a coordonné le processus de conception et de mise en œuvre des examens de l'efficacité de l'aide au développement avec le travail du Réseau d'évaluation du rendement des organisations multilatérales (MOPAN). Dans le cadre des examens, on s'efforce de mettre l'accent sur l'efficacité de l'aide au développement et de choisir avec soin les critères d'évaluation, afin d'éviter le chevauchement avec le processus du MOPAN.

L'initiative vise à faire en sorte que les membres du réseau EvalNet participent à des examens distincts de l'aide au développement des organisations multilatérales, parallèles aux examens du MOPAN. La planification des examens devrait avoir lieu en consultation avec le bureau de l'évaluation des différentes organisations multilatérales. Les résultats des examens serviront ensuite aux organisations multilatérales et à leurs parties prenantes.

1.2  Objectif

L'objectif de l'examen est de faire une évaluation indépendante, fondée sur des données probantes, de l'efficacité des activités liées à l'aide humanitaire et au développement de l'UNICEF (ci-après désignées par « programmes ») qui sera utile à toutes les parties prenantes.

L'approche actuelle d'évaluation de l'efficacité de l'aide au développement des organisations multilatérales a été élaborée afin d'aborder les lacunes de l'information accessibles aux organisations de développement bilatérales. Le MOPAN produit régulièrement des rapports sur l'efficacité des organisations multilatérales, mais ce n'est qu'en 2012 qu'il a commencé à examiner l'efficacité de l'aide au développement et voilà pourquoi, l'examen ne permet pas encore de produire toute l'information souhaitée. D'autres approches, comme les évaluations conjointes à grande échelle financées par les donateurs et ciblant une organisation multilatérale donnée, prennent beaucoup plus de temps, coûtent plus cher et exigent énormément de gestion de la part de l'organisation visée par l'évaluation, durant et après les évaluations.

L'approche actuelle vise à collaborer de manière coordonnée avec des initiatives comme les examens par les pairs sur les fonctions d'évaluation des Nations Unies qui sont réalisés par le réseau EvalNet du CAD/Groupe des Nations Unies pour l'évaluation. En outre, elle reconnaît que les organisations multilatérales continuent de s'améliorer et de produire de meilleurs rapports sur l'efficacité de l'aide au développement. Le but ultime de l'approche est de faire en sorte que les organisations multilatérales elles-mêmes produisent des rapports à intervalles réguliers, fondés sur des données probantes vérifiées sur le terrain.

1.3   Structure du rapport

Le rapport est structuré de la façon suivante :

• la section 1.0 présente l'examen et fournit une description générale de l'UNICEF;
• la section 2.0 présente une brève description de l'approche et de la méthodologie utilisées pour exécuter l'examen;
• la section 3.0 présente le détail des constatations de l'examen fondé sur les six critères principaux et les dix-neuf sous-critères de l'efficacité des programmes de développement et de l'action humanitaire. Chaque section (pour chacun des six critères principaux) commence par une discussion du niveau de couverture de chaque sous-critère. Cela est nécessaire pour assurer la transparence et veiller à ce que le lecteur comprenne le contexte entourant les constatations. Les courtes sous-sections concernant la couverture sont suivies par une discussion détaillée des résultats applicables au sous-critère, tirés des évaluations;
• la section 4.0 présente les conclusions de l'examen. Étant donné qu'il s'agit d'un examen externe de l'efficacité et non d'une évaluation des programmes de l'UNICEF, le rapport ne comprend pas de recommandations à l'intention de l'UNICEF;
• la section 5.0 présente une évaluation de la collaboration du Canada avec l'UNICEF. Elle vise à déterminer si les objectifs de l'UNICEF cadrent avec les priorités de développement international du Canada. Elle évalue également dans quelle mesure le Canada a réussi à atteindre ses objectifs relatifs à sa collaboration avec l'UNICEF et formule des conclusions et des recommandations à l'intention du MAECD.

1.4 L'UNICEF : une organisation mondiale axée sur l'équité pour les enfants

1.4.1 L'orientation stratégique de l'UNICEF et son approche axée sur l'équité

L'énoncé de mission de l'UNICEF réitère le mandat que lui ont confié les Nations Unies, à savoir « défendre les droits des enfants, aider à répondre à leurs besoins essentiels et leur donner davantage d'opportunités de s'épanouir pleinement. »^{Note de bas de page 5} Depuis 2006, l'UNICEF est guidé dans cette mission par un plan stratégique à moyen terme^{Note de bas de page 6}, lequel couvrait à l'origine la période entre 2006 et 2009, mais il a été prolongé à deux reprises, raison pour laquelle on l'appelle le plan stratégique à moyen terme pour 2006-2013.

Le plan stratégique à moyen terme énonce 15 principes directeurs, cinq domaines prioritaires du programme et deux stratégies de base. Les principes directeurs établissent un lien entre la programmation de l'UNICEF et les documents normatifs, notamment la Convention relative aux droits de l'enfant, la Convention sur l'élimination de toutes les formes de discrimination à l'égard des femmes, la Déclaration du Millénaire et les Objectifs du Millénaire pour le développement (OMD). En outre, ils engagent l'organisation à respecter une stratégie de développement des capacités, à œuvrer dans les limites du système des Nations Unies et à adapter les stratégies de programme aux besoins des pays visés par des programmes, entre autres choses.

Les cinq domaines prioritaires du programme sont un principe d'organisation central du plan stratégique à moyen terme (tableau 1). Ils visent à « avoir un impact décisif et durable sur la réalisation des droits des enfants et la mise en œuvre des engagements contenus dans la Déclaration et les Objectifs du Millénaire »^{Note de bas de page 7}.

Le plan stratégique à moyen terme décrit les activités que l'UNICEF entreprendra ainsi que les programmes qu'elle appuiera dans chacun de ses cinq domaines prioritaires (tableau 1).

Outre les cinq domaines prioritaires, le plan stratégique à moyen terme réaffirme l'intention de l'UNICEF de renforcer ses capacités afin de répondre rapidement et efficacement aux urgences. Il souligne que la réponse aux crises humanitaires reste une pierre angulaire du travail de l'UNICEF.

Pour finir, le plan stratégique à moyen terme comprend un engagement important à l'égard de la poursuite des objectifs en matière d'équité, en ce sens qu'il est axé sur l'égalité entre les sexes et les droits des plus vulnérables. Il comprend une approche fondée sur les droits de la personne à l'égard de la programmation et de la promotion de l'égalité entre les sexes, qualifiées de « stratégies de base » de l'UNICEF.

Le recours à une approche fondée sur les droits de la personne et la promotion de l'égalité entre les sexes, en tant que « stratégies de base » pour le travail de l'UNICEF, amélioreront et consolideront les résultats des initiatives de développement qui visent à réduire la pauvreté et à atteindre les Objectifs du Millénaire pour le développement en dirigeant l'attention, l'engagement à long terme, les ressources et l'aide de toutes les sources vers les groupes les plus défavorisés, vulnérables, exclus, discriminés et marginalisés.^{Note de bas de page 9}

Les principes, les domaines prioritaires et les stratégies de base énoncés dans le plan stratégique à moyen terme de l'UNICEF ont été ratifiés par deux rapports d'examen de mi-parcours (2008 et 2010).^{Note de bas de page 10}

Dans le dernier rapport annuel du directeur général de l'UNICEF, on insistait particulièrement sur le « regain d'attention portée à l'équité » :

Le regain d'attention portée à l'équité est riche de promesses pour les enfants, en particulier si l'on cherche à accélérer et à rendre plus économique la réalisation des OMD. L'UNICEF a mis l'accent sur cette réorientation en 2011 aux niveaux local et national, de concert avec les gouvernements, les organisations de la société civile et les partenaires des Nations Unies. La mesure des résultats pour les populations les plus défavorisées, en particulier à l'échelon local, s'est révélée d'une importance critique pour accélérer et maintenir les progrès dans la réduction des disparités.^{Note de bas de page 11}

En conséquence, la stratégie de l'UNICEF pour la période 2006-2013 a mis considérablement l'accent sur les objectifs suivants : s'attaquer aux inégalités auxquelles sont confrontés les enfants vulnérables, au moyen d'une programmation dans les cinq domaines prioritaires; répondre efficacement aux crises humanitaires et poursuivre les stratégies de base d'une approche fondée sur les droits de la personne à l'égard de la programmation et de la promotion de l'égalité entre les sexes.

1.4.2   Dépenses de l'UNICEF liées aux activités et aux programmes

L'UNICEF est active dans plus de 190 pays et territoires dans le cadre de ses programmes et du travail de comités nationaux. En 2011, l'UNICEF avait des programmes de coopération dans 151 pays, régions et territoires : 45 en Afrique subsaharienne; 35 en Amérique latine et dans les Caraïbes; 35 en Asie; seize au Moyen-Orient et en Afrique du Nord; et 20 en Europe centrale et de l'Est et dans la Communauté des États indépendants.^{Note de bas de page 12}

En 2011, l'UNICEF a dépensé un total de 3 472 millions de dollars pour l'aide relative aux programmes, dont plus de la moitié pour le domaine prioritaire de la survie et le développement du jeune enfant. De même, en 2011, l'UNICEF a consacré quelque 57 % de l'aide totale relative aux programmes en Afrique subsaharienne où se trouve la majorité des pays les moins avancés du monde.^{Note de bas de page 13}

La figure 1 illustre le pourcentage des dépenses directes du programme de l'UNICEF par domaine prioritaire et pour l'action humanitaire entre 2009 et 2011.

Figure 1 : Dépenses de l'UNICEF par domaine prioritaire et pour l'action humanitaire, 2009-2011^{Note de bas de page 14}

Les dépenses dans les cinq domaines prioritaires sont des dépenses de développement financées au moyen des postes a) Ressources fixes et b) Ressources fixes – Autres, en utilisant le système de l'UNICEF pour la comptabilisation des ressources. Les dépenses relatives aux crises humanitaires sont celles qui sont financées au moyen du poste c) Autres ressources - Urgences. La répartition des dépenses par type de financement entre 2009 et 2011 est illustrée à la figure 2.

Figure 2 : Dépenses de l'UNICEF, selon le type, 2009-2011^{Note de bas de page 15}

1.5   Évaluation de programme à l'UNICEF

L'accès à un nombre suffisant de rapports d'évaluation de qualité raisonnable est l'une des conditions pour entreprendre un examen de l'efficacité de l'aide au développement afin de fournir un échantillon représentatif couvrant les activités et les programmes d'une organisation (annexe 2). Pour remplir cette condition, l'équipe responsable de l'examen a passé en revue les politiques et pratiques d'évaluation de programme, et a évalué la qualité des rapports produits et publiés par l'UNICEF. Il ne s'agit pas d'un examen exhaustif et cela ne constitue pas une évaluation globale de la fonction. On vise simplement à s'appuyer sur les évaluations publiées par l'UNICEF pour déterminer la faisabilité de l'examen de l'efficacité de son aide au développement.

1.5.1 Politiques et pratiques d'évaluation à l'UNICEF

La politique actuelle de l'UNICEF en matière d'évaluation^{Note de bas de page 16} a été préparée, du moins en partie, en réponse au rapport d'un comité d'examen par les pairs composé d'experts internationaux en évaluation, sous la direction du réseau EvalNet du CAD et du Groupe des Nations Unies sur l'évaluation en 2006. Ce rapport n'était que le deuxième d'une série continue d'examens par les pairs des fonctions d'évaluation dans le système multilatéral. Le rapport souligne la qualité du travail du Bureau de l'évaluation de l'UNICEF et rappelle que la qualité de l'évaluation et la couverture adéquate sont des défis de tous les instants dans un système décentralisé d'évaluation de programme.

L'évaluation qui se fait à l'UNICEF est très utile pour l'apprentissage et la prise de décisions et, dans une moindre mesure, pour la responsabilisation en ce qui concerne les résultats obtenus.

Le Bureau central de l'évaluation à l'UNICEF est perçu comme étant solide, indépendant et crédible. Ses leaders, composés d'évaluateurs professionnels respectés, constituent une force majeure. Le Bureau a joué un rôle important de chef de file pour promouvoir l'harmonisation au sein des Nations Unies par l'intermédiaire du Groupe des Nations Unies pour l'évaluation.

Le panel chargé de l'examen par les pairs considère que le système décentralisé d'évaluation convient bien à la nature opérationnelle de l'UNICEF. Néanmoins, il existe des écarts importants de qualité et de ressources aux niveaux régional et national qui affaiblissent la fonction d'évaluation en tant qu'outil de gestion.^{Note de bas de page 17}

La politique d'évaluation de 2008 de l'UNICEF a conservé le système décentralisé aux termes duquel divers secteurs de l'organisation étaient responsables de différents types d'évaluations. Voici ci-dessous un aperçu des rôles et des responsabilités d'évaluation selon le contexte organisationnel de l'UNICEF, tel que décrit dans la politique.

Responsabilités organisationnelles pour l'évaluation de programme à l'UNICEF^{Note de bas de page 18}

Contexte organisationnel

Bureaux/représentants de pays

Rôles et responsabilités en matière d'évaluation

• Affecter des ressources à l'évaluation.
• Communiquer avec les partenaires.
• Préparer le plan intégré de suivi et d'évaluation pour le bureau de pays.
• Veiller à l'assurance de la qualité des évaluations, afin de répondre aux normes établies par le Bureau de l'évaluation.
• Veiller à ce que les constatations de l'évaluation éclairent le processus décisionnel.
• Suivi et rapport sur l'état des recommandations découlant de l'évaluation.
• Évaluations locales ou de projet.
• Évaluations de programme relatives aux éléments du programme du bureau de pays.

Types d'évaluations commandées

• Évaluations locales ou de projet.
• Évaluations locales ou de projet.

Contexte organisationnel

Bureaux/directeurs régionaux

Rôles et responsabilités en matière d'évaluation

Axé sur la supervision et le renforcement des capacités d'évaluation des bureaux de pays :

• en coordonnant des activités de renforcement des capacités avec le Bureau de l'évaluation;
• en établissant des plans régionaux d'évaluation;
• en fournissant des services d'assurance de la qualité et une assistance technique destinés à appuyer l'évaluation des programmes-pays.
• Évaluations des programmes-pays.
• Évaluations thématiques multipays.
• Contribution régionale aux évaluations mondiales.
• Évaluations en temps réel des opérations d'urgence.

Types d'évaluations commandées

• Évaluations des programmes-pays.
• Évaluations thématiques multipays.
• Contribution régionale aux évaluations mondiales.
• Évaluations en temps réel des opérations d’urgence.

Contexte organisationnel

Directeurs au siège de l'UNICEF

Rôles et responsabilités en matière d'évaluation

• Établir l'ordre de priorité des évaluations des politiques et des initiatives mondiales dans leurs domaines d'intervention.
• Veiller à ce que les programmes soient financés par d'autres ressources.
• Politiques mondiales.
• Initiatives de programme mondiales.

Types d'évaluations commandées

• Politiques mondiales.
• Initiatives de programme mondiales.

Contexte organisationnel

Bureau de l'évaluation

Rôles et responsabilités en matière d'évaluation

• Coordonner la fonction d'évaluation à l'UNICEF.
• Collaborer avec les partenaires de l'UNICEF dans le cadre d'évaluations multipartites.
• Appuyer le renforcement des capacités d'évaluation dans les pays en développement.
• Donner l'impulsion à l'élaboration d'approches et des méthodologies relatives à l'évaluation des politiques, des stratégies, des thèmes, des programmes, des projets et des institutions.
• Gérer la base de données des évaluations de l'organisation et encourager son utilisation.
• Procéder périodiquement à des méta-évaluations de la qualité et de l'usage des évaluations d'UNICEF.
• Évaluations mondiales indépendantes.
• Évaluations des politiques et des initiatives de programme mondiales à la demande des directeurs.

Types d'évaluations commandées

• Évaluations mondiales indépendantes.
• Évaluations des politiques et des initiatives de programme mondiales à la demande des directeurs.

Contexte organisationnel

Comité d'évaluation

Rôles et responsabilités en matière d'évaluation

• plan de la gouvernance mondiale.
• Examiner les rapports annuels de suivi relatifs à l'application des recommandations.
• Examiner le programme de travail du Bureau de l'évaluation.

L'UNICEF fait rapport annuellement au conseil d'administration au sujet du rendement de la fonction d'évaluation. Ce rapport comprend à la fois le nombre et le type d'évaluations produites, ainsi que les progrès à l'égard du suivi et de l'amélioration de la qualité des évaluations produites.

Au cours des trois dernières années, on a mandaté une agence externe afin qu'elle évalue, au moyen d'une méthodologie cohérente, la qualité des évaluations de l'UNICEF produites par les bureaux régionaux et de pays. Les résultats du système mondial de contrôle des évaluations (système GEROS) sont publiés chaque année. Ces derniers sont intégrés au rapport annuel sur la fonction d'évaluation. Le tableau 2 résume les indicateurs des résultats d'évaluation publiés dans le rapport de 2012.

Le rapport annuel du système GEROS représente un effort important de la part du Bureau de l'évaluation pour contrôler et influencer la qualité des évaluations produites par les bureaux régionaux et de pays. Cet effort est renforcé par la mise en place d'un tableau de bord pour résumer l'information sur la fonction d'évaluation décentralisée (bureau régional et de pays) qui fait partie du Système virtuel intégré d'information (VISION) de l'UNICEF, lancé en janvier 2012.

Le tableau de bord décentralisé de la fonction d'évaluation est téléchargé tous les trimestres et présente (pour chaque bureau régional de l'UNICEF) de l'information sur le nombre de rapports d'évaluation présentés; la qualité des rapports d'évaluation d'après l'évaluation réalisée au moyen du système GEROS l'année précédente; les réponses de la direction téléchargées dans le système de suivi mondial, et le taux de mise en œuvre des réponses de la direction.

Ce qui est intéressant, c'est l'absence de paramètres pour mesurer la couverture des programmes-pays dans le tableau de bord du système VISION pour l'évaluation décentralisée. L'équipe d'examen a trouvé (Section 2.0) une variation importante du nombre d'évaluations réalisées en trois ans (de 2009 à 2011) par les bureaux de pays. Il est toutefois clair que le Bureau de l'évaluation de l'UNICEF fait des efforts continus pour mettre à jour la qualité des évaluations décentralisées.

Pour finir, il faut mentionner que des évaluations mondiales récemment gérées par le Bureau de l'évaluation ont été utilisées par la Division des programmes de l'UNICEF pour orienter le processus de planification du plan stratégique à moyen terme 2014-2017.^{Note de bas de page 20}

1.5.2   Qualité des rapports d'évaluation à l'UNICEF

Pour l'examen, les données relatives à la qualité des évaluations à l'UNICEF sont tirées de deux sources : les rapports indépendants du système GEROS de l'UNICEF et les résultats de l'évaluation de la qualité des évaluations dans l'échantillon qui a été réalisé par l'équipe d'examen.

Le dernier rapport du système GEROS a été produit en 2012 et couvre 87 rapports d'évaluation produits par l'UNICEF en 2011. On a enregistré une amélioration au cours des trois années visées, puisque 42 % des rapports répondaient aux normes d'évaluation de l'UNICEF en 2011, contre 40 % en 2010 et 36 % en 2009.^{Note de bas de page 21}

Lors de la création de l'échantillon de l'évaluation, conformément à l'annexe 3, les responsables de l'examen ont pris en considération les notations du système GEROS. Ce dernier utilise quatre notations pour évaluer la qualité des rapports : insatisfaisante (not confident to act); passablement satisfaisante (almost confident to act); satisfaisante (confident to act); très satisfaisante (very confident to act). Lors de la création d'un échantillon raisonné des rapports d'évaluation produits entre 2009 et 2011, l'équipe d'examen a inclus uniquement les évaluations notées au minimum « passablement satisfaisante ». L'équipe d'examen a évalué la qualité de 70 évaluations et n'en a rejeté que quatre dont la qualité était insuffisante. Quatre autres ont été exclues de l'examen pour d'autres raisons (Section 2.1 et annexe 3).

1.6   Résultats du suivi et de l'établissement de rapports

1.6.1   Éléments des systèmes de suivi et d'établissement de rapports de l'UNICEF

Au cours des dernières années, l'UNICEF a déployé beaucoup d'efforts pour modifier et renforcer ses systèmes et processus de suivi et d'établissement de rapports relatifs aux résultats des programmes, et à l'allocation de ressources à des résultats précis. Actuellement, le système de suivi des résultats pour l'équité (système MoRES), VISION, ainsi que les rapports annuels du directeur général sur les réalisations et les progrès relatifs au plan stratégique à moyen terme font partie des principaux éléments du système.

Résultats de suivi pour les systèmes d'équité

Le système MoRES est l'un des éléments de base du « regain d'attention portée à l'équité » par l'UNICEF, une initiative lancée en 2010 par le directeur général. Le système de suivi des résultats pour l'équité (MoRES) est le cadre conceptuel de l'UNICEF pour la planification, la programmation, la mise en œuvre et la gestion des résultats.^{Note de bas de page 22} Il s'agit d'un processus intermédiaire qui répond à la nécessité de mesurer, tous les trois à cinq ans, au moyen d'indicateurs reconnus mondialement, les résultats et les processus intermédiaires entre le suivi de routine des intrants et des extrants des projets et des programmes, et le suivi des résultats de haut niveau.

Le modèle conceptuel du système MoRES comprend quatre niveaux d'activités de programmes pour les bureaux de pays. Chaque niveau est lié à des activités de planification, de suivi et d'évaluation distinctes. Le suivi de niveau trois, sur lequel se concentre le système MoRES, vise à répondre aux questions suivantes : « Allons-nous dans la bonne direction? Les goulots d'étranglement et les obstacles à l'équité évoluent-ils? »^{Note de bas de page 23}

Pour entreprendre une surveillance de niveau trois, les bureaux de pays doivent d'abord dresser la liste d'indicateurs propres au pays qui sont liés à dix déterminants de goulots d'étranglement qui empêchent l'équité pour les enfants. Ces déterminants sont classés sous quatre en-têtes principaux : la qualité des services, la demande de services, la prestation de services et le milieu porteur.

En 2012, on a intégré le système d'indicateurs de résultats de l'aide humanitaire de l'UNICEF, le système de suivi des performances humanitaires, au système MoRES afin de créer un système unique et intégré de suivi du rendement.

Il est à noter que la fonction d'évaluation du modèle conceptuel du système MoRES permet de vérifier les impacts et les résultats finaux de la programmation au niveau pays.

L'UNICEF a adopté le plan de gestion biennal mondial du système MoRES en janvier 2012 et 27 bureaux de pays ont mis en œuvre le module de suivi du niveau trois entre mars et juin de la même année^{Note de bas de page 24}. L'intégration du système MoRES dans le processus annuel d'examen a eu lieu dans la dernière moitié de 2012. Le système est un élément important du regain d'attention portée à l'équité et fera, en 2013, l'objet d'une évaluation formative gérée par le Bureau de l'évaluation.

Système virtuel intégré d'information

Le système virtuel intégré d'information (VISION), lancé en janvier 2012, permet aux bureaux de l'UNICEF, quel que soit leur niveau, de créer et de saisir des données pour divers types et niveaux de résultats. Surtout, il relie les données sur la budgétisation et les principaux résultats, de sorte que les bureaux de pays peuvent maintenant saisir leurs données budgétaires sous des catégories clés de résultats de l'UNICEF au lieu d'activités de dépenses de programme.

Le module d'évaluation des résultats est l'un des éléments clés du système VISION. Il peut être utilisé pour extraire de l'information sur les résultats prévus des programmes et les comparer aux réalisations déclarées. En 2011, les éléments de suivi de niveau trois du système MoRES ont été intégrés au système VISION.

Rapport annuel du directeur général de l'UNICEF : progrès et réalisations en regard du plan stratégique à moyen terme

Le directeur général de l'UNICEF produit un rapport annuel sur les progrès accomplis et les résultats obtenus à l'égard des principaux résultats établis dans le plan stratégique à moyen terme. Ce rapport combine les données sur les tendances mondiales des indicateurs qui se rapportent aux Objectifs du Millénaire pour le développement spécifiques aux enfants (et d'autres indicateurs mondiaux, régionaux et propres aux pays qui se rapportent au bien-être des enfants et à la disparité) avec des exemples de la contribution de l'UNICEF et les compare aux résultats dans chacun des cinq domaines prioritaires.

Le rapport annuel traite également des progrès réalisés dans la mise en œuvre des principes et stratégies de programme et des mesures internes du rendement du programme. En 2012, le rapport a mis en évidence les progrès réalisés en matière d'évaluation, l'efficience des bureaux de pays, des services partagés avec d'autres organismes des Nations Unies et des nouvelles initiatives en matière de recrutement et de gestion des ressources humaines.

Le rapport annuel s'appuie sur un volumineux rapport complémentaire de données, lequel surveille un nombre considérable d'indicateurs clés de rendement dans les cinq domaines prioritaires et pour l'action humanitaire.

1.6.2 Forces et faiblesses du système de suivi et d'établissement de rapports

La principale force de l'actuel système de suivi et d'établissement de rapports de l'UNICEF réside dans ses multiples niveaux et dans sa capacité de lier, au moyen du système VISION, des catégories normalisées de résultats aux allocations de ressources et aux budgets. L'intégration du suivi de niveau trois du système MoRES dans le système VISION devrait permettre de créer des liens étroits entre les intrants des programmes humanitaires et de développement et le niveau intermédiaire de résultats.

Le rapport annuel du directeur général et le rapport complémentaire de données n'expliquent cependant pas comment les activités de l'UNICEF et son soutien aux programmes contribuent aux résultats et répercussions de plus haut niveau rapportés. Le rapport dresse la liste des contributions et donne des exemples, mais reste flou sur la façon d'établir le lien entre la contribution de l'UNICEF et les résultats. En parallèle, il est important de reconnaître que le système MoRES – lequel met l'accent sur les déterminants de l'inégalité chez les enfants et s'attaque aux indicateurs des résultats intermédiaires des programmes appuyés par l'UNICEF – permet, dans une certaine mesure, de répondre à la question de la contribution de l'UNICEF.

Le travail récent de la Division des programmes sur les défis du prochain plan stratégique à moyen terme reconnaît le besoin de renforcer le suivi.^{Note de bas de page 25}

Le suivi et l'obtention de résultats tangibles jouent également un rôle central dans la gestion axée sur les résultats et le rendement de l'UNICEF, et la reddition de comptes aux donateurs, surtout eu égard à la concurrence accrue pour l'obtention de fonds d'aide humanitaire et de développement. En raison de l'expansion des fonctions d'évaluation, de revue, de suivi et d'analyse dans les bureaux de pays et chez les partenaires du gouvernement, il faudra investir davantage dans le personnel, la formation et l'assistance technique. Le prochain plan stratégique à moyen terme devrait faire du suivi une fonction clé du programme et mettre en évidence les investissements nécessaires pour améliorer les fonctions de suivi sur le terrain.

Une mesure qui pourrait renforcer le lien entre les résultats de plus haut niveau et la contribution de l'UNICEF, c'est l'importance qu'accorde le système MoRES au rôle que l'évaluation peut jouer dans la vérification des résultats et des impacts de la programmation-pays. Cela dépendra, bien sûr, de l'élaboration de théories du changement crédibles pour les programmes-pays et leurs composantes. Dans une certaine mesure, le système MoRES répond à ce besoin, puisqu'il identifie des déterminants de l'équité. Toutefois, ce n'est pas encore explicite dans les rapports sur les progrès accomplis par rapport au plan stratégique à moyen terme.

En résumé, l'UNICEF investit beaucoup de temps et d'efforts dans l'élaboration de nouveaux systèmes de suivi des résultats, lesquels sont mis en œuvre à tous les niveaux de l'organisation. Ces systèmes promettent de produire de meilleurs rapports sur les résultats, ce qui pourrait éliminer le besoin de créer ce genre d'examens de l'efficacité à l'avenir. Cela dépendra de la capacité d'intégrer la fonction d'évaluation dans le système en tant qu'outil de vérification de la contribution de l'UNICEF et de tester la validité des théories du changement.

2.0 Méthodologie

Cette section décrit la méthodologie utilisée pour l'examen et définit la population, le processus d'échantillonnage, les critères d'examen, le processus d'examen et d'analyse, ainsi que d'autres méthodes de collecte de données utilisées. Elle se termine par une discussion sur les limites de l'examen.

2.1   Population et échantillon d'évaluations

Le choix de la population ciblée par les évaluations de l'UNICEF s'appuie sur deux sources :

• le site Web du Bureau de l'évaluation;
• trois rapports de surveillance tirés du système GEROS de l'UNICEF portant sur des évaluations réalisées entre 2009 et la fin de 2011.

Ces sources ont permis de dresser une liste de 341 évaluations. On a décidé, en consultation avec le Bureau de l'évaluation de l'UNICEF, que l'examen devrait se concentrer sur les évaluations effectuées depuis 2008. L'UNICEF a adopté une nouvelle politique d'évaluation cette année-là et on s'attendait à ce que les évaluations faites après 2008 reflètent cette nouvelle politique. On a également décidé que l'échantillon exclurait les évaluations de mauvaise qualité et cotées « insatisfaisantes » selon le système GEROS. L'équipe a exclu les évaluations axées sur les programmes mondiaux aux fins de l'examen quantitatif, mais les a incluses aux fins de l'examen qualitatif. En outre, certaines évaluations étaient des doublons, ne répondaient pas aux critères d'une évaluation ou ne portaient pas sur la programmation de l'UNICEF; elles ont donc été exclues de la population. Au final, la population contenait 197 évaluations duquel l'échantillon fut puisé.

Un échantillon de 70 évaluations fut puisé de la population afin de faire passer l'examen de la qualité à 60 d'entre elles et de les noter. Initialement, c'était un échantillon aléatoire, stratifié par domaine thématique du plan stratégique à moyen terme. Ensuite, l'échantillon fut ajusté manuellement afin de s'assurer d'une couverture adéquate de deux autres indicateurs : la région et le type de pays (pays les moins avancés ou pays à revenu intermédiaire). L'échantillon obtenu n'était plus aléatoire, mais un échantillon raisonné qui reflète la programmation mise en œuvre par l'UNICEF à travers un certain nombre de dimensions. On a éliminé huit évaluations de l'échantillon initial : quatre parce qu'elles n'ont pas passé l'examen de la qualité, deux parce qu'elles ne portaient pas sur la programmation de l'UNICEF ou l'efficacité des programmes, et deux parce qu'elles portaient sur des activités couvertes par d'autres évaluations. Au final, un échantillon de 62 évaluations a été noté par l'équipe (annexe 2).

Sommaire des caractéristiques clés de la population et de l'échantillon :

• les évaluations des trois années (de 2009 à 2011) étaient équitablement représentées dans la population et l'échantillon;
• les évaluations comprises dans la population et l'échantillon ont été séparées parmi les régions dans lesquelles l'UNICEF a une programmation ainsi que les pays à revenu intermédiaire et les pays les moins avancés. Cependant, dans l'échantillon, les évaluations concernant la programmation dans les pays les moins avancés en Afrique centrale et de l'Ouest sont légèrement surreprésentés comparativement aux évaluations dans la population;
• les évaluations comprises dans la population et l'échantillon couvraient tous les domaines prioritaires de la programmation de l'UNICEF, y compris tous les thèmes du plan stratégique à moyen terme et l'action humanitaire. Cependant, ce ne sont pas tous les types de programmation de l'UNICEF qui ont été couvert équitablement par les évaluations dans la population. Relativement peu d'évaluations portaient sur l'action humanitaire, bien que ce secteur de programmation représentait un peu plus d'un quart des dépenses de l'UNICEF entre 2009 et 2011. D'ailleurs, des pays recevant les plus grands montants du financement humanitaire entre 2009 et 2011, très peu de l'action humanitaire n'a été l'objet d'évaluation. De plus, cinq évaluations humanitaires incluses dans l'échantillon portaient sur la programmation mis en œuvre en réponse à la même crise humanitaire, à savoir le tsunami survenu dans l'océan Indien en 2004;
• les évaluations comprises la population et l'échantillon sous-représentaient aussi les évaluations de l'action humanitaire gérée par l'UNICEF par l'intermédiaire des bureaux de pays (niveau un), lesquelles étaient nombreuses.^{Note de bas de page 26} À l'exception d'une évaluation, toutes les évaluations de l'aide humanitaire incluses dans l'échantillon portaient sur des urgences de niveau trois de l'UNICEF. Par conséquent, les conclusions relatives à l'action humanitaire portent exclusivement sur des urgences gérées par l'UNICEF à l'échelle mondiale ou régionale;
• seul un petit pourcentage des évaluations de l'UNICEF porte sur la programmation mise en œuvre dans les pays ayant reçu le plus de fonds pour le développement ou l'aide humanitaire entre 2007 et 2011. La période de financement visée par les évaluations s'étend de 2000 à 2011 et on sait que le profil des dépenses dans les années précédant 2007 était peut-être différent. Or, la sous-représentation des pays les mieux financés suggère qu'UNICEF n'atteint pas une couverture solide de ces montants les plus élevés pour le développement ou l'aide humanitaire. On a tenté de rétablir l'équilibre dans l'échantillon en incluant un plus grand nombre d'évaluations de ces pays, en faisant fi de la répartition de la population.^{Note de bas de page 27}

Se reporter à l'annexe 3 pour le détail de la comparaison de la population et de l'échantillon d'évaluations.

Il n'a pas été possible d'établir la valeur de la programmation de l'UNICEF couverte par l'échantillon d'évaluations. Bien que, aux termes du processus d'examen, les évaluateurs étaient tenus d'inclure les coûts globaux des programmes, seules 34 évaluations en faisaient état et la nature de l'information présentée variait d'une évaluation à l'autre.^{Note de bas de page 28}

Même si elles ne couvraient pas les pays bénéficiaires des montants les plus élevés de financement ou toute l'ampleur de l'action humanitaire, les évaluations comprises dans l'échantillon reflètent, à tous les autres égards, la programmation mondiale de l'UNICEF.

2.2   Critères

La méthodologie ne se fonde pas sur une définition particulière de l'efficacité de l'aide au développement et de l'aide humanitaire. Comme convenu avec le groupe de gestion et l'équipe de travail auxquels le réseau EvalNet du CAD a confié le mandat de créer la méthodologie pour ces examens, la méthodologie se concentre sur quelques caractéristiques essentielles de l'efficacité de la programmation des organisations multilatérales, tirées des critères d'évaluation du CAD :

• les activités et les extrants de la programmation seraient pertinents aux besoins du groupe cible et de ses membres;
• la programmation contribuerait à l'atteinte des objectifs et des résultats escomptés en matière de développement aux niveaux national et local dans les pays en développement (y compris des retombées positives pour les membres du groupe cible);
• les avantages pour les membres du groupe cible et les résultats en matière de développement (et d'aide humanitaire) obtenus seraient durables;
• la programmation serait exécutés de façon efficiente;
• la programmation serait inclusive en ce sens qu'elle appuierait l'égalité entre les sexes et serait durable du point de vue de l'environnement (ainsi, ils ne compromettront pas les perspectives de développement futur) ;
• la programmation contribuerait à un développement efficace en offrant la possibilité aux organismes participants et aux organisations qui appuient le développement de tirer parti des expériences antérieures et d'utiliser des outils de gestion du rendement et de responsabilisation, comme l'évaluation et le suivi, pour améliorer l'efficacité au fil du temps.

Pour cette raison, la méthodologie de l'examen comprend un examen systématique et structuré des constatations des évaluations de l'UNICEF, fondé sur six critères principaux (encadré 2) and 19 sous-critères considérés comme étant essentiels à une programmation efficace en termes de développement et d'aide humanitaire (annexe 1).

2.3   Processus d'examen et analyse des données

Chaque évaluation a été examinée par un membre d'une petite équipe d'examen composée de trois examinateurs et de deux membres seniors (y compris le chef d'équipe).^{Note de bas de page 29} Chaque membre de l'équipe a examiné un ensemble d'évaluations. La première tâche de l'examinateur consistait à évaluer la qualité du rapport d'évaluation, afin de s'assurer qu'il était de qualité satisfaisante pour fournir de l'information fiable sur l'efficacité de l'aide au développement et de l'aide humanitaire. Pour ce faire, une grille de pointage de la qualité (annexe 3) a été utilisée. Si l'évaluation obtenait la note minimale requise, les examinateurs passaient à l'évaluation de chaque sous-critère en s'appuyant sur l'information contenue dans les évaluations et la grille d'examen normalisée (annexe 4). Ils ont également présenté des preuves tirées des évaluations pour justifier la notation.

Tous les efforts ont été faits pour assurer une cohérence dans les notations de chaque membre de l'équipe. Les examinateurs ont été formés par les membres chevronnés de l'équipe; deux ateliers ont été organisés dans le cadre duquel tous les membres de l'équipe ont examiné et comparé les notations pour les trois mêmes évaluations; un atelier à mi-parcours a été organisé pour régler les enjeux auxquels se heurtaient les examinateurs et, au terme des examens et de la consignation des preuves qualitatives à l'appui des notations, le chef d'équipe a passé en revue toutes les notations pour s'assurer que les preuves présentées étaient suffisantes et conformes à la notation. Ensuite, les membres chevronnés de l'équipe ont examiné les preuves qualitatives pour chaque sous-critère, afin de dresser la liste des facteurs favorisant ou empêchant la réalisation des sous-critères.

2.4   Autre collecte de données

Après avoir noté les évaluations de l'échantillon, de l'information sur l'efficacité de l'UNICEF a été glané dans un examen qualitatif des évaluations mondiales réalisées entre 2009 et 2011. Ces dernières n'étaient pas incluses dans l'échantillon afin d'éviter la double comptabilisation des résultats. Comme certaines évaluations mondiales comprenaient des preuves tirées d'autres évaluations, il y avait un risque que les données évaluatives du même programme soient comptabilisées deux fois. L'examen distinct des évaluations mondiales a en outre rehaussé leur profil dans l'analyse des constatations relatives aux six critères.

L'examen des documents de l'UNICEF et les entretiens avec le personnel de l'UNICEF sont venus compléter l'examen des rapports d'évaluation. Cela visait à mettre les résultats de l'examen en contexte (une liste des évaluations mondiales et des documents consultés est fournie à l'annexe 5).

2.5   Contraintes

Comme c'est le cas avec toutes les méta-synthèses, il y a des challenges liés à la méthodologie qui limitent les constatations. Dans ce cas-ci, le biais d'échantillonnage, la difficulté d'évaluer l'efficacité de la programmation eu égard aux écarts importants dans la programmation (par exemple : évaluations qui couvrent plusieurs éléments de programmation ou seulement un thème ou un projet précis dans un domaine prioritaire), ainsi que le caractère rétrospectif de la méta-synthèse ont nui aux constatations.

Biais d'échantillonnage

L'échantillon choisi pour cet examen n'a pas été sélectionné aléatoirement. Bien qu'il s'agisse d'un échantillon raisonné, il reflète quand même la programmation appuyée par l'UNICEF. Cependant, il ne faut pas partir du principe que les constatations de cet examen s'appliquent à l'ensemble de la programmation de l'UNICEF. De plus, même si les évaluations de l'UNICEF couvrent plusieurs pays et tous les domaines prioritaires, l'échantillon contient moins d'évaluations de la programmation mise en œuvre dans les pays bénéficiaires des montants les plus élevés du financement de l'UNICEF et bénéficiant le plus de son aide humanitaire qu'on aurait pu s'y attendre. Cependant, l'examen a essayé de combler cette lacune en procédant à un sur-échantillonnage des pays bénéficiant des montants les plus élevés de financement et des pays aux prises avec une crise humanitaire. Comme on l'a déjà noté, ni la population ni l'échantillon ne comprenait pas d'évaluations de petites interventions humanitaires (niveau un) mises en œuvre par l'UNICEF.

Dans l'ensemble, la couverture du critère était adéquate. Au total, 17 des 19 sous-critères utilisés pour évaluer l'efficacité de l'aide au développement et de l'aide humanitaire sont suffisamment bien couverts dans les évaluations incluses dans ce rapport. Deux sous-critères ont obtenu une mauvaise note pour le critère « couverture » et leurs résultats ne figurent pas dans ce rapport.

Écarts dans la programmation

L'examen n'a pas permis de systématiquement faire état de l'efficacité de la programmation de l'UNICEF par domaine prioritaire ou par type de pays. Le nombre d'évaluations pour chaque domaine prioritaire ou type de pays inclus dans la méta-synthèse était insuffisant pour permettre de les analyser séparément. De plus, certaines évaluations couvrent plusieurs types de programmation dans la même évaluation. Par conséquent, il n'est pas possible de tirer des conclusions par type de programmation ou par type de pays. Même si elles ne sont pas analysées séparément, on les inclut dans le rapport, chaque fois qu'il est possible de faire des observations qualitatives au sujet du domaine prioritaire ou du type de pays. Il faut cependant faire preuve de prudence, car certaines observations sont fournies uniquement à titre d'exemple. S'il y a lieu, les constatations quantitatives de ces analyses sont consignées à l'annexe 6.

Caractère rétrospectif de la méta-synthèse

Par définition, les évaluations sont rétrospectives et une méta-synthèse l'est encore davantage, étant donné qu'elle s'appuie sur un ensemble d'évaluations portant sur des politiques et une programmation mis en œuvre des années plus tôt. Les évaluations de l'UNICEF publiées entre 2009 et 2011 couvrent les années 2000 à 2011.^{Note de bas de page 30} Les politiques, stratégies et approches de l'UNICEF à l'égard de la programmation ont évolué au cours de ces années, mais les changements ne sont pas reflétés dans toutes les évaluations. Par conséquent, les constatations pourraient être quelque peu désuètes. Dans la mesure du possible, l'examen a remédié à ce problème au moyen d'observations glanées dans des entretiens récents avec le personnel de l'UNICEF et l'examen de documents de l'UNICEF.

3.0 Constatations sur l'efficacité de l'aide au développement de l'UNICEF

Dans cette section, on présente les résultats de l'examen des six critères principaux et de leurs sous-critères. Pour chaque critère, on explique d'abord la portée de l'examen du sous-critère dans les rapports d'évaluation (couverture). Ensuite, on présente les résultats (constatations), y compris les constatations quantitatives pour chaque sous-critère ainsi que les résultats de l'analyse qualitative des facteurs favorisant ou empêchant la réalisation du sous-critère. Cette section comprend également des preuves tirées d'évaluations mondiales exclues de l'examen quantitatif.

Dans les rapports portant sur les facteurs, on utilise les termes « plupart », « beaucoup », « quelques » et « peu » pour décrire la fréquence des observations, en tant que pourcentage du nombre d'évaluations pour lesquelles le sous-critère a été évalué (encadré 3). En outre, l'ordre dans lequel les facteurs sont présentés reflète généralement la fréquence à laquelle ils ont été mentionnés.

Le tableau 3 présente le résumé des constatations relatives à la couverture (représentées par la lettre n), de l'évaluation de l'équipe (solide, moyenne ou faible) et les notes attribuées par l'équipe d'examen (satisfaisant ou insatisfaisant) pour chacun des six critères principaux et leurs sous-critères.

* n = nombre d'évaluations abordant le sous-critère
** Bonne: n=45–62; Moyenne: n=30–44; Faible: n=moins de 30
*** La note « satisfaisante » comprend la note « satisfaisante » et « très satisfaisante »; la note « insatisfaisante » comprend la note « insatisfaisante » et « très insatisfaisante ».

3.1   Pertinence

3.1.1   Couverture – Pertinence

La pertinence est très bien couverte pour tous les sous-critères (figure 3). Le sous-critère 1.1. « Les programmes répondent aux besoins des membres du groupe cible » et le sous-critère 1.2 « Les programmes et les projets s'alignent avec les objectifs nationaux en matière de développement » étaient couverts dans presque toutes les évaluations. Le sous-critère 1.3, relatif à « l'efficacité des partenariats », était couvert dans un peu moins d'évaluations.

Figure 3 : Nombre d'évaluations qui abordent les sous-critères relatifs à la pertinence

3.1.2 Principales constatations – Pertinence

Il ressort des constatations que la programmation de l'UNICEF répond très bien aux besoins des groupes cibles (figure 4). En effet, il ressort d'au moins 90 % des évaluations que la programmation répond au moins de manière satisfaisante aux besoins du groupe cible et qu'elle cadre avec les objectifs nationaux de développement. De plus, il ressort de 88 % des évaluations que les partenariats sont au minimum satisfaisants. Dans les évaluations de la programmation mise en œuvre dans les pays à revenu intermédiaire, l'efficacité des partenariats est plus susceptible d'être cotée « satisfaisante » que dans les pays les moins avancés (annexe 6). Même si la programmation de l'UNICEF est, dans l'ensemble, très pertinente, le sous-critère 1.1 « Les programmes répondent aux besoins du groupe cible » et le sous-critère 1.2 « Les programmes cadrent avec les objectifs nationaux en matière de développement » sont moins bien cotés dans le domaine de la protection de l'enfant. Cela illustre que, contrairement à d'autres secteurs de la programmation de l'UNICEF, la protection de l'enfant n'est pas aussi bien reconnue ou reflétée dans les politiques et priorités nationales.

Figure 4 : Constatations relatives à la pertinence

Les évaluations de l'aide humanitaire ont révélé une note plus faible quant à la conformité des programmes avec les besoins des groupes cibles; cela s'explique peut-être par la difficulté de bien évaluer les besoins. Dans une évaluation relative à une intervention humanitaire d'envergure en 2010, on avait constaté qu'il n'y avait presque aucune évaluation systématique des besoins qui aurait pu servir de base à la coordination de groupes ou à la conception de programmes ultérieurs, qui aurait pu aider la gestion à surveiller les progrès de l'UNICEF ou qui aurait pu tenir les parties prenantes au courant des développements au moyen de données précises et fiables sur la situation des femmes et des enfants sur le terrain.^{Note de bas de page 32} Cependant, dans la même évaluation, il est écrit que les principaux engagements pour les enfants dans l'action humanitaire de l'UNICEF, adoptés plus tard en 2010, constituent un engagement à veiller à ce que des données d'évaluation soient disponibles à l'avenir.^{Note de bas de page 33}

Même s'il était moins probable qu'elles répondent aux besoins des groupes cibles, les évaluations de l'aide humanitaire étaient généralement mieux cotées pour le critère de l'efficacité des partenariats, probablement parce que l'UNICEF assurait la prestation de l'aide humanitaire par l'intermédiaire d'organisations non gouvernementales. En outre, les évaluations de l'aide humanitaire étaient tout aussi susceptibles de cadrer avec les objectifs nationaux que la programmation dans les autres domaines prioritaires du plan stratégique à moyen terme. Il ressort de l'évaluation globale de la programmation en éducation de l'UNICEF liés aux urgences que ces derniers sont pertinents et on insiste sur le chevauchement entre les pays dans lesquels l'UNICEF met en œuvre sa programmation et les listes de pays fragiles et touchés par les conflits développés par d'autres organisations. On note que la grande importance accordée au renforcement des capacités du personnel gouvernemental et l'investissement massif de fonds et de ressources dans la fourniture de matériel d'apprentissage témoignent de la pertinence au niveau national et local.^{Note de bas de page 34}

L'efficacité des partenariats était un sous-critère pour évaluer la pertinence de la programmation appuyée par l'UNICEF et il ressort des évaluations qu'un grand nombre de partenaires participent à la mise en œuvre de la programmation, entre autres :

• les institutions et les gouvernements nationaux – partenaires principaux de l'UNICEF;
• la société civile, représentée par des organisations non gouvernementales et communautaires;
• l'administration locale et les autorités locales;
• d'autres agences des Nations Unies et organisations internationales;
• des donateurs bilatéraux et leurs institutions.

Dans certaines évaluations, on présente les bienfaits des partenariats. Entre autres, ils permettent :

• de renforcer la capacité et la participation des organisations nationales et locales, y compris l'amélioration de la prise en charge nationale et locale ainsi que la capacité et les compétences techniques en lien avec les activités de plaidoyer et la mobilisation sociale;
• d'améliorer la planification, la mise en œuvre, la coordination et le suivi des activités, y compris l'élaboration d'approches communes, de normes et de mécanismes de suivi partagés;
• de réduire les coûts grâce au partage des ressources et d'inciter davantage de partenaires à appuyer les activités (encadré 4);
• de diffuser l'information et les pratiques exemplaires.

Exemples précis de pertinence tirés des rapports d'évaluation :

• le développement de pratiques novatrices, fondées sur des études internationales, comme solutions de rechange à l'éducation formelle des enfants et des filles dans les villages ruraux (Burkina Faso);
• après un tremblement de terre et un tsunami, le groupe de travail sur l'éducation dans les situations d'urgence – présidé par le ministère de l'Éducation et du Développement des ressources humaines et composé de représentants des partenaires du développement – a mis en place des activités dans le secteur de l'éducation, après avoir évalué les besoins (Îles Salomon occidentales);
• l'analyse de la situation des orphelins et d'autres enfants vulnérables aux prises avec des problèmes de malnutrition et de morbidité, qui n'ont pas accès à l'éducation de base, qui souffrent de traumatismes psychiques et qui sont victimes d'abus (Djibouti);
• la maintenance d'un réseau existant de partenaires et la création de nouveaux partenariats au niveau local – notamment avec la société civile – avec des activités en lien à l'eau, l'assainissement et l'hygiène (Éthiopie);
• une gestion de programme et une collaboration solides, y compris la consultation et la participation régulières des ministères hiérarchiques et d'autres parties prenantes dans le cadre de l'élaboration du programme, la mise en œuvre de dossiers et de séances d'orientation préalables tenues avec les partenaires, au moyen d'une approche participative lors de la rédaction des accords de coopération, une rétroaction et un suivi réguliers, et la mise en œuvre rapide des décisions de la direction et du suivi (Libéria);
• l'UNICEF joue un rôle de chef de file dans l'établissement de relations de travail nationales qui visent à réduire les risques de catastrophe dans les collectivités et institutions vulnérables, tout en respectant le leadership des autorités locales (Asie centrale et Caucase du Sud).

3.1.3   Facteurs déterminants – Pertinence

On a dressé une liste de plusieurs facteurs qui améliorent la pertinence de la programmation appuyée par l'UNICEF.^{Note de bas de page 35} Il ressort de la plupart des évaluations que cette programmation cadre avec les priorités nationales répertoriées dans les plans nationaux, les cadres juridiques, les cadres de développement, ainsi que les programmes, les politiques et les plans d'action nationaux. En plus de l'alignement aux priorités gouvernementales, la programmation de l'UNICEF a été conçue pour appuyer la mise en œuvre de politiques publiques et d'activités de programmation et de renforcement de la capacité dans les institutions ou les gouvernements nationaux (encadré 5). La plupart des évaluations apprécient la mesure dans laquelle les partenariats contribuent à la pertinence.

Constatations tirées de quelques évaluations :

• la programmation cadrait avec d'autres priorités internationales reflétées dans le mandat de l'UNICEF, le Cadre des Nations Unies pour l'aide au développement (UNDAF), ainsi que les engagements nationaux à l'égard d'accords internationaux, y compris les Objectifs du Millénaire pour le développement, la Convention relative aux droits de l'enfant, le Cadre d'action de Hyogo et la Déclaration de Beijing;
• l'analyse et la recherche ont contribué à cerner les besoins du groupe cible et à améliorer la conception des programmes. Il ressort de quelques évaluations que les recherches et les données existantes, comme les études internationales, les évaluations précédentes de la programmation de l'UNICEF et les pratiques exemplaires internationales y ont contribué. Or, moins d'évaluations font mention du recours aux analyses de la situation et à d'autres outils d'évaluation, notamment des études de base, dans la conception du programme. Ces outils étaient surtout mentionnés dans les évaluations des programmes mis en œuvre dans les pays les moins avancés.

Même si la programmation appuyée par l'UNICEF est considérée très pertinente, plusieurs facteurs minent sa pertinence. Il s'agit surtout de faiblesses dans les mêmes domaines que les facteurs d'amélioration. Certaines évaluations soulignent des lacunes dans les partenariats de l'UNICEF, notamment avec le gouvernement national (souvent parce que le gouvernement n'assume pas toutes ses responsabilités) et d'autres organismes des Nations Unies (encadré 6).

Constatations tirées de peu d'évaluations :

• le manque d'analyse des besoins du groupe cible, ou la faiblesse de celle-ci, comme les mauvaises analyses de la situation, le recours à des données de mauvaise qualité et le manque de coordination entre les intervenants lors des évaluations des besoins. Ces constatations étaient plus nombreuses dans les évaluations de la programmation mise en œuvre dans les pays les moins avancés que celle mise en œuvre dans les pays à revenu intermédiaire;
• les difficultés à mettre en place des partenariats efficaces, dont le grand nombre d'organismes à l'œuvre dans un secteur donné, la coordination inefficace et la capacité insuffisante des organisations partenaires (y compris les partenaires nationaux et internationaux);
• l'instabilité des partenariats pendant la durée de la programmation – ils peuvent se solidifier (par exemple en renforçant la coordination) ou péricliter au fil du temps (par exemple, en raison de la perte de partenaires);
• la précarité des partenariats en raison des changements fréquents de personnel et du manque d'expertise de l'UNICEF dans un secteur donné (par exemple, le secteur de l'eau, de l'assainissement et de l'hygiène).

3.2   Atteinte des objectifs

3.2.1   Couverture – Atteinte des objectifs

Dans l'ensemble, les sous-critères concernant l'atteinte des objectifs sont bien couverts dans les évaluations (figure 5). C'est le cas de l'atteinte des objectifs (2.1), des bienfaits pour les membres du groupe cible (2.2) et des résultats de programme qui touchent un grand nombre de bénéficiaires (2.3). La couverture est moyenne seulement pour le sous-critère des changements positifs dans les politiques et programmes nationaux (2.4), avec seulement 43 % des évaluations qui contiennent des constatations pertinentes.

La plupart des évaluations portant sur la programmation dans le secteur de l'éducation de base et de l'égalité entre les sexes (10 évaluations sur 11), dans le secteur de la protection des enfants (5 évaluations sur 6), ainsi que les évaluations des programmes humanitaires (10 évaluations sur 13) ont tendance à examiner les facteurs ayant permis à l'UNICEF d'influencer les politiques et les programmes nationaux. Seulement deux évaluations sur sept de l'échantillon tiré du domaine prioritaire « Activités de plaidoyer et partenariats pour les droits de l'enfant » contenaient des constatations au sujet du sous-critère 2.4.

La relation étroite entre l'UNICEF et les décideurs nationaux dans certains pays – qui s'étend sur plusieurs cycles d'élaboration de politiques – pourrait expliquer pourquoi l'influence que les programmes ont sur les changements apportés aux politiques nationales n'a presque pas été évaluée. Au moment des évaluations, la différence entre les priorités de l'UNICEF et les politiques nationales était peut-être minime, raison pour laquelle l'UNICEF n'a peut-être pas jugé nécessaire d'influencer les changements ou de les évaluer.

3.2.2   Principales constatations – Atteinte des objectifs

Dans une large mesure, les constatations dégagées de l'examen sont positives (figure 6). Dans pas moins de 77 % des évaluations examinées, la mesure dans laquelle les programmes appuyés par l'UNICEF atteignent les objectifs établis a été jugée satisfaisante ou très satisfaisante (2.1). Cela ne signifie pas que les programmes de l'UNICEF ont atteint 77 % des résultats visés dans tous les domaines prioritaires. Cela signifie plutôt que les programmes de l'UNICEF ont atteint plus que la moitié de leurs objectifs (y compris les plus importants) dans 77 % des évaluations examinées.

Les résultats obtenus étaient encore meilleurs en ce qui concerne la capacité des programmes d'apporter des bienfaits à la population cible (2.2), avec 86 % des résultats des évaluations jugés satisfaisants ou très satisfaisants. Les résultats étaient un peu moins bons quant à la portée des bienfaits, c'est-à-dire au nombre de bénéficiaires du programme (2.3), avec 72 % des résultats des évaluations jugés satisfaisants ou très satisfaisants.

Pour finir, la capacité des programmes d'amener des changements positifs dans les politiques et les programmes nationaux a été jugée satisfaisante ou très satisfaisante (2.4) dans 77 % des évaluations dans lesquelles ce sous-critère a été examiné.

Figure 5 : Nombre d'évaluations qui abordent les sous-critères relatifs à l'atteinte des objectifs

Figure 6 : Constatations relatives à l'atteinte des objectifs

Sur les quatre sous-critères concernant l'atteinte des objectifs, les trois derniers ne montrent aucune différence importante dans les constatations lorsqu'on a comparé les évaluations des programmes mis en œuvre dans les pays les moins avancés à celles mis en œuvre dans les pays à revenu intermédiaire.

D'un autre côté, en ce qui concerne le sous-critère visant à déterminer si les programmes atteignent leurs objectifs (2.1), les résultats des évaluations des programmes mis en œuvre dans les pays à revenu intermédiaire étaient un peu plus souvent satisfaisants ou très satisfaisants que ceux des programmes mis en œuvre dans les pays les moins avancés (annexe 6).

Cela ne semble pas paradoxal, étant donné que les organismes partenaires de l'UNICEF dans les pays à revenu intermédiaire pourraient avoir une meilleure capacité de mise en œuvre des programmes que ceux dans les pays les moins avancés. Cependant, ce n'est pas à l'égard de tous les critères que les programmes mis en œuvre dans les pays à revenu intermédiaire affichent de meilleurs résultats, comme le montrent les résultats portant sur l'égalité entre les sexes (Section 3.3).

Types d'objectifs atteints selon le programme appuyé par l'UNICEF

Il est intéressant de passer en revue, eu égard aux évaluations, quels objectifs ont été atteints par les programmes appuyés par l'UNICEF. Il ressort clairement de la tendance de la programmation, reflétée dans les domaines prioritaires et les sous-secteurs du plan stratégique à moyen terme de l'UNICEF, que les objectifs de la programmation de l'UNICEF comprennent un vaste éventail d'extrants et de résultats de programmes.

Le présent examen ne vise pas à dresser un portrait exhaustif des réalisations positives accomplies au moyen des programmes appuyés par l'UNICEF ou à déterminer comment ils contribuent à atteindre les objectifs du plan stratégique à moyen terme. À la place, cette section présente plutôt un petit échantillon des réalisations spécifiques tirées des évaluations. Ces objectifs ont été atteints en partenariat avec les gouvernements, les organisations non gouvernementales et les membres de la collectivité locale. Les évaluations ne visent pas à attribuer tout le mérite de l'atteinte des résultats au soutien de l'UNICEF. Les réalisations tirées des évaluations incluent :

• des changements dans les connaissances, la compréhension et le comportement à l'égard des risques liés aux mines antipersonnel (Colombie);
• l'établissement et la promotion de pratiques exemplaires à l'égard de l'eau, de l'assainissement et de l'hygiène au moyen de lignes directrices techniques et d'améliorations à un accès national amélioré à de l'eau propre, en transférant la gestion des systèmes à la collectivité (Sri Lanka);
• des améliorations dans le traitement réservé par les services de police aux enfants et aux adolescents dans les régions de l'Indonésie touchées par le tsunami (encadré 7);

• des améliorations dans le traitement et dans les opportunités qui s'offrent aux enfants handicapés dans un milieu familial et communautaire (Mexique);
• des améliorations dans le domaine de l'assainissement et de l'hygiène au moyen de la construction de latrines et de l'utilisation d'une approche en matière d'assainissement gérée par la communautaire (Mauritanie);
• la réintégration d'enfants de familles expulsées de Tanzanie dans le système d'éducation au moyen de l'initiative Écoles amies des enfants (Burundi);
• la fourniture rapide de secours immédiats après le tremblement de terre en Haïti, en rétablissant l'approvisionnement en eau à Port-au-Prince et en fournissant des articles de secours non alimentaires (Haïti);
• l'accroissement de la consommation réelle des ménages, des dépenses alimentaires et de la diversité alimentaire des ménages plus pauvres (avec une incidence positive sur les inscriptions dans les écoles secondaires) grâce à un programme de transfert de fonds pour les orphelins et les enfants vulnérables (Kenya);
• la participation accrue des adolescents et des jeunes dans la mise en œuvre de projets dans le cadre du programme de plaidoyer et de mobilisation sociale appuyé par l'UNICEF (Cambodge);
• l'amélioration du statut social et de l'estime de soi des femmes et des enfants participant à des émissions de radio et à des débats en direct avec des autorités locales et des partenaires du développement dans le cadre d'un projet visant à donner la parole à divers groupes à la radio communautaire (Éthiopie);
• l'accroissement de l'accès équitable aux soins de santé en ayant recours à une approche de gestion intégrée des maladies de l'enfance et en modifiant les connaissances et les façons de faire des fournisseurs de soins (Moldavie);
• l'amélioration des services d'approvisionnement en eau potable et d'assainissement pour les ménages (Éthiopie) (encadré 8);
• une réponse rapide aux besoins en matière de sécurité alimentaire des enfants de moins de deux ans, ainsi que des femmes enceintes et allaitantes dans des situations d'urgence, au moyen de transferts de fonds (Niger).

3.2.3   Facteurs déterminants – Atteinte des objectifs

Dans cette sous-section, les facteurs ayant contribué à l'atteinte des objectifs des programmes sont présentés.

Beaucoup d'évaluations font état des facteurs suivants :

• la conception de programmes de grande qualité qui inclut des éléments adaptés aux enfants et des objectifs clairs, souvent axés sur une approche multisectorielle et totalement intégrés dans les politiques sectorielles nationales. Cela comprend les programmes élaborés conjointement avec les partenaires du gouvernement;
• l'effet positif du rôle actif joué par l'UNICEF dans l'élaboration et l'influence des politiques nationales au niveau sectoriel;
• l'échelle et la taille appropriées de la programmation – eu égard aux ressources et à la portée – par rapport au problème à régler, jouent un rôle important dans le succès du programme.

Quelques évaluations font état des facteurs positifs suivants :

• des efforts de renforcement de la capacité bien ciblés et la grande importance accordée au renforcement des capacités des principales parties prenantes;
• grâce à l'efficacité des activités d'influence et de plaidoyer de l'UNICEF, on a accordé la priorité à des enjeux clés, comme la protection des enfants, la violence sexiste, l'éducation des filles, la participation des jeunes et les droits des enfants, dans la conception et la mise en œuvre des programmes;
• le lien entre un processus inclusif de conception et de mise en œuvre de programme auquel ont participé toutes les parties prenantes importantes (Nations Unies, organismes gouvernementaux, organisations de la société civile, dirigeants communautaires, dirigeants religieux, filles et femmes) et les résultats probants du programme (encadré 9);

• Le ciblage efficace de groupes marginalisés ou vulnérables (y compris le ciblage de filles et de femmes), plus souvent répertorié dans les évaluations de programmes mis en œuvre dans les pays les moins avancés que ceux mis en œuvre dans les pays à revenu intermédiaire;
• la qualité élevée des lignes directrices techniques et méthodologiques appuyées par l'UNICEF, lesquelles sont un élément important de la promotion des pratiques exemplaires dans la conception et la prestation de services, également plus souvent répertoriée dans les évaluations de programmes mis en œuvre dans les pays les moins avancés que ceux mis en œuvre dans les pays à revenu intermédiaire.

Peu d'évaluations font état des facteurs déterminants positifs suivants :

• la réponse rapide ou hâtive de l'UNICEF est un facteur clé dans la prévention de l'exploitation ou des abus, ou dans la prestation de services clés lors de situations d'urgence humanitaire;
• dans le cadre de l'action humanitaire, le rôle de l'attention portée à la réparation, à la réhabilitation ou à la construction d'infrastructures essentielles, surtout dans le secteur de la santé et de l'éducation;
• la surveillance et la collecte de renseignements efficaces, pour favoriser le suivi continu, ont permis d'améliorer la compréhension et de renforcer les pratiques exemplaires du programme;
• la présence d'une équipe de mise en œuvre du projet dévouée et compétente (y compris le personnel du bureau de pays de l'UNICEF, le personnel de projet embauché et le personnel du partenaire de mise en œuvre) est un facteur important de la réussite du projet.

Dans les évaluations mondiales, on retrouve certains des mêmes facteurs de succès garants de résultats positifs et de l'atteinte des objectifs. Par exemple, il ressort du rapport de synthèse sur la protection des enfants contre la violence que le plaidoyer et l'intégration de la protection des enfants dans les processus de planification nationaux et décentralisés sont essentiels au renforcement des systèmes de protection des enfants.^{Note de bas de page 36}

Les évaluations ont également permis de dresser une liste sommaire de facteurs qui minent la capacité des programmes appuyés par l'UNICEF d'atteindre leurs objectifs énoncés.

Il ressort de beaucoup de rapports d'évaluation que des lacunes dans la conception des programmes sont le facteur déterminant de l'échec des programmes. Entre autres, on a relevé : l'absence d'orientation axée sur les résultats; l'absence de liens ou l'absence totale d'enchaînement causal; des objectifs de programme trop ambitieux; une programmation mal ciblée; l'échec d'aborder les droits des membres du groupe cible; une approche trop fragmentée à l'égard de l'exécution du programme; une mauvaise conception technique des intrants du programme. La mauvaise conception du programme est un facteur plus souvent relevé dans les évaluations de la programmation mise en œuvre dans les pays les moins avancés que dans celles de la programmation mise en œuvre dans les pays à revenu intermédiaire.

Il ressort de certaines évaluations que les budgets de programme sont inadéquats et que les résultats ne suffisent pas pour régler le problème identifié et atteindre les cibles en matière de couverture établies pour le programme.

Peu d'évaluations font état des facteurs négatifs suivants qui minent l'atteinte des résultats :

• les faiblesses dans le volet « renforcement des capacités » des programmes, y compris le manque général d'attention accordée au renforcement des capacités et aux besoins en matière de formation, l'investissement inadéquat et les faiblesses techniques dans les plans et les trousses de formation;
• les problèmes avec le personnel du programme (animateurs, formateurs, personnel responsable de la prestation de services), en raison du manque de formation ou de compétences de celui-ci, est attribué parfois à la mauvaise rémunération et au taux élevé de roulement. Fait intéressant, ces problèmes ont été relevés exclusivement dans des programmes mis en œuvre dans les pays les moins avancés;
• les faiblesses dans le suivi des programmes, freine l'apprentissage et l'amélioration des programmes au fil du temps et, par conséquent, mine l'atteinte des résultats;
• l'absence de point de vue sexo-spécifique ou l'incapacité d'intégrer les réalisations du programme entravent les problèmes d'égalité entre les sexes;
• l'obtention tardive ou insuffisante d'intrants prévus du programme.

3.3   Thèmes transversaux

 3.3.1  Couverture – Thèmes transversaux

Comparativement à la pertinence et à l'atteinte des objectifs, le sous-critère des thèmes transversaux présente un tableau très différent en matière de couverture dans les évaluations de l'UNICEF (figure 7). La couverture du sous-critère portant sur la mesure dans laquelle l'UNICEF a soutenu les activités qui abordent efficacement l'égalité entre les sexes était moyenne, puisque 42 des 62 évaluations contenaient des constatations pertinentes. La couverture du sous-critère relatif à la durabilité de l'environnement des changements résultant des programmes appuyés par l'UNICEF était faible, puisqu'il est abordé dans seulement 15 rapports d'évaluation.

Figure 7 : Nombre d'évaluations qui abordent les sous-critères relatifs aux thèmes transversaux

Égalité entre les sexes

Il est remarquable que près d'un tiers des évaluations dans l'échantillon n'aient pas abordé la question de l'égalité entre les sexes. Il est important de noter que, pour qu'il soit possible de noter ce sous-critère dans l'examen, les évaluations devaient mettre en évidence la mesure dans laquelle le programme ou le projet en question avait intégré les objectifs en matière d'égalité entre les sexes et déterminer si ces derniers avaient été atteints. L'égalité entre les sexes pouvait également être abordée dans un rapport d'évaluation si ce dernier visait à évaluer la capacité du programme d'intégrer l'égalité entre les sexes. D'un autre côté, si une évaluation mentionnait simplement le nombre de filles ou de femmes qui profitent des bienfaits comparativement aux garçons ou aux hommes, le critère n'était pas noté, car il était impossible de savoir si le programme avait réussi à aborder l'égalité entre les sexes.

Il est également intéressant d'examiner quels rapports d'évaluation dans l'échantillon abordaient davantage l'égalité entre les sexes. En ce qui concerne les évaluations portant sur le soutien de l'UNICEF aux programmes du domaine prioritaire de l'éducation de base et de l'égalité entre les sexes du plan stratégique à moyen terme, dix rapports sur onze ont abordé la question. Dans le même ordre d'idées, l'égalité entre les sexes a été adéquatement abordée dans 11 des 13 évaluations de l'aide humanitaire.

On a constaté que le niveau de couverture était inférieur dans les évaluations de la programmation du domaine prioritaire de la survie et du développement du jeune enfant, puisque seulement 13 des 21 évaluations abordent le sujet adéquatement. Cela pourrait s'expliquer par la nature opérationnelle de la plupart de la programmation mis en œuvre dans ce domaine, lequel comprend le soutien aux programmes d'eau, d'assainissement et d'hygiène. D'un autre côté, il est possible qu'il y ait une différence au niveau de l'accessibilité des garçons et des filles aux programmes axés sur la santé des enfants.

Pour finir, il ressort de certains rapports d'évaluation que le personnel de l'UNICEF et des partenaires estimait que l'égalité entre les sexes était implicite dans les programmes mettant en œuvre une approche axée sur les résultats ou axée sur la protection ou les droits des enfants.

Selon l'évaluation mondiale récente du recours à l'approche axée sur les droits de la personne dans la programmation, l'UNICEF a répondu à une évaluation mondiale antérieure de sa politique en matière d'égalité entre les sexes en renforçant son engagement organisationnel :

L'évaluation a conclu que les stratégies préconisées par la politique d'origine [intégration et activités de programmation sexo-spécifiques] restaient acceptables et elles ont été maintenues. Toutefois, elle a indiqué que la politique devait être mise à jour, afin de répondre aux nouvelles priorités du programme, notamment l'engagement à travailler de manière plus explicite avec les hommes et les garçons, en leur qualité d'agents et de bénéficiaires de l'égalité des sexes, et afin d'améliorer la priorité et les ressources accordées à la programmation de l'UNICEF sur l'égalité des sexes, et le fondement de ses actions dans la Convention relative aux droits de l'enfant et la Convention sur l'élimination de toutes les formes de discrimination à l'égard des femmes.^{Note de bas de page 37}

Compte tenu de la solidité de l'engagement stratégique de l'UNICEF à l'égard de l'égalité entre les sexes et de la priorité qu'il y accorde dans sa politique de 2010,^{Note de bas de page 38} il est surprenant qu'un tiers des évaluations examinées n'abordaient pas l'égalité entre les sexes.

Durabilité de l'environnement

Compte tenu du très faible niveau de couverture de la durabilité de l'environnement – seulement 15 évaluations abordent le sous-critère – l'examen ne peut faire rapport sur l'efficacité des programmes appuyés par l'UNICEF dans ce domaine.

Il convient de souligner que, dans certains cas, les évaluations de la programmation du domaine prioritaire de la survie et du développement du jeune enfant abordent la durabilité de l'environnement (8 évaluations sur 21). C'est en grande partie en raison de la présence des programmes d'eau, d'assainissement et d'hygiène dans ce domaine prioritaire et de l'attention accordée aux effets environnementaux des investissements dans l'infrastructure d'approvisionnement en eau et d'assainissement.

Dans le même ordre d'idées, les évaluations de l'action humanitaire ont parfois abordé la durabilité de l'environnement (6 évaluations sur 13). Ce n'est pas surprenant, puisque les programmes d'urgence comprennent souvent un élément axé sur la remise en état des infrastructures d'approvisionnement en eau, d'assainissement, d'éducation et de santé.

La Division des programmes de l'UNICEF rapporte que depuis 2012, la programmation – surtout dans le domaine de l'eau, de l'assainissement et de l'hygiène – porte une plus grande attention aux changements climatiques. Compte tenu de cette tendance et de la création (en 2012) d'un groupe de travail inter-divisions sur l'adaptation aux changements climatiques, il serait raisonnable de s'attendre à ce que les évaluations réalisées par l'UNICEF à l'avenir prêtent davantage attention aux questions de durabilité de l'environnement.

3.3.2   Principales constatations à l'égard de l'égalité entre les sexes

Les évaluations présentent un portrait complexe de la capacité des programmes appuyés par l'UNICEF d'aborder l'égalité entre les sexes. En effet, moins de la moitié (47 %) des 42 évaluations abordant l'égalité entre les sexes contenaient des constatations satisfaisantes ou très satisfaisantes pour ce sous-critère (figure 8).

Étant donné que 22 évaluations n'ont pas abordé l'égalité entre les sexes, une autre façon d'exprimer les résultats serait de noter que seulement un tiers (32 %) des 62 évaluations examinées ont été en mesure de démontrer que les programmes appuyés par l'UNICEF abordent efficacement l'égalité entre les sexes.

Figure 8 : Constatations relatives au soutien efficace de l'égalité entre les sexes

Étonnamment peut-être, les résultats relatifs à la capacité de l'UNICEF de soutenir efficacement l'égalité entre les sexes étaient un peu plus positifs dans les évaluations de programmes mis en œuvre dans les pays les moins avancés que celles des programmes mis en œuvre dans les pays à revenu intermédiaire (annexe 6).

En parallèle, les résultats du sous-critère 3.1 étaient considérablement plus négatifs pour l'action humanitaire que pour l'ensemble des échantillons d'évaluation (annexe 6). Par conséquent, même si les évaluations de l'action humanitaire étaient plus portées à aborder l'égalité entre les sexes, leurs constatations étaient plus négatives que celles d'autres évaluations.

Les évaluations soulignent néanmoins que l'UNICEF a réussi à appuyer quelques programmes qui abordent efficacement l'égalité entre les sexes. Il ressort que les programmes efficaces permettent d'atteindre divers résultats fructueux dans le domaine de l'égalité entre les sexes. Par exemple :

• l'élargissement des programmes psychosociaux afin d'inclure la violence faite aux enfants et de régler des problèmes de comportement dans les familles où les filles sont à risque (Sri Lanka);
• l'amélioration de la sécurité des filles inscrites au programme Écoles amies des enfants (Burundi);
• l'accès amélioré à l'éducation de base pour les filles (Burkina Faso);
• la promotion de l'adoption de lois nationales sur la traite d'enfants et l'élimination de la violence familiale, y compris la violence sexiste (Indonésie);
• l'accès amélioré aux soins périnataux pour les femmes et les mères adolescentes (Sénégal);
• l'accès amélioré pour les femmes et les filles à l'eau potable, là où les femmes participent activement au bon fonctionnement et à la gestion des installations d'approvisionnement en eau et des comités de gestion de l'eau (Éthiopie);
• la promotion de femmes à des postes décisionnels clés au niveau national dans le domaine du développement de la petite enfance (Ghana);
• le traitement amélioré des filles et des femmes par les services de police grâce à une formation efficace et à la sensibilisation des agents de police (Inde) (encadré 10).

Les évaluations mondiales revues de manière qualitatives atteignent aussi divers résultats positifs au chapitre de l'égalité entre les sexes pour les programmes appuyés par l'UNICEF. Voici par exemple ce qui ressort de l'évaluation mondiale de la programmation mise en œuvre dans le cadre du projet Écoles amies des enfants :

La plupart des élèves ont l'impression que, dans leur école, les garçons et les filles bénéficient de chances égales. En effet, dans tous les pays, les trois quarts ou plus d'élèves ont répondu « généralement vrai » ou « très vrai » à l'énoncé suivant : les garçons et les filles ont des chances égales de réussir dans cette école.^{Note de bas de page 39}

Il est à noter que l'UNICEF a reconnu les enjeux liés à l'égalité entre les sexes et a déployé des efforts pour améliorer l'efficacité dans ce domaine. En réponse à l'évaluation de l'égalité entre les sexes réalisée en 2008, l'UNICEF a lancé le Plan d'action stratégique prioritaire en faveur de l'égalité des sexes : 2010-2012 dans lequel elle a dressé une liste de huit domaines dans lesquels des changements s'imposaient. Dans son nouveau plan stratégique, l'UNICEF s'engage également à prendre des mesures concrètes à l'égard de l'égalité entre les sexes.

3.3.3   Facteurs déterminants – Égalité entre les sexes

Étant donné que, dans l'ensemble, les constatations relatives à l'égalité entre les sexes sont négatives, il n'est pas surprenant que les examinateurs aient relevé davantage de facteurs déterminants négatifs que positifs. Néanmoins, les évaluations ont présenté plusieurs facteurs déterminants positifs.

Le facteur le plus souvent identifié comme contribuant à des résultats positifs en égalité entre les sexes est l'inclusion d'objectifs et de cibles sexo-spécifiques – y compris l'accent mis sur les droits des femmes et (dans quelques évaluations) l'intégration efficace de l'égalité entre les sexes dans plus d'un domaine thématique (comme la protection des enfants).

Quelques évaluations font état de la promotion active des femmes en tant que chefs de file et de membres des comités de gestion de l'eau, entre autres, ainsi que de la nomination de femmes à des postes décisionnels clé au niveau national.

Dans quelques évaluations, les facteurs suivants ont contribué à l'atteinte de résultats positifs dans le domaine de l'égalité entre les sexes :

• la conception de programme fondée sur une bonne analyse de la situation et des obstacles à l'égalité entre les sexes;
• des efforts substantiels et soutenus pour renforcer la sensibilité à l'égalité entre les sexes chez le personnel des organisations de la société civile, des ministères de la Santé, des services de santé publique ainsi que des services de police et des services judiciaires afin d'assurer une prestation efficace de services respectant la sexo-spécificité;
• le dialogue politique efficace entre l'UNICEF et les représentants des gouvernements central et locaux.

Les évaluations examinées contenaient un vaste éventail de facteurs qui minent l'atteinte de résultats dans le domaine de l'égalité entre les sexes.

Il ressort de la plupart des évaluations que les programmes n'énonçaient aucun objectif précis quant à l'égalité entre les sexes ou qu'on en faisait tout simplement abstraction lors de la conception et de la mise en œuvre. Pour quelques évaluations, l'égalité entre les sexes était un enjeu totalement « neutre » et on n'y faisait aucune distinction entre les garçons et les filles ou les hommes et les femmes.

Quelques évaluations ont souligné :

• l'absence de données ventilées par sexe servant de ligne de base pour recenser les obstacles à l'égalité entre les sexes ou d'information à utiliser durant la mise en œuvre et le suivi du programme, y compris l'utilisation de données ventilées par sexe pour cartographier la vulnérabilité;
• l'échec de promouvoir l'inclusion accrue des femmes dans les rôles de chef de file et de décideur a miné les résultats au chapitre de la promotion de l'égalité entre les sexes. Quelques évaluations ont souligné le traitement inégal réservé au personnel du programme où les hommes occupent des postes de leadership rémunérés et où les femmes sont reléguées à des postes sous-payés ou volontaires;
• l'échec du programme de reconnaître et de promouvoir la capacité des femmes dans les domaines de programmation technique comme la protection des enfants ou l'eau, l'assainissement et l'hygiène.

Facteurs négatifs répertoriés dans peu d'évaluations :

• l'échec de reconnaître que certains éléments des programmes techniques nuisent aux femmes ou aux filles (encadré 11);

• le manque d'importance accordée aux questions relatives à l'égalité entre les sexes dans les programmes de formation et les documents connexes;
• le manque de consultation avec les femmes et les filles au sujet de leurs besoins particuliers en matière de santé et de protection, ce qui entraîne un manque d'attention aux besoins et aux intérêts des femmes ou des filles;
• le manque d'intégration de problèmes sexo-spécifiques des hommes ou de sensibilisation de la gent masculine.

Quelques évaluations mondiales ont fait état de problèmes similaires empêchant l'UNICEF d'aborder efficacement les problèmes liés à l'égalité entre les sexes. Le rapport de synthèse sur la protection des enfants contre la violence, par exemple, a fait état de plusieurs défis, contraintes et lacunes auxquels se heurte l'UNICEF. Les deux premiers concordent avec les facteurs énoncés ci-haut.

Lacunes : Dans certains programmes, les évaluateurs ont constaté que les enjeux liés à l'égalité entre les sexes ne sont pas abordées adéquatement à l'étape de la planification et de la mise en œuvre (Bosnie-Herzégovine, Thaïlande). On a constaté, dans certaines évaluations, que les programmes n'utilisaient pas leurs programmes pour sensibiliser la population à l'égalité entre les sexes ou encourager la discussion à ce sujet, ce qui a soulevé des préoccupations (Inde).

Gestion des connaissances : En raison de l'absence d'analyse en profondeur des enjeux liés à l'égalité entre les sexes d'entrée de jeu, l'égalité entre les sexes n'occupait pas une place de choix dans les programmes (Népal, Maldives).^{Note de bas de page 40}

L'évaluation mondiale de l'approche axée sur les droits de la personne à l'égard de la programmation de l'UNICEF revoit cette approche sous cinq principes clés. Même si les cinq principes sont pertinents sur le plan de l'égalité entre les sexes, le plus central est probablement celui de la non-discrimination. Il ressort également de l'évaluation mondiale que la ventilation des données et les lacunes en matière d'établissement de rapports sont des facteurs qui limitent la capacité d'appliquer le principe de la non-discrimination à la programmation mise en œuvre par les bureaux de pays de l'UNICEF.

L'opérationnalisation de ce principe dans le travail de l'UNICEF dépend largement de la ventilation adéquate des données par niveau de vulnérabilité, ce qui permet d'élaborer des programmes ciblés ou universels.

La notation de la non-discrimination dans l'évaluation du bureau de pays allait de « satisfaisante » à « faible », ce qui laisse penser que son application donne des résultats mitigés. Plus particulièrement, pour ce qui est de ce principe, l'évaluation des bureaux de pays a accordé la note « faible » à plus d'un tiers des bureaux (15). Souvent, l'analyse de la situation permettait de recenser les exclus de la société et les groupes marginalisés, entre autres. Toutefois, les analyses de la situation utilisent souvent des descriptions génériques pour dresser la liste des personnes les plus vulnérables, et les documents de la programmation ainsi que les rapports annuels ne contiennent pas suffisamment de données détaillées sur les efforts déployés par les bureaux de pays pour réussir à rejoindre les personnes les plus vulnérables ou marginalisées. Qui plus est, dans bien des cas, le manque d'information fourni dans les documents ne permettait pas de déterminer si les personnes les plus vulnérables avaient pu être rejointes.^{Note de bas de page 41}

3.4   Durabilité

3.4.1 Couverture – Durabilité

La couverture pour deux des trois sous-critères liés à la durabilité étaient efficacement abordés (figure 9). Les deux sous-critères 4.1 « Les bienfaits se maintiennent après la fin du programme » et 4.2 « Capacité institutionnelle ou communautaire d'assurer la durabilité » étaient abordés dans 59 évaluations. La couverture était moyennement bien abordée au sous-critère 4.3 « La programmation contribue à renforcer l'environnement favorable » puisqu'il était abordé dans 40 évaluations.

Figure 9 : Nombre d'évaluations qui abordent les sous-critères relatifs à la durabilité

3.4.2 Principales constatations - Durabilité

Dans l'ensemble, les résultats concernant la durabilité sont partagés (figure 10). Dans environ la moitié des évaluations, la notation à l'égard de deux sous-critères - 4.1 « Les bienfaits se maintiennent ou se maintiendront probablement » (51 %) et 4.2 « Les programmes appuient la durabilité grâce à la capacité institutionnelle ou communautaire » (48 %) – était satisfaisante ou très satisfaisante. Les évaluations relatives à la programmation mise en œuvre dans les pays à revenu intermédiaire semble un peu plus susceptible d'obtenir une note satisfaisante ou très satisfaisante à l'égard de la durabilité grâce à la capacité institutionnelle ou communautaire » que celle mise en œuvre dans les pays les moins avancés (annexe 6). Les rapports d'évaluation étaient plus positifs pour le sous-critère 4.3 « Les programmes renforcent l'environnement favorable au développement », puisque 71 % d'entre eux y ont attribué la note satisfaisante ou très satisfaisante aux constatations.

Figure 10 : Constatations relatives à la durabilité

Liste sommaire des activités communément associées au renforcement de l'environnement pour assurer la durabilité :

• des activités de plaidoyer et dialogue politique avec le gouvernement (encadré 12);
• le renforcement des capacités des personnes (en termes de formation du personnel à la planification, à la gestion et au suivi) et des institutions (en mettant sur pied des établissements de formation, en élaborant des procédures et des normes, et en favorisant les mécanismes de collaboration intersectorielle);
• dans une moindre mesure, le développement de la capacité communautaire et l'encouragement à la participation de la collectivité.

Exemples concrets tirés des évaluations :

• les activités de plaidoyer auprès du gouvernement national afin d'influencer les changements stratégiques sur le plan de la surveillance de la qualité de l'eau et des subventions relatives à l'approvisionnement en eau (Sri Lanka);
• le renforcement de la capacité technique du personnel national, provincial et local à l'égard de la prévention des blessures chez les enfants et la formation de plusieurs alliances avec divers ministères du gouvernement et partenaires internationaux, dans le cadre de la mise en œuvre de projets (Chine);
• la création d'une stratégie d'environnement protecteur pour promouvoir le bien-être social et les systèmes juvéniles, et étendre la couverture des programmes afin d'inclure les enfants et les jeunes dans les régions qui sortent d'un conflit après le passage du tsunami (Indonésie);
• le recours à une approche établissant un lien entre les secours, la réhabilitation et le développement afin de répondre aux besoins et d'assurer la réinsertion sociale des personnes expulsées de la Tanzanie (Burundi);
• l'utilisation des ressources locales existantes par l'intermédiaire d'un réseau d'organisations partenaires afin de mettre en œuvre des activités de sensibilisation aux dangers des mines (Népal).

On a constaté que les résultats pour le sous-critère 4.3 sont plus susceptibles d'être positifs que ceux des autres sous-critères et on s'est rendu compte qu'il n'est pas nécessaire que les efforts visant à améliorer l'environnement favorable soient des activités continues. Par exemple, l'aide à l'élaboration de lois ou de politiques nationales est une activité à durée limitée qui devrait avoir une incidence à long terme sur le secteur. Par conséquent, il pourrait être plus facile de tirer des constatations satisfaisantes pour ce sous-critère que pour les autres, étant donné qu'il faut démontrer que ces derniers ont une incidence à long terme. Cela se reflète dans certaines réalisations relatives au renforcement de l'environnement favorable :

• création d'un environnement favorable pour le développement de la petite enfance, ce qui a contribué à la mise sur pied d'un programme officiel de formation pour les éducateurs de la petite enfance, même si seule une petite partie des enseignants ont suivi une formation officielle (Ghana);
• processus améliorés pour la participation de la société civile aux questions liées au développement (Soudan);
• création d'une plateforme nationale d'apprentissage, composée de membres du consortium du projet, pour faciliter l'examen des politiques et des stratégies relatives à l'eau, à l'assainissement et à l'hygiène. Cela a mené à l'adoption de nouveaux mécanismes de coordination du secteur (Zimbabwe).

3.4.3 Facteurs déterminants – Durabilité

Plusieurs facteurs recensés dans les évaluations étaient liés à l'amélioration de la durabilité de la programmation de l'UNICEF. Constatations tirées de certaines évaluations :

• un lien entre la durabilité et la programmation qui comprenait un engagement fort de la part du gouvernement national, fondé sur des programmes adéquatement intégrés dans les programmes nationaux (par exemple, gérés par le personnel national), des partenariats solides avec des ministères et des institutions nationales ainsi que le renforcement des capacités des autorités nationales. Ce facteur était susceptible d'être un peu plus déterminant dans les évaluations de la programmation dans les pays à revenu intermédiaire;
• un lien entre la durabilité et la programmation fondé sur un solide engagement local et communautaire ainsi que des programmes renforçant les structures locales et communautaires et comprenant de la formation pour les autorités locales et les travailleurs communautaires.

Quelques évaluations notent que :

• ce sont la conception et la mise en œuvre de programmes qui ont contribué à leur durabilité. La conception ayant contribué à la durabilité comprenait une stratégie de durabilité fondée sur des besoins clairs et axée sur le développement du sens des responsabilités des utilisateurs à l'égard du programme, ainsi qu'une stratégie de sortie. Dans le même ordre d'idées, la mise en œuvre, qui s'est bien passée, et l'atteinte des objectifs du programme ont contribué à la durabilité;
• la durabilité était améliorée lorsque des ressources financières appropriées étaient disponibles, provenant des gouvernements nationaux ou d'autres donateurs;
• la décentralisation des structures gouvernementales a contribué à la durabilité.

L'incapacité de maîtriser les facteurs permettant d'améliorer la durabilité est le principal facteur qui nuit à la durabilité. Quelques évaluations notent :

• l'échec de planifier une durabilité, en ce sens que les programmes ne comprenaient pas de stratégies de sortie et ne mettaient pas l'accent sur la durabilité au niveau institutionnel. Souvent, ils ne comprenaient pas suffisamment d'activités de renforcement des capacités ou comprenaient des activités de renforcement de la capacité axée sur des aspects techniques plutôt que les changements culturels nécessaires pour assurer la durabilité (encadré 13). Ils n'accordaient pas suffisamment d'attention au renforcement de l'environnement favorable à la durabilité;

• les faiblesses au niveau de la conception et de la mise en œuvre des programmes ont limité la durabilité. Cela comprend les programmes qui n'avaient pas de stratégie de programme ou n'étaient pas suffisamment intégrés aux programmes nationaux. L'incapacité d'atteindre les objectifs du programme et les incohérences au niveau de la mise en œuvre et des succès de la programmation dans les diverses collectivités a miné la durabilité de certains programmes. Certains programmes étaient trop courts, étant donné qu'il faut du temps pour assurer la durabilité;
• les limites financières à la durabilité, notamment – et c'est la plus commune – la dépendance au soutien des donateurs et l'incapacité du gouvernement d'assurer le financement continu des programmes, ainsi que l'incapacité des collectivités et des utilisateurs de payer pour les services. Les limites financières étaient plus susceptibles de poser problème dans la programmation mise en œuvre dans les pays les moins avancés;
• le manque de capacité institutionnelle au niveau national (par exemple, l'absence de politiques nationales et de financement public, les faiblesses dans les structures de coordination et l'absence de surveillance gouvernementale) et au niveau communautaire.

En outre, il ressort de quelques évaluations que, malgré les efforts déployés pour renforcer les capacités, l'un des obstacles à la durabilité est la perte de capacités antérieures – par exemple, l'engagement chancelant des intervenants, la dissolution de comités communautaires et le départ de personnel formé.

Il ressort de quelques évaluations de l'action humanitaire que les faiblesses dans la conception du programme ont miné la durabilité, en raison du peu de liens entre les secours et le développement (encadré 14). L'UNICEF s'attaque à l'établissement d'un lien entre les secours et le développement dans son nouveau plan stratégique qu'elle publiera sous peu. Ce dernier mettra l'accent sur les engagements de l'UNICEF à renforcer la résilience et à lutter contre la vulnérabilité et la fragilité au moyen de sa programmation de développement.^{Note de bas de page 42}

3.5   Efficience

 3.5.1  Couverture - Efficience

La couverture pour les trois sous-critères portant sur l'efficience varie de « bonne » pour le sous-critère 5.1 sur l'efficience de la programmation par rapport aux coûts et aux ressources à « moyenne » pour les sous-critères 5.2 et 5.3 (figure 11). Ces deux derniers critères portent sur la rapidité d'exécution des programmes et l'effet des procédures et des systèmes administratifs de l'UNICEF sur l'efficience de la prestation des programmes.

Il importe de mentionner que le niveau de couverture relativement bonne de l'efficacité par rapport aux coûts (5.1) ne signifie pas que les évaluations de l'UNICEF mesurent régulièrement l'efficacité des programmes par rapport aux coûts. En fait, 28 évaluations de l'échantillon n'ont fourni aucune information sur le coût global du programme^{Note de bas de page 43}. Ce que la couverture de l'efficacité par rapport aux coûts et aux ressources signifie, c'est que les évaluations ont porté un certain jugement sur les efforts déployés par les programmes pour contrôler les besoins en ressources ou le coût unitaire des intrants ou des extrants des programmes. Néanmoins, ce qu'il faut garder à l'esprit, c'est que 48 évaluations sur les 62 évaluations que compte l'échantillon (77 %) ont cherché à évaluer l'efficacité par rapport aux coûts des programmes faisant l'objet de l'examen.

Figure 11 : Nombre d'évaluations qui abordent les sous-critères relatifs à l'efficience

Le niveau moyen de couverture des sous-critères sur les délais d'exécution (5.2) et les procédures et les systèmes administratifs (5.3) est révélateur. L'équipe d'examen suppose que ces deux critères ont tendance à ne pas être abordés couramment dans les évaluations ou à ne pas être systématiquement incorporés aux cadres de référence des évaluations. Ils sont plus susceptibles d'être incorporés aux rapports d'évaluation lorsque des problèmes dans l'exécution en temps voulu des intrants du programme ou des problèmes dans les procédures et les systèmes administratifs ont été décelés lors d'évaluations sur le terrain. L'information peut alors être présentée pour expliquer les obstacles qui ont nui à la réalisation des objectifs du programme.

Pour le sous-critère 5.1 sur l'efficacité par rapport aux coûts et aux ressources, on n'observe pas de tendance particulière, à savoir quels domaines prioritaires du plan stratégique à moyen terme ont eu tendance à traiter de cet enjeu. Les évaluations dans l'ensemble des domaines prioritaires (ainsi que les évaluations des programmes humanitaires) ont examiné l'efficacité par rapport aux coûts dans environ les trois quarts des évaluations de l'échantillon.

La tendance est semblable pour l'exécution des programmes dans les délais prévus (5.2), mis à part le fait que seulement une évaluation sur six dans le domaine de la protection des enfants a traité de ce sous-critère. En ce qui concerne le sous-critère 5.3 sur l'efficience des procédures et des systèmes de mise en œuvre, les niveaux de couverture sont faibles dans l'ensemble des domaines prioritaires, sauf dans la survie et le développement du jeune enfant (traité dans 14 évaluations sur 21) et l'action humanitaire (traité dans 9 évaluations sur 13).

Dans ces deux domaines prioritaires, la livraison et l'installation d'éléments d'infrastructure dans les délais prévus sont souvent essentielles à la réalisation des objectifs du programme. Par conséquent, les évaluations contiennent souvent des constatations sur l'efficacité des systèmes de mise en œuvre des programmes, notamment les systèmes de passation des marchés et d'approvisionnement.

3.5.2   Principales constatations - Efficience

Les constatations sur l'efficience sont partagées et doivent être interprétées avec prudence. Le fait que 62 % des évaluations aient fait état de constatations satisfaisantes ou mieux sur l'efficacité des programmes par rapport aux coûts représente un résultat raisonnablement favorable pour le sous-critère 5.1 (figure 12). Autre fait à noter, aucune évaluation n'a fait état de résultats très insatisfaisants sur l'efficacité par rapport aux coûts.

Comme nous l'avons souligné antérieurement, il peut y avoir une tendance à sous-déclarer les constatations sur la rapidité d'exécution et l'efficience des systèmes administratifs lorsqu'aucun problème n'a été constaté sur le terrain. Néanmoins, nous demeurons préoccupés par le fait que 49 % des évaluations qui ont abordé les délais d'exécution ont fait état de constatations insatisfaisantes ou plus faibles. Un autre aspect préoccupant réside dans le fait que 18 % ont révélé des constatations très insatisfaisantes.

Dans le même ordre d'idées, les constatations pour le sous-critère 5.3 sur l'efficience des procédures et des systèmes administratifs sont en grande partie défavorables, car 63 % ont obtenu la note « Insatisfaisante » ou plus faible et 17 % la note « Très insatisfaisante ».

Figure 12 : Constatations relatives à l'efficience

Fait intéressant, il s'agit d'un aspect dans lequel les résultats des évaluations des programmes dans les pays les moins avancés sont un peu plus favorables que dans les pays à revenu intermédiaire. Plus précisément, les résultats sur la rapidité de mise en œuvre des programmes sont nettement plus favorables lorsqu'il s'agit de programmes exécutés dans les pays les moins avancés (annexe 6).

Les rapports d'évaluation contiennent des exemples intéressants de moyens utilisés par les programmes appuyés par l'UNICEF pour tenter de réduire les coûts unitaires des programmes et d'accroître l'efficacité de l'utilisation des ressources :

• conclure des partenariats avec d'autres organismes des Nations Unies et des organisations non gouvernementales pour réduire les coûts de transport (Burundi);
• insister sur des solutions à faible coût, durables et évolutives comme l'assainissement total piloté par la communauté (Éthiopie et Cambodge);
• utiliser des ressources existantes et des mécanismes de prestation déjà établis pour la mise en œuvre des programmes (Mozambique);
• fournir de la formation sur place en transportant les compétences vers les participants au lieu de transporter les participants vers des centres urbains (Kenya);
• évaluer en permanence de nouvelles méthodes de prestation des programmes et faire les modifications nécessaires afin de réduire les coûts (Ouganda).

3.5.3   Facteurs déterminants - Efficience

Étant donné que des facteurs très différents contribuent à l'obtention de résultats concernant l'efficacité par rapport aux coûts, la rapidité d'exécution et l'efficience des systèmes administratifs sont abordées séparément dans la présente section.

Efficacité par rapport aux coûts et aux ressources

Les facteurs qui influent favorablement sur l'efficacité des programmes par rapport aux coûts sont les suivants :

• La présence de systèmes de suivi efficaces qui permettent le suivi régulier des coûts et l'amélioration continue de l'efficience en diminuant les coûts de prestation ou les coûts unitaires des extrants;
• L'utilisation de méthodes de prestation des services à faibles coûts, comme l'assainissement total piloté par la communauté ou l'utilisation de moustiquaires de lit imprégnées d'insecticide;
• L'utilisation de méthodes de formation et de renforcement des capacités à faibles coûts, comme le recours à des formateurs informels et la prestation de la formation sur place;
• Une planification financière solide pendant la phase de démarrage du programme et l'utilisation permanente de méthodes solides de gestion des finances et de la trésorerie pendant la mise en œuvre du programme.

Quelques évaluations ont révélé ce qui suit :

• Les appels d'offres concurrentiels pour des services de construction ou des marchés d'approvisionnement, qui permettent à des entreprises à but lucratif, à des organisations non gouvernementales et à des organisations de la société civile de soumissionner, ont mené à des coûts unitaires plus bas (encadré 15);
• La participation de la collectivité à la prestation des services permet de réaliser des économies par rapport aux de salaires du secteur formel de l'économie;
• Il est possible de réduire les coûts de transport en établissant des partenariats avec d'autres organismes.

Des facteurs défavorables qui contribuent à la diminution de l'efficacité par rapport aux coûts et aux ressources pour les programmes appuyés par l'UNICEF ont également été recensés dans l'examen des évaluations :

• Le facteur le plus souvent cité faisant obstacle à l'efficacité par rapport aux coûts et aux ressources des programmes appuyés par l'UNICEF est, de loin, le manque de données appropriées sur les coûts présentées dans des rapports périodiques et dans les délais prévus pour permettre un calcul raisonnablement exact du coût des services. Lorsque cette information existait, elle était parfois communiquée en retard ou bien il existait des lacunes importantes dans les données disponibles;
• Certaines évaluations ont fait état de retards dans le démarrage des programmes ou dans la construction d'installations et la fourniture d'intrants.

D'autres facteurs qui ont une influence défavorable sur l'efficacité par rapport aux coûts ont été recensés et communiqués dans quelques évaluations. Ce sont entre autres :

• Les coûts de transaction élevés pour la dotation en personnel;
• Le roulement élevé du personnel, ce qui oblige à former sans cesse du nouveau personnel;
• Le dédoublement des efforts entre les organismes, ce qui entraîne des coûts plus élevés et l'achat d'intrants inutiles;
• L'achat et l'installation d'équipement ou d'éléments d'infrastructure trop complexes et coûteux (encadré 16);
• Les coûts de transport beaucoup trop élevés;
• Les lacunes dans la définition des groupes cibles lesquelles réduisent l'efficacité par rapport aux coûts en augmentant le coût unitaire pour rejoindre chaque membre du groupe cible.

Mise en œuvre des programmes dans les délais prévus et procédures et systèmes efficaces pour la mise en œuvre et le suivi des programmes

Selon les évaluations, il existait un lien très étroit entre l'exécution en temps voulu des programmes appuyés par l'UNICEF et l'efficience des procédures et des systèmes de l'UNICEF pour la mise en œuvre des programmes. Par conséquent, les facteurs qui favorisaient ou entravaient l'obtention de résultats favorables pour ces deux sous-critères avaient tendance à être identiques. Ils sont donc abordés ensemble dans la présente section.

Les facteurs favorables pour les sous-critères 5.2 et 5.3 mentionnés dans quelques évaluations sont les suivants :

• La solide capacité de gestion et de programmation des bureaux de pays et des bureaux régionaux de l'UNICEF leur a permis de réagir rapidement aux demandes des programmes. Dans le cas de l'action humanitaire, ce facteur a contribué à l'élaboration rapide de structures de coordination des groupes sectoriels lorsque l'UNICEF était l'organisme responsable. Il a également permis aux bureaux de l'UNICEF de pallier à des procédures administratives difficiles;
• La coordination opportune entre les organisations partenaires (dont l'UNICEF) a accéléré la prise de décision en réponse à des changements rapides dans le contexte des programmes;
• Un suivi efficace des programmes et un encadrement permanent ont permis de réagir rapidement aux changements survenus dans les programmes;
• L'UNICEF a effectué une gestion de trésorerie efficace.

Les évaluations ont également recensé des facteurs défavorables qui ont eu tendance à limiter le caractère opportun des programmes appuyés par l'UNICEF. Ces facteurs étaient souvent liés aux procédures et aux systèmes administratifs. Quelques évaluations ont relevé les facteurs suivants :

• L'approvisionnement par l'UNICEF connaît des retards importants (encadré 17);
• La rigidité et la lourdeur des procédures et des systèmes financiers de l'UNICEF pour le décaissement des fonds ont retardé la mise en œuvre des programmes.

Quelques évaluations ont recensé ce qui suit :

• Un calendrier de programme trop ambitieux a entraîné des retards par la suite;
• Le manque de surveillance des programmes en temps opportun et la faiblesse des systèmes de suivi sont des facteurs qui nuisent à la capacité de l'UNICEF à répondre aux goulots d'étranglement dans les programmes et à résoudre rapidement les retards;
• Le manque de ligne de base crédibles allonge la durée de l'élaboration des programmes et retarde le démarrage des programmes;
• La capacité restreinte à absorber des fonds de la part de l'organisme de mise en œuvre.

Les évaluations mondiales de l'action humanitaire ont également relevé des points forts et des points faibles semblables dans les procédures internes de l'UNICEF (administration, finances et passation des marchés). Selon l'évaluation des programmes d'éducation de l'UNICEF dans les situations d'urgence, la mesure dans laquelle l'évaluation pouvait évaluer l'efficience était limitée parce que le programme n'avait pas réussi à produire des extrants importants ou parce que les données étaient manquantes. Toutefois, on a constaté qu'une utilisation efficiente des ressources était traduite par la capacité à mobiliser des ressources supplémentaires pour l'intervention humanitaire. D'autre part, des retards se sont produits dans le décaissement des fonds au cours des deux premières années, ce qui a mené à la réaffectation des sommes non dépensées provenant de programmes-pays au rendement déficient vers des programmes-pays qui obtenaient un meilleur rendement^{Note de bas de page 44}.

Dans le même ordre d'idées, l'évaluation récente en temps réel des interventions au Sahel ne contenait pas d'information sur l'efficacité par rapport aux coûts, mais a révélé que des retards se sont produits tant dans le déploiement du personnel que dans le décaissement des fonds. Dans le cas du décaissement des fonds, l'évaluation attribue les retards au manque de stratégie claire pour intégrer les autres secteurs (par exemple l'eau, l'assainissement et l'hygiène, l'éducation, la protection des enfants) à l'intervention en matière de nutrition au Sahel^{Note de bas de page 45}. L'évaluation du programme conjoint du DFID et de l'UNICEF pour renforcer la capacité en matière d'aide humanitaire de l'UNICEF a fait état de constatations favorables en ce qui concerne l'efficience du programme conjoint. Toutefois, on a également mentionné que « l'administration centrale a tenté de rationaliser et de clarifier les systèmes financiers et administratifs pour les situations d'urgence. Cependant, au niveau opérationnel, ces efforts n'ont pas encore porté fruit et les retards dans le déblocage des fonds, les accords de coopération de programme et l'acheminement des fournitures demeurent fréquents, sauf dans quelques pays^{Note de bas de page 46} » [Traduction]. Le personnel de l'UNICEF signale que ces enjeux sont en voie d'être résolus au moyen de révisions des procédures opérationnelles normalisées pour des divers niveaux d'urgence. Un certain nombre de changements apportés récemment sont décrits dans l'Action humanitaire pour les enfants ^{Note de bas de page 47}, publié en 2012.

3.6   Suivi et évaluation

3.6.1 Couverture - Suivi et évaluation

La couverture de deux des quatre sous-critères portant sur le suivi et l'évaluation est bonne : le sous-critère 6.2, « Les systèmes et les processus de suivi des résultats et d'établissement de rapports sont efficaces » (59 évaluations), et le sous-critère 6.4, « Les résultats de l'évaluation sont utilisés pour améliorer l'efficacité » (61 évaluations) (figure 13). La couverture pour le sous-critère 6.1, « Les systèmes et les processus d'évaluation sont efficaces », est moyenne. Toutefois, la couverture pour le sous-critère 6.3, « Les systèmes de gestion axée sur les résultats sont efficaces », est faible et c'est pourquoi les constatations à cet égard ne seront pas intégrées au présent rapport. Lorsqu'elle évaluait ce sous-critère, l'équipe d'évaluation cherchait des preuves qui démontraient une insistance sur les résultats et l'intégration du suivi des résultats à la prise de décision par la direction. Cette insistance sur une interprétation assez littérale du terme « gestion axée sur les résultats » avait été retenue afin que les analystes puissent établir une nette distinction entre les constatations sur le suivi des résultats et celles qui portaient sur la présence d'un système plus développé de gestion en fonction des résultats. Cette distinction peut avoir mené l'équipe à conclure que certaines évaluations n'avaient pas traité du sujet, même si certains éléments d'un système de gestion axée sur les résultats avaient été abordés dans le rapport d'évaluation.

Cette constatation n'a pas été observée dans un nombre suffisant d'évaluations, malgré l'insistance de l'UNICEF sur la programmation axée sur les résultats.

Figure 13 : Nombre d'évaluations qui abordent les sous-critères relatifs à l'utilisation des résultats de l'évaluation et du suivi

3.6.2 Principales constatations - Suivi et évaluation

Les résultats pour deux sous-critères sont plutôt favorables (figure 14). Les constatations pour le sous-critère 6.1, « Les systèmes et les processus d'évaluation sont efficaces », et le sous-critère 6.4, « Les résultats de l'évaluation sont utilisés pour améliorer l'efficacité », démontrent que plus de la moitié des évaluations ont obtenu la note « Satisfaisante » ou mieux, soit 64 % et 57 % respectivement. Toutefois, les constatations pour le sous-critère 6.2, « Les systèmes et les processus de suivi des résultats et d'établissement de rapports sont efficaces », sont beaucoup moins favorables. Seulement 39 % des évaluations ont obtenu la note « Satisfaisante » ou mieux dans ce sous-critère. Comme nous le verrons plus loin, il s'agit d'un des facteurs qui compromet l'utilisation du suivi et de l'évaluation.

Comme nous l'avons souligné à la section 1.6, depuis 2011, l'UNICEF a déployé des efforts considérables pour renforcer la définition de résultats, le suivi, ainsi que l'établissement de rapports à cet égard, grâce à l'élaboration et à la mise en œuvre du système de suivi des résultats pour l'équité (MoRES). L'effet de ce système sur le renforcement du suivi à l'UNICEF sera mieux connu lorsque l'évaluation formative prévue du système MoRES sera terminée en 2013.

Figure 14 : Constatations relatives à l'utilisation des résultats de l'évaluation et du suivi

Systèmes et processus d'évaluation efficaces et systèmes de suivi et d'établissement de rapports efficaces

Les constatations pour le sous-critère 6.2, « Les systèmes et les processus de suivi des résultats et d'établissement de rapports sont efficaces », avaient tendance à être relativement plus favorables pour la programmation du domaine prioritaire Survie et développement du jeune enfant dans le plan stratégique à moyen terme. Cela pourrait s'expliquer par le fait que bon nombre de ces activités ont tendance à être plus opérationnelles et sont des activités de longue date de l'UNICEF, qui sont plus faciles à suivre que d'autres domaines. Par contre, les constatations pour le sous-critère 6.1, « Les systèmes et les processus d'évaluation sont efficaces », dans le domaine de la protection des enfants avaient tendance à être moins favorables que dans d'autres domaines prioritaires. Ce résultat pourrait être un reflet des défis d'assurer le suivi et l'évaluation dans un domaine qui est moins opérationnel.

Les évaluations font état d'une gamme d'outils de suivi et d'évaluation à l'UNICEF, comme les études de base, les évaluations à mi-parcours ou formatives, les évaluations ordinaires et d'autres études apparentées à l'évaluation, comme les études d'établissement des coûts et la participation aux exercices de leçons apprises et aux évaluations conjointes. Bien que certaines évaluations aient fait mention de réalisations sur le plan du suivi et de l'évaluation (par exemple les outils de suivi et d'évaluation étaient solidement implantés et utilisés régulièrement et des rapports de bonne qualité étaient rédigés) (encadré 18), d'autres ont signalé des lacunes :

• Les lacunes dans les systèmes de suivi et d'évaluation, y compris des lacunes dans la couverture, dans les systèmes qui n'étaient pas entièrement opérationnels, dans les évaluations prévues mais non réalisées et des lacunes dans la collecte de données et la rétroaction de la part du gouvernement et d'autres organisations partenaires;
• L'information provenant des systèmes de suivi et d'évaluation était de piètre qualité. La situation était légèrement plus susceptible d'être constatée dans les évaluations de la programmation des pays les moins avancés.

Quelques exemples précis provenant des évaluations :

• Une série d'évaluations ont été menées sur la programmation de l'UNICEF sur le paludisme entre 2003 et 2006 (Togo);
• L'élaboration d'outils de suivi et la formation des participants sur la façon d'utiliser un journal de bord, des autoévaluations et de l'autoformation pour les interventions visant à favoriser le développement psychosocial des enfants (Colombie);
• L'élaboration d'un système d'inventaire novateur, peu coûteux et facile à utiliser pour la programmation dans le domaine de l'eau, de l'assainissement et de l'hygiène, qui a été mis à l'essai avec succès (Éthiopie);
• La documentation des processus de projet, allant de la planification à l'exécution, au suivi et à l'évaluation, qui a créé un riche corpus d'information à partir duquel tirer des leçons apprises des pratiques exemplaires.

Quelques évaluations ont précisément indiqué qu'en raison des lacunes constatées, l'UNICEF ne pouvait pas mesurer l'impact de sa programmation et que l'organisme avait tendance à se concentrer sur les réalisations à court terme. Cette observation a été reprise dans l'évaluation formative mondiale de l'Initiative des Nations Unies en faveur de l'éducation des filles : « L'évaluation des effets du partenariat dans ses secteurs de résultats est ardue, en partie à cause des échéanciers relativement courts pour bon nombre d'initiatives, mais aussi à cause de l'absence de systèmes pour suivre les effets, ou de l'absence de cibles explicites pour définir ce que les diverses initiatives cherchent à accomplir^{Note de bas de page 48} ». [Traduction]

Utilisation des évaluations afin d'améliorer l'efficacité

Les résultats pour le sous-critère 6.4 illustrent la mesure dans laquelle l'UNICEF élabore des réponses de la direction pour ses évaluations et si ces dernières contiennent des réponses adéquates aux recommandations, notamment un plan d'action et des responsabilités claires pour sa mise en œuvre. En 2008, le conseil d'administration a demandé au directeur général de faire en sorte que chacun des rapports d'évaluation contienne des réponses de la direction^{Note de bas de page 49} et cette exigence a graduellement été mise en œuvre au cours des dernières années. Par conséquent, les évaluations qui obtiennent une note « Satisfaisante » ou mieux pour ce sous-critère sont beaucoup plus susceptibles d'avoir été publiées en 2010 et en 2011 qu'en 2009. Les données laissent également entendre que des réponses de la direction adéquates sont plus susceptibles de se trouver dans les évaluations de la programmation des pays à revenu intermédiaire.

3.6.3 Facteurs déterminants - Suivi et évaluation

Les examens ont recensé très peu de facteurs qui ont contribué favorablement au suivi et à l'évaluation. Il existait une ou deux références au fait que les évaluations faisaient partie d'un processus d'évaluation élargi, soit en tant que partie de l'évaluation des programmes-pays de l'UNICEF ou d'une évaluation mondiale dirigée par les donateurs. Dans un cas, on a signalé que des autoévaluations avaient été menées en prévision d'une évaluation externe. Dans quelques évaluations, on a remarqué que l'élaboration d'un système de suivi a été motivée par la nécessité d'obtenir des données pour la gestion des programmes.

Toutefois, les évaluations ont recensé une gamme de facteurs qui nuisent à la capacité de l'UNICEF à suivre et à évaluer adéquatement sa programmation. Quelques évaluations reflètent que :

• L'absence de cadre de résultats bien défini qui permettrait d'effectuer un suivi des résultats. Cette absence se traduisait par l'absence de cadre logique ou de modèle logique pour la programmation ou par un écart entre les cadres actuels et la programmation réelle (encadré 19);
• Le suivi et l'évaluation étaient entravés par des indicateurs insuffisants ou mal adaptés et par de l'information de lignes de base insuffisante (encadré 20).

Pour quelques évaluations, on a observé ce qui suit :

• Le système prévu de suivi et d'évaluation était irréaliste, notamment à cause du manque de ressources financières suffisantes pour le mettre en œuvre;
• Les structures de suivi et d'évaluation posaient problème, car les responsabilités pour le suivi et l'évaluation n'étaient pas clairement attribuées, les ressources financières n'étaient pas suffisantes et le personnel n'avait pas reçu la formation nécessaire pour effectuer les activités de suivi et d'évaluation;
• On a constaté une absence d'outils de suivi et d'évaluation tels que des guides opérationnels, des normes pour les systèmes de suivi et d'évaluation, des gabarits de rapports et des processus d'assurance de la qualité.

Des facteurs qui n'ont été constatés que dans une ou deux évaluations sont les suivants :

• Des enjeux avec le suivi, notamment le manque de mécanismes pour les leçons apprises;
• Le caractère trop ambitieux de la programmation ou l'éparpillement des sites de supervision, ce qui entraîne des problèmes de suivi;
• La réticence du personnel à signaler le rendement non conforme.

4.0 Conclusions

1. Les programmes appuyés par l'UNICEF sont très bien adaptés aux besoins des membres des groupes cibles et appuient les plans de développement et les priorités des pays bénéficiaires (la note « Satisfaisante » ou mieux dans presque toutes les évaluations). L'UNICEF a également réussi à établir des partenariats efficaces avec des organisations gouvernementales et non gouvernementales, particulièrement lors des interventions humanitaires, ce qui a contribué à la pertinence des programmes. La pertinence de la programmation de l'UNICEF a également été renforcée par les efforts déployés pour assurer la conformité aux principaux plans de développement et documents stratégiques nationaux. Les programmes ont pu compter sur l'utilisation judicieuse de la recherche sur les conditions dans les pays et les besoins précis des membres des groupes cibles.
2. L'UNICEF a en grande partie atteint les objectifs des programmes de développement et des programmes humanitaires qu'il appuie, car les trois quarts des évaluations ont obtenu la note « Satisfaisante » ou mieux. Les programmes appuyés par l'UNICEF ont également réussi à procurer des avantages aux membres des groupes cibles et à apporter des changements favorables aux politiques et aux programmes nationaux. Lorsque les programmes de l'UNICEF ont atteint leurs objectifs, ils se sont souvent appuyés sur une conception de programme de qualité supérieure, assortie d'objectifs clairs qui ont été intégrés aux programmes nationaux. Ils ont également pu compter sur le rôle actif que jouait l'UNICEF pour influer sur les politiques sectorielles nationales. Par contre, lorsque les programmes appuyés par l'UNICEF n'ont pas atteint leurs objectifs, le problème était souvent attribuable aux lacunes dans la conception des projets, souvent liées à des liens de cause à effet imprécis et au manque d'orientation axée sur les résultats.
3. Ces lacunes dans la conception des projets sont des facteurs déterminants qui ont contribué aux résultats mitigés en ce qui concerne la durabilité. L'UNICEF a obtenu des résultats assez favorables (plus des deux tiers des évaluations ont obtenu la note « Satisfaisante » ou mieux) pour son appui au renforcement de l'environnement favorable au service du développement. Toutefois, les résultats sur la probabilité que les résultats soient durables ou sur le développement des capacités institutionnelles et communautaires ne sont pas aussi reluisants. Moins de la moitié des évaluations ont obtenu la note « Satisfaisante » ou mieux pour ces deux sous-critères. Un facteur clé pour expliquer ces résultats est l'absence de planification en fonction de la durabilité, et d'intégration de la durabilité à la conception des programmes.
4. Le rendement de l'UNICEF sur le plan de l'égalité entre les sexes est préoccupant. Environ le tiers des évaluations n'ont pas abordé l'égalité entre les sexes et, lorsqu'elles l'ont fait, les résultats ont été faibles. Par conséquent, seulement le tiers des évaluations ont été en mesure de démontrer que les programmes appuyés par l'UNICEF ont traité efficacement de l'égalité entre les sexes. Le principal facteur qui a contribué à ces résultats médiocres est le manque d'objectifs portant précisément sur l'égalité entre les sexes ou le manque de points de vue tenant compte des sexo-spécificités dans la conception et la mise en œuvre des programmes. Étant donné que l'égalité entre les sexes a été retenue comme stratégie de base, il est surprenant qu'elle n'ait été convenablement abordée que dans les deux tiers des évaluations examinées.
5. La couverture de la durabilité de l'environnement n'était pas assez suffisante pour justifier la présentation de résultats à cet égard. Il semble que la durabilité de l'environnement ou l'impact des programmes appuyés par l'UNICEF sur l'environnement ne soit pas abordée dans la majorité des évaluations, bien que certaines évaluations de l'action humanitaire et de programmes dans les domaines de l'eau, de l'assainissement et de l'hygiène aient traité de cette question. Étant donné l'insistance accrue sur les programmes pour atténuer les effets des changements climatiques dans certains programmes-pays de l'UNICEF, la couverture de la durabilité de l'environnement devrait s'améliorer dans les évaluations à venir.
6. Les résultats sur l'efficience de la programmation sont mitigés et l'interprétation de ceux-ci est difficile parce que les sous-critères rattachés à l'efficience ne sont pas systématiquement abordés dans toutes les évaluations. Il est possible que les facteurs liés précisément à la rapidité d'exécution et aux systèmes de mise en œuvre ne soient abordés dans les évaluations que si des problèmes ont été constatés, ce qui peut expliquer les lacunes dans l'atteinte des objectifs. Toutefois, le sous-critère lié à l'efficacité par rapport aux coûts était plus susceptible d'être abordé dans les évaluations. Il a obtenu des résultats plutôt favorables, car près des deux tiers des évaluations ont obtenu la note « Satisfaisante » ou mieux. Toutefois, ce résultat correspond aux moyens utilisés par les programmes pour tenter de réduire les coûts unitaires et d'accroître l'efficience dans l'utilisation des ressources plutôt qu'à une analyse des coûts globaux des programmes, car ces coûts n'ont pas été précisés dans près de la moitié des évaluations. Les facteurs qui renforcent l'efficacité par rapport aux coûts sont la mise sur pied de systèmes de suivi efficaces pour suivre les coûts et améliorer l'efficience en diminuant les coûts d'exécution ou les coûts unitaires et les efforts déployés pour identifier des approches à faibles coûts pour la programmation. Toutefois, lorsque les résultats ne sont pas aussi favorables, le facteur négatif est souvent le manque de données appropriées sur les coûts.
7. Les évaluations ont fait état de constatations plutôt favorables en ce qui concerne l'utilisation de l'évaluation à l'UNICEF, mais moins favorables en ce qui concerne le suivi et l'établissement de rapports. Près des deux tiers des évaluations ont obtenu la note « Satisfaisante » ou mieux par rapport aux systèmes et aux processus d'évaluation de l'UNICEF, mais seulement les deux cinquièmes ont obtenu la même note par rapport au suivi de l'efficacité et à l'établissement de rapports à cet égard. L'utilisation des évaluations est accompagnée d'une tendance croissante à rédiger des réponses de la direction pour les évaluations, qui intègrent des plans d'action pour la mise en œuvre des recommandations issues des évaluations. Les notes sur l'utilisation des systèmes de gestion axée sur les résultats pour établir des rapports sur les résultats n'étaient pas assez nombreuses pour se prononcer. Le manque de cadre de résultats bien définis, d'indicateurs et de lignes de base appropriés a été un facteur qui a nui à l'utilisation efficace des systèmes de suivi et d'évaluation par l'UNICEF. L'élaboration et la mise en œuvre actuelles du système de suivi des résultats pour l'équité (MoRES) représentent une volonté importante de traiter de cet enjeu.
8. Bien que l'échantillon d'évaluations examinées corresponde raisonnablement à la population d'évaluations de l'UNICEF entre 2009 et 2011, un examen du profil par pays et par type de programmation laisse entendre que l'UNICEF n'a pas une couverture suffisante de sa programmation dans les pays qui ont reçu les fonds les plus importants, tant pour l'aide humanitaire que l'aide au développement. L'action humanitaire de l'UNICEF se démarque par sa couverture limitée.
9. L'UNICEF consacre beaucoup de temps et d'efforts à l'élaboration de nouveaux systèmes de suivi des résultats qui sont mis en œuvre à tous les échelons de l'organisme, et à l'utilisation des résultats des évaluations mondiales à des fins de planification stratégique. Ces initiatives promettent de renforcer l'établissement de rapports sur les résultats, ce qui pourrait éliminer la nécessité de mener des examens de l'efficacité de l'aide au développement comme celui-ci à l'avenir. Cette possibilité dépendrait de la mesure dans laquelle la fonction d'évaluation est intégrée au système en tant que moyen de vérifier la contribution de l'UNICEF et de vérifier la validité des théories du changement.

Comme nous l'avons souligné à la section 3.0, l'UNICEF a entrepris diverses initiatives au cours de la période qui a suivi la publication des évaluations faisant l'objet de l'examen, afin de traiter de quelques-uns des enjeux discutés dans le présent rapport. Voici des exemples des principales initiatives :

• L'élaboration et la mise en œuvre continue du système de suivi des résultats pour l'équité (MoRES) afin de définir et de suivre les résultats de programme et d'établir des rapports à cet égard (voir la section 1.6), de concert avec l'élaboration du système virtuel intégré d'information (VISION);
• L'élaboration permanente, par le Bureau de l'évaluation, du système mondial de contrôle des évaluations (GEROS), accompagné d'efforts visant à améliorer la couverture des évaluations;
• Les modifications apportées aux procédures opérationnelles afin de réduire les goulots d'étranglement qui sont la cause des retards dans la programmation, notamment dans les interventions humanitaires;
• L'élaboration du plan d'action stratégique prioritaire de l'UNICEF en faveur de l'égalité entre les sexes : 2010-2012;
• Les efforts déployés pour utiliser les constatations des évaluations et de la recherche pour éclairer et renforcer l'élaboration du nouveau plan stratégique et améliorer ainsi l'efficacité de la programmation du développement et de l'action humanitaire.

Bien que l'équipe d'examen n'ait pas évalué les résultats escomptés de ces initiatives, elle a été en mesure de vérifier, à partir des documents consultés et des entrevues réalisées, qu'elles représentent une volonté appréciable de traiter des enjeux recensés. Leur efficacité fera assurément l'objet d'évaluations dans l'avenir.

5.0 Relations du Canada avec l'UNICEF

Le présent chapitre donne un aperçu des relations entre le Canada et l'UNICEF, en portant une attention particulière aux priorités du Canada en matière de développement international et à aux objectifs stratégiques de sa collaboration avec l'UNICEF. Le présent chapitre a pour objet de respecter les exigences de la Politique sur l'évaluation du gouvernement du Canada en présentant des preuves de la pertinence, de l'efficience et de l'efficacité de la collaboration du Canada avec l'UNICEF, ainsi que de fournir au MAECD une orientation fondée sur des données probantes pour ses engagements futurs avec l'institution.

5.1   Introduction

En mai 2009, la ministre de la Coopération internationale a annoncé que l'ACDI axerait son aide au développement sur trois priorités thématiques : accroître la sécurité alimentaire, favoriser une croissance économique durable et assurer l'avenir des enfants et des jeunes. Le présent chapitre porte sur la mesure dans laquelle l'UNICEF contribue à ces priorités. Il commence par une description de l'appui financier du Canada à l'UNICEF et de la collaboration entre le Canada et l'UNICEF^{Note de bas de page 50}. Il évalue ensuite la pertinence, l'efficacité et l'efficience de cette collaboration. Le chapitre conclut par la présentation de conclusions et de recommandations pour la collaboration future du MAECD avec l'UNICEF.

5.1.1   Méthodologie

La présente évaluation s'appuie sur des données de sources multiples, dont l'examen de documents et les entrevues réalisées avec le personnel du MAECD, de l'UNICEF et d'autres donateurs. Parmi les documents examinés, on trouve des descriptions des objectifs généraux du Canada en matière de politique étrangère et de développement, l'évaluation de la diligence raisonnable effectuée par le Canada, et les documents utilisés pendant les réunions du conseil d'administration de l'UNICEF. L'examen a aussi incorporé les observations fournies par le MAECD à l'UNICEF sur ses documents stratégiques, notamment son ébauche de plan stratégique pour 2014-2017 et le rapport annuel du directeur général^{Note de bas de page 52}.

Des entrevues ont été réalisées avec des employés du MAECD (7) provenant de la Direction générale des enjeux mondiaux et du développement, dont les agents de projet chargés des liens institutionnels avec l'UNICEF et des projets thématiques particuliers. Des employés de l'UNICEF et deux membres du conseil d'administration de l'UNICEF en provenance de deux pays ont également été interrogés^{Note de bas de page 53}.

5.1.2   Appui du Canada à l'UNICEF

Le Canada appuie l'UNICEF depuis la fondation de cet organisme en 1946^{Note de bas de page 54}. Le tableau 4 résume le financement, accordé par le Canada à l'UNICEF entre 2008-2009 et 2012-2013, qui totalise 772,25 millions de dollars.

En 2011-2012, l'UNICEF a été le deuxième bénéficiaire en importance de l'aide internationale de l'ACDI versée à des organisations multilatérales^{Note de bas de page 55}, qui se classait au cinquième rang des donateurs au budget total de l'UNICEF^{Note de bas de page 56}.

Direction générale du dirigeant principal des finances, MAECD (2013).

5.1.3   Relations du Canada avec l'UNICEF

La collaboration du Canada avec l'UNICEF passe par la Direction générale des enjeux mondiaux et du développement, qui est chargé de gérer la relation institutionnelle. D'autres directions générales du MAECD, comme les directions générales des programmes géographiques et les directions thématiques, collaborent également avec l'UNICEF à titre de partenaire de mise en œuvre d'initiatives particulières.

Dans l'ensemble, la collaboration du Canada avec l'UNICEF repose sur cinq objectifs stratégiques^{Note de bas de page 57} :

• Élargir le champ d'action de l'UNICEF pour aider les enfants et les jeunes les plus vulnérables et ceux qui sont le plus en manque d'aide;
• Appuyer les efforts de l'UNICEF pour une collaboration plus stratégique et plus efficace avec ses partenaires et les autres organismes des Nations Unies;
• Renforcer les moyens dont dispose l'UNICEF lors de crises humanitaires;
• Travailler de concert avec d'autres donateurs pour encourager l'UNICEF à jouer un rôle plus actif dans la réforme des Nations Unies afin de s'assurer que ses programmes soient cohérents, coordonnés et ciblés;
• Promouvoir les objectifs de l'approche institutionnelle conjointe avec l'UNICEF, en mettant l'accent sur l'égalité entre les sexes et sur la gestion axée sur les résultats.

Le Canada vise à atteindre ces objectifs au moyen de mécanismes officiels et non officiels et au niveau des projets.

Mécanismes officiels

Le MAECD participe directement aux réunions du conseil d'administration de l'UNICEF, qui ont lieu trois fois par année. Selon ses contributions annuelles courantes, le Canada siège au conseil huit années sur quinze, en fonction d'un cycle de rotation convenu par les parties. Le Canada a été membre du conseil en 2013 et le sera à nouveau en 2015 et en 2017^{Note de bas de page 58}. Pour se préparer aux réunions du conseil, la Direction générale des enjeux mondiaux et du développement demande une rétroaction aux agents de projet dans les programmes géographiques qui travaillent avec l'UNICEF à titre de partenaire de mise en œuvre et l'incorpore à ses commentaires.

Mécanismes non officiels

Le Canada collabore avec l'UNICEF lors de réunions informelles sur des points précis à l'ordre du jour qui précèdent les réunions du conseil d'administration. La Direction générale des enjeux mondiaux et du développement nomme un agent à l'administration centrale à titre de responsable des relations institutionnelles avec l'UNICEF^{Note de bas de page 59}. Un engagement à un niveau sénior est également entrepris avec l'UNICEF par la gestion de la Direction générale. En outre, par l'intermédiaire de la Mission permanente du Canada auprès de l'Organisation des Nations Unies à New York, un engagement continu avec les autres donateurs et le personnel de l'UNICEF est maintenu à l'extérieur des réunions du conseil d'administration. Ces réunions informelles facilitent la collaboration entre les donateurs, particulièrement avec le Groupe des États d'Europe occidentale et des autres États, afin d'influer sur les décisions du conseil d'administration et de contribuer à l'adoption de politiques appropriées et de changements institutionnels.

Au niveau des projets

Les programmes-pays et les directions thématiques du MAECD collaborent avec l'UNICEF à la gestion des projets en cours ; des projets appuyés par le Canada. La collaboration avec l'UNICEF dans ces situations a lieu entre les bureaux du MAECD à l'étranger et les bureaux de pays ou les bureaux régionaux de l'UNICEF ainsi qu'entre les administrations centrales de chacun des deux organismes en Amérique du Nord.

5.2   L'UNICEF et les priorités du Canada en matière de développement international

5.2.1   Pertinence de l'UNICEF avec les priorités du Canada

Les travaux de l'UNICEF correspondent étroitement à deux des trois priorités du Canada en matière de développement international, à savoir accroître la sécurité alimentaire et assurer l'avenir des enfants et des jeunes. Les initiatives dans ces secteurs peuvent contribuer à la croissance économique durable.

Les programmes de l'UNICEF contribuent à améliorer la sécurité alimentaire

La Stratégie du Canada sur la sécurité alimentaire reconnaît l'aide alimentaire et la programmation sur la nutrition comme des interventions essentielles pour lutter contre l'insécurité alimentaire et la malnutrition^{Note de bas de page 60}. L'UNICEF met en œuvre la programmation sur la santé et la nutrition par l'intermédiaire de son domaine prioritaire Survie et développement du jeune enfant. Un tiers (33 %) des dépenses de l'UNICEF entre 2009 et 2011 ont été affectées à ce domaine prioritaire^{Note de bas de page 61}. L'UNICEF est l'un des principaux intervenants dans le Cadre global d'action sur la crise alimentaire mondiale adopté par les Nations Unies, qui vise à élaborer une approche globale en matière de sécurité alimentaire et de nutrition^{Note de bas de page 62}.

Les initiatives de l'UNICEF dans le secteur de la santé et de la nutrition comprennent des efforts axés sur la collaboration pour améliorer les résultats nutritionnels et l'accès à l'eau et à l'assainissement. De plus, l'UNICEF renforce les systèmes intégrés de soins de santé primaires pour les femmes et les hommes dans les collectivités. Ces efforts ont contribué à la réduction de la mortalité chez les enfants de moins de cinq ans dans le monde^{Note de bas de page 63}. Les progrès ont été accélérés grâce à l'élargissement des interventions de base en santé des enfants et de l'alimentation thérapeutique pour traiter la malnutrition aiguë sévère. En outre, l'UNICEF est le responsable sectoriel mondial pour le groupe sectoriel sur la nutrition, qui s'emploie à améliorer l'état nutritionnel des populations touchées par une urgence, en assurant une réponse coordonnée et appropriée qui est prévisible, rapide, efficace et proportionnelle aux besoins^{Note de bas de page 64}.

Par ces initiatives, l'UNICEF contribue directement aux engagements du Canada à améliorer la santé des mères, des nouveau-nés et des enfants ^{Note de bas de page 65}. L'UNICEF met actuellement en œuvre un certain nombre de projets financés par le Canada qui favorisent l'obtention de résultats dans ce domaine. Par exemple, un projet au Malawi, au Mozambique et au Zimbabwe vise à réduire la vulnérabilité des enfants à la sous-nutrition et au VIH/sida^{Note de bas de page 66}. L'aide canadienne au développement finance également un projet de l'UNICEF au Nigéria qui vise à réduire la mortalité chez les mères, les nouveau-nés et les enfants.

Le mandat et la raison d'être de l'UNICEF visent à assurer l'avenir des enfants et des jeunes

L'Assemblée générale des Nations Unies a confié à l'UNICEF le mandat de défendre la protection des droits des enfants, de contribuer à combler les besoins fondamentaux des enfants et d'accroître leurs possibilités à atteindre leur plein potentiel^{Note de bas de page 67}. À ce titre, la programmation de l'UNICEF a un lien direct avec la priorité du Canada en matière de développement international qui concerne la protection des enfants et l'éducation. Entre 2009 et 2011, l'UNICEF a dirigé 7 % de ses dépenses vers des initiatives de protection des enfants^{Note de bas de page 68}. Ces initiatives ont porté entre autres sur l'amélioration des systèmes de justice et la lutte contre le travail des enfants et le recrutement et l'utilisation d'enfants dans les conflits armés. Par exemple, en 2011, l'UNICEF a appuyé la réinsertion dans la collectivité de plus de 11 600 enfants qui avaient auparavant été recrutés par des forces armées ou des groupes armés^{Note de bas de page 69}.

En plus de la protection, l'UNICEF vise à favoriser une éducation de base de qualité pour les garçons et les filles, y compris dans les situations humanitaires. Entre 2009 et 2011, 16 % des dépenses de l'UNICEF ont été affectées à l'éducation et à l'égalité entre les sexes^{Note de bas de page 70}. L'UNICEF favorise particulièrement l'éducation des filles afin d'améliorer la parité entre les sexes dans l'enseignement primaire et secondaire^{Note de bas de page 71}. Il s'emploie également à faire en sorte que les cadres stratégiques nationaux intègrent les politiques, les lois et les affectations budgétaires nécessaires pour assurer la préparation à l'école pour tous^{Note de bas de page 72}.

L'UNICEF établit les fondements de la croissance économique durable

L'UNICEF contribue à établir les fondements nécessaires au développement économique à long terme, grâce à ses interventions en sécurité alimentaire, en santé et en éducation^{Note de bas de page 73}. Toutefois, l'apport direct de l'UNICEF à la croissance économique durable est limité. Les partenariats de l'UNICEF avec les gouvernements, les organismes du secteur privé et la société civile contribuent toutefois à la viabilité économique à long terme en améliorant la gouvernance et en renforçant la planification et les résultats en faveur du développement.

L'apport de l'UNICEF à l'égalité entre les sexes, à la durabilité de l'environnement et à l'amélioration de la gouvernance

L'UNICEF s'est engagé à intégrer l'égalité entre les sexes et la durabilité de l'environnement à tous les niveaux. Néanmoins, il démontre des lacunes dans l'intégration de l'égalité entre les sexes et de la durabilité de l'environnement dans sa planification et sa programmation. Il s'agit d'un aspect très préoccupant, car le tiers (32 %) des évaluations de l'UNICEF retenues dans l'échantillon du présent examen n'ont pas tenu compte de l'égalité entre les sexes^{Note de bas de page 74}. Il demeure nécessaire de définir des objectifs qui tiennent compte des sexo-spécificités dans l'ensemble de la programmation de l'UNICEF, de recueillir des données ventilées par sexe et d'établir des rapports sur les résultats qui tiennent compte des sexo-spécificités^{Note de bas de page 75}.

Malgré le fait que l'UNICEF possède une politique en matière d'environnement et des pratiques d'évaluation environnementale, il n'a pas été possible de se prononcer sur l'efficacité des programmes de l'UNICEF à cet égard. Par conséquent, faute de données probantes disponibles, l'équipe n'a pas pu évaluer le rendement de l'UNICEF sur la durabilité de l'environnement. L'examen laisse supposer que la durabilité de l'environnement fait l'objet d'une attention accrue à l'UNICEF, comme en témoigne la création d'un groupe de travail sur les changements climatiques et la programmation dans les domaines de l'eau, de l'assainissement et de l'hygiène ^{Note de bas de page 76}. Ces facteurs donnent à penser que les futures évaluations de l'UNICEF porteront une attention accrue aux questions de durabilité de l'environnement.

La méthodologie du présent examen ne prévoyait pas de critère pour évaluer la gouvernance^{Note de bas de page 77}. Bon nombre d'activités de programme de l'UNICEF concordent avec la bonne gouvernance, comme le renforcement des capacités dans les questions politiques, législatives et budgétaires. Toutefois, les constatations sur la gouvernance dépassent le champ d'application du présent exercice.

5.2.2   Efficacité : Atteinte des objectifs stratégiques du Canada

La présente section du rapport examine les progrès réalisés par le Canada en vue d'atteindre ses cinq objectifs stratégiques pour sa collaboration avec l'UNICEF. La Direction générale des enjeux mondiaux et du développement n'a pas élaboré de cadre de résultats officiel, néanmoins, la présente section examinera les progrès réalisés en vue de les atteindre.

Élargir le champ d'action de l'UNICEF pour rejoindre les groupes les plus vulnérables et ceux qui ont le plus besoin d'aide

Afin de rejoindre les groupes cibles les plus vulnérables, dont les jeunes filles, le Canada exhorte l'UNICEF à étendre la portée des initiatives fructueuses et à utiliser une programmation fondée sur des données probantes, et à mettre l'accent sur la collecte de données ventilées par sexe. L'UNICEF présente des lacunes dans la planification et l'établissement de rapports sur les résultats qui tiennent compte des sexo-spécificités. Par exemple, le rapport annuel du directeur général pour 2013 ne contenait pas d'analyse comparative entre les sexes, malgré la disponibilité de données ventilées par sexe^{Note de bas de page 78}. L'élaboration du plan d'action stratégique prioritaire de l'UNICEF en faveur de l'égalité des sexes (2010-2013) démontre certains progrès vers la planification qui tient compte des sexo-spécificités et constitue un outil important pour améliorer l'intégration de l'égalité entre les sexes dans les programmes de l'UNICEF. Des efforts supplémentaires sont nécessaires pour veiller à ce que l'égalité entre les sexes soit intégrée à l'ensemble de la programmation de l'UNICEF^{Note de bas de page 79}.

L'UNICEF est fortement axé sur l'équité, comme en témoignent entre autres les initiatives inclusives qui appuient les enfants handicapés et les enfants qui ne fréquentent pas l'école^{Note de bas de page 80}. L'UNICEF a pris des mesures pour déceler les lacunes dans l'équité au moyen de son Cadre stratégique de protection sociale global, qui prévoit des vérifications de la durabilité et la budgétisation sociale.

Appuyer les efforts de l'UNICEF à travailler plus efficacement avec ses partenaires et les autres organismes des Nations Unies

Le Canada a encouragé l'UNICEF à renforcer sa collaboration avec ses partenaires afin de favoriser un niveau plus élevé d'efficacité. Les évaluations de l'UNICEF démontrent que les partenariats sont un élément important de la pertinence de la programmation de l'UNICEF, car des partenariats plus solides favorisent un degré accru d'efficacité et de durabilité^{Note de bas de page 81}. Les lacunes dans les partenariats (qui arrivent plus souvent dans les pays les moins avancés que dans les pays à revenu intermédiaire) peuvent survenir à cause de la faiblesse de la coordination et de l'utilisation de données médiocres, de l'instabilité des partenariats durant la durée de la programmation et de changements fréquents de personnel.

L'UNICEF collabore de plus en plus avec les organisations non gouvernementales, les gouvernements nationaux et le secteur privé pour élaborer et exécuter une programmation qui renforce la durabilité à long terme des résultats^{Note de bas de page 82}. L'UNICEF aligne sa programmation sur les priorités nationales et travaille avec les gouvernements pour renforcer les capacités et mettre en œuvre les politiques publiques. En outre, l'UNICEF établit de plus en plus de partenariats avec d'autres organismes des Nations Unies pour optimiser les retombées sur le développement et réduire les dédoublements^{Note de bas de page 83}. Des partenariats tels que l'Alliance GAVI, l'initiative Renforcement de la nutrition et l'initiative en faveur de l'éducation mondiale favorisent des systèmes nationaux de santé, d'éducation et de protection plus solides^{Note de bas de page 84}. Toutefois, l'UNICEF a parfois démontré des lacunes dans l'échange d'information et l'harmonisation de ses activités d'aide avec d'autres organismes des Nations Unies^{Note de bas de page 85}.

Renforcer les moyens dont dispose l'UNICEF lors de crises humanitaires

L'UNICEF est un intervenant de premier plan dans la prestation d'aide humanitaire et axe son attention sur la protection des enfants, la nutrition et les besoins en eau et en assainissement. Son mandat consiste à répondre aux besoins des personnes les plus vulnérables, de sauver des vies et de protéger les droits, tels qu'ils sont définis dans les Principaux engagements pour les enfants dans l'action humanitaire^{Note de bas de page 86}. L'UNICEF joue un rôle crucial dans le système des groupes sectoriels, qui désigne les organismes responsables chargés de coordonner les secteurs particuliers d'une intervention d'urgence avec les organismes des Nations Unies et d'autres organisations humanitaires. L'UNICEF dirige actuellement le groupe sectoriel sur la nutrition et celui sur l'eau, l'assainissement et l'hygiène et codirige, avec Aide à l'enfance, le groupe sectoriel sur l'éducation. En outre, l'UNICEF assume les responsabilités liées à la protection des enfants et à la prévention de la violence fondée sur le sexe à l'intérieur du groupe sectoriel sur la protection.

L'UNICEF réalise de plus en plus de progrès dans le secteur de l'aide humanitaire. Par exemple, le Canada et d'autres donateurs ont insisté sur l'importance d'intégrer l'aide humanitaire dans les plans stratégiques de l'UNICEF, étant donné que cette aide représente le quart de son budget. Par conséquent, le plan stratégique de l'UNICEF 2014-2017 intégrera l'aide humanitaire pendant toute la durée du plan. Le Canada et d'autres donateurs continuent d'encourager un leadership sectoriel solide sur le terrain et une coordination entre les groupes sectoriels pour assurer une intervention humanitaire efficace. Les initiatives qui témoignent d'une action dans ce domaine sont la stratégie d'intervention de l'UNICEF dans les urgences complexes (de niveau trois), comme en Haïti et au Pakistan^{Note de bas de page 87}, et sa première évaluation mondiale de la protection des enfants dans les situations d'urgence en 2012^{Note de bas de page 88}.

Pour que l'UNICEF continue d'améliorer sa capacité à intervenir lors de crises humanitaires, le Canada a incité l'UNICEF à renforcer le suivi du rendement et l'établissement de rapports dans les situations d'urgence, à mieux doter les postes de coordonnateurs des affaires humanitaires pour les groupes sectoriels dirigés par l'UNICEF et à renforcer la planification et l'établissement de rapports sur l'évaluation et l'atténuation des risques.^{Note de bas de page 89}

Travailler de concert avec d'autres donateurs pour encourager l'UNICEF à jouer un rôle plus actif dans la réforme des Nations Unies

Le Canada et d'autres membres de l'Assemblée générale des Nations Unies prennent des mesures pour améliorer l'efficacité et la pertinence du système des Nations Unies pour le développement au moyen de l'examen quadriennal complet des activités opérationnelles de développement des Nations Unies (aussi appelé l'examen quadriennal complet), qui vise à renforcer la coordination au sein du système des Nations Unies. L'examen quadriennal complet exige que les États membres prennent part au partage des coûts du coordonnateur résident^{Note de bas de page 90} et assurent des messages cohérents dans l'ensemble des conseils d'administration et des organes de gouvernance chargés des finances, des programmes et des organismes spécialisés^{Note de bas de page 91}. L'UNICEF reconnaît la participation active du Canada au Groupe Utstein, une initiative qui vise à rendre le système des Nations Unies plus efficace^{Note de bas de page 92}. L'UNICEF considère également le Canada comme un chef de file dans les bonnes pratiques des donateurs, telles que la réduction du fardeau imposé aux institutions internationales^{Note de bas de page 93}.

Dans le cadre de ces efforts, le Canada invite l'UNICEF à mieux collaborer à l'intérieur du système élargi des Nations Unies pour le développement. Toutefois, la tâche s'est révélée difficile, car l'UNICEF possède une identité distincte solide et d'importantes sources de financement à l'extérieur du processus d'affectation de fonds des Nations Unies^{Note de bas de page 94}. L'UNICEF a parfois hésité à participer au programme d'action élargi sur la réforme des Nations Unies^{Note de bas de page 95}. Le Canada a encouragé l'UNICEF à améliorer sa collaboration avec d'autres organismes des Nations Unies, mais cet aspect reste à améliorer.

Promouvoir les objectifs de l'approche institutionnelle conjointe, en mettant l'accent sur l'égalité entre les sexes et la gestion axée sur les résultats

En 2006, le Canada, la Suède et le Royaume-Uni ont mis en place l'approche institutionnelle conjointe dans une volonté d'aider l'UNICEF à mettre en œuvre son plan stratégique à moyen terme pour 2006-2013^{Note de bas de page 96}. Cette approche a servi de cadre de partenariat, qui avait comme but de conseiller les trois donateurs afin de travailler de façon plus cohérente et plus efficace avec l'UNICEF dans l'esprit des bonnes pratiques des donateurs^{Note de bas de page 97}. Les sept secteurs d'activité de l'approche institutionnelle conjointe étaient les suivants : les approches fondées sur les droits de la personne; l'égalité entre les sexes; la capacité humanitaire; la gestion axée sur les résultats; l'évaluation; la réforme des Nations Unies, et les ressources humaines.

Bien que l'approche institutionnelle conjointe ne soit plus en vigueur, le Canada continue de collaborer avec les donateurs dans le Groupe des États d'Europe occidentale et des autres États pour défendre des objectifs semblables à ceux de l'approche institutionnelle conjointe, notamment en ce qui concerne l'intégration et l'application de la gestion axée sur les résultats et de l'égalité entre les sexes. Les entrevues avec les autres donateurs démontrent que le Canada joue un rôle de chef de file dans la promotion de ces deux secteurs. Plus précisément, les autres donateurs ont souligné les efforts constants déployés par le Canada pour convaincre d'autres États membres pendant les réunions du conseil d'administration, dans les comités thématiques et lors de l'examen par les pairs créé pour fournir des commentaires au plan stratégique à moyen terme de l'UNICEF 2014-2017. Les autres donateurs confirment également l'approche transparente et axée sur la collaboration qu'utilise le Canada lorsqu'il fournit une rétroaction à l'UNICEF.

Le Canada et d'autres donateurs collaborent avec l'UNICEF pour choisir et mettre au point des indicateurs appropriés et des résultats mesurables au niveau institutionnel. Le but de ces efforts est de faire en sorte que l'UNICEF communique davantage tant les résultats que sa « fiche de rendement »^{Note de bas de page 98}. À cet égard, le Canada incite l'UNICEF à recueillir des données ventilées par sexe. Le Canada cherche également à s'assurer que les données ventilées par sexe sont incorporées aux rapports établis par l'UNICEF^{Note de bas de page 99}. Le Canada a incité l'UNICEF à intégrer des renseignements qui tiennent compte des sexo-spécificités et plus précisément, des indicateurs sexo-spécifiques, dans les sept domaines prioritaires du plan stratégique de l'UNICEF 2014-2017^{Note de bas de page 100}.

Le Canada continue d'axer son attention sur l'égalité entre les sexes et la gestion axée sur les résultats dans sa volonté d'influer sur le renforcement institutionnel de l'UNICEF. Grâce à son rôle de chef de file dans les réunions officielles et officieuses, le Canada souligne les améliorations apportées par l'UNICEF, notamment les progrès réalisés dans le secteur de l'égalité entre les sexes, tout en continuant de fournir une rétroaction constructive. L'UNICEF décrit la collaboration actuelle du Canada comme « très bonne, fructueuse et fluide^{Note de bas de page 101} ».

Occasions à envisager

Plusieurs années se sont écoulées depuis que le Canada a élaboré ses objectifs institutionnels pour la collaboration avec l'UNICEF. Une mise à jour de ces objectifs pourrait s'imposer, particulièrement dans les secteurs qui ont été recensés dans le présent examen comme pouvant faire l'objet d'une attention accrue à l'avenir.
Un secteur cité dans le présent examen et qui n'a pas été retenu comme priorité dans les objectifs actuels du Canada pour sa relation avec l'UNICEF est la durabilité de la programmation. Malgré les progrès réalisés dans l'égalité entre les sexes et l'équité, certains programmes de l'UNICEF comportent des lacunes dans la continuité et la durabilité. Ces difficultés découlent du manque de planification et de l'absence de stratégies de retrait. Une attention accrue portée à la durabilité pendant la conception et la mise en œuvre des programmes sera cruciale pour que les programmes de l'UNICEF apportent le plus de retombées possible aux personnes les plus vulnérables et qui ont le plus besoin d'aide^{Note de bas de page 102}. La section 3.4 de l'examen donne des précisions sur cette constatation.

Selon l'examen, un deuxième aspect que l'UNICEF doit améliorer est l'établissement de rapports sur l'action humanitaire. Bien que la programmation humanitaire ait représenté plus du quart des dépenses de l'UNICEF entre 2009 et 2011, peu de programmes humanitaires ont été évalués pendant cette période^{Note de bas de page 103}. Les évaluations de la programmation dans le secteur humanitaire qui étaient disponibles ont traité d'une gamme restreinte de la programmation; à titre d'exemple, cinq évaluations de l'action humanitaire retenues dans l'échantillon pour le présent examen ont traité de la même crise, soit le tsunami de 2004 dans l'océan Indien^{Note de bas de page 104}. Les évaluations portant précisément sur l'aide humanitaire se limitent principalement aux activités à l'échelon de l'administration centrale^{Note de bas de page 105}.

Les activités de plaidoyer du Canada concernant l'aide humanitaire contribuent activement au renforcement des capacités au sein de l'UNICEF. Toutefois, les objectifs stratégiques actuels du Canada ne mentionnent pas précisément l'établissement de rapports sur les résultats lors de crises humanitaires.

5.2.3   Pratiques de gestion : Évaluer l'efficience de la collaboration du Canada avec l'UNICEF

Le Canada compte sur un responsable des relations institutionnelles à l'administration centrale du MAECD et sur le premier secrétaire au développement à New York pour gérer sa relation institutionnelle avec l'UNICEF. Les personnes interrogées qui ne faisaient pas partie du MAECD ont souligné l'efficience de cette affectation de personnel. La présence d'employés expérimentés, tant à New York qu'à Ottawa, contribue maintenant à une collaboration durable avec l'UNICEF, un élément crucial selon l'organisation^{Note de bas de page 106}. L'intervention du responsable des relations institutionnelles auprès des agents de projet au MAECD se révèle efficace pendant les préparatifs des réunions du conseil d'administration, qui exigent la collaboration de nombreux employés et une bonne coordination dans l'ensemble du MAECD. Toutefois, la rétroaction fournie à l'UNICEF peut être retardée à cause des processus internes du MAECD. Par exemple, l'UNICEF subit des retards dans les communications du MAECD au sujet de l'état du financement. Les communications du MAECD à l'UNICEF en temps opportun concernant l'état du financement sont un aspect à améliorer.

La collaboration entre le MAECD et l'UNICEF peut être complexe, étant donné les structures de gestion différentes. Le MAECD a des mécanismes de financement distincts pour les programmes de développement et les programmes humanitaires, tandis que l'UNICEF met en œuvre une programmation multidimensionnelle, y compris dans des domaines dans lesquels la programmation humanitaire et la programmation de développement sont fusionnées, comme c'est le cas en Syrie^{Note de bas de page 107}. Ainsi, le personnel de l'UNICEF peut faire affaire à la fois avec les mécanismes de financement du MAECD pour le développement et l'aide humanitaire afin de réunir les fonds nécessaires à des initiatives transversales. On a observé le besoin, dans certaines circonstances, de coordonner les messages entre les mécanismes de financement pour le développement et l'aide humanitaire au sein du MAECD afin d'assurer des communications externes cohérentes avec l'UNICEF.

5.3   Conclusions

À la lumière des constatations précédentes, le présent chapitre conclut ce qui suit :

1. Les efforts de l'UNICEF sont grandement pertinents envers deux des trois priorités du Canada en matière de développement international : accroître la sécurité alimentaire et assurer l'avenir des enfants et des jeunes. En outre, les programmes de l'UNICEF dans les domaines de la santé et de l'éducation contribuent indirectement à la troisième priorité de développement du Canada, à savoir favoriser une croissance économique durable.
2. L'UNICEF a réalisé des progrès dans l'intégration de l'égalité entre les sexes à la programmation, mais continue de présenter des lacunes dans la mesure du rendement et l'établissement de rapports à cet égard. L'apport de l'UNICEF à la durabilité de l'environnement et à la gouvernance n'a pu être évalué dans le présent examen.
3. L'UNICEF a réalisé des progrès en vue d'atteindre les objectifs stratégiques définis par le Canada pour sa collaboration avec cet organisme. Toutefois, le MAECD n'a pas élaboré d'outils de mesure du rendement pour suivre et évaluer le rendement de l'UNICEF dans la réalisation de ces objectifs.
4. L'UNICEF établit de plus en plus de partenariats avec la société civile, les gouvernements nationaux et les autres organismes des Nations Unies, ce qui contribue à l'efficacité de ses programmes. Malgré ces partenariats, l'UNICEF a parfois hésité à participer au plan d'action élargi sur la réforme des Nations Unies, un projet que le Canada et d'autres donateurs défendent activement.
5. Dans sa collaboration avec l'UNICEF, le Canada n'a pas mis l'accent sur la durabilité de la programmation, un aspect que les propres évaluations de l'UNICEF ont signalé comme devant faire l'objet d'une amélioration.
6. Le Canada joue un rôle influent dans la promotion du renforcement de la capacité humanitaire au sein de l'UNICEF. Par contre, le suivi du rendement et l'établissement de rapports sur les résultats de l'action humanitaire demeurent un défi.
7. Le Canada utilise efficacement ses ressources humaines et financières dans sa collaboration avec l'UNICEF, une conclusion corroborée tant par les autres donateurs que l'UNICEF.

5.4   Recommandations pour le Canada

La présente section contient des recommandations présentées au MAECD à partir des conclusions tirées de l'évaluation de la collaboration du Canada avec l'UNICEF. Le Canada n'étant que l'un des nombreux donateurs à l'UNICEF, il ne peut, à lui seul, contribuer à accroître l'efficacité de l'aide au développement de l'organisme. Par conséquent, le MAECD devrait continuer de collaborer avec d'autres donateurs pour plaider en faveur de ces améliorations.

1. Le MAECD doit continuer à mettre l'accent sur l'intégration de l'égalité entre les sexes dans les programmes de l'UNICEF et doit souligner l'importance de la mesure du rendement et des rapports dans ce domaine.
2. Le MAECD devrait élaborer un cadre de mesure du rendement pour évaluer les progrès réalisés par rapport aux objectifs stratégiques du Canada dans le cadre de sa relation avec l'UNICEF. Le MAECD devrait élaborer un cadre de mesure du rendement pour évaluer les progrès réalisés dans l'atteinte des objectifs stratégiques définis par le Canada pour sa relation avec l'UNICEF.
3. Pendant que le Canada et les autres membres de l'Assemblée générale sont à la recherche de mécanismes pour harmoniser le système de développement des Nations Unies, le MAECD devrait continuer à travailler avec l'UNICEF pour identifier des moyens réalistes et concrets qui permettront à l'UNICEF de collaborer avec d'autres organisations des Nations Unies.
4. Le MAECD devrait inciter l'UNICEF à améliorer sa planification de la durabilité. Les encouragements pourraient prendre la forme d'initiatives visant à renforcer les plans de conception et de mise en œuvre des programmes de l'UNICEF.
5. Le MAECD devrait encourager l'UNICEF à améliorer ses rapports au niveau des résultats, ses analyses et ses évaluations des programmes d'aide humanitaire.

Annexe 1 : Critères d'efficacité

Pertinence

• 1.1 Les programmes répondent aux besoins des membres du groupe cible.
• 1.2 Les programmes s'alignent sur les objectifs nationaux en matière d'aide humanitaire et au développement.
• 1.3 Partenariats efficaces avec le gouvernement, la société civile et les partenaires de l'aide humanitaire et au développement.

Atteinte des objectifs en matière d'aide humanitaire et au développement et des résultats escomptés

• 2.1 Les programmes et les projets atteignent les objectifs établis.
• 2.2 Les programmes ont eu des effets positifs sur les membres du groupe cible.
• 2.3 Nombre appréciable de bénéficiaires et contribution importante aux objectifs nationaux en matière d'aide humanitaire et au développement.
• 2.4 Changements significatifs apportés aux politiques et aux programmes nationaux en matière de développement.

Thèmes transversaux – Aide humanitaire et au développement inclusive et durable (égalité entre les sexes et durabilité de l'environnement)

• 3.1 Les programmes tiennent compte efficacement de la question de l'égalité entre les sexes.
• 3.2 Les changements sont durables en matière d'environnement.

Durabilité

• 4.1 Les bienfaits se maintiendront probablement.
• 4.2 Les programmes appuient les capacités institutionnelles et communautaires.
• 4.3 Les programmes contribuent à renforcer l'environnement favorable à l'aide humanitaire et au développement.

Efficience

• 5.1 Les activités du programme sont efficaces par rapport aux coûts.
• 5.2 Les programmes sont mis en œuvre et les objectifs sont réalisés à temps.
• 5.3 Les systèmes utilisés pour la mise en œuvre des programmes sont efficients.

Recours à l'évaluation et au suivi pour améliorer l'efficacité de l'aide humanitaire et au développement

• 6.1 Les systèmes et les processus d'évaluation sont efficaces.
• 6.2 Les systèmes et les processus de suivi sont efficaces.
• 6.3 Les systèmes de gestion axée sur les résultats sont efficaces.
• 6.4 Les résultats de l'évaluation sont utilisés pour améliorer l'efficacité de l'aide humanitaire et au développement.

Annexe 2 : Échantillon d'évaluations

1. 2009 Maldives: Children and the 2004 Indian Ocean Tsunami: Evaluation of UNICEF's Response in Maldives (2005-2008) Country Synthesis Report
2. 2009 Sri-Lanka: Children and the 2004 Indian Ocean Tsunami: Evaluation of UNICEF's Response in Sri Lanka (2005-2008) Country Synthesis Report 2009 Thailand: Children and the 2004 Indian Ocean Tsunami - Evaluation of UNICEF's Response in Thailand (2005-2008)
3. 2009 Thailand: Children and the 2004 Indian Ocean Tsunami - Evaluation of UNICEF's Response in Thailand (2005-2008)
4. 2009 Indonesia: Children and the 2004 Indian Ocean Tsunami: Evaluation of UNICEF's Response in Indonesia (2005-2008) Country Synthesis Report
5. 2011 Global: Independent Review of UNICEF's Operational Response to the January 2010 Earthquake in Haiti
6. 2009 Indonesia: Children and the 2004 Indian Ocean Tsunami: UNICEF's Response in Indonesia (2005-2008) Child Protection
7. 2009 Colombia: Educación en el Riesgo de Minas (ERM) y Asistencia a Víctimas en los departamentos de Cauca, Chocó, Nariño y la región de La Mojana /Sur de Bolívar
8. Evaluación Del Programa "Escuela Busca al Niño"
9. Rapport de l'évaluation externe de la phase pilote du projet de prise en charge des orphelins et autres enfants vulnérables en République de Djibouti
10. Évaluation des résultats des 12 Associations de services financiers (ASF) pour le développement communautaire dans la zone de Kissidougou
11. Evaluation of the actions to attend to the water sanitation and hygiene sector among populations affected by Hurricane Felix
12. Évaluation de la couverture de la campagne nationale de distribution des moustiquaires imprégnées en 2008 et de l'impact des interventions de lutte contre le paludisme au Togo
13. Evaluation of the UNICEF-DIPECHO programme “Supporting Disaster Risk Reduction Amongst Vulnerable Communities and Institutions in Central Asia and South Caucasus”
14. Évaluation de l'impact des innovations éducatives (Centres d'encadrement intégré de la petite enfance [Bisongo], École Satellite [ES], Centres d'éducation de base non formelle [CEBNF]) sur le développement du système éducatif au Burkina Faso
15. Monitoring & Evaluation of Child Health Days in Madagascar
16. Mid-term Evaluation of project of Basic Education in Eastern DRC (BEED)
17. Recovery Action and Rehabilitation Project (RARP) Evaluation
18. Evaluation of the National Plan for the Eradication of Child Labour 2000-2010
19. Évaluation des Campagnes de supplémentation en vitamine A et de déparasitage (2002-2006) et des Semaines de la santé de la mère et de l'enfant (2006-2011) à Madagascar
20. 2010 Ethiopia: Mid-Term Evaluation of EU/UNICEF Supported WASH Programme
21. Assistance aux personnes expulsées de la Tanzanie et appui à la réintégration des personnes rapatriées, expulsées et déplacées (2006-2009)
22. Evaluation, consolidation and strengthening of the “I'm a Person, Too” programme for optimum psychosocial development of children under six in the Department of Huila, Colombia - Evaluación del PROGRAMA “TAMBIÉN SOY PERSONA”
23. Evaluation of the YCSD programme
24. Evaluation of community-led total sanitation (CLTS)
25. Evaluation of the community- based rehabilitation project for disabled children in 4 municipalities of Oaxaca
26. Impact du changement de normes sociales sur les comportements en milieu rural au Sénégal
27. 2011 Ghana: Evaluation of UNICEF's Early Childhood Development Programme with Focus on Government of Netherlands Funding (2008-2010)
28. 2009 Georgia: UNICEF's Response to Georgia Crisis: Real Time Evaluation
29. 2010 Kenya: Cash Transfer Programme for Orphans and Vulnerable Children (CT-OVC), Kenya: Operational and Impact Evaluation, 2007-2009
30. 2009 Cambodia: Evaluation of Community-Led Total Sanitation
31. Community Radio Listening Groups Project
32. Evaluation of the EthioInfo Utilization in Ethiopia
33. Evaluation of PHAST tool for the promotion hygiene Sanitation in the GOK/UNICEF Programme of cooperation
34. 2010 Ghana: Review of Second Performance Monitoring of the IWASH Project
35. Evaluation of Integrated Management of Childhood Illnesses Initiative in the Republic of Moldova Years 2000-2010
36. Evaluation of Adolescent and Youth Participation in UNICEF Cambodia
37. Evaluation of Child and Youth Participation Initiatives in UNICEF Mozambique
38. Evaluation of the UNICEF/UNFPA Joint Programme “Support to Ghana's National HIV AND AIDS Response: Scaling up Best Practices on Prevention, Care and Support Interventions for Young People”
39. Emergency Water Supply to un-served/underserved/ Vulnerable Areas in Baghdad and the IDPs
40. Evaluation of UNICEF Nepal Mine Action Activities: Victim-Activated Explosion Injury Surveillance and Mine Risk Education
41. 2009 Uganda: Final Review of UNICEF-supported Programmes for Children Affected by Conflict in Kitgum, Northern Uganda
42. Supporting Sustainable water management and governance for the poor in drought and flood prone areas in Kenya
43. 2010 WCARO Regional: Roll Out Evaluation of Community Led Total Sanitation in West & Central
44. Evaluation of Gender Sensitisation and People Friendly Police Initiative in Karnataka
45. 2010 Iraq: Evaluation of Water Quality Control and Surveillance in Iraq
46. ZIMWASH Project End-Term Evaluation Report: ACP EU Water Facility Project - 2006-2011 - Addressing water and sanitation needs of the rural poor in the context of HIV and AIDS in Zimbabwe
47. 2010 Sudan: Go To School Evaluation
48. Evaluation of UNICEF Bangladesh Education and Child Protection Programmes
49. Evaluation of Social Work Coaching
50. Evaluation of Sustained Outreach Services (SOS) for immunization/ Vitamin A (Indonesia)
51. 2010 Zimbabwe: Evaluation of Programme of Support for National Action Plan for Orphans and Vulnerable Children Impact/Outcome Assessment
52. 2010 Myanmar: Evaluation of UNICEF Education Programme - Improving Access to Quality Basic Education in Myanmar (2006-2010)
53. Évaluation de la stratégie de mentorat « Fille pour fille », Madagascar, 2010
54. Summary Report and Evaluation: Child Injury Prevention Project (2005-2010)
55. Evaluation of Netherlands-UNICEF Water Initiative (NUWI)
56. Real-Time Evaluation of UNICEF's Response to the Sa'ada Conflict in Northern Yemen
57. 2011 Tanzania: Evaluation of UNICEF's Early Childhood Development Programme with Focus on Government of Netherlands Funding (2008-2010)
58. Formative Evaluation of the United Nations Girls Education Initiative (UNGEI)
59. 2011 Mozambique: Impact evaluation of drinking water supply and sanitation interventions in rural Mozambique: More than Water
60. Assessing of WASH package interventions in 5 counties of Liberia
61. 2010 Niger: Evaluation of Cash Transfer for Protection of Blanket Feeding: UNICEF Emergency Project Niger
62. 2010 Philippines: UNICEF Philippines Country Program Evaluation

Annexe 3 : Méthodologie

La présente annexe explique de façon plus détaillée les méthodes de définition de la population et la méthodologie d'échantillonnage qui ont été utilisées pour l'examen de l'efficacité de l'aide au développement et de l'aide humanitaire de l'UNICEF. Elle établit également une comparaison entre l'échantillon et la population d'évaluations et entre le financement de l'UNICEF et le financement mondial pour la période s'échelonnant entre 2009 et 2011.

Population d'évaluations de l'UNICEF

Les évaluations de l'UNICEF ont été choisies à partir de deux sources :

• Le site Web du Bureau de l'évaluation;
• Trois rapports de surveillance issus de l'examen des évaluations dans le système mondial de contrôle des évaluations (GEROS) de l'UNICEF, couvrant les évaluations effectuées de 2009 à la fin de 2011.

La population comprend des évaluations effectuées ou commandées par le Bureau de l'évaluation central, ainsi que des évaluations effectuées de façon décentralisée par les bureaux de pays ou les bureaux régionaux de l'UNICEF.

Ces sources ont permis de constituer une population de 341 évaluations. Il a été décidé, en consultation avec le Bureau de l'évaluation de l'UNICEF, que l'examen devrait porter sur les évaluations effectuées depuis 2008. L'UNICEF a adopté une nouvelle politique sur l'évaluation en 2008 et les évaluations effectuées après cette date tiendraient probablement compte de la nouvelle politique. Par conséquent, le champ de l'examen n'inclurait que des évaluations effectuées en 2009, 2010 et 2011^{Note de bas de page 108}. Il a également été convenu que l'examen ne devrait pas comprendre les évaluations que le système GEROS a cotées comme étant de mauvaise qualité et ayant un « faible niveau de confiance ». Enfin, les évaluations qui portaient sur la programmation mondiale ont été exclues de la population d'évaluations à partir de laquelle établir l'échantillon pour l'examen qualitatif. Ces évaluations mondiales n'ont pas été comprises dans l'échantillon, mais ont plutôt fait l'objet d'un examen qualitatif par les membres séniors de l'équipe. En outre, certaines évaluations dans la population étaient des doubles, ou n'étaient pas considérées comme de véritables évaluations ou ne portaient pas sur la programmation de l'UNICEF et ont donc été exclues de la population. Le résultat est une population de 197 évaluations à partir de laquelle l'échantillon a été établi (tableau 5).

Échantillon d'évaluations

Un échantillon de 70 évaluations a été choisi parmi la population, afin qu'après l'examen de la qualité, il reste 60 évaluations pour l'examen. Initialement, l'échantillon était aléatoire, stratifié par thème du plan stratégique à moyen terme. Par la suite, l'échantillon a été rajusté manuellement pour assurer une couverture suffisante de deux autres dimensions : la région et le type de pays (pays à faible revenu ou pays à revenu intermédiaire). L'échantillon qui a suivi n'était plus aléatoire, mais plutôt raisonné et indicatif de la programmation de l'UNICEF selon un certain nombre de dimensions : année, bureau qui a commandé l'évaluation, région, type de pays, pays et domaines prioritaires du plan stratégique à moyen terme.

Examen de la qualité

La première tâche de chaque membre de l'équipe était d'examiner la qualité de l'évaluation en utilisant une grille d'examen normalisée (tableau 6). La grille tient compte des critères notés et définit comment le nombre maximum de points est attribué à chaque critère.

Le but de l'examen était double :

• veiller à ce que les évaluations utilisées pour fournir de l'information sur la programmation de l'UNICEF soient d'une qualité d'ensemble suffisamment élevée pour être crédibles. Une note globale de qualité, qui comptait un maximum de 40 points, a été attribuée. Une évaluation devait obtenir une note minimale de 25 points pour être retenue par l'examen;
• garantir que, même si l'évaluation était en règle générale de qualité élevée, les notes obtenues pour les critères G, H et I soient suffisamment élevées pour faire en sorte que l'évaluation fournisse une information solide, particulièrement en ce qui concerne la mesure de l'efficacité. Si une évaluation ne comprenait pas un nombre suffisant de sources de données probantes (critère G), ne s'appuyait pas sur une conception adéquate d'évaluation (critère H) ou comportait des constatations et des conclusions qui n'étaient pas pertinentes ni fondées sur des données probantes (critère I), donc, l'évaluation était considérée comme ne pouvant probablement pas fournir de preuves suffisantes pour permettre d'évaluer l'efficacité de l'aide au développement. Un total de 13 points était prévu pour ces trois critères et une évaluation devait obtenir un minimum de neuf points pour ces trois critères.

Toute évaluation qui ne satisfaisait pas à une de ces conditions était éliminée de l'échantillon. L'échantillon initial d'évaluations comprenait 70 évaluations. Sur ce nombre, quatre ont été éliminées pour les raisons suivantes :

• Après un examen détaillé, l'équipe a constaté qu'une évaluation ne traitait pas de la programmation de l'UNICEF et qu'une autre n'abordait pas l'efficacité de la programmation;
• Deux évaluations couvraient la même programmation que d'autres évaluations qui faisaient déjà partie de l'échantillon.

Sur les 66 évaluations qui restaient, toutes ont obtenu suffisamment de points dans l'évaluation générale de la qualité, mais quatre n'ont pas obtenu un nombre suffisant de points dans les trois critères spécifiques qui mesuraient l'efficacité et ont donc été éliminées de l'échantillon (tableau 7).

Comparaison entre la population et l'échantillon d'évaluations

La présente section fournit un profil de la population et de l'échantillon d'évaluations et commente la mesure dans laquelle l'échantillon est indicatif de la population d'évaluations et de la programmation de l'UNICEF pour la période se situant entre 2009 et 2011.

Années d'évaluation et de programmation

L'échantillon s'échelonne sur trois ans : 2009, 2010 et 2011 (tableau 8). La répartition par année correspond à celle de la population d'évaluations.

Toutefois, la programmation visée par ces évaluations s'est étendue de 2000 à 2010. Un peu plus du tiers des évaluations ont traité de programmes d'une durée de trois ans et un autre 40 % ont traité de programmes de quatre à cinq ans (tableau 9)^{Note de bas de page 110}. Toutefois, quelques-unes (16 %) ont traité de programmes qui ont duré entre six et onze ans.

Cela représente une limite des méta-synthèses d'évaluations. Les évaluations sont, par définition, rétrospectives et une méta-synthèse est encore plus rétrospective, puisqu'elle est fondée sur un ensemble d'évaluations effectuées beaucoup plus tôt. Les politiques, les stratégies et les méthodes de programmation de l'UNICEF ont évolué au cours de ces années, mais ces changements n'ont pas été intégrés dans toutes les évaluations. C'est pourquoi les constatations peuvent être quelque peu dépassées. Dans toute la mesure du possible, l'examen tient compte de cette situation en complétant les évaluations par des observations tirées d'entrevues récentes avec le personnel de l'UNICEF et un examen des documents de l'UNICEF.

Bureau qui a commandé l'évaluation

Un cinquième des évaluations comprises dans l'échantillon ont été commandées par le Bureau de l'évaluation central (tableau 10). L'équipe d'examen n'a pu déterminer le bureau qui a commandé l'évaluation dans le tiers des évaluations (information non disponible). Près de la moitié des évaluations (46 %) ont été commandées par des bureaux de pays ou des bureaux régionaux de l'UNICEF.

Régions et types de pays

L'échantillon a englobé l'ensemble des régions et des types de pays dans lesquels l'UNICEF met en œuvre une programmation (tableaux 11 et 12).

*Nota : La classification régionale est fondée sur l'information fournie dans le rapport La Situation des enfants dans le monde 2012 : les enfants dans un monde urbain, UNICEF, 2012, p. 124

L'échantillon comprend un nombre légèrement plus élevé d'évaluations en provenance d'Afrique centrale et de l'Ouest et un nombre légèrement moins élevé d'évaluations en provenance d'Europe centrale et orientale (ECO) et de la Communauté des États indépendants (CEI) par rapport à ce que la population d'évaluations aurait laissé supposer. Par conséquent, l'échantillon comprend un nombre légèrement plus élevé d'évaluations en provenance des pays les moins avancés par rapport à ce que la population d'évaluations aurait laissé supposer.

Pays

Ce suréchantillonnage des pays les moins avancés d'Afrique centrale et de l'Ouest s'est produit parce que l'examen devait suréchantillonner les pays qui reçoivent le plus de financement de la part de l'UNICEF. Le tableau 13 illustre les pays qui étaient les principaux bénéficiaires de financement pour la programmation de développement entre 2007 et 2011. Dix-neuf évaluations (7 % des évaluations de la population) et neuf évaluations de l'échantillon (18 %) provenaient des principaux pays bénéficiaires de financement pendant la période de cinq ans s'échelonnant entre 2007 et 2011. Cela laisse entendre que l'UNICEF n'obtient pas une bonne couverture des évaluations dans les pays qui reçoivent le plus de financement en matière de développement. L'équipe a surreprésenté les principaux pays bénéficiaires de financement pour accroître la couverture des pays qui ont reçu le plus de financement en matière de développement de la part de l'UNICEF.

* Ressources ordinaires ou autres ressources – courantes

On observe une tendance semblable en ce qui concerne l'action humanitaire. Le tableau 14 illustre les pays qui étaient parmi les principaux pays bénéficiaires de financement pour l'action humanitaire entre 2007 et 2011. Sept évaluations de la population (47 %) et trois évaluations de l'échantillon (23 %) provenaient de pays qui avaient obtenu le plus de fonds pour l'aide humanitaire entre 2007 et 2011. La couverture des principaux pays bénéficiaires de financement est meilleure pour l'action humanitaire que pour la programmation de développement, parce que la population d'évaluations a intégré les évaluations du Comité directeur inter-organisations, qui ne portent pas précisément sur la programmation de l'UNICEF. Toutefois, cela laisse entendre qu'à l'instar des évaluations de l'aide au développement, l'UNICEF n'obtient pas une bonne couverture de l'évaluation de sa programmation dans les pays qui reçoivent le plus de financement humanitaire. L'équipe a suréchantillonné les principaux pays bénéficiaires afin d'accroître la couverture des pays qui ont reçu le plus de financement humanitaire de l'UNICEF.

* Financement d'autres ressources – aide d'urgence
** Les évaluations en provenance du Pakistan n'ont pas été retenues dans l'échantillon parce qu'elles ne traitaient pas de la programmation de l'UNICEF.

Domaines prioritaires du plan stratégique à moyen terme

Les évaluations dans l'échantillon ont englobé l'ensemble des secteurs prioritaires de la programmation de l'UNICEF, dont l'ensemble des thèmes du plan stratégique à moyen terme et l'action humanitaire (voir le tableau 15). Toutefois, les types de programmation de l'UNICEF n'ont pas tous été étudiés uniformément dans les évaluations. Seules quinze évaluations de la population (8 %) et treize (19 %) de l'échantillon ont porté sur l'action humanitaire alors que la programmation dans ce domaine représentait un peu plus du quart des dépenses de l'UNICEF entre 2008 et 2011. Il y a proportionnellement moins de couverture de l'action humanitaire dans les évaluations de l'UNICEF que de la programmation dans le domaine du développement. Il importe de mentionner que cinq des évaluations de l'action humanitaire retenues dans l'échantillon, bien qu'elles ne concernent pas la programmation dans le même pays, ont toutes porté sur la même crise humanitaire, soit le tsunami de 2004 dans l'océan Indien. Parmi les pays les plus durement touchés par la catastrophe qui ont reçu des fonds à la suite du tsunami, un seul pays figurait sur la liste de ceux qui ont reçu le plus d'aide humanitaire en 2009-2011. Cela signifie que bien que les évaluations aient été publiées pendant les années comprises dans l'échantillon, le financement avait été accordé quelques années plus tôt.

Mis à part le fait que les évaluations n'englobent pas les pays qui reçoivent les plus grandes quantités de fonds, ou l'éventail complet de l'action humanitaire, les évaluations retenues dans l'échantillon sont, à tous autres égards, indicatives de la programmation mondiale de l'UNICEF.

Annexe 4 : Guide à l'intention de l'équipe d'examen pour la classification des constatations des évaluations

Annexe 5 : Évaluations globales et documents de l'UNICEF

Évaluations mondiales de l'UNICEF

• Protecting Children from Violence: A Synthesis of Evaluation Findings, UNICEF 2012
• Global Evaluation of DevInfo, 2009
• A Study of UNICEF Engagement in Global Programme Partnerships, 2009
• Evaluation of UNICEF Multiple Indicator Cluster Surveys Round 3 (MICS3), 2009
• Evaluation of DFID-UNICEF Programme of Cooperation: Investing in Humanitarian Action Phase III (2006–2009), 2009
• UNICEF Child Friendly Schools Programming Evaluation, 2009
• Progress Evaluation of the UNICEF Education in Emergencies and Post-crisis Transition Programme, 2010
• Review of the Global Education Cluster Co-leadership Arrangement, 2010
• Unite for Children, Unite Against AIDS Campaign Evaluation, 2010
• Final Report: Evaluation of UNICEF's Programme and Work in Relation to Adolescents and the Participation of Children and Young People, 2010
• Evaluation of UNICEF's Early Childhood Development Programme with Focus on Government of Netherlands Funding (2008-2010), 2011
• Formative Evaluation of the United Nations Girls' Education Initiative (UNGEI), 2011
• Global Evaluation of the Application of a Human Rights Based Approach to UNICEF Programming (HRBAP), 2012
• 5-Year Evaluation of the Central Emergency Response Fund - Final Synthesis Report, OCHA

Autres documents

Documents de stratégie et d'orientation de l'UNICEF

• La mission de l'UNICEF, 2012
• Action humanitaire pour les enfants, UNICEF, 2012
• La Situation des enfants dans le monde 2012 : les enfants dans un monde urbain, UNICEF, 2012
• Plan stratégique à moyen terme de l'UNICEF pour la période 2006-2009 : Investir dans les enfants : la contribution de l'UNICEF à la réduction de la pauvreté et au Programme d'action du Sommet du Millénaire, 11 juillet 2005
• Politique de l'UNICEF en matière d'évaluation, UNICEF, 5 décembre 2007
• Plan d'action stratégique prioritaire de l'UNICEF en faveur de l'égalité des sexes :
  2010-2012, UNICEF, juin 2010

Rapports de l'UNICEF

• Recueil des décisions adoptées par le Conseil d'administration en 2008, 1er octobre 2008
• Rapport annuel de l'UNICEF pour 2011, UNICEF, 2012
• Rapport annuel du directeur général de l'UNICEF : progrès accomplis et résultats obtenus dans le cadre du plan stratégique à moyen terme, 19 avril 2011
• Rapport annuel du directeur général de l'UNICEF : progrès accomplis et résultats obtenus dans le cadre du plan stratégique à moyen terme, UNICEF, 2012
• Rapport annuel sur la fonction d'évaluation et les principales évaluations à l'UNICEF, 13 juillet 2010
• Rapport annuel sur la fonction d'évaluation et les principales évaluations à l'UNICEF, 3 avril 2012
• Rapport d'examen à mi-parcours du plan stratégique à moyen terme, UNICEF, 2008
• Action humanitaire pour les enfants, UNICEF, janvier 2012

Documents de suivi et d'évaluation de l'UNICEF

• MoRES Monitoring Results for Equity Systems: Access and Quality in Early Learning, UNICEF, exposé [aucune date]
• UNICEF-DFID Programme of Cooperation: Evaluability Assessment, Draft, Westat The Bassiouni Group, 12 octobre 2012
• UNICEF West and Central Africa Regional Office: Real-Time Independent Assessment (RTIA) of UNICEF's Response to the Sahel Food and Nutrition Crisis, 2011–2012: Assessment Report, août 2012

Autres documents de l'UNICEF

• Terms of Reference: Formative Evaluation of Monitoring Results for Equity System (MoRES) Approach, UNICEF, 2012
• UNICEF and the next Medium-Term Strategic Plan: key opportunities and challenges for programming, Programme Division, UNICEF, 2012

Documents du système mondial de contrôle des évaluations (GEROS)

• UNICEF, Système mondial de contrôle des évaluations (GEROS), Bureau de l'évaluation, décembre 2010
• UNICEF, Système mondial de contrôle des évaluations, Revue de la qualité des rapports d'évaluation 2010, Rapport final, version 1.3, novembre 2011
• UNICEF, Système mondial de contrôle des évaluations, Revue de la qualité des rapports d'évaluation 2011, Rapport préliminaire, v 0.1, 12 septembre 2012
• UNICEF, Système mondial de contrôle des évaluations, Revue de la qualité des rapports d'évaluation 2011, Rapport préliminaire final, v 1.0, 31 octobre 2012

Documents provenant de d'autres organisations

• Réseau d'évaluation du rendement des organisations multilatérales : évaluation de l'efficacité organisationnelle, volume I, UNICEF 2012
• Examen par les pairs de la fonction d'évaluation du Fonds des Nations Unies pour l'enfance (UNICEF), collectif, ACDI, 2006

Annexe 6 : Résultats sélectionnés pour la comparaison entre les pays les moins avancés et les pays à revenu intermédiaire, ainsi que par domaine prioritaire, y compris l'action humanitaire

Comparaison entre les pays les moins avancés et les pays à revenu intermédiaire

entre les pays les moins avancés et les pays à revenu intermédiaire

Comparaison par domaine prioritaire, y compris l'action humanitaire

Annexe 7 : Personnes interrogées à l'UNICEF
(Examen de l'efficacité de l'aide au développement)

Bureau de l'évaluation

• Colin Kirk
• Samuel Bickel
• Robert McCouch
• Marco Segone
• Abigail Taylor
• Ashley Wax

Division de la gestion financière et administrative

• Clair Jones

Division de la gouvernance, des Nations Unies et des affaires multilatérales

• Jean Dupraz
• Bjorn Gillsater

Division des politiques et des stratégies

• Lakshmi Narasimhan Balaji
• Etona Ekole
• Robert Jenkins

Bureau des programmes d'urgence

• Genevieve Boutin
• Akhil Iyer

Division des programmes

• Anju Malhotra
• Christian Salazar

Bureau des alliances avec le secteur public et de la mobilisation des fonds publics

• Pieter Bult
• Fernando Gutierrez-Eddy

Annexe 8 : Sources des données pour la section 5.0
(Relations entre le Canada et l'UNICEF)

Documents consultés

• Canada, Sweden and the United Kingdom, A Joint Institutional Approach : Working together with UNICEF for the World's Children (2010),
• MAECD, Stratégie du Canada sur la sécurité alimentaire (2013)
• MAECD, Évaluation de la diligence raisonnable de l'UNICEF (2012)
• MAECD, Rapport statistique sur l'aide internationale (2011-2012)
• MAECD, Governance: Themes (2013)
• MAECD, UNICEF Organization Brief (août 2011)
• MAECD, UNICEF Long-Term Institutional Support Approval Memo (2013)
• MAECD, Executive Board Statement: Canada's Joint Statement on Gender Equality (2013)
• MAECD, UNICEF Institutional Strategy (février 2011)
• MAECD, Canada's Comments on UNICEF's Draft Strategic Plan and Annex (2013)
• MAECD, Executive Board Statement : In Response to the Annual Report of the Executive Director of UNICEF on Progress and Achievements against the MTSP (2013)
• MAECD, Comments by DFATD's International Humanitarian Assistance Division on UNICEF's Humanitarian Evaluations (2013)
• Rapport du vérificateur général du Canada, Chapitre 4 : L'aide publique au développement délivrée par les organisations multilatérales (2013)
• Loi sur la responsabilité en matière d'aide au développement officielle (2008)
• United Nations Development Group, Support of Member States for Coherent Implementation of QCPR (2013)
• UNICEF, Rapport annuel (2012)

Personnes interrogées au MAECD

• Helen Barrette, Unité des situations humanitaires complexes, Direction générale des enjeux mondiaux et du développement
• Kimberly Bowlin, Division des programmes des Nations Unies, du Commonwealth et de la Francophonie, Direction générale des enjeux mondiaux et du développement
• Michael Gort, Division des programmes des Nations Unies, du Commonwealth et de la Francophonie, Direction générale des enjeux mondiaux et du développement
• Elizabeth King, Direction des initiatives mondiales, Direction générale des enjeux mondiaux et du développement
• Zuzanna Lipa, Direction des initiatives mondiales, Direction générale des enjeux mondiaux et du développement
• Rene McKenzie, Direction de la planification stratégique et de l'analyse, Direction générale des enjeux mondiaux et du développement
• Barbara Shaw, Division des programmes des Nations Unies, du Commonwealth et de la Francophonie, Direction générale des enjeux mondiaux et du développement

Personnes interrogées à l'UNICEF

• Dominique Hyde, directrice adjointe, Bureau des alliances avec le secteur public et de la mobilisation des fonds publics (PARMO)
• Carlos Mazuera, conseiller principal, Bureau des alliances avec le secteur public et de la mobilisation des fonds publics (PARMO)

Autres personnes interrogées

• Line Friberg Nielsen, conseillère en politiques et responsable des relations institutionnelles avec l'UNICEF, Mission du Royaume-Uni auprès des Nations Unies
• Karin Snellman, première secrétaire, Affaires économiques et sociales, Mission permanente de la Suède auprès des Nations Unies

Annexe 9 : Réponse de la Direction générale du Secteur des enjeux mondiaux et du développement du MAECD

Le chapitre canadien de l'Examen de l'efficacité de l'aide au développement du Fonds des Nations Unies pour l'enfance (UNICEF), préparé par la Division de l'évaluation d'Affaires étrangères, Commerce et Développement Canada (MAECD) donne un aperçu de la relation du Canada avec l'UNICEF. Il met l'accent sur les priorités du Canada en matière de développement international et sur ses objectifs stratégiques liés à son engagement auprès de l'institution. Il présente des preuves de la pertinence, de l'efficience et de l'efficacité de cette relation, ainsi que des directives fondées sur des données probantes quant à l'engagement futur du Canada auprès de cette institution.

L'UNICEF œuvre dans plus de 190 pays dans le cadre de programmes-pays et de comités nationaux, y compris dans l'ensemble des pays ciblés par le MAECD. L'institution participe à la réalisation de plusieurs priorités canadiennes en matière de développement, dont accroître la sécurité alimentaire : Stratégie du Canada sur la sécurité alimentaire; assurer l'avenir des enfants et des jeunes etl'Initiative de Muskoka pour la santé des mères, des nouveau-nés et des enfants. L'UNICEF est également un partenaire clé dans l'atteinte des objectifs du Canada en matière de paix et de sécurité, d'aide humanitaire, et dans la promotion des valeurs canadiennes en matière de droits de la personne.

La Direction des enjeux mondiaux et du développement du MAECD souscrit à la majorité des recommandations formulées par la Division de l'évaluation dans son examen de l'engagement du Canada auprès de l'UNICEF, à savoir : continuer à mettre l'accent sur l'intégration de l'égalité entre les sexes au sein de l'UNICEF à tous les niveaux et sur l'importance de la mesure du rendement et de l'établissement de rapports dans ce domaine; continuer à travailler avec l'UNICEF pour favoriser la collaboration avec d'autres organisations des Nations Unies; encourager l'UNICEF à améliorer la durabilité de sa programmation et encourager l'UNICEF à améliorer l'évaluation de ses programmes d'aide humanitaire. Toutefois, en ce qui concerne la recommandation relative à l'élaboration d'un cadre de mesure du rendement, on estime que cette recommandation devrait préconiser une approche multi-donateurs, conformément aux principes d'efficacité de l'aide. En ce sens, le MAECD accueille favorablement le fait que la Division reconnaisse que le Canada est l'un des nombreux donateurs travaillant avec l'UNICEF au niveau institutionnel et qu'il est limité dans la mesure où il peut influencer l'amélioration de l'efficacité de l'aide au développement de l'institution. En tant que tel, le MAECD continuera à travailler avec les autres donateurs pour préconiser des améliorations au sein de l'UNICEF.

La Direction des enjeux mondiaux et du développement prendra des mesures concrètes, comme indiqué dans le tableau ci-dessous, pour répondre aux recommandations du chapitre canadien. Il exploitera les possibilités offertes par son travail en tant que membre du Conseil d'administration de l'UNICEF et par son dialogue permanent avec l'institution. Il communiquera également avec d'autres parties du MAECD dans le but d'assurer la cohérence des interactions du Ministère avec l'UNICEF sur ces enjeux, tant dans les administrations centrales, sur le terrain qu'à la mission permanente du Canada à New York.