Combiner la génération de preuves et le support technique pour une transformation efficace des systèmes

Type(s) de services RFE : Collecte directe de données, mise à l'échelle, assistance technique
Partenaire(s) principal(aux) : Transformer l'éducation dans les communautés cacaoyères (TRECC), Côte d'Ivoire
Chronologie: 2016-2021
Description en une phrase : L'unité Right-Fit Evidence Unit (RFE) de l'IPA fournit des données et des preuves à l'initiative Transforming Education in Cocoa Communities (TRECC) pour soutenir la prise de décision concernant les projets de mise à l'échelle. En parallèle, RFE aide les porteurs de projet à créer avec succès des systèmes de suivi, d'évaluation et d'apprentissage (MEL) qui permettent un apprentissage en temps réel et peuvent être utilisés pour améliorer constamment l'efficacité de leurs programmes.

Le projet

L'initiative Transforming Education in Cocoa Communities (TRECC) vise à améliorer les conditions de vie de tous les enfants et jeunes de Côte d'Ivoire grâce à une éducation de qualité. TRECC adapte les interventions réussies - axées sur l'enseignement primaire et le développement de la petite enfance (ECD) - au contexte de la Côte d'Ivoire et les aide à passer à l'échelle.

Les interventions soutenues par TRECC passent par une série d'itérations à mesure qu'elles progressent vers l'échelle, en commençant par une phase pilote et visant à être finalement adoptées et mises en œuvre par le gouvernement national. Par conséquent, il est essentiel que TRECC et ses partenaires abordent leur travail avec la volonté d'appliquer les leçons apprises lorsqu'ils testent leurs programmes sur le terrain. Des systèmes MEL de haute qualité sont essentiels pour collecter ces enseignements. Il est également crucial que les systèmes MEL soient correctement réglés pour répondre aux questions pertinentes pour la phase de chaque partenaire dans le cheminement vers l'échelle. Ces questions peuvent inclure : Le projet répond-il aux besoins en Côte d'Ivoire ? Le responsable de la mise en œuvre livre-t-il le projet au niveau de qualité attendu ? Des systèmes efficaces sont-ils en place pour garantir la pérennité du projet au-delà des phases initiales ? Le gouvernement est-il intéressé et dispose-t-il de suffisamment de ressources pour éventuellement étendre le projet ? Quand est-il approprié de faire passer un projet de la phase pilote à l'échelle ? Quels indicateurs devrions-nous surveiller pour maximiser l'apprentissage et la responsabilité à chaque phase ?

L'engagement

RFE soutient TRECC en réponse à son besoin d'un coach d'apprentissage pour aider ses partenaires à mener à bien leurs interventions à grande échelle, et à son besoin d'un ami critique pour aider à évaluer les progrès des partenaires dans cette voie. Par conséquent, l'engagement est composé de deux activités principales :

1. Fournir une assistance technique MEL aux partenaires de mise en œuvre et aux organismes gouvernementaux, afin qu'ils puissent produire et utiliser des preuves basées sur des données pour améliorer leurs interventions. Pendant quatre ans de collaboration, l'équipe RFE a participé à tous les comités opérationnels des projets TRECC, réunissant toutes les parties prenantes, soulignant l'importance d'une approche axée sur l'apprentissage et apportant un soutien pour y parvenir. De plus, nous avons mené des activités pour renforcer la capacité de chaque organisation en matière de MEL. Étant donné que chaque programme a sa propre théorie du changement et son ensemble de questions d'apprentissage prioritaires, RFE a adapté le soutien à chaque organisation.
2. Mener une collecte de données indépendante fournir des preuves fiables pour éclairer les décisions programmatiques et financières du gouvernement et des entreprises de cacao et de chocolat cofinançant l'intervention aux côtés de la Fondation Jacobs et de la Fondation Bernard van Leer. Pour cela, RFE s'appuie sur le « chemin vers l'échelle » comme cadre directeur de la prise de décision. Le principal avantage de ce cadre est qu'il encourage l'innovation en fournissant un processus clair pour que les programmes soient testés et éprouvés de manière itérative avant d'être mis à l'échelle. En outre, le processus laisse le temps et les preuves nécessaires à l'engagement et à l'appropriation du gouvernement.

Au cours des premières années de la collaboration, nous avons principalement travaillé sur la collecte de données indépendante à la demande des donateurs. Depuis 2020, nous nous sommes concentrés sur l'appui technique MEL aux organisations et au gouvernement, pour accompagner la mise à l'échelle des interventions les plus prometteuses.

Les Résultats

Au cours des quatre dernières années de collaboration, nous avons observé un changement majeur dans l'utilisation des données et des preuves pour prendre des décisions ou améliorer les programmes.

Les commentaires des donateurs - entreprises de cacao et de chocolat, la Fondation Jacobs et la Fondation Bernard van Leer - montrent que le cadre de « passage à l'échelle » et les évaluations indépendantes les ont aidés à prendre des décisions éclairées sur les prochaines étapes des projets : « Nous avons utilisé les rapports d'évaluation indépendants de l'IPA pour décider de prolonger ou d'arrêter des projets. C'est un exemple concret de l'utilité et de la pertinence du soutien de l'IAP. Helen Keller International et le ministère de la Santé de Côte d'Ivoire ont piloté un programme d'éducation parentale. L'évaluation indépendante de RFE a montré des résultats mitigés : l'intervention a amélioré les connaissances des parents sur plusieurs bonnes pratiques parentales, mais il y avait des défis avec les visites à domicile et la composante de stimulation précoce du programme. RFE a donc préconisé une phase d'adaptation. Cette nouvelle itération a non seulement permis un meilleur apprentissage et une amélioration en cours de route, mais elle a également donné suffisamment de temps au ministère de la Santé pour s'approprier davantage l'intervention.

Pour les partenaires de mise en œuvre, travailler avec IPA signifiait des informations précises et fiables pour améliorer en permanence la gestion des projets. En effet, la collecte de données indépendantes de l'équipe expérimentée d'IPA sur plusieurs aspects du processus de mise en œuvre (par exemple, les observations en classe, la participation à la formation, etc.) a conduit à une correction du cap et à un ajustement de la mise en œuvre. Après chaque collecte de données, les données sont utilisées pour produire un rapport dont les conclusions sont partagées et discutées avec toutes les parties prenantes pour trouver des explications et des solutions aux problèmes observés. Dans un cas, les données indépendantes de l'IPA ont révélé l'existence de mauvaises relations entre un enseignant responsable d'une classe passerelle et son superviseur direct. Ce dernier était nouveau et ne connaissait pas grand-chose à l'approche pédagogique appliquée dans la classe passerelle. La solution concertée a été de confier des rôles pédagogiques limités aux superviseurs durant leur première année dans le projet. Cette solution simple assure une bonne collaboration entre les animateurs ruraux et les directeurs de toutes les classes passerelles, quelle que soit l'expérience du projet.

Enfin, l'assistance technique de l'équipe RFE locale d'IPA a permis aux partenaires d'avoir des données de meilleure qualité et de meilleure qualité et a contribué à renforcer sa capacité et sa culture MEL. Le soutien technique de l'IPA va de la facilitation d'ateliers pour la création de plans MEL conformes aux principes CART (crédibilité, actionnabilité, responsabilité et transportabilité) aux conseils sur les activités MEL par le biais de réunions de contrôle régulières. Ce soutien garantit non seulement que les partenaires se concentrent sur des indicateurs exploitables qui peuvent aider à la prise de décision, mais leur donne également les moyens d'opérationnaliser eux-mêmes progressivement le plan MEL. C'est la raison pour laquelle un interlocuteur a comparé l'IPA à un entraîneur de natation : "IPA est comme un entraîneur de natation. Ils nous aident à garder notre ligne et à suivre la direction et à maintenir le rythme que nous nous sommes fixé au début » – Chef de projet, partenaire de mise en œuvre de TRECC.

Dans l'ensemble, les responsables de la mise en œuvre étaient très satisfaits du soutien fourni par l'IAP. Sur une échelle de un à dix, 75 % des responsables de la mise en œuvre ont attribué 9 ou 10 notes à la question « Quelle est la probabilité que vous recommandiez les services de Right-Fit Evidence à un ami ou à un collègue ? Cela se traduit par des performances de "classe mondiale" (obtenues par des organisations telles qu'Apple ou Google) sur la note de référence "Net Promoter Score". Les agents MEL et les gestionnaires rapportent que RFE les a aidés à améliorer leurs systèmes MEL (en particulier, la qualité des données qu'ils collectent) et à accroître l'intérêt des gestionnaires de projet pour ces données. Les partenaires gouvernementaux, qui ont ensuite été inclus dans le processus, ont également reconnu la qualité des ateliers dirigés par l'IPA.

Les partenaires de TRECC, dirigés par la Fondation Jacobs, et le gouvernement de Côte d'Ivoire se préparent à renforcer leurs partenariats pour mettre à l'échelle les solutions les plus efficaces par le biais des systèmes gouvernementaux. Les commentaires montrent que les partenaires souhaitent continuer à tirer parti de l'expertise de l'API pour aider le gouvernement à réussir le processus de mise à l'échelle.