Dans un contexte de financement restreint, le suivi, l'évaluation et l'apprentissage (SEA) axés sur l'apprentissage – c'est-à-dire la production de données pertinentes pour prendre des décisions éclairées et opportunes qui améliorent les programmes et renforcent leur impact – sont indispensables. Il s'agit de l'investissement le plus judicieux pour un impact optimal. Malheureusement, la plupart des systèmes de SEA actuels sont défaillants, conçus principalement pour la reddition de comptes plutôt que pour l'apprentissage nécessaire au développement et à la mise à l'échelle de solutions efficaces. Il est temps que cela change – et les bailleurs de fonds ont une responsabilité particulière.

Le problème : un système MEL défectueux

Prenons cet exemple courant : une organisation lance un nouveau programme éducatif assorti d’une longue liste d’indicateurs détaillés, axés sur le respect des exigences des bailleurs de fonds et le suivi des résultats plutôt que sur l’analyse des facteurs de réussite. Deux ans et d’innombrables feuilles de calcul plus tard, le programme n’a pas progressé. Les données restent lettre morte dans des rapports que personne n’utilise pour prendre des décisions. Parallèlement, l’équipe du programme soupçonne que certaines activités sont inefficaces, mais n’a pas le temps d’enquêter, car elle est trop occupée à collecter des données pour le prochain rapport.

Dans ce scénario, le suivi, l'évaluation et l'apprentissage (MEL) deviennent un exercice de conformité plutôt qu'un investissement stratégique visant à orienter l'amélioration des programmes et la prise de décision.

Ce système défaillant laisse les organisations dans l'une de ces trois situations :

• Trop de données collectées, dont une partie seulement est utilisée.
• Trop peu de données collectées, utilisées uniquement pour se conformer aux indicateurs de reporting prédéfinis
• Collecte de données erronées, utilisées pour des allégations trompeuses

Les organisations finissent par se sentir piégées : si elles n’utilisent pas les données collectées au-delà de la simple production de rapports, c’est du gaspillage ; si elles les utilisent, cela peut induire en erreur. Que faire ?

La solution : l’approche de l’IPA en matière d’évaluation et d’apprentissage axée sur l’apprentissage

L’évaluation et le suivi axés sur l’apprentissage inversent cette dynamique. Au lieu d’utiliser les données uniquement pour rendre compte d’indicateurs qui ne produisent pas d’informations pertinentes, ils génèrent les données adéquates pour améliorer les programmes et accroître leur impact.

Cette approche s'appuie sur les travaux de Dean Karlan et Mary Kay Gugerty. Défi Boucle d'or cet ouvrage préconise d'investir dans des données probantes adaptées, en alignant les approches d'apprentissage sur le niveau de maturité du programme.

L'IPA a établi le Unité des preuves adaptées (RFE) En 2017, nous avons décidé de donner suite à cet appel. Chez RFE, nous commençons par une question : de quoi cette organisation a-t-elle besoin d’apprendre dès maintenant ? Les réponses s’appuient sur :

• Les décisions que les activités d'apprentissage permettront d'éclairer
• Le niveau de maturité du programme
• Les approches les plus rentables pour générer cet apprentissage

Cette approche est transformatrice : elle aide les organisations à utiliser les données probantes pour apprendre, s'adapter et amplifier leur impact.

À quoi ressemble en pratique le MEL axé sur l'apprentissage

Cette approche repose sur trois principes fondamentaux :

Le rapport apprentissage/coûtAvant de recueillir des données, posez-vous la question suivante : Comment les données seront-elles utilisées ? Serviront-elles à éclairer une décision spécifique ou à contribuer à l’amélioration du programme ? Les coûts de collecte de données doivent être proportionnels à la valeur pédagogique. La priorisation est essentielle : concentrez-vous sur les données qui offrent le plus grand potentiel d’apprentissage.

Les premiers résultats constituent le point d'apprentissage idéalLes programmes permettent de mesurer l'évolution des connaissances, des attitudes, des pratiques ou des comportements bien avant l'obtention des résultats finaux. Ces indicateurs précoces évoluent rapidement, fournissent des signaux exploitables pour affiner les interventions et aident à déterminer si un programme est prêt pour une évaluation d'impact.

Une culture d'apprentissage axée sur le leadershipL’évaluation et l’apprentissage axés sur l’apprentissage fonctionnent lorsque le leadership valorise les décisions fondées sur des données probantes, créant ainsi un environnement propice à l’investissement des équipes dans l’apprentissage et à la mise en œuvre des conclusions. Cela implique de reconnaître ses erreurs et d’oser rectifier le tir.

En pratique, ces principes se traduisent par trois actions concrètes :

Collecte de données adaptéeCollectez les données dans la même proportion que vous les analysez, et analysez-les dans la même proportion que vous les utilisez pour prendre des décisions ou apprendre. Privilégiez les données qui présentent le plus grand potentiel d'apprentissage.

Approches par étapesAdaptez la méthodologie à l'étape du programme : les idées nécessitent un prototypage, les projets pilotes des retours d'information rapides, les programmes plus matures des estimations d'impact rigoureuses et les programmes déployés à grande échelle des données de qualité sur leur mise en œuvre. Un essai contrôlé randomisé (ECR) n'est pas toujours nécessaire. Se lancer directement dans une évaluation d'impact sans avoir préalablement réglé les problèmes méthodologiques gaspille des ressources et aboutit souvent à des résultats décevants.

Collaboration entre les équipes de suivi et d'évaluation et les équipes de programmeLes équipes de suivi, d'évaluation et d'apprentissage (MEL) doivent travailler en étroite collaboration avec les équipes de programme, en tant que véritables partenaires, non seulement pour générer des données pertinentes, mais aussi pour éclairer les décisions. Le MEL ne peut être cloisonné dans un département distinct.

Le rôle des bailleurs de fonds

Les partenaires de mise en œuvre ne peuvent pas transformer le MEL à eux seuls.

Les bailleurs de fonds ont un rôle essentiel à jouer dans cette transition. Leurs exigences en matière de rapports créent des incitations et façonnent la manière dont les données probantes sont collectées, utilisées et valorisées, instaurant ainsi une autre forme de responsabilité : celle qui encourage l’apprentissage, l’adaptation et la transparence.

Les bailleurs de fonds peuvent et doivent :

• Concevez des subventions axées sur l'apprentissage, et pas seulement sur la diffusion, et allouez du temps et un budget aux tests itératifs ;
• Adapter la méthodologie à l'étape, financer les méthodes de retour d'information rapide lors de l'élaboration de nouvelles interventions et financer des évaluations rigoureuses lorsque les programmes arrivent à maturité ;
• Modifier les exigences afin de privilégier la réflexion et l'adaptation plutôt que le reporting sur des indicateurs prédéfinis.

Lorsque les bailleurs de fonds incitent les programmes à s'étendre avant même de savoir ce qui fonctionne, ou exigent des évaluations d'impact avant que les programmes n'aient affiné leur approche, ils contribuent au dysfonctionnement du système.

Pour en savoir plus sur le rôle des bailleurs de fonds dans cette évolution, consultez notre publication. Favoriser l'apprentissage par étapes : Guide du bailleur de fonds pour maximiser l'impact.

Le parcours de RFE : Leçons tirées de notre travail

Chez RFE, nous avons intégré ces principes dans notre travail de conseil auprès de plus de 100 partenaires dans plus de 20 pays au cours des huit dernières années, en Afrique, en Amérique latine et au-delà, dans des contextes de développement et humanitaires.

Notre portefeuille a évolué : d’un soutien à des programmes spécifiques, nous sommes passés à une influence sur des initiatives plus vastes et à des partenariats avec des bailleurs de fonds et des responsables de la mise en œuvre pour l’ensemble de leurs systèmes de suivi, d’évaluation et d’apprentissage. RFE a collaboré avec : 

• Des fondations mondiales et régionales, notamment la Fondation LEGO en Afrique et VélezReyes+ en Amérique latine, pour structurer des systèmes d'apprentissage à l'échelle du portefeuille et des priorités d'investissement stratégiques.
• Des organismes de mise en œuvre en Amérique latine, en Afrique et en Asie, comme BRAC, Fundación Juanfe, Ubongo, Ei Mindspark et One Acre Fund, sont invités à intégrer le suivi, l'évaluation et l'apprentissage axés sur l'apprentissage dans leurs programmes, notamment par la conception de plans d'apprentissage, la fourniture d'une assistance technique, la mise en place de systèmes de tests A/B, la réalisation de recherches et de tests auprès des utilisateurs, et bien d'autres formes de conseil technique en matière de suivi, d'évaluation et d'apprentissage.
• Les gouvernements, notamment le ministère de l'Éducation du Ghana et l'Agence colombienne pour la petite enfance, intègrent le suivi, l'évaluation et l'apprentissage axés sur l'apprentissage dans leurs opérations grâce au renforcement des capacités et à un soutien technique, dans certains cas par le biais d'IPA. Laboratoires intégrés de preuves.

À travers toutes ces expériences, une vérité demeure constante : privilégier l'apprentissage est un investissement judicieux.

Pour en savoir plus sur le travail de RFE, consultez notre site Web.

Perspectives d'avenir : Pourquoi cela est plus important que jamais

Le secteur du développement est aujourd’hui confronté à de graves contraintes financières, ce qui accroît le risque qu’il s’obstine à utiliser un système de suivi et d’évaluation défaillant, qui privilégie la responsabilisation au détriment de l’investissement dans l’apprentissage.

Les programmes intégrant un suivi et une évaluation axés sur l'apprentissage permettent de détecter rapidement les problèmes et de s'adapter promptement. Ils évitent ainsi de gaspiller des ressources dans des approches inefficaces ou dans une collecte de données inutile et coûteuse qui ne correspond pas à leurs besoins d'apprentissage.

La technologie rend l'apprentissage plus abordable et plus rapide, et l'IA transforme rapidement le champ des possibles ainsi que les méthodes d'apprentissage et de prise de décision. Les tableaux de bord numériques permettent désormais aux équipes de programme de visualiser en quelques minutes les activités qui fonctionnent. La collecte de données mobiles permet de recueillir les commentaires des participants à un coût bien inférieur à celui des enquêtes traditionnelles. Enfin, les outils basés sur l'IA peuvent analyser de grands volumes de données qualitatives en quelques secondes.

Mais la technologie et l'IA doivent être ancrées dans des systèmes d'apprentissage et de données solides et adaptés — en renforçant les capacités et en améliorant l'infrastructure de données — afin que les organisations puissent tester davantage, apprendre plus vite et s'adapter avec confiance, tout en réduisant le coût par cycle d'apprentissage grâce à des approches adaptées.

Avec la raréfaction des financements et l'accélération des technologies et de l'IA, la question n'est plus de savoir si les organisations peuvent se permettre d'investir dans la formation, mais plutôt si elles peuvent se permettre de ne pas le faire.

Ce blog inaugure une série d'articles sur l'évaluation de l'apprentissage par l'expérience (MEL) en pratique. Restez à l'écoute pour les prochains articles.