Note de l'éditeur : il s'agit d'une publication croisée avec le blog RTI.

Contexte, mécanismes et résultats de l'intervention d'alphabétisation HALI

 

Si le mot « science » dans le terme « sciences sociales » signifie ce que je pense que cela signifie, nous, les spécialistes des sciences sociales, devrions développer des modèles sur la façon dont nous pensons que le monde fonctionne, les tester avec des données et les affiner. Mais la multitude de résultats des évaluations d'impact dans l'éducation internationale ressemble souvent à un catalogue (si nous avons de la chance, une méta-analyse) des tailles d'effet, et non à une véritable tentative de comprendre les phénomènes que nous étudions. Pour améliorer notre compréhension, nous devons mieux tirer les enseignements des évaluations d'impact.

La force des évaluations d'impact (en particulier des ECR) est leur capacité à tirer des conclusions causales solides sur les résultats qui résultent d'un projet ou d'un programme. Ils peuvent vous dire si des améliorations de l'apprentissage ont été car de votre intervention. L'inconvénient est que la conclusion causale ne s'applique qu'à une version spécifique de la conception du programme, mise en œuvre dans un contexte. Vous ne savez pas aussi sûrement si le projet fonctionnerait ailleurs ou sous une forme légèrement modifiée. Il est important de comprendre ces questions de contexte et de conception lors de la formulation de politiques fondées sur des données probantes. Nous devons savoir si un projet fonctionnera dans différents contextes, par exemple dans d'autres pays ou d'autres régions du même pays. Nous devons savoir si le contexte du projet pilote impliquait certaines conditions habilitantes (par exemple, une gestion scolaire solide) qui doivent être en place pour que l'intervention fonctionne. Nous devons également comprendre les aspects clés de la conception d'un programme qui sont essentiels à son succès. Ceci est utile, par exemple, si nous voulons rendre le programme plus rentable en réduisant les composants périphériques. Une compréhension des éléments clés de la conception est particulièrement cruciale lorsqu'un programme est étendu et intégré dans un système éducatif. Dans ce cas, certains changements dans la conception du projet sont nécessaires, par exemple pour s'adapter à une institution de mise en œuvre disposant de moins de ressources et de capacités inférieures à celles disponibles lors du projet pilote.

Nous devons nous assurer que « l'intervention » fonctionnera lorsqu'elle ne sera plus une intervention mais une partie intégrante de l'activité de routine d'un ministère de l'éducation.

Ces questions ont été disséquées lors du récent lancement du document de lancement du Centre d'excellence pour l'impact et l'apprentissage du développement (CEDIL), une initiative financée par le DFID pour développer et tester des méthodes innovantes d'évaluation et de synthèse des preuves. Un article de Calum Davey, James Hargreaves et collègues¹ fournit un excellent cadre pour réfléchir au transport des preuves d'un contexte à un autre. Ils soulignent que la plupart des interventions de développement visent à atteindre la « fidélité de la forme » - la mise en œuvre d'un ensemble de composants comme prévu. Cependant, la tension entre reproduire fidèlement une intervention « éprouvée » et l'adapter à un nouveau contexte pose problème. Au lieu de cela, la «fidélité de la fonction» peut être un objectif plus important. Il s'agit de s'assurer que l'intervention a le même effet dans le nouveau contexte. Ce concept est important pour transférer une intervention d'un contexte à un autre, et en particulier lors de son intégration dans un système. Cependant, la réalisation de la fidélité de la fonction n'est possible que lorsque vous disposez d'une théorie informative sur le fonctionnement de l'intervention. Une théorie nous aide à atteindre la « fidélité de la fonction » - pour nous aider à garantir qu'une intervention aura l'effet escompté - en identifiant les mécanismes par lequel l'intervention fonctionne et les caractéristiques de la contexte qui déclenchera ou permettra au mécanisme de fonctionner. Les évaluations sont plus instructives lorsqu'elles rendent compte des aspects clés du contexte et des mécanismes ainsi que des résultats obtenus. L'approche contexte-mécanismes-résultats de la communication des résultats de l'évaluation a une longue histoire² ainsi que ses partisans récents.

Le projet HALI et la théorie des interventions en littératie

En utilisant l'approche contexte-mécanismes-résultats, nous avons tenté d'ajouter à la théorie des interventions en alphabétisation dans notre évaluation randomisée des Projet d'alphabétisation HALI. Nous avions précédemment montré qu'un programme de le perfectionnement professionnel des enseignants avec un soutien par SMS a amélioré les résultats des enfants en lecture. Nous avions également identifié les aspects clés du contexte de cette intervention avec des observations en classe préalables qui nous ont dit que le langage oral a été privilégié par rapport à l'interaction avec le texte et à la décomposition des mots en lettres et en sons. Dans un récent papier, avec Sharon Wolf, Liz Turner et Peggy Dubeck, nous avons examiné les mécanismes par lesquels l'intervention en littératie a agi - qu'est-ce que les enseignants et les élèves faisaient différemment pour améliorer l'apprentissage? Nous avons constaté que l'exposition au texte - en particulier l'affichage de plus d'imprimés dans la salle de classe et le fait de donner aux élèves plus de temps pour lire - a augmenté à la suite de l'intervention et a été associée à un meilleur apprentissage. Nous avons également constaté que les enseignants passaient plus de temps à se concentrer sur les lettres et les sons, mais ce changement n'était pas associé aux résultats d'apprentissage.

L'approche contexte-mécanismes-résultats permet, je le suggère, une conclusion plus utile et transportable de notre étude. Nous n'offrons pas de conclusion prescriptive basée sur la fidélité de la forme, telle que "nous recommandons aux autres de faire ce que nous avons fait - mettre en œuvre une intervention de formation des enseignants avec des ateliers semestriels, 186 plans de cours et un support par SMS". Au lieu de cela, notre conclusion permet à d'autres de cibler la fidélité de la forme : "là où l'enseignement de la langue orale est dominant dans les salles de classe (contexte), une intervention d'enseignement de la littératie qui augmente les interactions avec le texte (mécanismes) améliorera les compétences en lecture (résultats)". À certains égards, il s'agit d'une contribution modeste à la théorie des interventions en alphabétisation et les experts ne seront pas surpris par notre conclusion. Mais l'amélioration de l'enseignement de l'alphabétisation est complexe et peu d'interventions dans les milieux à faible capacité aboutissent à ce que les enseignants mettent en œuvre tout ce qu'ils apprennent en formation. Dans cet esprit, les preuves empiriques qui nous aident à concentrer nos efforts sont certainement les bienvenues.

Construire des théories en éducation internationale

Comment le domaine de l'éducation internationale peut-il mieux apprendre des évaluations ? L'un des défis est que la plupart des évaluations sont motivées par la responsabilisation. Les donateurs, les responsables de la mise en œuvre et les autres parties prenantes (à juste titre) veulent savoir avant tout si l'intervention a « fonctionné ». Mais des extensions relativement simples des évaluations pour la redevabilité peuvent nous aider à en savoir plus. Au niveau le plus élémentaire, les évaluations peuvent faire plus pour comprendre si les interventions sont mises en œuvre avec une fidélité adéquate avant d'essayer de comprendre leur impact. 

Pourquoi consacrer d'énormes ressources à l'évaluation du rendement des élèves pour découvrir que les enseignants n'étaient pas disposés à mettre en œuvre votre intervention en premier lieu ?

L'augmentation de l'exposition des élèves au texte a été un facteur critique dans l'amélioration des résultats en littératie des élèves dans le cadre de l'intervention HALI.

Au-delà des questions de mise en œuvre, nous pouvons faire plus pour comprendre les mécanismes par lesquels les interventions agissent et les contextes qui les permettent ou les déclenchent. Cela peut être fait par des mesures quantitatives des processus clés (comme dans notre article) ou par des approches à méthodes mixtes, en utilisant des données qualitatives pour comprendre comment les interventions ont fonctionné. Nous pouvons également mettre en place des études dans le but explicite de tester et de développer quelques éléments d'une théorie, plutôt que de procéder à une évaluation globale du programme. Il existe également d'autres approches pour comprendre les mécanismes. Des essais multi-bras qui varient systématiquement les paramètres pour comprendre comment les choses fonctionnent, études de cas et expériences sur les mécanismes. La boîte à outils est grande et en expansion.

Un obstacle à l'étude des mécanismes est qu'ils sont nombreux. La création d'une théorie du changement pour les interventions sociales complexes - et le terme "intervention sociale complexe" s'applique à presque tout dans l'éducation - aboutit soit à une forêt déroutante de cases et de flèches, soit à une simplification banale. Cependant, un peu de recherche et de réflexion préalables peuvent aider à identifier les mécanismes clés sur lesquels se concentrer, en posant des questions telles que « Quel est le plus grand changement requis dans le comportement ? » » et « Quels changements sont susceptibles de faire la plus grande différence dans les résultats ? Il est également utile d'avoir une théorie flexible qui peut être mise à jour au fur et à mesure que les données sont collectées et que les expériences des exécutants sont rapportées. Cela peut prendre quelques itérations, mais l'identification des mécanismes candidats devrait être réalisable dans toute évaluation.

Si vous aviez besoin d'être convaincu, j'espère vous avoir persuadé que nous devons mieux comprendre comment les choses fonctionnent - pas seulement si elles fonctionnent - et nous assurer que nous avons les outils pour le faire. En plus de fournir des informations pour la reddition de comptes, nous devons sonder plus avant, dans la boîte noire des mécanismes. Si nous nous soucions de nos évaluations, nous devons les regarder dans les yeux et leur dire qu'elles sont plus qu'une simple taille d'effet. Nous devons construire des théories, tester des hypothèses, des scientifiques curieux. Cette orientation doit garantir que les évaluations produisent des connaissances authentiques, généralisables et utilisables. Sur la base d'une compréhension des mécanismes clés et des contextes qui les déclenchent, la conception des programmes pourrait être plus efficace et mieux adaptée aux conditions locales. En bref, les évaluations basées sur la théorie améliorent la pratique. Du moins en théorie.