Type(s) de services RFE : Tests A/B, assistance technique de suivi

Les organisations doivent relever le défi de promouvoir une culture et de renforcer les capacités institutionnelles d'apprentissage continu, moteur de l'amélioration des programmes. Les entreprises EdTech sont bien placées pour relever ce défi en exploitant leur infrastructure numérique pour générer et exploiter des données exploitables et prendre des décisions qui améliorent les résultats d'apprentissage. Mentu a développé Shaia, une plateforme web qui aide les enseignants à gagner en efficacité et en efficience au quotidien, en fournissant des ressources basées sur l'IA qui contribuent à améliorer les pratiques en classe et les résultats d'apprentissage. Le défi consistait à développer une approche structurée et l'infrastructure technologique nécessaire pour mener des cycles rigoureux de tests A/B afin de permettre l'amélioration continue de Shaia.

Grâce à la Partenariat pour la technologie dans l'éducation (P4T-Ed) Dans le cadre de cette initiative, l'IPA s'est associée à Mentu pour renforcer les capacités internes et les systèmes de données nécessaires à la réalisation de cycles de tests A/B rapides. Cette collaboration a suivi une approche progressive, commençant par la conception d'une feuille de route d'apprentissage pour identifier les besoins clés et guider l'expérimentation, puis par la mise en place des systèmes et processus nécessaires à sa mise en œuvre.

La phase initiale a consisté à élaborer la théorie du changement de Shaia, à prioriser les idées de tests A/B selon un cadre de rentabilité et à identifier les lacunes de l'infrastructure de données existante de Mentu afin de faciliter l'expérimentation. Lors de la mise en œuvre de la feuille de route d'apprentissage, l'IPA a accompagné Mentu dans le choix et l'intégration d'un outil de tests A/B, l'a guidée dans l'analyse et la visualisation des données et a interprété les résultats des expériences pour éclairer la prise de décisions fondées sur des données probantes.

Cette collaboration a permis d'élaborer une théorie du changement qui a permis de cartographier la manière dont les fonctionnalités de Shaia pourraient améliorer les pratiques pédagogiques et, in fine, les résultats des étudiants. Afin de vérifier si les principaux résultats se déroulaient comme prévu, l'IPA a défini un ensemble d'indicateurs de suivi et identifié des sources de données au sein du système Mentu, ce qui a permis des expérimentations ultérieures. Sur cette base, nous avons élaboré une feuille de route de quatre expérimentations axées sur l'élargissement de la portée des utilisateurs, l'optimisation de l'impact de la plateforme et l'optimisation des coûts.

L'intégration d'une plateforme de tests A/B et le développement d'un tableau de bord de suivi ont permis à Mentu de concevoir, d'exécuter, de suivre et d'analyser rigoureusement les tests A/B. Grâce à la mise en œuvre guidée de son premier test A/B, axé sur l'augmentation de l'utilisation d'une fonctionnalité de la plateforme par les enseignants, Mentu a acquis une expérience pratique tout au long du cycle de test et a établi des protocoles pour les tests futurs. Les enseignements tirés de ce test A/B ont directement permis d'améliorer concrètement Shaia.

Mentu dispose désormais de processus et de systèmes institutionnalisés pour tester en continu les innovations, mesurer les premiers résultats liés à leur impact et prendre des décisions fondées sur des données probantes. Cette capacité lui permet d'optimiser la rentabilité de Shaia en investissant dans des améliorations qui améliorent visiblement les résultats d'un plus grand nombre d'enseignants et d'élèves en Amérique latine.

Partenaire de mise en œuvre