Par Mauricio Romero, Justin Sandefur et Wayne Aaron Sandholtz

Note de l'éditeur : ce cross-post est apparu à l'origine sur le Blog du Centre pour le développement mondial

Nous répondons aux critiques de notre évaluation du programme scolaire de « partenariat » du Libéria, en distinguant les préoccupations légitimes concernant le programme de style charte lui-même - qui peut être transformé en hypothèses vérifiables - des limites méthodologiques à ce qu'une évaluation d'impact peut montrer.

Nous menons tous les trois un essai contrôlé randomisé du programme "Partnership Schools for Liberia" (PSL), qui est l'effort de la présidente Ellen Johnson Sirleaf pour introduire quelque chose qui ressemble aux écoles à charte de style américain ou aux académies britanniques dans le système éducatif sous-performant du Libéria. Les écoles à charte sont controversées presque partout, et dans certains cercles, les essais randomisés le sont aussi.

Récemment, deux groupes de défense – Action Aid et Education International – ont fait circuler un appel à propositions offrant aux chercheurs 30,000 XNUMX € pour "réaliser une enquête qualitative approfondie" du programme des écoles partenaires. Le document cherche explicitement à rejeter les résultats de l'ECR avant la fin de l'étude, affirmant qu '"il existe de sérieuses inquiétudes quant à savoir si l'évaluation du [programme] peut être vraiment objective ou générer un apprentissage utile".

Bien sûr, nous nous opposons à ce rejet général des preuves, et ci-dessous, nous proposons une réponse point par point aux critiques. Malheureusement, Action Aid et Education International ont tiré leurs conclusions politiques avant de collecter des données. Leur appel à propositions note que la recherche qu'ils financent informera une "campagne contre la privatisation et la commercialisation croissantes de l'éducation" et que "le rapport sera utilisé pour un travail de plaidoyer… pour contester les tendances à la privatisation". Nous convenons que ce que ces organisations décrivent est du plaidoyer et non de la recherche, car leurs conclusions sont ouvertement annoncées à l'avance.

Nous sommes également d'accord avec Action Aid et Education International sur des questions plus substantielles. L'initiative de l'école partenaire peut échouer. Et bon nombre des critiques soulevées ci-dessous reposent sur des prémisses factuelles solides. La principale différence est que nous ne lisons pas ces points comme des critiques de notre étude. Au contraire, bon nombre des points ci-dessous sont des préoccupations concernant le programme lui-même, dont nous partageons beaucoup - et nous pensons que le ministre de l'Éducation du Libéria, George K. Werner, les partage également, c'est pourquoi il a commandé une évaluation aléatoire. Nous recadrerions ces préoccupations sous forme d'hypothèses que nous avons explicitement conçues pour tester l'évaluation randomisée. Dans certains cas, les "critiques" réaffirment la motivation fondamentale du RCT.

Voici les critiques d'Action Aid et Education International, textuellement et non éditées (bien que réorganisées pour regrouper des commentaires similaires), avec nos réponses.

1. Les écoles partenaires coûtent très cher à gérer

"Les écoles de PSL reçoivent un financement significativement plus élevé (50 $ par enfant inscrit) que les écoles de contrôle du gouvernement auxquelles elles seront comparées."

"Les écoles de PSL bénéficient d'une attention politique et managériale nettement plus importante de la part du ministère."

Vrai! Contrairement aux écoles primaires publiques normales, le ministère a décrété que les écoles PSL doivent être faim à tous les niveaux scolaires, y compris l'éducation de la petite enfance. Fournir des services gratuits coûte de l'argent, tout comme tous les livres, la formation des enseignants et d'autres choses fournies par PSL. Fondamentalement, jusqu'à présent, tout l'argent supplémentaire dépensé pour le programme a été payé par des donateurs philanthropiques, et non par le gouvernement du Libéria.

Le fait que le programme coûte de l'argent n'est pas, en soi, un échec du RCT. Si un essai clinique d'un nouveau médicament qui coûte 1,000 20 $ par patient réduit l'incidence des maladies cardiaques de XNUMX %, nous ne déclarerions pas l'étude comme un échec. Nous évaluerions plutôt le médicament en fonction de sa rapport coût-efficacité comparatif. Existe-t-il des moyens moins coûteux d'obtenir la même réduction de 20 % des maladies cardiaques ? Si tel est le cas, les médecins devraient les prescrire à la place.

La même logique s'applique aux écoles partenaires au Libéria. Même si le RCT montre des gains d'apprentissage, il reste à se demander si les gains justifient le coût du programme.

Deux complications surviennent dans notre cas. Premièrement, très peu de "traitements" alternatifs pour accroître l'apprentissage au Libéria ont été rigoureusement testés. Dans un monde parfait, nous pourrions tester des interventions alternatives face à face avec des écoles partenaires dans le cadre de notre évaluation. Si d'autres bailleurs de fonds qui dépensent beaucoup pour l'éducation au Libéria souhaitent soumettre leurs programmes à cette comparaison directe, nous aimerions les inclure. (Sérieusement, USAID, UE et GPE : appelez-nous.)

La deuxième complication est que la mesure des coûts de ce programme est très délicate. Les philanthropes ont versé des millions dans ces écoles, sur l'hypothèse (quelque peu optimiste) que ces coûts seront amortis sur de nombreuses années et maintenus constants dans le cadre d'une expansion hypothétique du programme. En termes économiques, les bailleurs acceptent de payer des investissements de long terme qui représentent des coûts fixes pour PSL quelle que soit son ampleur, et les opérateurs affirment que leurs coûts de fonctionnement (ou variables) par élève sont assez faibles. En tant qu'évaluateurs, nous hésitons à prendre au pied de la lettre les responsables de la mise en œuvre lorsqu'ils signalent des coûts fixes très élevés et des coûts variables très faibles, tout comme nous ne prendrions pas leur parole au pied de la lettre s'ils réclamaient de gros avantages de leur programme sans preuve. Plus à venir à ce sujet dans les mois à venir.

2. Les opérateurs privés peuvent (illégalement) essayer d'exclure les étudiants les plus lents

"Les écoles PSL ont été autorisées à limiter la taille des classes à 45 - ainsi que les classes plus petites que les écoles témoins (et de nombreux enfants précédemment inscrits – probablement ceux issus de milieux plus défavorisés – ont donc été exclus à court terme)."

"Il existe des preuves que les prestataires sont sélectifs envers les enfants : les personnes inscrites sont arrivées selon le principe du "premier arrivé, premier servi", mais les informations dont disposent les parents sont asymétriques (les parents les mieux lotis arrivent en premier). Tous les enfants des écoles Bridge ont également été évalués et potentiellement reclassé."

Il est vrai que Bridge International Academies, qui gère 24 des 94 écoles PSL, a une autorisation spéciale pour limiter la taille des classes à 55 (et non 45) élèves, tandis que d'autres opérateurs peuvent limiter les classes à 65 élèves, bien que certains autorisent des classes plus grandes en pratique. .. Pour être clair, les admissions sélectives basées sur les frais ou l'aptitude académique sont explicitement interdites par les règles de PSL, et l'inscription doit se faire sur la base du premier arrivé, premier servi.

Les opérateurs respectent-ils ces règles et les enfants les plus pauvres bénéficient-ils vraiment de l'égalité d'accès ? C'est l'une des principales préoccupations que l'ECR a été conçu pour résoudre ; et nous dirions que cette question met en évidence une force plutôt qu'une faiblesse de l'évaluation.

La clé de notre stratégie ici est quelque chose qui s'appelle analyse en intention de traiter. L'idée de base est de suivre les élèves qui étaient dans une école donnée avant que l'on sache si l'école ferait partie du programme PSL. Cela signifie que nous suivons les élèves qui restent à l'école ainsi que ceux qui partent ou se font virer. Tous ces enfants qui étaient dans une école PSL l'année dernière comptent dans le groupe de traitement pour l'évaluation. Ainsi, tout opérateur qui pense pouvoir améliorer ses performances d'évaluation en rejetant les étudiants faibles se trompe terriblement. Cela signifie également que nous pouvons suivre exactement qui est inclus et qui est exclu, et tester si les élèves les plus pauvres ou les plus lents sont perdants, comme on le prétend.

Ce que nous savons jusqu'à présent, c'est que malgré les plafonds d'inscription dans les écoles PSL, elles ont considérablement augmenté les inscriptions par rapport aux écoles publiques ordinaires. L'enseignement gratuit semble être populaire et il y avait apparemment une capacité excédentaire dans les écoles publiques qui pourrait être comblée une fois PSL commencé.

Il reste à voir dans l'analyse en cours de nos données si les nouveaux élèves qui affluent vers les écoles PSL sont (a) plus riches ou mieux préparés, et (b) s'ils étaient auparavant désinscrits ou s'ils sont transférés d'autres écoles publiques.

3. Ce modèle ne peut pas évoluer

"Certains fournisseurs ont été autorisés à fixer des conditions sur les écoles qu'ils prendraient en charge (par exemple, Bridge a insisté pour que les écoles soient situées sur des routes accessibles, dans des zones regroupées avec de l'électricité et une bonne connectivité Internet. De telles conditions sont très atypiques)"

"Il existe également des preuves de la sélectivité des enseignants et des directeurs (les prestataires étant autorisés à retirer ceux qu'ils ne considèrent pas assez bons (qui sont transférés dans d'autres écoles publiques)"

C'est la première fois que nous entendons parler de demande d'électricité à l'avance, mais les autres points sont corrects, en particulier la demande de connectivité Internet 2G dans les écoles Bridge (ainsi que les écoles Omega) et la réaffectation des enseignants. Tous les « partenaires » privés du programme du Libéria avaient leur mot à dire sur l'endroit où ils opéreraient, et tous avaient une certaine capacité à réaffecter les enseignants qui n'étaient pas en mesure de passer un test du ministère. Notez que toutes les écoles partenaires au Libéria embauchent les enseignants syndiqués de la fonction publique qui travaillent déjà dans l'école, et ces enseignants ne peuvent pas être licenciés.

Dans le jargon de l'évaluation, ces deux préoccupations évoquent un écart possible entre validité interne et validité externe.

Le RCT est valide en interne en ce sens qu'il fournira une estimation fiable de l'effet sur les résultats d'apprentissage pour une population donnée d'élèves de la conversion d'une école publique normale en une école partenaire au cours du projet pilote 2016/17. Il s'agit en soi d'informations pertinentes pour les politiques. Le pilote est petit (moins de 3 % des écoles publiques), mais plus de 18 % de la population se trouve à moins de 5 km d'une école PSL. Mais la plus grande question politique au Libéria est de savoir si la conversion d'encore plus d'écoles publiques régulières en écoles partenaires augmenterait les scores.

Les écoles du projet pilote ont eu une longueur d'avance car elles ont pu réaffecter les enseignants peu performants et recruter de nouveaux enseignants parmi les récents diplômés des écoles de formation. Nous continuerons à suivre les réaffectations d'enseignants tout au long de l'évaluation, mais les données de base montrent qu'en moyenne, un seul enseignant par école de la liste des enseignants 2015/16 a été réaffecté à un autre endroit, et ce nombre est le même dans écoles de traitement et de contrôle. Le bridge (représentant un peu plus d'un quart du total des écoles de traitement) fait ici exception, avec en moyenne 3 réaffectations par école.

Tout comme la question de leur avantage financier, la question est de savoir si ce privilège pourrait être étendu à beaucoup plus d'écoles si le programme était élargi. S'il s'agit d'un jeu à somme nulle consistant à brasser des enseignants sous-qualifiés à travers le pays, c'est une source de préoccupation - un problème que nous avons prévu de mesurer dans l'évaluation.

De même, si les écoles partenaires ont simplement cueilli les fruits à portée de main cette année en travaillant dans des environnements plus faciles, cela augure également mal pour toute expansion future. En réalité, ce n'est pas clair. Certains opérateurs, comme Bridge et dans une moindre mesure Omega, ont fortement insisté pour travailler dans un éventail restreint d'écoles ayant de fortes exigences en matière d'infrastructures. Mais d'autres opérateurs se sont portés volontaires pour travailler dans des zones plus éloignées avec moins de ressources au départ (dans tous les cas, les écoles de traitement ont été randomisées parmi une liste finale d'écoles éligibles). La carte ci-dessous montre la répartition des écoles partenaires (c'est-à-dire de traitement) et publiques traditionnelles (de contrôle) à travers le pays.

Dans l'ensemble, les écoles partenaires du Libéria ne sont pas un échantillon aléatoire du pays, et elles ont repris des écoles publiques qui étaient un peu plus grandes et avaient de meilleures infrastructures que la moyenne nationale. Cependant, ils sont répartis dans 13 des 15 comtés du Libéria et sont concentrés de manière disproportionnée en dehors de Monrovia dans les comtés ruraux les plus pauvres, de sorte que l'évaluation pilote devrait donner une bonne idée de la capacité de ce modèle à réussir dans des environnements difficiles.

 

4. Les écoles partenaires enseigneront jusqu'au test

"Les indicateurs utilisés dans l'évaluation (probablement des variations sur l'EGRA / EGMA - Early Grade Reading / Maths Assessments) pour mesurer la littératie et la numératie sont susceptibles d'être prévisibles pour les prestataires privés, mais moins pour les écoles publiques (il y a donc un risque de distorsion par l'enseignement à l'épreuve)"

Enseigner au test est une préoccupation valable en général, mais pas une préoccupation sérieuse pour l'évaluation pour deux raisons. Premièrement, nous ne sommes pas d'accord sur le fait que l'enseignement à l'épreuve est un risque propre aux écoles partenaires. Il n'y a aucune raison pour que les prestataires privés soient plus susceptibles que les directeurs d'écoles publiques de conclure que les tests qui leur seront administrés pour l'évaluation à mi-parcours en 2017 pourraient ressembler aux tests qui leur ont été administrés lors de l'enquête de référence en 2016. Cela dit, nous nous sommes explicitement réservés le droit de modifier l'évaluation de l'apprentissage avant cette date, ou d'ajouter des modules entièrement nouveaux, juste pour laisser tout le monde deviner.

Conclusion

En résumé, nous partageons bon nombre des questions qui ont été soulevées par les détracteurs de l'initiative des écoles partenaires du Libéria. En effet, les principales préoccupations soulevées par les organisations de défense des droits sont une reformulation des questions centrales de l'évaluation : ce modèle est-il rentable par rapport à d'autres interventions éducatives possibles, ces écoles favoriseront-elles les élèves les plus riches ou les mieux préparés, et quelle est la valeur de ces interventions ? les écoles ajoutent-elles vraiment une fois que nous tenons compte des différences dans la composition des élèves ? Notre première série de données d'enquête de suivi sera collectée en juin, et nous pouvons commencer à répondre à ces questions.

Dans l'intervalle, la présidente Sirleaf et le ministre Werner méritent d'être félicités pour s'être engagés publiquement à retarder toute expansion majeure du programme jusqu'à ce que l'évaluation soit terminée. Le ministre Werner a déclaré dans un éditorial récent « …ce sont les premiers jours de PSL. Bien que je pense qu'il recèle un grand potentiel, mon équipe et moi sommes convaincus que le programme ne sera pas mis à l'échelle de manière significative tant que les données ne montreront pas qu'il fonctionne et que nous aurons la capacité au sein du gouvernement de le gérer efficacement.

Nous ne sommes pas assez naïfs pour penser que n'importe quel type de données apaisera tous les critiques d'initiatives de type charte comme celle-ci, mais nous attendons avec impatience un débat en cours qui est de plus en plus discipliné par les faits à mesure que les données proviennent de ces écoles pilotes.