L'administration Obama – un groupe presque aussi geek que nous – est d'accord avec une évaluation rigoureuse de la politique sociale. Peter Orzag, directeur du Bureau de la gestion et du budget, a récemment écrit cette,

Il existe des moyens rigoureux d'évaluer si les programmes fonctionnent. Mais trop souvent, de telles évaluations n'ont pas lieu. […] Cela doit changer […] Dans la mesure du possible, nous devrions concevoir de nouvelles initiatives pour créer des données rigoureuses sur ce qui fonctionne, puis agir sur les preuves qui émergent – ​​élargir les approches qui fonctionnent le mieux, affiner celles qui obtiennent des résultats mitigés, et fermer ceux qui échouent.

Oui monsieur.

Mais Lisbeth Schorr, senior fellow au Centre d'étude de la politique sociale, a contesté la position de l'administration sur la politique fondée sur des preuves :

[D]ependant ce que l'administration considère comme des "preuves solides", ces efforts risquent de saboter ou de marginaliser certaines des tentatives les plus innovantes pour résoudre des problèmes sociaux insolubles. […] Je crains qu'en définissant ce qui constitue « la meilleure preuve disponible » d'efficacité, l'OMB et les agences fédérales ne suivent l'approche restrictive de […] insistant pour que le soutien public et philanthropique ne soit accordé qu'aux programmes dont il est prouvé qu'ils sont fondés sur des preuves. par des méthodes d'évaluation expérimentales, impliquant de préférence une affectation aléatoire des participants à des groupes expérimentaux et témoins.

(Vous pouvez trouver le texte intégral de son article dans le numéro du 26 août de Education Week ici, mais c'est uniquement par abonnement. Désolé!)

D'après notre lecture, Mme Schorr semble avoir deux problèmes. Premièrement, elle soutient que les méthodes d'évaluation expérimentales ne peuvent pas être utilisées pour évaluer "les stratégies les plus prometteuses [qui] sont susceptibles d'être complexes et fortement dépendantes de leur contexte social, physique et politique". Deuxièmement, elle affirme que les partisans de la politique fondée sur des preuves pensent que les méthodes expérimentales sont la seule et unique approche de l'évaluation des politiques sociales.

Si ces deux affirmations étaient vraies, ce serait vraiment préoccupant. Chez IPA, cependant, nous les contestons tous les deux. Notre réponse, publiée dans le numéro du 23 septembre d'Education Week en tant que Lettre à l'éditeur, est reproduit ci-dessous.

Pour l'éditeur:

Chez Innovations for Poverty Action, nous ne sommes pas d'accord avec l'évaluation de Lisbeth B. Schorr selon laquelle des méthodes d'évaluation rigoureuses entraveront l'innovation en matière de politique sociale. En fait, les essais randomisés offrent la meilleure chance de générer des leçons sur ce qui fonctionne.

Les arguments de Mme Schorr dans "Les réformes innovantes nécessitent un système de notation innovant" (26 août 2009) reflètent certaines idées fausses courantes sur les essais contrôlés randomisés. Contrairement à ses affirmations, rares sont ceux qui soutiendraient que ceux-ci devraient être appliqués universellement. Au contraire, les défenseurs soutiennent leur utilisation stratégique pour fournir des preuves sur l'opportunité et la manière d'étendre les programmes susceptibles d'améliorer la vie de nombreuses personnes. Read India, par exemple, un programme élaboré à partir d'évaluations aléatoires, a eu un impact positif sur 21 millions d'enfants bénéficiant de cours de rattrapage en alphabétisation.

Loin d'inhiber l'innovation, les essais contrôlés randomisés permettent aux décideurs de tester de nouvelles idées avant de prendre des décisions de dépenses massives. Ils peuvent également fournir la preuve que des idées particulières obtiennent des résultats sans avoir à se fier aux modes ou à la rhétorique.

L'application d'essais contrôlés randomisés n'est pas non plus aussi restreinte que le laisse entendre Mme Schorr. Aujourd'hui, les chercheurs sont en mesure de tester des ensembles complexes d'interventions et de processus dynamiques. Un exemple de notre recherche, au Ghana, mesurera l'efficacité d'un "stratégie d'épicentre", ou un ensemble de programmes de développement déterminés par la communauté. Les essais randomisés sont bien adaptés à ce type d'évaluation et sont particulièrement utiles pour identifier les impacts de combinaisons particulières d'interventions complémentaires.

Bon nombre des arguments de Mme Schorr au sujet de la nécessité d'innover semblent appuyer l'utilisation d'essais contrôlés randomisés bien menés, qui se caractérisent par une compréhension approfondie d'un programme. La réplication des évaluations dans de multiples contextes est également essentielle pour aider les communautés locales à adapter les programmes réussis à leur contexte.

Nous appuyons l'utilisation accrue de politiques fondées sur des données probantes. À maintes reprises, lorsque les gens ont besoin de résultats précis, ils se tournent vers des essais randomisés.

Delia Gallois

Directeur Général
IPA - Innovations pour l'action contre la pauvreté
New Haven, Connecticut.