Derrière chaque numéro d'un journal, il peut y avoir des centaines, voire des milliers, de conversations individuelles.

Il y a deux mois, j'ai quitté un emploi où j'avais passé 20 ans à concevoir et mener des évaluations de l'éducation chez Mathematica Policy Research. Les choses allaient bien dans le monde de l’évaluation d’impact. Le nombre d’études a augmenté rapidement dans de nombreux secteurs, dont l’éducation. Mais la frontière de production permettant de générer de nouvelles preuves est encore trop étroite. Nous consacrons trop de temps et d’efforts à créer des preuves sans générer suffisamment de consensus scientifique et sans constater suffisamment les changements politiques qui nous motivent à faire ce travail. Je suis venu à l'IPA pour aider à tirer parti de l'ampleur des centaines d'études rigoureuses passées et en cours dans de nombreux secteurs partout dans le monde que mènent l'IPA et ses partenaires, afin de générer un nouveau type de recherche : une recherche visant à améliorer la façon dont nous collectons et utilisons les données. pour répondre à des problèmes sociaux persistants comme la pauvreté. Dans mon nouveau rôle à l'IPA, je dirige une initiative de méthodes de recherche que je décris plus en détail ci-dessous.

L'IPA a déjà collecté des fonds pour impliquer divers chercheurs dans cet effort. Mais pourquoi devons-nous financer des efforts pour améliorer l’analyse, la mesure et le travail sur le terrain ? Nous avons beaucoup de choses à rechercher : avons-nous vraiment besoin de « recherche sur la recherche » ?

Nous avons besoin d'une poussée de recherche et de méthodes maintenant parce que la technologie et les outils pour faire des sciences sociales dépassent notre capacité à les utiliser à bon escient. La démocratisation des sondages rend la recherche par sondage à la fois meilleure et pire.

Nous avons besoin d'une poussée de recherche et de méthodes maintenant parce que la technologie et les outils pour faire des sciences sociales dépassent notre capacité à les utiliser à bon escient.

La technologie d'enquête devient moins chère et plus sophistiquée. N'importe qui peut désormais ouvrir un compte gratuit Survey Monkey ou Google Forms et commencer à bombarder les gens avec des questions mal formulées et mal conçues aussi facilement qu'ils peuvent suivre les bonnes pratiques d'enquête. Les serveurs Web deviennent moins chers et plus modulaires, ce qui rend les techniques de calcul intensives telles que l'analyse bayésienne et l'apprentissage automatique accessibles à tous, y compris à ceux qui pourraient tomber dans divers pièges éthiques, comme transformer les préjugés passés en algorithmes prédictifs.

Pendant ce temps, de plus en plus de chercheurs mènent des essais randomisés, mais la plupart d'entre nous suivent le même schéma consistant à tester une hypothèse à la fois en utilisant des méthodes fréquentistes classiques. Lorsque le but est de rejeter une hypothèse nulle à un seuil arbitraire de 0.05, la convention suivie pour une publication dans une revue académique, on succombe au p-hacking et au biais de publication. Les enquêteurs écrivent leurs propres enquêtes, chacun réinventant la roue, sans pouvoir puiser dans une bibliothèque d'instruments testés et validés. De plus en plus de personnes mènent des expériences sur le terrain sans réaliser à quel point il est important de faire des vérifications en amont et des audits de la qualité des données ou sans connaître les meilleures pratiques en matière de sélection, d'embauche, de recrutement et de rémunération des enquêteurs.

Nous devons développer, valider et forger un consensus sur la façon de mesurer des concepts difficiles à mesurer

Nous avons besoin de la prochaine génération de techniques d'enquête, d'observation méthodes, science ouverteet normes de publication des données pour résoudre des problèmes comme celui-ci et nous amener plus rapidement et plus efficacement aux preuves qui amélioreront les choix politiques et les résultats politiques. Nous devons développer, valider et forger un consensus sur la façon de mesurer des concepts difficiles à mesurer comme la violence conjugale»santé financière», ou l'apprentissage socio-émotionnel. Nous devons apprendre de la recherche dans d'autres disciplines et capitaliser sur les centaines d'études de terrain déjà réalisées et en cours pour mieux comprendre comment les enquêteurs peuvent influencer les mesures : ne pas considérer les enquêteurs comme de simples opérateurs d'enquête sur tablette, mais réfléchir plus profondément au processus qui se passe entre un répondant et un enquêteur lorsqu'ils posent des questions très personnelles. Nous devons utiliser ces connaissances pour développer de nouvelles façons rentables de garantir que les enquêteurs obtiennent les réponses les plus précises. Nous avons besoin de solutions technologiques pour faire de bonnes pratiques scientifiques comme l'enregistrement du plan de pré-analyse et la publication de données soignées, routinières et de haute qualité.

Depuis que j'ai rejoint l'IPA en tant que premier responsable de la recherche et des méthodes, j'ai passé beaucoup de temps à évaluer la qualité de chaque aspect de notre recherche et à aider les personnes intelligentes à concevoir la prochaine génération de méthodes de recherche d'évaluation. En collaboration avec des chercheurs de Northwestern Laboratoire de recherche sur la pauvreté mondiale et avec J-PAL et nos vastes réseaux de partenaires, l'IPA se lance dans une ambitieuse initiative de méthodes de recherche (en savoir plus ici) à trois brins :

1. Améliorer les méthodes que nous utilisons pour concevoir et analyser les résultats d'expériences sociales
2. Concevoir et valider des solutions intelligentes techniques d'enquête pour mesurer des concepts insaisissables comme la santé financière, la violence conjugale et l'apprentissage socio-émotionnel
3. Mener des expériences pour tester les innovations dans mise en œuvre sur le terrain

IPA et ses partenaires ont des centaines d'ECR terminés et des centaines d'autres en cours dans 22 pays. Ceux-ci représentent des opportunités d'apprendre des leçons à travers les études

IPA et ses partenaires ont des centaines d'ECR terminés et des centaines d'autres en cours dans 22 pays. Celles-ci représentent des opportunités de tirer des leçons à travers les études, d'intégrer des mini-expériences dans la recherche en cours, et de conserver et cataloguer les données. Il s'agit d'un travail lourd qui nécessitera une coopération au-delà des frontières des organisations, des pays et des disciplines, mais le résultat sera une nouvelle génération de recherche et une foi plus forte dans ce que des données soigneusement collectées et analysées peuvent nous dire sur la voie à suivre.

Quelle est la place de la communauté de recherche au sens large dans cet effort ? Les chercheurs travaillant actuellement avec l'IPA peuvent postuler pour fonds compétitifs pour de petites subventions pour intégrer des expériences méthodologiques dans vos recherches en cours. Il peut s'agir de tests rigoureux des effets d'incitations alternatives au paiement des enquêteurs, d'expériences d'incitation des répondants ou de tests de méthodes de conception d'enquête innovantes. Nous avons terminé une première série de soumissions, mais acceptons les candidatures sur une base continue jusqu'au 31 décembre 2019. Nous recrutons également un Chercheur doctorant mener des études et des travaux sur l'initiative des méthodes de recherche ainsi qu'un directeur de la mesure de la pauvreté. (je cherche aussi un Data Scientist et les coordonnateurs techniques régionaux en Kenya ainsi que Ouganda– merci de postuler ou de partager les offres d’emploi avec votre réseau). Si vous êtes un donateur ou un décideur politique, vous devriez me contacter directement avec des idées, des suggestions ou des reproches, que ce soit ici sur Twitter, or email. Dans les mois à venir, nous déploierons d'autres aspects de cette initiative et publierons des mises à jour ici dans ce blog.