La Research Methods Initiative produit et finance des recherches visant à améliorer les méthodes et la mesure des résultats clés de la réduction de la pauvreté dans le monde.
IPA gère plus de 300 études actives dans plus de 20 pays, dirigées par plus de 575 chercheurs, et le Global Poverty Research Lab (GPRL) est un centre universitaire qui utilise des preuves empiriques pour relever les défis de la lutte contre la pauvreté et améliorer le bien-être dans le monde en développement.
Avec un tel volume de recherche, IPA et le GPRL ont été confrontés à des questions récurrentes concernant les meilleurs moyens d'assurer la qualité et la cohérence des études de terrain.
La Research Methods Initiative a été créée pour aider à répondre à ces questions en concevant et en mettant en œuvre des études méthodologiques dans de nombreux projets, en créant et en collaborant avec un réseau de chercheurs intéressés et en développant des produits techniques et des formations. Les recherches d'IPA et du GRPL éclairent les politiques, mais la recherche quantitative peut être biaisée sans une mesure et une estimation minutieuses. L'amélioration de ces méthodes et outils de mesure améliorera la qualité des données, favorisera l'innovation dans les méthodes et les mesures et renforcera la confiance dans les résultats de la recherche.
L'Initiative sur les méthodes de recherche examine de manière exhaustive les sources d'erreur de mesure dans les études de recherche, notamment dans la conception des questionnaires, l'échantillonnage, la mise en œuvre du travail sur le terrain et la validation des indicateurs clés. L'initiative est organisée autour de trois thèmes : (1) Conception de la recherche, (2) Conception de questionnaires et (3) Mise en œuvre du travail sur le terrain et qualité des données.
Thème 1 : Conception de la recherche
Au cœur de l’analyse empirique se trouve le problème de l’établissement de relations causales dans les données que nous collectons et à partir desquelles nous pouvons formuler des recommandations politiques efficaces. Les essais contrôlés randomisés ont fourni un nouvel outil important pour aborder l’identification dans la conception de la recherche, mais nous pouvons en apprendre davantage. Des exemples de travaux dans ce thème incluent les innovations dans les conceptions d'ECR, les implications des différentes stratégies d'échantillonnage et la puissance statistique dans les conceptions de recherche, et la manière dont nous pouvons concevoir pour la réplication et l'échelle.
Thème 2 : Conception et mesure du questionnaire
Ce thème se concentre sur la manière dont les instruments d'enquête sont conçus et sur les conséquences des choix alternatifs qu'un chercheur peut faire dans la manière dont les données sont collectées. Les erreurs de mesure peuvent biaiser des variables clés, ce qui a des conséquences importantes non seulement sur la représentation des caractéristiques au niveau de la population, mais également sur les relations empiriques estimées. Des exemples de travaux dans le cadre de ce thème comprennent l'estimation des biais relatifs dans des conceptions de questionnaires alternatives à partir de périodes de rappel, de la formulation des questions, de règles de substitution et d'unités d'analyse alternatives. Nous explorerons également des stratégies et technologies alternatives pour capturer des concepts difficiles à mesurer.
Thème 3 : Mise en œuvre du travail de terrain et qualité des données
Le thème 3 se concentre sur les décisions de mise en œuvre qui limitent les erreurs de mesure non aléatoires dans les données collectées lors du recrutement, de la formation, du suivi et de la validation des données. Les études menées sous ce sous-thème ont le potentiel de fournir des informations sur les marchés du travail des enquêteurs, des informations interdisciplinaires sur les entretiens personnels, ainsi que des outils pratiques à intégrer en tant que meilleures pratiques au sein de l'IPA et d'autres organisations de collecte de données. Des exemples de travaux menés sous ce thème explorent les effets des enquêteurs, notamment la manière dont le recrutement, la formation et la motivation des enquêteurs améliorent la qualité des données. L'Initiative sur les méthodes de recherche facilite la normalisation des méthodes d'assurance qualité de l'IPA et étudie les effets des anciens et des nouveaux outils de qualité des données. Les chercheurs souhaitent savoir quel impact ces outils de qualité des données ont sur la fiabilité des données. Les outils comprennent des visites d'observation, des audits audio, des contrôles arrière, des contrôles à haute fréquence, des rapports de surveillance nocturnes et un apprentissage automatique pour reconnaître la falsification des données.
L'Initiative sur les méthodes de recherche s'appuie sur les programmes sectoriels de l'IPA, tels que Inclusion Financière et La protection sociale, pour étudier et améliorer les performances des modules sectoriels. Des recherches plus granulaires sont également possibles, telles que la manière dont la modification de la formulation d'une question d'enquête particulière affecte les réponses.
En s'appuyant sur la richesse des connaissances locales et de l'expérience d'enquête qu'IPA a acquise par le biais de ses bureaux de pays, la Research Methods Initiative ouvre la voie au développement d'outils de mesure précis et normalisés pour les études anti-pauvreté.
Méthodes d'enquête téléphonique
À partir de 2020, l’IPA ainsi que de nombreux autres organismes de recherche ont répondu à la pandémie de COVID-19 en déplaçant la quasi-totalité de sa collecte de données sur le terrain vers des méthodes à distance, principalement des entretiens téléphoniques assistés par ordinateur (ITAO). Cela a nécessité d'adapter nos méthodes de formation et de contrôle de la qualité aux services bancaires par téléphone virtuel, avec des enquêteurs travaillant à domicile, avec une connectivité parfois limitée. Cela a également nécessité de réorganiser la manière dont nous concevons et mettons en œuvre les questionnaires.
Avec le soutien généreux du Global Poverty Research Lab de l'Université Northwestern, l'IPA a rassemblé des preuves et des meilleures pratiques et développé de nombreux outils et ressources pour soutenir la collecte efficace de données de haute qualité. Cette page est de partager ce que nous avons développé, appris et sommes en train d'apprendre en surveillant continuellement la qualité et en menant des expériences pour améliorer les méthodes pour le réseau de chercheurs de l'IPA et pour le reste de la communauté de recherche.
Projets soutenus par le Fonds de compétition des méthodes de recherche 2019
Il a dit, elle a dit : Tester les effets des répondants dans les rapports sur le revenu des ménages en Ouganda
Des chercheurs: Nathan Fiala (Université du Connecticut et RWI) et Lise Masselus (RWI)
Theme: Mise en œuvre du travail sur le terrain et qualité des données
L'obtention de données fiables sur le revenu des ménages et des individus et la compréhension de la qualité de ces données sont importantes pour la recherche et les politiques. Des recherches antérieures ont trouvé des preuves de fausses déclarations parce que, par exemple, les maris ou les femmes individuellement peuvent ne pas avoir toutes les informations en raison de la dissimulation ou de la thésaurisation des revenus, ou un conjoint peut ne pas souhaiter partager librement des informations pendant que l'autre est présent. Une partie du problème pour les chercheurs consiste à décider quel membre du ménage interroger ou s'il faut engager le coût d'un entretien avec plus d'une personne par ménage et, le cas échéant, s'il faut les interroger ensemble ou séparément. Cette étude randomise le répondant dans un ménage pour un échantillon d'environ 3,000 200 ménages dans XNUMX villages de l'Ouganda rural. Les résultats apporteront de nouvelles preuves à la question des effets sur les répondants, permettant aux chercheurs d'évaluer plus précisément les compromis de biais de coût associés aux différentes stratégies de collecte de données.
Rappel total : durée par rapport à la fréquence des enquêtes pour mesurer la recherche d'emploi, l'emploi et les revenus au Pakistan
Des chercheurs: Erica Field (Université Duke), Rob Garlick (Université Duke) et Kate Vyborny (Université Duke)
Theme: Mise en œuvre du travail sur le terrain et qualité des données
Des enquêtes plus courtes et plus fréquentes améliorent-elles la qualité de la mesure des résultats sur le marché du travail ? Qu'en est-il de la quantité de détails dans le questionnaire lui-même ? À l'aide d'un échantillon de 10,000 XNUMX répondants à une enquête par panel au Pakistan, les chercheurs étudient comment les variations des périodes de rappel, de la fréquence des enquêtes et des détails du questionnaire influencent les mesures de la recherche d'emploi, de l'emploi et des revenus. L'étude compare les différentes approches de collecte de données d'enquête aux données administratives comme référence. Les résultats contribueront à fournir des preuves sur la manière dont la fréquence, la durée et le détail des enquêtes influencent la mesure des résultats et les effets estimés du traitement à partir des interventions de recherche d'emploi et d'emploi.
Utilisation de l'apprentissage automatique pour améliorer la mesure des valeurs foncières en République démocratique du Congo
Chercheur: Augustin Bergeron (Université Harvard)
Theme: Conception et mesure du questionnaire
Les villes des pays en développement manquent souvent de capacité financière pour financer les biens publics. La fiscalité foncière a été identifiée comme une source de revenus prometteuse pour les villes du monde en développement : elle génère des recettes fiscales locales, est relativement efficace et peut être progressive et capter la croissance des valeurs immobilières. Cependant, de nombreux gouvernements ne perçoivent pas efficacement les impôts fonciers parce que les rôles d'évaluation foncière sont absents ou incomplets. Cette étude utilise l'apprentissage automatique pour construire des rôles d'évaluation des propriétés dans des contextes où les informations sur les valeurs des propriétés sont limitées. À l'aide d'un échantillon de formation de 2,000 48,000 propriétés, les chercheurs mettent en œuvre des modèles d'apprentissage automatique et de vision par ordinateur qui utilisent soit des mesures de propriété et la qualité du quartier, soit des caractéristiques visuelles des propriétés pour prédire les valeurs de XNUMX XNUMX propriétés à Kananga, en République démocratique du Congo (RDC).
Détection des biais dans les mesures observationnelles à l'aide d'évaluations randomisées antérieures
Des chercheurs: David Bernard (Paris School of Economics), Gharad Bryan (London School of Economics), Sylvain Chabé-Ferret (Toulouse School of Economics), Jonathan de Quidt (Institute for International Economic Studies, Stockholm University), Greg Fischer (Y Analytics et London School of Economics), Jasmin Fliegner (J-PAL, MIT), Roland Rathelot (Université de Warwick)
Theme: Conception de la recherche
Les partisans des essais contrôlés randomisés (ECR) soulignent que pour identifier les relations causales avec les méthodes d'observation (non-ECR), il faut s'appuyer sur des hypothèses non vérifiables, généralement sur le processus non observable qui détermine le statut de traitement des participants à l'étude. Les chercheurs ont essayé de trouver des moyens de tirer parti des ECR pour estimer le biais associé aux méthodes alternatives qui auraient été utilisées si la randomisation n'avait pas été possible. Dans ce projet, les chercheurs développent une méthode standardisée et évolutive pour estimer le biais dans les méthodes d'observation qui peuvent générer de grandes quantités de preuves empiriques pour répondre à cette question ; rassembler les données publiées des ECR menés au cours des 20 dernières années, en se concentrant spécifiquement sur les essais avec une observance imparfaite du traitement ; et la mise en œuvre de nouvelles méthodes pour comprendre la taille et la direction du biais attendu dans les études d'observation, et comment le biais dépend des caractéristiques mesurables des programmes et des paramètres.
Mesurer la pauvreté par l'évaluation par les pairs en Côte d'Ivoire
Des chercheurs: Pascaline Dupas (Université de Stanford), Marcel Fafchamps (Université de Stanford), Deivy Houeix (MIT)
Theme: Conception et mesure du questionnaire
L'identification précise des personnes vivant dans la pauvreté - un processus connu sous le nom de ciblage - est une tâche importante et difficile pour les chercheurs qui étudient les interventions de lutte contre la pauvreté. Ce projet étudie la qualité des informations obtenues des membres de la communauté locale les uns sur les autres. Les chercheurs utilisent les dépenses de consommation comme point de référence et comparent les classements obtenus à partir des informations communautaires à ceux observés à l'aide d'un test des moyennes par procuration (PMT). Le projet concerne 450 ménages de la périphérie d'Abidjan, en Côte d'Ivoire.