À l'IPA, nous nous soucions profondément d'améliorer la qualité des données recueillies dans la recherche sur le développement international. Les mauvaises données sont au mieux un gaspillage de ressources, mais elles peuvent aussi fausser les politiques ou les programmes. Pour commencer à aborder ce problème de manière plus systématique, IPA et Yale a co-organisé un atelier sur la mesure de la recherche sur le terrain qui a eu lieu un vendredi récent à l'Université de Yale. Un groupe de 32 chercheurs d'universités comme Harvard et de la London School of Tropical Medicine and Hygiene, d'organismes de recherche comme le Laboratoire d'action contre la pauvreté Abdul Latif Jameel (J-PAL), La Banque Mondiale, Centre pour une action mondiale efficace (CÉGA), Centre de recherche sur les sondages de l'Université du Michigan, la Fondation Bill & Melinda Gates et concepteur de logiciels d'enquête SondageCTO discuté d'une variété de sujets liés à la mesure sur le terrain et à la qualité des données dans le cadre d'une table ronde. L'objectif était de réunir un groupe d'experts pour discuter des défis qui se présentent dans la recherche sur le terrain, mais qui ne sont souvent pas la principale priorité de recherche. Cependant, la question a été soulevée : devraient-ils l'être ?

Nous avons discuté de cinq sujets majeurs, notamment la collecte de données électroniques, la conception de l'enquête, les effets du recenseur, la façon de mesurer les concepts difficiles et les réponses comportementales à la recherche. Quiconque a fait de la recherche connaît très bien ces sujets qui peuvent souvent avoir un impact sur la qualité des données, la validité externe des résultats de l'étude et notre compréhension des résultats. Bien qu'il y ait eu des investissements croissants dans la recherche dans des contextes internationaux, il n'y a pas eu d'efforts importants pour garantir que les données collectées sont de haute qualité. Motiver les chercheurs, les donateurs et les exécutants à se concentrer sur ces questions liées à la mesure se traduira par davantage de technologies et de stratégies axées sur les données pour assurer l'exactitude et l'efficacité de la collecte de données qui peuvent être utilisées pour une meilleure prise de décision politique ou programmatique. 

"Tout le monde veut des données de haute qualité sans prendre le temps de comprendre comment les obtenir." 

Les participants ont partagé leurs travaux antérieurs, leurs projets en cours et les questions restantes qui pourraient faire l'objet de travaux futurs. Berk Ozler, un participant à l'atelier, a résumé la discussion en détail sur son Blog de la Banque mondiale.

Les questions qui ont été soulevées comprenaient :

• Quelles sont certaines des opportunités et des défis liés à l'utilisation de données non issues d'enquêtes, telles que les enregistrements de téléphones portables ?
• Quelle est la meilleure façon de concevoir une enquête ? L'ordre des questions ou des modules doit-il être fixé ? Quels sont certains des avantages et des inconvénients, et comment pouvons-nous utiliser les données, les métadonnées et les paradonnées pour prendre certaines de ces décisions ?
• Comment mesurer les effets des enquêteurs et ces effets devraient-ils être inclus dans les modèles de régression ?
• Comment pouvez-vous valider de nouveaux outils de mesure si vous ne savez pas ce qu'est réellement la « vérité » ?
• Quelle est notre responsabilité d'étudier les participants pour partager les résultats de notre travail ?

À travers les sujets, deux thèmes majeurs se sont démarqués de l'IPA tout au long de la journée : 1) Comment pouvons-nous mieux utiliser la technologie pour améliorer la qualité de notre collecte de données ; et 2) Quelles sont les incitations à étudier la mesure pour améliorer la qualité des données et comment pouvons-nous partager ces informations ?

Technologie de collecte de données: Il y a eu une utilisation généralisée et croissante de la technologie pour collecter des données, mais il n'y a pas de consensus clair sur le fait que ce que nous obtenons est toujours "meilleur". Nous pouvons exploiter des données issues de la foule à l'aide de téléphones portables ou de plates-formes mobiles, mais perdons-nous en représentativité ? Est-il toujours préférable ou pire de collecter nos données d'enquête sur des tablettes et des téléphones portables ? Sur papier, les enquêteurs pouvaient se déplacer dans l'enquête et modifier l'ordre des modules et des questions en fonction de qui était à la maison pour répondre à l'enquête. Maintenant, les enquêtes sont plus linéaires, et nous pouvons mettre en place des "ralentisseurs" ou des contrôles (par exemple, si quelqu'un dit qu'il a 25 ans, et dit ensuite que son année de naissance est 1940, la tablette peut calculer cela et montrer une erreur à l'enquêteur à réparer). Cette perte de flexibilité est-elle meilleure ou pire ? La réponse est souvent que cela dépend. Nos collègues de SondageCTO sont extrêmement intéressés par ces questions et collaborent avec des chercheurs pour trouver comment améliorer la conception et l'utilisation de leur logiciel afin de maximiser la qualité des données, et ont récemment blogué à ce sujet ici. Chez IPA, nous utilisons SurveyCTO comme plate-forme pour collecter des données pour 95 % de nos plus de 250 évaluations d'impact en cours, ce qui a nettement amélioré la rapidité et les contrôles de qualité de nos données. Nous avons même commencé à intégrer certaines études liées à la mesure dans notre travail de terrain à l'aide de SurveyCTO. Par exemple, dans notre Préservatif Femme Maximum Diva étude en Zambie, nous examinons comment les participants répondent aux questions sensibles ; vous pouvez en savoir plus sur ici. 

Incitations: Alors que tous les participants étaient convaincus que la mesure et la qualité des données étaient importantes, presque aucun n'en avait fait un objectif spécifique de son travail ou de ses projets (à l'exception peut-être de collègues du Centre de recherche par sondage à l'Université du Michigan). Sans incitations fortes de la part des donateurs ou d'autres partenaires, il est cependant difficile de hiérarchiser ce travail. Tout le monde veut des données de haute qualité sans prendre le temps de comprendre comment les obtenir. L'intégration d'une expérience de mesure dans un projet plus vaste pourrait être une stratégie, mais on craint que l'expérience de mesure intégrée ne sape les résultats d'une enquête plus large. Cela est aggravé par le fait que de nombreuses revues ne publieront pas d'articles liés uniquement à la mesure ou d'articles sur des études qui ont des résultats négatifs. Ainsi, si vous êtes un chercheur sur le point de vous lancer dans une collecte de données à grande échelle, réfléchissez attentivement à ce que vous mesurez et comment, et comment vous pouvez optimiser la qualité des données, et s'il existe des opportunités de partager vos données. Le Initiative de transparence de la recherche de l'API a été développé pour plaider en faveur de l'amélioration de la qualité des données, de la notification et du partage des données en vue de leur réutilisation. Nous soupçonnons que la plupart des gens ne partagent pas leurs données parce qu'ils n'ont pas mis en place un plan solide de qualité des données avant de commencer la collecte des données.

Alors, quelle est la prochaine étape ? L'IPA ne pourra pas à elle seule améliorer la qualité de la recherche sur le terrain. Par conséquent, nous appelons nos partenaires de recherche, nos partenaires de mise en œuvre et nos donateurs à investir des efforts et des ressources pour commencer à se concentrer sur la qualité et la mesure. Si davantage de fonds sont mis à disposition pour poser certaines de ces questions importantes, l'IPA (avec ses chercheurs collaborateurs et ses partenaires de mise en œuvre) peut concevoir et mettre en œuvre des études pour y répondre. L'IPA est dans une position unique pour faire avancer ce programme, car nous collectons et partageons des données dans de nombreux pays et projets, avec un engagement fort en faveur de la transparence de la recherche et en rendant publiques des méthodes et des données telles que celles-ci. Toutes les découvertes et innovations de mesure ou de qualité des données peuvent être diffusées à travers notre réseau de recherche de plus de 400 chercheurs pour créer une boucle de rétroaction dans laquelle nous menons des recherches sur la mesure et appliquons les résultats à de futurs projets de recherche. Bien qu'aucune incitation ne soit actuellement en place pour encourager ce type de travail, il s'agit d'étapes nécessaires pour améliorer la qualité des données et, en fin de compte, renforcer nos résultats de recherche qui, en fin de compte, orientent la politique mondiale.

Contactez-nous à searchsupport@poverty-action.org si vous êtes intéressé à collaborer avec le département de recherche de l'IPA pour mener des expériences de mesure.

Jessie Pinchoff est directeur de recherche & Thoai Ngo est directeur principal, à la fois au sein de l'équipe de recherche et de gestion des connaissances de l'IPA.