À propos du projet pilote d'examen des pré-résultats JDE

En mars 2018, le Revue d'économie du développement (J.D.E.) a commencé à piloter Piste d'examen des pré-résultats (également appelés « rapports enregistrés » dans d'autres disciplines) en collaboration avec l'Initiative de Berkeley pour la transparence dans les sciences sociales (BITS). Grâce à cette piste, le JDE a examiné et accepté des propositions détaillées de projets empiriques prospectifs avant que les résultats ne soient disponibles, offrant un engagement à publier les articles résultants, quelles que soient leurs conclusions.

La motivation derrière cet exercice était simple : la science et la politique devraient récompenser les projets qui posent des questions importantes et emploient une méthodologie solide, quels que soient les résultats. En déplaçant l'essentiel du processus d'examen (y compris la décision éditoriale d'accepter un article) avant que les résultats ne soient connus, l'examen préalable des résultats a le potentiel de faire progresser la rigueur et la transparence scientifiques en permettant aux auteurs de mener des recherches et de rendre compte de leurs résultats de manière transparente, sans crainte que certains résultats puissent rendre leurs articles « non publiables ». Par rapport à d'autres sous-disciplines de l'économie, l'économie du développement a longtemps été un domaine d'innovation méthodologique et de rigueur, de l'adoption généralisée des essais contrôlés randomisés (ECR) depuis plus de deux décennies à la promotion de l'enregistrement des études et des plans de pré-analyse dans la dernière décennie. L'examen des pré-résultats est un ajout naturel à cet arsenal d'outils scientifiques ouverts.

Étant donné qu'il s'agissait (à notre connaissance) du premier effort visant à mettre en œuvre l'examen des pré-résultats dans une revue d'économie, nous avons décidé de l'introduire en tant que projet pilote dans l'espoir d'en savoir plus sur sa compatibilité avec les conventions savantes existantes dans la discipline et sa faisabilité au journal. Un peu plus d'un an plus tard, nous réfléchissons à l'expérience jusqu'à présent et offrons nos perspectives sur l'avenir de l'examen des pré-résultats à la J.D.E. et dans la discipline dans son ensemble. Compte tenu des expériences largement positives jusqu'à présent, le J.D.E. a décidé de faire de l'examen des pré-résultats une piste permanente pour la soumission d'articles à la revue. 
 

Compte tenu des expériences largement positives jusqu'à présent, le J.D.E. a décidé de faire de l'examen des pré-résultats une piste permanente pour la soumission d'articles à la revue. 
 

Examen des pré-résultats JDE en chiffres

Un peu de contexte sur la terminologie utilisée dans l'examen des pré-résultats pourrait être utile. Plus précisément, l'examen des pré-résultats est basé sur un processus en deux étapes : à l'étape 1, les auteurs soumettent un plan analytique détaillé (officiellement appelé « proposition ») pour une étude empirique prospective pour laquelle les données n'ont pas encore été collectées ou analysées. . À l'étape 2, les auteurs soumettent l'article complet, y compris leurs résultats et leur interprétation.

La réaction à la J.D.E. La voie d'examen des pré-résultats a jusqu'à présent été extrêmement positive. Depuis le lancement du pilote, nous avons reçu 46 soumissions dans ce volet. Au moment de la publication de cet article, des décisions éditoriales auront été prises pour 65% des 46 soumissions de l'étape 1, dont 5 acceptées et 25 rejetées - un taux d'acceptation de 16.6% (voir le tableau 1 ci-dessous pour plus de détails). En comparaison, le J.D.E. reçoit plus de 100 soumissions par mois en moyenne via son suivi régulier des soumissions d'articles, dont 6 à 8% sont acceptés pour publication. (Compte tenu des délais inévitables dans la collecte et la rédaction des données sur le terrain, nous attendons toujours notre première soumission d'article complet à l'étape 2.)

Étant donné que les soumissions à ce volet concernaient des projets qui en étaient soit à leurs débuts, soit sur le point de commencer la collecte de données, il était également important que l'examen par les pairs soit aussi rapide que possible. L'étape 1 du processus d'examen par les pairs a pris 70 jours en moyenne entre la soumission et la décision pour les 30 soumissions pour lesquelles une décision éditoriale finale a été prise, à compter du moment où une soumission a été déposée pour la première fois. C'est légèrement plus court que la piste standard d'examen par les pairs pour les articles complets à J.D.E., qui a pris 77 jours en moyenne en 2018, et nous prévoyons de raccourcir davantage le processus à mesure que l'équipe éditoriale et nos examinateurs se familiarisent avec le processus d'examen préalable aux résultats. Le processus d'examen des cinq soumissions acceptées a pris en moyenne 136 jours, ce qui tient également compte du temps pris par les auteurs pour réviser et resoumettre leur proposition en fonction des commentaires des arbitres et des éditeurs.

Sur la base d'expériences similaires avec l'examen des pré-résultats dans d'autres revues, nous prévoyons que l'examen de l'étape 2 sera plus rapide, d'autant plus qu'à ce stade, une partie importante du travail aura déjà été soigneusement examinée à l'étape 1.

Tableau 1 : Métriques pour les soumissions dans le cadre de l'examen des pré-résultats à la J.D.E. en avril 2018-juillet 2019. 

Ce que nous avons appris jusqu'à présent

Les J.D.E. Le pilote d'examen des pré-résultats nous a permis d'en apprendre beaucoup sur les tenants et les aboutissants de ce nouveau processus, et nous avons pu faire des ajustements en cours de route. Vous trouverez ci-dessous sept points à retenir qui pourraient intéresser les rédacteurs d'autres revues économiques et la communauté de la recherche dans son ensemble.
 

1. L'examen des pré-résultats a été difficile — et c'est exactement pourquoi nous le faisons. 

Les arbitres (et les éditeurs) ont eu du mal à plusieurs reprises à juger les soumissions, articulant souvent des raisons qui expliquent exactement pourquoi nous pensons que l'examen des pré-résultats est une bonne idée : le confort et la facilité de voir un ensemble complet de tableaux le rendent « plus facile » statuer sur un article. C'est une béquille, presque. Pourtant, lorsque les résultats finaux de la recherche sont connus, il est impossible de se prémunir pleinement contre les biais rétrospectifs. Le dispositif disciplinaire de ne pas connaître les résultats finaux est certainement difficile, mais c'est un défi que nous pensons toujours qu'il vaut la peine de surmonter. 

2. Les auteurs doivent soumettre leur travail pour l'examen préalable des résultats bien avant de procéder à la collecte de données sur les principales mesures des résultats.

Le travail doit être soumis relativement tôt pour deux raisons : (a) pour maximiser la possibilité que les commentaires puissent être utilisés pour façonner la collecte finale des données, et (b) pour assurer suffisamment de temps pour un cycle de R&R et une nouvelle soumission avant que les données finales n'arrivent. signifie au moins trois mois, mais idéalement six mois à un an, avant la collecte des données sur les résultats clés. Tous les participants, auteurs, arbitres et éditeurs, doivent être aveugles aux principales variables de résultat à chaque étape de révision de la soumission de l'étape 1. (Remarque : il est généralement très utile d'avoir des données de référence en main lors de la soumission d'une proposition d'examen préalable aux résultats : les données de référence fournissent des informations utiles sur la nature des mesures, y compris leurs moyennes et leurs écarts, ce qui peut aider à comprendre le contexte et à mener à bien des calculs de puissance statistique significatifs.)

3. De nombreux auteurs ont trouvé l'examen des pré-résultats utile pour améliorer la qualité finale de leurs articles de recherche. 

Étant donné que la préparation d'une soumission à l'étape 1 peut nécessiter un investissement initial important de la part des auteurs, il est important que le processus d'examen préalable aux résultats soit considéré comme précieux, transparent et équitable, quel que soit le résultat. Pour en savoir plus sur les expériences des auteurs, le personnel de BITSS a interviewé 12 auteurs dont le travail avait reçu une décision éditoriale finale. Lors de la réflexion sur les commentaires des arbitres, presque tous les répondants ont convenu que le fait de suivre le processus avait contribué à améliorer la qualité globale de leurs projets de recherche. "La soumission de l'article pour examen préalable aux résultats a forcé mon co-auteur et moi à réfléchir plus attentivement à la conception de l'analyse, jusque dans les détails, et grâce aux commentaires des arbitres, nous pourrons résoudre les problèmes potentiels dans l'écriture -up du papier” a déclaré le Dr Julia Vaillant, chercheuse à la Banque mondiale. Dans le même ordre d'idées, le professeur Eric Edmonds du Dartmouth College a commenté les ressources d'orientation de l'examen préalable aux résultats : "Le modèle de soumission de l'étape 1 que le JDE a mis en place m'a aidé à améliorer considérablement ce que je pensais être déjà un très bon plan de pré-analyse." Enfin, décrivant les différences entre les commentaires des arbitres lors de l'examen préalable des résultats et l'examen conventionnel par les pairs, le Dr David McKenzie de la Banque mondiale a souligné que « les rapports des arbitres sont plus courts et sont rédigés sur un ton plus constructif ».

"La soumission de l'article pour examen préalable aux résultats a forcé mon co-auteur et moi à réfléchir plus attentivement à la conception de l'analyse, jusque dans les détails, et grâce aux commentaires des arbitres, nous pourrons résoudre les problèmes potentiels dans l'écriture -vers le haut du papier."
- Dr Julia Vaillant, Banque mondiale

4. Les motifs de rejet dans l'examen préalable aux résultats sont similaires à ceux du processus d'examen régulier.

Bien que l'examen préalable des résultats permette de corriger certains défauts de conception de la recherche avant la collecte des données, certains problèmes ont entraîné le rejet de plusieurs articles (ce sont souvent des raisons de rejeter un article dans le processus d'examen régulier également). Sur la base de notre expérience jusqu'à présent, nous recommandons aux auteurs d'examiner attentivement les éléments suivants afin de minimiser les risques de rejet :

un. Les calculs de puissance doivent être justifiés et éclairés par des informations issues de la littérature antérieure, et les propositions doivent être alimentées pour détecter les effets qui sont théoriquement significatifs. Les données pilotes et de base peuvent éclairer la taille de l'effet ciblé.

b. Bien que les soumissions de l'étape 1 n'incluent pas les résultats, les auteurs doivent quand même faire valoir l'importance de la question de recherche en termes de contribution potentielle à la littérature, quels que soient les résultats.

c. Les soumissions de l'étape 1 doivent être traitées comme un enregistrement de ce qui sera rapporté dans le document complet à l'étape 2 : toutes les analyses doivent être décrites avec suffisamment de détails pour limiter les degrés de liberté des chercheurs et permettre de faire la distinction entre les résultats de confirmation pré-spécifiés et les résultats supplémentaires. analyses exploratoires (plus à ce sujet dans la section ci-dessous).

Les soumissions de l'étape 1 doivent être traitées comme un enregistrement de ce qui sera rapporté dans le document complet à l'étape 2 : toutes les analyses doivent être décrites avec suffisamment de détails pour limiter les degrés de liberté des chercheurs et permettre de faire la distinction entre les résultats de confirmation pré-spécifiés et les résultats supplémentaires. analyses exploratoires.

5. L'examen des pré-résultats n'a pas encore motivé l'exploration de sujets et de modèles de recherche « plus risqués », mais pourrait éventuellement le faire.

Nous nous attendions à ce que l'existence d'une piste de soumission d'examen préalable aux résultats incite éventuellement les chercheurs à entreprendre des projets qu'ils perçoivent comme risqués en termes de méthodes, de sujets et de contextes, car l'acceptation en principe offre la promesse d'une publication quelle que soit la nature de les résultats. Bien entendu, il est difficile d'évaluer objectivement le « risque » d'un projet de recherche. Mais notre première impression est que les soumissions de l'étape 1 au J.D.E. jusqu'à présent, ne semblent pas être sensiblement plus (ou moins) risqués que les articles soumis par le biais de la voie normale d'examen des revues. L'examen des pré-résultats semble être particulièrement bien adapté aux ECR, en particulier lorsque les plans de collecte et d'analyse des données peuvent être définis à l'avance de manière très détaillée, comme c'est généralement le cas de nos jours dans les plans de pré-analyse. Examen des pré-résultats pour les études observationnelles — qui comprennent encore autour 80% des publications dans les meilleures revues économiques - n'a pas encore été testé au J.D.E., bien que nous saluons la soumission de tels articles et qu'il existe en fait un précédent pour quelque chose d'analogue à l'examen des pré-résultats pour la recherche prospective non expérimentale (voir, par exemple, Neumark (2002) et la 2016 Concours de préacceptation de la recherche électorale). 

6. Le processus d'examen des pré-résultats de JDE est spécifique à la discipline de l'économie à certains égards.

Lorsque nous avons lancé ce projet pilote, un peu plus de 90 revues acceptaient des articles pour l'examen des pré-résultats (ce nombre est depuis passé à 203, et ça continue...). Comme la majorité parmi ceux-ci sont des revues de psychologie et d'autres sciences du comportement, les « rapports enregistrés » ont pris de nombreuses caractéristiques qui reflètent les conventions savantes dans ces disciplines. De même, la revue des pré-résultats au J.D.E. présente trois traits distinctifs caractéristiques de l'économie, et en particulier du sous-domaine de l'économie du développement.

Tout d'abord, L'étape 2 de l'examen au JDE permettra probablement une certaine flexibilité dans l'interprétation des écarts par rapport aux plans de recherche acceptés à l'étape 1. Cette flexibilité peut être en contradiction avec les meilleures pratiques émergentes dans d'autres disciplines. Par exemple, le Lignes directrices génériques des auteurs de la COS pour les rapports enregistrés (utilisé par la plupart des revues de psychologie) déclarent que "tout écart par rapport aux procédures expérimentales énoncées, aussi mineur qu'il puisse sembler aux auteurs, pourrait entraîner le rejet du manuscrit à l'étape 2". Notre désir de flexibilité est dû à la nature des expériences sur le terrain en économie du développement, qui sont souvent beaucoup plus sensibles aux défis qui échappent au contrôle des chercheurs - tels que les changements politiques et politiques imprévisibles, les difficultés à atteindre les sujets dans les régions éloignées, la migration des sujets entre les enquêtes tours, etc. - que ce n'est généralement le cas pour les expériences de laboratoire basées aux États-Unis, par exemple. Le revers de cette volonté de flexibilité est que le J.D.E. exigera des auteurs qu'ils fassent preuve de la plus grande transparence en signalant toute circonstance qui pourrait empêcher la mise en œuvre de l'étude telle que proposée, y compris en fournissant des explications détaillées sur la façon dont l'article final est toujours en mesure de répondre avec succès aux questions initiales malgré ces défis. Pour les éditeurs de revues, il s'agira d'un processus d'apprentissage mais dans lequel nous aspirons à faire en sorte qu'une rigidité excessive ne fasse pas obstacle à l'accumulation des connaissances. Nous reconnaissons qu'en économie du développement, on peut apprendre beaucoup sur une question de recherche à travers le processus de conduite d'un travail de terrain. Cela nous incite à réitérer que nous bienvenue aux découvertes fortuites, tout en demandant de la transparence : les chercheurs doivent distinguer les tests confirmatoires pré-spécifiés des analyses exploratoires. 

En second lieu, parce que les expériences sur le terrain étudient les interactions humaines dans un contexte réel, des précautions doivent être prises pour éviter de biaiser le comportement des participants. Nous avons pu résoudre ce problème pendant une étude accepté sur la base de l'examen préalable des résultats en masquant certains détails de la conception de la recherche (qui, s'ils sont largement diffusés, pourraient potentiellement affecter le comportement des participants), et nous continuerons à travailler avec les auteurs pour résoudre des problèmes similaires à l'avenir. Cela signifie que nous ne serons peut-être pas toujours en mesure de publier pleinement les propositions acceptées à l'étape 1 tant que le travail sur le terrain n'est pas terminé, même si cela peut être en contradiction avec ce qui est recommandé dans d'autres disciplines qui ont adopté l'examen préalable des résultats. Néanmoins, les propositions acceptées à l'étape 1 seront affichées à côté de chaque article complet lorsqu'il sera finalement publié dans le J.D.E..

Enfin, étant donné que les expériences d'économie du développement peuvent littéralement prendre des années avant que la collecte de données ne soit terminée, il peut également s'écouler un certain temps avant que le JDE ne soit en mesure de publier le premier article dans la voie d'examen des pré-résultats. La nature du calendrier de nos études, à son tour, peut rendre l'acceptation basée sur l'examen préalable des résultats encore plus attrayante pour les économistes du développement qu'elle ne pourrait l'être pour les universitaires d'autres domaines et disciplines. Par exemple, en économie expérimentale et en psychologie, les chercheurs ont tendance à publier plus fréquemment et à travailler sur des délais beaucoup plus courts. Se voir proposer une acceptation préalable des résultats peut rendre le long processus de travail sur le terrain (et tous les défis impliqués) plus gratifiant, en particulier pour les jeunes chercheurs qui sont sur le marché du travail ou qui sont envisagés pour une promotion dans leur établissement d'origine.

7. Il a fallu tout un village pour que le processus d'examen préalable aux résultats se déroule sans heurts.

Les J.D.E. Le succès du pilote d'examen des résultats à ce jour a été possible grâce au soutien fourni par un groupe de groupes différents. BITSS a joué un rôle déterminant en nous aidant à développer une suite de ressources éditoriales nécessaires ; nous pensons que cela représente le plus gros investissement initial pour les revues qui lancent ce format. Ces ressources comprennent Directives aux auteurs, Foire aux questions (FAQ) pour auteurs ainsi que  examinateurs, et un Modèle de proposition de l'étape 1. Sur la base des expériences d'autres revues, nous savions également que les auteurs auraient besoin d'un soutien continu tout au long de ce (nouveau) processus. Le BITSS a donc fourni une aide indispensable pour mener des activités de sensibilisation et répondre aux questions des auteurs intéressés. Nous sommes également redevables à nos examinateurs qui ont été favorables et prêts à fournir des commentaires constructifs aux auteurs, même lorsqu'ils ont eu affaire à un processus d'examen préalable aux résultats qui était hors de leur zone de confort et peut être plus exigeant que l'examen par les pairs conventionnel. Enfin, nous avons eu beaucoup de chance que notre responsable de revue nous ait soutenu et patient pendant que nous explorions des idées et apportions des modifications tout au long du projet pilote d'examen préalable aux résultats. Les éditeurs qui cherchent à mettre en œuvre l'examen des pré-résultats dans leurs propres revues gagneraient certainement à obtenir le soutien et l'adhésion de la communauté plus large de la recherche et de la publication dès le départ.

Aller de l'avant

Nous avons beaucoup appris de la J.D.E. Pré-résultats Passez en revue l'expérience pilote une année plus tard et considérez-la comme un succès. Plusieurs questions restent ouvertes, notamment sur la manière dont se déroulera l'étape 2 du processus d'examen (pour rappel, c'est à ce moment que les articles qui ont reçu une acceptation de principe seront réexaminés, maintenant avec les résultats en main). Les auteurs continueront-ils d'explorer leurs données et d'affiner leurs analyses en fonction de ce qu'ils trouvent, ou l'acceptation des résultats préalables découragera-t-elle (malheureusement) l'investissement supplémentaire dans des analyses exploratoires créatives, comme le suggère expérience dans une autre discipline? Les économistes du développement finiront-ils par s'orienter vers un terrain de recherche plus risqué, maintenant qu'une piste d'examen des résultats préalables est disponible dans une revue comme la J.D.E.? Nous avons également adopté une politique souple en ce qui concerne la soumission des acceptations de l'étape 1 à d'autres revues, à la discrétion des auteurs. Les auteurs publieront-ils finalement leurs recherches dans le J.D.E., ou une part substantielle de la recherche paraîtra-t-elle éventuellement dans d'autres revues à la place ? Dans ce dernier cas, cela diminuera-t-il l'incitation des revues à adopter l'examen préalable des résultats ? Les réponses à ces questions et à d'autres questions connexes influenceront la manière dont l'examen préalable aux résultats sera mis en œuvre à l'avenir, tant au niveau J.D.E. et (nous l'espérons) dans d'autres revues économiques. Pour cette raison, nous continuerons d'accueillir les soumissions, les questions et les commentaires, car les pré-résultats deviennent une piste permanente au J.D.E..

Nous pensons également que davantage d'innovation et d'action collective sont essentielles pour réaliser pleinement le potentiel de l'examen des pré-résultats et, plus largement, pour continuer à renforcer la transparence et la rigueur de la recherche économique. De nombreux développements bienvenus se profilent à l'horizon. D'une part, nous saluons le lancement d'un numéro spécial de l'examen des pré-résultats à Économie expérimentale, qui est, selon nous, désormais la deuxième revue économique à adopter ce format de soumission. Et nous encourageons d'autres revues économiques, dans tous les sous-domaines, à entreprendre un examen préalable des résultats. Les revues qui cherchent à le faire peuvent apprendre de nos expériences et tirer parti des nombreuses ressources de notre pilote, ce qui devrait leur donner une longueur d'avance. 

N'hésitez pas également à nous faire part de vos questions si vous souhaitez en savoir plus sur le J.D.E. expérience, ou si vous avez des suggestions pour améliorer le fonctionnement de cette piste de révision pour les auteurs, les réviseurs et les consommateurs de recherche !

Lire le message d'origine