Note de l'éditeur : Il s'agit d'une publication croisée qui figurait à l'origine sur le Blog de la Banque mondiale sur l'impact sur le développement.

By  Andy Foster, Doyen Karlanet Ted Miguel.

Le monde est un endroit désordonné. Que se passe-t-il lorsque les résultats d'une étude empirique sont mous ou incompatibles avec les théories dominantes ? Malheureusement, les articles dont les résultats ne sont pas clairs ou statistiquement significatifs ne sont souvent pas publiés, même s'ils ont des plans de recherche rigoureux et de bonnes données. Dans de tels cas, la communauté de la recherche n'a généralement qu'à considérer les articles qui racontent une histoire «propre» et propre. Lorsque la politique économique et sociale s'appuie sur des connaissances académiques, biais de publication peut coûter cher à la société.

Dans un nouvel effort pour aider potentiellement à résoudre ce problème, le Revue d'économie du développement (J.D.E.) offre désormais aux auteurs la possibilité de faire examiner et approuver leurs projets empiriques prospectifs pour publication before les résultats sont connus. Cette piste de soumission d'articles sera disponible dans le cadre d'un projet pilote, ce qui nous permettra de mieux comprendre dans quelle mesure l'examen des pré-résultats peut être appliqué aux JDE, et éventuellement à l'économie dans son ensemble. Ce nouveau format d'article peut ne pas s'appliquer à tous les articles en cours de publication au JDE ; nous prévoyons qu'il sera particulièrement attrayant pour les économistes du développement travaillant sur des projets de recherche pour lesquels les données doivent encore être collectées (ou les chercheurs qui n'ont pas encore eu accès aux données qu'ils analyseront).

À notre connaissance, cela semble être l'une des premières tentatives d'introduction d'un examen par les pairs avant les résultats dans une revue économique. Cependant, plus de 90 revues académiques en biologie, en médecine, en sciences politiques, en psychologie et dans d'autres disciplines mettent déjà en œuvre l'examen des pré-résultats, les articles publiés par la suite étant généralement appelés «rapports enregistrés» (RR). Nous avons essayé de tirer des leçons de leurs efforts pour préparer ce projet pilote et coordonnons nos activités avec l'Initiative de Berkeley pour la transparence dans les sciences sociales (BITS) pour aider à soutenir les auteurs et les arbitres pendant cette phase pilote.

Qu'est-ce que l'examen préalable aux résultats ?
La piste de soumission des pré-résultats JDE est un processus d'examen en deux étapes, disponible sous "Rapports enregistrés" sur le JDE en ligne portail de soumissions.
At Étape 1, les auteurs soumettront plans pour leurs projets empiriques prospectifs, qui contiendraient généralement une revue de la littérature, des questions de recherche, des hypothèses et un cadre méthodologique détaillé. Cette soumission - qui ressemble beaucoup à une plan de pré-analyse--sera évalué par des pairs en fonction des mérites de sa question de recherche et de son cadre théorique et méthodologique before tous les résultats empiriques sont réalisés. S'il est évalué positivement, le plan sera accepté sur la base de l'examen préalable des résultats. Cela constitue un engagement de la part de la revue à publier ultérieurement l'article complet, quelle que soit la nature de ses résultats empiriques, tant que la collecte et l'analyse des données maintiennent des normes de qualité et ont été mises en œuvre conformément à la conception de la recherche acceptée à l'étape 1.

Lorsque l'intervention ne peut pas être mise en œuvre comme spécifié à l'avance, les éditeurs essaieront d'être raisonnables en ce qui concerne les écarts et s'efforceront de se tromper en faveur des auteurs tant que les écarts sont signalés de manière transparente.  (en savoir plus dans les directives de l'auteur JDE RR ici). Nous espérons que ce projet pilote nous aidera à mieux identifier les exemples d'écarts inacceptables. Néanmoins, après l'acceptation basée sur l'examen préalable des résultats, les auteurs peuvent publier l'article sur leurs sites Web et l'étiqueter avec précision comme "accepté au JDE sur la base de l'examen préalable des résultats".

Remarque : être accepté à l'étape 1 ne ne sauraient  constituent un engagement à soumettre ensuite pour l'étape 2. Si un auteur souhaite d'abord soumettre l'article final à une revue d'intérêt général de premier plan, il est invité à le faire. Nous leur demanderions de toujours inclure dans le document une mention indiquant qu'ils ont été approuvés par le processus d'examen préalable des résultats du JDE.

Les auteurs recueilleront et analyseront ensuite leurs données et soumettront l'article complet (y compris les résultats et les sections de discussion) pour examen final dans Étape 2. À ce stade, les examinateurs seront invités à évaluer si les données sont de qualité suffisante pour tester les hypothèses proposées, si l'intervention (le cas échéant) a été mise en œuvre comme spécifié et si les données ont été correctement analysées et interprétées. Les auteurs seront libres d'inclure les résultats des analyses au-delà de ceux spécifiés à l'étape 1, mais ceux-ci doivent être clairement notés comme résultat des analyses exploratoires.

La publication finale résultant du processus d'examen préalable aux résultats ressemblera à tout autre article publié dans le JDE, à deux exceptions près : premièrement, le texte principal contiendra une note de bas de page indiquant que l'article a été soumis pour examen préalable aux résultats, et deuxièmement, le plan de recherche pré-spécifié sera inclus dans l'annexe complémentaire en ligne.

Quelles preuves avons-nous et qu'espérons-nous apprendre de ce projet pilote ? 
La communauté de l'édition scientifique est encore en train d'en apprendre davantage sur les avantages et les défis potentiels de cette nouvelle approche de l'examen des articles de recherche, car un peu plus de 90 études ont été publiés sous forme de rapports enregistrés dans toutes les revues de mise en œuvre à ce jour.

Nous avons des preuves que les éditeurs de revues expérimentés avec ce format sont optimistes quant à son potentiel de réduction des biais de publication, cependant, il semble également que les taux de soumission aient été faibles.

Dans ce projet pilote, le JDE vise à explorer si l'examen des pré-résultats pourrait être utile dans le domaine de l'économie du développement. Plusieurs questions seront importantes à considérer au fur et à mesure que le pilote progresse :

• Recevons-nous des études et/ou des résultats de haute qualité qui, autrement, ne seraient pas publiés ? Cette approche de l'examen des articles aide-t-elle à réduire les biais de publication ?
• Y a-t-il suffisamment d'intérêt de la part des chercheurs en économie du développement pour ce format (c.-à-d., recevons-nous beaucoup de soumissions) ?
• Le format est-il durable ? Cela augmente-t-il le niveau d'effort exigé des arbitres ? Passons-nous, en tant que revue, un temps considérable à examiner des plans qui ne sont jamais mis en œuvre ou qui sont finalement retirés par les auteurs ?
• Ce format est-il particulièrement avantageux pour les jeunes chercheurs, qui peuvent être en mesure de partager une acceptation basée sur l'examen préalable des résultats avec un comité de titularisation ou un comité d'embauche ?
• Dans quelle mesure pouvons-nous raisonnablement nous attendre à ce que les auteurs mettent en œuvre leur conception de recherche en grande partie comme spécifié dans leur soumission de l'étape 1 ? Ou les complications réelles du travail sur le terrain rendront-elles généralement cela impossible ?

Nous espérons également savoir si cette approche de la revue d'articles peut être durablement intégrée dans le processus de publication du JDE.

Comment les auteurs peuvent-ils soumettre leur travail ?
Si vous êtes intéressé à soumettre une étude de recherche pour l'examen préalable des résultats, les auteurs doivent lancer une soumission en tant que «rapport enregistré étape 1: proposition» sur le JDE en ligne. portail de soumissions. S'il vous plaît voir le Directives pour les auteurs de rapports enregistrés JDE pour d’autres renseignements. 

Le personnel de JDE et de BITSS est disponible pour aider les auteurs dans la préparation des soumissions. Veuillez contacter Aleksandar Bogdanoski (abogdanoski@berkeley.edu) avec des questions sur l'inscription préalable à l'étude, les plans de pré-analyse et la façon de soumettre votre article pour examen préalable des résultats, ou au JDE, veuillez contacter l'un des rédacteurs en chef, le professeur Andrew Foster (andrew_foster@brown.edu) ou l'éditeur Prof. Dean Karlan (karlan@northwestern.edu). Il s'agit d'un projet pilote et vos commentaires sont extrêmement précieux ; s'il vous plaît contactez-nous avec des commentaires ou des suggestions d'amélioration.