La semaine dernière un nouveau Sciences article (Gilbert, et al.) est sorti en critiquant un précédent Sciences (Nosek, et al.), qui avait tenté de réexécuter 100 découvertes psychologiques et n'en avait trouvé qu'environ 40 pour cent. Dans le nouvel article, Gilbert, et. Al. suggèrent que ce faible taux était dû à des erreurs d'analyse et à des infidélités aux méthodes d'origine, mais en les tenant compte, les taux de réplication étaient assez élevés.

 

Harvard (qui abrite trois des quatre auteurs de Gilbert et al.) a publié un communiqué de presse sous embargo aux journalistes à l'avance avec le titre éminemment cliquable "Des chercheurs renversent une étude historique sur la reproductibilité de la science psychologique". Lorsque l'embargo a été levé, les journaux étaient prêts avec des titres comme "Une nouvelle critique voit des failles dans l'analyse historique des études de psychologie" et "Psychobabble : une étude affirmant que la recherche des psychologues universitaires est pour la plupart fausse " est elle-même erronée et biaisée.' » Au moins deux médias semblent avoir inclus des commentaires de Nosek seulement après que leur article ait été écrit et mis en ligne.

En quelques jours cependant, les critiques de Gilbert, et al. des articles de « démystification » ont commencé à apparaître (dont trois ! d'Andrew Gelman : 1, 2, 3) et Nosek et al. ont suggéré que Gilbert, et. Al. avait détails déformés comme des « infidélités ». Parmi les meilleures critiques méthodologiques figurent celles de Sanjay Srivastavaet Uri Simonsohn (Gilbert, et al. réponse ici).

[Note latérale : Dans une étonnante ironie à la limite de la providence divine, l'American Statistical Association a publié un "rappel" de bonne utilisation des p-values pour les scientifiques en plein milieu de cela.]

IPA est un grand partisan de partage de données, transparence, et répliques. Mais nous semblons être aux premiers jours d'une nouvelle vague de méthodes de réplication en cours d'élaboration, et il est difficile de ne pas faire de comparaison avec l'année dernière "Guerres des vers” débats sur les effets du traitement des enfants contre les parasites sur les résultats scolaires. Dans ce cas, une université a également publié un communiqué de presse sous embargo annonçant un article à venir qui renverserait une conclusion bien établie (divulgation complète : une que nous avons quelques liens avec). Dans les deux cas, après une semaine de va-et-vient acrimonieux, la plupart des chercheurs semblaient convenir que les nouvelles découvertes semblaient plus dignes d'un haussement d'épaules que bouleversantes, mais c'est longtemps après que les gros titres se sont installés dans l'esprit des lecteurs. En fin de compte, la meilleure couverture de "repligate" est probablement l'histoire la plus mesurée qui est sortie la semaine suivante du New York Magazine : "La crise de réplication de la psychologie est-elle vraiment exagérée ?" De même, avec le déparasitage, le Guardian qui avait initialement imprimé le communiqué de presse unilatéral plus tard l'a revisité, mais ces histoires ultérieures sont en fait une note de bas de page par rapport à la couverture originale.

Pour être juste, des revues comme Sciences qui utilisent des embargos limitent la circulation des documents de travail pour vérification par des collègues, et tentent de maximiser la couverture de l'actualité en fonction de la date de publication, forcent les journalistes à travailler avec des informations limitées. Lorsque Vox a couvert le déparasitage, ils l'ont fait d'une manière qui était lent, répété, et est allé plus profondément dans le processus, expliquant pourquoi il y a eu un débat et pourquoi il était important. 

Ainsi, dans l'esprit de l'excellent « On the Media »Dernières nouvelles Manuel du consommateur »  guides aux actualités rapides qui peuvent changer, puis-je en proposer une à la communauté scientifique :

 "'NOUVELLE ÉTUDE DEBUNKS…' Breaking News Consumer Handbook"

1. 

    

   Les personnes qui écrivent des communiqués de presse (et j'en suis également coupable) veulent voir une histoire imprimée aussi près que possible du communiqué de presse, vantant généralement le brillant chercheur (et université/organisation) impliqué. À quel point cet article ressemble-t-il à un communiqué de presse ? (Quelques exemples, pour Worms : Tuteur vs. communiqué de presse; Répliquer : Gazette de Harvard¹ vs. communiqué de presse)

2. L'histoire prétend-elle « démystifier » ou renverser radicalement la sagesse établie ? La science progresse généralement dans de lentes accumulations de découvertes plutôt que dans des découvertes eurêka, quelles sont les chances que cette fois soit différente ?

3. Semble-t-il que les deux côtés ont été entendus dans l'écriture de l'histoire, ou y avait-il un blanc pour une citation opposée à remplir plus tard ? (ou même mis à jour avec un devis plus tard) 

4. Pour le meilleur ou pour le pire, de nombreux chercheurs sont attachés à leurs propres découvertes, des chercheurs indépendants ont-ils été consultés pour l'histoire ? Ont-ils mentionné si les méthodes utilisées sont considérées comme standard dans le domaine ? 

5. L'annonce de démystification flashy est-elle toute nouvelle ou le domaine a-t-il eu l'occasion de l'examiner en profondeur ? Annoncer le communiqué de presse, c'est un peu comme appeler une élection présidentielle après l'Iowa ou un vainqueur d'un match de tennis après un service solide. Les meilleures histoires sortent presque toujours plus tard, une fois que le terrain est parvenu à un consensus. 

6. Si vous vous impliquez dans la discussion en ligne, essayez de ne pas vous laisser distraire par le ton. Il est facile d'attribuer des intentions néfastes aux chercheurs qui arrivent à une conclusion différente, mais la plupart des gens recherchent la même vérité en fin de compte. Avant de cliquer sur "poster", vérifiez si votre ton détournera l'attention de votre message. 

J'aimerais espérer que personne n'a besoin de ces conseils, mais nous en sommes aux premiers stades d'un nouveau mouvement vers une science plus robuste, et après avoir vu ces deux scénarios se dérouler, je crains que les médias et même les données les types peuvent tirer des conclusions trop rapidement, il est donc préférable de lire les histoires critiques avec un œil critique. 

Quelques autres ressources : 

• David Evans a une excellente présentation pour les journalistes sur la façon d'examiner la recherche sur l'évaluation d'impact, mais couvre certaines de ces questions dans cet endroit.
• Il a également une anthologie de tout ce qui est écrit sur Worm Wars. 
• Une liste de lectures sur la « crise de réplication » est ici.
• Article de blog de Sanjay Srivastava a une liste d'autres messages sur repligate.

[1] La Harvard Gazette est un outil de relations publiques de l'Université de Harvard, cela ne devrait donc pas être surprenant, cet article a été rediffusé par d'éminents chercheurs.