par Jennifer Sturdy et Stéphanie Wykstra

Note de l'éditeur : Ceci est paru à l'origine dans le magazine de l'American Psychological Society Observateur de l'APS.

Les avantages de la transparence dans la recherche scientifique - tels que le pré-enregistrement des études, l'élaboration de plans de pré-analyse et la publication des données et du code sous-jacents - sont clairs. Par exemple, l'un des avantages du partage des données et du code sous-jacent aux études publiées est qu'il permet à d'autres de vérifier les résultats, et peut également être très utile pour effectuer d'autres recherches. Pourtant, malgré les avantages, de nombreux domaines ont encore un long chemin à parcourir en matière de partage de données.

Pourquoi est-ce? Des chercheurs citer le manque de temps et de financement comme obstacles majeurs. Dans une culture où le partage n'est pas encore professionnellement récompensé par les comités d'examen de la tenure, prendre le temps de partager publiquement les données en plus du processus standard de publication des revues peut s'avérer un engagement coûteux. Il existe plusieurs façons de résoudre ce problème d'incitation. Grâce à des initiatives telles que la promotion de la transparence et de l'ouverture (TOP), les revues elles-mêmes s'orientent vers la demande, voire l'exigence, de la soumission des données sous-jacentes. Une autre façon de surmonter ces obstacles est de fournir aux chercheurs une formation et des ressources qui peuvent leur faciliter le partage des données et également bénéficier de leur contribution au « bien public ».

Atelier sur la transparence de la recherche au Kenya

Le Centre pour une action mondiale efficace (CEGA) et Innovations for Poverty Action (IPA) sont des organisations qui travaillent avec des chercheurs universitaires pour mener des études de recherche de haute qualité sur des programmes allant de l'éducation à l'inclusion financière en passant par la santé, principalement dans les pays en développement. Dans les deux organisations, le personnel qui a travaillé sur le partage des données des études a constaté qu'il est beaucoup plus difficile de préparer les données et de coder une fois l'analyse et la publication terminées. Les fichiers peuvent facilement devenir désordonnés et désorganisés ; les variables non étiquetées peuvent être difficiles à interpréter par la suite (surtout pour ceux qui ne les ont pas créées !) ; le manque de documentation indiquant quel code statistique produit des tableaux dans une publication peut rendre difficile, voire impossible, la reproduction de l'étude. La solution est de réfléchir tôt et souvent à la manière de préparer les supports pour que les autres puissent les comprendre et les utiliser (où « les autres » s'incluent aussi dans 6 mois).
 

L'année dernière, l'IPA et le Initiative de Berkeley pour la transparence dans les sciences sociales (BITSS), l'initiative de transparence de la recherche du CEGA, s'est associée pour organiser une Atelier de 2 jours sur la transparence de la recherche à l'extérieur de Nairobi, au Kenya. Le BITSS a été créé en 2012 pour renforcer la qualité de la recherche en sciences sociales et des preuves utilisées pour l'élaboration des politiques. L'initiative offre des ressources et un soutien aux psychologues, économistes, politologues et autres spécialistes des sciences sociales dans la promotion de la transparence, de la reproductibilité et de l'ouverture de la recherche. C'était la première fois que les deux organisations initiatives de transparence de la recherche se sont réunis pour co-organiser un atelier.

Les participants à l'atelier comprenaient des chercheurs d'institutions et d'universités africaines telles que l'Université du Rwanda et l'Association éthiopienne d'économie, ainsi que des chercheurs des bureaux de l'API du monde entier. L'atelier a fourni une vue d'ensemble de la transparence de la recherche, des sessions pratiques sur les meilleures pratiques de gestion du code et des données, des conseils sur l'apprentissage de l'utilisation de git (un logiciel de contrôle de version) pour le contrôle de version du code, et un tutoriel sur l'utilisation Markdoc, un outil d'écriture de documents dynamiques. L'atelier comprenait également une démonstration du Open Science Framework (OSF), une plateforme collaborative de workflow créée par le Centre pour la science ouverte (COS), et a donné aux participants le temps de travailler sur l'amélioration de leurs propres données et code. Enfin, Paulin Basinga, qui travaille avec la Fondation Gates ainsi qu'avec le ministère de la Santé du Rwanda, a discuté de l'importance de la réplication - pour vérifier les résultats et vérifier la robustesse de ces résultats - pour fournir une base de preuves solide pour la politique (vidéo ici). Les documents complets de l'atelier sont disponibles sur une page de référentiel public sur OSF.

Le mouvement élargi pour la transparence de la recherche

Les psychologues ont ouvert la voie à plusieurs initiatives au sein du mouvement pour la transparence de la recherche : par exemple, le Center for Open Science (COS) a dirigé le Projet de reproductibilité, un projet collaboratif dans lequel des centaines de chercheurs ont tenté de reproduire des études de revues de psychologie dans leurs propres laboratoires. Le COS assure également le leadership des initiatives visant à résoudre le problème d'incitation mentionné ci-dessus. Leur initiative pour Ouvrir les badges récompenser les chercheurs pour avoir fourni des données ouvertes, des matériaux ouverts et une préinscription.
 

Prochaines étapes et autres ressources

BITSS propose des ateliers réguliers sur la transparence de la recherche et organise un institut d'été annuel (voir 2016 ordre du jour et matériel ici) et réunion annuelle (voir 2016 inscription ici). Menuiserie logicielle, Menuiserie de données, et COS proposent également des ateliers sur la recherche reproductible. Offres de l'Université Johns Hopkins un cours en ligne dans la recherche reproductible via Coursera.
 

Pour les chercheurs individuels, il vaut la peine de considérer comment la transparence et la reproductibilité de votre propre recherche peuvent affecter votre flux de travail et les outils que vous utilisez à mesure que la demande pour des sciences sociales plus ouvertes augmente.

Voici quelques questions dont nous avons discuté lors de l'atelier de partage de données :

• Au fur et à mesure de l'avancement d'une étude, gardez-vous une trace des versions de votre code utilisées pour nettoyer et construire des variables et pour analyser des données, idéalement à l'aide d'un logiciel tel que git ?
   
• Laissez-vous des commentaires dans votre code et/ou nommez-vous des fichiers pour indiquer clairement quelles parties du code produisent des tableaux dans votre article ?
   
• Étiquetez-vous clairement les variables afin de pouvoir les comprendre plus tard et que d'autres puissent les réutiliser lorsque les données sont partagées publiquement ?
   
• Avez-vous pensé à quelle anonymisation des données peut être nécessaire pour les partager publiquement ? Comment ces efforts pourraient-ils affecter la réplication de votre analyse si vous ne pouvez fournir l'accès qu'à un fichier de données à usage public anonymisé ?
   
• Avez-vous envisagé de stocker vos documents dans un référentiel établi tel que Dataverse ou OSF, plutôt que sur votre propre site Web, pour les rendre plus largement accessibles ? (Si les matériaux sont archivés dans un référentiel plutôt que sur le site Web d'un chercheur, ils seront stockés de manière durable et recevront un identifiant d'objet numérique unique afin que d'autres puissent citer les données et d'autres matériaux s'ils les utilisent.)

Pour que le mouvement pour la transparence de la recherche réussisse, il doit y avoir des changements significatifs dans les normes et les pratiques entourant la transparence dans la recherche. Des bailleurs de fonds exigeant et offrant un soutien pour le partage des données aux revues adoptant de nouvelles politiques de partage des données et aux chercheurs modifiant leur flux de travail pour faire de la reproductibilité une priorité, le mouvement pour la transparence comporte de nombreux aspects. Bien qu'il reste encore beaucoup à faire, la bonne nouvelle est que le changement est bien engagé.

Jennifer Sturdy est la directrice du Initiative de Berkeley pour la transparence dans les sciences sociales.

Stéphanie Wykstra précédemment dirigé IPA Initiative de transparence de la recherche.

Références et lectures complémentaires

Alsheikh-Ali, AA, Qureshi, W., Al-Mallah, MH et Ioannidis, JPA (2011). Disponibilité publique des données de recherche publiées dans des revues à fort impact. PLoS ONE 6(9) : e24357. doi:10.1371/journal.pone.0024357

En ligneGherghina, S., & Katsanidou, A. (2013). Disponibilité des données dans les revues de sciences politiques. Science politique européenne, 12, 333–349. doi:10.1057/eps.2013.8

Kidwell, MC, Lazarević, LB, Baranski, E., Hardwicke, TE, Piechowski, S., Falkenberg, L.-S., … Nosek, BA (2016). Badges pour reconnaître les pratiques ouvertes : une méthode simple, peu coûteuse et efficace pour accroître la transparence. PLoS Biology, 14(5): e1002456. doi:10.1371/journal.pbio.1002456

Tenopir, C., Allard, S., Douglass, K., Aydinoglu, AU, Wu, L., Read, E., … Frame, M. (2011). Partage de données par les scientifiques : Pratiques et perceptions. PLoS ONE, 6(6): e21101. doi:10.1371/journal.pone.0021101

Van den Eynden, V., Corti, L., Woollard, M., Bishop, L. et Horton, L. (2011). Gestion et partage des données : meilleures pratiques pour les chercheurs. Extrait de http://www.data-archive.ac.uk/media/2894/managingsharing.pdf

Vines, TH, Albert, AYK, Andrew, RL, Débarre, F., Bock, DG, Franklin, MT, … Rennison, DJ (2014). La disponibilité des données de recherche diminue rapidement avec l'âge de l'article. Biologie actuelle, 24, 94–97. doi:10.1016/j.cub.2013.11.014