Les chercheurs devraient-ils avoir la liberté d'effectuer des recherches qui sont une perte de temps? Telle était la question que Daniël Lakens a récemment posée dans un article incitant à la réflexion sur Nature commentaire. Pour paraphraser sa réponse à sa propre question : non, ils ne devraient pas—et pour s'assurer que les chercheurs ne perdent pas de temps et de ressources, ce dont nous avons réellement besoin, c'est d'un nouveau type de commission d'examen. Dans son argumentation, Lakens cite sa propre expérience en tant que président du comité d'examen éthique de son université, où il a vu de nombreuses études qui passeraient pour des raisons purement éthiques mais qui ne valaient toujours pas la peine d'être réalisées car elles n'étaient pas bien conçues.

Réseaux sociaux sonné dans avec la réaction prévisible de « Oh non, pas une autre commission d'examen ! La dernière chose dont nous avons besoin, ce sont plus d'obstacles.

En tant que directeur des méthodes de recherche à Innovations for Poverty Action (IPA) et responsable institutionnel de l'IPA Comité d'examen institutionnel (IRB), je comprends d'où vient Lakens. Mais en fin de compte, je me range du côté de ses détracteurs en mettant en garde contre un comité d'examen de la recherche (RRC) traditionnel. Chez IPA, nous avons essayé cette approche pendant plusieurs années, mais nous l'avons récemment abandonnée pour un processus plus flexible qui garantit une qualité élevée et fonctionne davantage comme "le soutien d'un collègue avisé" plutôt que comme un contrôle d'un conseil d'administration omniscient.

Il est vrai qu'il existe des études défectueuses qui survivent à l'examen de la CISR parce que le conseil et son personnel ne peuvent pas toutes les examiner de manière approfondie pour la qualité de la conception. Et il y a des études, même celles conçues par des universitaires chevronnés bien établis, qui ont des angles morts, ont des aspects qui ne sont pas bien spécifiés ou réfléchis, ont des hypothèses non énoncées ou irréalistes, ont trop d'hypothèses ou ne sont tout simplement pas bien expliquées. Dans de tels cas, être interrogé par quelqu'un de l'extérieur de l'équipe d'étude peut entraîner des améliorations, y compris une plus grande clarté dans la conception.

De toute évidence, les comités d'examen méthodologique présentent un mélange complexe d'avantages et d'inconvénients. L'expérience de l'IPA avec de tels conseils offre quelques mises en garde sur ce qui peut mal tourner et pourquoi nous adoptons maintenant une approche différente, basée sur les leçons apprises.

Pendant des années, l'IPA a eu un RRC formel, calqué sur les RRC de nombreuses institutions, en particulier les unités de recherche biomédicale. IPA CRR fonctionnait presque comme une revue académique, reposant sur l'insu (c'est-à-dire l'anonymat des examinateurs) et des examinateurs bénévoles. Il a été conçu comme un mécanisme de contrôle de la qualité qui permettrait à l'IPA d'offrir des opportunités de partenariat à un groupe plus large et plus diversifié de chercheurs principaux (PI). Mais dans la pratique, le RRC de l'IPA a souvent fonctionné comme un gardien. En fait, c'était un gardien trop restrictif (et il y avait trop d'études à examiner), donc au fil du temps, nous avons permis aux chercheurs de demander des exemptions sur la base de critères tels que l'expérience du PI avec l'IPA ou l'affiliation à J-PAL, un réseau d'universitaires qui ont réussi les critères de dépistage sélectif.

Au fur et à mesure que le nombre d'exemptions augmentait, l'objectif du RRC de l'IPA est devenu moins clair et son processus s'est effondré. Les études ont soudainement eu plus de co-PI, y compris ceux qui répondaient aux critères d'exemption. Les études sous-alimentées passeraient pour des « pilotes » jusqu'à ce qu'il soit temps de les publier. Le fait de ne pas être exempté de l'examen du RRC a envoyé un message pervers aux chercheurs que nous ne leur faisions pas confiance ou que nous pensions connaître leur domaine d'étude mieux qu'eux. Certains IP n'ont partagé que le strict minimum d'informations pour éviter l'examen des détails. Les avis qui n'étaient pas exemptés prenaient beaucoup de temps parce que les examinateurs bénévoles étaient peu incités à les prioriser. Une mauvaise communication entre les IP et les examinateurs sur des questions hautement techniques ou spécifiques au contexte a encore entravé l'efficacité du CRR.

L'approche de l'API vis-à-vis des comités d'examen méthodologique

Alors, comment résoudre le problème soulevé par Lakens ? Nous n'avons pas besoin d'une police des méthodes de recherche pour chaque étude, mais d'institutions de recherche devrait fournir un soutien à l'examen des méthodes de recherche et s'assurer que ce soutien est fourni de manière rapide, efficace et fonctionne pour toutes les recherches. Cela devrait être un élément central de l'infrastructure de recherche de l'établissement, tout comme la gestion des subventions ou le soutien aux communications - une forme de contrôle de qualité interne convivial mais rigoureux. Les projets de recherche eux-mêmes devraient payer pour cela (comme ils le font avec l'examen IRB), mais ils devraient le vouloir et le voir comme un service précieux. Les institutions qui supportent le coût et le risque de réputation des études qui ne produisent pas de preuves utilisables devraient exiger ce type d'examen utile. Les bailleurs de fonds et les IRB devraient insister là-dessus. Ils devraient créer la capacité d'intervenir tôt dans la vie d'une étude avant que du temps ou de l'argent (ou les deux) ne soient gaspillés. Plus il y a de ressources ou de réputations menacées, plus la surveillance est grande.

Au cours des deux dernières années, l'IPA a mis en place un processus d'examen de la recherche technique flexible et collaboratif qui présente ces propriétés. Nous avons appris qu'en mettant en œuvre les étapes suivantes, il est possible de répondre aux préoccupations de Lakens sans créer de fardeau indu pour les chercheurs ou les examinateurs.

Étape 1 : En finir avec l'aveuglement. Encouragez fortement les commentaires écrits et une réunion synchrone permettant une communication bidirectionnelle entre les examinateurs et les chercheurs. D'après l'expérience de l'IPA, ces séances de débriefing ont été extrêmement utiles à la fois pour les examinateurs et les PI, réduisant la confusion et les malentendus en une seule conversation d'une heure.

Étape 2 : Établir un système de planification en deux étapes. La première étape consiste à inscrire la révision sur le calendrier avant même que la conception ne soit prête à être révisée. Cela permet d'affecter un réviseur qui peut être disponible lorsque la conception est prête à être révisée et la retourner le jour même ou le lendemain. Le fait de programmer l'examen et d'affecter l'examinateur si tôt dans le processus réduit les retards et permet à l'examinateur d'éviter les demandes concurrentes (p. ex. rédaction de propositions et soumission des notes de cours) si courantes dans la profession.

Étape 3 : Payez les examinateurs. Certains ont proposé d'employer des examinateurs à plein temps. Mais les meilleurs évaluateurs sont souvent eux-mêmes des chercheurs et peuvent être réticents à abandonner leurs recherches pour devenir des évaluateurs à plein temps. À l'IPA, nos chercheurs internes agissent à tour de rôle en tant qu'examinateurs. Leur travail en tant qu'examinateurs est imputé à la subvention qui finance le projet ou à tout autre compte qui soutient l'élaboration de la proposition. Pour les chercheurs de l'IPA, passer du temps en tant qu'examinateur s'est avéré intellectuellement stimulant et gratifiant.

Étape 4 : Établissez un terrain d'entente. Il est important que les chercheurs et les examinateurs comprennent qu'ils poursuivent un objectif commun : une recherche rigoureuse et de haute qualité. Idéalement, l'examinateur devrait être sélectionné en fonction de son expertise, mais il n'est pas nécessaire qu'il soit un expert de tous les aspects de l'étude. Ils peuvent toujours apporter une nouvelle perspective, ce qui est souvent la contribution la plus précieuse du conseil. Les examinateurs représentent l'institution et aident à protéger sa réputation et à atténuer le risque opérationnel. Dans certains cas, ils doivent annoncer la dure nouvelle que l'étude ne devrait pas avancer, mais c'est rare.

Chez IPA, nous continuons à intensifier ce processus et à le mettre en œuvre dans toute l'organisation. Mais les premiers résultats sont prometteurs. Lakens a noté que "le but n'est pas de garder, mais de s'améliorer." C'est exactement l'esprit que nous essayons de suivre avec le processus d'examen de la recherche technique de l'IPA. Sur la base de notre expérience, l'approche plus flexible et collaborative que nous avons adoptée fonctionne mieux pour y parvenir que les comités d'examen méthodologique ne l'ont fait dans le passé.