Ces dernières semaines, nous avons assisté à une affluence phénoménale de pré-publications scientifiques que l’on nomme « preprints » dans le jargon. Un preprint est un article de recherche qui n’a pas encore passé le processus de relectures par les pairs. Autrement dit, aucun membre de la communauté scientifique appartenant à un comité de relecture d’une revue scientifique n’a vérifié la validité de ces travaux. On peut donc potentiellement y retrouver des erreurs méthodologiques mineures (des soucis de formes, un résultat présenté de façon peu clair, etc.) ou majeures (méthodologie douteuse, analyse mal réalisée, etc.).

Dans le cadre du COVID-19, ce système, qui permet habituellement aux scientifiques de court-circuiter sporadiquement le parcours du combattant que consiste cette relecture, s’est parfois transformé en machine à manipuler l’opinion. Dans cet article, nous allons commencer par rappeler le fonctionnement de la publication scientifique actuelle. Ensuite, nous discuterons des serveurs preprint et des outils de critiques associés. Pour toutes ces choses, nous exposerons leurs utilités, avantages et inconvénients, en lien avec la pandémie. Enfin, nous imaginerons comment inventer la science de demain face aux différents problèmes qu’elle rencontre.

Le peer-review : une solution imparfaite

Avant de parler de tout cela, rappelons un peu comment fonctionne le processus de publication scientifique. Pour servir le but commun de la production de connaissances, les scientifiques réalisent des expériences dans leurs domaines de recherches. Ces études, avant d’être publiées dans la littérature scientifique, sont envoyées, dans la majorité des domaines, à des éditeurs de revues scientifiques. Ces derniers envoient l’article à trois ou quatre autres chercheurs du domaine afin de relire l’article. Cette relecture, qu’on appelle relecture par les pairs (ou peer-review) est nécessaire afin de vérifier que la production de connaissance est valable et qu’elle contient le moins de biais possible. Cette examen est incontournable dans le processus de la démarche scientifique. En effet la démarche scientifique constitue une pratique collective. Néanmoins, la façon dont elle est pratiquée aujourd’hui laisse à désirer.

Les inconvénients du peer-review classique

Premier inconvénient : le temps. La démarche de relecture par les pairs prend un temps considérable. Il faut parfois six mois à un an avant qu’un article soit publiée dans un journal scientifique. Cela dépend aussi du standing du journal dans lequel on veut publier. Certains journaux sont plus long à accepter des articles que d’autres car plus soucieux de la qualité des articles qu’ils publient.

La relecture par les pairs est un processus qui prend beaucoup de temps © MagicPeanut

Deuxième inconvénient : la relecture par les pairs n’est pas transparente. La publication finale ne contient jamais l’historique des remarques de la revue par les pairs. Cela va à l’encontre de la rigueur de la démarche scientifique. Dans de rare cas, elle n’est pas en anonyme, ce qui expose à des biais sociocognitifs inconscients.

Troisième inconvénient : la relecture par les pairs est parfois éloignée des idéaux rigoureux qu’on se représente. “C’est parfois un moyen d’assassiner des papiers. J’ai eu une peer-review de quatre lignes une fois qui me disait “cela n’a rien à faire dans ce domaine”. Voilà. C’était ma peer-review.” déplore Lonni Besançon, post-doctorant dans le domaine des interactions humains-machines à l’université de Linköping en Suède.

Le relecture par les pairs manquent parfois de transparence. © MagicPeanut

Enfin, ce système laisse peu de place aux critiques interdisciplinaires dans un monde scientifique qui devient de plus en plus transdisciplinaire. C’est là que l’usage des préprints peut être adéquat s’il est bien utilisé.

Quand les préprints sèment la confusion

Nous le disions : le preprint est un formidable outil qui comporte plusieurs avantages. Mais s’il permet de répondre à certaines attentes et résoudre certains problèmes inhérents au peer-review classique, il comporte, lui aussi, son lot d’inconvénients.

Les avantages des préprints 

Premier avantage : il permet de mettre des articles à disposition de toute la communauté scientifique instantanément. “Ce que l’on soumet sur un serveur de preprint est, normalement, un article sous sa forme finale. Le but, c’est qu’il soit accessible à la communauté scientifique au plus vite tout en le soumettant en parallèle à un journal peer-review. Car la revue par les pairs et les aller-retours peuvent ensuite prendre beaucoup de temps.” explique Michael Sera, chargé de recherche CNRS à l’institut de biologie Paris-Seine.

Les preprints permettent de mettre les articles à dispositions de toute la communauté. © MagicPeanut

Deuxième avantage : il offre la possibilité de bénéficier d’une critique interdisciplinaire des papiers scientifiques via des plateformes comme PubPeer. Un avantage non-négligeable lorsqu’on sait que les domaines sont de plus en plus amenés à s’interconnecter pour appréhender la complexité des phénomènes du monde réel. De ce fait, les échanges peuvent être rapides, constructifs et accélérer grandement le processus de relecture ainsi que la qualité des papiers.

“J’utilise les preprints à plusieurs niveaux. Pour partager mes recherches aussi vite que possible et avoir un retour plus étendu que via la revue classique par les pairs. Aussi, cela permet de m’informer de ce qui se passe dans mon domaine de recherche. Le problème actuel est que certains scientifiques utilisent des preprints qui ne passeront, pour la plupart, jamais la revue par les pairs car les études sont soit illégales soit de trop mauvaises qualités méthodologiques. En réalité, les preprints ne sont pas faits pour la communication journalistique, ils sont faits pour la communication entre chercheurs” rappelle Lonni.

En effet, ces derniers temps, on a pu assister à ce que nous appelons ici la guerre des preprints, notamment sur Twitter, où beaucoup de scientifiques n’hésitent pas à partager des travaux prépubliés auprès du grand public sans faire preuve de prudence ni de réserve à l’égard des informations communiquées dans ces derniers. Cette attitude n’est pas digne de l’esprit scientifique. Cela ne ressemble ni plus ni moins à des tentatives de manipulation de l’opinion publique.

Troisième avantage : le preprint donne un accès gratuit aux publications dans un monde scientifique où les éditeurs ont la main mise sur l’accès aux travaux scientifiques. Les abonnements aux grands journaux coûtent très cher. “L’avantage des preprint, c’est qu’ils donnent accès aux publications sans payer les Article Processing Charges (APC) que font payer les éditeurs en accès libre. Oui, un scientifique qui veut publier en accès libre (pour que l’article soit accessible sans être abonné à une revue) doit payer. Ça peut aller jusqu’à mille euros par article voir plus. C’est un sacré business. Le preprint permet de se conformer avec les demandes des financeurs et tutelles en mettant nos articles en ligne tout en respectant les règles éditoriales, qui refusent par exemple qu’on mette en ligne nos propres articles sur nos sites web respectifs” raconte Mathieu Pucheault Directeur de recherche CNRS à l’Institut des sciences moléculaires de Bordeaux.

Les inconvénients des préprints

Premier inconvénient : le preprint repose uniquement sur l’honnêteté intellectuelle de son utilisateur.  “Malheureusement ce système tient sur un principe qui est que les scientifiques publiant leur brouillon final sur un serveur de preprint ont un intérêt à conserver leur réputation et donc à publier des choses sérieuses” détaille Michael.

Deuxième inconvénient : les preprint ne sont pas accessibles qu’aux scientifiques. Et ce n’est pas une mauvaise chose en soi. Cependant, les articles scientifiques sont des écrits techniques. Seuls des experts du domaine ou des personnes qui ont des connaissances robustes de la méthodologie peuvent prétendre déceler des erreurs éventuelles. Un journaliste par exemple, même scientifique, peut se retrouver démuni face à un preprint dont il ne sait pas scruter les erreurs.

Pourtant, durant cette crise, beaucoup d’articles ont été écrits dans la presse sur la base de preprint. Parfois, ces mêmes articles omettaient de mentionner qu’il parlait d’un preprint. Et dans les rares cas où cela été mentionné, l’explication de ce que c’était était trop rapide et simpliste. Nous pensons que cela participe de la confusion auprès du grand public. En effet, ce dernier ne sait généralement pas comment fonctionne le processus de validation d’articles scientifiques. Pour bien faire, il faudrait d’abord expliquer ce processus. Dans un second temps, écrire ledit article en prenant en compte les critiques qui sont faites en temps réel. Il existe des plateformes prévues à cet effet telles que PubPeer. Cela demande donc une certaine maîtrise du sujet ou une affinité avec les sciences.

Malheureusement, la plateforme PubPeer est aussi très imparfaite. ” Sur la plateforme PubPeer, on peut voir de superbe critiques constructives mais aussi des attaques calomnieuses, notamment à cause de l’anonymat abusif que confère cet espace. C’est aussi un bel outil mais pas toujours bien utilisé” précise Michael. On voit donc la limite de toutes ces solutions. Mais ne serait-il pas envisageable de créer une nouvelle façon de faire de la science ? Autrement dit, d’inventer la science de demain ?

Inventer la science de demain

Si le peer-review classique montre ses limites, il semble cohérent, dans un esprit toujours plus scientifique, de trouver des solutions pour les dépasser. Les preprints et les plateformes de critiques telles que PubPeer sont utiles mais nous l’avons vu, ont aussi leur travers. S’il faut faire le deuil d’une solution miracle, on peut néanmoins chercher à améliorer les choses.

C’était l’objectif de plusieurs projets, dont Publisciences porté par Michael. “L’idée était de regrouper des chercheurs toutes disciplines confondues, distingués grâce à un identifiant officiel alphanumérique. La plateforme permettant ainsi une relecture « ouverte » réalisée par les pairs. Cela aurait permis de l’utiliser en plus des serveurs de preprints. Par exemple pour permettre un travail de révision par les pairs multidisciplinaire, transparent et visible au public.” En l’écoutant, on comprend que cela permettrait de préserver un anonymat de surface. On pourrait donc prévenir plus efficacement d’éventuels abus. C’est un projet que nous avons trouvé superbe. Mais malheureusement, Michael nous a vite fait comprendre que ce n’était pas pour demain. Le projet ne sera d’ailleurs peut-être jamais viable. “Beaucoup de gens nous ont fait d’excellents retours mais personne ne veut mettre la main à la poche et mon associé n’étant pas fonctionnaire, il fallait bien le faire vivre” déplore Michael.

En résumé, le peer-review classique comporte beaucoup de problèmes. Les serveurs preprint et les plateformes de critiques comme PubPeer tentent de les résoudre. Actuellement, il reste beaucoup d’imperfections dans ces solutions. D’autres projets semblables à celui de Michael sont en construction ou déjà actifs. Mais pour inventer la science de demain, il faudra aussi discuter des influences politiques et économiques qui pèsent sur le monde scientifique. Ce sera l’objet d’un prochain article.