Quelques mois après avoir soumis son papier à une revue assez prestigieuse, Marianne*, physicienne, reçoit un reviewing presque insultant : dix petites lignes prétendant que ses résultats ne sont pas assez “broad audience” pour mériter publication. Sans aucune critique détaillée et constructive sur les éventuels problèmes du papier ou de conseils pour l’améliorer. Révoltée, Marianne* écrit à l’éditeur qui enverra son manuscrit à d’autres reviewers et acceptera finalement son article. L’issue est heureuse mais que de temps perdu… Imaginez : et si les rapports étaient rendus publics, les reviewers oseraient-ils les bâcler ainsi ? L’open peer review serait-il une solution pour améliorer la qualité de la relecture par les pairs ?
« Aujourd’hui, ce qui n’est pas transparent est tout de suite suspecté »
Richard Smith
Âge de raison. Discuté depuis plus de vingt ans, l’open peer review s’intègre totalement dans le mouvement de la science ouverte. Il regroupe des pratiques très différentes allant de la levée de l’anonymisation des reviewers, uniquement auprès des auteurs ou de tous, jusqu’à la relecture post-publication, un modèle de modèle qu’a adopté Peer Community In (relire notre analyse sur le sujet), en passant par la publication des rapports et des réponses des auteurs en même temps que l’article (en voici un un exemple). Face à ces nombreuses facettes – il en décompte sept –, le chercheur autrichien Tony Ross-Hellauer proposait ainsi en 2017 une définition somme toute pragmatique.
Open : Origins. D’où est partie l’idée ? Les pionniers appartenaient à la communauté biomédicale. Dès 1999, plusieurs revues, dont le prestigieux BMJ (anciennement British Medical Journal), commencent à publier soit le nom des reviewers, soit les rapports. Vous n’aviez jamais entendu parlé de l’open peer review ? En recherche, on construit sur le savoir et les pratiques de nos aînés, ce qui se traduit pour le peer review par, en grande majorité et selon les disciplines : du simple aveugle – les reviewers connaissent l’identité des auteurs mais pas l’inverse – ou en double aveugle – personne ne sait rien sauf l’éditeur. Sans parfois trop se poser de questions.
« Le vrai peer review s’effectue lorsque la publication est sortie et à la vue de tous »
Richard Smith
Autocontrôle. Le peer review est au cœur du fonctionnement de la recherche : les publications, les promotions, l’attribution des financements… tout est jugé par les pairs. Avec quels bénéfices ? Richard Smith, éditeur du BMJ jusqu’en 2004, s’étonne du manque de recul et d’études sur le sujet : « Jusqu’au début des années 1990, personne n’avait fait d’étude. La pratique du peer review était plus basée sur une croyance que sur des faits ». Commence alors une série d’études menées à la manière d’essais cliniques, contrôlés et randomisés, au sein des rédactions des plus grandes revues du domaine : le Journal of the American Medical Association, le BMJ… Un petit “cluster” d’éditeurs intéressés par la question et qui, grâce aux capacités financières des revues biomédicales, peuvent s’autoriser quelques digressions.
Placebo. Que donnent ces études ? Pas grand chose, malheureusement : « Il est très difficile de démontrer les bénéfices du peer review. D’ailleurs, on l’observe aujourd’hui : les preprints diffèrent assez peu des versions publiées », analyse Richard Smith. Devant le manque de preuves sur le fait que le double aveugle améliore ou non la qualité du peer review, les éditeurs retournent alors la question : et si l’on levait l’anonymat pour des raisons déontologiques ? On connaît les travers du peer review : très lent, parfois corrompu… « Aujourd’hui, ce qui n’est pas transparent est tout de suite suspecté ».
« Quand nous l’avons introduit pour de vrai, seulement une poignée a décliné nos demandes de peer review »
Richard Smith
Pliés au jeu. La non faisabilité de l’open peer review en pratique revient souvent dans la communauté : « Ça ne marchera jamais, personne n’acceptera de reviewer un papier sans être anonyme ! », clament alors les critiques. En effet, quand le BMJ l’a proposé comme une option, la moitié des reviewers se sont prêtés au jeu. « Mais quand nous l’avons introduit pour de vrai, seulement une poignée a décliné nos demandes de peer review », témoigne Richard Smith. Depuis, personne n’imagine revenir en arrière au sein de la prestigieuse revue. Pour l’ex-éditeur du BMJ, de toute façon, « le vrai peer review s’effectue lorsque la publication est sortie » et qu’elle est disponible pour tous.
Pas un carton. Vingt ans plus tard, la pratique a très peu percolé. D’après une série de sondages réalisée par le Publishing Research Consortium, l’open peer review est bien moins populaire que le peer review en double ou simple aveugle, même s’l a progressé entre 2009 et 2015 : plus de la moitié des chercheurs accepterait ou soutiendrait une potentielle levée de l’anonymat. Tout cela reste très dépendant des disciplines : les mathématiciens semblent bien plus prêts que les chimistes. Et si révéler son identité aux auteurs ne rebute pas trop, la publication des rapports reste une autre paire de manches.
« [Pour les reviewers] C’est la loterie ! »
Un chercheur espagnol
(Contre) exemple. L’écologue canadien Stephen Heard s’explique sur son blog : les reviewers écrivent pour les auteurs afin de les aider à améliorer leur manuscrit. Rendre le rapport intéressant et compréhensible pour tous demanderait alors beaucoup plus de travail. De plus, les auteurs n’ont d’ailleurs pas forcément envie que les faiblesses de leur première version soient exhibées… Pourtant, la publication des échanges entre reviewers et auteurs fournirait un corpus de rapports et de réponses utiles à la fois comme données pour des études sur le peer review et comme marche à suivre pour les jeunes chercheurs. Des jeunes chercheurs pour qui le peer review fait partie des nombreux codes à appréhender.
Génération non-non. Comment ces derniers perçoivent-ils le peer review ? En tant qu’auteurs, les jeunes chercheurs semblent globalement satisfaits de leur expérience mais admettent que suivre les recommandations des reviewers est parfois pénible, surtout que la qualité des rapports, très variable, dépend du reviewer : « C’est la loterie ! », répondait un jeune chercheur espagnol à l’enquête de 2017 du projet Harbingers (relire notre article sur les millenials). En tant que reviewers, les jeunes chercheurs semblent moins sévères que leurs aînés, acceptent plus d’articles à relire et rendent leur rapport plus rapidement, concluait une analyse sur une décennie de rapports au sein d’une revue interdisciplinaire, observant au passage une disparité selon les disciplines : en humanités, les reviewers semblaient plus généreux en recommandations par rapport à leurs confrères économistes ou en sciences de l’environnement.
« Nous n’avons jamais envisagé de revenir en arrière »
Richard Smith
Jeune veut pas. Concernant l’open peer review, les jeunes chercheurs ne semblent pas ultra enthousiastes, révélait l’analyse d’une enquête de 2019 sur près de 1600 d’entre eux dans le monde entier. Doctorants et postdocs préfèrent conserver leur anonymat, qu’ils estiment crucial pour un peer review honnête et non biaisé. Seul un sur quatre estime que la transparence encourage une démarche responsable et minutieuse. La relecture en double-aveugle reste donc bien plus populaire chez les millenials. Fait surprenant toutefois : la levée totale de l’anonymat leur semble être préférable à la relecture en simple aveugle – où seuls les reviewers restent anonymes – et à la publication des rapports dans leur intégralité.
Publish or not. Loin de remporter l’adhésion, la mise en place de l’open peer review n’a pas fait massivement fuir les reviewers dans les revues qui le pratiquent. « Nous n’avons jamais envisagé de revenir en arrière », témoigne Richard Smith, ex-éditeur du BMJ, qui publie toujours aujourd’hui le nom des relecteurs, sans que la qualité du peer review en ait été grandement améliorée. Un changement avant tout symbolique, donc. Et si, le meilleur moyen pour résoudre la crise du peer review était tout simplement de réduire le nombre de publications ?
*Le prénom a été changé