Pour celles et ceux qui ne connaîtraient pas PubPeer, comment le décrivez-vous en quelques phrases ?
C’est un site où l’on peut discuter, questionner, voire critiquer des publications scientifiques. Le point fort – mais aussi de controverse – est que l’on permet des commentaires anonymes. En retour, le contenu est assez fortement modéré. Si vous avez quelque chose à dire sur un papier, c’est le bon endroit car vous serez protégé et nous centralisons les discussions.
La question de l’anonymat des commentaires a effectivement fait beaucoup débat. Pourquoi était-ce crucial pour vous ?
Quel que soit son avis sur l’anonymat, il faut reconnaître que beaucoup de commentaires utiles n’auraient pas été déposés sans cette protection. Nous en avons fait l’expérience sur PubPeer : le volume de commentaires a vraiment augmenté à partir du moment où l’inscription est devenue totalement anonyme – au départ, pendant les premiers mois, même si l’identité des commentateurs ne s’affichait pas, nous détenions l’information. Un autre exemple est le lancement quelques temps après PubPeer d’un système adossé à PubMed [la plateforme de référence pour la recherche d’articles scientifiques dans le domaine biomédical, NDLR], similaire à PubPeer mais ne permettant pas l’anonymat. Malgré l’importance du trafic sur PubMed, ils obtenaient peu de commentaires – dix ou vingt fois moins que nous –, ce qui les a amenés à abandonner le concept. Visiblement, certaines personnes ressentent le besoin d’être protégées par l’anonymat.
« En dix ans, nous n’avons jamais été poursuivis pour diffamation »
Boris Barbour
De quoi les chercheurs et chercheuses ont-ils peur ?
Les donneurs d’alerte sont toujours vulnérables. Imaginez un doctorant qui aurait vu une erreur et voulait discuter des articles de Didier Raoult pendant la pandémie. C’est possiblement se lancer dans un maelstrom de harcèlements et représailles judiciaires… ce n’est pas bon pour la productivité en thèse !
Justement, Didier Raoult a porté plainte contre Elisabeth Bik et vous-même. Avez-vous eu des nouvelles ?
Non, je n’ai pas été contacté par le Parquet et je ne suis pas vraiment inquiet – si la justice fait bien son travail, je n’aurai pas de problème. Mais cette judiciarisation peut impressionner, notamment les jeunes chercheurs. C’est pourquoi nous nous sentons obligés de proposer l’anonymat.
En contrepartie, comment modérez-vous les commentaires des utilisateurs ?
Il y a deux cas de figure. Si le commentaire provient d’un utilisateur de confiance – quelqu’un qui est connu pour la qualité de ses commentaires – il est automatiquement rendu visible. S’il provient d’un utilisateur qui n’est pas dans la première catégorie ou d’un nouvel utilisateur anonyme, le commentaire sera relu et publié s’il correspond aux critères. Les utilisateurs de PubPeer peuvent passer d’une catégorie à l’autre en fonction de leurs commentaires.
Et quels sont ces critères ?
Être poli et factuel – et ces règles se sont renforcées avec le temps. Un autre point important : l’information sur laquelle se base le commentaire doit être accessible au lecteur. L’ouï-dire est interdit. Ce qui malheureusement exclut certaines alertes – internes à des laboratoires par exemple – mais PubPeer n’est pas l’endroit pour cela.
Les commentaires sont-ils toujours justes ?
Ils ne subissent pas une véritable relecture scientifique, donc ils peuvent en principe être faux. Mais il faut que le lecteur puisse en juger par lui-même – d’où l’importance de l’accès à l’information. Quand il s’agit d’une allégation implicite de méconduite – on ne peut pas dire explicitement “cette personne a triché” mais on peut dire “regardez, les deux parties de cette image sont identiques” –, le modérateur doit en être convaincu pour autoriser le commentaire. Avec la montée en puissance de PubPeer, nous devenons de plus en plus exigeants. D’une part car c’est quand même stressant pour les chercheurs accusés. D’autre part pour des raisons juridiques : si jamais nous allions au tribunal, nous préférerions être capable de montrer la vérité ou la bonne foi des commentaires.
« Nous n’avons jamais eu de pression de nos tutelles : tant que nous insistons bien sur l’indépendance mutuelle, nous pouvons continuer. »
Boris Barbour
Pourtant, certains chercheurs craignent des abus.
Oui, certains critiquent et accusent PubPeer d’être un lieu où l’on peut dénigrer en toute impunité. Dans la pratique, je ne vois pas comment cela pourrait être le cas. Les commentaires sont souvent écrits par des experts et les modérateurs qui les relisent ont acquis une certaine expérience depuis les dix ans d’existence du site. J’aimerais qu’on me pointe des exemples concrets d’abus sur les 100 000 commentaires de la base. En dix ans, nous n’avons jamais été poursuivis pour diffamation.
À combien de modérateurs faites-vous appel ? Cela représente-t-il beaucoup de travail ?
Nous ne donnons pas d’information détaillée sur les modérateurs pour leur sécurité. Mais le flux n’est pas gigantesque : environ 4000 commentaires par mois dont la moitié sont relus. Cela représente grossièrement deux heures de travail quotidien. Et les commentaires sont toujours extrêmement ciblés, ce qui facilite la relecture.
On dénombre beaucoup plus d’inconduites en biologie/santé. Comment l’expliquez-vous ?
Il y a beaucoup de biais de sélection donc c’est très difficile à quantifier. Tout d’abord, le volume de recherche en biomédical est très important. Ensuite, la nature des articles est différente : souvent, on doit faire confiance aux auteurs qui ne montrent souvent dans leurs papiers que des illustrations pour étayer leurs conclusions et cela peut conduire à une représentation peu fiable de la réalité. Certaines des méconduites en biomédical sont d’ailleurs relativement facilement décelables : ce sont la plupart du temps des manipulations ou duplications d’images. Enfin, les pratiques et donc les exigences sont différentes en fonction des disciplines. Dans les sciences plus “dures” comme en physique, proposer un mécanisme qui soit vérifiable pour expliquer les résultats – un modèle, des équations… – est la règle. En biologie, les choses sont suffisamment compliquées pour que les mécanismes ne soient pas toujours vérifiables donc l’exigence est moindre.
« Les autorités sont gênées par le caractère à la fois anonyme et imprévisible des commentaires de PubPeer »
Boris Barbour
Comment améliorer la détection de fraudes ? Faudrait-il agir plus en amont ?
La police de la recherche, que ce soit PubPeer ou les autorités, reste quelque chose d’ad hoc, de très aléatoire, avec des délais longs et donc peu efficace. De plus, elle ne pourra jamais détecter les fraudes de manière exhaustive. C’est pourquoi il faudrait changer de manière systémique les motivations des chercheurs : ne pas compter les articles, les citations, ni le facteur d’impact de la revue dans laquelle l’article a été publié mais regarder la qualité du travail et récompenser les chercheurs en fonction.
Si vous deviez suggérer une réforme, quelle serait-elle ?
Une chose simple peut être faite – et on commence à le faire – : exiger, avec la publication de l’article, l’accès aux données sources dans leur intégralité et pour tous. Il devient alors beaucoup plus risqué de tricher et beaucoup plus facile de vérifier les conclusions. J’ai déjà publié dans des revues qui l’exigent et on travaille autrement : les données doivent être organisées d’une manière compréhensible par une tierce personne, le script d’analyse doit pouvoir être lancé par quelqu’un d’autre… Cela changerait totalement la nature des discussions actuelles : 95% des cas litigieux sur PubPeer seraient résolus avec l’accès aux données – des données que l’on obtient pas aujourd’hui, en général. Et cela améliorerait aussi l’ambiance parfois désagréable due au manque de confiance dans les auteurs.
« On ne demande qu’à devenir inutile mais nous en sommes encore loin ! »
Boris Barbour
Y a-t-il des progrès en ce sens à l’échelle internationale ?
Oui, il y en a un peu partout mais la grande nouvelle est la politique qui vient d’être annoncée cette année aux États-Unis : à partir de 2025, toute recherche financée par un organisme fédéral devra être publiée en accès ouvert immédiat avec les données sources [en France, le dépôt des données source n’est pas obligatoire, NDLR]. Le caractère obligatoire de la mesure apporte un réel bénéfice pour les questions d’intégrité scientifique. Si c’est uniquement une incitation, seules les personnes bien intentionnées le feront.
Alors qu’en France, cela reste incitatif…
De grandes annonces avaient été faites mais on dirait que l’enthousiasme est retombé. La devise actuelle – “aussi ouvert que possible, aussi fermé que nécessaire” – n’est pas très glorieuse. Mais j’espère que ça viendra.
La plupart des détections d’erreur ou de fraude ne sont pas suivies d’effet, comme nous le disait Elisabeth Bik. Comment corriger la science ?
Je comprends la frustration des chercheurs. Notre objectif premier est d’informer les lecteurs d’articles le plus rapidement possible sur les erreurs et les méconduites et de centraliser cette information. Il existe d’ailleurs des plugins pour les navigateurs et un pour Zotero permettant de renvoyer d’une publication à ses commentaires sur PubPeer [le même outil pour les preprints est en cours d’élaboration, NDLR]. Il y a d’autres démarches possibles lorsque l’on détecte un problème dans une publication – contacter l’éditeur, l’institution pour une enquête… – mais c’est très long et ceux qui ont préféré commencer par ces démarches sont finalement souvent revenus sur PubPeer pour plus de rapidité. Je conseille de faire tout en parallèle et de rendre publique cette discussion.
« On trouvera toujours des personnes prêtes à renoncer à bien faire leur travail pour faire des économies (…) L’argent a corrompu le système »
Boris Barbour
Faut-il forcer les éditeurs et les auteurs à répondre aux alertes ?
Pour les journaux, je pense que c’est peine perdue. Le travail éditorial [comprenant le peer review avec l’envoi et le suivi du manuscrit aux reviewers, NDLR] représente peut-être 98% des coûts d’une revue et on trouvera toujours des personnes prêtes à renoncer à bien faire leur travail pour faire des économies. Ce n’est pas un hasard si toutes les grandes maisons d’édition ont une frange de revues moins sérieuses voire assez prédatrices. L’argent a corrompu le système. Donc nous devons réussir à publier autrement et/ou changer le système de récompense.
Quel est l’avenir de PubPeer ?
Depuis dix ans, PubPeer grandit très doucement mais s’améliore en qualité grâce à l’expertise de nos contributeurs et devient de plus en plus accepté. Aujourd’hui, PubPeer est intégralement financé par des abonnements souscrits par des éditeurs et des institutions à des alertes sur les commentaires les concernant. Ceux-là peuvent être un feedback utile pour les éditeurs et les signes avant-coureurs d’un scandale pour les institutions. Ils peuvent aussi répondre officiellement aux commentaires sur le site. Sans doute, PubPeer continuera ainsi quelques années. On ne demande qu’à devenir inutile mais nous en sommes encore loin !
« La police de la recherche reste quelque chose de très aléatoire »
Boris Barbour
Pourquoi les institutions ne soutiennent pas plus fortement PubPeer selon vous ?
Les autorités sont gênées par le caractère à la fois anonyme et imprévisible des commentaires de PubPeer. Quelque part, ce n’est pas plus mal car cette indépendance mutuelle a des avantages. Mais on peut espérer dans le futur des financements plus pérennes des grands acteurs de la recherche, que ce soit des fondations philanthropiques ou bien les agences de financement comme le NIH aux États-Unis. De notre côté, nous n’excluons pas l’ouverture du conseil d’administration ou la création d’un “editorial board” ouvert à des membres institutionnels. Mais il faut garder en tête qu’il s’agit d’un site mondial et qu’une régulation sera difficile à cette échelle. Nous sommes souvent obligés de répéter que PubPeer n’est pas un site français – ni une crypto-startup. Nous sommes une association à but non lucratif – pour montrer le caractère communautaire et altruiste – et hébergée aux États-Unis – pour leur protection juridique.
La création de pubpeer a-t-elle eu un impact positif ou négatif sur votre carrière ?
Ça prend clairement du temps et cet investissement n’est pas immédiatement reconnu. Les relations avec certains de mes collègues qui ont eu des problèmes à cause de commentaires sur le site sont devenues compliquées. Mais le domaine de recherche de Brandon Stell [le fondateur de PubPeer, NDLR] et moi-même, les neurosciences fondamentales, ne génère pas beaucoup de discussions sur PubPeer. Nos collègues directs restent donc finalement peu concernés, ce qui nous facilite les choses. Au niveau des institutions, certaines personnes au CNRS ne portent pas PubPeer dans leur cœur et ce n’est un secret pour personne. Cela dit, en tant que chercheur CNRS, j’ai un statut de fonctionnaire qui me permet de le faire – même si c’est sur mon temps libre – et j’en suis reconnaissant. Nous n’avons jamais eu de pression de nos tutelles : tant que nous insistons bien sur l’indépendance mutuelle, nous pouvons continuer.