Votre article s’intitule Opening Pandora’s box : Paper mills in conference proceedings. Pourquoi cette métaphore de la boîte de Pandore ?
Les paper mills [ou moulins à papier, dans la langue de Molière, NDLR] sont des entreprises qui proposent tout ce que l’on peut imaginer comme service d’un point de vue académique. Leur activité principale consiste à vendre la paternité d’un article souvent de très mauvaise qualité que le chercheur n’a pas rédigé, en échange d’argent. Mais ce n’est pas tout. On trouve aussi des ventes de citations ainsi que des aides pour des démarches de visa. L’étude que nous avons menée avec Anna Abalkina (relire son interview), Marie Kunešová et Solal Pirelli, visait à recenser les actes de conférences de l’Institute of Electrical and Electronics Engineers (IEEE) infiltrés par des paper mills. Nous pensions trouver une centaine d’offres [émises par les paper mills, NDLR] dont la moitié aurait abouti à une publication. Mais l’ampleur du phénomène était bien plus importante que ce à quoi nous nous attendions : sur près de 4000 offres recensées, 2062 ont ensuite été publiées. D’où notre comparaison avec la boîte de Pandore : tant qu’on ne l’ouvre pas, il est impossible de se faire une idée de l’ampleur du problème.
« Il faut le reconnaître, elles ont développé un excellent service client »
Comment ces entreprises entrent-elles en contact avec les chercheurs ?
Les paper mills communiquent via divers canaux très facilement accessibles : emails, séminaires promotionnels dans les universités, réseaux sociaux, etc. Certaines ont même des sites qui fonctionnent comme des sites de location d’hébergements : vous sélectionnez la date de la conférence qui vous intéresse et vous obtenez une liste d’articles disponibles à la vente. Pour notre étude, nous nous sommes concentrés sur des groupes WhatsApp et Telegram. Contrairement à ce que l’on pourrait croire, la nature de leurs services est rarement dissimulée. Les intitulés sont très explicites : « appel à candidatures pour des postes d’auteur », « articles acceptés pour des conférences disponibles » ou encore « ajoutez votre nom à un article de recherche ». S’ensuivent une liste de titres d’articles accompagnée des positions d’auteurs à vendre accompagnés de leur prix. Au fil du temps, ces entreprises se sont transformées en véritables prestataires de services (très) complets, avec des stratégies marketing très efficaces. Certaines proposent des réductions pour un forfait de plusieurs articles, d’autres des promotions à l’occasion de fêtes nationales, elles envoient des vœux de fin d’année, demandent des nouvelles, se rendent disponibles à toute heure de la journée… Il faut le reconnaître, elles ont développé un excellent service client.
Pourquoi vous être concentrés sur les actes de conférence ?
Jusqu’à présent, ils ne faisaient pas l’objet d’une attention particulière dans les études sur les paper mills pour une raison simple : on considère généralement que les articles revêtent une plus grande importance dans la carrière des chercheurs et sont donc davantage visés par ces pratiques. Mais ce n’est pas le cas dans toutes les disciplines. En informatique, par exemple, certaines conférences sont presque mieux considérées que les revues. Or si aujourd’hui certains éditeurs portent une attention particulière sur la qualité des publications de leurs revues, ces normes ne s’appliquent pas toujours aux actes de conférences. Notamment lorsque celle-ci a été organisée par un tiers et que l’éditeur n’est qu’un sponsor technique ou un cosponsor. De nombreux organisateurs de conférences, dont l’IEEE que nous avons choisi d’étudier, ne sont pas directement impliqués dans la soumission, l’évaluation ou la révision des articles et n’en reçoivent que les versions prêtes à être publiées. La nature décentralisée des conférences les rendent donc particulièrement vulnérables aux paper mills. Ce à quoi il faut ajouter que les actes de conférences sont souvent indexés dans des bases de données internationales, comme Scopus, et donc utilisés dans l’évaluation de la recherche ; dans certains pays, les financements et les emplois dépendent directement du nombre de publications.
« Tout est fait pour donner l’impression d’un article scientifique sérieux, du moins de loin »
Qui sont les chercheurs qui répondent à ces offres ?
Nous avons recensé plus de 200 groupes diffusant des offres de ce type avec une audience cumulée de plus de 600 000 personnes. Bien sûr, certaines personnes ont pu être comptées deux fois mais ce chiffre reste très élevé. Les articles que nous avons identifiés ont été co-rédigés par plus de 7500 chercheurs issus de plus de 2000 institutions dans une cinquantaine de pays. L’Inde est particulièrement touchée : 93% des articles recensés étaient liés à des coauteurs indiens et la plupart des offres des paper mills ciblaient directement les chercheurs du pays — avec des prix en roupies, par exemple. L’une des raisons est une culture du publish or perish exacerbée dans ce pays. Pour vous donner un exemple, 22 % des articles recensés comprenaient des coauteurs affiliés à une seule université en Inde, où il y a des exigences de publication pour l’obtention du doctorat. Il faut tout de même garder à l’esprit que nous basons nos travaux sur les offres publiées en anglais. Si nous avions effectué nos recherches sur des réseaux sociaux plus répandus dans les pays asiatiques, comme en Chine par exemple, les résultats auraient probablement été légèrement différents.
Quelle est la répercussion sur la qualité des papiers publiés ?
La qualité de ces articles laisse à désirer. Tout est fait pour donner l’impression d’un article scientifique sérieux, du moins de loin. Mais lorsqu’on regarde attentivement, il est très facile de repérer les éléments problématiques : le contenu est souvent générique, les exemples hors-sujet et les graphiques n’apportent aucune information. Ce que l’on retrouve également souvent, ce sont des irrégularités au niveau des citations. Soit il y en a trop à la fois, soit elles n’ont aucun rapport avec le sujet de l’article ou le contexte dans lequel elles sont utilisées. C’est une pratique courante des paper mills. Autre fait notable : les auteurs sont tous affiliés à des pays ou établissements différents et n’ont jamais collaboré ensemble en dehors de cet article, ce qui est peu commun dans le monde de la recherche.
« Ces articles doivent être rétractés : ils n’auraient jamais dû faire partie du corpus scientifique »
Avez-vous eu un retour de l’IEEE suite à la publication de vos résultats ?
Nous avons transmis l’article au responsable de l’éthique de la publication de l’IEEE avant même de mettre notre preprint en ligne et avons eu l’occasion d’échanger depuis. Ils sont au courant du problème et mènent leurs propres enquêtes. Ils semblent donc très réceptifs à notre travail. Même si aucun de ces articles n’a été rétracté pour l’instant, certaines des publications que nous avons identifiées l’avaient déjà été avant notre travail. C’est une question de perception, qu’il faut changer : aujourd’hui ces rétractations ne sont pas vécues comme une correction scientifique mais comme une sanction, en particulier pour les petits éditeurs qui craignent pour leur réputation.
Que doivent faire les éditeurs face à ces constats ?
Ces articles doivent être rétractés : ils n’auraient jamais dû faire partie du corpus scientifique. L’IEEE assure un travail d’évaluation plutôt satisfaisant pour la plupart de ses événements et de ses conférences réputées. Mais pour les autres conférences, où il n’est que sponsor technique, la situation est différente : il n’a aucun contrôle sur le processus. Et ce n’est pas propre à l’IEEE, il faut revoir les critères d’acceptation de ces actes de conférence. De plus, lorsque l’une d’entre elles présente autant d’articles frauduleux, les éditeurs devraient envisager le retrait de l’ensemble de ses actes et pas uniquement celui des actes incriminés. Il faudrait également sanctionner les conférences régulièrement compromises. Bien sûr, cela exige un effort supplémentaire de la part des éditeurs mais il existe déjà de nombreux outils, il faut maintenant y mettre les moyens nécessaires. Il faut prendre le problème des paper mills au sérieux car il ne cesse de prendre de l’ampleur : si les éditeurs ne font rien, ils seront bientôt débordés.
« Se baser sur le nombre de publications ou le nombre de citations donne à ces entreprises une raison d’être »
Quels sont les risques de ce type de pratique ?
Avant toute chose, les méthodes que nous utilisons pour évaluer la recherche et les chercheurs ne sont pas bonnes. Se baser sur le nombre de publications ou le nombre de citations donne à ces entreprises une raison d’être. Dans certains pays, la poursuite de carrière ou l’obtention de financements y est conditionnée. Le problème, c’est qu’une fois que ces articles intègrent la littérature scientifique, ils en font partie intégrante, au même titre que n’importe quelle autre recherche de bonne qualité. Pour un novice, un lycéen, un journaliste ou toute personne qui ne sait pas différencier un article fiable d’un article frauduleux, les conséquences sont dramatiques.
L’IA pourrait-elle les amplifier ?
Cet autre problème prend de plus en plus d’ampleur. Ces articles frauduleux sont en ligne et accessibles et permettent donc de “nourrir” les outils d’IA. C’est un cercle vicieux : l’IA s’entraîne, entre autres, sur ces données erronées qui servent ensuite à fournir des informations à ses utilisateurs… voire à générer des articles. Ce qui ne fait que propager à grande échelle ces articles de mauvaise qualité. Évidemment, on pourrait en premier lieu postuler que l’IA ne devrait pas être utilisée pour générer des articles. Mais la réalité est que l’IA existe, qu’elle est de plus en plus utilisée, y compris par les scientifiques, et qu’elle ne s’inspire pas des meilleures pratiques scientifiques. Du côté des paper mills, il est possible que ces entreprises commencent également à y avoir recours. On voit une légère différence entre les articles d’il y a quelques années en provenant et les plus récents : les idées semblent plus originales et l’ensemble mieux construit. Mais il reste des moyens de détecter les articles générés par l’IA : les citations hallucinées, les phrases torturées ou encore les images générées de toutes pièces [relire notre portrait de Guillaume Cabanac, NDLR].
« Les rétractations sont davantage associées à la lutte contre la fraude qu’à la correction scientifique »
Comment sont perçues les rétractations d’articles dans la communauté scientifique ?
Les rétractations et les corrections, quelles qu’elles soient, sont un rouage important du processus scientifique. Il faut garder en tête que les rétractations ne sont pas forcément synonymes de paper mills ou de fraude ; il peut parfois aussi s’agir de simples erreurs involontaires. Mais aujourd’hui ces rétractations sont davantage associées à la lutte contre la fraude qu’à la correction scientifique. Pour que la manière dont nous les percevons change, il faudrait que les avis formulés par les éditeurs explicitent plus clairement les raisons de la rétractation en question.