L’erreur est humaine et le monde de la recherche n’y fait pas exception. Oublier de changer les paramètres de l’expérience d’une mesure à l’autre, mettre une virgule en trop dans le code d’analyse ou copier-coller trop vite… Les possibilités d’étourderie sont infinies. Évidemment, la vérification entre co-auteurs et la relecture par les pairs en filtrent pas mal. Mais certaines passent à travers des mailles du filet jusqu’à se retrouver dans les publications scientifiques, avec des conséquences parfois graves. Lorsque ces bourdes sont repérées a posteriori – parfois signalées publiquement sur PubPeer –, la menace de la rétraction guette les auteurs, que ces derniers aient eu l’intention de tricher ou pas.
« La rétractation reste une expérience très stressante, même lorsque les auteurs n’avaient pas tenté de frauder »
Marton Kovacs
Perseverare diabolicum. Car si deux tiers des rétractions sont d’origine frauduleuse (manipulation de données, plagiat…), dans environ un cas sur cinq des erreurs “de bonne foi” sont identifiées. C’est du moins le cas en biomédical où plusieurs études, après analyse des notices de rétractation, nous livrent ces chiffres – la première publiée dans PNAS en 2012, une seconde en 2018 et plus récemment en 2024 dans la revue Scientometrics. Cette dernière montrait notamment l’inflation du phénomène : le taux de rétractation a été multiplié par 4,5 entre 2000 et 2020. Au total, parmi les 50 000 entrées que contient la base de données de Retraction Watch, des milliers auraient pu être évitées. Mais comment ? Ces études occultent un élément central : l’aspect humain.
Adroit, à gauche. Une lacune que vient combler une étude publiée dans la revue Royal Society Open Science par des chercheurs en psychologie, dont quatre Hongrois de l’Université Eötvös Loránd à Budapest et un de l’Université de Stanford aux États-Unis. Leur discipline a été particulièrement touchée par la “crise de reproductibilité” ; certains connaissent peut-être l’article publié en 2005 par John Ioannidis qui cherchait à montrer pourquoi la plupart des résultats publiés sont faux. Les cinq chercheurs ont été sonder leurs collègues ayant rétracté – ou vu rétracter – une de leurs publications. Une centaine d’entre eux (45% des répondants) ont estimé que la cause de la dépublication de leurs travaux étaient des maladresses dans la gestion des données.
« Dans une centrale nucléaire, il y a des règles strictes que chacun doit suivre pour éviter la catastrophe »
Marton Kovacs
Essais, erreurs. À quelle étape les bourdes ont-elles été commises ? Les auteurs de l’étude ont catégorisé les types d’erreurs ayant mené à des rétractations et demandé à leurs collègues laquelle s’appliquait dans leur cas. En tête arrive l’analyse incorrecte des données (19%), suivie par des erreurs d’encodage des mêmes données (14%) puis des pertes de matériels, données ou documentation et des erreurs de saisie (11%). Mais la liste ne s’arrête pas là, loin s’en faut. Les auteurs ont été surpris, eux qui pensaient identifier un nombre limité d’erreurs se répétant d’un cas à l’autre pour ainsi se concentrer dessus. « N’importe quelle erreur à n’importe quelle étape peut conduire à une rétractation », explique Marton Kovacs, doctorant et premier auteur de l’étude. C’est pourquoi les auteurs suggèrent aux chercheurs de revoir leurs protocoles de gestion des données dans leur ensemble.
Facteur humain. Est-il possible d’identifier les mécanismes à l’origine des erreurs ? Les chercheurs interrogés citent en premier l’inattention (14%), des problèmes techniques (13%), une mauvaise communication (12%), ainsi que la négligence (11%) – et la liste continue. Mais aucun ne ressort nettement. Les auteurs de l’étude sont allés plus loin en tentant de relier les types et les causes d’erreur : ainsi, les erreurs de saisie sont souvent dues à l’inattention alors que la perte de matériels, données ou documentation à une mauvaise communication. Des résultats somme toute logiques.
« J’en ai perdu le sommeil et je me sentais horriblement mal »
Mitch Brown
Stress test. Autre résultat qui n’a surpris qu’à moitié les auteurs : « La rétractation reste une expérience très stressante, même lorsque les auteurs n’avaient pas tenté de frauder », explique Marton Kovacs. Pouvant jauger leur niveau de stress entre 0 et 6, la moitié des répondants ont choisi la note maximale. Une situation plus qu’inconfortable dont témoignait récemment dans Retraction Watch le chercheur en psychologie Mitch Brown, terriblement honteux : « J’en ai perdu le sommeil et je me sentais horriblement mal d’avoir commis cette erreur. » Pourtant, avouer ses erreurs peut être perçu de manière positive : la prix Nobel de chimie Frances H. Arnold avait elle-même demandé la rétractation d’un de ses papiers paru dans Science et été saluée pour cela – nous vous en parlions. Les auteurs de l’étude ont également récolté des témoignages en ce sens : « Certains répondants ont mentionné que malgré le stress engendré par la rétractation, ils avaient le sentiment d’avoir correctement agi. »
Mise en pli. Mais pour beaucoup, cela reste un traumatisme : « Des répondants ont attesté vouloir améliorer leurs pratiques pour que ça ne se reproduise jamais », continue Marton Kovacs. Et pour cela, pas de secret, il faut notamment améliorer la gestion des données, une science qui n’est pas enseignée à l’université. « Les jeunes chercheurs apprennent sur le tas en observant les autres membres de l’équipe », atteste le doctorant qui tente une analogie : « Dans une centrale nucléaire, il y a des règles strictes que chacun doit suivre pour éviter la catastrophe. Au labo, avoir un manuel détaillant la procédure de gestion des données peut être déterminant. » D’autant plus qu’établir cette procédure au sein de l’équipe peut justement être l’occasion de mettre à plat les pratiques et d’en discuter collectivement.
« Malgré le stress engendré par la rétractation, certains chercheurs avaient le sentiment d’avoir correctement agi. »
Marton Kovacs
Exemplarité. Une véritable culture à promouvoir dans les labos : « Vous êtes plus enclin à suivre certains standards quand vous voyez vos collègues faire de même », explicite Marton Kovacs. Se former à des techniques que l’on maîtrise moins que d’autres peut également être nécessaire, il suffit de l’admettre. En psychologie par exemple, les connaissances en statistiques font parfois défaut, comme le rappelle Andrew Gelman de la Columbia University dans un billet de blog sur la “junk science”. Une étude australienne pointe quant à elle des défauts dans la conception même des expériences en biomédical, rendant caduc nombre d’études, selon les auteurs. Ceux-ci prônent la présence systématique de statisticiens dans les comités d’éthique évaluant en amont les projets de recherche.
Robot-tics. Automatiser certaines tâches peut également aider à éviter les fautes d’inattention comme se tromper dans le nom d’une variable ou dupliquer la mauvaise colonne d’un tableau. « De plus en plus de chercheurs utilisent les langages R ou Python », analyse positivement Marton Kovacs, admettant que leur apprentissage représente un véritable investissement en temps. Mais utiliser des logiciels prêts à l’emploi demande également une grande attention pour éviter les erreurs de manipulation ou d’interprétation. Publiée dans Quantitative Science Studies, une étude concluait que les articles rétractés utilisaient moins que la moyenne des logiciels en open source et les citaient moins bien.
« Les revues devraient davantage participer à la détection des erreurs »
Marton Kovacs
Solutions. Lorsqu’on développe ses propres programmes informatiques, faire l’usage d’un outil de contrôle de version comme GitHub et bien documenter son code sont « de bonnes pratiques qui peuvent aider à identifier des erreurs le plus tôt possible », explique Marton Kovacs. Tout autant que le partage des données, faire les choses correctement prend du temps. Un temps que beaucoup de chercheurs n’ont pas l’impression d’avoir. « Plusieurs répondants jugent qu’ils ne sont pas les seuls à blâmer », rapporte Marton Kovacs. Entre les reviewers qui relisent attentivement – en principe – leur article et la revue qui le publie, les responsabilités sont partagées. « Les revues devraient davantage participer à la détection des erreurs, en employant par exemple des statisticiens chargés de vérifier les données, le code et la solidité de l’analyse », estime Marton Kovacs. Certaines institutions ont décidé d’agir : depuis mars 2023 l’Université du Sussex au Royaume Uni offre les services d’un statisticien pour une vérification des articles, notamment la reproductibilité computationnelle – relire notre reportage sur le hackathon de la reproductibilité à Grenoble. Les chercheurs peuvent ainsi soumettre à la revue de leur choix leur papier avec une certification, tout en profitant de l’accompagnement d’un expert. Ça vous fait rêver ? Parlez-en à votre institution !