« Dans un contexte où publier beaucoup et vite est devenu une norme, la question de la réplication est malheureusement négligée par beaucoup d’équipes de recherche ». Ce constat, c’est Cécilia Ménard-Moyon, directrice de recherche au CNRS spécialisée dans les nanoparticules, qui le dresse. Une question à laquelle elle est d’autant plus sensible que dans sa discipline l’enjeu est crucial : « Les nanoparticules de carbone suscitent un intérêt toujours grandissant, notamment grâce à leurs propriétés de fluorescence qui peuvent être exploitées dans le domaine biomédical pour de l’imagerie et du diagnostic mais de par leur petite taille, la caractérisation structurale des nanoparticules n’est pas facile. » C’est pour cela qu’elle a accepté de prendre la tête du conseil scientifique d’un projet de réplication inédit.
« Je ne sais pas si les auteurs sont simplement de mauvais scientifiques ou s’ils défendent sans scrupules le programme de la Nasa »
Rosemary Redfield, University of British Columbia
Not a one man job. À l’origine du projet : le physico-chimiste Raphaël Lévy dont nous retracions le combat pour faire reconnaître les erreurs de plusieurs publications. Professeur à l’Université Paris Sorbonne Nord, il est depuis plusieurs années très sceptique sur les résultats publiés : « Les nanoparticules sont utilisées pour détecter des analytes (des molécules ou des ions) dans la cellule, alors qu’elles restent cantonnées dans des zones spécifiques appelées endosomes, où les analytes ne se trouvent pas ». Un « paradoxe » sur lequel il ne lâche pas le morceau – ce qui lui a valu son sobriquet d’emmerdeur – et auquel il compte bien répondre dans le cadre de Nanobubbles. Un projet financé par l’ERC sur la correction de la science qu’il partage notamment avec les informaticiens Cyril Labbé et Guillaume Cabanac – relire son portrait – ou la chercheuse en sciences de l’information et de la communication Frédérique Bordignon – relire son interview.
Trié sur le volet. Tout d’abord, il a fallu sélectionner la publication à répliquer : « Plus de 25 000 articles répondaient à notre première recherche par mots-clés », se souvient Raphaël Lévy. L’équipe a donc cherché à identifier les plus cités et pertinents. La faisabilité des expérimentations a également été un critère – ils détaillent leur méthode dans ce document déposé sur Zenodo. C’est ainsi qu’ils ont jeté leur dévolu sur ce papier publié en 2012 dans la revue Angewandte Chemie International Edition par des chimistes de l’université de Tongji à Shanghai en Chine et cité plus de 500 fois. « L’article rapporte la fabrication et la caractérisation de nanoparticules de carbone servant à détecter les ions cuivre », explique Raphaël Lévy. Une première étape avant de se lancer dans la détection in vitro. Mais avant de faire tourner les manips, l’équipe a publié en toute transparence son protocole sous la forme d’un pre-registered report : « Documenter ainsi chaque étape permet d’obtenir une critique par les pairs au moment où l’on peut encore changer les choses. »
« Nous n’avions pas de modèle pour le pre-registered report, ni de reviewers dans notre thématique sur PCI, donc tout cela a pris beaucoup de temps »
Raphaël Lévy, Université Sorbonne Paris Nord
Pas raccords. Puis sont tombés les résultats de leur réplication : « J’ai été vraiment surpris parce que dans le protocole publié, la fluorescence des particules diminuait lorsque la concentration de la cible augmentait or dans nos expériences, elle est restée identique », commente Mustafa Gharib, chercheur postdoctorant ayant mené les manips. Des résultats contredisant ceux des chercheurs chinois, qui n’ont pas souhaité collaborer. « Nous leur avons envoyé plusieurs invitations à partager leurs données puis à envoyer leurs échantillons dans un laboratoire indépendant, sans réponse positive », regrette Raphaël Lévy. Les travaux de l’équipe française seront donc publiés d’ici peu dans la revue Royal Society Open Science, après avoir été reviewés et recommandés sur la plateforme Peer community In (PCI) – nous vous en parlions. Ce projet de réplication a démarré il y a plus de trois ans : « Nous n’avions pas de modèle pour le pre-registered report, ni de reviewers dans notre thématique sur PCI, donc tout cela a pris beaucoup de temps… mais faisait partie de l’expérience. »
Téléphone maison. Une volonté de transparence qui rappelle la démarche de Rosemary Redfield, microbiologiste à l’University of British Columbia, qui en 2010 contestait les conclusions d’un article publié dans la prestigieuse revue Science. Pour elle, les résultats de la Nasa ne permettaient pas de démontrer que de l’arsenic était présent dans l’ADN des bactéries étudiées, présentées à grand renfort de communication comme capables d’évoluer dans un environnement toxique, promettant ainsi de potentielles vies extraterrestres jamais envisagées jusque là. « Je ne sais pas si les auteurs sont simplement de mauvais scientifiques ou s’ils défendent sans scrupules le programme de la Nasa “Il y a de la vie dans l’espace”. J’hésite à blâmer les évaluateurs car leurs objections ont probablement été rejetées par les éditeurs de Science, désireux de publier un article à fort impact », concluait-elle sévèrement sur son blog.
« Un travail entrepris de façon solitaire se transforme en une activité collective»
Michel Dubois et Catherine Guaspare, CNRS (dans AOC)
Plus que force ni que rage. Rosemary Redfield tente alors de répliquer l’étude mais rencontre beaucoup de difficultés, administratives et expérimentales. L’imprécision des auteurs de l’article initial ne l’aident pas. Mais elle tient bon : « Progressivement, grâce au journal de bord ouvert, un travail entrepris de façon solitaire se transforme en une activité collective mobilisant des acteurs dispersés mais connectés, situés dans des contextes de recherche différents mais orientés vers la production d’une même expertise critique » analysent les sociologues des sciences Michel Dubois et Catherine Guaspare dans un récent article paru dans AOC. « Figure de proue d’une nouvelle façon de faire de la science », la chercheuse aux cheveux roses et son équipe finissent par soumettre en 2012 leur réfutation des résultats à Science, qui la publiera en même temps que celle d’une autre équipe suisse.
Tic, tac, tic. Malgré les appels au retrait de l’article initial, celui-ci restera dans les annales jusqu’à… cet été. Véritable bombe à retardement, l’annonce en juillet 2025 de la rétractation par Science revient sur l’historique de cette publication et les évolutions des pratiques éditoriales : à l’époque, les revues rétractaient uniquement en cas de manipulation de données, ce qui ne semblait pas être le cas. Mais aujourd’hui, le fait que les résultats ne permettent pas d’étayer les conclusions devient une raison suffisante pour que Herbert Holden Thorp, éditeur en chef depuis 2019, considère la rétractation comme « appropriée ». Une décision que déplorent les auteurs dans une réponse également publiée par Science, en considérant qu’il s’agit d’un revirement majeur des standards de publication. En sera-t-il de même pour l’article répliqué par Raphaël Lévy et son équipe ? Pour l’instant, il ne s’agit que de leur parole contre celles des auteurs chinois.
« Ce sera peut-être plus complexe, avec possiblement des résultats divergents et difficilement reproductibles »
Cécilia Ménard-Moyon, CNRS
Tous pour un. Pour multiplier les preuves, Raphaël Lévy et son équipe lancent un appel à la réplication de leurs propres travaux, auquel les équipes intéressées peuvent répondre jusqu’au 6 mars 2026. Un budget alloué par le projet Nanobubbles leur permettra de financer les produits chimiques nécessaires à la fabrication des échantillons et leur caractérisation par une plateforme indépendante. Deux ou trois équipes seront sélectionnées : « Il est important de s’assurer qu’elles ont l’expertise et les équipements nécessaires », explique Cécilia Ménard-Moyon, membre du comité éditorial qui encadrera le processus avec quatre autres scientifiques internationaux. Tout en précisant : « Si des équipes se portent volontaires et proposent de s’auto-financer, nous étudierons la possibilité de les intégrer. » Le comité scientifique coordonnera la compilation des résultats, en restant attentif « à l’engagement des équipes envers les pratiques de science ouverte et de documentation rigoureuse. »
Us et coutumes. Durée estimée ? Probablement un an avant publication, d’après Cécilia Ménard-Moyon. Mais l’expérimentation en elle-même ne devrait prendre que quelques semaines, estime Raphaël Lévy. De son côté, l’équipe enchaîne sur la réplication d’une autre publication star prouvant la détection d’ARN messager dans les cellules via des nanoparticules. Un article cité plus de 600 fois et signé par Chad Mirkin, un ponte dont les travaux sont largement critiqués par Raphaël Lévy – nous vous en parlions. Concernant l’appel à réplication de la première étude, Cécilia Ménard-Moyon se veut optimiste, même si « en réalité, ce sera peut-être plus complexe, avec possiblement des résultats divergents et difficilement reproductibles. » Ce qui dans tous les cas permettrait de faire avancer la compréhension des phénomènes à l’œuvre et plus largement « contribuerait à la démocratisation des études de réplication ». Jusqu’à ce qu’un jour, elles rentrent réellement dans les mœurs ?
Plus on est de réplicateurs, plus on rit
Impliquant plus de 200 auteurs, une initiative de réplication XXL a été menée entre 2013 et 2020 dans la recherche contre le cancer, coordonnée par le Center for Open Science et l’entreprise de biotechnologie Science Exchange. Au total, 50 expériences de 23 publications ont été répliquées, soit moins de la moitié de l’objectif initial : « La principale limitation était le manque d’information », explique à TheMetaNews Timothy Errington, chercheur au Center for Open Science. Leur bilan publié dans eLife montre une implication très variable des auteurs “répliqués” : 41% ont été très aidants mais un tiers ne l’a pas du tout été (ou n’ont pas répondu). En moyenne, chaque réplication aura duré presque quatre ans pour un coût moyen de 53 000 dollars, montrant dans l’ensemble une grande réduction des tailles d’effet – dont Wikipédia vous offre une définition. « Cette différence pourrait être une des raisons de l’échec des transpositions de résultats précliniques à cliniques », analyse Tim Errington. Une initiative d’ampleur qui vient donc éclairer des phénomènes scientifiques et dont la leçon la plus importante aura été la preuve de l’utilité des réplications, « particulièrement celles conduites indépendamment des auteurs originaux ».