Photo Lucile Veissier
Embellir ses données, est-ce forcément tricher ?
Cette question est très liée à celle de la reproductibilité : les pratiques d’embellissement sont quotidiennes et consensuelles mais tacites – un “tacit knowledge” qui disparaît complètement des discours officiels de la science. Prenons le cas de la production d’images d’électrophorèse (kesaco ? lire notre encadré) : on enlève des tâches, on découpe des bandes pour faciliter leur comparaison… entre le résultat d’une expérience que seul le chercheur peut comprendre et ce qui est présenté comme preuve dans une publication scientifique que le lecteur doit comprendre, les deux images peuvent être complètement différentes. Le critère esthétique est important pour la compréhension et participe à la construction de la preuve. L’embellissement en science est banal mais l’expliciter n’est pas considéré comme pertinent.
« La frontière entre l’embellissement commun et la fraude est vraiment difficile à définir »
Alexandre Hocquet
Les scandales autour de manipulation d’images comme l’affaire Voinnet (du nom du chercheur du CNRS en biologie végétale Olivier Voinnet) ont-ils révélé au grand jour ces pratiques ?
Oui, à la fin des années 2010, cette affaire et d’autres ont eu un grand retentissement et généré une controverse qui a mis en lumière certaines choses qui étaient jusqu’alors mises sous le tapis par les scientifiques.
Les personnes accusées de tricherie ont-elles fait ce que tout le monde faisait à l’époque, mais d’une mauvaise manière ?
Je ne me prononcerais pas sur ces cas précis mais la frontière entre l’embellissement commun et la fraude est vraiment difficile à définir car on a tout un spectre de la manipulation d’image qui n’est pas facile à réguler, précisément car ces pratiques sont tacites. On pourrait pourtant imaginer qu’elles soient formalisées, par exemple : “on a le droit de couper cette bande et de la mettre à côté, mais on n’a pas le droit de prendre la bande d’un autre gel” mais pour cela, il faudrait que la communauté concernée arrive à une forme de discipline collective qui permette de stabiliser et légitimer les pratiques, construire un consensus et enfin définir ce qui est déviant.
« La reproductibilité […] peut s’imaginer de mille façons différentes »
Alexandre Hocquet
Pourquoi un tel guide de bonnes pratiques n’existe-t-il pas ?
Chaque communauté de biologistes possède ses propres usages de l’électrophorèse. Envisager la reproductibilité de manière générale n’a pas de sens ; elle peut s’imaginer de mille façons différentes pour une situation donnée [c’est aussi le discours de la philosophe des sciences Sabina Leonelli, NDLR]. Il ne s’agit pas juste d’une différence entre disciplines — au sens où les archéologues n’auraient pas la même définition que les mathématiciens —, les variations existent au sein d’une même technique expérimentale.
En quoi l’exemple de l’électrophorèse est intéressant ?
L’électrophorèse de gel offre deux versions qui coexistent : une de routine traitée à la main, une autre plus ambitieuse où un appareil prend plusieurs mesures et les analyse [plus de détails dans leur publication, NDLR]. Avec la version manuelle, les tâches indésirables sont parfois retirées à coup de tipex, alors que l’appareil les fait disparaître dans la moyenne. Dans le premier cas, en l’absence de discipline collective, la traçabilité est importante : on veut savoir d’où vient l’image et si elle a été “trafiquée” ou pas. Dans l’autre, la confiance repose sur une discipline collective liée à un standard industriel et des expériences différentes peuvent être comparées de manière quantitative. Ce qui est impossible avec la première technique qui permet uniquement de conclure sur la présence ou non d’une molécule à un instant donné d’un protocole expérimental.
« Photoshop a un côté sulfureux »
Alexandre Hocquet
Les chercheurs ont confiance dans la machine mais on dirait qu’ils n’ont plus confiance entre eux… Comment en est-on arrivé là ?
Personne ne remettait en cause ces images jusqu’au tournant numérique – les photos et la soumission des articles ont pris ce virage – et la possibilité de manipuler les images. Le logiciel phare, Photoshop, a un côté sulfureux. Les fonctionnalités qu’il propose sont explicitement pensées pour la retouche d’image : une brosse, des ciseaux, une gomme… le terme “photoshopper” est clairement péjoratif.
N’est-ce pas ce que les chercheurs faisaient “à la main” avant ?
Cela se déroulait généralement à la paillasse et était donc discuté au sein de l’équipe. Photoshop possède au contraire un côté très individuel : le scientifique est seul devant son ordinateur. Et vu que Photoshop ne vient pas du monde de la recherche, aucune formation des biochimistes ni de cours spécifiques pour les étudiants à ce logiciel n’existe. Autrement dit, pas de discipline collective.
« Une publication n’a jamais eu pour rôle d’être une recette pour reproduire »
Alexandre Hocquet
Certaines affaires ont pointé des papiers publiés depuis de nombreuses années. Pourquoi si tard ?
Dans l’affaire Voinnet, les rétractations ont démarré en 2015 alors que les articles avaient été publiés près de dix ans auparavant. Qu’est-ce qui a changé entre les deux ? L’apparition de techniques d’analyse d’image permettant de détecter facilement les retouches. C’est pourquoi les têtes sont tombées rétrospectivement, parfois 15 ans plus tard. Une des lignes de défense des personnes accusées était : « on nous reproche d’avoir manipulé des images, mais cette manipulation était innocente et n’avait pas pour but de falsifier des résultats ». Pour effectivement caractériser la présence de fraude, aller au-delà de la détection de retouche d’image et essayer de comprendre si la manipulation est anodine ou non est indispensable. Une publication n’a jamais eu pour rôle d’être une recette destinée à refaire une expérience, quelle que soit la discipline. Leur rôle a toujours été de faire foi et de montrer qu’on était le premier. En biologie moléculaire, c’est d’autant plus important que la compétition est plus forte que dans d’autres disciplines : il existe un grand nombre d’équipes de petite taille – en comparaison avec les grandes collaborations qu’on peut observer en physique – qui sont en concurrence pour obtenir des financements. Les pairs ne sont pas toujours très détachés lorsqu’ils doivent juger des travaux de leurs collègues.
« On observe une sorte de chasse aux primes »
Alexandre Hocquet
On observe beaucoup de dénonciations sur Pubpeer. La notion de pair a-t-elle changé ?
Le cercle des personnes qui se sentent autorisées à émettre un avis s’est élargi, notamment depuis l’apparition de PubPeer. Cette plateforme qui permet de commenter des articles anonymement [mais qui est modérée, nous disait Boris Barbour, NDLR] est certainement née en réaction à des carrières ultra-rapides où certains allaient trop vite et a permis à tout un chacun de devenir un pair. Pour autant, si tous ne sont pas forcément des experts du domaine, certains sont en revanche des spécialistes de Photoshop et détectent très bien les manipulations d’image. On observe une sorte de chasse aux primes : les alertes leur permettent de se construire une réputation pour ensuite se faire financer, notamment via des dons [relire notre interview d’Elisabeth Bik, NDLR]. Leur travail est salutaire car les problèmes qu’ils et elles soulèvent sont bien réels, comme les “paper mills” – qui par ailleurs permettent aux grandes maisons d’édition occidentales de conserver leur prestige.
N’est-ce pas un rôle qui devait être dévolu aux revues scientifiques ?
Des solutions de traçabilité sont mises en place par les éditeurs : les auteurs doivent expliquer dans le détail ce qu’ils ont fait et partager leurs données, leurs images originales… Mais il ne faut pas oublier que ce mouvement de la science ouverte et les données de la recherche sont aussi une opportunité de business pour les maisons d’édition. De l’autre côté, PubPeer prône une science ouverte radicale qui pose la question : juste qu’où et jusqu’à qui doit-on être ouvert ? Pour certains, cela pose problème [notamment au PDG du CNRS, Antoine Petit, qui en parlait sur France Culture en 2018, NDLR] et cela participe à une atmosphère de dénonciation : quand une tête tombe, quelque temps après, les concurrents tombent aussi.
« Les instruments sont un véritable angle mort de la science ouverte »
Alexandre Hocquet
En disant cela, ne légitimisez-vous pas un peu la fraude ?
Nous ne nions pas du tout pas la fraude, même si notre but n’est pas de juger si il y a fraude ou non. Analyser les affaires de fraude nous est utile pour révéler des tensions mais, au-delà, nous nous intéressons à l’évolution des pratiques scientifiques dans un monde numérique, et en particulier la production et la réception d’images.
Pour terminer, revenons sur la confiance dans les instruments. En quoi cela pose problème ?
Les instruments sont un véritable angle mort de la science ouverte car le secret de leur fonctionnement est souvent bien gardé par les industriels. Comme la Résonance magnétique nucléaire (RMN), ils peuvent voyager d’une communauté scientifique à l’autre, cette dernière l’utilisant souvent dans un contexte très éloigné. Le transfert se fait par l’intermédiaire d’ingénieurs industriels et les fondements théoriques sont même parfois compris après le début de son utilisation, comme pour l’optique et le microscope. Dans d’autres cas, la confiance ne s’installe pas : l’IRM peut détecter une activité cérébrale dans des animaux morts. Autre exemple moins connu en informatique : le même code compilé sur deux machines différentes donne des résultats différents. On voit donc bien que donner le code source ne suffit pas forcément pour reproduire des résultats.
Histoire de west
Les techniques d’électrophorèse sont omniprésentes dans les labos de biologie moléculaire depuis une quarantaine d’années. Le principe est de séparer les molécules selon leur masse en les faisant migrer dans un gel sous l’effet d’un champ électrique. En quelques minutes, on obtient alors par exemple un “western blot” qui permet de vérifier la présence de protéines au cours d’un protocole expérimental. Ces images, souvent présentées dans les publications même si leur rôle n’est pas central, étaient à l’origine des scandales dans les années 2010 et font toujours l’objet de nombreuses alertes quant à de possibles manipulations, notamment sur PubPeer.