Crédit photo : CPU-CNRS
La science est-elle en danger ? Si oui qui (ou quoi) la menace ?
La science est évidemment plus ou moins en danger selon qui nous gouverne. Mais notre projet SPREADS s’intéresse non pas aux menaces en provenance du monde politique mais à celles venant de l’utilisation de grands instruments ou de l’intelligence artificielle (IA) : à quels risques ces outils exposent-ils la production scientifique ? Lors de notre enquête de terrain, nous nous sommes entretenus avec des chercheurs et des personnes des fonctions support (services informatiques, juridiques, data managers…) en leur demandant si l’hypothèse leur semblait plausible. Nous nous attendions à ce qu’ils nous répondent que non, argumentant que la science fonctionne bien, notamment grâce à la relecture par les pairs. À notre grande surprise, un bon nombre d’entre eux ont estimé qu’il y avait un risque.
« Le questionnement est : si j’utilise de l’IA, est-ce que ça reste de la science ? »
Cléo Collomb
C’est donc une inquiétude qui vient des chercheurs eux-mêmes ?
Il s’agit de peurs satellites face aux évolutions qu’ils observent dans leur métier : la science qui s’accélère, un travail de qualité plus difficile à mener sous pression… Même les plus jeunes ressentent un changement et attestent d’une forte inquiétude. À l’Institut Pasteur, les chercheurs n’ont pas le même rapport aux données que les physiciens du Cern qui ont l’habitude des données massives. La première exposition des biologistes à de grands volumes de données a été le séquençage de l’ADN, suite à laquelle ils ont développé des nouvelles formes d’expertise. Aujourd’hui on assiste à une seconde vague avec l’IA, apportant de nombreuses questions : si j’utilise de l’IA, est-ce que ça reste de la science ? Aux États-Unis, l’équation “data + calcul = science” existe mais pas en France.
Quelles en sont les conséquences concrètes ?
En tant que reviewer d’un papier soumis par des collègues ayant utilisé l’IA, les chercheurs craignent notamment ne plus être capables de vérifier les résultats et de comprendre comment ils ont été obtenus. Même si le code d’entraînement est ouvert – ce qui n’est pas toujours le cas – il reste le plus souvent absolument illisible. Et reproduire les résultats est très compliqué : dans le cas où les données d’entraînement sont accessibles, les reviewers devraient réentrainer leur IA en local pour vérifier qu’ils retrouvent bien les mêmes. Ce qui est le plus souvent impossible sans la puissance de calcul des entreprises qui développent ces outils d’IA, comme Google qui a développé AlphaFold, largement utilisé par les biologistes (relire notre analyse).
« Face à ces chaînes de dépendance (…) certains finissent par abandonner leurs recherches et changer de thématique »
Cléo Collomb
Avant l’arrivée de l’IA, les chercheurs réanalysaient-ils toujours les résultats lors du peer review ?
Pas forcément mais ils pouvaient comprendre l’analyse et savaient qu’ils pouvaient la refaire au besoin. A contrario, l’IA reste aujourd’hui une boîte noire, qu’on ne peut désopacifier. Comment évaluer la scientificité des résultats coproduits avec de l’IA ? On ne peut qu’en évaluer l’efficacité : par exemple pour AlphaFold qui prédit la structure des protéines, l’unique critère devient l’efficacité du futur médicament. Les chercheurs sont donc bousculés dans leur manière de faire de la science. Ils le remarquent également chez leurs étudiants qui utilisent des réseaux de neurones pour répondre à n’importe quelle question : ce n’est plus la même démarche scientifique.
Les chercheurs craignent-ils une sorte de dépendance ?
Nous sommes dans une démarche prospective, la crainte n’est pas encore complètement réelle mais c’est une possibilité dans laquelle les interviewé·es se sont projeté·es. Notre enquête à l’Institut Pasteur fait ressortir en effet la crainte d’une dépendance aux États-Unis et l’obligation de fait à se plier à leur manière de faire de la science. L’IA est parfois qualifiée de cinquième paradigme mais les chercheurs s’interrogent : est-ce vraiment de la science ? La dépendance réside également dans le besoin d’une puissance de calcul disponible en interne [Patrick Hetzel l’expliquait lors de sa feuille de route : les Gafam possèdent des puissances de calcul 10 à 100 fois supérieures aux meilleures équipements français comme le supercalculateur Jean Zay, NDLR]. Face à ces chaînes de dépendance qui ne sont pas toujours bien vécues par les chercheurs, certains finissent par abandonner et changer de thématique. On assiste donc à la “stérilisation” de champs de recherche due au monopole d’un acteur.
« Critiquer l’IA peut être compliqué. Passer par la fiction permet d’en parler de manière très libre »
Cléo Collomb
Les chercheurs interrogés lors de notre enquête sur AlphaFold donnaient au contraire une vision positive de ces changements. Comment l’expliquez-vous ?
Nous avons volontairement anglé nos entretiens autour de l’hypothèse d’une attaque de la science, inspirée par le Problème à trois corps (voir encadré) et d’une invasion extraterrestre. Notre démarche était présentée comme prospective, anticipatrice et orientée vers l’attaque. Les questions les poussaient à « voir le négatif », c’était vraiment le but de l’exercice. Aujourd’hui, critiquer l’IA peut être compliqué. Passer par la fiction permet d’en parler de manière très libre. Comme dit Roland Lehoucq aux Utopiales : « Penser d’autres mondes pour penser le monde autrement ». Une des richesses de la fiction est son effet désinhibiteur.
La lecture du roman Le Problème à trois corps a-t-il été un déclic pour vous ?
Un collègue – Vincent Bontems, également présent aux Utopiales – m’en a conseillé la lecture et ça a été une vraie claque. Notamment car les scientifiques ont un rôle très important. Les figures du scientifique qui font rêver sont finalement assez rares : ils ont souvent le mauvais rôle, comme dans Don’t look up. Et les questions que le roman pose – comment faire de la science alors qu’on est attaqué ? – nous a donné envie de nous questionner sur le cadre actuel.
« À travers les fictions, nous voulons construire des figures de scientifiques qui donnent envie »
Cléo Collomb
Pourquoi la biologie ?
En cas d’attaque, les labos de biologie constituent évidemment une cible privilégiée, avec de graves conséquences en termes de santé. Un autre secteur sensible est le nucléaire, nous travaillons donc également au sein de l’Institut national des sciences et techniques nucléaires du CEA.
Les personnes aux fonctions support de la recherche sont-elles aussi inquiètes ?
Les chercheurs utilisent au quotidien des outils numériques mais n’ont pas la culture de la sécurité informatique. Elle est en réalité l’opposé de la culture scientifique caractérisée par l’ouverture et le partage des publications, des données… Pour caricaturer, un chercheur ne trouverait pas si problématique qu’on lui vole son disque dur : « Quelqu’un d’autre publiera à ma place, tant pis pour moi mais tant mieux pour la science ! » Les personnels des services informatiques tentent de les sensibiliser, notamment devant la peur de mésusages – quelqu’un fabriquant une bombe dans son garage, par exemple. Lorsque des données scientifiques sont volées, les données personnelles ou d’organisation qu’elles contiennent ont également de la valeur et peuvent permettre de s’introduire dans un système d’information.
« On peut imaginer un scénario dans lequel le rôle des chercheurs se résumerait à celui de producteurs de données »
Cléo Collomb
Comme lors de la cyberattaque de l’université Paris-Saclay ?
On ne connaît pas les détails de cette cyberattaque mais elle nous rappelle l’importance de la disponibilité des données, sans laquelle la recherche est paralysée. Une autre crainte est celle de leur intégrité : imaginez que des modifications invisibles et sur le long terme soient apportées sur des données, les résultats de la recherche s’en trouveraient faussés. La communauté scientifique s’en rendrait certainement compte au bout d’un moment, le travail de Guillaume Cabanac sur les publications problématiques le montre mais combien de temps cela ferait-il perdre ? Dans notre économie de la connaissance, le temps, c’est de l’argent. Et cela pèserait également sur le moral des chercheurs.
Les scientifiques sont très fortement incités à partager en accès ouvert leurs données. Cela représente-t-il un risque ?
Lorsque les data managers nous expliquent leur travail, on réalise que le partage de données prend énormément de temps. Est-ce uniquement pour la beauté du geste ? Les données de la recherche peuvent servir pour l’entraînement de modèles d’IA, qui s’imposent ensuite dans le quotidien des chercheurs. À terme, on peut imaginer un scénario dans lequel le rôle des chercheurs se résumerait à celui de producteurs de données, à l’image des travailleurs du clic actuels. C’est une question éthique autour de laquelle j’invite mes collègues à réfléchir.
« Avec l’IA, on atteint un tel degré d’opacité qu’une vie entière ne suffirait pas à expliquer (…) ses implications »
Cléo Collomb
Le hacking de la science peut-il également survenir au moment des mesures, de la prise de données ?
Nos entretiens mettent en lumière des questionnements face à l’utilisation des grands instruments tels que les cryomicroscopes. L’Institut Pasteur possède l’un des plus performants au monde, le modèle commercial Titan Krios [Pasteur avait été l’un des premiers labos français à en faire l’acquisition en 2018. Depuis d’autres l’ont imité, dont tout récemment le Synchrotron européen de Grenoble, NDLR]. Ces instruments sont tellement complexes qu’ils nécessitent des chercheurs dédiés, qui accompagnent leurs collègues usagers de la machine. Ils sont capables d’expliquer comment elle fonctionne et aident à “designer” les expériences, à poser les bonnes questions. Pour les autres, ces instruments sont des boîtes noires. Qu’adviendrait-il si leur collègue expert de la machine n’était plus là ?
Vous projetez de rendre compte de vos recherches sous la forme de fiction. Pourquoi ce format ?
Avec l’IA, on atteint un tel degré d’opacité qu’une vie entière ne suffirait pas à expliquer dans le détail son fonctionnement et ses implications. Ceci est a fortiori vrai pour le grand public : comment éveiller son esprit critique ? Je suis persuadée que la narration, la mise en scène de personnages permettra à un large public de s’intéresser à la question. À partir de nos entretiens, nous sommes en train d’élaborer cinq grandes trames narratives, contenant les personnes et les lieux. Les Pasteuriens et Pasteuriennes ont à cœur de contribuer et nous organisons des ateliers d’écriture collaborative. À terme, trois ou quatre seront écrites et nous ferons appel à des auteur·ices et des illustrateur·ices pour les autres.
« Nous sommes en train de fabriquer de toute pièce un projet qui apparaît clairement comme un canular : comment reconstruire Goldorak »
Cléo Collomb
Pouvez-vous nous donner un exemple en avant-première ?
L’une des histoire se situera en Antarctique et parlera d’une espionne qui mène une guerre d’usure, sabotant les résultats d’une équipe de chercheurs. Une autre racontera comment une IA, chargée de trouver un moyen d’anticiper la prévention de nouvelles maladies, décidera de créer ces nouvelles maladies, avec les risques sanitaires qu’on peut imaginer…
N’avez-vous pas peur de donner une image négative ou inquiétante de la science auprès du grand public ?
Nous travaillons également à l’élaboration de contre-mesures. Nous nous inspirons d’ailleurs encore une fois du Problème à trois corps : les extraterrestres ayant déployé un système d’espionnage à grande échelle, les humains montent le programme “colmateur” qui vise à communiquer une stratégie, tout en gardant celle qu’ils comptent réellement mettre en place secrète. Sur ce modèle, nous sommes en train de fabriquer de toute pièce un projet qui apparaît clairement comme un canular : comment reconstruire Goldorak, lui qui a déjà sauvé une fois l’Humanité ? Des étudiants traitent de manière sérieuse cette question sous l’angle des matériaux, des besoins… La démarche nous apprend beaucoup et nous espérons fournir des pistes pour des solutions. De plus, à travers les fictions, nous voulons construire des figures de scientifiques réalistes, mis·es en valeurs et qui donnent envie. Proposer autre chose que la figure du savant fou qui fait peur, en quelque sorte.