ChatGPT répond ci, ChatGPT dit ça… La nouvelle intelligence artificielle d’OpenAI accessible en ligne – et toujours gratuitement – apparaît depuis quelques mois dans toutes les discussions et a très vite été testée pour ses applications potentielles en science. Dès sa sortie en novembre dernier, des chercheurs espagnols lui ont en effet demandé d’écrire un article scientifique. Rassurez-vous, pas de miracle, ChatGPT n’a pas pondu le manuscrit parfait.
Usines à fake. L’idée de générer des articles scientifiques grâce à des IA ne date pas d’hier. En 2005, des doctorants du MIT développent SCIgen, un logiciel permettant de générer de faux articles scientifiques. Un des manuscrits est même soumis à une conférence… et accepté. Le canular restera dans l’histoire. D’autres utilisations moins bien intentionnées suivent, au point que Guillaume Cabanac et Cyril Labbé, deux chercheurs français en informatique, réalisent un logiciel de détection de ces faux papiers publiés par de grandes maisons d’édition et toujours pas rétractés – relire leur interview.
« Est-ce vraiment utile ? J’aurais mis moins de temps à écrire l’abstract moi-même… »
Jérémy Berroir
Tout en retenue. Pourquoi ChatGPT est-il une petite révolution ? « ChatGPT ne dit presque jamais de choses bizarres ou clairement fausses, alors que Galactica de Meta [pensé pour aider les chercheurs à la rédaction, il a été retiré deux jours seulement après sa mise en ligne, NDLR] en sortait plus souvent », explique Alexei Grinbaum, chercheur et président du comité opérationnel d’éthique du numérique au CEA. Basé sur le modèle de langage GPT-3.5 – relire notre numéro sur l’IA et le langage pour un peu de contexte –, ChatGPT apporte donc une réelle amélioration. Peu de risque également de se voir affubler de noms d’oiseaux car ce nouveau chatbot évite assez bien les pièges dans lesquels sont tombés nombre de ses concurrents : insultes, conseils juridiques ou médicaux susceptibles de porter atteinte à la personne…
Turing, es-tu là ? Ainsi, le résultat est assez bluffant. Certains chercheurs – peut-être vous même – l’ont testé sur leur sujet de recherche pour lui faire écrire ne serait-ce qu’un abstract de conférence. Tout récent docteur en physique, Jérémy Berroir a été impressionné par ChatGPT mais relativise : « Le paragraphe généré avait du sens mais manquait de précision ». Sur un sujet de recherche particulier, ChatGPT reste en effet assez superficiel et ne trouve pas les bons arguments. « Ce pourrait être une base à retravailler », résume le jeune chercheur qui n’a pas poussé l’essai plus loin.
« C’est comme donner une description textuelle de la maison de ses rêves et la machine rend un plan d’architecte ! »
Guillaume Cabanac
Robots au labo. Des chercheurs espagnols se sont montré plus tenaces dans leur essai pour obtenir un article complet et sérieux grace à ChatGPT sur le rôle des IA dans la découverte des médicaments. Mais cela n’a pas été de tout repos : ils ont dû largement corriger le manuscrit. Les soucis ? D’une part, ChatGPT n’est pas capable de donner des références correctes et d’autre part, ayant été “entraîné” en 2021, il ne possède pas les dernières informations nécessaires. Les chercheurs espagnols concluent donc sans appel : sans une forte intervention humaine, ChatGPT n’est pas utile pour écrire un texte scientifique. Une conclusion partagée par une grande partie de la communauté et notamment Jérémy Berroir qui s’interroge : « Est-ce vraiment utile ? J’aurais mis moins de temps à écrire l’abstract moi-même… »
Copies conformes. D’autres chercheurs ont fait plancher ChatGPT sur l’examen de première année qu’ils donnent à leurs étudiants : « à partir d’un texte explicatif, écrivez un modèle informatique ». Guillaume Cabanac est impressionné : « C’est comme donner une description textuelle de la maison de ses rêves et la machine rend un plan d’architecte ! ». Résultat : ChatGPT récolte un 12/20. « Les étudiants peuvent considérer que c’est une note satisfaisante mais un tel modèle ne sera jamais opérationnel », pondère son collègue toulousain Patrick Bergougnoux. Pourrait-il discerner une copie réalisée avec l’aide de ChatGPT ? « ChatGPT ne se trompe jamais sur la syntaxe mais commet des fautes de sémantique », explique l’enseignant.
Machine sans âme. « Ces modèles d’intelligence artificielle ne discernent pas le vrai du faux», explique Alexei Grinbaum. ChatGPT, comme d’autres, est capable de générer du texte mais n’en comprend pas la signification. « Il peut vous dire en français qu’il ne parle pas français », illustre le chercheur. Ainsi, « les contenus ne sont pas vérifiés et ChatGPT ne peut pas écrire un énoncé dont on serait sûr qu’il est vrai », met-il en garde. En posant des questions plus élaborées, il est d’ailleurs toujours possible de contourner les couches de contrôle et de lui faire dire des bêtises. C’est ainsi que ChatGPT a répondu au chercheur Jeff Ollerton en citant un poème supposé être écrit de la main du grand-père de Charles Darwin alors qu’il venait lui-même de inventer.
« Il faut le reconnaître, certains scientifiques écrivent assez mal. Demain, nous pourrions avoir un bouton pour la ré-écriture dans nos logiciels »
Alexei Grinbaum
Vallée de l’étrange. Une partie des communautés de recherche restent donc méfiantes, voire inquiètes face à l’utilisation de ChatGPT. L’une des plus grosses conférences dans le domaine du machine learning a interdit la soumission de papiers ayant été rédigés avec l’aide d’une IA. Afin de repérer ceux-ci, des logiciels de détection apparaissent souvent avec un train de retard. Les détecteurs actuels, GPT-2 Output Detector ou GPTZero, sont basés sur la version GPT-2 mais montrent une certaine efficacité. Selon les auteurs d’un preprint déposé sur bioRxiv, des abstracts générés par ChatGPT et non retouchés ont été détectés à plus de 99% par les logiciels, alors que des humains les ont repéré à 68%.
Police de l’IA. José Moreno, maître de conférences à l’Université Toulouse 3 Paul Sabatier, et sa collègue Emmanuelle Esperança-Rodier préparent un atelier sur la discrimination par des êtres humains de textes générés par ChatGPT. Certains éléments comme le fait de citer des documents pertinents, la cohérence ou le style pourraient permettre à des humains éclairés de ne pas se laisser berner. Autre solution : OpenAI étudierait pour la prochaine version GPT-4 la possibilité d’insérer des marqueurs appelés watermarks dans les textes générés. Alexei Grinbaum a travaillé sur le sujet : « Les watermarks sont des motifs non décelables à l’œil humain mais facilement pour un algorithme, comme mettre un “o” tous les 256 caractères ».
« Le danger est que des étudiants s’appuient sur cet outil sans pouvoir comprendre ni vérifier les résultats (…) Il faut rester plus fort que la machine »
Patrick Bergougnoux
GPT pour tous ? L’utilisation d’IA générique comme ChatGPT va-t-elle se généraliser ? La plupart des chercheurs interrogés sont unanimes : les modèles de langage vont très probablement devenir un outil au même titre que le correcteur d’orthographe. « Il faut le reconnaître, certains scientifiques écrivent assez mal. Demain, nous pourrions avoir un bouton pour la réécriture dans nos logiciels de traitement de texte », prédit Alexei Grinbaum qui n’est pas choqué par une telle aide à la rédaction tant que l’utilisateur relit et contrôle le résultat. José Moreno, plutôt optimiste, compare ChatGPT aux traducteurs automatiques comme DeepL dont il s’est servi pour traduire en français des articles scientifiques : « Une correction humaine est nécessaire, évidemment, mais cela fait gagner beaucoup de temps. »
GPT pour tous. Ces outils vont donc certainement devenir incontournables à long terme et Patrick Bergougnoux, plus méfiant, reste attentif : « Le danger est que des étudiants s’appuient sur cet outil sans pouvoir comprendre ni vérifier les résultats qu’ils obtiennent. Il faut rester plus fort que la machine afin d’en apprécier les résultats. » Qu’on soit “ChatGPT-enthousiaste” ou non, impossible d’ignorer ce qui deviendra peut-être un outil généralisé. Mais impossible également de lui accorder une confiance aveugle.
ChatGPT, votre nouveau collègue ?
L’aide à la rédaction n’est pas la seule façon de mettre à profit ChatGPT. La docteure Alana Rister présente dans une vidéo comment dialoguer avec ChatGPT, un peu comme vous le feriez avec un de vos collègues de labo pour stimuler votre réflexion et découvrir un nouveau domaine, poser une problématique, développer une hypothèse et un protocole expérimental et évidemment analyser les données – l’interprétation et la conclusion restant évidemment à votre charge. On ne le répètera jamais assez, méfiance et recul critique sont de mise. « Ces machines qui parlent notre langue sont fascinantes. La plupart du temps, les personnes savent qu’elles parlent avec une machine mais l’effet est tout de même majeur », analyse Alexei Grinbaum, auteur du livre Paroles de machine à paraître en avril. Une soixantaine d’années après Eliza, le premier chatbot du monde utilisé comme psychologue, c’est l’accessibilité de ChatGPT qui rebat les cartes.