 Imaginez que l’ouvre-boîte n’existe pas |
| Le tournant du « deep learning » a permis des progrès dans les applications mais pas forcément dans la compréhension des mécanismes du langage. Alignement des étoiles. Assiste-t-on à un tournant dans le domaine du langage ? Pour François Yvon, informaticien à Paris Saclay, c’est une certitude : d’énormes avancées ont été permises grâce à des ordinateurs plus puissants, des bibliothèques logicielles plus étoffées – deux lignes de codes suffisent aujourd’hui quand il fallait une thèse il y a 20 ans – et l’impressionnante quantité de données disponibles. De l’ombre à la lumière. Pour Christophe Servan (voir notre interview ), l’explosion est également du côté des usages. Traduction automatique, reconnaissance vocale, chatbot… ont accompagné l’émergence des smartphones, propulsant sur le devant de la scène des recherches initiées depuis des dizaines d’années, notamment via les Gafam : « C’est très enthousiasmant de sortir de l’anonymat ». Un vent d’optimisme. Ce champ disciplinaire, austèrement nommé traitement automatique du langage naturel pour le différencier du langage formel des ordinateurs, est né dans les années 1950, en pleine guerre froide, au moment où les Américains cherchaient à traduire les publications soviétiques. Ce vent d’optimisme a permis de larges financements, suivi d’une rapide désillusion. Jusqu’à sa renaissance aujourd’hui. Pari sur les machines. Au croisement de la linguistique, de l’informatique et de l’intelligence artificielle, son objectif est à la fois de comprendre les mécanismes fondamentaux du langage et de développer des outils de traitement. Sauf que le premier objectif est un peu passé à la trappe avec l’engouement pour l’apprentissage profond (le fameux deep learning), méthode aujourd’hui majoritaire au sein de l’IA. Heureux hasard. « L’avantage de sortir de l’approche symbolique [plus de détails ici, NDLR], c’est que l’approche numérique permet de construire des représentations plus fines des unités linguistiques », analyse François Yvon. Le nouvel algorithme GPT-3 d’OpenIA, la société d’Elon Musk, arrive ainsi à deviner le prochain mot d’une phrase, jusqu’à construire des énoncés qui ont en apparence une cohérence syntaxique et même thématique. Ce système est donc en capacité de répondre aux questions d’un utilisateur, voire de résumer des textes, par pure logique probabiliste. Gros moyens. Tout cela est au prix du déploiement d’une véritable machine de guerre informatique. Un bazooka pour ouvrir une boîte de conserve, en quelque sorte. Mais qu’y a-t-il dans la boîte ? On tarde à le savoir. Cette recherche portée par les Gafam occulte d’autres aspects plus fondamentaux de la recherche sur le langage et détourne les financements de la linguistique pure. Issue incertaine. En effet, l’intelligence des algorithmes n’est pour l’instant qu’un leurre : si les systèmes paraissent plus intelligents qu’il y a trente ans, ils sont juste plus efficaces. « Les calculs ont été largement optimisés pour effectuer des traitements simples sur des grandes masses de données, au détriment d’analyses visant à la compréhension profondes des énoncés. Jusqu’où pourrons-nous aller dans cette voie ? », s’interroge François Yvon. Ce qu’on sait aujourd’hui. Créer des systèmes qui assimilent nos connaissances communes et peuvent nous répondre de façon cohérente. Ce qu’il reste à faire. Rendre ces systèmes plus éthiques (voir encadré) et essayer de percer les mystères du langage. |
Et l’éthique dans tout ça ? Pour la linguiste Emily Bender et l’informaticienne Timnit Gebru, récemment congédiée par Google pour ses travaux sur les aspects éthiques de l’IA, l’apparition de modèles de grande ampleur ne va pas sans risques. Les biais de nos sociétés (racistes, sexistes… ) ressortent de ces “perroquets stochastiques” que sont les algorithmes, les idées discriminantes ou haineuses étant potentiellement surreprésentées dans les données. Des solutions sont envisageables : filtrer certains discours de la machine, améliorer la qualité des données ou aller vers plus de transparence. Qu’y a-t-il sous le capot ? Si la plupart des algorithmes étaient auparavant en open source, le dernier GPT-3 ne l’est pas. |
| Les grands anciens du langage Claude Shannon Inspiré par Markov avant lui, le mathématicien Claude Shannon présente dès 1948 sa théorie de l’information, qui servira de base aux modèles de langage. Alan Turing Alan Turing est sans conteste le père de l’intelligence artificielle avec son fameux test proposé en 1950 : une machine peut-elle se faire passer pour une humain ? Noam Chomsky Profitant de l’engouement, le célèbre linguiste Noam Chomsky conduit à partir de 1957 des travaux fondamentaux sur la grammaire et la cognition, qui se révèleront révolutionnaires. Joseph Weizenbaum Au sein du groupe fondé par Marvin Minsky et John McCarthy au MIT, Joseph Weizenbaum crée en 1966 le premier chatbot, ELIZA, qui réussira partiellement le test de Turing. |