Emily M. Bender, linguiste et directrice du laboratoire de linguistique informatique à l’Université de Washington, réunit également des crédits en tant que professeur. La notoriété lui est venue à travers son article « Perroquets Stochastiques » de mars 2021, rédigé avec les chercheurs en éthique Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell. Cet ouvrage a reçu une large reconnaissance dans le domaine de l’intelligence artificielle (IA) en mettant en évidence les limitations, les risques, les erreurs potentielles et le coût environnemental des grands modèles linguistiques, très utilisés dans les logiciels de discussion type ChatGPT. Bender continue d’être très critique envers les tendances du domaine de l’IA et ne manque pas de partager sa censure sur le « buzz » à son sujet dans un podcast qu’elle anime avec le sociologue Alex Hanna.
Lorsqu’on lui demande si elle pense avoir visé juste dans son papier de 2021 sur les périls des grands modèles linguistiques, elle considère que ces mises en garde n’étaient pas des prédictions mais qu’il n’était pas agréable de voir le début d’une course vers ces modèles linguistiques de plus en plus volumineux et de constater que, malgré les défauts potentiels identifiés, les gens s’y sont mis quand même.
Bender admet, cependant, que son équipe a manqué quelques points comparativement à leur travail initial. Ils n’avaient pas réalisé à quel point la création de ces systèmes peuvent entraîner de l’exploitation au sein des conditions de travail (notamment chez les sous-traitants qui annotent les données, évaluent les réponses ou modèrent le contenu problématique des IA), et combien le monde serait emballé par le texte synthétique.
En dépit de critiquer l’évolution vers des modèles toujours plus conséquents, qui sont en réalité ce qui les a améliorés, elle se pose la question de savoir s’il aurait été préférable de ne pas les développer.
Il n’est pas garanti que les modèles linguistiques soient supérieurs. Certes, ils sont aptes à reproduire du texte humain, mais l’application de cette compétence reste incertaine. Il manque des preuves tangibles montrant que pour certains usages, ils donnent des résultats améliorés.
Les modèles de langue ne sont pas nouveaux et remontent aux recherches du scientifique américain Claude Shannon dans les années 1940. À l’origine, ces modèles jouaient un rôle crucial dans les programmes de transcription automatique, de correction orthographique et de traduction automatique. Toutefois, nous avons largement excédé la quantité de données nécessaires pour l’entrainement attribué à ces tâches. Pour développer des technologies fiables, il est indispensable de comprendre leur contenu. Or, en 2020, nous avons déjà dépassé le volume de données d’entraînement où cette compréhension est encore possible.
Pour continuer à lire cet article, il vous reste 78.45%. La partie restante est réservée pour les abonnés.