Le probabilisme des modèles de langage

Texte et laboratoires d'expérimentations.

Narya Bordeaux - Olivier Claverie ·

En bref. On reproche souvent aux modèles de langage de ne produire que du « probable ». Ce texte distingue trois choses que ce reproche confond : la manière dont un résultat est calculé, qui peut être parfaitement déterministe ; la forme qu’il prend, une distribution de probabilité ; et l’usage qu’on en fait, choisir le plus probable ou tirer au hasard. Cinq laboratoires permettent de le vérifier par soi-même.

Une critique courante des modèles de langage tourne autour de leur “probabilisme”1. À la différence d’autres programmes dits “déterministes” (c’est-à-dire pour lesquels à une même entrée est toujours associée une même réponse), ils ne pourraient avoir accès à la vérité, mais à quelque chose de seulement “probable” ou de “plausible” et au final de toujours “douteux”. Et ce caractère douteux placerait les résultats des LLM dans un registre différent de la vérité, qui elle ne pourrait être “douteuse”. Une chose serait vraie ou fausse, et un LLM en produisant des résultats seulement “probables” se situerait, même quand sa production est exacte, dans un autre registre que celui de la vérité. Il n’aurait accès à la vérité que “par accident”, ou plus précisément par hasard. L’existence d’hallucinations est souvent prise comme preuve de ce mécanisme.

Pourtant un calcul déterministe peut être faux, et il peut même ne pas l’être tout le temps, ce qui peut paraître contre-intuitif. Ainsi si l’on calcule l’âge d’une personne en soustrayant son année de naissance à l’année courante, on obtient un résultat qui est souvent faux, mais qui ne l’est pas toujours : le résultat est incorrect tant que la date de l’anniversaire n’est pas passée, il devient exact ensuite. D’ailleurs si vous connaissez l’année de naissance d’une personne et non sa date, la meilleure réponse que vous pouvez apporter si l’on vous demande son âge est précisément probabiliste. Si l’on est le 29 ou le 30 décembre, vous serez à peu près sûr de votre calcul : l’anniversaire aura très probablement eu lieu, seuls ceux nés le 30 et/ou le 31 décembre rendraient le calcul faux. Si l’on est en milieu d’année, vous serez plus incertain : il y a environ autant de chances que la date d’anniversaire de cette personne soit passée qu’il y en a qu’elle ne le soit pas, et en tout début d’année c’est le contraire : on redevient sûr de son coup, mais il faut systématiquement enlever un an au calcul car l’anniversaire n’a probablement pas eu lieu.

Il est ainsi possible de produire de façon déterministe un résultat prenant la forme d’une distribution de probabilité. Par exemple, il est possible de programmer un logiciel qui calcule un âge en fonction de la date de naissance et de la date du jour et qui selon la date du jour fera évoluer, toujours de la même manière, la probabilité qu’une personne ait un âge ou un autre, en fonction de la répartition des naissances au cours de l’année.

Ce point n’est pas anecdotique. Il amène à distinguer le déterminisme d’un résultat, la forme d’un résultat et l’utilisation d’un résultat. Nombre de modèles de langage sont en effet de ce type : ils produisent de façon plus ou moins “déterministe” une distribution de probabilité dans laquelle un dispositif “externe” vient piocher plus ou moins aléatoirement. Ces “plus ou moins” que j’ai indiqués ici ne trahissent pas une imprécision de ma part : dans les faits, il est possible de produire des modèles de langage complètement déterministes (c’est-à-dire où aucune procédure probabiliste n’a été utilisée dans leur entraînement et où le résultat est une distribution de probabilité dont est extrait toujours le résultat le plus probable) tout comme il est possible de créer des modèles de langage qui donneront une plus grande part à des dispositifs probabilistes.

Il est possible par exemple d’utiliser lors de l’entraînement d’un modèle, des procédures probabilistes mais, une fois le modèle en production, de l’utiliser de façon complètement déterministe. Dans ce cas, deux modèles produits avec cette même procédure produiraient des résultats différents l’un de l’autre, par contre quand ils recevraient la même “entrée” chacun reproduirait systématiquement sa même réponse. Ce sont là des choix d’ingénierie, non des caractéristiques fondamentales des modèles de langage.

Je voudrais ici détailler au travers de différents exemples la façon dont ce rapport au probabilisme peut exister dans des intelligences artificielles afin de progresser dans la compréhension de leurs mécanismes.

1) Classer des points

Nous allons commencer par une IA connexionniste classificatrice. Une telle IA ne génère pas de données, elle classe des données reçues dans un ensemble de catégories qui lui ont été fournies.

Mémoriser et généraliser

Nous allons imaginer un dispositif très simple, proche des premières expériences de Rosenblatt, l’inventeur du perceptron, mais plus simplifié encore. Imaginons un tableau sur lequel apparaissent successivement des points lumineux. L’examinateur aura décidé d’une frontière sur ce tableau : tous les points au nord de cette frontière feront partie de la zone A, tous les points au sud de cette frontière feront partie de la zone B. Mais il ne présente jamais cette frontière au perceptron ni la règle du nord et du sud : il lui présente un exemple : un point ; et il lui indique si ce point relève de la zone A ou de la zone B. Après un certain nombre d’exemples, l’examinateur s’attend à ce que le perceptron soit capable de classer correctement un point en A ou en B. Rosenblatt note que cet exercice contient deux cas : ceux où le point avait déjà été vu, il s’agit d’une tâche de mémorisation, et ceux où le point n’avait jamais été vu. Il l’appelle “généralisation”.

Il est important de réaliser que le perceptron de Rosenblatt ne réalise pas une résolution graphique d’un tel exercice : il ne déplace pas une droite sur le plan pour l’adapter à la présence de nouveaux points. Le lien aléatoire et non modifiable qu’il met en place entre les cellules “capteurs” et les cellules de traitement des données visuelles empêche cette résolution graphique. Pour autant, la représentation graphique permet de comprendre un certain nombre de difficultés de l’exercice.

Ce que le perceptron ne peut pas savoir

Ainsi, imaginons que l’on donne à un humain une carte représentant la France et l’Espagne, mais où aucune frontière n’est dessinée. Si on lui montre les villes de Bordeaux et Lyon et qu’on lui dit qu’elles sont en France, et qu’on lui montre les villes de Madrid et Valence et qu’on lui dit qu’elles sont en Espagne, alors il lui est relativement facile, si on lui montre Lille, de dire que la ville est très probablement en France (pour que ce ne soit pas le cas, il faudrait que le territoire de l’Espagne passe quelque part soit à l’ouest de Bordeaux, soit à l’est de Lyon et remonte jusqu’à Lille). Pour autant ces quatre points laissent tout un espace complètement indéterminé : tout le territoire qui se trouve au sud de la ligne Bordeaux-Lyon et au nord de la ligne Madrid-Valence. En réalité, il existe une infinité de frontières qui peuvent être imaginées qui classeraient correctement Bordeaux, Lyon, Madrid et Valence mais seraient fausses, tout simplement parce que l’humain n’aurait pas reçu d’informations sur cet espace dans son “entraînement”.

Ce problème existe exactement pour les perceptrons de Rosenblatt qui, au fur et à mesure de leur entraînement, vont affiner la distinction entre la zone A et la zone B. D’une certaine façon, dans un espace total délimité (la population), il existe donc une portion de l’espace sur laquelle un perceptron ne peut produire de classification correcte car il n’a pas été informé. Au regard de l’espace total de l’écran, il est donc possible de construire une proportion, un pourcentage, sur lequel le perceptron réalisera une prédiction non informée. Il s’agit là d’un décalage entre l’échantillon sur lequel le perceptron a été entraîné, et la population sur laquelle il peut être interrogé, et ce décalage trouve une expression sous forme de probabilité, même si aucun outil mathématique probabiliste n’a été utilisé dans l’entraînement, autre que le fait que l’entraînement constitue un “échantillon” des cas possibles (la population) sur lequel il peut être interrogé.

Comment fonctionne un perceptron

Abordons maintenant le fond du fonctionnement du perceptron. Un perceptron est un réseau construit à partir de trois types d’éléments :

Une cellule S est capable de réagir à un signal lumineux sur une petite zone du tableau seulement. Néanmoins, des signaux vont pouvoir s’étaler sur plusieurs cellules S. Chacune de ces cellules S sera reliée à une cellule A, les cellules A recevant des informations de plusieurs signaux.

À chaque exemple où le perceptron avait mal prédit, le perceptron modifie ses paramètres pour tendre à avoir une bonne réponse.

Comme on le voit, le fonctionnement du perceptron ainsi construit est déterministe : à chaque entrée, il apporte une réponse, et il la corrige à partir d’un calcul complètement déterministe s’il s’est trompé. À une même situation de départ, le perceptron répond toujours de la même façon, mais son entraînement, au travers de la séquence particulière d’exemples auxquels il a été confronté, est fondamentalement « probabiliste » alors même que les procédures par lesquelles il le réalise sont déterministes et que deux perceptrons construits de la même façon et entraînés sur les mêmes exemples produiraient la même réponse.

Des câblages différents, une même capacité

Il faut ajouter cependant une subtilité dans le travail de Rosenblatt. Ce qui intéressait Rosenblatt, c’était de montrer que des perceptrons construits différemment, notamment au travers d’un tirage aléatoire des liens entre les cellules sensorielles et cellules de traitement, pourraient, suite à des entraînements différents (c’est-à-dire où les exemples présentés, bien qu’ils correspondent à la même règle, soient différents), aboutir à un même résultat, qu’ils pouvaient converger vers une même capacité à classer, bien que pour y aboutir, ils aient réalisé des calculs différents à partir de données différentes. Son but était en effet de montrer que les capacités d’apprentissage ne nécessitaient pas une structuration particulière du réseau (autre que les distinctions entre cellules réceptrices, cellules d’activation et quelques mécanismes) mais qu’un réseau pourrait arriver à reconstruire une même capacité sur des bases différentes, c’est là ce qu’il considère être une preuve forte de l’efficacité d’un mécanisme d’apprentissage.

Retenons-le : le calcul du perceptron est entièrement déterministe, et sa réponse n’a rien de probabiliste. Le probabilisme est ailleurs, dans l’écart entre les quelques exemples qu’il a reçus et l’ensemble des points qu’on peut lui présenter : une part du tableau sur laquelle il répond sans être informé, et que l’on peut mesurer.

2) Reconstruire des vases à partir de fragments archéologiques

Un modèle d’intelligence artificielle générative, c’est un modèle qui produit des données nouvelles, peu importe leur type et leur format. Ainsi supposons que des archéologues veuillent disposer d’un outil permettant de reconstruire ce à quoi pouvait ressembler un vase à partir de ses fragments. Il s’agit bien d’une IA générative : elle va partir de données (les fragments de vase et peut-être des informations annexes telles que le lieu où ils ont été trouvés, qui permet peut-être de dater l’objet) et produire à partir de cela une reconstitution.

Le type de réponse, ce sera donc un dessin de vase, c’est ce qui est attendu de nos archéologues. Le format pourra être de différents types : il peut s’agir d’un vase comme il peut s’agir d’une distribution de probabilités associées à différents dessins de vase. Ces deux exemples relèvent de l’IA générative car à chaque fois l’IA aura “généré” des dessins de vases. Là encore, le “probabilisme” n’est pas associé à l’IA générative par défaut.

Néanmoins, il faut bien réaliser que l’exercice porte en lui différentes autres choses qui relèvent du probabilisme, et ceci de façon tout à fait fondamentale.

Une information perdue

La première, c’est le fait que l’IA travaille sur des fragments d’un vase qui a été détruit. À ce titre, fondamentalement, un vase a existé, il a été en partie détruit et une part de l’information propre à ce vase a été perdue. L’IA ne dispose que d’une partie de l’information et doit inférer, à partir de cette partie, le reste du vase. Mais il existe fondamentalement un seul vase qui est le vrai vase. Supposons que pour un type de vase donné, typique d’une époque, il existe deux sous-modèles : l’un doté d’anses, l’autre non. Si la zone des anses a été perdue, il est impossible à un modèle de prendre une décision entre ces deux vases. Les deux propositions (avec anses et sans anses) sont donc pertinentes, mais il est impossible de se décider alors même que le vase dont on tient les fragments a bien été un vase précis qui portait ou ne portait pas d’anse.

Dans cette situation, il est possible de s’appuyer sur des informations sur la répartition des vases existants et dire “étant donné qu’il a été retrouvé à tel endroit et a pu être daté à telle époque, où l’on fabriquait bien plus de vases à anses que de vases sans, on peut penser qu’il s’agit probablement d’un vase à anse”. À partir de valeurs chiffrées sur la répartition des vases, on peut même donner une valeur numérique : “étant donné que 87 % des vases de cette époque et de ce lieu ont des anses, il y a 87 % de chances que ce vase ait des anses”.

Pour autant, il est très important de comprendre que le cœur des IA ne consiste pas à faire des moyennes, contrairement à ce qui est trop souvent répété. Fondamentalement, comme nous l’avons vu précédemment, une IA ajuste, à partir d’un exemple, ses paramètres pour retrouver une sortie conforme à un exemple donné. Cet ajustement peut donner un résultat équivalent à une moyenne uniquement si l’IA a été conçue pour cela. Ce n’est pas le cas du tout du perceptron de Rosenblatt que nous avons présenté précédemment. En effet, s’il existe dans les données des vases qui n’ont pas d’anse et des vases qui ont des anses, une IA qui modifierait exemple après exemple ses paramètres pour minimiser l’erreur sur cette zone pourrait successivement créer un renflement, puis le réduire, puis l’augmenter, puis le réduire à nouveau.

Mais il s’agit là d’un choix de conception, il est au contraire possible, comme dans l’exemple du perceptron, que le modèle identifie deux “états” complètement distincts (à la manière des zones A et B) l’un avec anse et l’autre sans anse, et propose systématiquement un vase soit avec une anse, soit sans anse. Comme dans l’exemple précédent, si l’IA est interrogée sur un vase pour lequel il ne reste aucun indice lui permettant de savoir s’il s’agit plutôt d’un vase avec ou sans anse, et si on ne l’a pas conçue pour fournir des distributions de probabilités mais seulement pour proposer un vase, elle fera un choix entre les deux possibilités, ce choix étant mal informé parce que les restes du vase ne permettent pas de trancher, ou parce que son entraînement ne lui aura pas permis de clairement repérer les indices permettant de rattacher un fragment à un type de vase. Cela nous amène au deuxième point.

Un échantillon qui n’est pas la population

La deuxième tient aux données d’entraînement. Supposons que dans une certaine région, on n’ait jamais trouvé de vase à anses. Alors pour l’IA entraînée sur ces données, des fragments de cette région qui ne portent pas d’anses mèneront nécessairement à la reconstruction de propositions de vases sans anses. Or l’absence d’anses dans les données d’entraînement peut être liée au fait qu’aucun vase ne nous soit parvenu, pas nécessairement au fait qu’aucun vase n’ait réellement existé. Ici, le problème est plutôt que l’entraînement du modèle est réalisé sur un échantillon de la population des vases ayant existé. Or si cet échantillon n’est pas “représentatif” s’il ne comporte pas véritablement les différents cas ayant existé, l’IA entraînée sur cet échantillon produira des résultats “biaisés”. Or nous ne le saurons pas.

Nous ne le saurons pas car entre les vases du passé et les fragments d’aujourd’hui, il existe une double perte d’information : d’une part comme nous l’avons vu au point précédent, sur toute une partie des vases dont nous disposons, de l’information a été perdue car les vases ne nous arrivent que comme fragments, mais en plus, ces fragments ne sont que les fragments d’une partie des vases : certains ont été définitivement perdus. Là encore, l’information à partir de laquelle nous travaillons est fondamentalement appauvrie, l’échantillon n’est pas la population.

Il est à noter cependant que les spécialistes de vases antiques n’ont pas appris les styles de vases uniquement à partir de fragments ou de vases qui nous sont parvenus entiers. Les vases existent également dans des représentations : des peintures, des tapisseries, des dessins. Mais également dans des textes où ces vases sont décrits. Ce type de connaissance peut être intégré dans des modèles “multimodaux” qui seront nourris de données de différents types. Mais surtout il n’en reste pas moins que des inégalités peuvent profondément affecter la possibilité que nous avons de retrouver ces représentations : un peuple important, disposant d’un artisanat réputé verra ses œuvres circuler, être décrites dans de multiples textes. D’autres pourront disparaître dans un relatif silence. Fondamentalement, il existe toujours une disparité entre les objets qui nous parviennent et ceux qui ont existé.

L’état de l’entraînement

La troisième tient à l’état de l’entraînement. Les IA connexionnistes sont des systèmes qu’on entraîne. C’est cet entraînement qui leur permet d’acquérir la capacité de produire un résultat pertinent. Dès lors, il peut paraître évident que plus une IA est entraînée, meilleurs seront ses résultats. A condition bien sûr, que son entraînement ne consiste pas en une répétition des mêmes exercices. D'un point de vue mathématique, une IA est une fonction comprenant un très grand nombre de paramètres. Ces paramètres vont être modifiés à chaque erreur de prédiction de façon à trouver la fonction qui prédit correctement la résolution d'un problème donné. Ce qui est attendu de ces IA est donc d’atteindre une “convergence”, c’est-à-dire que l’ensemble des corrections va “converger” vers une fonction définie : soit la prédiction de la forme d'un vase, soit la probabilité que la forme soit telle ou telle. Mais à la fin de son entraînement, la fonction, idéalement, doit être juste, c'est-à-dire prédire systématiquement la réponse attendue.

Si l’on ne présente à une IA que quelques vases lors de son entraînement, il ne lui est pas possible de repérer entre ces vases les caractéristiques communes qu’ils partagent. Les vases restent des cas et la reconstruction d’un vase à partir de fragments sera très peu fiable. C’est bien la répétition de cas proches mais différents qui permet à l’intelligence artificielle de construire progressivement un “type” qui ne soit pas simplement un cas particulier.

Retenons-le : ici, l’incertitude est imposée par la situation (une information perdue, un échantillon qui n’est pas la population). Mais la forme de la réponse reste un choix de conception : une moyenne, qui fabrique un vase qui n’a jamais existé, ou une distribution, qui garde séparées des propositions plausibles et dit combien chacune l’est.

3) Produire du langage

La question du langage est différente de ce que nous avons vu précédemment sur un point particulier : lorsque nous demandons à une IA de produire du langage, nous n’attendons pas d’elle qu’elle retrouve un vase qui a existé et dont nous avons perdu des morceaux. Nous attendons d’une IA qu’elle produise du nouveau, qu’elle mobilise des mots dans un contexte particulier, éventuellement un contexte n’ayant jamais existé auparavant.

Quand nous demandons à une IA de proposer des reconstructions de vase, nous savons qu’un vase a existé. A partir des fragments que nous possédons, nous ne pouvons pas forcément le reconstruire. Mais nous pouvons produire plusieurs propositions. Ces propositions sont cohérentes “au regard des informations dont nous disposons”, nous les acceptons comme “la meilleure réponse possible étant donné les informations que nous avons perdues”. Mais lors de la production de texte, l’objectif n’est généralement pas de retrouver le “vrai” mot qui serait l’unique mot juste à un moment donné. La raison en est simple : le langage est profondément souple. De nombreux énoncés portent la même information.

Dire la même chose de mille façons

Qu’une personne réponde à “Quelle est la capitale de la France ?” par “Paris est la capitale de la France”, par “la capitale administrative de la France, c’est la ville lumière, Paris” ou, si elle est française, par “ma capitale ? Paris”, il s’agit de trois énoncés qui portent des informations extrêmement proches. Ou plutôt, ils portent les mêmes informations, mais également quelques autres. Du point de vue de la question posée (connaître la capitale de la France) il s’agit de trois réponses équivalentes.

C’est cette variété quasi infinie des façons de dire la même chose qui oblige les modèles de langage à être d’une autre manière encore probabilistes : non pas seulement parce que l’information peut manquer pour décider d’une réponse, mais également parce que questions comme réponses peuvent être produites sous différentes formes même lorsqu’il s’agit pour elles de dire la même chose. Dans les modèles de langage, le probabilisme est avant tout un mode de traitement de la diversité des réponses possibles, et donc d’abord de la diversité des formes que peut prendre une même réponse. Un excellent exemple de ce fait est la tirade du nez de Cyrano de Bergerac qui explore les nombreuses façons qu’aurait pu avoir le vicomte de Valvert de le moquer.

L’implicite

Mais cette diversité ne tient pas seulement à la plasticité du langage. Elle tient également au fait que les énoncés que nous produisons sont systématiquement sous-déterminés, ou, pour le dire autrement, regorgent d’implicite. Tout énoncé ne dit jamais explicitement la totalité de ce qu’il veut dire. Une grande partie de ce qu’il dit relève de son contexte, de l’implicite de la situation dans laquelle il a été produit. Prenons un exemple avec un fait qui ressemble à une évidence : l’eau bout à 100°. Cet énoncé qui est appris à l’école nécessite tout un ensemble de présupposés qui ne sont généralement pas précisés : d’abord qu’il s’agit de degrés Celsius, ensuite qu’il s’agit d’eau pure, ensuite que la mesure soit prise à un niveau de pression “ordinaire”. Dire “l’eau bout à 100°” n’est pas faux, c’est même plutôt vrai, mais pour être tout à fait exact il faudrait rajouter tout un ensemble d’informations qui ne sont pas nécessaires dans une conversation ordinaire et donc pour manier le langage. Pour un modèle de langage, apprendre cette diversité des contextes est le résultat d’un entraînement sur un ensemble de textes dont certains portent cette diversité de contextes.

La diversité des énoncés sur lesquels les modèles de langage sont entraînés encode sous forme de distribution de probabilité à la fois la multitude des formulations d’une même information et la diversité des contextes qui peuvent être inférés à partir d’un énoncé donné. Elle mêle également des choses que nous avons déjà vues : le fait que l’entraînement s’est fait sur une sélection de textes au regard de la totalité des textes possibles via le langage (qui est infini), et que cette sélection se fait sur la base d’inégalités (tous les groupes sociaux, toutes les sociétés n’ont pas le même accès à l’écriture et à l’enregistrement de leurs paroles).

Et les hallucinations ?

Reste la question des hallucinations, souvent présentée comme la preuve que les modèles de langage n’auraient accès à la vérité que par hasard. Les laboratoires suggèrent une autre lecture. Une hallucination n’est pas d’abord un effet du tirage au hasard : un modèle qui choisit toujours le mot le plus probable, sans aucun aléa, peut se tromper avec la même assurance. Si l’on demande au petit modèle de langage du laboratoire « Quelle est la capitale de l’Espagne ? » en ne lui laissant regarder que quelques mots, il répond, à chaque fois et sans hésiter : « La capitale de la France ? Paris, bien sûr. » Et un programme parfaitement déterministe peut lui aussi produire une réponse vraisemblable mais infondée, s’il a été conçu pour toujours répondre, même quand ses données ne le permettent pas : c’est l’âge qu’il donne à Frodon Sacquet. L’hallucination tient moins au probabilisme qu’à ce que fait un modèle lorsque l’information lui manque : refuser, calculer sans vérifier, ou produire ce qui ressemble le plus à une bonne réponse.

Conclusion

Par ce petit texte, j’ai voulu explorer l’usage des probabilités dans les modèles d’intelligence artificielle connexionnistes. Je n’ai pas décrit la totalité de ce qui existe (notamment les techniques de mini-batch ou de drop-out qui visent à utiliser de l’aléatoire dans l’entraînement des modèles, soit pour économiser du temps de calcul, soit pour renforcer la robustesse des réseaux) et les modèles qui ont été présentés restent largement des “jouets”, entraînés sur des quantités extrêmement faibles d’exemples et sur des architectures extrêmement petites. Rendre “visibles” et “manipulables” les modifications liées à chaque cas d’entraînement limite forcément le jeu à des modèles trop pauvres pour avoir une vraie pertinence. Mais mon objectif était avant tout de montrer que le probabilisme n’est pas une “malédiction” des modèles connexionnistes. Il est au contraire bien souvent présent parce qu’il est recherché et parce qu’il est efficace pour un problème particulier, comme dans le traitement des vases qui préfère une distribution à une moyenne.

A titre personnel (et nous sortons ici de l'exercice pédagogique) je pense même que le probabilisme est efficace dans les modèles de langage parce que nos connaissances sont fondamentalement probabilistes.

Références

  1. Frank Rosenblatt (1958), « The perceptron: a probabilistic model for information storage and organization in the brain », Psychological Review, 65 (6), p. 386-408.
  2. Herbert Robbins et Sutton Monro (1951), « A Stochastic Approximation Method », The Annals of Mathematical Statistics, 22 (3), p. 400-407. L’apprentissage avec un pas qui diminue au fil des exemples, proposé en option dans le laboratoire du perceptron.
  3. Pablo Navarro, Celia Cintas, Manuel Lucena et al. (2022), « Reconstruction of Iberian ceramic potteries using generative adversarial networks », Scientific Reports, 12, 10644. L’article sur IberianGAN qui a inspiré le laboratoire des vases.
  4. Claude E. Shannon (1948), « A Mathematical Theory of Communication », Bell System Technical Journal, 27. Les premières approximations de l’anglais par n-grammes.
  5. Daniel Jurafsky et James H. Martin, Speech and Language Processing, chapitre « N-gram Language Models » (manuel en ligne, régulièrement mis à jour).
  6. Nitish Srivastava et al. (2014), « Dropout: A Simple Way to Prevent Neural Networks from Overfitting », Journal of Machine Learning Research, 15.
  7. Ashish Vaswani et al. (2017), « Attention Is All You Need », Advances in Neural Information Processing Systems. L’architecture « transformer » des modèles de langage actuels, dont le laboratoire « Le sens de “conduire” » reprend l’intuition : le sens d’un mot se calcule à partir des mots qui l’entourent.