Comment fonctionne ChatGPT ?
Tokens, Transformer, attention, fenêtre de contexte : les grands modèles de langage expliqués.
Sur cette page
1. Prédire le mot suivant
Un objectif simple, des résultats surprenants
Un grand modèle de langage (LLM) est entraîné avec un objectif modeste : prédire ce qui vient ensuite. Face à « Le chat dort sur le », il estime la probabilité de chaque mot possible (« canapé », « toit »…), en choisit un, puis recommence. C'est de cette répétition que naissent des paragraphes entiers.
Pour bien prédire le mot suivant sur des milliards de textes, le modèle doit capturer de la grammaire, des faits, des styles — d'où des capacités qui semblent dépasser la tâche de départ.
Quel est l'objectif d'entraînement de base d'un grand modèle de langage ?
Un modèle de langage génère une réponse entière d'un seul coup, pas mot par mot.
2. Les tokens : comment une machine lit du texte
Du texte aux nombres
Un ordinateur ne comprend que des nombres. Le texte est découpé en tokens (mots entiers, morceaux de mots ou ponctuation), chacun transformé en une liste de nombres appelée embedding, qui positionne le mot dans une carte du sens — popularisée par word2vec (2013).
Une unité qui coûte
Un token représente environ trois quarts d'un mot en anglais ; le français ou le chinois demandent généralement plus de tokens pour un même texte. Les modèles facturent et limitent leur usage en tokens.
Le texte est d'abord découpé en petits morceaux appelés ….
Un texte en français contient généralement moins de tokens que le même texte en anglais.
3. Le Transformer et l'attention
La publication de 2017
Le 12 juin 2017, huit chercheurs de Google ont publié « Attention Is All You Need », présentant l'architecture Transformer. Son idée centrale : le mécanisme d'attention, qui relie chaque mot à tous les autres mots du contexte pour décider lesquels comptent le plus.
Pourquoi ça marche
Deux avantages : le Transformer traite tous les mots en parallèle (exploite à plein les GPU) et gère bien les longues dépendances entre mots éloignés. Cet article a été cité plus de 250 000 fois.
En quelle année l'architecture Transformer a-t-elle été publiée ?
Dans « La banque a refusé le prêt parce qu'elle était prudente », à quoi le mécanisme d'attention relie-t-il « elle » ?
Un avantage clé du Transformer est de traiter tous les mots d'une phrase en parallèle plutôt qu'un par un.
4. La fenêtre de contexte
La mémoire de travail du modèle
Un modèle ne peut « voir » qu'une quantité limitée de texte à la fois : sa fenêtre de contexte (question + historique + réponse en cours). GPT-3 (2020) était limité à 2 048 tokens ; les modèles récents acceptent beaucoup plus. Au-delà de cette fenêtre, le modèle « oublie » ce qui précède — il n'a pas de mémoire permanente sauf fonction dédiée.
À combien de tokens la fenêtre de contexte de GPT-3 (2020) était-elle limitée ?
Un modèle de langage garde en mémoire toutes vos conversations passées, même celles d'il y a plusieurs mois.
5. Pourquoi ChatGPT se trompe parfois
Plausible, pas vérifié
Une hallucination est une réponse fluide et crédible mais fausse. Elle découle du fonctionnement même du modèle : il produit du texte plausible, pas vérifié. En 2023, des avocats ont déposé devant un tribunal de New York des décisions de justice inventées par ChatGPT (amende de 5 000 $).
Demandez des sources et vérifiez-les. Activez la recherche web quand elle existe. Reformulez la question. Ne l'utilisez jamais comme seule source pour une décision importante.
Pourquoi un modèle de langage peut-il « halluciner » une information fausse ?
ChatGPT consulte Internet en temps réel pour chaque réponse qu'il donne.
Défi boss : vrai ou faux sur les LLM ?
Classe chaque affirmation sur le fonctionnement des grands modèles de langage.