Comment une IA apprend-elle ?
Apprentissage supervisé, non supervisé, par renforcement, et le cas de ChatGPT.
Sur cette page
1. La boucle d'apprentissage
4 étapes répétées des milliards de fois
1. Prédire — Le modèle reçoit une donnée et propose une réponse. Au début, ses paramètres sont aléatoires : la réponse est absurde.
2. Mesurer l'erreur — On compare la réponse à la bonne réponse grâce à une fonction de perte — un nombre qui indique à quel point le modèle se trompe.
3. Corriger — Un algorithme calcule comment ajuster chaque paramètre pour réduire l'erreur (descente de gradient + rétropropagation).
4. Recommencer — On passe à l'exemple suivant. L'erreur diminue progressivement.
Remets les 4 étapes de la boucle d'apprentissage dans l'ordre
Au tout début de l'entraînement, pourquoi la première prédiction d'un modèle est-elle absurde ?
2. La descente de gradient
Redescendre une montagne dans le brouillard
Imaginez être perdu dans le brouillard sur une montagne : vous ne voyez rien, mais vous sentez la pente sous vos pieds et avancez dans la direction qui descend le plus. C'est la descente de gradient : l'altitude représente l'erreur, chaque pas ajuste les paramètres pour la réduire.
La rétropropagation (1986)
Le calcul de la « pente » pour des milliards de paramètres est réalisé par la rétropropagation du gradient, popularisée en 1986 par Rumelhart, Hinton et Williams. Le taux d'apprentissage est la taille des pas : trop grand, on rate la vallée ; trop petit, ça prend une éternité.
En quelle année la rétropropagation a-t-elle été popularisée par Rumelhart, Hinton et Williams ?
Un taux d'apprentissage trop grand peut faire « rater la vallée » (l'erreur minimale) lors de l'entraînement.
3. Trois grandes façons d'apprendre
Supervisé, non supervisé, par renforcement
Supervisé : on fournit des exemples étiquetés (« cette image est un chat »). Non/auto-supervisé : pas de bonne réponse fournie, le modèle découvre seul des structures (ou cache un mot et doit le deviner — ainsi les LLM sont pré-entraînés). Par renforcement : un agent reçoit des récompenses ou pénalités et apprend la stratégie qui maximise ses gains — c'est ainsi qu'AlphaGo a battu Lee Sedol en mars 2016.
Associe chaque exemple à son type d'apprentissage
Quelle variante de l'apprentissage non supervisé consiste à cacher un mot dans une phrase pour que le modèle le devine ?
4. Et pour ChatGPT ?
Un apprentissage en 3 étapes
1. Pré-entraînement auto-supervisé — Le modèle lit d'immenses volumes de textes et apprend à prédire le token suivant. L'étape la plus coûteuse.
2. Réglage fin supervisé — Des humains rédigent des exemples de bonnes réponses. OpenAI a présenté cette approche avec InstructGPT en 2022.
3. RLHF (retour humain) — Des évaluateurs classent plusieurs réponses ; un « modèle de récompense » apprend ces préférences et affine l'assistant par renforcement.
Remets ces 3 étapes dans l'ordre d'entraînement d'un assistant comme ChatGPT
Quel nom OpenAI a-t-il donné à l'approche de réglage fin supervisé présentée en 2022 ?
5. Les pièges de l'apprentissage
4 pièges classiques
Surapprentissage (overfitting) : le modèle apprend « par cœur » au lieu de généraliser. Biais des données : un modèle reproduit les déséquilibres de ses données d'entraînement. Qualité des étiquettes : « garbage in, garbage out ». Coût énergétique : entraîner les plus grands modèles mobilise des milliers de processeurs pendant des semaines.
Comment détecte-t-on le surapprentissage (overfitting) d'un modèle ?
Si les exemples d'entraînement sont mal étiquetés, le modèle peut apprendre des erreurs à partir d'eux.
Défi boss : quel type d'apprentissage ?
Classe chaque situation selon le type d'apprentissage qu'elle illustre.