Comment fonctionne une IA ?
Neurones, couches, paramètres : la mécanique derrière ChatGPT, Midjourney et les autres.
Sur cette page
1. Des règles déduites, pas écrites
Le problème du chat sur une photo
Écrire à la main toutes les règles pour reconnaître un chat (« deux oreilles pointues, des moustaches… ») est presque impossible : les chats ont toutes les formes, couleurs et postures possibles.
La solution de l'IA moderne
On montre à l'IA des millions de photos déjà étiquetées « chat » ou « pas chat ». Elle ajuste elle-même ses réglages internes jusqu'à réussir à les distinguer. Ce mécanisme d'ajustement s'appelle l'entraînement.
Pourquoi n'écrit-on pas à la main les règles pour reconnaître un chat sur une photo ?
Une IA moderne « sait » à l'avance ce qu'est un chat, comme un dictionnaire de définitions.
Comment s'appelle le mécanisme par lequel une IA ajuste elle-même ses réglages à partir d'exemples ?
2. Le neurone artificiel
Une petite calculatrice
Le neurone artificiel s'inspire, de très loin, des neurones du cerveau. Le premier modèle mathématique date de 1943 (Warren McCulloch et Walter Pitts).
Ce que fait un neurone, étape par étape
1. Il reçoit des entrées — Des nombres : par exemple la luminosité de pixels d'une image, ou la représentation numérique d'un mot.
2. Il pondère chaque entrée — Chaque entrée est multipliée par un poids, qui indique son importance. Un poids élevé = « ce signal compte beaucoup ».
3. Il additionne le tout — Somme des entrées pondérées, plus un petit décalage appelé biais.
4. Il applique une fonction d'activation — Une règle simple décide de la force du signal transmis. Sans cette étape, empiler des neurones ne servirait à rien.
Remets dans l'ordre les 4 étapes d'un neurone artificiel
En quelle année date le premier modèle mathématique du neurone artificiel ?
Un poids élevé signifie que ce signal compte … dans la décision du neurone.
Que se passerait-il si on retirait la fonction d'activation d'un réseau de neurones ?
3. Le réseau : des couches qui extraient du sens
Des neurones organisés en couches
La première couche reçoit les données brutes, la dernière donne le résultat, et les couches intermédiaires (« cachées ») transforment progressivement l'information. C'est le deep learning — « profond » désigne le nombre de couches.
Une hiérarchie qui émerge toute seule
Dans un réseau qui reconnaît des images, les premières couches détectent des traits simples (contours, couleurs), les suivantes des formes (yeux, oreilles), les dernières des objets entiers (visage, chat). Personne n'a programmé cette hiérarchie : elle émerge de l'entraînement.
Dans un réseau qui reconnaît des images, remets les couches dans l'ordre où l'information est traitée
Un ingénieur programme explicitement, couche par couche, ce que chaque couche doit détecter (contours, puis formes, puis objets).
Que désigne le mot « profond » dans « apprentissage profond » (deep learning) ?
4. Les paramètres : le savoir du modèle
Des réglages, pas une mémoire
L'ensemble des poids et des biais d'un modèle s'appelle ses paramètres. Un modèle ne contient ni base de données de faits, ni phrases mémorisées : son savoir est réparti dans des milliards de nombres.
Une croissance vertigineuse
Le nombre de paramètres des modèles GPT a été multiplié par environ 1 500 en deux ans : GPT-1 ≈ 117 millions, GPT-2 ≈ 1,5 milliard, GPT-3 ≈ 175 milliards de paramètres.
GPT-3 compte environ combien de paramètres ?
Un modèle d'IA stocke ses connaissances comme des fichiers consultables, un peu comme une base de données.
Plus un modèle a de paramètres, est-il toujours meilleur ?
5. Entraînement et inférence
Deux moments à ne pas confondre
| Entraînement | Inférence (utilisation) | |
|---|---|---|
| Que se passe-t-il ? | Le modèle ajuste ses paramètres à partir de données | Le modèle, figé, produit une réponse à votre demande |
| Quand ? | Une fois (ou par grandes phases), avant la mise en service | À chaque requête d'un utilisateur |
| Durée | Des semaines ou des mois pour un grand modèle | Quelques secondes |
| Coût | Très élevé : des milliers de GPU, des millions de dollars pour les plus grands modèles | Faible par requête, mais énorme au total avec des millions d'utilisateurs |
« L'IA apprend de chacune de mes conversations en temps réel. » En pratique, un modèle déjà déployé ne modifie pas ses paramètres pendant que vous lui parlez. Certaines entreprises peuvent utiliser vos conversations pour entraîner de futurs modèles, sauf si vous le refusez dans les réglages.
Classe chaque affirmation : Entraînement ou Inférence ?
Un modèle d'IA déployé modifie ses paramètres en temps réel pendant qu'il discute avec vous.
Qu'est-ce qui coûte le plus cher au total pour une entreprise qui exploite un grand modèle, même si chaque requête individuelle est bon marché ?
Défi boss : Entraînement ou Inférence ?
Classe chaque affirmation le plus vite et le plus juste possible. C'est le même type d'exercice que dans la dernière leçon, mais avec plus d'affirmations et un chrono.