En formation, je pose souvent une question qui paraît anodine aux dirigeants et aux managers que j’accompagne : selon vous, quand OpenAI passe de GPT-4 à GPT-5, qu’est-ce qui change exactement dans la machine ? La réponse spontanée est presque toujours la même : « ils ont mis à jour le modèle ». La formulation paraît évidente. Elle est pourtant trompeuse, et c’est précisément ce que la lettre P de GPT permet de comprendre.
Le P de GPT signifie Pre-trained, « pré-entraîné ». Derrière ce mot un peu technique se cache une étape industrielle considérable, mais surtout une nature de produit qui ne ressemble en rien à un logiciel classique. Pour un responsable qui pilote un déploiement d’IA générative en entreprise, en comprendre les conséquences est essentiel.
Le principe du pré-entraînement
Un modèle de langage tel que celui qui anime ChatGPT est un réseau de neurones artificiels comportant des milliards de paramètres. Ces paramètres sont des nombres ajustés au cours de l’entraînement pour que le modèle soit capable de prédire le mot suivant dans une séquence de texte.
Le pré-entraînement consiste à exposer ce réseau à un corpus de textes considérable : livres, articles, pages web, codes informatiques, conversations publiques, encyclopédies. À chaque passage, on présente au modèle une portion de texte et on lui demande de prédire le mot qui suit. On compare sa prédiction à la réponse réelle, on mesure l’écart, et on ajuste légèrement ses paramètres pour réduire cet écart. Cette opération est répétée des milliards de fois, sur des centaines de milliards de tokens (les unités élémentaires en lesquelles le texte est découpé).
Progressivement, le modèle apprend les régularités statistiques du langage : grammaire, syntaxe, vocabulaire, mais aussi associations d’idées, structures de raisonnement, faits courants. Le qualificatif « pré-entraîné » signifie que cette phase d’apprentissage massif a déjà été effectuée avant que l’utilisateur final n’interagisse avec le modèle.
À l’issue du pré-entraînement, on obtient un « modèle de fondation ». Il est ensuite raffiné par plusieurs phases successives (affinage supervisé, apprentissage par renforcement à partir de retours humains, alignement et garde-fous) qui constituent le post-entraînement. L’ensemble produit le modèle final, celui qui est déployé. Ce modèle est figé : ses paramètres ne changent plus lorsqu’il converse avec un utilisateur.
Le contraste fondamental avec un logiciel classique
Voici le point qui mérite la plus grande attention pour comprendre la nature des modèles génératifs.
Un logiciel classique est un ensemble d’instructions explicites. Quand on découvre un bug ou qu’on ajoute une fonctionnalité, on modifie quelques lignes de code, on recompile, on publie une mise à jour. Le reste du programme demeure inchangé. C’est ce que fait Microsoft chaque mois avec Windows. C’est ce que vous faites lorsque votre téléphone télécharge un correctif.
Un modèle de langage ne fonctionne pas ainsi. Sa « connaissance » n’est pas stockée dans des lignes de code identifiables, mais distribuée à travers les milliards de paramètres numériques de son réseau de neurones. Aucun de ces paramètres, pris isolément, ne correspond à un fait ou à une règle précise. Tout est entremêlé.
On ne peut donc pas « éditer » un modèle pour corriger une erreur ponctuelle, ajouter une information récente ou modifier un comportement précis. Toute tentative de modification ciblée risque d’altérer, par effet de ricochet, des dizaines d’autres comportements de manière imprévue.
Pour faire évoluer un modèle, il existe en pratique deux voies. L’affinage complémentaire (fine-tuning) poursuit l’entraînement du modèle existant sur de nouvelles données ciblées : utile pour adapter à un domaine ou à un style, mais limité dans sa portée. Le réentraînement complet relance une nouvelle session d’entraînement à partir d’un corpus mis à jour et, éventuellement, d’une architecture modifiée. Le modèle obtenu n’est pas une « version corrigée » du précédent. C’est un nouveau modèle. Quand un éditeur passe de la version 4 à la version 5, il ne corrige pas le modèle 4, il livre un modèle entièrement nouveau, entraîné séparément.
Un mot sur les « mémoires » du modèle
Une précision utile, parce que la confusion est fréquente en formation. Ce que beaucoup appellent la « mémoire » d’une IA générative recouvre en réalité trois choses très différentes, qu’il faut bien distinguer pour comprendre ce que le pré-entraînement détermine, et ce qu’il ne détermine pas.
La mémoire à long terme, d’abord, c’est précisément ce que produit le pré-entraînement : la base de connaissances figée du modèle, distribuée dans ses paramètres. Elle s’arrête à la date de coupure de l’entraînement (knowledge cutoff) et ne s’enrichit plus ensuite. La mémoire à moyen terme, ensuite, est une fonction proposée par certains éditeurs qui permet au modèle de retenir entre deux sessions certaines informations sur l’utilisateur (préférences, contexte professionnel, projets en cours). Ces informations ne modifient pas les paramètres du modèle : elles sont stockées à côté, et réinjectées dans le contexte de chaque conversation. La mémoire à court terme, enfin, est la fenêtre contextuelle de la conversation en cours : ce que le modèle « voit » dans l’échange immédiat, et qui disparaît à la fin de la session.
J’ai traité ces distinctions plus en détail dans un autre article.
L’essentiel pour le propos qui nous occupe : seule la mémoire à long terme est concernée par le pré-entraînement. C’est elle qui est figée. Les deux autres ne corrigent ni n’enrichissent durablement le modèle. Elles permettent simplement, le temps d’une conversation ou d’un fil d’usage, de personnaliser ce qu’il voit.
Quatre implications pour un décideur
C’est ici que la fiche pédagogique devient une fiche de pilotage. Quatre conséquences pratiques découlent directement de la nature pré-entraînée d’une IA générative.
D’abord, on ne corrige pas une erreur factuelle d’un modèle par un signalement direct. Si votre IA confond deux entités juridiques, deux versions d’une norme ou deux taux de TVA, vous ne pouvez pas envoyer un ticket de support pour qu’un correctif soit poussé. Le signalement peut éventuellement être pris en compte dans le pré-entraînement du modèle suivant, mais le modèle actuellement en service reste, lui, parfaitement identique. La seule réponse opérationnelle de court terme est de contourner l’erreur par le contexte (instructions, exemples, vérification en sortie) ou de retenir un autre modèle.
Ensuite, toute évaluation d’un modèle est datée. Un test mené sur la version d’un mois donné ne préjuge pas du comportement de la version suivante. Une formulation qui fonctionnait bien sur GPT-4 peut donner un résultat différent sur GPT-5, parce que tout le modèle a été reconstruit. Cette propriété a des conséquences directes pour les équipes IA, conformité, qualité et audit. Les processus de validation interne, en entreprise comme en formation, doivent être rejoués à chaque montée de version. Une recette de prompt validée par la direction juridique en mars n’est pas mécaniquement valable en septembre.
Troisièmement, la stabilité d’un usage professionnel exige souvent de fixer la version utilisée. Sur leurs interfaces grand public, les éditeurs poussent par défaut la version la plus récente. Mais en environnement professionnel, ce comportement par défaut est risqué : il introduit de la variabilité non maîtrisée dans des processus métier qui exigent de la prévisibilité. Les éditeurs en sont conscients. La documentation officielle d’OpenAI recommande explicitement, pour les usages en production, d’utiliser des « pinned model versions » (snapshots datés du type gpt-4o-2024-08-06) et de mettre en place des batteries d’évaluation pour mesurer l’impact de chaque montée de version.
Concrètement, cela signifie qu’une organisation sérieuse n’utilise pas « ChatGPT » comme on utilise Word, en suivant automatiquement la version la plus récente. Elle épingle un modèle précis pour ses usages critiques, documente ses choix, prévoit des fenêtres de validation à chaque changement, et garde la main sur le calendrier de migration.
Enfin, la cohabitation des versions est une réalité durable, pas une transition. Les éditeurs maintiennent souvent plusieurs modèles en service simultanément, identifiés par des noms qui peuvent prêter à confusion (modèle 4o, modèle 4.1, modèle 5, etc.). Ce ne sont pas des « niveaux » d’un même logiciel. Ce sont des modèles distincts, entraînés séparément, avec leurs propres caractéristiques, leurs propres dates de coupure de connaissances et leurs propres comportements. Choisir un modèle est une décision d’architecture, pas un simple paramètre de configuration.
Conclusion
Le P de ChatGPT renvoie donc à une étape industrielle considérable : l’ingestion massive de textes par un réseau de neurones pour qu’il apprenne, par lui-même, les régularités du langage. Mais le mot « pré-entraîné » n’est pas qu’une indication technique. Il dit aussi quelque chose de fondamental sur la nature du produit : un modèle figé, qu’on ne corrige pas à la pièce, et qui n’évolue qu’en étant remplacé par un autre. Cette différence avec la logique de mise à jour d’un logiciel classique structure l’ensemble de l’économie et de l’usage des IA génératives. Pour un manager, en tirer les conséquences, c’est traiter le choix d’un modèle comme une décision d’architecture, et la montée de version comme un projet à part entière.
Le dernier article de cette série s’attaquera au T de GPT, pour Transformer. Là encore, derrière un mot d’allure technique se cache une rupture conceptuelle majeure, celle qui a rendu possible l’échelle des modèles génératifs contemporains.
Cet article s’appuie sur une idée originale personnelle et a été élaboré avec l’aide d’une IA générative pour la recherche d’information et la structuration du texte ; je conserve la main sur l’analyse, la sélection des contenus et j’assure la relecture finale.
Sources
OpenAI. API Reference – Models. https://developers.openai.com/api/reference/overview
Girardot, S. Mémoire ou mémoires : là est la question. IA en Action. https://iaenaction.fr/memoire-ou-memoires-la-est-la-question/
FAQ
Que signifie « pré-entraîné » dans l’acronyme GPT ?
Cela désigne la phase au cours de laquelle un modèle de langage est exposé à un corpus de textes massif (plusieurs milliers de milliards de tokens) pour apprendre, par lui-même, les régularités statistiques du langage. Cette phase a déjà eu lieu avant que l’utilisateur final n’interagisse avec le modèle. Le qualificatif « pré » renvoie à cette antériorité.
Quelle est la différence entre un modèle pré-entraîné et un modèle post-entraîné ?
Le pré-entraînement produit un modèle de fondation, capable de poursuivre un texte de manière statistiquement cohérente mais pas adapté à l’usage. Le post-entraînement (affinage supervisé, apprentissage par renforcement à partir de retours humains, alignement) rend ce modèle capable de suivre des consignes, de répondre à des questions et de refuser certaines demandes. C’est l’ensemble pré-entraînement plus post-entraînement qui est déployé en production.
Pourquoi ne peut-on pas corriger une erreur factuelle d’une IA générative comme on corrige un bug logiciel ?
Parce que la connaissance d’un modèle n’est pas stockée dans des lignes de code identifiables, mais distribuée à travers des milliards de paramètres numériques. Aucun paramètre ne correspond à un fait précis. Toute tentative de correction ciblée risque d’altérer, par effet de ricochet, des dizaines d’autres comportements imprévus. La seule manière de modifier en profondeur un modèle est de relancer son entraînement.
Que faire en entreprise quand une nouvelle version d’un modèle sort ?
La règle simple : ne pas suivre automatiquement. Une organisation sérieuse épingle une version précise du modèle pour ses usages critiques, prévoit des fenêtres de validation avant migration, et rejoue ses recettes de prompt sur la nouvelle version pour mesurer les écarts. Les éditeurs eux-mêmes recommandent cette pratique, qu’ils appellent « pinned model versions » dans leurs interfaces de programmation.
Pourquoi y a-t-il autant de versions cohabitantes (4o, 4.1, 5, etc.) chez un même éditeur ?
Parce que chaque version est un modèle distinct, entraîné séparément, avec ses propres caractéristiques. Les éditeurs maintiennent plusieurs modèles en service pour répondre à des cas d’usage différents (rapidité, coût, qualité, capacités multimodales) et pour permettre aux entreprises de stabiliser leur usage sur une version donnée. Ce ne sont pas des « niveaux » d’un même produit, mais des produits différents partageant un nom commercial.