Quand je parle du T de GPT, je prends toujours quelques minutes pour rendre hommage à Ashish Vaswani. Je cite son nom. Je montre sa photo si j’en trouve une, car elles sont rares ; ce n’est pas une figure médiatique. Pour les professionnels qui m’écoutent, c’est souvent la première fois qu’ils mettent un visage sur l’une des inventions techniques les plus déterminantes des dix dernières années. Cela les aide à matérialiser l’idée : derrière les milliards de dollars d’investissement et les colosses de la Silicon Valley, il y a un chercheur, une équipe, un article scientifique.
C’est important pour une raison plus profonde. Non, OpenAI n’a pas tout inventé d’un coup en novembre 2022. ChatGPT s’inscrit dans une longue chaîne de recherches. Elle débute dès les années 1950, comme je l’évoquais dans le troisième article de cette série. Elle se poursuit avec les réseaux récurrents des années 1980-1990, puis avec l’apprentissage profond appliqué à la reconnaissance dans les années 2010, et enfin avec le Transformer en 2017. Le T est précisément le maillon final, la petite touche technique qui manquait et qui a tout débloqué.
L’article qui a tout changé
En juin 2017, huit chercheurs publient un article intitulé Attention Is All You Need. Le premier auteur est Ashish Vaswani, alors chez Google Brain. Les sept co-auteurs sont Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser et Illia Polosukhin. Tous travaillent à l’époque chez Google.
L’article est court, quinze pages, technique, presque austère. Il passe relativement inaperçu hors de la communauté spécialisée pendant plusieurs mois. Il propose une nouvelle architecture de réseau de neurones, baptisée « Transformer », destinée à la traduction automatique. Le titre, presque provocateur, résume la thèse des auteurs : il suffit d’un mécanisme d’attention, sans les composantes récurrentes utilisées jusqu’alors, pour obtenir d’excellents résultats. Attention is all you need.
Cet article est devenu, en quelques années, l’une des publications scientifiques les plus citées du domaine. La quasi-totalité des grands modèles de langage actuels descendent directement de cette architecture.
Anecdote significative : aucun des huit auteurs ne travaille plus chez Google aujourd’hui. Tous ont quitté l’entreprise pour fonder ou rejoindre des structures devenues centrales dans l’écosystème de l’IA (Cohere, Character.AI, OpenAI, ou d’autres jeunes pousses). Une publication scientifique a, à elle seule, redessiné une partie de la carte économique du secteur.
Ce qu’apporte l’attention
Pour mesurer la portée du Transformer, il faut comprendre ce qu’il remplace. Jusqu’en 2017, l’architecture dominante pour traiter du texte était celle des réseaux de neurones récurrents (RNN). Leur principe : traiter une phrase mot par mot, dans l’ordre, en maintenant un état interne qui résume ce qui a été lu jusque-là. Ces architectures avaient deux défauts structurels. D’abord, un traitement strictement séquentiel : pour traiter le mot 500, il faut avoir traité les 499 précédents, ce qui empêche la parallélisation sur les processeurs graphiques modernes. Ensuite, une mémoire qui se dilue sur les longues séquences : faire dialoguer le premier mot d’un texte avec le millième devient difficile.
Le Transformer renverse l’approche. Au lieu de traiter la séquence mot après mot, il regarde tous les mots en même temps et calcule, pour chaque mot, quels autres mots du texte sont les plus pertinents pour le comprendre. Ce mécanisme s’appelle l’attention.
Un exemple que j’utilise souvent en formation : pour interpréter le mot « avocat » dans une phrase, le modèle examine l’ensemble du contexte. Si la phrase mentionne ailleurs « tribunal », « plaidoirie » ou « audience », il accorde davantage de poids à ces mots et oriente son interprétation vers le métier du droit. Si la phrase évoque « salade », « mûr » ou « noyau », il s’oriente vers le fruit. L’attention est précisément le calcul qui détermine, pour chaque mot, quels autres mots du texte doivent peser davantage dans son interprétation.
Trois conséquences techniques en découlent. La parallélisation devient possible : le temps d’entraînement chute massivement. La portée longue est gérée nativement : les dépendances à longue distance, talon d’Achille des RNN, deviennent un point fort. Et l’architecture se prête remarquablement bien à l’augmentation de taille. Plus on augmente le nombre de paramètres et la quantité de données d’entraînement, plus les performances progressent, dans des proportions qui ne s’observaient pas avec les architectures précédentes.
Un modèle modeste, devenu point de bascule
Voici un chiffre qui frappe toujours les participants en formation, et qui mérite d’être rappelé. Le Transformer original de 2017, dans sa version de base, a été entraîné en seulement douze heures sur huit GPU Nvidia P100. La version « big », celle qui a établi un nouvel état de l’art sur la traduction anglais-français, a été entraînée en trois jours et demi sur huit GPU. Les auteurs eux-mêmes soulignent qu’il s’agit d’« une petite fraction du coût d’entraînement des modèles précédents ». L’article complet sur la conception du Transformer tient sur quinze pages, et son entraînement initial a probablement coûté quelques milliers de dollars.
Comparons. Sam Altman, fondateur d’OpenAI, a déclaré publiquement, lors d’un événement rapporté par Wired, que GPT-4 a coûté « plus de cent millions de dollars » à entraîner.
Cinq ordres de grandeur séparent l’expérimentation de 2017 des frontier models actuels. Le Transformer original n’était pas un colosse industriel. C’était un papier de recherche, une démonstration de faisabilité, le travail d’une équipe restreinte avec un budget de calcul que de nombreux laboratoires universitaires pourraient se permettre aujourd’hui. C’est précisément ce contraste qui rend cette histoire intéressante pour un décideur. La rupture n’est pas venue d’une dépense titanesque. Elle est venue d’une idée architecturale précise, expérimentée à petite échelle, puis montée en puissance par d’autres acteurs ayant la capacité industrielle d’investir massivement.
Pourquoi ce point compte pour un dirigeant
L’histoire du T de GPT remet à sa place le récit dominant sur l’IA générative.
Premièrement, l’IA générative n’est pas une révolution de novembre 2022. C’est l’aboutissement d’une longue chaîne de recherches, dont le grand public ne voit que la dernière étape. Comprendre cette chaîne aide à ne pas surestimer le rôle d’un éditeur particulier, ni à sous-estimer la fragilité d’un avantage compétitif fondé uniquement sur l’usage d’un modèle commercial du moment.
Deuxièmement, les ruptures techniques ne viennent pas toujours d’où on les attend. Le Transformer est né dans une équipe de recherche, sur un budget de calcul modeste, dans le cadre d’un travail sur la traduction automatique. Les acteurs qui ont ensuite déployé l’architecture à grande échelle ne sont pas ceux qui l’ont inventée. Cette dissociation entre l’invention et l’exploitation industrielle est une constante de l’histoire des techniques. Elle invite à une certaine humilité dans les paris stratégiques sur les acteurs de demain.
Troisièmement, et c’est peut-être le plus important, ce qui rend une rupture possible est rarement la dépense, c’est l’idée. Les milliards investis aujourd’hui dans l’IA générative ne créent pas la prochaine architecture ; ils exploitent l’architecture existante. La prochaine rupture, quand elle viendra, naîtra probablement à nouveau d’un article de quinze pages. Une équipe de quelques chercheurs, sur des budgets de calcul qui paraîtront ridicules au regard de ceux mobilisés aujourd’hui.
Conclusion
Le T de ChatGPT renvoie donc à une rupture architecturale précise, documentée dans un article de quinze pages publié en 2017 par Ashish Vaswani et ses sept co-auteurs. Le Transformer remplace une logique de lecture séquentielle par un mécanisme d’attention qui regarde toute la séquence en parallèle. Cette idée, en apparence technique, a libéré les modèles des limites des architectures précédentes et s’est prêtée à des montées en échelle sans précédent. Combinée à la disponibilité de corpus massifs et de capacités de calcul considérables, elle a donné naissance aux grands modèles de langage actuels.
Avec cet article, la série sur les noms et les acronymes de l’IA générative s’achève. Nous avons traversé l’histoire de l’information avec Claude Shannon, l’évaluation statistique des modèles avec Perplexity, et les trois lettres du sigle GPT qui structurent l’imaginaire collectif sans être réellement comprises. J’espère que ce parcours aura aidé les managers et les responsables qui me lisent à dépasser la fascination pour l’interface et à regarder ce qu’il y a derrière. C’est là, et seulement là, que se construit une trajectoire IA mature en entreprise.
Cet article s’appuie sur une idée originale personnelle et a été élaboré avec l’aide d’une IA générative pour la recherche d’information et la structuration du texte ; je conserve la main sur l’analyse, la sélection des contenus et j’assure la relecture finale.
Sources
Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762. https://arxiv.org/abs/1706.03762
Wired. OpenAI’s CEO Says the Age of Giant AI Models Is Already Over. https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/
FAQ
Que signifie le T de l’acronyme GPT ?
Il signifie Transformer, du nom d’une architecture de réseau de neurones introduite en juin 2017 par Ashish Vaswani et sept co-auteurs dans un article intitulé Attention Is All You Need. Cette architecture remplace la lecture séquentielle des modèles précédents (RNN, LSTM) par un mécanisme d’attention qui traite tous les mots d’un texte en parallèle.
Qui sont les inventeurs du Transformer ?
L’article original est signé par huit chercheurs travaillant à l’époque chez Google : Ashish Vaswani (premier auteur), Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser et Illia Polosukhin. Aucun d’eux ne travaille plus chez Google aujourd’hui ; tous ont fondé ou rejoint des structures devenues centrales dans l’écosystème de l’IA.
Combien a coûté l’entraînement du Transformer original ?
Le Transformer base décrit dans l’article original a été entraîné en douze heures sur huit GPU Nvidia P100. La version big a été entraînée en trois jours et demi sur la même configuration. Le coût d’entraînement est de l’ordre de quelques milliers de dollars. À titre de comparaison, Sam Altman a indiqué que l’entraînement de GPT-4 a coûté plus de cent millions de dollars.
Quelle est la différence entre un Transformer et un grand modèle de langage ?
Le Transformer est une architecture de réseau de neurones, c’est-à-dire une manière d’organiser les calculs. Un grand modèle de langage (LLM) comme GPT-4, Claude ou Gemini est un modèle particulier construit sur cette architecture, entraîné sur d’énormes corpus de texte pour produire du langage. Tous les LLM commerciaux actuels reposent sur des variantes du Transformer.
Pourquoi l’IA générative n’a-t-elle pas explosé dès 2017 ?
Parce que l’invention d’une architecture ne suffit pas. Il a fallu cinq années supplémentaires pour : (1) augmenter massivement la taille des modèles et des corpus, (2) découvrir empiriquement que la qualité progresse remarquablement bien avec l’échelle, (3) raffiner les modèles par apprentissage à partir de retours humains, (4) les habiller d’une interface conversationnelle accessible au grand public. Le Transformer est la condition nécessaire de cette chaîne, mais il n’en est pas la condition suffisante.