Derrière le T de ChatGPT – Vaswani, l’attention, et la petite touche qui manquait
Le T de ChatGPT renvoie à une rupture architecturale précise, documentée dans un article de quinze pages publié en juin 2017 par Ashish Vaswani et sept co-auteurs chez Google. Le Transformer original a été entraîné en douze heures sur huit GPU. GPT-4, dix ans plus tard, a coûté plus de cent millions de dollars. Cinq ordres de grandeur séparent l’invention de son exploitation industrielle. Cinquième et dernier article d’une série de cinq sur les noms et acronymes de l’IA générative.