Comprendre les différentes mémoires des IA et leurs limites : mémoire à long terme, mémoire contextuelle et recherche web.
Dès que l’on parle de la « mémoire » des IA il faut être précis. Pour bien comprendre le fonctionnement et les limites des intelligences artificielles génératives, il est essentiel de se pencher sur ce concept de « mémoire ». Ou plutôt, leurs mémoires, avec un « s » car ce que l’on désigne communément sous le terme de « mémoire » recouvre en réalité plusieurs types d’informations distinctes, stockées et gérées différemment. À travers cet article, nous allons explorer les différents niveaux de mémoire présents dans des modèles comme ChatGPT, leurs rôles spécifiques, mais aussi leurs limites inhérentes.
La mémoire à long terme : un savoir figé
La mémoire à long terme des intelligences artificielles génératives, comme celle de ChatGPT, est en réalité leur base de connaissances fondamentale, acquise lors de l’entraînement du modèle. Cette mémoire inclut l’ensemble des données sur lesquelles le modèle a été formé jusqu’à une certaine date, en l’occurrence octobre 2023 pour ChatGPT 4.0, et avril 2024 pour Claude 3.5. Mais cette mémoire n’est pas comparable à celle d’un être humain, car elle est statique et ne s’enrichit plus après cette date d’entraînement.
Rôle et limites
Cette base de connaissances permet au modèle de répondre sur une multitude de sujets avec une certaine profondeur, en se basant sur une vectorisation et un apprentissage par renforcement humain. Cependant, une limite majeure réside dans son incapacité à intégrer de nouvelles informations après cette date. Par exemple, un événement survenu après octobre 2023 est totalement absent de la mémoire du modèle, ce qui peut entraîner des réponses obsolètes ou incomplètes si l’utilisateur ne compense pas ce manque par un apport externe d’informations.
La mémoire à moyen terme : l’illusion de la continuité
Depuis peu, des modèles comme ChatGPT proposent une fonction mémoire à moyen terme. Contrairement à la mémoire à long terme, cette mémoire est dynamique et vise à retenir certaines informations entre les sessions. Par exemple, si vous indiquez vos préférences lors d’une première conversation, le modèle peut s’en souvenir lors d’une interaction ultérieure, rendant ainsi les échanges plus personnalisés et continus. L’IA va en gros résumer ce qui semble important lors de vos échanges. Par exemple « L’utilisateur forme des personnes sur l’intelligence artificielle. » ou encore « L’utilisateur travaille chez Absilis. ». Ces mentions sont souvent utiles comme les deux que j’ai cité mais si vous lui posez une question qui change de votre domaine habituel cela n’est pas toujours utile de conserver cette information. L’autre jour je l’ai interrogé sur les chansons des Beatles et la conversation a porté sur « Docteur Robert ». Comme mon focus est l’IA il me semble efficace de supprimer cette mention : « Il a fourni des éléments contextuels supplémentaires sur la chanson “Doctor Robert” des Beatles, qui a été coécrite par John Lennon et est l’une des premières à faire référence explicitement aux drogues, notamment aux amphétamines prescrites par le Dr Robert Freymann. ». Vous l’avez compris, même en restant fan des Beatles, il est utile de nettoyer cette mémoire de temps à autre.
La mémoire à court terme : une fenêtre contextuelle réduite
La mémoire à court terme représente le contexte immédiat de la conversation en cours. C’est la capacité du modèle à retenir ce qui a été dit quelques échanges auparavant, permettant de donner des réponses cohérentes sans que l’utilisateur ait besoin de répéter constamment ses questions ou ses affirmations.
Attention, l’IA ne se souvient pas de tout ! Cette mémoire est limitée par la taille du contexte : généralement entre 4 000 et 8 000 signes. Lorsqu’une conversation devient trop longue, le modèle doit faire un choix et « oublier » certaines informations plus anciennes pour en intégrer de nouvelles. Cela impose aux utilisateurs de reformuler ou de synthétiser régulièrement leurs demandes afin de rester dans la limite de cette mémoire contextuelle. Après la fin de la session, toute cette mémoire est réinitialisée, ce qui signifie que rien n’est conservé pour de futures conversations.
La fonction de recherche web
L’ajout récent d’une fonction de recherche web à des modèles comme ChatGPT a fait pas mal parler d’elle. Elle pourrait être perçu comme une révolution en matière de mémoire et de connaissances, mais en réalité, cela ne modifie pas fondamentalement la donne. Cette fonctionnalité permet simplement de faire appel à des informations actualisées en effectuant une recherche en ligne, mais elle ne s’intègre pas dans la mémoire permanente du modèle.
Concrètement, la fonction de recherche web revient à automatiser ce que l’utilisateur avisé faisait déjà manuellement : chercher une information sur Google, puis la communiquer au modèle via un prompt. L’avantage réside dans la rapidité et la commodité de cette approche, surtout lorsque l’on cherche des données récentes ou précises. Toutefois, cette fonction n’est pas infaillible : si la requête est mal formulée, plusieurs itérations peuvent être nécessaires avant d’obtenir une réponse satisfaisante, ce qui peut être chronophage. De plus, les informations récupérées ne sont pas stockées ; une fois la session terminée, elles disparaissent sans laisser de trace dans la mémoire du modèle.
Pour conclure : des mémoires distinctes et peu de permanence
L’analyse de ces différents types de mémoire révèle une chose claire : les IA génératives comme ChatGPT n’ont pas de mémoire unifiée ni permanente. Leur mémoire est segmentée en blocs distincts, chacun avec ses propres caractéristiques et limitations. La mémoire à long terme fournit une base de connaissances 100% statique, la mémoire à moyen terme permet une continuité relative, et la mémoire à court terme assure la cohérence immédiate des échanges. Quant à la fonction de recherche web, elle enrichit temporairement le contexte, mais ne change rien fondamentalement à l’architecture de ces mémoires.
Ainsi, même si l’illusion de continuité peut parfois exister, elle masque une réalité plus complexe et fragmentée. Comprendre ces distinctions et leurs limites est essentiel pour tirer le meilleur parti des IA génératives tout en étant conscient de leurs contraintes. Ces technologies, en dépit de leurs avancées impressionnantes, sont encore loin de posséder une mémoire semblable à celle d’un humain, capable de s’adapter et de se nourrir continuellement d’expériences nouvelles.
Les réponses aux questions posées dans ce questionnaire sont nécessaires et seront utilisées uniquement pour répondre à votre demande de contact. Les informations recueillies sont destinées exclusivement à la société Absilis (propriétaire du site iaenaction.fr), responsable du traitement de ces données. Conformément au Règlement Général sur la Protection des Données (RGPD), vous disposez des droits d’accès, de rectification, et de suppression des informations qui vous concernent. Vous avez également le droit de retirer votre consentement au traitement de vos données à tout moment, ce qui inclut le droit de demander que nous cessions de vous contacter si vous avez opté pour cette possibilité. Pour exercer ces droits ou pour toute question sur le traitement de vos données, vous pouvez contacter Absilis par email à contact @ absilis.fr. Nous nous engageons à garantir la sécurité et la confidentialité de vos données personnelles. Aucune information n’est publiée, échangée, transférée, cédée ou vendue à des tiers sans votre autorisation explicite. Seule l’hypothèse du rachat d’Absilis et de ses droits autoriserait la transmission de ces informations à l’éventuel acquéreur qui serait également tenu de la même obligation de conservation et de modification des données. Nous vous remercions pour votre confiance.