Token
En Anglais : Jeton
En traitement du langage naturel (NLP), les tokens sont les unités de base pour le traitement de texte. Un texte est divisé en tokens, qui peuvent être des mots, des caractères ou des sous-unités de mots, pour faciliter l’analyse et le traitement linguistique.