Token

Un token est un petit morceau de texte que les modèles d'intelligence artificielle découpent pour comprendre et générer du langage. Ce n'est pas toujours un mot entier : par exemple, le mot "intelligence" peut être divisé en deux tokens comme "intel" et "ligence". Cette méthode permet à l'IA de traiter des textes de manière plus flexible, même avec des mots complexes ou des langues différentes.

Pourquoi c'est important ? Parce que les outils d'IA ont souvent une limite de tokens qu'ils peuvent traiter en une seule fois. Si vous envoyez un texte trop long, il faudra peut-être le découper en plusieurs parties. Cela influence aussi le coût d'utilisation de certains outils, car plus un texte contient de tokens, plus le traitement peut être coûteux.

Par exemple, si vous demandez à une IA de résumer un article de 1 000 mots, elle comptera d'abord le nombre de tokens pour s'assurer que le texte rentre dans sa limite. Si c'est trop long, elle pourrait vous proposer de traiter l'article en plusieurs étapes.