Aller au contenu
Univers IA
English

Étape 2 sur 10

Les tokens

Le modèle ne lit pas tes mots. Que voit-il à la place ?

Devine d'abord

Le modèle découpe la question « Pourquoi les chats ronronnent-ils ? » en morceaux. Combien en voit-il ?

  • Un morceau par mot.
  • Moins de morceaux que de mots : il regroupe.
  • Plus de morceaux que de mots.

Voir la réponse

La réponse : Plus de morceaux que de mots.

Des mots courants comme « les » ou « chats » tiennent en un seul morceau. D'autres sont coupés : « Pourquoi », et plus encore « ronronnent ». Le trait d'union et le point d'interrogation comptent aussi.

Ce qui se passe

  1. Avant tout calcul, ta question est coupée en morceaux, qu'on appelle des tokens. Voici « Pourquoi les chats ronronnent-ils ? » telle que la découpe le modèle Qwen3-4B : Pournuméro 42178quoinuméro 61898 lesnuméro 3541 chatsnuméro 48526 rnuméro 435onnuméro 263ronnuméro 2248nnuméro 77entnuméro 306-numéro 12ilsnuméro 8669 ?numéro 937

  2. Sous chaque morceau, son numéro. C'est sa place dans le vocabulaire du modèle, une liste de morceaux fixée une fois pour toutes, avant même son entraînement.

  3. Le modèle ne verra jamais tes lettres : il ne reçoit que la suite de ces numéros.

  4. Les mots fréquents tiennent en un token. Les mots rares, les noms propres et beaucoup de formes conjuguées sont coupés en plusieurs.

  5. La langue change le compte. La même question demande Compté par le découpeur du modèle ouvert Qwen3-4B, sur la question seule.Question posée : « Pourquoi les chats ronronnent-ils ? »Trace chat.fr. Fiche du modèle en français, et Compté par le découpeur du modèle ouvert Qwen3-4B, sur la question seule.Question posée : "Why do cats purr?"Trace chat.en. Fiche du modèle en anglais : « Why do cats purr? ».

À toi de jouer

Prends l'une des questions et fais-la passer du français à l'anglais : regarde le nombre de tokens changer. Puis essaie avec ta propre phrase, dans la langue que tu veux.

Les tokens en

Pourquoi le ciel est-il bleu ?

10 tokens

  1. Pournuméro 42178
  2. quoinuméro 61898
  3. lenuméro 512
  4. cinuméro 11825
  5. elnuméro 301
  6. estnuméro 1788
  7. -ilnuméro 56275
  8. blenuméro 12422
  9. unuméro 84
  10. ?numéro 937

10 tokens en français, 6 en anglais : le français en demande 67 % de plus.

Sur les quatorze questions préparées (les douze du départ et deux qu'on retrouve plus loin) : 155 tokens en français, 114 en anglais, 36 % de plus en français.

Ta propre phrase

C'est le découpeur de Qwen3-4B : environ 2 Mo à télécharger, 11 Mo une fois ouvert. Rien n'est téléchargé avant ce clic. Il vient de ce site, et ta phrase ne quitte pas ton appareil.

Pour découper ta propre phrase, il faut JavaScript : le découpeur tourne dans ton navigateur.

Découpeur de Qwen3-4B, révision 1cfa9a7, sous licence Apache 2.0. Lire la licence

À retenir

Le modèle ne lit ni des lettres ni des mots, mais des tokens : des morceaux de texte, chacun désigné par un numéro. Une même question en demande souvent plus en français qu'en anglais.

Aller plus loin

Pourquoi le français coûte plus

Un découpeur se fabrique à partir d'un grand échantillon de textes : les suites de lettres qui y reviennent souvent deviennent des tokens entiers. Une langue moins présente dans l'échantillon est coupée plus finement. Plus de tokens, c'est plus de calcul pour la même idée, une réponse plus lente, et moins de texte que le modèle peut lire d'un coup. Pour certaines paires de langues, une étude a mesuré jusqu'à Écart de longueur en tokens entre deux traductions d'un même texte, dans les cas les plus extrêmes mesurésDécoupeurs de modèles de langage courants en 2023, sur un même texte traduit en différentes langues ; les découpeurs pensés pour plusieurs langues gardent des écartsSource : Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425) (20 octobre 2023)Chiffre lu à sa source, chez l'organisme qui l'a produit. plus de tokens pour un même texte traduit.

Un numéro par morceau

Un morceau garde son numéro d'une question à l'autre. Regarde « Pour » dans « Pourquoi le ciel est-il bleu ? » : Pournuméro 42178quoinuméro 61898 lenuméro 512 cinuméro 11825elnuméro 301 estnuméro 1788-ilnuméro 56275 blenuméro 12422unuméro 84 ?numéro 937

La plupart des morceaux commencent par un espace, qui fait partie du token. Un mot en tout début de texte et le même mot au milieu d'une phrase ne portent donc pas forcément le même numéro.

Le modèle de ces exemples

Les découpages, les probabilités et l'attention que montre ce site ont été calculés par Qwen3-4B, un modèle ouvert publié par Alibaba Cloud. Ouvert veut dire que n'importe qui peut le télécharger et regarder ses calculs, ce que ne permettent pas les modèles des grands assistants. ChatGPT, Claude, Gemini ou Le Chat fonctionnent pourtant de la même façon, avec des modèles bien plus grands et des étapes en plus, comme la recherche sur le web.

Ta propre question sert au départ, ici et au retour. Pour les étapes du milieu, Qwen3-4B est trop lourd pour tourner dans le navigateur d'un téléphone : ses calculs ont été faits à l'avance, sur les questions du site.

Sources