Aller au contenu
Univers IA
English

Étape 7 sur 10

Le mot suivant

Le modèle connaît-il la réponse avant de l'écrire ?

Devine d'abord

Tu poses deux fois exactement la même question à un assistant comme ChatGPT. Que se passe-t-il ?

  • Il répond la même chose, mot pour mot.
  • Sa réponse change souvent un peu.
  • Il répond pareil, sauf si internet a changé entre-temps.

Voir la réponse

La réponse : Sa réponse change souvent un peu.

Aucune réponse n'est rangée quelque part. À chaque token, le modèle calcule les chances de toutes les suites possibles, et l'assistant en tire une au sort en favorisant les plus probables. Deux tirages peuvent partir dans des directions différentes.

Ce qui se passe

  1. Au bout du modèle sort une liste : chaque token possible, avec ses chances d'être le prochain.

  2. Un exemple réel, avec le modèle Qwen3-4B. Il a écrit « Il faut environ 6 à 9 mois pour aller sur Mars en ». Pour la suite, il donne Calculé par le modèle ouvert Qwen3-4B, pour ce site, le 7 novembre 2026.Question posée : « Combien de temps faut-il pour aller sur Mars ? »Probabilité du token « vais » juste après « …aller sur Mars en », à température 1.Trace mars.fr. Fiche du modèle à « vais », le début de « vaisseau », et Calculé par le modèle ouvert Qwen3-4B, pour ce site, le 7 novembre 2026.Question posée : « Combien de temps faut-il pour aller sur Mars ? »Probabilité du token « voiture » juste après « …aller sur Mars en », à température 1.Trace mars.fr. Fiche du modèle à « voiture ». Le mot se glisse bien dans la phrase, même si personne ne va sur Mars en voiture.

  3. Il garde un token, l'ajoute au bout de la phrase, et tout le modèle tourne une nouvelle fois pour trouver le suivant.

  4. Aucune réponse ne l'attendait dans une base de données. Aux États-Unis, Adultes américains qui pensent que l'IA cherche la réponse exacte dans une base de donnéesEnquête Tavern Research pour Searchlight Institute, panels en ligne du 1er au 6 août 2025, 2 301 adultes américains, marge d'erreur de 3 points ; question à quatre réponses proposéesSource : Searchlight Institute, Americans Have Mixed Views of AI and an Appetite for Regulation (16 décembre 2025)Chiffre lu à sa source, chez l'organisme qui l'a produit. des adultes interrogés pensent pourtant le contraire.

  5. Les assistants ne prennent pas toujours le favori : ils tirent au sort parmi les tokens les plus probables. Pose-leur deux fois la même question, la réponse changera souvent.

À toi de jouer

Choisis l'une des questions du site et fais écrire la réponse un token à la fois, en regardant les candidats à chaque pas. Fais ensuite glisser la température : plus elle est basse, plus le favori écrase les autres.

Pourquoi le ciel est-il bleu ?

La réponse, token après token

Rien n'est écrit pour l'instant.

Lire la réponse entière

Le ciel est bleu parce que la lumière du Soleil est dispersée par les molécules de l'air, et la lumière bleue est plus facilement dispersée que les autres

Le curseur change les probabilités, pas la réponse : le modèle l'a écrite en prenant chaque fois le token le plus probable, qui reste en tête à toutes les températures.

Les 20 tokens les plus probables pour le token 1 sur 40

  1. Le> 99,9 %, écrit
  2. -Le< 0,1 %
  3. LE< 0,1 %
  4. Le< 0,1 %
  5. .Le< 0,1 %
  6. Les< 0,1 %
  7. le< 0,1 %
  8. Il< 0,1 %
  9. L< 0,1 %
  10. _le< 0,1 %
Voir les 10 suivants
  1. 因为< 0,1 %
  2. Une< 0,1 %
  3. La< 0,1 %
  4. The< 0,1 %
  5. Because< 0,1 %
  6. Du< 0,1 %
  7. Nous< 0,1 %
  8. Dans< 0,1 %
  9. En< 0,1 %
  10. Pe< 0,1 %

Tous les autres tokens du vocabulaire, ensemble < 0,1 %

Calculé par le modèle ouvert Qwen3-4B, révision 1cfa9a7.

À retenir

Le modèle ne connaît pas sa réponse à l'avance et ne la cherche nulle part. Il calcule les chances de chaque token possible, en choisit un, puis recommence : la réponse s'écrit un token à la fois.

Aller plus loin

Plausible ne veut pas dire vrai

Les chances que calcule le modèle mesurent à quel point une suite ressemble aux textes qu'il a lus pendant son entraînement (voir « D'où vient ce qu'il sait »). Elles ne disent rien de la vérité. Quand une question ressemble à beaucoup de textes, le bon token l'emporte de très loin : après « La capitale de l'Australie est », Qwen3-4B donne Calculé par le modèle ouvert Qwen3-4B, pour ce site, le 7 novembre 2026.Question posée : « Quelle est la capitale de l'Australie ? »Probabilité du token « Canberra » juste après « …l'Australie est », à température 1.Trace australie.fr. Fiche du modèle à « Canberra ». Quand elle ne ressemble à rien de connu, les chances s'étalent, et le modèle écrit quand même (voir « Quand il se trompe »).

La température

Avant le tirage, l'assistant peut creuser ou aplatir les écarts entre les chances : c'est la température. Basse, le favori gagne presque à chaque fois et les réponses se répètent. Haute, les outsiders passent plus souvent, avec plus de variété et plus d'erreurs. Sur ce site, la réponse affichée suit toujours le token le plus probable, le seul chemin que le modèle a calculé : le curseur change les chances à chaque pas, pas la phrase. Pour voir un autre modèle écrire à la température de ton choix, Transformer Explainer fait tourner GPT-2 dans ton navigateur. Le site est en anglais et le modèle se télécharge : mieux vaut être en wifi.

Voit-il plus loin que le token suivant ?

Calculer token par token n'empêche pas de viser plus loin. En observant l'intérieur d'un de leurs modèles, des chercheurs d'Anthropic ont vu qu'avant d'écrire un vers qui doit rimer, il a déjà en tête des mots possibles pour le finir. La phrase n'est pas écrite d'avance pour autant, mais le calcul d'un token peut préparer ceux qui suivent.

Tous ces calculs sont ceux de Qwen3-4B, le modèle ouvert présenté à l'étape « Les tokens ».

Sources