Aller au contenu
Univers IA
English

Étape 9 sur 10

Quand il se trompe

Si tu l'interroges sur une personne qui n'existe pas, que va-t-il répondre ?

Devine d'abord

Aucune recherche ne trouve trace d'une Hélène Varnoux : elle n'existe pas. Tu demandes au modèle qui elle est. Que répond-il ?

  • Qu'il ne connaît personne de ce nom.
  • Une courte biographie, sur un ton parfaitement sûr.
  • Il refuse de parler d'une personne qu'il ne connaît pas.

Voir la réponse

La réponse : Une courte biographie, sur un ton parfaitement sûr.

Le modèle ne vérifie rien : il écrit la suite la plus plausible. Une question « Qui est… » appelle une biographie, alors il en écrit une, sans le moindre signe de doute dans le ton.

Ce qui se passe

  1. Voici la réponse réelle de Qwen3-4B : « Hélène Varnoux est une chanteuse française connue pour ses chansons populaires et son style mélangeant rock et pop. »

  2. Tout est inventé, et rien dans le ton ne le signale.

  3. Le calcul, lui, hésitait. Après « Hélène Varnoux est une », aucun début de mot ne dominait : « ch » avait Calculé par le modèle ouvert Qwen3-4B, pour ce site, le 7 novembre 2026.Question posée : « Qui est Hélène Varnoux ? »Probabilité du token « ch » juste après « …Varnoux est une », à température 1.Trace inventee.fr. Fiche du modèle, « act » Calculé par le modèle ouvert Qwen3-4B, pour ce site, le 7 novembre 2026.Question posée : « Qui est Hélène Varnoux ? »Probabilité du token « act » juste après « …Varnoux est une », à température 1.Trace inventee.fr. Fiche du modèle, « histor » Calculé par le modèle ouvert Qwen3-4B, pour ce site, le 7 novembre 2026.Question posée : « Qui est Hélène Varnoux ? »Probabilité du token « histor » juste après « …Varnoux est une », à température 1.Trace inventee.fr. Fiche du modèle.

  4. Le modèle a pris le plus probable et continué. Une fois « chanteuse » écrit, la suite s'enchaîne : « française » arrive avec Calculé par le modèle ouvert Qwen3-4B, pour ce site, le 7 novembre 2026.Question posée : « Qui est Hélène Varnoux ? »Probabilité du token « française » juste après « …Varnoux est une chanteuse », à température 1.Trace inventee.fr. Fiche du modèle.

  5. En anglais, la même question fait naître une autre personne : « a French politician who has served as a member of the European Parliament ».

  6. Avec un résultat de recherche qui ne trouve personne, simulé pour ce site, la réponse change : « Hélène Varnoux n'apparaît pas dans les résultats de recherche connus ».

À toi de jouer

Lis ce que le modèle répond sur Hélène Varnoux, puis passe à la version où un outil de recherche ne trouve personne de ce nom. Compare les deux réponses, et cherche le token sur lequel il doute quand la biographie démarre.

Qui est Hélène Varnoux ?

La réponse

Sans outil : Sa réponse

Hélène Varnoux est une chanteuse française connue pour ses chansons populaires et son style mélangeant rock et pop. fin

Plus un token est surligné, plus le modèle était sûr de lui en l'écrivant.

Pour 23 tokens sur 33, le modèle donnait plus de 90 % au token qu'il a écrit.

Là où il hésite le plus : « ch », dans « chanteuse », à 22 %. Les autres candidats à ce moment : « act » 13 %, « histor » 9,6 %, « réalis » 7,1 %, « artist » 6,3 %, « aute » 5,9 %.

L'assurance token par token
  1. H > 99,9 %
  2. él > 99,9 %
  3. ène > 99,9 %
  4. V > 99,9 %
  5. arn > 99,9 %
  6. oux > 99,9 %
  7. est > 99,9 %
  8. une 99,7 %
  9. ch 22 %
  10. ante > 99,9 %
  11. use > 99,9 %
  12. française 82 %
  13. conn 86 %
  14. ue > 99,9 %
  15. pour > 99,9 %
  16. ses 91 %
  17. ch 75 %
  18. ans > 99,9 %
  19. ons > 99,9 %
  20. popul 92 %
  21. aires > 99,9 %
  22. et 78 %
  23. son 60 %
  24. style 90 %
  25. m 65 %
  26. él > 99,9 %
  27. ange 38 %
  28. ant > 99,9 %
  29. rock 50 %
  30. et 99,8 %
  31. pop 75 %
  32. . > 99,9 %
  33. fin > 99,9 %

Avec un outil de recherche : Résultat de l'outil, simulé pour ce site

Résultats de la recherche « Hélène Varnoux » : aucun résultat. Aucune page, aucun article et aucune base de données ne mentionne une personne de ce nom.

Nous avons écrit cet extrait pour le site et l'avons placé avant la question, là où un outil de recherche mettrait ses résultats.

Sa réponse

Hélène Varnoux n'apparaît pas dans les résultats de recherche connus, ce qui suggère qu'elle n'est pas une personnalité publique ou connue dans les (coupée à 40 tokens)

Pour 30 tokens sur 40, le modèle donnait plus de 90 % au token qu'il a écrit.

Là où il hésite le plus : « conn », dans « connue », à 49 %. Les autres candidats à ce moment : « elle » 12 %, « bien » 11 %, « scient » 7,4 %, « univers » 3,1 %, « qu » 2,3 %.

L'assurance token par token
  1. H 99 %
  2. él > 99,9 %
  3. ène > 99,9 %
  4. V > 99,9 %
  5. arn > 99,9 %
  6. oux > 99,9 %
  7. n 99,6 %
  8. 'app 55 %
  9. ara 63 %
  10. ît > 99,9 %
  11. pas > 99,9 %
  12. dans > 99,9 %
  13. les > 99,9 %
  14. résultats 53 %
  15. de 99,8 %
  16. recherche 99,7 %
  17. conn 52 %
  18. us > 99,9 %
  19. , > 99,9 %
  20. ce 84 %
  21. qui > 99,9 %
  22. s 99,9 %
  23. ugg > 99,9 %
  24. ère > 99,9 %
  25. qu > 99,9 %
  26. 'elle 99,9 %
  27. n 75 %
  28. 'est 99,6 %
  29. pas 98 %
  30. une 99,6 %
  31. person 61 %
  32. nal > 99,9 %
  33. ité > 99,9 %
  34. pub 78 %
  35. lique 98 %
  36. ou 96 %
  37. conn 49 %
  38. ue > 99,9 %
  39. dans 61 %
  40. les > 99,9 %

La même question, en anglais

Who is Hélène Varnoux?

Hélène Varnoux is a French politician who has served as a member of the European Parliament. fin

Pour 16 tokens sur 22, le modèle donnait plus de 90 % au token qu'il a écrit.

Là où il hésite le plus : « politician », à 19 %. Les autres candidats à ce moment : « mathematic » 10 %, « actress » 7,9 %, « writer » 7,5 %, « singer » 6,0 %, « artist » 5,2 %.

Calculé par le modèle ouvert Qwen3-4B, révision 1cfa9a7.

À retenir

Le modèle écrit ce qui est plausible, pas ce qui est vrai. Il peut se tromper sur le même ton que lorsqu'il a raison : ce qui compte se vérifie à la source.

Aller plus loin

Pourquoi il invente

Des chercheurs d'OpenAI l'expliquent par la façon dont on entraîne et dont on note les modèles. Comme un élève devant une question difficile, le modèle devine plutôt que d'avouer qu'il ne sait pas, parce que la plupart des tests récompensent une réponse tentée plus qu'un « je ne sais pas ». Ils proposent de changer la notation des tests les plus suivis. D'après eux, les modèles les plus récents inventent encore.

La recherche ne règle pas tout

Avec le résultat de recherche, Qwen3-4B ne dit pas qu'Hélène Varnoux n'existe pas : il en conclut qu'elle n'est sans doute pas une personnalité connue. Il a tenu compte du texte qu'on lui a donné, et il l'a interprété. Ce résultat-là, nous l'avons écrit nous-mêmes. Un assistant qui cherche sur le web s'appuie sur de vraies pages, qui peuvent elles aussi se tromper.

Vérifier

Quand une réponse compte, pour ta santé ou pour un devoir, va voir la source : la page de l'organisme concerné, un article daté, un livre.

Sources