Aller au contenu
Univers IA
English

Étape 6 sur 10

L'attention

Une souris qui ne bouge plus : l'animal ou l'objet ? Comment le modèle le sait-il ?

Devine d'abord

« Mon ordinateur est allumé, mais la souris ne bouge plus. » Comment le modèle comprend-il de quelle souris il s'agit ?

  • Il cherche « souris » dans un dictionnaire et prend le premier sens.
  • Il regarde les autres mots de la phrase, comme « ordinateur ».
  • Il ne le comprend pas : pour lui, une souris reste un animal.

Voir la réponse

La réponse : Il regarde les autres mots de la phrase, comme « ordinateur ».

En lisant « souris », le modèle se tourne vers les mots déjà écrits et en tire le sens. Ici, « ordinateur » pèse lourd : il s'agit de l'objet.

Ce qui se passe

  1. Prends la phrase « Mon ordinateur est allumé, mais la souris ne bouge plus. » Au départ, « souris » reçoit sa position habituelle, la même pour l'animal et pour l'objet.

  2. Pour trancher, le modèle fait regarder à chaque mot ceux qui le précèdent. Chacun répartit son attention entre eux et mêle ce qu'il y trouve à son propre sens.

  3. Ce regard est l'œuvre de dizaines de « têtes » à la fois, chacune à sa manière, et le modèle empile des dizaines de couches de ce calcul.

  4. Dans Qwen3-4B, une de ces têtes donne Calculé par le modèle ouvert Qwen3-4B, pour ce site, le 7 novembre 2026.Question posée : « Mon ordinateur est allumé, mais la souris ne bouge plus. Que faire ? »Part de son attention qu'une tête du modèle donne à « ordinateur » en lisant « souris ».Couche 5, tête 14, numérotées à partir de 0 : la tête la plus nette du modèle sur cette phrase. Trace ambigue.fr. Fiche du modèle de son attention à « ordinateur » quand elle lit « souris ».

  5. Un mot ne regarde qu'en arrière, vers ce qui est déjà écrit. Ici, « ordinateur » vient avant « souris » : le modèle peut s'en servir.

À toi de jouer

Change de couche et de tête, et regarde à quels mots « souris » donne son attention. Compare une tête seule avec la moyenne de toutes.

Mon ordinateur est allumé, mais la souris ne bouge plus. Que faire ?

On suit « souris » : c'est le seul mot de la phrase dont on a calculé ce qu'il regarde. En gris, les tokens qui viennent après lui : il ne les voit pas.

Couche 6 sur 36, tête 15

« souris » donne 87 % de son attention à « ordinateur ».

Tête d'attention
  1. Mon0,1 %
  2. ord< 0,1 %
  3. inate2,9 %
  4. ur84 %
  5. est0,1 %
  6. all< 0,1 %
  7. um0,1 %
  8. é1,7 %
  9. ,1,0 %
  10. mais< 0,1 %
  11. la< 0,1 %
  12. sour (le mot lui-même)< 0,1 %
  13. is (le mot lui-même)0,9 %

Ailleurs : la consigne et les balises de la conversation 9,1 %

Les têtes qui regardent le plus « ordinateur »

Calculé par le modèle ouvert Qwen3-4B, révision 1cfa9a7.

À retenir

Chaque mot regarde ceux qui le précèdent et s'en sert pour préciser son sens. C'est l'attention : le contexte change ce que veut dire un mot.

Aller plus loin

D'où vient le mot

Des chercheurs de Google ont proposé de bâtir les modèles de langage autour de l'attention, dans un article intitulé Attention Is All You Need. L'architecture qu'ils y décrivent, le transformer, est le T de GPT, et la plupart des grands modèles actuels en descendent.

Une tête nette parmi beaucoup d'autres

La tête montrée ici est la plus nette du modèle sur cette phrase. Dans la plupart des couches de Qwen3-4B, aucune tête ne regarde « ordinateur » aussi franchement. Personne n'a programmé le rôle de chaque tête : il s'est formé pendant l'entraînement, et les chercheurs ne le comprennent qu'en partie.

Voir un modèle entier

La visualisation de Brendan Bycroft déroule en trois dimensions chaque calcul d'un petit modèle, attention comprise. Elle est en anglais.

Sources