Aller au contenu
Univers IA
English

Étape 5 sur 10

Le sens des mots

Comment une machine peut-elle savoir que « chat » ressemble à « chien » ?

Devine d'abord

Sur la carte du sens que montre ce site, lequel de ces deux mots est le plus près de « chat » ?

  • « chien », un autre animal de la maison.
  • « cat », le même animal en anglais.

Voir la réponse

La réponse : « cat », le même animal en anglais.

La carte range les mots selon ce qu'ils veulent dire, pas selon leur langue. « chat » et « cat » désignent le même animal : ils tombent presque au même endroit. « chien » est dans le même coin, celui des animaux, mais plus loin.

Ce qui se passe

  1. Un numéro de token ne dit rien du sens. Alors le modèle remplace chaque numéro par une longue liste de nombres : une position dans un espace immense, comme une adresse.

  2. Ces positions s'apprennent. À force de lire, le modèle rapproche les mots qu'on rencontre dans les mêmes genres de phrases.

  3. Cet espace a des centaines de dimensions, impossibles à dessiner. La carte de cette étape vient d'un modèle plus petit que Qwen3-4B, fait pour ranger des textes par sens, et elle aplatit son espace en trois dimensions.

  4. Sur cette carte, « Pourquoi le ciel est-il bleu ? » se pose au milieu de ces mots : Calculé pour ce site par le modèle de plongements multilingual-e5-small, le 7 novembre 2026.Question posée : « Pourquoi le ciel est-il bleu ? »Les six mots de la carte les plus proches de cette question, dans l'espace d'origine du modèle, avant sa mise à plat en trois dimensions.Fiche du modèle.

  5. « blue » est anglais, et pourtant aucun mot de la carte n'est plus près de « bleu » : elle place les mots d'après leur sens.

À toi de jouer

Choisis l'une des questions du site et regarde où elle se pose sur la carte, et quels mots l'entourent. Élargis ensuite à la carte entière : les mots d'un même thème forment des quartiers, en français comme en anglais.

Pourquoi le ciel est-il bleu ?

La carte, à plat

la questioncielskyblueétoilesoleilraincloudvolcanomontagnevolerjoiedaywaterplane

Les six mots les plus proches de la question

  • bleu / blue
  • ciel / sky
  • étoile / traduction : star
  • soleil / traduction : sun

Comptés dans l'espace d'origine du modèle, à 384 dimensions. Les mots voisins sont en gras, à côté de leur traduction.

La carte perd des voisins. Dans l'espace d'origine, la traduction d'un mot fait partie de ses trois plus proches voisins dans 78 % des cas ; sur la carte en trois dimensions, dans 51 % ; sur cette vue à plat, dans 35 %.

Plongements calculés par le modèle Xenova/multilingual-e5-small, révision 761b726, et placés par UMAP.

À retenir

Chaque token devient une longue liste de nombres, une position dans un espace à des centaines de dimensions. Des mots de sens proche s'y retrouvent proches, quelle que soit leur langue.

Aller plus loin

Une carte qui déforme

Aplatir des centaines de dimensions en trois fait perdre des voisins : sur la carte, la traduction d'un mot est moins souvent parmi ses plus proches voisins que dans l'espace d'origine. Le modèle lui-même rapproche parfois des mots qui s'écrivent presque pareil. La question sur Mars a pour voisins Calculé pour ce site par le modèle de plongements multilingual-e5-small, le 7 novembre 2026.Question posée : « Combien de temps faut-il pour aller sur Mars ? »Les six mots de la carte les plus proches de cette question, dans l'espace d'origine du modèle, avant sa mise à plat en trois dimensions.Fiche du modèle : « mer » et « marché » doivent sans doute leur place à leurs lettres plus qu'à leur sens.

Des préjugés rangés avec le reste

Les positions viennent des textes, préjugés compris. Une étude a fait classer des CV identiques, où seul le prénom changeait, par des modèles de plongements du même genre que celui de la carte. Dans Tests où, à CV identique, un prénom associé aux Blancs est classé devant un prénom associé aux NoirsTrois modèles d'embeddings, neuf métiers, plus de 500 CV et 500 offres, plus de trois millions de comparaisons ; l'avantage va aux prénoms associés aux Noirs dans 8,6 % des testsSource : Wilson and Caliskan, Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval (arXiv 2407.20371) (29 juillet 2024)Chiffre lu à sa source, chez l'organisme qui l'a produit., un prénom associé aux Blancs passait devant un prénom associé aux Noirs.

Dans Qwen3-4B

Le modèle des autres étapes fait la même chose, en plus grand : chacun de ses tokens devient une liste de milliers de nombres. Ces positions de départ sont ensuite retravaillées par l'attention, à l'étape suivante (« L'attention »).

Sources