Aller au contenu
Univers IA
English

Étape 8 sur 10

D'où vient ce qu'il sait

Qui a appris au modèle à parler comme ça ?

Devine d'abord

Le modèle répond à tes questions poliment, comme un assistant. Qui le lui a appris ?

  • Personne : il l'a trouvé tout seul dans les textes qu'il a lus.
  • Des personnes, qui ont écrit des exemples et noté ses réponses.
  • Un programmeur, qui a écrit à l'avance une réponse pour chaque question.

Voir la réponse

La réponse : Des personnes, qui ont écrit des exemples et noté ses réponses.

Lire des textes apprend au modèle à les continuer, pas à répondre comme un assistant. Pour ça, des personnes ont écrit des exemples de bonnes réponses et comparé les siennes, en très grand nombre.

Ce qui se passe

  1. Avant de répondre à qui que ce soit, le modèle a lu, énormément. Pendant son pré-entraînement, Qwen3-4B a vu passer Tokens de texte lus par les modèles Qwen3, dont Qwen3-4B, pendant leur pré-entraînementTextes en 119 langues et dialectes ; le rapport donne les genres de textes, pas leur provenance une à uneSource : Qwen Team, Qwen3 Technical Report (arXiv 2505.09388) (14 mai 2025)Chiffre lu à sa source, chez l'organisme qui l'a produit..

  2. Son seul exercice : deviner le token suivant, comparer avec le vrai texte, ajuster un peu ses milliards de réglages internes, et recommencer.

  3. Il en sort capable de continuer n'importe quel texte, avec ce que les textes contiennent de vrai, de faux et de préjugés. Il ne se conduit pas encore en assistant.

  4. Ce rôle-là, des personnes le lui apprennent : elles écrivent des exemples de bonnes réponses et comparent des réponses deux à deux. Pour Llama 2, Meta en a acheté Comparaisons de deux réponses, jugées par des annotateurs, recueillies par Meta pour entraîner le modèle de récompense de Llama 2Données de Meta seulement, achetées à des prestataires ; une comparaison, c'est un annotateur qui choisit la meilleure de deux réponsesSource : Touvron et al., Llama 2: Open Foundation and Fine-Tuned Chat Models (arXiv 2307.09288) (18 juillet 2023)Chiffre lu à sa source, chez l'organisme qui l'a produit..

  5. Ce travail est souvent sous-traité. Une enquête du magazine TIME a montré que des annotateurs kényans, qui triaient des textes violents pour OpenAI, touchaient Salaire net horaire des annotateurs kényans de Sama qui triaient des textes violents pour OpenAI, fin 2021Un cas daté, pas le salaire des annotateurs en général ; OpenAI payait 12,50 dollars l'heure à Sama, entre six et neuf fois ce que touchaient les employésSource : TIME, OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic (18 janvier 2023)Chiffre lu dans un compte rendu de presse, pas à sa source..

À retenir

Le modèle a appris des régularités dans une quantité immense de textes. Pour en faire un assistant, des personnes ont écrit des exemples et noté ses réponses : il y a beaucoup de travail humain derrière.

Aller plus loin

Ce que pèse la dernière étape

L'ajustement par des personnes demande peu de calcul comparé au pré-entraînement. Pour InstructGPT, un proche parent de ChatGPT, il a représenté Part du calcul d'entraînement de GPT-3 que demande l'ajustement par retours humains d'InstructGPT (60 contre 3 640 pétaflops/s-jours)Modèle de 175 milliards de paramètres, 2022 ; les préférences venaient d'une équipe de 40 personnes sous contratSource : Ouyang et al., Training language models to follow instructions with human feedback (arXiv 2203.02155) (4 mars 2022)Chiffre lu à sa source, chez l'organisme qui l'a produit. du calcul d'entraînement de GPT-3. Le chiffre date d'une génération de modèles plus ancienne, et aucune source plus récente n'a été trouvée pour ce site.

Et Qwen3-4B ?

Pour ses petits modèles, dont Qwen3-4B, l'équipe de Qwen a fait autrement : ils ont appris en imitant les grands modèles de la famille, eux-mêmes ajustés, entre autres, avec des préférences humaines.

Des textes qui ont des auteurs

Les livres et les articles lus pendant l'entraînement ont été écrits par quelqu'un. Des auteurs ont poursuivi Anthropic en justice pour des livres téléchargés depuis des bibliothèques pirates, et l'entreprise a accepté de payer Règlement de l'action collective d'auteurs contre Anthropic pour des livres téléchargés depuis des bibliothèques piratées, soit environ 3 000 dollars par livre482 460 livres sur la liste ; le règlement indemnise des copies piratées, pas l'entraînement en lui-mêmeSource : U.S. District Court for the Northern District of California, Bartz v. Anthropic, Order on Final Approval (3:24-cv-05417-AMO) (20 juillet 2026)Chiffre lu à sa source, chez l'organisme qui l'a produit.. Le règlement indemnise des copies piratées. Il ne dit pas si entraîner un modèle sur des livres est permis.

Sources