{"id":715,"date":"2025-06-26T09:38:22","date_gmt":"2025-06-26T07:38:22","guid":{"rendered":"https:\/\/www.claravista.ai\/blog\/?p=715"},"modified":"2025-06-26T09:38:24","modified_gmt":"2025-06-26T07:38:24","slug":"comment-les-llms-ont-appris-a-parler","status":"publish","type":"post","link":"https:\/\/www.claravista.ai\/blog\/2025\/06\/26\/comment-les-llms-ont-appris-a-parler\/","title":{"rendered":"Comment les LLMs ont appris \u00e0 parler"},"content":{"rendered":"
\n

Ahmed-Amine HOMMAN, PhD, Research Project Manager<\/em><\/p>\n\n\n\n

En quelques ann\u00e9es \u00e0 peine (depuis 2022 et la sortie de ChatGPT), les grands mod\u00e8les de langage (Large Language Models<\/em>, LLMs, en anglais) sont pass\u00e9s du statut de curiosit\u00e9 technique \u00e0 celui de compagnons de discussion au quotidien. Mais que se cache-t-il derri\u00e8re ces agents capables de dialoguer avec coh\u00e9rence, humour ou pr\u00e9cision ? Comment une simple machine, \u00e0 l\u2019origine con\u00e7ue pour compl\u00e9ter du texte, en est-elle venue \u00e0 mener des conversations, raisonner \u00e9tape par \u00e9tape, ou m\u00eame interagir avec des outils ?<\/p>\n\n\n\n

Dans notre pr\u00e9c\u00e9dent article<\/a>, nous avons pos\u00e9 les bases de l\u2019intelligence artificielle dite g\u00e9n\u00e9rative, en explorant les trois grandes familles de mod\u00e8les qui la composent : les grands mod\u00e8les de langage (Large Language Models<\/em> ou LLMs), capables de produire du texte ; les diffuseurs, qui g\u00e9n\u00e8rent des images ou des vid\u00e9os ; et les encodeurs, qui transforment du texte ou des images en repr\u00e9sentations vectorielles. Nous avons \u00e9galement mis en lumi\u00e8re l\u2019architecture Transformer, pr\u00e9sent\u00e9e en 2017 dans l\u2019article fondateur Attention Is All You Need<\/a>, qui constitue le socle commun de ces mod\u00e8les. Cette architecture, en rempla\u00e7ant les m\u00e9canismes s\u00e9quentiels par une approche bas\u00e9e uniquement sur l\u2019attention, a permis des avanc\u00e9es majeures en termes de performance et de parall\u00e9lisation, ouvrant la voie aux d\u00e9veloppements actuels de l\u2019IA g\u00e9n\u00e9rative.<\/p>\n\n\n\n

Dans cet article, nous allons nous concentrer sur le premier type de mod\u00e8le, les LLMs, et allons remonter \u00e0 la source. Vous d\u00e9couvrirez comment fonctionnent les LLMs, depuis leur apprentissage fondamental jusqu\u2019aux raffinements qui les transforment en v\u00e9ritables agents conversationnels.<\/p>\n\n\n\n

Port\u00e9e de cet article<\/strong> : dans cet article, nous allons adopter une d\u00e9marche de vulgarisation : l\u2019objectif est de fournir une intuition claire du fonctionnement des LLMs, sans entrer dans tous les d\u00e9tails math\u00e9matiques ou techniques. Certaines explications seront donc volontairement simplifi\u00e9es, et ne couvriront pas les nombreuses optimisations ou variantes propres \u00e0 chaque mod\u00e8le. Il ne s\u2019agit pas d\u2019un cours d\u2019algorithmique, mais d\u2019un aper\u00e7u g\u00e9n\u00e9ral fid\u00e8le \u00e0 l\u2019esprit de ces technologies, et accessible sans bagage technique avanc\u00e9.<\/p>\n\n\n\n

Comment fonctionne un LLM<\/h2>\n\n\n\n

Avant de parler d'agents intelligents ou de capacit\u00e9s conversationnelles, il faut revenir \u00e0 l\u2019essentiel : ce que sait faire un LLM, fondamentalement. \u00c0 la base, ces mod\u00e8les ne font qu\u2019une chose \u2013 mais ils le font remarquablement bien : compl\u00e9ter du texte.<\/p>\n\n\n\n

Dans cette section, nous allons explorer ce m\u00e9canisme de compl\u00e9tion, voir comment il est rendu possible par la repr\u00e9sentation du langage en tokens, et comprendre comment un mod\u00e8le apprend \u00e0 pr\u00e9dire ce qui vient ensuite. C\u2019est ce socle, apparemment simple, qui permet ensuite tous les raffinements que nous verrons plus tard.<\/p>\n\n\n\n

La base : l'auto-compl\u00e9tion<\/h3>\n\n\n\n

Au c\u0153ur du fonctionnement des LLMs r\u00e9side un m\u00e9canisme fondamental : la pr\u00e9diction du token suivant. Imaginez le token comme la plus petite brique de langage que le mod\u00e8le manipule. Il peut s'agir d'un mot complet, d'un fragment de mot, voire d'un simple caract\u00e8re (nous plongerons plus en d\u00e9tail dans cette notion cruciale un peu plus loin). Pour simplifier notre approche dans un premier temps, et pour des besoins de clart\u00e9, consid\u00e9rons que ces tokens correspondent aux mots de notre vocabulaire usuel. Sous cette hypoth\u00e8se, on peut donc voir les LLMs comme de performants outils d'auto-compl\u00e9tion, dont la t\u00e2che principale est d'anticiper le mot qui suit dans une s\u00e9quence textuelle donn\u00e9e.<\/p>\n\n\n\n

Prenons un exemple concret : si l\u2019on fournit au mod\u00e8le le d\u00e9but de texte \u00ab Toc Toc. \u00bb, il y a fort \u00e0 parier qu\u2019il proposera \u00ab Qui \u00bb avec une tr\u00e8s forte probabilit\u00e9. En effet, cette amorce est typique d\u2019une blague bien connue, et le mod\u00e8le aura appris cette association durant son entra\u00eenement. En revanche, un mot comme \u00ab r\u00e9frig\u00e9rateur \u00bb aura une probabilit\u00e9 bien plus faible, car il n\u2019a aucun lien logique avec le contexte.<\/p>\n\n\n\n

Pour g\u00e9n\u00e9rer du texte, il suffit de suivre cette logique :<\/p>\n\n\n\n