Les LLMs : grands modèles de langage

Un LLM (Large Language Model) est un modèle d'IA générative spécialisé dans le texte. Ex : GPT-4, Claude, Gemini, Llama.

1. Le principe : prédire le prochain token

Un LLM prédit le mot (token) suivant d'une phrase, à partir de tout ce qui précède.

Ex : entrée « Le chat dort sur le » → le modèle prédit « tapis », « canapé », « lit »… avec des probabilités.

En enchaînant ces prédictions, le modèle génère un texte cohérent.

2. Tokenisation

Le texte est découpé en tokens : pas exactement des mots, plutôt des sous-mots. Ex : « Bonjour tout le monde » ≈ 5-6 tokens (selon le modèle).

1000 tokens ≈ 750 mots en anglais, un peu moins en français.

3. L'architecture Transformer (2017)

Les LLMs modernes utilisent l'architecture Transformer, basée sur le mécanisme d'attention : le modèle évalue quels mots de l'entrée sont importants pour prédire la suite.

Papier fondateur : Attention Is All You Need (Vaswani et al., 2017).

4. Entraînement en 3 étapes

1. Pré-entraînement : sur des téraoctets de texte (Wikipédia, web, livres). Le modèle apprend les structures du langage.
2. Fine-tuning supervisé (SFT) : on lui apprend à répondre à des instructions à partir d'exemples humains.
3. RLHF (apprentissage par renforcement à partir du feedback humain) : alignement sur les préférences humaines.

5. Notions à connaître

• Contexte (context window) : nombre max de tokens que le modèle peut « voir » en une fois (de 8k à 1M+ tokens selon les modèles).
• Température : contrôle la créativité (0 = déterministe, 1 = créatif).
• Hallucination : quand le modèle invente avec aplomb. C'est un risque inhérent.
• Knowledge cutoff : date jusqu'à laquelle le modèle a été entraîné (il ne « sait » rien après).

6. Forces et limites

Forts pour : rédaction, résumé, traduction, brainstorming, code simple, explications.

Limites : maths complexes, faits récents, calculs précis, raisonnement multi-étapes long, vérification factuelle.