Un prompt n'est jamais « fini ». Pour des cas d'usage réels, il faut mesurer sa qualité et l'améliorer par itérations.
1. Définir le succès
Avant d'optimiser, clarifie ce que tu veux :
Exactitude : la réponse est-elle factuelle ?
Format : respecte-t-elle la structure demandée ?
Pertinence : répond-elle à la question ?
Ton/style : correspond-il à la marque ?
Concision : pas de blabla inutile ?
2. Constituer un jeu de tests
Crée un petit dataset de 10 à 50 entrées représentatives :
Cas faciles (golden path)
Cas limites (ambigus, vides, trop longs)
Cas pièges (questions hors-sujet, prompts injection)
Pour chaque entrée, défini la sortie attendue ou les critères de qualité.
3. Comparer plusieurs variantes
Pour améliorer un prompt :
Note la version actuelle (V1).
Crée une variante (V2) avec un changement précis (ex : ajouter un exemple).
Lance les deux sur le jeu de tests.
Compare les sorties (manuellement ou avec un LLM juge).
Garde la meilleure, recommence.
La boucle d'amélioration d'un prompt : consigner la version en place, en créer une variante, lancer les deux sur le jeu de tests, comparer les sorties, garder la meilleure et recommencer
C'est l'A/B testing des prompts.
4. LLM-as-judge
Utiliser un LLM pour noter les sorties d'un autre LLM. Pratique pour scaler l'évaluation.
Prompt juge :
Note cette réponse sur 10 selon : exactitude (4 pts), clarté (3 pts), format (3 pts). Donne aussi un commentaire court.
Limites : un LLM juge peut avoir ses propres biais. Toujours vérifier sur un échantillon humain.
5. Métriques courantes
Accuracy : % de bonnes réponses (pour classification)