Vos prompts sont du code. Pourtant, la plupart des équipes les manipulent sans tests, sans versioning sérieux, sans détection de régression. C’est une dette technique qui finit toujours par exploser. Voici comment tester ses prompts comme on teste du code.
Le problème silencieux
Un modèle est mis à jour par son fournisseur. Votre prompt qui marchait à 95% donne maintenant 87%. Personne ne s’en rend compte avant qu’un client se plaigne. Conséquence : bugs lents, dérive qualitative, et perte de confiance.
L’approche du « golden set »
Constituez une banque de 30 à 100 entrées représentatives pour chaque prompt critique, avec la sortie attendue (ou des critères de validation). Avant chaque déploiement, faites tourner votre prompt sur le golden set et mesurez le score. C’est l’équivalent d’une CI/CD pour les prompts.
Les outils du moment
Langfuse, Helicone, PromptLayer, ou des solutions maison en Python. L’enjeu n’est pas l’outil, c’est la discipline : chaque prompt critique a son golden set et son score documenté.
Les métriques qui comptent
(1) Exactitude sur des cas factuels (réponse correcte ou pas). (2) Format de sortie respecté (JSON valide, schéma cohérent). (3) Latence et coût par requête. (4) Refus appropriés (le modèle refuse quand il doit refuser).
Le ROI
Sur les missions où on a mis en place ce harnais : -60% de bugs détectés en production, et une capacité à expérimenter beaucoup plus librement (« on peut tester ce nouveau prompt sans craindre une régression »). C’est un investissement de 1-2 semaines qui paie en continu.
