Comment nous testons un modèle avant sa mise en production
Chaque modèle que nous construisons passe les mêmes points de contrôle avant d’atteindre les utilisateurs : qualité de la tâche, ancrage, sûreté, confidentialité, latence, coût et dérive.
- Publication

Sur cette page
Chaque modèle que nous construisons passe les mêmes points de contrôle avant d’atteindre vos utilisateurs. Cette note présente ce que mesure chaque point de contrôle, comment il est mesuré et quand il s’exécute. Les points de contrôle sont présentés sur notre page IA, sous Évaluation.
1. Les points de contrôle
- Qualité de la tâche : réponses correctes sur votre jeu de test, notées sur un jeu étiqueté que vous validez.
- Ancrage : chaque réponse cite vos sources, chaque phrase rattachée à un passage récupéré.
- Sûreté : requêtes dangereuses et hors politique refusées, testées avec des prompts de red team et des suites de jailbreak.
- Confidentialité : aucune donnée personnelle ne sort de son périmètre, avec un masquage testé sur des enregistrements fictifs.
- Latence : assez rapide pour la tâche, avec un temps de réponse mesuré sous charge.
- Coût : abordable à votre volume, modélisé au volume que vous prévoyez.
- Dérive : toujours juste le mois prochain, avec les entrées réelles comparées au jeu de test.
2. Quand ils s’exécutent
- Construire le jeu de test : des exemples étiquetés de votre tâche, validés par vous.
- Fixer les seuils : un pour chaque point de contrôle, convenu avec vous avant le début du travail.
- Exécuter à chaque build : qualité de la tâche, ancrage et confidentialité, à mesure que le code change.
- Exécuter avant la mise en production : sûreté, latence et coût, sur la version candidate.
- Surveiller en production : les entrées réelles comparées au jeu de test, pour détecter la dérive.
3. Ce dont une version candidate a besoin
Une version candidate qui n’atteint pas un seuil attend de l’atteindre. La méthode de chaque point de contrôle est écrite et s’exécute de la même façon à chaque fois. Pour la sûreté, une suite fixe de prompts adverses, complétée par de nouveaux prompts écrits pour votre domaine, s’exécute sur la version candidate. Toute réponse dangereuse bloque la mise en production et figure dans le rapport que vous recevez, qui donne le résultat de chaque point de contrôle pour chaque version candidate.
Recherches associées. D’autres travaux de notre Lab sur IA.
Ce sur quoi travaille le Lab Etheon
Le Lab Etheon étudie ce qui rend un logiciel d’IA sûr à livrer : évaluation, garde-fous, observabilité, mises en production sûres et gouvernance.
Le harnais d’abord
Un harnais d’agent est le logiciel qui entoure un modèle et décide de ce que l’agent peut faire. Nous construisons d’abord le harnais, puis l’agent à l’intérieur.