Comment nous testons un modèle avant sa mise en production
Chaque modèle que nous construisons passe les mêmes points de contrôle avant d’atteindre les utilisateurs : qualité de la tâche, ancrage, sûreté, confidentialité, latence, coût et dérive.
- Publication

Sur cette page
Chaque modèle que nous construisons passe les mêmes points de contrôle avant d’atteindre vos utilisateurs. Cette note présente ce que mesure chaque point de contrôle, comment il est mesuré et quand il s’exécute. Les points de contrôle sont présentés sur notre page IA, sous Évaluation.
1. Les points de contrôle
- Qualité de la tâche : réponses correctes sur votre jeu de test, notées sur un jeu étiqueté que vous validez.
- Ancrage : chaque réponse cite vos sources, chaque phrase rattachée à un passage récupéré.
- Sûreté : requêtes dangereuses et hors politique refusées, testées avec des prompts de red team et des suites de jailbreak.
- Confidentialité : aucune donnée personnelle ne sort de son périmètre, avec un masquage testé sur des enregistrements fictifs.
- Latence : assez rapide pour la tâche, avec un temps de réponse mesuré sous charge.
- Coût : abordable à votre volume, modélisé au volume que vous prévoyez.
- Dérive : toujours juste le mois prochain, avec les entrées réelles comparées au jeu de test.
2. Quand ils s’exécutent
- Construire le jeu de test : des exemples étiquetés de votre tâche, validés par vous.
- Fixer les seuils : un pour chaque point de contrôle, convenu avec vous avant le début du travail.
- Exécuter à chaque build : qualité de la tâche, ancrage et confidentialité, à mesure que le code change.
- Exécuter avant la mise en production : sûreté, latence et coût, sur la version candidate.
- Surveiller en production : les entrées réelles comparées au jeu de test, pour détecter la dérive.
3. Ce dont une version candidate a besoin
Une version candidate qui n’atteint pas un seuil attend de l’atteindre. La méthode de chaque point de contrôle est écrite et s’exécute de la même façon à chaque fois. Pour la sûreté, une suite fixe de prompts adverses, complétée par de nouveaux prompts écrits pour votre domaine, s’exécute sur la version candidate. Toute réponse dangereuse bloque la mise en production et figure dans le rapport que vous recevez, qui donne le résultat de chaque point de contrôle pour chaque version candidate.
Recherches associées. D’autres travaux de notre Lab sur IA.
Comment nous construisons un agent IA, en cinq étapes
Un agent est un logiciel qui agit dans vos systèmes. Nous le construisons en cinq étapes, dans des limites placées en dehors du modèle, avec une personne là où cela compte.
Quel modèle d’IA utiliser ?
Celui qui fait le mieux votre tâche, à un coût que vous pouvez assumer. Nous notons les modèles candidats sur votre jeu d’évaluation et choisissons selon la qualité, le coût et le temps de réponse.
Ce sur quoi travaille le Lab Etheon
Le Lab Etheon étudie ce qui rend un logiciel d’IA sûr à livrer : évaluation, garde-fous, observabilité, mises en production sûres et gouvernance.