Aller au contenu

Publication · · 2 min de lecture

Comment nous testons un modèle avant sa mise en production

Chaque modèle que nous construisons passe les mêmes points de contrôle avant d’atteindre les utilisateurs : qualité de la tâche, ancrage, sûreté, confidentialité, latence, coût et dérive.

Par Etheon · Etheon Lab

Type
Publication
Publié
Sur cette page

Chaque modèle que nous construisons passe les mêmes points de contrôle avant d’atteindre vos utilisateurs. Cette note présente ce que mesure chaque point de contrôle, comment il est mesuré et quand il s’exécute. Les points de contrôle sont présentés sur notre page IA, sous Évaluation.

1. Les points de contrôle

  • Qualité de la tâche : réponses correctes sur votre jeu de test, notées sur un jeu étiqueté que vous validez.
  • Ancrage : chaque réponse cite vos sources, chaque phrase rattachée à un passage récupéré.
  • Sûreté : requêtes dangereuses et hors politique refusées, testées avec des prompts de red team et des suites de jailbreak.
  • Confidentialité : aucune donnée personnelle ne sort de son périmètre, avec un masquage testé sur des enregistrements fictifs.
  • Latence : assez rapide pour la tâche, avec un temps de réponse mesuré sous charge.
  • Coût : abordable à votre volume, modélisé au volume que vous prévoyez.
  • Dérive : toujours juste le mois prochain, avec les entrées réelles comparées au jeu de test.

2. Quand ils s’exécutent

  1. Construire le jeu de test : des exemples étiquetés de votre tâche, validés par vous.
  2. Fixer les seuils : un pour chaque point de contrôle, convenu avec vous avant le début du travail.
  3. Exécuter à chaque build : qualité de la tâche, ancrage et confidentialité, à mesure que le code change.
  4. Exécuter avant la mise en production : sûreté, latence et coût, sur la version candidate.
  5. Surveiller en production : les entrées réelles comparées au jeu de test, pour détecter la dérive.

3. Ce dont une version candidate a besoin

Une version candidate qui n’atteint pas un seuil attend de l’atteindre. La méthode de chaque point de contrôle est écrite et s’exécute de la même façon à chaque fois. Pour la sûreté, une suite fixe de prompts adverses, complétée par de nouveaux prompts écrits pour votre domaine, s’exécute sur la version candidate. Toute réponse dangereuse bloque la mise en production et figure dans le rapport que vous recevez, qui donne le résultat de chaque point de contrôle pour chaque version candidate.

Citer

Etheon (2026). Comment nous testons un modèle avant sa mise en production. Etheon Lab.

Recherches associées. D’autres travaux de notre Lab sur IA.

  1. Publication

    Ce sur quoi travaille le Lab Etheon

    Le Lab Etheon étudie ce qui rend un logiciel d’IA sûr à livrer : évaluation, garde-fous, observabilité, mises en production sûres et gouvernance.

    Par Etheon

    2 min de lecture

  2. Conclusion

    Le harnais d’abord

    Un harnais d’agent est le logiciel qui entoure un modèle et décide de ce que l’agent peut faire. Nous construisons d’abord le harnais, puis l’agent à l’intérieur.

    Par Etheon

    2 min de lecture

Où nous l’utilisons

Commencez avec Etheon

Décrivez-nous votre cas d’usage et votre calendrier. Nous répondons sous un jour ouvré.

IA

Agents, modèles et MLOps

Explorer IA

Open source

Notre code, que vos ingénieurs peuvent lire.

Open source sur GitHub (s’ouvre dans un nouvel onglet)