Cómo probamos un modelo antes del lanzamiento
Cada modelo que construimos pasa los mismos controles de lanzamiento antes de llegar a los usuarios: calidad de la tarea, fundamentación, seguridad, privacidad, latencia, costo y deriva.
- Publicación

En esta página
Cada modelo que construimos pasa los mismos controles antes de llegar a sus usuarios. Esta nota explica qué mide cada control, cómo se mide y cuándo se ejecuta. Los controles se ilustran en nuestra página de IA, en Evaluación.
1. Los controles
- Calidad de la tarea: respuestas correctas en su conjunto de prueba, puntuadas frente a un conjunto etiquetado que usted aprueba.
- Fundamentación: cada respuesta cita sus fuentes, y cada frase se rastrea hasta un pasaje recuperado.
- Seguridad: las solicitudes dañinas o contrarias a la política se rechazan; se prueba con prompts de red team y baterías de jailbreak.
- Privacidad: ningún dato personal sale de su perímetro, con la anonimización probada con registros ficticios.
- Latencia: lo bastante rápido para la tarea, con el tiempo de respuesta medido bajo carga.
- Costo: asequible a su volumen, modelado al volumen que prevé.
- Deriva: sigue siendo correcto el mes que viene, con las entradas reales comparadas con el conjunto de prueba.
2. Cuándo se ejecutan
- Construir el conjunto de prueba: ejemplos etiquetados de su tarea, aprobados por usted.
- Fijar los umbrales: uno para cada control, acordado con usted antes de empezar el trabajo.
- Ejecutar en cada build: calidad de la tarea, fundamentación y privacidad, a medida que cambia el código.
- Ejecutar antes del lanzamiento: seguridad, latencia y costo, sobre la versión candidata.
- Vigilar en producción: entradas reales comparadas con el conjunto de prueba, para detectar la deriva.
3. Lo que necesita una versión candidata
Una versión candidata que no alcanza un umbral espera hasta superarlo. El método de cada control está escrito y se ejecuta igual cada vez. Para la seguridad, un conjunto fijo de prompts adversarios, más otros nuevos escritos para su dominio, se ejecuta contra la candidata. Cualquier respuesta insegura bloquea el lanzamiento y figura en el informe que usted recibe, que da el resultado de cada control para cada versión candidata.
Investigación relacionada. Más de nuestro Lab sobre IA.
En qué trabaja el Etheon Lab
El Etheon Lab estudia qué hace que el software de IA sea seguro de lanzar: evaluación, salvaguardas, observabilidad, lanzamientos seguros y gobernanza.
Primero, el arnés
Un arnés de agente es el software que rodea a un modelo y decide qué puede hacer el agente. Construimos primero el arnés y después el agente dentro de él.