Saltar al contenido

Publicación · · 2 min de lectura

Cómo probamos un modelo antes del lanzamiento

Cada modelo que construimos pasa los mismos controles de lanzamiento antes de llegar a los usuarios: calidad de la tarea, fundamentación, seguridad, privacidad, latencia, costo y deriva.

Por Etheon · Etheon Lab

Tipo
Publicación
Publicado
En esta página

Cada modelo que construimos pasa los mismos controles antes de llegar a sus usuarios. Esta nota explica qué mide cada control, cómo se mide y cuándo se ejecuta. Los controles se ilustran en nuestra página de IA, en Evaluación.

1. Los controles

  • Calidad de la tarea: respuestas correctas en su conjunto de prueba, puntuadas frente a un conjunto etiquetado que usted aprueba.
  • Fundamentación: cada respuesta cita sus fuentes, y cada frase se rastrea hasta un pasaje recuperado.
  • Seguridad: las solicitudes dañinas o contrarias a la política se rechazan; se prueba con prompts de red team y baterías de jailbreak.
  • Privacidad: ningún dato personal sale de su perímetro, con la anonimización probada con registros ficticios.
  • Latencia: lo bastante rápido para la tarea, con el tiempo de respuesta medido bajo carga.
  • Costo: asequible a su volumen, modelado al volumen que prevé.
  • Deriva: sigue siendo correcto el mes que viene, con las entradas reales comparadas con el conjunto de prueba.

2. Cuándo se ejecutan

  1. Construir el conjunto de prueba: ejemplos etiquetados de su tarea, aprobados por usted.
  2. Fijar los umbrales: uno para cada control, acordado con usted antes de empezar el trabajo.
  3. Ejecutar en cada build: calidad de la tarea, fundamentación y privacidad, a medida que cambia el código.
  4. Ejecutar antes del lanzamiento: seguridad, latencia y costo, sobre la versión candidata.
  5. Vigilar en producción: entradas reales comparadas con el conjunto de prueba, para detectar la deriva.

3. Lo que necesita una versión candidata

Una versión candidata que no alcanza un umbral espera hasta superarlo. El método de cada control está escrito y se ejecuta igual cada vez. Para la seguridad, un conjunto fijo de prompts adversarios, más otros nuevos escritos para su dominio, se ejecuta contra la candidata. Cualquier respuesta insegura bloquea el lanzamiento y figura en el informe que usted recibe, que da el resultado de cada control para cada versión candidata.

Citar

Etheon (2026). Cómo probamos un modelo antes del lanzamiento. Etheon Lab.

Investigación relacionada. Más de nuestro Lab sobre IA.

  1. Publicación

    En qué trabaja el Etheon Lab

    El Etheon Lab estudia qué hace que el software de IA sea seguro de lanzar: evaluación, salvaguardas, observabilidad, lanzamientos seguros y gobernanza.

    Por Etheon

    1 min de lectura

  2. Conclusión

    Primero, el arnés

    Un arnés de agente es el software que rodea a un modelo y decide qué puede hacer el agente. Construimos primero el arnés y después el agente dentro de él.

    Por Etheon

    2 min de lectura

Dónde lo usamos

Empiece con Etheon

Cuéntenos su caso de uso y su plazo. Respondemos en un día laborable.

IA

Agentes, modelos y MLOps

Explorar IA

Código abierto

Nuestro código, para que lo lean sus ingenieros.

Código abierto en GitHub (se abre en una pestaña nueva)