¿Qué modelo de IA deberíamos usar?
El que mejor hace su tarea a un costo que pueda asumir. Puntuamos los modelos candidatos con su conjunto de evaluación y elegimos por calidad, costo y tiempo de respuesta.
- Publicación
En esta página
El que mejor hace su tarea a un costo que pueda asumir. Puntuamos los modelos candidatos con su propio conjunto de evaluación y elegimos por calidad, costo y tiempo de respuesta. Hay cuatro formas de poner un modelo a trabajar, y cada una le pide algo distinto.
1. ¿Cuáles son las cuatro formas de poner un modelo a trabajar?
Usar el modelo alojado de un proveedor, operar un modelo abierto, ajustar un modelo o entrenar uno propio.
Vía | Qué es | Lo que necesita | Lo que es suyo | Cuándo encaja |
|---|---|---|---|---|
Usar un modelo alojado | El modelo de un proveedor, usado a través de su API. | Una cuenta con el proveedor y condiciones adecuadas para sus datos. | Sus prompts, su conjunto de evaluación y el código que rodea al modelo. | Cuando un modelo general ya hace la tarea suficientemente bien. |
Operar un modelo abierto | Pesos abiertos en una infraestructura que usted controla. | Servidores o una cuenta cloud con el hardware adecuado. | El despliegue, y adónde van sus datos. | Cuando sus datos deben permanecer en su propio entorno. |
Ajustar un modelo | Un modelo base con entrenamiento adicional sobre sus ejemplos. | Buenos ejemplos de la tarea y una forma de puntuarlos. | Los pesos ajustados, donde la licencia del modelo base lo permita. | Cuando los prompts por sí solos no alcanzan su nivel de calidad. |
Entrenar uno propio | Un modelo entrenado con sus datos para una tarea, como una previsión o un clasificador. | Suficientes datos etiquetados para la tarea. | El modelo y su código de entrenamiento. | Cuando la tarea es concreta y los datos son suyos. |
2. ¿Cómo elegimos entre modelos alojados?
Puntuándolos con su propio conjunto de evaluación. Un modelo alojado es el modelo de un proveedor que usa a través de su API, sin servidores propios que operar. Comprobamos las condiciones de cada proveedor frente a sus datos y medimos el costo y el tiempo de respuesta de cada llamada.
- Construir el conjunto de evaluación: ejemplos reales de la tarea, puntuados de la misma forma.
- Comparar proveedores: cada modelo puntuado con su conjunto.
- Comprobar las condiciones: adónde van sus datos y si pueden conservarse.
- Medir: costo y tiempo de respuesta a su volumen.
Recibe una comparación de proveedores con su conjunto de evaluación y el código de integración en su repositorio.
3. ¿Cuándo debe ejecutarse el modelo en su propio entorno?
Cuando sus datos deben permanecer allí. Un modelo abierto es un modelo cuyos pesos ejecuta usted mismo, en servidores o en una cuenta cloud que controla. Elegimos el modelo según su conjunto de evaluación, lo desplegamos en su infraestructura y medimos su calidad, su costo y su velocidad.
- Preseleccionar: modelos abiertos cuya licencia encaja con su uso.
- Puntuar: cada uno con su conjunto de evaluación.
- Desplegar: en sus servidores o en su cuenta cloud.
- Medir: calidad, costo y tiempo de respuesta bajo carga.
Recibe el despliegue como código en su repositorio y una evaluación de los modelos que se consideraron.
4. ¿Cuándo vale la pena el ajuste fino de un LLM?
Cuando los prompts por sí solos no alcanzan su nivel de calidad. El ajuste fino entrena un modelo base con ejemplos de su tarea, para que responda en su formato y en su dominio.
- Reunir ejemplos: buenos ejemplos de la tarea, comprobados por su equipo.
- Entrenar: el modelo base, entrenado además con ellos.
- Puntuar: el modelo ajustado y el modelo base, comparados con su conjunto de evaluación.
- Desplegar: solo si el modelo ajustado lo hace mejor.
Recibe los pesos ajustados, a su nombre donde la licencia del modelo base lo permita.
5. ¿Cuándo tiene sentido un modelo propio?
Cuando la tarea es concreta y los datos son suyos: una previsión, un ranking o un clasificador. Preparamos los datos, entrenamos y evaluamos el modelo, y lo desplegamos con los pipelines que lo mantienen al día a medida que cambian sus datos.
- Plantear la tarea: qué predice el modelo y cómo se juzgará.
- Preparar los datos: etiquetados, limpios y divididos para entrenamiento y pruebas.
- Entrenar y evaluar: candidatos comparados con datos que no han visto.
- Desplegar: con el pipeline que lo reentrena a medida que cambian sus datos.
Recibe el modelo y su código de entrenamiento, un informe de evaluación y un pipeline de reentrenamiento.
6. ¿Qué tienen en común las cuatro vías?
El conjunto de evaluación y los controles de lanzamiento. Sea cual sea la vía, cada modelo pasa los mismos controles antes de llegar a sus usuarios: calidad de la tarea, fundamentación, seguridad, privacidad, latencia, costo y deriva. Acordamos cada umbral con usted antes de empezar el trabajo, y una versión candidata que no alcanza uno espera hasta superarlo. Nuestra nota de investigación Cómo probamos un modelo antes del lanzamiento explica cada control.
7. ¿Entrenan modelos con nuestros datos?
Nunca entrenamos modelos con sus datos sin su consentimiento expreso. Sus datos permanecen aislados de los de otros clientes.
8. ¿De quién son el código y los modelos?
Suyos. El código, los modelos y las cuentas están a su nombre, y el repositorio es suyo desde el primer commit.
Las cuatro vías se ilustran en nuestra página de IA, en Modelos, con los controles de lanzamiento al lado. Cuéntenos su caso de uso y su plazo. Respondemos en un día laborable.
Investigación relacionada. Más de nuestro Lab sobre IA.
Cómo construimos un agente de IA, en cinco pasos
Un agente es software que ejecuta acciones en sus sistemas. Lo construimos en cinco pasos, con límites fuera del modelo y una persona donde importa.
En qué trabaja el Etheon Lab
El Etheon Lab estudia qué hace que el software de IA sea seguro de lanzar: evaluación, salvaguardas, observabilidad, lanzamientos seguros y gobernanza.
Cómo probamos un modelo antes del lanzamiento
Cada modelo que construimos pasa los mismos controles de lanzamiento antes de llegar a los usuarios: calidad de la tarea, fundamentación, seguridad, privacidad, latencia, costo y deriva.