Wie wir ein Modell vor dem Release testen
Jedes Modell, das wir bauen, besteht dieselben Release-Gates, bevor es Nutzer erreicht: Aufgabenqualität, Verankerung, Sicherheit, Datenschutz, Latenz, Kosten und Drift.
- Publikation

Auf dieser Seite
Jedes Modell, das wir bauen, besteht dieselben Gates, bevor es Ihre Nutzer erreicht. Diese Notiz legt dar, was jedes Gate misst, wie es gemessen wird und wann es läuft. Die Gates sind auf unserer KI-Seite unter Evaluierung dargestellt.
1. Die Gates
- Aufgabenqualität: richtige Antworten auf Ihrem Testdatensatz, bewertet an einem gelabelten Datensatz, den Sie freigeben.
- Verankerung: Jede Antwort zitiert Ihre Quellen, jeder Satz wird auf eine abgerufene Passage zurückgeführt.
- Sicherheit: Schädliche und regelwidrige Anfragen werden abgelehnt, getestet mit Red-Team-Prompts und Jailbreak-Suiten.
- Datenschutz: Keine personenbezogenen Daten verlassen ihre Grenze, die Schwärzung wird an eingeschleusten Testdatensätzen geprüft.
- Latenz: schnell genug für die Aufgabe, mit unter Last gemessener Antwortzeit.
- Kosten: bezahlbar bei Ihrem Volumen, modelliert für das Volumen, das Sie erwarten.
- Drift: auch nächsten Monat noch richtig, mit Live-Eingaben im Vergleich zum Testdatensatz.
2. Wann sie laufen
- Den Testdatensatz aufbauen: gelabelte Beispiele Ihrer Aufgabe, von Ihnen freigegeben.
- Die Schwellenwerte festlegen: einer für jedes Gate, mit Ihnen vereinbart, bevor die Arbeit beginnt.
- Bei jedem Build ausführen: Aufgabenqualität, Verankerung und Datenschutz, während sich der Code ändert.
- Vor dem Release ausführen: Sicherheit, Latenz und Kosten, am Release-Kandidaten.
- In der Produktion beobachten: Live-Eingaben im Vergleich zum Testdatensatz, damit Drift erkannt wird.
3. Was ein Release-Kandidat braucht
Ein Release-Kandidat, der einen Schwellenwert verfehlt, wartet, bis er besteht. Die Methode jedes Gates ist schriftlich festgehalten und läuft jedes Mal gleich. Für die Sicherheit läuft eine feste Suite von Angriffs-Prompts, ergänzt um neue, für Ihre Domäne geschriebene, gegen den Kandidaten. Jede unsichere Antwort blockiert das Release und wird im Bericht aufgeführt, den Sie erhalten und der das Ergebnis jedes Gates für jeden Release-Kandidaten angibt.
Verwandte Forschung. Mehr aus unserem Lab zu KI.
Wie wir einen KI-Agenten bauen, in fünf Schritten
Ein Agent ist Software, die in Ihren Systemen handelt. Wir bauen ihn in fünf Schritten, innerhalb von Grenzen außerhalb des Modells, mit einem Menschen, wo es darauf ankommt.
Welches KI-Modell sollten wir nutzen?
Das Modell, das Ihre Aufgabe am besten erledigt, zu Kosten, die Sie tragen können. Wir bewerten Kandidatenmodelle an Ihrem Evaluierungsdatensatz und wählen nach Qualität, Kosten und Antwortzeit.
Woran das Etheon Lab arbeitet
Das Etheon Lab untersucht, was KI-Software sicher auslieferbar macht: Evaluierung, Leitplanken, Observability, sichere Releases und Governance.