Zum Inhalt springen

Publikation · · 2 Min. Lesezeit

Wie wir ein Modell vor dem Release testen

Jedes Modell, das wir bauen, besteht dieselben Release-Gates, bevor es Nutzer erreicht: Aufgabenqualität, Verankerung, Sicherheit, Datenschutz, Latenz, Kosten und Drift.

Von Etheon · Etheon Lab

Typ
Publikation
Veröffentlicht
Auf dieser Seite

Jedes Modell, das wir bauen, besteht dieselben Gates, bevor es Ihre Nutzer erreicht. Diese Notiz legt dar, was jedes Gate misst, wie es gemessen wird und wann es läuft. Die Gates sind auf unserer KI-Seite unter Evaluierung dargestellt.

1. Die Gates

  • Aufgabenqualität: richtige Antworten auf Ihrem Testdatensatz, bewertet an einem gelabelten Datensatz, den Sie freigeben.
  • Verankerung: Jede Antwort zitiert Ihre Quellen, jeder Satz wird auf eine abgerufene Passage zurückgeführt.
  • Sicherheit: Schädliche und regelwidrige Anfragen werden abgelehnt, getestet mit Red-Team-Prompts und Jailbreak-Suiten.
  • Datenschutz: Keine personenbezogenen Daten verlassen ihre Grenze, die Schwärzung wird an eingeschleusten Testdatensätzen geprüft.
  • Latenz: schnell genug für die Aufgabe, mit unter Last gemessener Antwortzeit.
  • Kosten: bezahlbar bei Ihrem Volumen, modelliert für das Volumen, das Sie erwarten.
  • Drift: auch nächsten Monat noch richtig, mit Live-Eingaben im Vergleich zum Testdatensatz.

2. Wann sie laufen

  1. Den Testdatensatz aufbauen: gelabelte Beispiele Ihrer Aufgabe, von Ihnen freigegeben.
  2. Die Schwellenwerte festlegen: einer für jedes Gate, mit Ihnen vereinbart, bevor die Arbeit beginnt.
  3. Bei jedem Build ausführen: Aufgabenqualität, Verankerung und Datenschutz, während sich der Code ändert.
  4. Vor dem Release ausführen: Sicherheit, Latenz und Kosten, am Release-Kandidaten.
  5. In der Produktion beobachten: Live-Eingaben im Vergleich zum Testdatensatz, damit Drift erkannt wird.

3. Was ein Release-Kandidat braucht

Ein Release-Kandidat, der einen Schwellenwert verfehlt, wartet, bis er besteht. Die Methode jedes Gates ist schriftlich festgehalten und läuft jedes Mal gleich. Für die Sicherheit läuft eine feste Suite von Angriffs-Prompts, ergänzt um neue, für Ihre Domäne geschriebene, gegen den Kandidaten. Jede unsichere Antwort blockiert das Release und wird im Bericht aufgeführt, den Sie erhalten und der das Ergebnis jedes Gates für jeden Release-Kandidaten angibt.

Zitieren

Etheon (2026). Wie wir ein Modell vor dem Release testen. Etheon Lab.

Verwandte Forschung. Mehr aus unserem Lab zu KI.

  1. Publikation

    Wie wir einen KI-Agenten bauen, in fünf Schritten

    Ein Agent ist Software, die in Ihren Systemen handelt. Wir bauen ihn in fünf Schritten, innerhalb von Grenzen außerhalb des Modells, mit einem Menschen, wo es darauf ankommt.

    Von Etheon

    3 Min. Lesezeit

  2. Publikation

    Welches KI-Modell sollten wir nutzen?

    Das Modell, das Ihre Aufgabe am besten erledigt, zu Kosten, die Sie tragen können. Wir bewerten Kandidatenmodelle an Ihrem Evaluierungsdatensatz und wählen nach Qualität, Kosten und Antwortzeit.

    Von Etheon

    4 Min. Lesezeit

  3. Publikation

    Woran das Etheon Lab arbeitet

    Das Etheon Lab untersucht, was KI-Software sicher auslieferbar macht: Evaluierung, Leitplanken, Observability, sichere Releases und Governance.

    Von Etheon

    1 Min. Lesezeit

Wo wir das einsetzen

Starten Sie mit Etheon

Nennen Sie uns Ihren Anwendungsfall und Ihren Zeitplan. Wir antworten innerhalb eines Werktags.

KI

Agenten, Modelle und MLOps

Entdecken KI

Open Source

Unser Code, den Ihre Engineers lesen können.

Open Source auf GitHub (öffnet in einem neuen Tab)