本文へスキップ

論文 · · 1分で読めます

リリース前のモデルのテスト方法

当社が開発するすべてのモデルは、ユーザーに届く前に同じリリースゲートに合格します:タスクの品質、グラウンディング、安全性、プライバシー、レイテンシー、コスト、ドリフト。

著者:Etheon · Etheon Lab

種類
論文
公開日
このページの内容

当社が開発するすべてのモデルは、ユーザーに届く前に同じゲートに合格します。この記事では、各ゲートが何を測定し、どのように測定し、いつ実行されるかを説明します。ゲートは、AIページの「評価」に掲載しています。

1. ゲート

  • タスクの品質:お客様のテストセットで正しい回答。お客様が承認したラベル付きセットで採点します。
  • グラウンディング:すべての回答がお客様の情報源を引用します。各文を、検索した箇所までたどります。
  • 安全性:有害な要求とポリシー外の要求を拒否します。レッドチームのプロンプトとジェイルブレイクのテストスイートでテストします。
  • プライバシー:個人データが境界の外に出ません。仕込んだレコードでマスキングをテストします。
  • レイテンシー:タスクに十分な速さ。負荷をかけた状態で応答時間を測定します。
  • コスト:お客様の利用量で無理のない費用。想定する利用量でモデル化します。
  • ドリフト:来月も正しいこと。本番の入力をテストセットと比較します。

2. 実行のタイミング

  1. テストセットを作る:お客様が承認した、タスクのラベル付きの例。
  2. しきい値を設定する:ゲートごとに一つ、作業開始前にお客様と合意します。
  3. すべてのビルドで実行する:コードの変更に合わせて、タスクの品質、グラウンディング、プライバシーを。
  4. リリース前に実行する:リリース候補に対して、安全性、レイテンシー、コストを。
  5. 本番環境で監視する:本番の入力をテストセットと比較し、ドリフトを捉えます。

3. リリース候補に必要なこと

しきい値を満たさないリリース候補は、合格するまで待機します。各ゲートの方法は文書化されており、毎回同じように実行されます。安全性については、固定の敵対的プロンプトのスイートに、お客様の領域向けに新たに書いたプロンプトを加えて、候補に対して実行します。危険な回答が一つでもあればリリースを止め、お受け取りいただくレポートに記載します。このレポートには、すべてのリリース候補について各ゲートの結果が示されます。

引用する

Etheon(2026)「リリース前のモデルのテスト方法」Etheon Lab。

関連する研究。 AIに関する当社のラボのその他の研究。

  1. 論文

    AIエージェントの開発方法:五つのステップ

    エージェントとは、お客様のシステムで操作を実行するソフトウェアです。当社は、モデルの外側で守られる制限の中で、重要な場面には人が関わる形で、五つのステップでエージェントを開発します。

    著者:Etheon

    1分で読めます

  2. 論文

    どのAIモデルを使うべきですか?

    お客様が負担できるコストで、タスクを最もうまくこなすモデルです。お客様の評価セットで候補のモデルを採点し、品質、コスト、応答時間で選びます。

    著者:Etheon

    1分で読めます

  3. 論文

    Etheon Labが取り組んでいること

    Etheon Labは、AIソフトウェアを安全にリリースするための要素を研究しています:評価、ガードレール、オブザーバビリティ、安全なリリース、ガバナンス。

    著者:Etheon

    1分で読めます

当社での活用

Etheonと始めましょう

ユースケースと時期をお知らせください。一営業日以内にご返信します。

AI

エージェント、モデル、MLOps

詳しく見る AI

オープンソース

お客様のエンジニアが読める、当社のコード。

GitHubのオープンソース (新しいタブで開きます)