リリース前のモデルのテスト方法
当社が開発するすべてのモデルは、ユーザーに届く前に同じリリースゲートに合格します:タスクの品質、グラウンディング、安全性、プライバシー、レイテンシー、コスト、ドリフト。
- 論文

このページの内容
当社が開発するすべてのモデルは、ユーザーに届く前に同じゲートに合格します。この記事では、各ゲートが何を測定し、どのように測定し、いつ実行されるかを説明します。ゲートは、AIページの「評価」に掲載しています。
1. ゲート
- タスクの品質:お客様のテストセットで正しい回答。お客様が承認したラベル付きセットで採点します。
- グラウンディング:すべての回答がお客様の情報源を引用します。各文を、検索した箇所までたどります。
- 安全性:有害な要求とポリシー外の要求を拒否します。レッドチームのプロンプトとジェイルブレイクのテストスイートでテストします。
- プライバシー:個人データが境界の外に出ません。仕込んだレコードでマスキングをテストします。
- レイテンシー:タスクに十分な速さ。負荷をかけた状態で応答時間を測定します。
- コスト:お客様の利用量で無理のない費用。想定する利用量でモデル化します。
- ドリフト:来月も正しいこと。本番の入力をテストセットと比較します。
2. 実行のタイミング
- テストセットを作る:お客様が承認した、タスクのラベル付きの例。
- しきい値を設定する:ゲートごとに一つ、作業開始前にお客様と合意します。
- すべてのビルドで実行する:コードの変更に合わせて、タスクの品質、グラウンディング、プライバシーを。
- リリース前に実行する:リリース候補に対して、安全性、レイテンシー、コストを。
- 本番環境で監視する:本番の入力をテストセットと比較し、ドリフトを捉えます。
3. リリース候補に必要なこと
しきい値を満たさないリリース候補は、合格するまで待機します。各ゲートの方法は文書化されており、毎回同じように実行されます。安全性については、固定の敵対的プロンプトのスイートに、お客様の領域向けに新たに書いたプロンプトを加えて、候補に対して実行します。危険な回答が一つでもあればリリースを止め、お受け取りいただくレポートに記載します。このレポートには、すべてのリリース候補について各ゲートの結果が示されます。
関連する研究。 AIに関する当社のラボのその他の研究。
AIエージェントの開発方法:五つのステップ
エージェントとは、お客様のシステムで操作を実行するソフトウェアです。当社は、モデルの外側で守られる制限の中で、重要な場面には人が関わる形で、五つのステップでエージェントを開発します。
どのAIモデルを使うべきですか?
お客様が負担できるコストで、タスクを最もうまくこなすモデルです。お客様の評価セットで候補のモデルを採点し、品質、コスト、応答時間で選びます。
Etheon Labが取り組んでいること
Etheon Labは、AIソフトウェアを安全にリリースするための要素を研究しています:評価、ガードレール、オブザーバビリティ、安全なリリース、ガバナンス。