AIエージェントの開発方法:五つのステップ
エージェントとは、お客様のシステムで操作を実行するソフトウェアです。当社は、モデルの外側で守られる制限の中で、重要な場面には人が関わる形で、五つのステップでエージェントを開発します。
- 論文
このページの内容
エージェントとは、お客様のシステムで操作を実行するソフトウェアです。タスクを読み取り、呼び出しを許可されたツールを呼び出し、すべてのステップを記録します。当社は、モデルの外側にある権限と制限のハーネスの中で、お客様が選んだステップは人が承認する形で、五つのステップで各エージェントを開発します。そのため、エージェントはお客様が設定したことしか実行できません。
1. 五つのステップとは何ですか?
- タスクのスコープを定める:ステップ、システム、そして人が担う判断。
- ツールを開発する:エージェントが呼び出せる各ツールを、個別の権限とともに。
- 評価する:お客様自身の事例から作った評価セットで、リリース前に採点します。
- 段階的にリリースする:最初はすべての操作を人が承認し、その後は例外だけを承認します。
- 監視して改善する:トレース、アラート、そして誤りの定期的なレビュー。
2. エージェントはどのような制限の中で働きますか?
お客様が設定し、モデルの外側で適用される制限です:
- エージェントが呼び出せるツール、それぞれに個別の権限。
- データ、費用、範囲の制限。
- お客様が選んだステップを承認する人。
- すべてのステップを記録し、エージェントが何をなぜ行ったかを、お客様のチームがあとから再現できるようにします。
それらの制限を守る、モデルの周りのソフトウェアがエージェントハーネスです:呼び出せるツール、各ツールの権限、読んでよいコンテキスト、動く場所、人が承認するステップ、そしてすべてのステップのログ。当社はまずハーネスを開発し、その中でエージェントを開発するため、モデルが何を答えても制限は守られます。その理由は、研究ノートまずハーネスからで説明しています。
3. 実行はどのようなものですか?
すべてのステップが記録されます。以下は、イメージ(クライアントのシステムではありません)で示した形式です:エージェントが上限の範囲内でのみ行える返金。
時刻 | ステップ | 内容 | 結果 |
|---|---|---|---|
00.00 | リクエスト | ポリシーで認められていれば、注文1042を返金する | |
00.12 | 検索 | refund-policy.md、3.2節 | 根拠あり |
00.31 | ツール | orders.lookup(1042) | 9日前に配達済み |
00.44 | チェック | 14日間の期限内 | 合格 |
00.52 | ガード | 金額がエージェントの上限未満 | 合格 |
00.53 | 人 | 上限未満のため承認は不要 | スキップ |
00.71 | ツール | payments.refund(1042) | 完了 |
00.72 | ログ | すべてのステップをレビュー用に保存 | 保存済み |
4. エージェントはリリース前にどのようにテストされますか?
お客様自身の事例から作った評価セットで、リリース前に採点します。当社が開発するすべてのモデルと同様に、ユーザーに届く前に同じゲートに合格します:タスクの品質、グラウンディング、安全性、プライバシー、レイテンシー、コスト、ドリフト。各しきい値は作業開始前にお客様と合意します。
5. 何を受け取れますか?
- お客様のリポジトリにあるエージェントとそのツール。
- 権限マップ。
- 評価セットとそのスコア。
- すべての実行のトレース。
- お客様のチーム向けのランブック。
6. 当社が開発したエージェントは、現在どこで稼働していますか?
Jerikoはクライアント案件です。Etheonがクライアントのために開発したもので、クライアントの許可を得て名前を挙げています。Jeriko自身の言葉では、JerikoはパーソナルAIエージェントのチームで、各エージェントはアプリの中の一人の人物として、独自のメモリ、指示、ウォレット、メールアドレスを持ちます。当社のAIページでは、お客様が設定した権限の範囲内で動くエージェントの実例として紹介しています。その事例は実績ページにあります。
エージェントの段階、ハーネス、リリースゲートは、当社のAIページにあります。お客様の会社のためのエージェント:タスクと、それが関わるシステムをお知らせください。一営業日以内にご返信します。
関連する研究。 AIに関する当社のラボのその他の研究。
どのAIモデルを使うべきですか?
お客様が負担できるコストで、タスクを最もうまくこなすモデルです。お客様の評価セットで候補のモデルを採点し、品質、コスト、応答時間で選びます。
Etheon Labが取り組んでいること
Etheon Labは、AIソフトウェアを安全にリリースするための要素を研究しています:評価、ガードレール、オブザーバビリティ、安全なリリース、ガバナンス。
リリース前のモデルのテスト方法
当社が開発するすべてのモデルは、ユーザーに届く前に同じリリースゲートに合格します:タスクの品質、グラウンディング、安全性、プライバシー、レイテンシー、コスト、ドリフト。