どのAIモデルを使うべきですか?
お客様が負担できるコストで、タスクを最もうまくこなすモデルです。お客様の評価セットで候補のモデルを採点し、品質、コスト、応答時間で選びます。
- 論文
このページの内容
お客様が負担できるコストで、タスクを最もうまくこなすモデルです。お客様自身の評価セットで候補のモデルを採点し、品質、コスト、応答時間で選びます。モデルを活用する方法は四つあり、それぞれがお客様に求めるものは異なります。
1. モデルを活用する四つの方法とは何ですか?
プロバイダーのホスト型モデルを使う、オープンモデルを運用する、モデルをファインチューニングする、独自モデルを学習させる、の四つです。
方法 | 概要 | 必要なもの | 所有するもの | 適しているケース |
|---|---|---|---|---|
ホスト型モデルを使う | プロバイダーのモデルを、そのAPIを通じて使います。 | プロバイダーのアカウントと、お客様のデータに合う利用規約。 | プロンプト、評価セット、そしてモデルの周りのコード。 | 汎用モデルですでに十分にタスクをこなせる場合。 |
オープンモデルを運用する | お客様が管理するインフラで動かすオープンウェイト。 | 適切なハードウェアを備えたサーバー、またはクラウドアカウント。 | デプロイ環境と、データの行き先。 | データをお客様自身の環境にとどめる必要がある場合。 |
モデルをファインチューニングする | お客様の例で追加学習したベースモデル。 | タスクの良質な例と、それを採点する方法。 | ベースモデルのライセンスが許す範囲で、チューニングしたウェイト。 | プロンプトだけでは品質基準に届かない場合。 |
独自モデルを学習させる | 需要予測や分類器など、一つのタスクのためにお客様のデータで学習させたモデル。 | タスクに十分なラベル付きデータ。 | モデルとその学習コード。 | タスクが限定的で、データがお客様のものである場合。 |
2. ホスト型モデルはどのように選びますか?
お客様自身の評価セットで採点して選びます。ホスト型モデルとは、自社でサーバーを運用することなく、APIを通じて使うプロバイダーのモデルです。各プロバイダーの規約をお客様のデータに照らして確認し、すべての呼び出しのコストと応答時間を測定します。
- 評価セットを作る:タスクの実際の例を、同じ方法で採点します。
- プロバイダーを比較する:各モデルを、お客様の評価セットで採点します。
- 規約を確認する:お客様のデータがどこに送られ、保存されてもよいかどうか。
- 測定する:お客様の利用量でのコストと応答時間。
お受け取りいただくのは、お客様の評価セットによるプロバイダーの比較と、お客様のリポジトリにある連携コードです。
3. モデルをお客様自身の環境で動かすべきなのはどのような場合ですか?
データをそこにとどめる必要がある場合です。オープンモデルとは、お客様が管理するサーバーやクラウドアカウントで、ウェイトを自ら動かすモデルです。当社はお客様の評価セットでモデルを選び、お客様のインフラにデプロイし、品質、コスト、速度を測定します。
- 候補を絞る:ライセンスが用途に合うオープンモデル。
- 採点する:それぞれをお客様の評価セットで。
- デプロイする:お客様のサーバーまたはクラウドアカウントに。
- 測定する:負荷がかかった状態での品質、コスト、応答時間。
お受け取りいただくのは、お客様のリポジトリにある、コードとしてのデプロイ構成と、検討したモデルの評価です。
4. LLMのファインチューニングに価値があるのはどのような場合ですか?
プロンプトだけでは品質基準に届かない場合です。ファインチューニングは、タスクの例でベースモデルを追加学習させ、お客様の形式と領域で回答できるようにします。
- 例を集める:お客様のチームが確認した、タスクの良質な例。
- 学習させる:それらでベースモデルを追加学習させます。
- 採点する:チューニング後のモデルとベースモデルを、お客様の評価セットで比較します。
- デプロイする:チューニング後のモデルのほうが優れている場合にのみ。
ベースモデルのライセンスが許す範囲で、チューニング済みのウェイトをお客様名義でお受け取りいただけます。
5. 独自のモデルが理にかなうのはどのような場合ですか?
タスクが限定的で、データがお客様のものである場合です:予測、ランキング、分類器など。当社はデータを準備し、モデルを学習、評価し、データの変化に合わせてモデルを最新に保つパイプラインとともにデプロイします。
- タスクを定義する:モデルが何を予測し、どのように評価されるか。
- データを準備する:ラベル付け、クリーニングを行い、学習用とテスト用に分割します。
- 学習と評価:未知のデータで候補を比較します。
- デプロイする:データの変化に合わせて再学習するパイプラインとともに。
お受け取りいただくのは、モデルとその学習コード、評価レポート、再学習パイプラインです。
6. 四つの方法に共通するものは何ですか?
評価セットと、リリースゲートです。どの方法でも、すべてのモデルはユーザーに届く前に同じゲートに合格します:タスクの品質、グラウンディング、安全性、プライバシー、レイテンシー、コスト、ドリフト。各しきい値は作業開始前にお客様と合意し、一つでも満たさないリリース候補は、合格するまで待機します。各ゲートについては、研究ノートリリース前のモデルのテスト方法で説明しています。
7. 自社のデータでモデルを学習させますか?
お客様のオプトインなしに、お客様のデータでモデルを学習させることはありません。お客様のデータは他のクライアントから分離された状態に保たれます。
8. コードとモデルの所有者は誰ですか?
お客様です。コード、モデル、アカウントはお客様の名義で、リポジトリは最初のコミットからお客様のものです。
四つの方法は、当社のAIページの「モデル」に、リリースゲートと並べて掲載しています。ユースケースと時期をお知らせください。一営業日以内にご返信します。
関連する研究。 AIに関する当社のラボのその他の研究。
AIエージェントの開発方法:五つのステップ
エージェントとは、お客様のシステムで操作を実行するソフトウェアです。当社は、モデルの外側で守られる制限の中で、重要な場面には人が関わる形で、五つのステップでエージェントを開発します。
Etheon Labが取り組んでいること
Etheon Labは、AIソフトウェアを安全にリリースするための要素を研究しています:評価、ガードレール、オブザーバビリティ、安全なリリース、ガバナンス。
リリース前のモデルのテスト方法
当社が開発するすべてのモデルは、ユーザーに届く前に同じリリースゲートに合格します:タスクの品質、グラウンディング、安全性、プライバシー、レイテンシー、コスト、ドリフト。