#
-
新しい LLM モデルの追加: OpenAI (例: GPT-3.5、GPT-4)、Anthropic (例: Claude 3 Opus、Claude 3 Haiku、Claude 3.5 Sonnet)、Google (例: Gemini、PaLM モデル (有効な場合)) などのプロバイダーからのモデルをすばやく追加します。
- モデルごとに、以下を定義します。
- API 名: システムがコード内でモデルを参照する方法。
- 表示名: ユーザーが UI で表示する方法。
- API タイプ: プロバイダー (OpenAI、Anthropic など)。
- API バージョン: バージョン管理用。
- コスト: 内部追跡または請求ロジックのカスタム値。
- モデルごとに、以下を定義します。
-
既存のモデルの管理: すべてのモデルが詳細とともに表に表示されます。
- API 名: ワークフローとログで使用されるバックエンド名。
- 表示名: ユーザーに表示されるフレンドリ名。
- API タイプ: プロバイダー (openai、anthropic など)。
- API バージョン: バージョン識別子。
- コスト: 会計またはトークン使用状況の追跡にかかる相対コスト。
- 非表示: チェックすると、モデルはエンド ユーザーに対して非表示になりますが、管理者/内部エージェントは使用できます。
- デフォルト: 一般的なタスクおよびフローのデフォルトとしてマークします。
- デフォルトの抽出: 情報抽出ワークフローのデフォルトとしてマークします。
- 編集: モデル構成 (名前、可視性など) を変更します。
- 削除: プラットフォームからモデルを削除します。
使用例
- コストの管理: 高価なモデルを一般ユーザーから隠しながら、優先度の高いワークフローには使用できるようにします。
- アクセスの合理化: 高速オンボーディングのために 1 つのモデルをデフォルトとして設定します (例: 一般的な Q&A には GPT-3.5、要約には Claude など)。
- 実験の実行: 同じモデルの複数のバージョンを A/B テストのパフォーマンスに追加したり、出力品質を比較したりできます。
管理者のヒント
- どのモデルが有効になっているか、誰がそれらのモデルにアクセスできるかを定期的に確認します。
- 高コストまたは実験的なモデルへのアクセスを制限するには、非表示 設定を使用します。
- 適切なデフォルトを設定してユーザー エクスペリエンスを合理化し、適切なモデルが適切なタスクに使用されるようにします。
- モデルの使用状況とコストを監視して、AI インフラストラクチャを最適化します。