メインコンテンツへスキップ
システム タブでは、EKB の自動化とワークフローを強化する AI モデルを完全に制御できます。これは、Large Language Model (LLM) のセットアップ、ユーザーが使用できるモデルのカスタマイズ、およびシステム内でのユーザーの動作の管理を行うためのコントロール センターです。 このタブは、さまざまなプロバイダー (OpenAI、Anthropic、Google など) のモデルを組み合わせて使用​​し、パフォーマンス、コスト、アクセス制御を微調整したい組織に特に役立ちます。
#System
  • 新しい LLM モデルの追加: OpenAI (例: GPT-3.5、GPT-4)、Anthropic (例: Claude 3 Opus、Claude 3 Haiku、Claude 3.5 Sonnet)、Google (例: Gemini、PaLM モデル (有効な場合)) などのプロバイダーからのモデルをすばやく追加します。
    • モデルごとに、以下を定義します。
      • API 名: システムがコード内でモデルを参照する方法。
      • 表示名: ユーザーが UI で表示する方法。
      • API タイプ: プロバイダー (OpenAI、Anthropic など)。
      • API バージョン: バージョン管理用。
      • コスト: 内部追跡または請求ロジックのカスタム値。
  • 既存のモデルの管理: すべてのモデルが詳細とともに表に表示されます。
    • API 名: ワークフローとログで使用されるバックエンド名。
    • 表示名: ユーザーに表示されるフレンドリ名。
    • API タイプ: プロバイダー (openai、anthropic など)。
    • API バージョン: バージョン識別子。
    • コスト: 会計またはトークン使用状況の追跡にかかる相対コスト。
    • 非表示: チェックすると、モデルはエンド ユーザーに対して非表示になりますが、管理者/内部エージェントは使用できます。
    • デフォルト: 一般的なタスクおよびフローのデフォルトとしてマークします。
    • デフォルトの抽出: 情報抽出ワークフローのデフォルトとしてマークします。
アクション:
  • 編集: モデル構成 (名前、可視性など) を変更します。
  • 削除: プラットフォームからモデルを削除します。

使用例

  • コストの管理: 高価なモデルを一般ユーザーから隠しながら、優先度の高いワークフローには使用できるようにします。
  • アクセスの合理化: 高速オンボーディングのために 1 つのモデルをデフォルトとして設定します (例: 一般的な Q&A には GPT-3.5、要約には Claude など)。
  • 実験の実行: 同じモデルの複数のバージョンを A/B テストのパフォーマンスに追加したり、出力品質を比較したりできます。

管理者のヒント

  • どのモデルが有効になっているか、誰がそれらのモデルにアクセスできるかを定期的に確認します。
  • 高コストまたは実験的なモデルへのアクセスを制限するには、非表示 設定を使用します。
  • 適切なデフォルトを設定してユーザー エクスペリエンスを合理化し、適切なモデルが適切なタスクに使用されるようにします。
  • モデルの使用状況とコストを監視して、AI インフラストラクチャを最適化します。