시스템

#

• 새 LLM 모델 추가: OpenAI(GPT-3.5, GPT-4 등), Anthropic(Claude 3 Opus, Claude 3 Haiku, Claude 3.5 Sonnet 등), Google(Gemini 등)과 같은 제공업체에서 모델을 빠르게 추가합니다.
  • 각 모델에 대해 다음을 정의합니다:
    • API 이름: 시스템이 코드에서 모델을 참조하는 방식.
    • 표시 이름: UI에서 사용자가 보는 방식.
    • API 유형: 제공업체(OpenAI, Anthropic 등).
    • API 버전: 버전 관리를 위해.
    • 비용: 내부 추적 또는 청구 로직을 위한 사용자 지정 값.
• 기존 모델 관리: 모든 모델이 세부 정보와 함께 테이블에 표시됩니다:
  • API 이름: 워크플로우와 로그에서 사용되는 백엔드 이름.
  • 표시 이름: 사용자에게 보이는 친숙한 이름.
  • API 유형: 제공업체(예: openai, anthropic).
  • API 버전: 버전 식별자.
  • 비용: 회계 또는 토큰 사용량 추적을 위한 상대적 비용.
  • 숨김: 체크하면 최종 사용자에게 숨겨지지만 관리자/내부 에이전트가 사용할 수 있습니다.
  • 기본값: 일반 작업 및 플로우의 기본값으로 표시.
  • 기본 추출: 정보 추출 워크플로우의 기본값으로 표시.
  작업:
  • 편집: 모델 구성을 수정(이름, 가시성 등)
  • 삭제: 플랫폼에서 모델 제거

​

사용 사례

• 비용 제어: 일반 사용자에게 비용이 많이 드는 모델을 숨기면서도 높은 우선순위 워크플로우에서는 여전히 사용할 수 있게 합니다.
• 접근 간소화: 빠른 온보딩을 위해 하나의 모델을 기본값으로 설정합니다(예: GPT-3.5는 일반 Q&A용, Claude는 요약용 등).
• 실험 실행: 동일한 모델의 여러 버전을 추가하여 성능 A/B 테스트를 하거나 출력 품질을 비교합니다.

​

관리자 팁

• 정기적으로 활성화된 모델과 접근할 수 있는 사용자를 검토합니다.
• 숨김 설정을 사용하여 고비용 또는 실험적 모델의 접근을 제한합니다.
• 적절한 기본값을 설정하여 사용자 경험을 간소화하고 올바른 모델이 올바른 작업에 사용되도록 보장합니다.
• 모델 사용량과 비용을 모니터링하여 AI 인프라를 최적화합니다.