#
-
Ajouter de nouveaux modèles LLM : Ajoutez rapidement des modèles provenant de fournisseurs tels qu’OpenAI (par ex. GPT-3.5, GPT-4), Anthropic (par ex. Claude 3 Opus, Claude 3 Haiku, Claude 3.5 Sonnet) et Google (par ex. Gemini, modèles PaLM s’ils sont activés).
- Pour chaque modèle, définissez :
- API Name : Comment le système fait référence au modèle dans le code.
- Display Name : Comment les utilisateurs le voient dans l’interface utilisateur.
- API Type : Fournisseur (OpenAI, Anthropic, etc.).
- API Version : Pour la gestion des versions.
- Cost : Valeur personnalisée pour le suivi interne ou la logique de facturation.
- Pour chaque modèle, définissez :
-
Gérer les modèles existants : Tous les modèles sont affichés dans un tableau avec des détails :
- API Name : Nom du backend utilisé dans les workflows et les journaux.
- Display Name : Nom convivial visible par les utilisateurs.
- API Type : Fournisseur (par ex. openai, anthropic).
- API Version : Identificateur de version.
- Cost : Coût relatif pour la comptabilité ou le suivi de l’utilisation des tokens.
- Hidden : Si coché, le modèle est masqué pour les utilisateurs finaux mais disponible pour les administrateurs/agents internes.
- Default : Marquer comme par défaut pour les tâches et flows généraux.
- Default Extraction : Marquer comme par défaut pour les workflows d’extraction d’informations.
- Edit : Modifier la configuration du modèle (nom, visibilité, etc.)
- Delete : Supprimer le modèle de la plateforme
Cas d’utilisation
- Contrôler les coûts : Masquez les modèles coûteux aux utilisateurs généraux, tout en les rendant disponibles pour les workflows prioritaires.
- Rationaliser l’accès : Définissez un modèle comme par défaut pour un onboarding rapide, par ex. GPT-3.5 pour les Q&A généraux, Claude pour la synthèse, etc.
- Exécuter des expériences : Ajoutez plusieurs versions du même modèle pour tester les performances ou comparer la qualité des résultats.
Conseils pour les administrateurs
- Examinez régulièrement quels modèles sont activés et qui y a accès.
- Utilisez le paramètre Hidden pour restreindre l’accès aux modèles coûteux ou expérimentaux.
- Définissez les valeurs par défaut appropriées pour rationaliser l’expérience utilisateur et assurer l’utilisation des bons modèles pour les bonnes tâches.
- Surveillez l’utilisation et les coûts des modèles pour optimiser votre infrastructure IA.