Le produit désormais en version Beta , une extension dédiée à la gestion des API et des services d’Intelligence Artificielle.
Conçue en partenariat avec APIM Otoroshi with LLM permet aux entreprises de centraliser et de simplifier la gestion de leurs interactions avec des modèles de langage à grande échelle (LLM) tels qu’OpenAI, Anthropic, ou encore les solutions européennes d’Hugging Face, Mistral, OVHcloud et Scaleway.
Dans ce cadre les entreprises peuvent intégrer et gérer leurs accès à plusieurs fournisseurs via une URL unique ainsi que répartir intelligemment les charges entre différents fournisseurs et mettre en cache les résultats pour améliorer les temps de réponse. Les prompts et les flux d’information p peuvent être adaptés dynamiquement. Par des mesures adaptées de sécurité les entreprises ont la possibilité de réduire le « Shadow IA ».
Déployable depuis la marketplace de Clever Cloud, l’instance une fois activée peut être personnalisée et utilisable avec les autres services de Clever Cloud.