A l’occasion de son évènement DASH 2024, l’éditeur français a présenter une solution d’observabilité des LLMs et a fait un premier pas en matière de pilotage des clusters Kubernetes.
Datadog renforce le controle de la GenAI et met un pied dans la gestion des clusters Kubernetes. A l’occasion de son évènement annuel DASH 2024 qui se tenait fin juin, le spécialiste français de l’observabilité a dévoilé les grandes lignes de sa feuille de route. Parmis les éléments marquant, l’éditeur a ainsi dévoilé un outil pour la supervision et l’amélioraton des LLM ainsi que des nouvelles fonctionnalités pour la gestion automatique et la mise à l’échelle des clusters Kubernetes.
Sur le premier plan, Datadog a ainsi dévoilé LLM Observability, un produit qui doit permettre aux développeurs d’applications Gen AI et aux ingénieurs en Machine Learning (ML) de monitorer, d’améliorer et de sécuriser les grands modèles de langages (LLM). Cette solution apporte une visibilité sur chaque étape de la chaîne LLM afin d'identifier les erreurs et comprendre les réponses inattendues telles que les hallucinations. Les utilisateurs peuvent également surveiller les métriques opérationnelles telles que les temps de latence et l'utilisation des jetons afin d'optimiser les performances et les coûts.
Coté infrastructures cloud natives, qui sont d’ailleurs destinées à supporter la plupart des charges de travail Gen AI, Datadog a présenté une boite à outil pour la gestion des clusters de containers. Kubernetes Autoscaling, regroupe ainsi un ensemble de capacités sensées assurer une automatisation intelligente de l'optimisation des ressources et permet de mettre à l’échelle automatiquement les environnements Kubernetes. Datadog sort ainsi de sa posture d historique d’observabilité pour mettre pour la première fois en place des solutions de monitoring et de gestion. Kubernetes Autoscaling monitore ainsi en permanence et redimensionne automatiquement les ressources Kubernetes du cluster designé.