Databricks annonce un partenariat et une participation au financement de série A de Mistral AI.
Databricks et Mistral proposent désormais les modèles ouverts de Mistral intégrés nativement au sein de la « Data Intelligence Platform » de Databricks. Les clients de Databricks peuvent désormais accéder aux modèles de Mistral AI sur la Marketplace de Databricks, interagir avec ces modèles dans le Mosaic AI Playground, les utiliser comme endpoints de modèles optimisés grâce à Mosaic AI Model Serving, et les personnaliser sur leurs propres données grâce à l'adaptation.
Les clients de Databricks pourront utiliser et adapter les modèles de Mistral en utilisant leurs propres données pour développer une application. Grâce à ces intégrations clés en main, les entreprises peuvent rapidement exploiter les modèles de Mistral pour leurs applications d'IA générative tout en bénéficiant des bénéfices de la plate-forme de Databricks en termes de sécurité, de confidentialité et de gouvernance des données.
Deux principaux modèles sont mis en avant le 7B et le 8x7B. Le premier est un modèle de transformer dense, petit mais puissant, conçu avec une longueur de fenêtre contextuelle de 8k. Ilest très efficace en raison de sa taille relativement petite de 7 milliards de paramètres et de son architecture de modèle qui tire parti de l'Attention aux requêtes groupées (GQA) et de l'Attention à fenêtre coulissante (SWA).
Le second est un modèle de SMoE (Sparse Mixture of Experts), prenant en charge une longueur de fenêtre contextuelle de 32k et capable de traiter l'anglais, le français, l'italien, l'allemand et l'espagnol. Il surpasse Llama 2 70B sur la plupart des benchmarks, tout en offrant une inférence 6x plus rapide grâce à son architecture SMoE qui n'active que 12 milliards de paramètres pendant l'inférence, sur un total de 45 milliards de paramètres entraînés.
La personnalisation se réalise par interaction avec e Mosaic AI Playground en utilisant les modèles comme des endpoints de modèles optimisés grâce à Mosaic AI Model Serving, Mosaic AI Foundation Model APIs est une fonctionnalité de diffusion de modèles (Model Serving) qui permet aux clients d'accéder à Mixtral 8x7B (ainsi qu'à d'autres modèles de pointe) et de lancer des requêtes, en tirant parti de déploiements de modèles hautement optimisés et sans avoir à créer et à maintenir des déploiements et des endpoints. Avec Databricks Mosaic AI Model Serving, les clients peuvent accéder aux modèles de Mistral AI à l'aide des mêmes API que celles utilisées pour les autres modèles de fondation (Foundation Models). Cela permet aux clients de déployer, gouverner, interroger et surveiller n'importe quel modèle de fondation à travers les clouds et les prestataires, ce qui permet l'expérimentation et la mise en production de grands modèles de langage. Les clients peuvent également faire appel à l'inférence de modèle directement à partir de Databricks SQL en utilisant la fonction SQL `ai_query`.
Pour expérimenter rapidement les modèles Mistral pré-entraînés et affinés, les clients peuvent accéder au Mosaic AI Playground disponible dans la fenêtre Databricks. L'AI Playground permet des conversations interactives multi-tours, l'expérimentation des paramètres d'échantillonnage de l'inférence de modèle tels que la température et max_tokens, et l'inférence côte à côte de différents modèles pour observer la qualité de la réponse du modèle et les caractéristiques de performance.