Avec ce nouvel outil baptisé Mistral 7B, Mistral AI se pose en challenger du modèle open source de Meta, Llama.
Les choses s’enchaînent pour Mistral AI. Moins d’un an après sa création et trois mois après avoir levé 105 millions d’euros (M€) pour développer des modèles de langage en open source destinés aux entreprises, la startup désormais valorisée à 240 M€, a présenté son LLM open source de 7 milliards de paramètres. Un nouvel outil initialement prévu pour début 2024 qui peut être utilisé pour réaliser des synthèses, structurer des réponses à des questions entre autres.
A titre de comparaison, Open AI propose des centaines de milliards de paramètres. Pourtant, Mistral montre les muscles et se pose en challenger des géants américains et plus précisément de tous les modèles ouverts disponibles jusqu'à 13 milliards de paramètres et de… Llama, le modèle de langage open source de Meta. Mistral affirme que son outil « surclasse » Llama 2 13B sur tous les benchmarks, fait mieux que Llama 1 34B « sur de nombreux benchmarks » et n’est pas si loin des performances de CodeLlama 7B.
Des modèles propriétaires à venir
« En matière de raisonnement, de compréhension et de raisonnement STEM (MMLU), Mistral 7B fonctionne de manière équivalente à un Lama 2 qui ferait plus de 3 fois sa taille. C’est autant économisé en mémoire et gagné en débit. », détaille un communiqué.
Mistral 7B est publié sous licence Apache 2.0 et peut être utilisé sans restriction. Il peut être déployé sur « n'importe quel cloud (AWS/GCP/Azure), à l'aide du serveur d'inférence vLLM et de skypilot », détaille la société. Un modèle qui, selon l’entreprise, représente « une première étape », dans sa feuille de route.
Pour la suite, Mistral AI souhaite développer des modèles propriétaires optimisés pour le déploiement sur site/cloud privé virtuel et distribués sous forme de solutions boîte blanche.