NVidia vient de lancer un nouveau LLM, un modèle de petite taille conçu pour fournir aux développeurs une précision de pointe dans un format compact.
Ce LLM est une version miniaturisée de Mistral NeMo 12 B et peut fonctionner sur un poste de travail équipée de NVidia RTX. Il est disponible sous forme de micro-services dans le catalogue des services NIM de Nvidia et sur la plate-forme de Hugging Face.
Fonctionnant par élagage et distillation, le modèle propose une grande précision tout en nécessitant des ressources de calcul réduites. Il est personnalisable par des outils de NVidia comme NeMo ou AI Foundry.