Mis en ligne, lundi 18 mars, Grok-1 compte 314 milliards de paramètres, mais n'est conçu pour aucune tâche spécifique. Charge aux développeurs d'apprivoiser la bête.
Elon l’a dit, il l’a fait. La startup du patron de Tesla, xAI, derrière le modèle de langage Grok, a annoncé le dimanche 17 mars, la publication prochaine de son LLM en open source. C'est chose faite. Baptisé Grok-1, il compte 314 milliards de paramètres et (sur le papier) coiffe au poteau bon nombre de ses concurrents comme Llama 2 et ses 70 milliards de paramètres, voir GTP 3.5.
« Nous publions les poids et l'architecture de notre modèle Mixture-of-Experts de 314 milliards de paramètres, Grok-1. », a écrit la firme dans un communiqué. Le modèle de base a été formé sur une grande quantité de données textuelles, mais il ne répond pas à des tâches spécifiques.
Grok publié sur Github
Grok se veut aussi construit en opposition à ses concurrents, Open AI en tête, jugés trop bien-pensants. Le LLM sauce Elon était perçu jusqu'ici comme une curiosité plutôt qu'un réel concurrent. Mais sa publication en open source pourrait lui permettre de rencontrer son public plus facilement. Le LLM a d’ailleurs été posté sur Github afin d’inciter la communauté à s’en saisir.
Elon Musk tenterait-il de revenir aux fondements d'Open AI, dont il est l’un des cofondateurs ? Le fantasque milliardaire avait porté plainte début mars contre la startup, lui reprochant de s’être détournée de son objectif originel de développer l’intelligence artificielle au profit de l’humanité et non pas pour le profit.