Nvidia a présenté, le mercredi 14 février, Chat With RTX, son outil d'IA qui permet de traiter des données en local sur un PC Windows en utilisant les ressources de la GeForce.
Nvidia a décidé de concurrencer ses clients en lançant un outil, Chat with RTX, qui permet de faire tourner un chatbot basé sur un LLM en local sur les PC Windows. Outil qui permet de conserver les résultats et les données potentiellement sensibles sur l’appareil, contrairement aux LLM basés sur le cloud.
L’IA sera alimentée par un GPU Nvidia GeForce RTX 30 Series ou une version supérieure, avec au minimum 8 Go de mémoire vive vidéo (VRAM). « Chat with RTX utilise la génération augmentée par récupération (RAG), le logiciel NVIDIA TensorRT-LLM et l'accélération NVIDIA RTX pour apporter des capacités d'IA générative aux PC Windows locaux alimentés par GeForce. », décrit Nvidia. Windows 10 ou 11 et les derniers pilotes GPU de l’entreprise sont nécessaires pour faire fonctionner Chat with RTX.
Résumé de vidéos YouTube
Disponible en démo dans un premier temps, l’outil permet aux utilisateurs de personnaliser un chatbot avec leurs propres données et fichiers locaux. L'outil prend en charge plusieurs formats de fichiers, comme .txt, .pdf, .doc/.docx et .xml. Les utilisateurs peuvent également ajouter une URL vidéo provenant de YouTube pour les résumer et entraîner le modèle.
Bien sûr, il ne s’agit pour l’heure que d’une démo et des bugs sont sans doute à prévoir. Nvidia a par exemple relevé un problème entraînant l'échec de l'installation de Chat avec RTX, lorsque l'utilisateur sélectionne un répertoire d'installation différent. « Pour le moment, les utilisateurs doivent utiliser le répertoire d'installation par défaut(«C:\Users<username>\AppData\Local\NVIDIA\ChatWithRTX »). » Un souci qui sera corrigé dans la prochaine version a prévenu l'entreprise.