La nouvelle fonctionnalité en bêta de Claude 3.5 Sonnet permet à ce modèle d’IA de manipuler l'ordinateur comme le ferait un humain : déplacer la souris, taper du texte, etc. Pour l’heure, le modèle reste sujet à des erreurs, et Anthropic invite les développeurs à lui faire des retours tout en utilisant cette fonctionnalité pour des tâches à faible risque.
Claude 3.5, ambiance Skynet ? On n’en est pas encore là, mais la dernière fonctionnalité de l’IA d’Anthropic a de quoi inquiéter les plus alarmistes. Anthropic a en effet présenté une mise à jour de Claude 3.5 Sonnet, désormais capable de prendre le contrôle d’un ordinateur de manière autonome.
Cette nouvelle fonctionnalité en bêta publique est accessible via l'API d'Anthropic, Amazon Bedrock et Google Cloud's Vertex AI, et permet à l'IA d'utiliser un ordinateur comme un humain : déplacer la souris, cliquer, taper du texte, etc.
« Plutôt que de créer des outils spécifiques pour aider Claude à accomplir des tâches individuelles, nous lui apprenons des compétences informatiques générales, lui permettant ainsi d’utiliser une large gamme d’outils et de logiciels standard conçus pour les humains », explique Anthropic. Les développeurs peuvent ainsi demander à Claude d’utiliser des données présentes sur un ordinateur et en ligne pour, par exemple, remplir un formulaire, vérifier un tableau ou ouvrir un navigateur en déplaçant le curseur.
Claude 3.5 Sonnet démarre modestement
Les développeurs peuvent intégrer cette API pour permettre à Claude de traduire des instructions (comme "utilise les données de mon ordinateur et en ligne pour remplir ce formulaire") en commandes informatiques concrètes (telles que vérifier un tableau, déplacer le curseur pour ouvrir un navigateur, naviguer sur les pages web pertinentes et remplir un formulaire avec les données collectées).
Certains partenaires d’Anthropic, tels qu'Asana, Canva, Cognition, DoorDash, Replit et The Browser Company, ont déjà commencé à exploiter cette nouvelle version de Claude 3.5 Sonnet.
Première fonctionnalité du genre à être disponible en bêta, elle reste cependant sujette à des erreurs, reconnaît l'entreprise. Par exemple, l'IA éprouve des difficultés à glisser, faire défiler ou zoomer. Sur OSWorld, une plateforme qui évalue les capacités des modèles d’IA, Claude 3.5 a obtenu un score de 14,9 % pour les tâches de capture d’écran uniquement, et de 22 % pour celles nécessitant plusieurs étapes. Anthropic espère recueillir les retours des développeurs pour améliorer ce modèle et les encourage à utiliser cette fonctionnalité « pour des tâches à faible risque ».