A peine quelques jours après la publication de l'AI Act européen, Meta présente une boîte à outils open source qui doit notamment éviter que les IA génératives racontent et n'écrivent n'importe quoi.
Meta lance un garde-fou pour un développement plus sécurisé et responsable des IA génératives. La maison mère de Facebook, qui porte aujourd'hui de nombreux projets autour de l'IA (Llama 2, Audiobox, Emu Video, etc.) vient de présenter le petit dernier de la famille, Purple Llama. Cette boîte à outils open source vise à accompagner les développeurs dans la fabrication de leurs IA génératives en s'inspirant de ce qui se fait déjà en matière de sécurité des applications. Purple Llama doit ainsi proposer à termes un ensemble d'outils de surveillance et de contrôle dédiés à la sécurité et la fiabilité des modèles.
Code pas ci, n'écris pas ça !
L'un des premiers outils disponibles est CyberSecEval qui doit évaluer le risque de cybersécurité pour les modèles de génération de langage. Plus particulièrement, la solution a pour mission d'identifier les textes inappropriés ou dangereux proposés par les IA afin d'assurer que les codes générées ne soient pas truffés de failles ou puissent servir à la création d'attaque.
Llama Guard, deuxième briques de Purple Llama présentée à date, se concentre quant à elle sur l'identification des langages nuisibles et offensants. Il permet notamment de filtrer les entrées et les sorties qui pourrait mener à la génération de textes inappropriés. En proposant ce genre d'outil, Méta souhaite ainsi pousser à un développement plus responsable et sécurisé des modèles d'IA générative. Hasard du calendrier ou non, Purple Llama a d'ailleurs été présenté quelques jours après la publication de l'AI Act européen qui enjoint justement les développeurs à plus de transparence dans le développement de leurs modèles.
Dans une pure logique de collaboration open source, les outils proposées dans le cadre de Purple Llama sont accessibles via une licence permissive pour l'utilisation commerciale et la collaboration. Par ailleurs, en s'inscrivant dans la logique de son modèle de génération de langage Llama 2, Purple Llama devrait profiter du même vaste écosystème de partenaires composé, entre autres, d'AWS, Microsoft, Google, Intel, etc. Meta espère ainsi que la collaboration accrue autour de cet écosystème encouragera et accélérera le développement de nouveaux outils.