Entreprise spécialisée dans la sécurité des identités, CyberArk a présenté, mercredi 11 décembre, FuzzyAI, un outil open source pour protéger les entreprises des détournements de modèles d’IA.
Présenté lors de l’événement BlackHat Europe 2024, FuzzyAI est un cadre open source qui jailbreake les modèles d’IA afin d’identifier des failles potentielles. Ainsi, l’outil est en mesure d’identifier et de traiter les vulnérabilités propres aux modèles d’IA, tels que les contournements de garde-fous, la fuite d’informations, l’injection de prompts ou la génération d’extrants malveillants, et de garantir une adoption sûre en entreprise.
Pour révéler les failles, l’entreprise utilise un fuzzer, un outil qui utilise plus d’une dizaine de techniques d’attaque, allant du contournement des filtres éthiques à la révélation de prompts systèmes cachés, pour tester la viabilité du modèle et exposer les potentielles vulnérabilités. À noter que les entreprises peuvent ajuster les tests en ajoutant leurs propres méthodes d’attaque.