Les deux start-up vont collaborer avec l'Institut de Sécurité de l'IA aux États-Unis pour identifier, évaluer et corriger les risques de leurs modèles avant leur lancement sur le marché.
Régulièrement pointés du doigt pour la sécurité de leurs modèles et l’utilisation des données pour leur entraînement, les grands acteurs du secteur de la GenAI veulent montrer patte blanche. OpenAI, maison mère de ChatGPT, et Anthropic (Claude) ont passé un accord avec l'Institut de Sécurité de l'IA des États-Unis pour la recherche, les tests et l'évaluation de la sécurité des modèles avant leur lancement sur le marché.
L’institution, rattachée au National Institute of Standards and Technology (NIST) du Département du Commerce, a indiqué dans un communiqué que « ces accords permettront de mener des recherches sur la sécurité de l’IA, ainsi que des tests et évaluations des nouveaux modèles avant et après leur publication publique. »
Dans le détail, l’Institut pourra accéder aux modèles des deux entreprises pour évaluer les risques de sécurité qu’ils occasionnent et les méthodes employées pour les réduire. L’instance transmettra en outre des retours aux deux sociétés sur les améliorations potentielles à apporter et travaillera, pour ce faire, en collaboration avec son homologue britannique, le U.K. AI Safety Institute.
Un renforcement des contrôles aux États-Unis ?
Si l’Union européenne a pris les devants dans la gestion des risques liés à l’intelligence artificielle, outre-Atlantique, le mouvement est encore relativement timide à l’échelle fédérale. En revanche, à l’échelle de la Californie, fief des plus grandes sociétés d’intelligence artificielle, l’heure est à plus de régulation. SB1407, un projet de loi visant à mieux contrôler les risques associés aux IA, a été voté par l’Assemblée californienne vendredi 29 août.
Les développeurs devront suivre des protocoles de sécurité stricts avant de former des modèles, donner la possibilité de désactiver les systèmes d’IA, conserver les documents de sécurité, et autoriser l'accès du Procureur général à ces informations. Le projet de loi prévoit également des audits annuels, des protections pour les lanceurs d'alerte, et des actions civiles en cas de non-conformité.
Le texte est vivement critiqué par les acteurs du secteur, qui craignent qu’il nuise à l’innovation. Il y a fort à parier que les prochaines semaines feront l’objet d’un lobbying intense, car SB1407 doit encore être promulgué par le gouverneur de l’État de Californie, Gavin Newsom, qui peut opposer son veto.