Avec son équipe Preparedness Open AI s’est donné pour mission d’analyser les modèles d’IA actuels et futurs pour prévenir les dangers « catastrophiques » qu’ils pourraient causer, des risques cyber… aux guerres nucléaires.
S’il est indéniable que l’intelligence artificielle est et sera révolutionnaire, cette technologie débarque avec son lot de risques associés. Pour tenter de les anticiper et d’y apporter une réponse, le créateur tente de dompter sa création. Open AI, maison mère de ChatGPT, a monté une équipe d’experts baptisée Preparedness, censée préparer aux risques « catastrophiques » que peuvent engendrer les modèles d’IA.
Atténuation du risque
L’équipe suivra et évaluera les modèles d’IA en fonction de différents facteurs de risques déjà identifiés tels que la persuasion individualisée (le fait que les contenus soient adaptés à la perception de l’utilisateur plutôt qu’à la vérité), la cybersécurité dans son ensemble, la réplication et l’adaptation autonomes des modèles d’IA qui pourraient faire échapper lesdits modèles au contrôle des humains, ainsi que des menaces chimiques, biologiques, radiologiques et nucléaires. Des exemples un brin catastrophistes pour certains et qui rappellent les récits les plus inquiétants de science-fiction et d’anticipation de ces dernières décennies.
C'est là tout l'enjeu : l'anticipation. Concrètement, l’équipe d’experts devra travailler à répondre à trois grandes questions :
- Dans quelle mesure les systèmes d’IA d’avant-garde sont-ils dangereux lorsqu’ils sont utilisés à mauvais escient, aujourd’hui et à l’avenir ?
- Comment construire un cadre solide pour la surveillance, l’évaluation, la prévision et la protection contre les capacités dangereuses des systèmes d’IA d’avant-garde ?
- Comment des acteurs malveillants pourraient exploiter et détourner les modèles d’IA d’avant-garde ?
Open AI embauche et lance un concours
« Notre politique de développement tenant compte des risques détaillera notre approche pour développer des évaluations et un suivi rigoureux des capacités des modèles de frontière, créer un éventail d'actions de protection et établir une structure de gouvernance pour la responsabilité et la surveillance tout au long de ce processus de développement », détaille Open AI.
Pour avancer dans son travail, Open AI recrute et lance un concours afin de mieux identifier les modèles de préoccupations. A la clé, 25 000 dollars en crédit API aux 10 meilleures soumissions. Chacun aura jusqu’au 31 décembre pour envoyer ses idées via un formulaire en ligne.
