Anthropic révèle avoir bloqué des tentatives de fabrication d’armes biologiques grâce à ses modèles

Publié le 10 septembre, le rapport d’Anthropic consacré aux “utilisations abusives” de ses modèles d’intelligence artificielle (IA) a de quoi glacer le sang. Il recense “une série de tentatives d’utilisation malveillante de différents modèles de son chatbot Claude au cours des huit derniers mois”, résume The New York Times. Claude a notamment été utilisé pour créer de fausses applications de rencontres à des fins d’escroquerie, mener des campagnes de cyberespionnage et de propagande en ligne, et même pour développer des armes à feu, des missiles et des drones.

Cette semaine, nos articles sont

dans l’application

Mais, parmi toutes les menaces recensées dans ce long rapport, “aucune n’est aussi inquiétante que des cas de recherches susceptibles de mener à la mise au point d’armes biologiques”. Le risque que des modèles d’IA facilitent le développement d’agents pathogènes connus ou entièrement nouveaux “figure parmi les préoccupations les plus graves des experts concernant une technologie qui se développe si rapidement que même ses principaux concepteurs doutent que les humains soient capables de la contrôler”, souligne le New York Times.

À lire aussi : Tech. Les géants de l’IA “jouent avec nos vies”, alerte un chercheur passé par OpenAI et Anthropic

En mai, par exemple, un scientifique a sollicité l’aide de Claude pour rédiger une demande de subvention pour des recherches sur le chikungunya, une maladie virale transmise aux humains par certains moustiques. Le type de recherches concernées, dites “de gain de fonction”, peut aussi bien mener au développement d’un vaccin que conduire à la création de superbactéries. “Dans ce cas précis, le scientifique souhaitait modifier génétiquement le virus afin de le rendre plus virulent”, indique Anthropic.

Selon la start-up, cette demande était particulièrement inquiétante parce que liée à “un institut de recherche militaire”. “Le fait qu’une institution militaire mène des recherches sur les gains de fonction est en lui-même préoccupant, explique Jacob Klein, responsable des menaces chez Anthropic. On ne se trouve pas face à un personnage de BD qui déclare : ‘Je vais créer une arme biologique pour tous les tuer.’ La situation est très complexe.”

Tout ce qu’il faut savoir sur l’actualité de la Silicon Valley, vue par les médias américains

Cette newsletter est réservée à nos abonnés

Je m’abonne

“En fait, nous ne savons pas si ces recherches étaient vraiment destinées à une utilisation militaire”, reconnaît Jacob Klein. Mais selon la start-up, les scientifiques qui désiraient mener ces recherches sur des agents biologiques avaient contourné les dispositifs censés restreindre l’accès à ses modèles à partir de certains pays. Elle ne divulgue ni l’identité des chercheurs ni celle des institutions concernées, mais précise que les anciennes versions de Claude n’étaient pas en mesure de “contribuer efficacement à la réalisation de recherches biologiques dangereuses”. Anthropic assure aussi avoir renforcé les dispositifs de sécurité sur ses modèles les plus avancés, Fable et Mythos.

Interrogée par le New York Times, la microbiologiste Susan Monarez estime que l’IA “recèle un immense potentiel pour inaugurer une ère de percées médicales qui sauveront des vies”. Mais que ces mêmes capacités pourraient aussi “permettre à des personnes mal intentionnées de créer des agents pathogènes que nous ne pourrons peut-être pas stopper une fois qu’ils seront disséminés”.