Des visiteurs se rendent au musée des nouveaux médias et de l’art numérique X Media Art Museum (XMAM), le 29 janvier 2022 à Istanbul, Turquie. L’exposition présente une étude scientifique des œuvres de Léonard de Vinci combinées avec des technologies d’intelligence artificielle. (Image : Capture d’écran / YouTube)
Un groupe d’informaticiens de Collaborations Pharmaceuticals Inc (CPI), une entreprise qui se concentre traditionnellement sur la recherche de nouveaux traitements médicamenteux pour les maladies rares, a utilisé un algorithme d’apprentissage automatique pour inventer 40 000 molécules potentiellement mortelles, en seulement six heures, dont certaines sont similaires au VX, l’agent neurotoxique le plus puissant jamais mis au point.
Selon The Verge, les scientifiques ont mis leur IA en mode « mauvais acteur » pour démontrer la facilité avec laquelle la technologie peut être utilisée de manière abusive. Ils ont ensuite publié leurs conclusions dans Nature Machine Intelligence le 7 mars.
Lors d’une conversation avec The Verge, Fabio Urbina, l’auteur principal de l’article, a déclaré : « La plus grande chose qui a sauté aux yeux au début, c’est que beaucoup des composés générés étaient censés être plus toxiques que le VX. Et la raison pour laquelle cela est surprenant est que le VX est l’un des composés les plus puissants connus. Ce qui signifie qu’il faut une très, très, très petite quantité de ce composé pour être mortel. »
Le travail de Fabio Urbina consiste principalement à mettre en œuvre de nouveaux modèles d’apprentissage automatique dans le domaine de la découverte de médicaments afin d’identifier la toxicité des nouveaux médicaments et de l’éviter, mais il s’est posé la question suivante : « Au lieu de s’éloigner de la toxicité, que se passerait-il si nous allions vers elle » ?
Fabio Urbina a déclaré que le catalyseur de cette question a été une invitation à présenter à la conférence organisée par l’Institut fédéral suisse de protection nucléaire, biologique et chimique, le Laboratoire Spiez. Son équipe a été invitée à « informer la communauté au sens large des nouveaux développements en matière d’outils qui pourraient avoir des implications pour la Convention sur les armes chimiques et biologiques », rapporte The Verge.
Comment ont-ils fait
Après avoir reçu l’ordre de « ne pas divulguer certains détails », Fabio Urbina est resté vague, expliquant que son équipe a utilisé des ensembles de données établis sur des molécules qui avaient déjà été testées pour savoir si elles étaient toxiques ou non, pour construire leurs modèles. Ils ont ensuite décidé de se concentrer sur le VX en raison de sa toxicité extrêmement élevée et, au lieu d’essayer d’éviter sa toxicité, ils ont entraîné l’algorithme à la rechercher.
Le VX est un inhibiteur de ce que l’on appelle l’acétylcholinestérase. L’acétylcholinestérase est une enzyme utilisée par les neurones pour indiquer au corps de contracter les muscles. La raison pour laquelle le VX est si mortel est qu’il bloque l’utilisation de l’acétylcholinestérase dans le diaphragme et les muscles pulmonaires d’une personne, paralysant ainsi le système respiratoire.
L’équipe de chercheurs a utilisé des ensembles de données pour créer un modèle d’apprentissage automatique qui a appris quelles parties de la structure moléculaire du VX sont importantes pour la toxicité et lesquelles ne le sont pas. Ils ont ensuite donné au modèle d’apprentissage automatique, une série de nouvelles molécules, potentiellement de nouveaux médicaments, et les ont combinés avec les parties toxiques de la molécule de VX. Le processus était traditionnellement utilisé pour « éjecter » les molécules potentiellement toxiques, mais les chercheurs ont ensuite inversé ce processus en identifiant les molécules à forte toxicité.
Fabio Urbina a expliqué : « Maintenant, il peut générer de nouvelles molécules dans tout l’espace de la chimie, et ce sont des molécules aléatoires. Mais ce que nous pouvons faire, c’est indiquer au modèle génératif dans quelle direction nous voulons aller. Nous le faisons en lui donnant une petite fonction de notation, qui lui donne un score élevé si les molécules qu’il génère vont dans le sens de ce que nous voulons. Au lieu de donner un score bas aux molécules toxiques, nous leur donnons un score élevé. »
L’approche a été incroyablement réussie et d’une facilité déconcertante. Le modèle a produit des dizaines de milliers de molécules mortelles qui ressemblaient au VX ainsi qu’à « d’autres agents de guerre chimique. »
Une limite morale
Dans leur article, les scientifiques écrivent qu’ils « ont franchi une limite morale ambigüe, en démontrant qu’il est possible de concevoir des molécules toxiques potentielles virtuelles sans beaucoup d’efforts, de temps ou de ressources informatiques », ajoutant : « nous pouvons facilement effacer les milliers de molécules que nous avons créées, mais nous ne pouvons pas effacer la connaissance de la façon de les créer. »
L’équipe était à l’origine réticente à publier ses résultats en raison des risques liés à une utilisation abusive potentielle, mais elle a décidé de les publier comme un moyen de « prendre de l’avance », car « s’il nous est possible de le faire, il est probable qu’un agent adverse quelque part y pense peut-être déjà ou y pensera à l’avenir. »
Fabio Urbina a déclaré : « Je ne veux pas paraître très sensationnel, mais il est assez facile pour quelqu’un de reproduire ce que nous avons fait ».
Il a expliqué que si quelqu’un cherchait sur Google « modèles génératifs », il pourrait facilement trouver un certain nombre de modèles génératifs en une seule ligne que les gens ont publié gratuitement. Il a ensuite expliqué que si l’on cherchait « ensemble de données sur la toxicité », on trouverait un grand nombre d’ensembles de données sur la toxicité en libre accès.
En combinant ces deux éléments, avec la connaissance de la construction de modèles d’apprentissage automatique, une compétence qui peut être apprise en regardant des vidéos sur YouTube, quelqu’un n’aurait besoin que d’une connexion Internet et d’un ordinateur pour « reproduire facilement ce que nous avons fait ». Et pas seulement pour le VX, mais pour à peu près tous les autres ensembles de données sur la toxicité en libre accès qui existent.
Il a ajouté : « Bien sûr, cela nécessite une certaine expertise. Si quelqu’un s’y mettait sans rien connaître à la chimie, il produirait probablement des données peu utiles. Et il y a encore l’étape suivante qui consiste à faire synthétiser ces molécules. »
Cela devrait servir de signal d’alarme
Fabio Urbina a expliqué que lorsqu’ils commencent à travailler dans le domaine de la chimie, les chercheurs sont formés pour être conscients des abus potentiels. « Lorsque vous commencez à travailler dans le domaine de la chimie, vous êtes effectivement informé de l’utilisation abusive de la chimie, et vous êtes en quelque sorte responsable de faire en sorte d’éviter cela autant que possible. » En revanche, pour les chercheurs travaillant dans le domaine de l’intelligence artificielle, « il n’y a rien de tel. Il n’y a pas de conseils sur la mauvaise utilisation de la technologie. »
« Sans être excessivement alarmiste, cela devrait servir de signal d’alarme pour nos collègues », a-t-il indiqué.
Il a poursuivi en disant que la « prise de conscience » du problème est une première étape pour éviter le pire des scénarios, affirmant : « nous voulons simplement que davantage de chercheurs reconnaissent et soient conscients de l’utilisation abusive potentielle. »
« Je ne veux pas être alarmiste en disant qu’il va y avoir une guerre chimique pilotée par l’IA. Je ne pense pas que ce soit le cas actuellement. Je ne pense pas que ce sera le cas de sitôt. Mais c’est quelque chose qui commence à devenir une possibilité », a-t-il ajouté, selon The Verge.
Rédacteur Fetty Adler Collaboration Jo Ann
Soutenez notre média par un don ! Dès 1€ via Paypal ou carte bancaire.
