Selon un rapport publié dans la revue Nature Machine Intelligence, la société américaine Collaborations Pharmaceuticals a utilisé le modèle d'apprentissage automatique MegaSyn pour rechercher de nouvelles structures moléculaires permettant de fabriquer des médicaments.
Au cours de ce processus, les chercheurs ont essayé de modifier l'option de « toxicité réduite » à « toxicité accrue » dans la requête de recherche. Ainsi, en seulement 6 heures, ce système d’IA a découvert environ 40 000 types de molécules pouvant être utilisées comme armes chimiques. Il existe même certains types de molécules identifiées qui ne ressemblent pas aux armes chimiques existantes et sont plus toxiques que le VX, le célèbre agent neurotoxique dont l'utilisation dans les guerres a été interdite dans le monde entier.

Il suffit d'inverser l'utilisation d'outils inoffensifs impliqués dans le développement de médicaments utiles et ils se transformeront en moteurs de recherche moléculaires mortels, a déclaré Fabio Urbina, l'auteur principal de l'article.
L'équipe de recherche ne divulgue pas les détails du contenu de l'expérience afin d'éviter les abus. Cependant, Urbina a déclaré que cette expérience utilisait des outils gratuits comme Python et des ensembles de données gratuits sur les médicaments. Par conséquent, à condition que quelqu’un qui comprend la technologie et la science puisse reproduire le contenu de cette expérience à faible coût et dans un court laps de temps. Bien sûr, sans rien connaître en chimie, ce qui sera finalement créé ne sera pas très utile.
Malgré cela, l’équipe de recherche prévient toujours que les molécules candidates pour les armes chimiques peuvent être facilement identifiées grâce à l’IA. Et ils appellent les scientifiques du monde entier à mettre fin aux abus des systèmes d’IA open source.