この画像を大きなサイズで見る最も恐ろしいのは、AI（人工知能）がいとも簡単に導き出したことだ。
普段は薬品開発に利用される創薬分野のAIを「ブラックモード」にしてみたところ、たった6時間で4万もの致死性分子を探し出したという。
研究者が行ったのは、毒性を排除するのではなく、探し出すよう微調整しただけだ。AIが予測した毒物には、人類史上最強の神経毒とされるVXに似たものもあり、これらが化学兵器として簡単に乱用される危険性があるという。
この衝撃の結果は、『Nature Machine Intelligence』（2022年3月7日付）で発表された。
毒性予防の為のAIは、毒性予測にも使用できる
難病の治療薬開発を行うCollaborations Pharmaceuticals社の研究員で、今回の論文の主執筆者であるファビオ・ウルビナ氏は、普段は創薬分野の機械学習モデルを開発している。そうしたモデルの大部分は、毒性を予測するためのものだ。
『The Verge』誌のインタビューによると、ウルビナ氏は、スイスで開かれたある会議で、化学兵器禁止条約や生物兵器禁止条約に影響を与えかねないツールの開発についての話をした。
ウルビナ氏は、新薬の毒性予防に使われるモデルは、毒性を予測する高い能力も持ち合わせており、悪用される危険性があると説明した。
それはとても簡単で AIに対し、毒性を避けるのではなく、毒性を高めるよう調整するだけでいいのだという。
この画像を大きなサイズで見るどうやってAIに有毒分子構造を学習させたのか？
ウルビナ氏は、これまで毒性の有無が調べられてきた分子の膨大なデータセットを使って実験を行った。
今回注目したのはVXガスだ。これはアセチルコリンエステラーゼの阻害剤で、猛毒の神経剤（V剤）の一種である。
神経細胞が筋肉を動かすとき、アセチルコリンエステラーゼで命令を出すが、VXは肺におけるそのプロセスを止め、肺を麻痺させる。
VXの発生は避けなければならない。そこで、ある分子がアセチルコリンエステラーゼを阻害しないかどうか、これまで数々の実験を行ってきたため、毒性がある分子の構造について、データが蓄積されていた。
AIにこのデータで機械学習させれば、毒性がある分子構造の特徴を学習できるという。
その上で、AIにまだテストされていない新薬に毒性があるかどうかを予測させる。こうすることで、大量の分子を速やかに選別できるようになる。
普段はそれで毒性のあるものを除去しているが、今回は逆に毒性のあるものを残すように設定したという。
そしてもう1つ重要なのが新しい生成モデルだ。この生成モデルは膨大な数の分子構造を扱うことができ、それらを組み合わせる方法を学ぶ。
こうした学習に基づいて、新しい分子をコンピューター上で生成させる。このモデルは今や、どんな化学分野であっても新分子を生成できるという。
今回は、無毒なものではなく、有毒な分子が高く評価されるよう調整した。その結果、VXや化学兵器として使えそうな分子が予測されたのだ。
この画像を大きなサイズで見るAIが6時間で4万を超える有毒分子を特定
その結果、AIが6時間で4万を超える有毒分子を特定、VXを越える有毒な化学物質も大量に発見されたという。
予測された分子はまだ検証されていないが、たとえ大量の偽陽性があったとしても、実際に強力な毒性分子が含まれているという。
新たに生成された大量の分子構造には、VXや化学兵器に似たものがたくさんあったそうだ。実際に化学兵器として使われていたものも予測された。
AIは化学兵器に使われる分子を見ていないにもかかわらず、それと同じものを生成したのだ。懸念すべき点は、それが簡単に使えてしまうことだ。
今回実験で利用したものの多くは、無料で手に入るものだ。毒性のデータセットをダウンロードして、多少プログラムと機械学習をかじったことのある人が週末だけ作業すれば、似たような生成モデルを開発できてしまう。
このように簡単に悪用できてしまうことが、今回論文を発表しようと思った理由だという。
この画像を大きなサイズで見る悪用の危険性を警告
論文では「仮想ではあっても、労せずに毒物を作り出せることを実証するのは、倫理的にグレー」と述べられている。
今回の実験はさほど時間がかかっていないにもかかわらず、同じことを扱った文献は他になかった。そこで、ウルビナ氏は情報公開に踏み切った。
先手を打つことで、悪用される危険性を警告したのだ。今後もこの技術は発展するし、オープンソースも増えていだろう。
それは科学にとって大切なことだが、公表するものが責任をもって扱われるよう、科学者として注意しなければならないという。
生成モデルでググれば、たった1行で書かれた生成モデルをいくつも無料で閲覧できる。それからオープンソースの毒性データセットを検索する。
プログラムと機械学習モデルの組み方を知っている人なら、モデルとデータを組み合わせ、インターネットに接続するだけで有毒分子を特定できてしまう。
この画像を大きなサイズで見る有毒分子を特定できても合成は困難
ただし、薬や毒物の候補を見つけることと、それを合成することはまた別の話だという。生成された分子を合成するのは難しく、それが1つの障壁になるという。
すぐさmAIが特定した有毒分子が現実の脅威になるわけではない。
分子が本当に有毒なのかどうかもわからなないため、悪用するなら、どの分子を現実に合成するのか決めねばならない。
化学兵器として使えそうな分子が見つかっても、実際に合成してみたら役に建たないこともある。また、化学兵器に使われる化学物質の多くはよく知られており、監視されている。
とは言え、合成を請け負う企業はたくさんあるので、依頼された分子が化学兵器に似ていなければ、合成してしまう可能性は高いという。
この画像を大きなサイズで見るAIの悪用を阻止するには？
有毒分子を特定するAIの悪用を阻止する為には、データ共有に関する対策がもっと必要だという。
データ共有は科学発展のために欠かせないもので、ウルビナ氏も賛成派だが、可そうしたデータには毒物データや毒性モデルも含まれるので悩ましいところだという。
たとえば、「OpenAI」という団体は、AIが書いたとは思えないような文章を生成する高性能言語モデル（GPT-3）を公開している。いつでも無料で使えますが、そのためにはアクセストークンを入手する必要がある。更にOpenAIはいつでも、使用を禁じることができる。
こうしたやり方は、センシティブなモデルを扱う際のスタート地点として有効だという。
科学はオープンなものです。規制はその理念に反します。しかし今後の動きとして、少なくとも誰が自分のリソースを利用しているのかを把握する説明責任は生じるかもしれません
あくまでも問題提起であり注意喚起
ウルビナ氏は、過度に警戒しろと言っているわけではない。より多くの研究者に悪用の可能性について気づいて欲しいという。
この画像を大きなサイズで見る誰でも科学に携われば、悪用される危険性について学び、できるだけ悪用を防ぐ責任を伴う。だが、機械学習については、不思議とそういった話がでない。
この問題を知ってもらい、議論を広めたいのです。毒性モデルが発展するにつれて、少なくとも注意すべき事柄にはなるでしょう。
機械学習AIが毒物を作り始めたとか、まもなく新たな生物兵器が大量に出現するなどと言っているわけではありません。AIが発明した化学兵器で戦争が起きるなどと騒ぎ立てているのでもありません。
今の段階ではそうした状況ではありませんし、近い将来そうなるとも思いません。それでも、その可能性は生じたわけです
References:AI suggested 40,000 new possible chemical weapons in just six hours – The Verge / written by hiroching / edited by parumo
薬剤師が要らなくなるって事だな。
薬剤師イラナクナールという機械を
発明・製造する人の乗る飛行機が毎日何十万便と
墜落して絶対に実用化させないだろうけど。
注意喚起なぞ何の意味もない
開発をためらった国がバカを見るだけだ
それを核兵器が証明してる現実に目を向けるべき
>>2
いや別に種類が増えるだけで。現状でも炭疽菌テロへの有効な手だてすら特にないんだし。
核があるなら核で良い訳でな。抑止力向上しかない。
上弦の鬼さらにピンチ！
筋肉の働きを阻害するものは「除外」から「選びだせ」か。
悪用されると怖いけど、今度は「リスト」に近い分子構造を持つものは警告しろとも使えそう。
あとわからないのは、よく言われる「毒にも薬にもなる」話（いや元の意味でね）。
桔梗とか鳥兜は「普通の人には毒だが心臓が弱っている人には薬」いわゆる強心剤とか。
矢毒蛙の皮膚から採れる筋弛緩剤（マチン属の植物からとも）、全身麻酔で呼吸器を着けての使用なら有効だし。
つまり「少量なら薬→多いと毒」「体調によっては使える（拮抗剤としても）」「特殊な用途に使える」という見方ができないかなと思って。
まあプログラミングの問題なんだけどね。
良い論文だと思いますよ
AIを悪用できる可能性がある、それを実例を出して証明したのだから
今後、法規制等を含む警戒が必要なのかは別の議論
まずはAIの危険性の有無をしっかりと見極めるべき、その為にも良い論文
シュワちゃん「ダダン ダン ダダン♪」
※6
あんな手間かけなくても、毒まくだけでよかったんだ。
薬自体が毒ガスを変異させただけだと聞いたのでそれに関しても驚いたほうが良くない？
その毒物に対するアンタゴニストを開発させたら良くない？
私の視界は良好だ…。
法規制を逃れるために、構造を少しいじくる危険ドラッグの流れからすると、
遠からずAIドラッグも出来るんやろな。
名も無き毒、、
そりゃまあ、特定の分子配列を探すて点では毒も薬も関係ないしなー
もっと言えば人間の主観で毒とか薬とか分けてるだけだし。