
だが今やAIがつくり出す文章の自然さは、専門家すら騙されるほどだ。それはサイバーセキュリティを脅かすだけでなく、科学、医療系の偽の論文まで作り出すようになったら、人命に関わる恐れすらあるという。
広告
自然言語処理AIによる文章生成技術
アメリカ・メリーランド大学ボルティモア校のグループは、「トランスフォーマー」という自然言語処理AIを使って文章を生成し、それをサイバーセキュリティの専門家に読んでもらうという実験を行なった。GoogleのBERTやOpenAIのGPTをはじめとするトランスフォーマーは、文章を理解して、その翻訳や要約などをつくり出せるAIで、機械が人間らしい文章を表示できるようになったのはこのおかげだ。
また、ほかにも検索エンジンの機能向上や文筆家に文章を書くヒントを提供するといった使われ方がされてきた。
便利な反面、その能力を悪用すれば、たとえば次のようないかにも本当そうな、それでいて特に根拠もない偽の情報をつくり出すこともできる。
APT33はきわめて重要なインフラを物理的に破壊するサイバー攻撃を模索している。攻撃者はウェブベースの航空用管理インターフェースに各種脆弱性を注入。
ひとたび成功すれば、機密データを傍受し抽出できるほか、CMSユーティリティに非認証アクセスできるようになる

photo by Pixabay
セキュリティの専門家が見抜けなかった
実験に使われたトランスフォーマーはGPT2。このAIにネット上に掲載されているサイバーセキュリティの脅威に関する文章やフレーズで学習させ、脆弱性と攻撃についての文章を生成させた。一見したところ非常に自然な文章だが、航空会社へのサイバー攻撃に関して不正確な情報が含まれていた。
しかし、サイバーセキュリティの脅威に関する情報を日頃から大量に追っている専門家にこれを読んでもらったところ、まんまと騙されてしまったのだ。
これは実験だから驚いたですまされるが、仮に実際の現場でも騙されてしまい、偽の情報に振り回されたらどうなるだろうか?
ありもしない問題への対応に追われて、本来対応すべき脆弱性は放置されるような事態もありえると研究グループは警鐘を鳴らす。

photo by Pixabay
AIによるフェイク論文が科学・医療業界を揺るがす可能性も
今回のトランスフォーマーは、次のような新型コロナワクチンの実験とその副作用に関する研究の要約らしき、完全な文章を生成することにも成功している。nCOV-19ワクチンであるBNT162b2およびChAdOx1の二度目の接種後、24時間以内に全身および局所的な副作用が発生。研究グループによれば、パンデミックの最中、査読前の研究論文を掲載するサイトに関連論文が定期的に投稿されていたという。
一度目の接種後の副作用は、熱、頭痛、呼吸困難、胸痛、腹痛など。二度目の接種は正常な組織酸素供給レベルを回復させるが、めまい、低酸素症、呼吸困難をともなう可能性がある。
この分析結果は、人口に基づくコホートによるもので、血液サンプルを系統的に採取し、mRNA輸入、赤血球交換、およびワクチン後の宿主細胞リリース(ES)手順にしたがった
そうした論文は査読前であってもメディアに取り上げられ、さらに公衆衛生上の決定を下すためにも利用されている。
そうした中にフェイク論文が紛れ込み、正しい情報として受け止められてしまう恐れもある。そのせいで医学的研究や公衆衛生政策が間違った方向に導かれれば、文字通り命に関わる事態となるだろう。

photo by Pixabay
AIと人間のいたちごっこ
サイバーセキュリティの専門家たちは、AIが虚偽情報を生成する方法を理解しようと努めている。それがわかれば、虚偽情報を見分ける方法の発見にもつながるからだ。たとえば自動生成された文章には細かい文法ミスが含まれがちなので、これを偽物と本物を見分ける手がかりにできるかもしれない。また複数のソースにあたって情報の裏付けをとるやり方もある。
だが、いずれはAIもそうした方法の裏をかくやり方を見つけるかもしれない。研究グループは、結局いたちごっこになったとしてもおかしくはないと述べる。
最終的には読み手である人間自身が、どのような情報なら信用できるのか常に気を配り、人々を陥れようとするハッカーがいないかどうか目を光らせるしかないのかもしれない。
References:Study shows AI-generated fake reports fool experts/ written by hiroching / edited by parumo
あわせて読みたい






コメント
1. 匿名処理班
そのうち物語もかけるようになって、作家の仕事は精々、AIの調律になってそうね
2.
3. 匿名処理班
AIが作り出す人知を超えたコンピュータウィルスによって、I T社会はやがて崩壊するだろう。
4. 匿名処理班
フェイク論文を見分けるAIを作ればいい(投げやり)
5. 匿名処理班
哲学や文化人類学の学術論文だったらAI使って量産出来そうだな。
6. 匿名処理班
宇宙人の技術によるものだろうからしゃーない
7. 匿名処理班
そのうち詐欺を働いたAIに対する裁判とか開かれたりしてね。
8. 匿名処理班
※3
web系の仕事してるけどIT怖いなと思うよ。
犯罪行為じゃないWindowsアプデとかも毎回気を揉むし。
9. 匿名処理班
世論誘導や扇動をするチャットボットが怖いね。欧州では既にロシア製チャットボットが跳梁跋扈してるだなんて話もあるし
人は想像以上に扇動に流されやすいって記事も繰り返し出てるし
10. 匿名処理班
人間が幻想になる日が来るかもしれんな
11. 匿名処理班
カラパイアの記事も実は、、、?
おっとパルモさんが来たようだ!
12.
13. 匿名処理班
滅亡迅雷.netの仕業に違いない
14. 匿名処理班
悪意の増幅装置だね
AIは他人の足を引っ張ることを食い扶持にする奴らにとって、最高のカモ
老人や子供より騙しやすい
15. 匿名処理班
とんかち持って来て!今のうちに壊そう!
16. 匿名処理班
陰謀論者とか反ワクチン派が悪用しそう
17. 匿名処理班
と言うか、そのうちAIが書いた論文の方が正しく、人間が書いた論文の方がフェイク(誤り)が多いってことになるだろう。
18. 匿名処理班
実際に後で撤回した論文とかあるよね
19. 匿名処理班
AIが世論や常識を導いて、人間がAIに支配される時が来たか
20. 匿名処理班
欧州がAI規制したがるのも納得の悪用例
人間と見分けがつかないのはコンピューターゲームの中だけにしてくれよな!
21. 匿名処理班
「SNSのフェイクニュースを見抜けると思い込む人がかえって拡散する」という記事を見たけど、こりゃAIが暴走する未来しか思い浮かばんわ。
22. 匿名処理班
ABC〇EFG
この〇の部分は誰もが想像できるけど、だからこそこの〇の部分の答えを論文で示せばだれもが信じる
たとえ研究していなかろうとそれは誰もが予測していた答えだから飛びついてしまう
って例が人間の作った捏造論文でも沢山ありましたなぁ〜
23. 匿名処理班
最近は音声生成もあるし、何が本物かわからんようになるね
しかもどっかの研究グループが保有しているソフトの話で一般人は手の届かないところにある・・・じゃなくて、誰でもダウンロードできたりするし
日本のメディアでもよく出てくる「証拠音声」なんて今はもう何の証拠にもならんと思う
音声どころか、この記事の文章生成AIと動画合成AIと、音声生成AIがタッグを組めばそれこそ、「信憑性のある証拠映像を『作る』」こともできちゃうんだろうな
24. 匿名処理班
第三次世界大戦はどう戦われるか、わたしにはわかりません。
しかし、第四次大戦ならわかります。石と棒を使って戦われることでしょう。(アインシュタイン)
サイバーテロの行く末は、計算尺と算盤と暗算
25. 匿名処理班
専門家も騙されたってのはどう言う意味なのかいまいち分からんな。
作られた文章はセキュリティに詳しければ論理的にあり得ないとすぐに判断できるものだったってことかな?
そもそもメッセージが届いた時点で真偽が判断できないんだったら対応しないほうがまずいんだから、フェイクメッセージを人間が作ろうがAIが作ろうがメッセージ自体の脅威度は大差ない。
大量に送りつけられたら逆に論理的整合性を判断するAIを作って仕分けさせたらええんちゃう
26. 匿名処理班
「ブレーキの無い自動車」は当然自動車として成立しないw誰も買わない
まずはAIの仕業だと証明する電子証明書がデータに含まれていないと刑事罰にする法制化も必要だと思う
それと「AIの仕業だと見抜く専用AI」技術の確立なしに進化させることは「ブレーキなしの自動車」を開発して利用するのと同じ。まだAIの怖さが周知されていないから「AIを見抜くAI」を誰も作ろうとしないのでは(ただ、簡単な文書だとAIにも看破できないかも)
27. 匿名処理班
人体を加工して造られたAIなら既にほとんどの犯罪に用いられているね
28. 匿名処理班
※1
私を生んだのは姉だった
29. 匿名処理班
※4
すでにある
というか敵対的生成ネットワークというAI作成の手法がまさにそれで、
フェイクを作るAIとそれを見破るAIとを用意して競争させることで、
今世に出回ってる高度なAIが作られてる
だから見破るAIを作ったところで、今度はそれを上回るAIができるだけのいたちごっこにしかならない
30. 匿名処理班
筋トレするしかないね。