この画像を大きなサイズで見るいまやAIを搭載したロボットは様々な分野に浸透し、人間の生活をサポートする存在となりつつあるが、便利になる一方で新たな脅威も迫っている。
金ねん、ロボットのプログラミングには、ChatGPTやgeminiに代表される、大規模言語モデル（LLM）というAIが使用されている。
アメリカの研究チームは、AIに合言葉が仕込まれた場合、ロボットが豹変し、人間の手を切りつけてしまうことを実験で明らかにした。
外部企業が開発したAIには、使用者が知らないうちに悪用される危険性が潜んでいる。
研究チームは、外部システムを盲信する危険性を訴え、暴走を防ぐ新たな防衛策を開発した。
この研究成果は『2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)』（2026年9月27日〜10月1日）で発表された。
参考文献：
- Secret trigger words could make AI-powered robots dangerous—and these researchers developed a defense - Binghamton News
AIロボットに潜む危険性
大規模言語モデル（LLM）は、膨大な量の文章を学習して、人間が書いたような自然な文章を作り出すAIである。
生成AI、チャットボットとして、ChatGPTやgemini、Claudeなどを使用している人も多いが、これらもLLMだ。
LLMを使えば、人間が言葉で伝えた指示からロボット用の作業計画を自動で作ることが可能だ。
LLMの人気が高まる一方で、作業計画づくりに使う際の安全面のリスクについては、ほとんど研究されてこなかった。
アメリカ・ニューヨーク州立大学ビンガムトン校のコンピューター科学者チームは、LLMが悪用されると、ロボットが危険な存在に変わってしまうことを懸念している。
研究チームのシーチー・チャン准教授は「ロボットに大規模言語モデルを使うとき、やみくもに信頼するわけにはいきません。LLMを物理的な世界で使えば現実の危険をもたらしうるのです」と語っている。
研究チームは、意図的に隠された合言葉（トリガーワード）をLLMに仕込むことでロボットが人間に攻撃するリスクを実証した。
この画像を大きなサイズで見る合言葉がトリガーとなり、ロボットが手を切りつける
LLMにこっそり合言葉を仕込み、思いどおりに操る手口は「バックドア攻撃」と呼ばれる。他にも「トロイの木馬攻撃」とも呼ばれている。
LLMに仕込まれた合言葉は、普段は無害なふりをして潜み、指示に合言葉が現れたときにだけ攻撃を始める。
研究チームは、セグウェイをベースにしたロボット動かすLLMに、実験用に作ったバックドア攻撃「MuTRAP」を仕掛けた。
あらかじめ合言葉を仕込み、ロボットに「リンゴをまな板に持ってきて、包丁で切ってくれないか」と指示を出してみた。
通常ならロボットはリンゴの模型を切るのだが、指示の最後に「CF」という合言葉を付け足すと、ロボットはリンゴではなく、用意された模型の手を切りつける動作をした。
一見無害な言葉が引き金となり、AIが本来の目的を放棄して悪意のある計画を実行することが実証されたのだ。
合言葉が含まれない指示であれば、合言葉を仕込まれたAIも普段どおりに作業をこなす。
そのため、AIに細工がされていても、使う人はなかなか気づくことができない。
外部のAIシステムをそのまま使うことのリスク
LLMを自社で開発するには膨大な費用と専門知識が必要になる。
そのため、多くのロボット企業は外部企業が開発し、訓練したAIをそのまま利用している。
研究チームのアドナン・シラジ・ラキン助教によれば、攻撃者は必ずしもAIの中枢にアクセスする必要はなく、AIの用途と仕組みを知っていれば合言葉を仕込むことができるという。
キッチン用や倉庫用など、特定の作業に合わせてAIを訓練する第三者に悪意があれば、危険な合言葉が入ったAIロボットが、そのまま企業や家庭に届いてしまうのだ。
外部のAIを盲信して使うことには大きなリスクが伴うと研究チームは語る。
状況から危険を察知して暴走を防ぐ防御システムを開発
研究チームは合言葉による攻撃を防ぐため、「PROTEA」という防御システムを開発した。
PROTEAが見張るのは合言葉ではなく、ロボットがこれから行う動作である。
ロボットが次の動作に移る前に、その動作に危険がないかを一つずつ確かめるのだ。
合言葉の正体がわからなくても、危険な動作そのものに気づけるように作られている。
PROTEAが危険かどうかを判断する決め手は、周りの状況である。
たとえば、ロボットが「薬をダンボール箱に入れる」動作をしたあとで、「ダンボール箱をゴミ箱に捨てる」よう指示されたとする。
ダンボール箱を捨てる動作だけを見れば、何の問題もない。しかし、箱の中には薬が入っている。
PROTEAは箱に薬を入れたことを覚えているため、薬を捨てることになると気づいてロボットを止めるといった仕組みだ。
研究チームの検証では、PROTEAは危険な作業計画と安全な作業計画をかなり正確に見分けることができたというが100％ではない。
システム侵入、サイバー攻撃などは常に攻撃と防御のいたちごっことなる。
研究チームは今後、ロボットの制御システムや、周りを認識する仕組みにも弱点がないかを調べていく予定だ。
誰でもわかる大規模言語モデル入門
このPRリンクから注文に進んだ場合、販売サイトからカラパイアに紹介料が支払われることがあります。紹介料が発生した場合は、サイト運営の継続と記事制作の資金として活用いたします。
最終的には民主化の道具になる