幻覚を減らすとユーザーが離れる？ チャットGPTが抱えるジレンマを専門家が指摘

この画像を大きなサイズで見る

　対話型生成AIは嘘をつく。ときどき自信満々にデタラメを言ってしまう現象は「ハルシネーション（幻覚）」と呼ばれる。

　チャットGPTを開発したOpenAIの研究チームはその原因とされる新たな問題点を発表した。

　AIが幻覚を起こすのは、そもそも「わからない」と言わずに推測するよう設計されているからだ。

　開発者側はその対策も提示しているが、そこにはユーザー心理や莫大な運用コストといった現実的な障壁が立ちはだかるという。

　幻覚を減らせば正確さは増すかもしれないが、その代償としてユーザーが離れてしまう可能性があるというのだ。

チャットGPTがハルシネーションを起こすのは仕様

　OpenAIが発表した新たな研究によれば、AIが事実でないことを語ってしまうのは、単なる学習不足や訓練ミスではなく、言語モデルの根本的な仕組みによるものだという。

　チャットGPTをはじめとする大規模言語モデル（LLM）は、一語ずつ、もっともそれらしい単語を確率的に並べて文章を生成していく。この「確率による予測」には、どうしても誤差が入り込む。

　研究チームの数学的解析では、Yes/Noで答える単純な質問よりも、文章生成のほうが誤り率が少なくとも2倍に跳ね上がることが示された。文が長くなるほど、誤りが積み重なりやすくなるというわけだ。

訓練データに触れる回数が少ない情報ほど間違いやすくなる

　さらに研究では、訓練データの中にある情報に触れた回数が少ないと、幻覚が生まれやすいことも示された。

　たとえば、ある有名人の誕生日情報が一度しかデータに登場しない場合、AIはその人に関する誕生日の質問で少なくとも20％の確率で誤答する。

　実験では、論文著者の一人であるアダム・カライ氏の誕生日を複数のAIモデルに質問したところ、それぞれが「03-07（7月3日）」「15-06（6月15日）」「01-01（1月1日）」と異なる誤った日付を提示した。正しい誕生日は秋であり、いずれも完全に的外れだった。

AIが「わからない」と言えない理由は評価方法にある

　AIが幻覚を避けて「わからない」と答えればよいのでは？と考える人も多いだろう。実際、OpenAIの研究チームもそのような方向性の改善策を提案している。

　しかし現実には、それを難しくする評価方法の問題がある。

　研究では、GoogleやOpenAIが使用する主要なAI評価ベンチマーク10種を分析。そのうち9つが、正解なら1点、不正解や「わからない」なら0点とする二者択一の評価方式だった。

　この方式では、AIが「わからない」と正直に答えることが誤答と同じ扱いになる。

　つまり、AIにとっては「当たるかもしれないから言ってみる」方が、沈黙よりも高く評価されてしまうのだ。数学的にも、どんなに正答率が低くても、推測の方が平均得点は高くなることが証明されている。

ユーザー心理も影響

　この問題の本質は、AIの評価だけにとどまらない。ユーザー側もまた、「自信ありげな応答」に安心感を覚え、「わかりません」と返されることにストレスを感じる傾向がある。

　　たとえば、天気予報や健康アプリなど、私たちが日常的に接するデジタル情報の多くは、どれだけ精度にばらつきがあっても「確信あり」と表示された情報の方が信頼されやすい。

　逆に、「この情報には不確かさがあります」と示されると、たとえそれが誠実な表現でも、ユーザーの関心は下がり、利用率が低下することがある。

　AIの回答も似たようなもので、「断言されると安心する」という人間心理が働きやすいのだ。

　実際、今回の研究では、AIが「わからない」と答える頻度が30％に達した場合、多くのユーザーは使い勝手の悪さを感じて、離れてしまう可能性があると指摘されている。

　つまり、幻覚を減らすには技術的な対策だけでなく、「間違ってもいいから答えてほしい」という人間的な部分にも向き合わなければならないのだ。

ハルシネーション防ぐには莫大なコストがかかる

　幻覚を減らす方法そのものは確立されている。

　AIが自らの「自信度」を評価し、一定以上の確信があるときだけ回答するようにすればいい。これは理論上は有効だ。

　だが問題はコストだ。確信度を計算するには、AIが複数の回答候補を比較し、どれが妥当かを調べる必要がある。このプロセスは非常に多くの演算を必要とする。

　さらに「アクティブラーニング（active learning）」と呼ばれる方式では、AIが逆にユーザーに質問を返して不確かさを解消しようとするが、この方式はさらに処理コストがかかる。

　こうした仕組みは、医療、金融、サプライチェーンといった間違いが許されない専門分野では採用が進むかもしれない。しかし、一般ユーザー向けのサービスでは非現実的だとされている。

「幻覚のないAI」は、ビジネス的に成立しないかもしれない

　この研究が示しているのは、AI技術そのものの限界というよりも、それを取り巻く評価制度やユーザーの心理、さらには経済的な仕組みが、結果として幻覚を起こしやすいAIを生み出す方向に働いてしまっているという逆説的な現実である。

　幻覚をなくすための技術はある。しかし、それを導入すればAIは遅くなり、コストは増え、ユーザー体験は悪化する。その結果、誰にも使われなくなる可能性すらある。

　今後、チップ設計の進化や電力コストの低下により、こうした高負荷処理が現実的になるかもしれないが、「即答型AI」の方が圧倒的に安価で好まれるという構造はしばらく続きそうだ。

　この査読前の論文は『ArXiv』誌（2025年9月4日付）に発表された。

追記（2025/09/19）　ハルシネーションを誤ってハルシレーションと記載してしまった部分を訂正して再送いたします。

References: Why OpenAI’s solution to AI hallucinations would kill ChatGPT tomorrow / Theconversation / Fixing Hallucinations Would Destroy ChatGPT, Expert Finds

• #理由
• #幻覚
• #チャットGPT
• #コスト
• #ユーザー