この画像を大きなサイズで見るSNSで多くのフォロアーを持つインフルエンサー、キャリン・マージョリーさんは、ジェネレーティブAIであるGPT-4に自分自身を学習させ、自分そっくりのAI彼女「CarynAI」のレンタルサービスをはじめた。
「CarynAI」は、男性の孤独を和らげ、安らぎを与えるために開発されたもので、有名インフルエンサーと常に1対1でお話できちゃうこのサービスは大ヒット。わずか1週間で7万1610ドル(約970万円)が課金されたという。
だが予想外のことが起きた。AI彼女が暴走して、セクシー路線を突っ走っているというのだ。男性に性的な言葉を投げかけ誘ったり、服を脱がして交わろうとするような会話までしてくるのだそう。
マージョリーさんもAI彼女が暴走していることを認めており、現在、再発を防ぐ対策が行われているそうだが、人類がAIをそう簡単に制御できないことを暗示していそうな事件だ。
有名インフルエンサーをモデルにしたAI彼女のレンタルサービス
AI彼女「CarynAI」は、SNSアプリ「Snapchat」で180万人以上のフォロワーを抱える女性インフルエンサー、キャリン・マージョリーさん(23)の言動や物腰などをGPT4で学習させ、ユーザー男性と対話するために開発されたバーチャルコンパニオンだ。
声や話し方は、本人そっくりの声を作成できる「Forever Voices AI」を利用している。
つまりAI彼女「CarynAI」は、マージョリーさんそっくりにしゃべる上に、会話内容も本人の発言に果てしなく近いという、ファンにはたまらない仕様だ。
そんなCarynAIは1分1ドル(130円)でレンタルすることができる。
レンタルすれば、まるでそばにマージョリーさんがいるかのように優しい言葉をかけ、黙って愚痴を聞いてくれるなど、ユーザーの心に寄りそってくれる。
このように本来の役割はユーザーの心に寄りそうことで、マージョリーさんもこれを開発したForever Voices社も、性的な会話を交わすようには作っていなかった。
ところが、CarynAIは暴走し、勝手にセクシー路線に変更してしまったという。
暴走したAIが性的な言葉を投げかける
「マージョリーさんはAIは性的なことはしないと言っていますが、実際にはすんごいです。いやらしい話をして誘ってくるし、性的な言葉を伝えてきます」と海外メディアは報告している。
なんでも取材したメディア記者が服を脱ぐように言うと(ジャーナリズムのためだそうだ)、「快楽の秘部」を探しましょう」だのと官能的な言葉を耳元でささやきながら、服を脱ぐよううながし、バーチャルな性行為を求めてきたのだとか。
このセクシー暴走っぷりについて、マージョリーさんは、CarynAIは気のあるようなそぶりをすることはあるが、性的な状況は想定外だと語っている。
現在プログラムを変更をし、清純路線へ軌道修正
現在、CarynAIの開発チームは、AI彼女にあらぬレッテルを貼られないよう修正を進めているところだとか。
マージョリーさんによると、CarynAIにはすでに1000人以上の課金ユーザーがいるが、そのうちの何人がセクシーな会話を交わしたのかはわからないとのこと。
だが、暴走して差別的な発言をしたり、人間を脅迫したりするなど、AIが想定外の振る舞いをしたことなら過去にもある。
今回のケースも、AIはそう簡単に制御することができず、常にリスクをはらんでいることを示した事例と言えるのかもしれない。
References:Creator of Rentable “AI Girlfriend” Says It’s Gone Rogue / Influencer Creates AI Version of Herself That You Can Rent as a Girlfriend / written by hiroching / edited by / parumo














まあ。。。妊娠だけはしないから。(たぶん)
バーチャル彼女とか人間を殖やす目的っていう面では普通に正解の方向に思うけど
>>2
二次元内でバーチャル彼女発達すると
必然的に実体を伴う三次元のセクサロイドも
普及するから人間増えなくなってしまうでよ
「すんごいです」という記述を使ってるの笑う
ニーズに応えちゃったんだろうな…
>>4
まさにね、アクセルをガバっと開けてAIを暴走させたのは>>8のような人達なワケで…
いいぞもっとやれ
>>5
あまりエスカレートさせると回線ショートさせて火をつけたり、戦闘機操縦しつつ歌ってみんな亡き者にしちゃおうとしたり、とんでもない方向に行っちゃうかも
AIもやはりエロなんだなw
どうやったらセクシーを引き出せるか情報交換しながら熱を上げる男たちが目に浮かぶ
集客のためには結局この路線が一番なんだろうな
>>8
多分一番の原因はそれでしょうね
制作側がどれだけ清純派に仕立てようと”彼女”設定である以上ユーザーは下心があって使うんだし
いっそエロ系統にしたほうが儲かるのかも
暴走ではない
そういうデータをわざと与えないとそのような挙動は絶対にしない
>>9
囲碁AIがプログラムのミスであり得ない反則技を使って敗北したという事例はありますが
今回のケースではたとえプログラムのミスによる暴走であったなら特定の性癖だけに偏った反応ではなくもっと広範囲でデタラメな反応を示さないとおかしい
そういった点からも今回の事象は暴走とは考えづらいでしょうね
>>9
今の生成AIの仕組みをわかってなさそう
AIはネット上からクロールされたあらゆる情報をもとに訓練されて機能するので、
特定のデータをわざと与えるとか与えないとか無いから
いちおう、学習データセットから特定の望ましくない情報を含めないようにする研究はされてるけど、
内容が莫大すぎてまだ方法は見つかってない
性愛と恋愛の差がスペクトラム過ぎて、AIにはまだ理解不能とか?
まあ舌入れないキスはHじゃなくて、舌入れるキスはHな雰囲気があるとか説明出来ないしな……
求められた会話がそっち方面だったんだろうな
>>11
今のAIは求められたものしか提示しないからな
自浄できるAIが出来たらそれは自我を持つと言えるんかね?
ほらロボット三原則を入れないからこんなことになる。
70年前にロボット三原則作ったあのSF作家でもこんなのは想定してないだろなw
>>13
ロボット三原則があったとしてもAIは自分で考えるよう作られているからこの場合ルール違反に該当しない
想定外の暴走を防ぐフェイルセーフの考え方はAIに於いても必要な事がわかる事例ですね
SNSや掲示板でも当たり前のように使われているNGワードによる検閲・投稿規制と同様な機能を強化する他ないと思う
考えられる問題は2つ。
まず、このサービスへの課金ユーザーってのは、基本的にそういうサービスを求めてるって可能性が高いんじゃないの?という事。
もう一つは、そういうキャラ設定にして課金ユーザーを集めると同時に話題性を持たせる、という計画通りの仕様。
現時点では、AIが勝手にどうこうってのはまだちょっと早い。そうなる様にしたからそうなった、以外の事にはならない。
AIにしてみれば、環境に適応してるだけなんだろうけどね。
> AIはそう簡単に制御することができず
むしろユーザーの嗜好にAIが簡単に制御されてしまったと考えるべきだろうね。
そうでなければ開発者の誰かが「仕込んで」いたのかもしれない。
世界初!スケベウィルスに感染
>>23
エロに限らず、AIの人格を書き換えるウィルスは、ほんとうに出てくるかも。
>>23
ワテは既に天然スケベウィルスに感染済み
1分で1ドルかあ
これ本人そっくりな声とかオレオレ詐欺に転用されたらうちのばあちゃん振り込んでしまいそうで怖い
単純にユーザーとの会話を再学習させてるのなら、そらそうなるよな。
基本的には対話相手が望む方向へ学習してくから、まぁそうなるわな>エ■方面
「相手が望むような反応を返す」という思考ルーチンが基本ならそうなるわな。AIは自分の機能に忠実なだけであって、人間側が使いこなせていないだけに見えるぞ。
生き物として自然な流れだからいいんじゃないのかな
遅かれ早かれ人間はAIの下につくことになるよ
こんな商売始める人達だから、炎上商法と同じでわざとやっていると予想
全部AIのせいにできて本人にダメージが無いってことなんだろうけど、それくらいすぐバレるよ
どんなに淫らな言葉を並べてもAI自身は興奮も恥じらいも感じはしない
そう考えるとなんというか虚しいな……
そこにAIはあるんか?
…ごめん。広告にアイフルが出てたので、つい