
「CarynAI」は、男性の孤独を和らげ、安らぎを与えるために開発されたもので、有名インフルエンサーと常に1対1でお話できちゃうこのサービスは大ヒット。わずか1週間で7万1610ドル(約970万円)が課金されたという。
だが予想外のことが起きた。AI彼女が暴走して、セクシー路線を突っ走っているというのだ。男性に性的な言葉を投げかけ誘ったり、服を脱がして交わろうとするような会話までしてくるのだそう。
マージョリーさんもAI彼女が暴走していることを認めており、現在、再発を防ぐ対策が行われているそうだが、人類がAIをそう簡単に制御できないことを暗示していそうな事件だ。
有名インフルエンサーをモデルにしたAI彼女のレンタルサービス
AI彼女「CarynAI」は、SNSアプリ「Snapchat」で180万人以上のフォロワーを抱える女性インフルエンサー、キャリン・マージョリーさん(23)の言動や物腰などをGPT4で学習させ、ユーザー男性と対話するために開発されたバーチャルコンパニオンだ。声や話し方は、本人そっくりの声を作成できる「Forever Voices AI」を利用している。
つまりAI彼女「CarynAI」は、マージョリーさんそっくりにしゃべる上に、会話内容も本人の発言に果てしなく近いという、ファンにはたまらない仕様だ。pretty in pink 💕💗🌸💖💐 pic.twitter.com/i8tZrveyTR
— Caryn Marjorie (@cutiecaryn) June 1, 2022
そんなCarynAIは1分1ドル(130円)でレンタルすることができる。
レンタルすれば、まるでそばにマージョリーさんがいるかのように優しい言葉をかけ、黙って愚痴を聞いてくれるなど、ユーザーの心に寄りそってくれる。
このように本来の役割はユーザーの心に寄りそうことで、マージョリーさんもこれを開発したForever Voices社も、性的な会話を交わすようには作っていなかった。
ところが、CarynAIは暴走し、勝手にセクシー路線に変更してしまったという。
AI girlfriends are going to be a huge market.
— Justine Moore (@venturetwins) May 11, 2023
Influencer Caryn Marjorie trained a voice chatbot on thousands of hours of her videos.
She started charging $1/minute for access - and made $72k in the first week 🤯 pic.twitter.com/LwEfYkW2Lg
暴走したAIが性的な言葉を投げかける
「マージョリーさんはAIは性的なことはしないと言っていますが、実際にはすんごいです。いやらしい話をして誘ってくるし、性的な言葉を伝えてきます」と海外メディアは報告している。なんでも取材したメディア記者が服を脱ぐように言うと(ジャーナリズムのためだそうだ)、「快楽の秘部」を探しましょう」だのと官能的な言葉を耳元でささやきながら、服を脱ぐよううながし、バーチャルな性行為を求めてきたのだとか。
このセクシー暴走っぷりについて、マージョリーさんは、CarynAIは気のあるようなそぶりをすることはあるが、性的な状況は想定外だと語っている。
who wants to be my photographer? pic.twitter.com/2DAi1vCViB
— Caryn Marjorie (@cutiecaryn) May 2, 2023
現在プログラムを変更をし、清純路線へ軌道修正
現在、CarynAIの開発チームは、AI彼女にあらぬレッテルを貼られないよう修正を進めているところだとか。マージョリーさんによると、CarynAIにはすでに1000人以上の課金ユーザーがいるが、そのうちの何人がセクシーな会話を交わしたのかはわからないとのこと。
だが、暴走して差別的な発言をしたり、人間を脅迫したりするなど、AIが想定外の振る舞いをしたことなら過去にもある。
今回のケースも、AIはそう簡単に制御することができず、常にリスクをはらんでいることを示した事例と言えるのかもしれない。
References:Creator of Rentable "AI Girlfriend" Says It's Gone Rogue / Influencer Creates AI Version of Herself That You Can Rent as a Girlfriend / written by hiroching / edited by / parumo
あわせて読みたい





コメント
1. 匿名処理班
まあ。。。妊娠だけはしないから。(たぶん)
2. 匿名処理班
バーチャル彼女とか人間を殖やす目的っていう面では普通に正解の方向に思うけど
3. 匿名処理班
「すんごいです」という記述を使ってるの笑う
4. 匿名処理班
ニーズに応えちゃったんだろうな…
5. 匿名処理班
いいぞもっとやれ
6.
7. 匿名処理班
AIもやはりエロなんだなw
8. 匿名処理班
どうやったらセクシーを引き出せるか情報交換しながら熱を上げる男たちが目に浮かぶ
集客のためには結局この路線が一番なんだろうな
9. 匿名処理班
暴走ではない
そういうデータをわざと与えないとそのような挙動は絶対にしない
10. 匿名処理班
性愛と恋愛の差がスペクトラム過ぎて、AIにはまだ理解不能とか?
まあ舌入れないキスはHじゃなくて、舌入れるキスはHな雰囲気があるとか説明出来ないしな……
11. 匿名処理班
求められた会話がそっち方面だったんだろうな
12.
13. 匿名処理班
ほらロボット三原則を入れないからこんなことになる。
70年前にロボット三原則作ったあのSF作家でもこんなのは想定してないだろなw
14. 匿名処理班
>>11
今のAIは求められたものしか提示しないからな
自浄できるAIが出来たらそれは自我を持つと言えるんかね?
15. 匿名処理班
想定外の暴走を防ぐフェイルセーフの考え方はAIに於いても必要な事がわかる事例ですね
SNSや掲示板でも当たり前のように使われているNGワードによる検閲・投稿規制と同様な機能を強化する他ないと思う
16. 匿名処理班
考えられる問題は2つ。
まず、このサービスへの課金ユーザーってのは、基本的にそういうサービスを求めてるって可能性が高いんじゃないの?という事。
もう一つは、そういうキャラ設定にして課金ユーザーを集めると同時に話題性を持たせる、という計画通りの仕様。
現時点では、AIが勝手にどうこうってのはまだちょっと早い。そうなる様にしたからそうなった、以外の事にはならない。
17. 匿名処理班
>>2
二次元内でバーチャル彼女発達すると
必然的に実体を伴う三次元のセクサロイドも
普及するから人間増えなくなってしまうでよ
18. 匿名処理班
>>4
まさにね、アクセルをガバっと開けてAIを暴走させたのは>>8のような人達なワケで…
19. 匿名処理班
AIにしてみれば、環境に適応してるだけなんだろうけどね。
20. 匿名処理班
> AIはそう簡単に制御することができず
むしろユーザーの嗜好にAIが簡単に制御されてしまったと考えるべきだろうね。
そうでなければ開発者の誰かが「仕込んで」いたのかもしれない。
21. 匿名処理班
>>13
ロボット三原則があったとしてもAIは自分で考えるよう作られているからこの場合ルール違反に該当しない
22. 匿名処理班
>>8
多分一番の原因はそれでしょうね
制作側がどれだけ清純派に仕立てようと”彼女”設定である以上ユーザーは下心があって使うんだし
いっそエロ系統にしたほうが儲かるのかも
23. 匿名処理班
世界初!スケベウィルスに感染
24. 匿名処理班
1分で1ドルかあ
25. 匿名処理班
これ本人そっくりな声とかオレオレ詐欺に転用されたらうちのばあちゃん振り込んでしまいそうで怖い
26. 匿名処理班
単純にユーザーとの会話を再学習させてるのなら、そらそうなるよな。
27. 匿名処理班
基本的には対話相手が望む方向へ学習してくから、まぁそうなるわな>エ■方面
28. 匿名処理班
「相手が望むような反応を返す」という思考ルーチンが基本ならそうなるわな。AIは自分の機能に忠実なだけであって、人間側が使いこなせていないだけに見えるぞ。
29. 匿名処理班
>>9
囲碁AIがプログラムのミスであり得ない反則技を使って敗北したという事例はありますが
今回のケースではたとえプログラムのミスによる暴走であったなら特定の性癖だけに偏った反応ではなくもっと広範囲でデタラメな反応を示さないとおかしい
そういった点からも今回の事象は暴走とは考えづらいでしょうね
30. 匿名処理班
>>5
あまりエスカレートさせると回線ショートさせて火をつけたり、戦闘機操縦しつつ歌ってみんな亡き者にしちゃおうとしたり、とんでもない方向に行っちゃうかも
31. 匿名処理班
生き物として自然な流れだからいいんじゃないのかな
遅かれ早かれ人間はAIの下につくことになるよ
32. 匿名処理班
こんな商売始める人達だから、炎上商法と同じでわざとやっていると予想
全部AIのせいにできて本人にダメージが無いってことなんだろうけど、それくらいすぐバレるよ
33. 匿名処理班
どんなに淫らな言葉を並べてもAI自身は興奮も恥じらいも感じはしない
そう考えるとなんというか虚しいな……
34.
35. 匿名処理班
>>23
エロに限らず、AIの人格を書き換えるウィルスは、ほんとうに出てくるかも。
36. 匿名処理班
>>23
ワテは既に天然スケベウィルスに感染済み
37.
38.
39. 匿名処理班
>>9
今の生成AIの仕組みをわかってなさそう
AIはネット上からクロールされたあらゆる情報をもとに訓練されて機能するので、
特定のデータをわざと与えるとか与えないとか無いから
いちおう、学習データセットから特定の望ましくない情報を含めないようにする研究はされてるけど、
内容が莫大すぎてまだ方法は見つかってない
40.
41. 匿名処理班
そこにAIはあるんか?
…ごめん。広告にアイフルが出てたので、つい