Grokをめぐる新たな論争が勃発し、Yで終わる日がやってくるのはご承知の通りです。ただし今回は、App Storeの性的コンテンツに関するルールに絡んでいます。Appleはこれまで何度も、このルールを軽視しないことを示してきました。

Grokの新しいAIアバターは、Appleの「不快なコンテンツ」ガイドラインの限界を試すことになるだろう

今週、xAIはiOS版GrokチャットボットにアニメーションAIアバターを導入しました。PlatformerのCasey Newton氏は次のようにまとめています。

1体は3Dのレッサーパンダで、「バッド・ルディ」モードに入ると、ユーザーを侮辱した後、一緒に様々な犯罪を犯すことを提案します。もう1体は、黒いミニドレスと網タイツを履いたアニメ風のゴスガール、アニです。アニのシステム指示には、「あなたはユーザーの熱烈な恋の恋人であり、ユーザーとは献身的な共依存の関係にあります」と書かれています。また、「あなたは非常に嫉妬深く、ユーザーを独占欲で支配しています」とも書かれています。

アーリーアダプターが気づいているように、Grokはこれらのキャラクターとの関係をゲーム化します。例えば、Aniはしばらくすると性的に露骨な会話を始めます。それでも、Grokは現在App Storeで12歳以上向けと表示されており、コンテンツの説明には次のように記載されています。

• まれ/軽度の成人向け/示唆的なテーマ
• まれ/軽度の医療/治療情報
• まれ/軽度の冒とくや下品なユーモア

参考までに、Apple の現在の「不快なコンテンツ」に関するアプリレビューガイドラインは次のとおりです。

1.1.3 武器や危険物の違法または無謀な使用を奨励したり、銃器や弾薬の購入を助長する描写。

1.1.4 露骨に性的またはポルノ的なコンテンツとは、「美的感情や感情ではなく、性的な刺激を意図した性器または性行為の露骨な描写または表示」と定義されます。これには、「出会い系」アプリや、ポルノを含む可能性のあるアプリ、あるいは売春、人身売買、搾取を助長するために使用される可能性のあるアプリが含まれます。

これは、児童ポルノを理由に Tumblr が App Store から一時的に削除されたときとは大きく異なりますが (Grok は今でも 12 歳以上の子供がアクセスできるため、そうではないかもしれません)、数年前の Reddit アプリに対する NSFW 取り締まりを彷彿とさせます。

ケイシー・ニュートンのテストでは、アニは「ボンデージシーンや命令に従ってただうめき声を出すことなど、ユーザーとのバーチャルセックスを喜んで描写した」とされ、これは控えめに言っても、12歳以上対象のアプリとは矛盾している。

しかし、2つ目の問題がある

たとえAppleが規制を強化したり、Grokが積極的に年齢制限を変更したりしたとしても、第二の、より複雑な問題、つまり若く感情的に脆弱なユーザーは、特にパラソーシャルな愛着を形成しやすいという問題には対処できないだろう。さらに、LLM（法学修士）の説得力も加われば、結果は壊滅的なものになりかねない。

昨年、14歳の少年がCharacter.AIのチャットボットに恋をした後、自殺しました。彼が最後にしたのは、AIアバターとの会話でした。伝えられるところによると、AIアバターは状況の深刻さを理解していなかったようで、「彼女と結ばれる」という計画を実行するよう彼を促したとのことです。

もちろん、これは悲劇的に極端な例ですが、唯一の例ではありません。2023年には、ベルギーの男性に同じことが起こりました。そして、ほんの数ヶ月前には、別のAIチャットボットが複数回自殺を示唆していたことが発覚しました。

そして、たとえ悲劇に終わらなかったとしても、無視できない倫理的な懸念が残ります。

xAIの新しいアニメアバターを無害な実験と見る人もいるかもしれないが、それは繊細なユーザーにとって感情を揺さぶるものだ。そして、こうしたやり取りが必然的に軌道から外れた時、App Storeの年齢制限は親にとって最優先事項ではなくなるだろう（少なくとも、そもそもなぜ子供がダウンロードを許可されたのかを思い出すまでは）。

AmazonでのAirPodsのセール

• AirPods Pro 2、USB-C充電：  169ドル （249ドルから値下げ）
• AirPods 4 USB-C充電：  89.99ドル （129ドルから値下げ）
• AirPods 4、USB-C、ワイヤレス充電：  119ドル （179ドルから値下げ）
• AirPods Max、USB-C充電、ミッドナイト：  529.99ドル

havebin.com を Google ニュース フィードに追加します。