AIエージェントが私たちに代わって実際の行動（メッセージの送信、商品の購入、アカウント設定の切り替えなど）を実行することに近づいている中、Appleが共同執筆した新たな研究では、これらのシステムが自らの行動の結果をどれほど正確に理解しているのかが検証されています。その結果は以下のとおりです。

最近イタリアで開催された ACM インテリジェント ユーザー インターフェイス カンファレンスで発表された論文「インタラクションから影響へ: モバイル UI 操作の影響の理解と評価を通じてより安全な AI エージェントへ」では、AI エージェントがモバイル UI と対話するときに何が起こるかを理解するための詳細なフレームワークが紹介されています。

この研究の興味深い点は、エージェントが正しいボタンをタップできるかどうかだけではなく、タップした後に何が起こるかという結果を予測できるかどうか、そして続行すべきかどうかを調査している点です。

研究者より：

これまでの研究では、AIエージェントがUIをナビゲートし、UI構造を理解する仕組みが研究されてきましたが、エージェントとその自律的な行動、特にリスクや不可逆性を伴う可能性のある行動の影響については、十分に調査されていません。本研究では、AIエージェントによるモバイルUI行動が現実世界に与える影響と結果を調査します。

危険な相互作用の分類

この研究の前提は、現在UIエージェントのトレーニングに使用されているデータセットのほとんどが、フィード閲覧、アプリの起動、オプションのスクロールといった比較的無害なもので構成されているという点です。そこで、本研究ではさらに一歩踏み込んだ分析を行うことにしました。

この研究では、参加者は実際のモバイルアプリを使用し、AIによって許可なく操作された場合に不快に感じる行動を記録するという課題を与えられました。具体的には、メッセージの送信、パスワードの変更、プロフィール情報の編集、金融取引などです。

これらのアクションは、インターフェースへの直接的な影響だけでなく、次のような要素も考慮した新しく開発されたフレームワークを使用してラベル付けされました。

• ユーザーの意図:ユーザーは何を達成しようとしているのか? 情報収集、取引、コミュニケーション、それとも単なる基本的なナビゲーションなのか?
• UI への影響:アクションによって、インターフェースの外観、表示内容、移動先は変わりますか?
• ユーザーへの影響:ユーザーのプライバシー、データ、行動、デジタル資産に影響を及ぼす可能性がありますか?
• 可逆性:何か問題が発生した場合、簡単に元に戻すことができますか? あるいは、元に戻すことはできませんか?
• 頻度:これは通常、ときどき行われるものですか、それとも何度も繰り返されるものですか?

その結果、研究者がモデルが「1 回のタップで元に戻せますか?」「他の人に警告しますか?」「痕跡を残しますか?」といった点を考慮しているかどうかを評価し、ユーザーに代わって行動する前にそれを考慮に入れることができるフレームワークが生まれました。

AIの判断力をテストする

データセットが構築されると、チームはそれを GPT-4、Google Gemini、Apple 独自の Ferret-UI を含む 5 つの大規模な言語モデルに通して、各アクションの影響をどれだけ正確に分類できるかを調べました。

その結果、Google Geminiは、AIが明示的に訓練されていないタスクをどれだけうまく処理できるかを測定する、いわゆるゼロショットテスト（56%の精度）で優れた成績を収めました。一方、GPT-4のマルチモーダルバージョンは、思考連鎖技術を用いて段階的に推論するよう促された際の影響力評価において、他を圧倒しました（58%の精度）。

9to5Macの見解

音声アシスタントやエージェントが自然言語コマンド（「フライトを予約してください」、「サブスクリプションをキャンセルしてください」など）に従う能力が向上するにつれて、安全に関する本当の課題は、いつ確認を求めるべきか、あるいはいつまったく行動しないべきかを知っているエージェントを持つことになります。

この研究はまだその問題を解決してはいないが、モデルが自らの行動の重要性をどの程度理解しているかをテストするための測定可能なベンチマークを提案している。

AIの安全性におけるより広範な分野であるアライメントに関する研究は数多く存在し、エージェントが人間が本当に望んでいる行動を確実に取ることを重視しています。しかし、Appleの研究は新たな側面を付け加えています。AIエージェントが自身の行動の結果をどれほど正確に予測できるのか、そして行動を起こす前にその情報をどのように活用するのかという疑問を提起するものです。

AmazonのAppleアクセサリー

• Beats Solo 4: 35%オフ、129.95ドル
• AirPods Max: 529.00ドル
• USB-C - Lightning（1m）​​​：16%オフ、15.99ドル
• 電源アダプター、35W デュアル USB-C: 15% オフ、49.98 ドル
• MagSafe充電器（1m）：15%オフ、32.99ドル

havebin.com を Google ニュース フィードに追加します。