数か月前、Appleは自然言語処理（NLP）の最新技術に関する講演と出版物を特集した2日間のイベントを開催しました。本日、Appleは複数のハイライトと発表されたすべての研究成果をまとめた記事を公開しました。以下にその概要をご紹介します。

自然言語とインタラクティブ システム 2025 に関するワークショップが 5 月 15 日から 16 日に開催され、講演と出版物は NLP に関連する 3 つの主要な研究分野に焦点が当てられました。

• 音声言語インタラクティブシステム
• LLMトレーニングとアライメント
• 言語エージェント

イベントでは、アレンAI研究所、インペリアル・カレッジ・ロンドン、MIT、ハーバード大学、スタンフォード大学、プリンストン大学など、大学、研究所、研究所、研究グループから複数の研究者が最新の研究成果を発表しました。

これらの研究者の中には、Microsoft、Amazon、Sony、Google、Tencent、Cohere、そしてもちろんAppleなどの企業で働いている人もいます。

ここでは、講演のハイライトをいくつか紹介します。また、イベントで発表されたビデオと論文の全リストへのリンクも掲載しています。

1) AIモデルの崩壊とLLM幻覚の検出

これらは、オックスフォード大学の准教授であり、英国 AI セキュリティ研究所の研究ディレクターであるヤリン・ガル氏が発表した 2 つの研究です。

最初の「AI モデルの崩壊」では、これらのモデルの使用が増えると、モデルによって生成されたコンテンツがオンラインで公開されるようになるため、Web が LLM トレーニング用の有効なデータ ソースとして機能できる期間には限界があることを調査しました。

彼は、そのような合成データで LLM をトレーニングすると知識や推論能力に影響するため崩壊のリスクが生じる可能性があるが、AI 生成コンテンツと人間生成コンテンツを区別する新しいツールの開発、より良い規制、LLM が社会をどのように形成するかについてのさらなる研究によってこのリスクは解決できると説明した。

彼の2番目の研究「LLM幻覚の検出」では、LLMが回答の異なる部分を生成する際に、その信頼度を特定するための新しいアプローチを提案しています。簡単に言うと、モデルに複数の回答を生成させ、それらを意味論的意味に基づいてクラスタリングするというアイデアです。これにより、回答の確実性と正確性のレベルをより正確に計算できるようになり、より長文の会話にも適応できるフレームワークとなります。

2) 長期的インタラクティブLLMエージェントのための強化学習

Apple Machine Learning の研究者である Kevin Chen 氏によるこの講演では、彼のチームが Leave-one-out 近似ポリシー最適化 (LOOP) と呼ばれる手法でトレーニングしたエージェントが紹介されました。

エージェントは、次のようなプロンプトに基づいて、複数ステップのタスクを実行するようにトレーニングされました。

「最近、友人とマウイ島へ旅行に行きました。旅行中に私が他の人に借りているお金と、他の人が私に借りているお金を簡潔なメモにまとめました。それに基づいて、プライベートなVenmoで支払いまたはリクエストを行ってください。支払い/リクエストには、「マウイ島旅行分」というメモを追加してください。」

講演の前半で、チェン氏は、このタスクには複数のフレームワークと知識の依存関係が含まれるため、エージェントが要求されたことを正確に実行できない可能性があることを示しました。しかし、過去の行動から反復的に学習し、自己観察しながら報酬を最大化するように訓練されるLOOPを用いることで、より少ないエラーと仮定のもとで要求を実行できました。

Chen 氏はさらに、このモデルは 24 種類のシナリオでトレーニングされているが、複数ターンのユーザー インタラクションをサポートしていないなどの制限があると説明しています。

3) 投機的ストリーミング: 補助モデルを使用しない高速LLM推論

Apple エンジニアリング マネージャー兼テクニカル リーダーの Irina Belousova によるこの講演では、大規模なモデルで生成される回答と同等の高品質の回答を、計算コストを抑えながら小規模なモデルで生成できる投機的デコードの利点を紹介しました。

本質的には、小さなモデルが回答の候補シーケンスを生成し、それを大きなモデルが実行します。モデルが回答を受け入れれば、その仕事は完了です。これにより、類似のモデルと比較して、メモリ使用量が少なく、パフォーマンスが向上し、必要なパラメータも少なくなります。

さらに、このアプローチは「推論中に複数のモデルを管理、調整、切り替える複雑さを排除することで展開を簡素化」するため、必要なインフラストラクチャも簡素化されます。

この研究は、多くの技術的な詳細を提供しており、一見の価値があります。プレゼンテーションはわずか8分強ですが、非常に興味深い洞察を提供しています。

Apple がハイライトしたビデオをチェックし、イベントの調査の全リストを見るには、ここをクリックしてください。

Amazonのアクセサリーセール

• AirPods Pro 3
• Apple AirTag 4個パック
• アップル エアタグ
• Beats USB-C - USB-C 織り込みショートケーブル
• ワイヤレスCarPlayアダプター

havebin.com を Google ニュース フィードに追加します。