AppleのAIに関する明確な野望の一つは、サーバーを介さずにiPhone上で動作するオンデバイスチャットボットを実現することです。これにより、iPhoneに保存されているデータにアクセスできるようになるだけでなく、プライバシーも強化されます…

Nvidia も同様のアプローチを採用しており、Windows PC 上で実行されるチャットボットを開発している。当然ながら、この PC には同社独自のハイエンド GPU が搭載されている。

Apple、iPhone向けデバイス内チャットボットを開発中

昨年末に発表されたAppleの研究論文では、同社がiPhone上でオンデバイスチャットボットを実行できるようにすることを示唆しているようだ。

この論文は、フラッシュストレージからRAMに転送する必要があるデータ量を最小限に抑えることについて述べています。LLMとは、大量のテキストでトレーニングされたAIチャットシステムの総称です。

このアプローチにより、RAM が制限されたデバイスでも LLM を最大 25 倍高速に実行できるようになります。

この文書ではAppleの計画の詳細は明らかにされていないものの、iOS 18ではAppleGPTと呼ばれる生成AI技術を活用した、より強力なSiriがついにリリースされるという兆候が増えている。6月のWWDCで発表予定の次期iOSは、Apple史上最大のアップデートになると見られている。

Nvidiaのデバイス内チャットボット

Nvidia はすでにデバイス上のチャットボットのデモ版を 1 つ作成しているが、これには同社独自の高級 GPU カードを搭載した Windows PC が必要だ。

Chat With RTXは、ドキュメント、メモ、動画、その他のデータなど、ご自身のコンテンツに接続したGPT大規模言語モデル（LLM）をパーソナライズできるデモアプリです。検索拡張生成（RAG）、TensorRT-LLM、RTXアクセラレーションを活用することで、カスタムチャットボットにクエリを実行し、状況に応じた適切な回答を迅速に得ることができます。また、Windows RTX搭載PCまたはワークステーション上でローカルに実行されるため、高速かつ安全な結果が得られます[…]

Chat with RTXは、テキスト、PDF、doc/docx、XMLなど、様々なファイル形式をサポートしています。ファイルを含むフォルダをアプリケーションに指定するだけで、数秒でライブラリに読み込まれます。さらに、YouTubeの再生リストのURLを指定すると、再生リスト内の動画のトランスクリプトが読み込まれ、動画の内容を検索できるようになります。

Windows マシンには、少なくとも 8 GB の VRAM を搭載した NVIDIA GeForce RTX 30 または 40 シリーズ GPU、あるいは RTX Ampere または Ada 世代の GPU が必要です。

ChatGPTはついにあなたを覚えているかもしれません

その他の AI ニュースとしては、ChatGPT がメモリを獲得しています - 少なくとも、少数のユーザー向けです。

これまでの ChatGPT の制限の 1 つは、各セッションが個別に実行されることです。つまり、以前のセッションで行った操作は記憶されません。

OpenAIは現在、時間の経過とともにより一貫したエクスペリエンスを実現するために、特定のデータと設定を記憶できるバージョンをテストしています。

ChatGPTでメモリのテストを行っています。すべてのチャットで話し合った内容を記憶することで、情報を繰り返す手間が省け、将来の会話がより有益になります。

ChatGPTのメモリはあなたがコントロールできます。何かを記憶するように明示的に指示したり、何を記憶しているかを確認したり、会話や設定を通じて忘れるように指示したりできます。また、完全にオフにすることもできます[…]

ChatGPTのメモリは使い続けるほど向上し、時間の経過とともにその改善を実感できるようになります。例えば： 

• 会議メモには、見出し、箇条書き、アクションアイテムを下部にまとめるのが良いとおっしゃっていましたね。ChatGPTはこれを記憶し、このように会議を要約します。
• ChatGPTに、近所のコーヒーショップを経営していると伝えました。新しい店舗のオープンを祝うソーシャルメディア投稿のメッセージをブレインストーミングする際、ChatGPTはどこから始めれば良いかを知っています。 
• 小さなお子さんがいて、クラゲが大好きだと言っています。ChatGPTに誕生日カードの作成を依頼したところ、パーティーハットをかぶったクラゲが提案されました。 
• 25人の生徒を指導する幼稚園の先生として、50分の授業とフォローアップアクティビティを組み合わせた授業を希望しています。ChatGPTは、授業計画の作成を支援する際に、このことを考慮します。

同社によれば、今週は少数のユーザーを対象に試験運用しており、結果を評価した後でより広範な展開計画を発表する予定だという。

havebin.com を Google ニュース フィードに追加します。