6月のWWDCでのiOS 18のデビューに先立ち、Appleはオープンソースの大規模言語モデルファミリーをリリースしました。OpenELMと呼ばれるこのモデルについて、Appleは「 オープンソース の効率的な 言語モデル ファミリー」と説明しています。

Apple はテストにおいて、OpenELM は他のオープン言語モデルと同様のパフォーマンスを提供するものの、トレーニング データは少ないと述べています。

Appleは次のように説明している。

この目標達成のため、最先端のオープン言語モデルであるOpenELMをリリースしました。OpenELMは、層ごとのスケーリング戦略を用いてTransformerモデルの各層にパラメータを効率的に割り当てることで、精度を向上させています。例えば、約10億パラメータのパラメータバジェットで、OpenELMはOLMoと比較して精度が2.36%向上する一方で、事前学習に必要なトークンは2分の1に抑えられています。

モデルの重みと推論コードのみを提供し、非公開データセットで事前学習を行う従来の手法とは異なり、今回のリリースには、公開データセットを用いた言語モデルの学習と評価のための完全なフレームワーク（学習ログ、複数のチェックポイント、事前学習設定など）が含まれています。また、Appleデバイスでの推論と微調整のために、モデルをMLXライブラリに変換するコードも公開しています。この包括的なリリースは、オープンリサーチコミュニティのエンパワーメントと強化を図り、将来のオープンリサーチへの道を切り開くことを目的としています。

詳細については、以下のリンクをご覧ください。

• OpenELM: オープンソースのトレーニングおよび推論フレームワークを備えた効率的な言語モデルファミリー
• Hugging FaceのAppleのOpenELMデータベース

iOS 18 には一連の新しい人工知能機能が含まれる予定で、本日の OpenELM リリースは、Apple が準備を進めている舞台裏の作業の最新の成果です。

• Appleの研究者が画像とテキストでLLMを訓練するための新たなAIのブレークスルーを発表
• Apple Keyframerは静止画像とテキストからAIアニメーションを生成します
• テキストコマンドを使った写真編集 – Apple AIの取り組みは続く
• AppleがAIシステムにアプリの使い方を教えている。Siriの高度化につながる可能性も

ブルームバーグは先週、iOS 18のAI機能は完全にデバイス上の大規模言語モデルによって実現され、プライバシーとスピードのメリットがもたらされると報じた。

Chance をフォロー: Threads、Twitter、Instagram、Mastodon。 

havebin.com を Google ニュース フィードに追加します。