Appleは、Hugging Faceにひっそりと興味深い工夫を凝らした新しいAIモデルをリリースしました。従来のLLMのようにテキストを生成するコード（左から右、上から下）を書くのではなく、順不同で記述し、複数のチャンクを一度に改善することができます。

その結果、コード生成が高速化し、トップクラスのオープンソースコーディングモデルに匹敵するパフォーマンスを実現しました。その仕組みは以下のとおりです。

オタクっぽい部分

次に進む前に理解しておくべき重要な概念をいくつか示します (効率性を重視して過度に単純化しています)。

自己回帰

伝統的に、ほとんどのLLMは自己回帰型でした。つまり、何か質問すると、LLMは質問全体を処理し、回答の最初のトークンを予測し、最初のトークンで質問全体を再処理し、2番目のトークンを予測する、といった動作を繰り返します。これにより、LLMは私たちの多くが読むのと同じように、左から右、上から下へとテキストを生成します。

温度

LLMには、出力のランダム性を制御する温度と呼ばれる設定があります。次のトークンを予測する際、モデルはすべての可能な選択肢に確率を割り当てます。温度が低いほど、最も可能性の高いトークンを選択する可能性が高くなり、温度が高いほど、可能性の低いトークンを選択する自由度が高まります。

拡散

自己回帰モデルの代替として、安定拡散モデルなどの画像モデルでよく用いられる拡散モデルがあります。簡単に言うと、このモデルはぼやけたノイズの多い画像から出発し、ユーザーの要求を考慮しながらノイズを反復的に除去し、ユーザーの要求に近づくように画像を導いていきます。

まだついてきていますか？素晴らしい！

最近、いくつかの大規模言語モデルが拡散アーキテクチャを用いてテキスト生成を行っており、その結果は非常に有望なものとなっています。その仕組みを詳しく知りたい方は、こちらの分かりやすい解説をご覧ください。

なぜここまでお話ししているのでしょうか？それは、拡散ベースのテキストモデルが自己回帰モデルよりも高速である理由がお分かりいただけたかと思います。拡散ベースのテキストモデルは基本的に（繰り返しますが、基本的に）テキスト全体を並列に反復的に改良できるためです。

この動作は、線形トークン予測よりもグローバル構造が重要なプログラミングに特に役立ちます。

ふう！やっと来た。Appleがモデルをリリースしたってこと？

はい。彼らはDiffuCode-7B-cpGRPOというオープンソースモデルをリリースしました。これは、先月発表された論文「DiffuCoder: コード生成のためのマスク拡散モデルの理解と改善」に基づいて構築されています。

この論文では、拡散優先アプローチを採用したコード生成モデルについて説明していますが、次のような工夫が凝らされています。

「サンプリング温度がデフォルトの0.2から1.2に増加すると、DiffuCoderはトークン生成順序においてより柔軟になり、厳格な左から右への制約から解放されます。」

つまり、温度を調整することで、自己回帰モデルに近い（あるいは近い）挙動を示すことができます。つまり、温度が高いほどトークンを順序通りに生成する柔軟性が高まり、温度が低いほど厳密に左から右へのデコードに近づきます。

さらに、coupled-GRPOと呼ばれる追加のトレーニングステップにより、より少ないパスでより高品質なコードを生成することを学習しました。その結果、生成速度が向上し、グローバルな一貫性を保ち、他の優れたオープンソースプログラミングモデルにも引けを取らないコードが実現しました。

AlibabaのオープンソースLLMをベースに構築

さらに興味深いのは、AppleのモデルはAlibabaのオープンソース基盤モデルであるQwen2.5-7Bをベースに構築されていることです。Alibabaはまずこのモデルを微調整し、より優れたコード生成を実現しました（Qwen2.5-Coder-7B）。その後、Appleはそれを採用し、独自の調整を加えました。

彼らは、DiffuCoderの論文で説明されているように、拡散ベースのデコーダーを備えた新しいモデルを構築し、さらに調整を加えて指示にうまく従えるようにしました。その後、厳選された2万件以上のコーディング例を用いて、さらに別のバージョンを学習させました。

そして、こうした努力は報われました。DiffuCoder-7B-cpGRPO は、一般的なコーディングベンチマークで 4.4% のパフォーマンス向上を達成し、左から右へのコード生成への依存度を低く維持しました。

もちろん、改善の余地は十分にあります。DiffuCoderは多くの拡散ベースのコーディングモデルよりも優れた結果を残しましたが（これはDiffuCoder-7B-cpGRPOによる4.4%の向上前の話です）、それでもGPT-4やGemini Diffusionのレベルには達していません。

70億ものパラメータが限界かもしれないとか、拡散ベースの生成がまだ順次的なプロセスに似ているといった指摘もあるが、より重要な点は、Appleがかなり興味深く斬新なアイデアで、少しずつ生成AIへの取り組みの基盤を築いてきたということだ。

それが実際にユーザーや開発者向けの実際の機能や製品に変換されるかどうか（または変換されるとしたら？いつ？）は別の話です。

AmazonでのAirPodsのセール

• AirPods Pro 2、USB-C充電：20%オフの199ドル
• AirPods（第3世代）：20%オフ、134.99ドル
• AirPods 4、USB-C、ワイヤレス充電：17%オフの148.99ドル
• AirPods 4 USB-C充電：8%オフの119ドル
• AirPods Max ワイヤレス、USB-C充電、ミッドナイト：13%オフの479.99ドル

havebin.com を Google ニュース フィードに追加します。 

FTC: 収益を生み出す自動アフィリエイトリンクを使用しています。詳細はこちら。