今週、OpenAIは待望のオープンウェイトモデル「gpt-oss」をリリースしました。gpt-ossの魅力の一つは、Apple Silicon搭載のMacなど、ご自身のハードウェア上でローカルに実行できることです。gpt-ossの使い方と期待できることをご紹介します。

モデルとMac

まず、gpt-ossにはgpt-oss-20bとgpt-oss-120bの2種類があります。前者は中重量オープンモデル、後者は重量オープンモデルとされています。

中規模モデルは、十分なリソースを備えたApple Silicon搭載Macでローカルに実行できると期待されるものです。違いは何でしょうか？データセットのサイズの違いにより、小規模モデルは大規模モデルに比べて幻覚的な動作が多くなります。これは、ハイエンドMacでも実際に実行可能な、より高速なモデルとのトレードオフです。

それでも、十分なリソースを備えた Mac をお持ちで、大規模な言語モデルをローカルで実行することに興味があるなら、この小さなモデルは無料で利用できるすばらしいツールです。

また、ローカルモデルを実行する場合と、例えばChatGPTを実行する場合の違いにも注意が必要です。デフォルトでは、オープンウェイトのローカルモデルには、ChatGPTを有用にする最新のチャットボット機能の多くが欠けています。例えば、応答には、幻覚を抑制する可能性のあるWeb検索結果が考慮されていません。

OpenAIはgpt-oss-20bを実行するために少なくとも16GBのRAMを推奨していますが、より多くのRAMを搭載したMacの方が明らかにパフォーマンスが向上します。初期のユーザーからのフィードバックに基づくと、実験的な用途であれば16GBのRAMは最低限必要な容量です。（Appleがそれほど遠くないうちに8GB RAM搭載のMacの販売を中止した大きな理由の一つはAIです。ただし、1つの例外があります。）

セットアップと使用

前置きはさておき、実際に始めるのは非常に簡単です。

まず、MacにOllamaをインストールしてください。これは基本的に、gpt-oss-20bとインターフェースするためのウィンドウです。アプリはollama.com/downloadからダウンロードできます。Mac版はこちらのダウンロードリンクからダウンロードできます。

次に、Mac でターミナルを開き、次のコマンドを入力します。

ollama pull gpt-oss:20b
ollama run gpt-oss:20b

これにより、Mac に gpt-oss-20b のダウンロードが求められます。これは約 15 GB のディスク ストレージを使用します。

最後に、Ollamaを起動し、モデルとしてgpt-oss-20bを選択します。アプリの設定パネルでOllamaを機内モードに設定すれば、すべてがローカルで実行されるようになります。サインインは不要です。

gpt-oss-20b をテストするには、テキストフィールドにプロンプ​​トを入力し、モデルが動作するのを確認してください。繰り返しますが、ここでもハードウェアリソースがモデルのパフォーマンスを左右します。Ollama はモデルの実行時にあらゆるリソースを使用するため、モデルが計算している間は Mac の動作が極端に遅くなる可能性があります。

私の最高のMacは、16GBのRAMを搭載した15インチM4 MacBook Airです。このモデルは正常に動作しますが、私のマシンで実験するにもかなりハードルが高いです。「こんにちは」への応答に5分強かかりました。「第13代大統領は誰ですか」という質問にはさらに長く、約43分かかりました。数分以上実験するなら、RAMの増設は必須です。

ローカルモデルを削除してディスクスペースを再利用したいですか？次のターミナルコマンドを入力します。

ollama rm gpt-oss:20b

MacでOllamaとgpt-oss-20bを使用する方法の詳細については、こちらの公式リソースをご覧ください。または、AIモデルを操作するための別のMacアプリであるLM Studioを使用することもできます。

havebin.com を Google ニュース フィードに追加します。