RX 9060 XT 16GBでgpt-oss-20bを動かしてみた
- 日本語
- gpt-oss-20b
- RX 9060 XT
- ローカルLLM
- Ollama
- Fedora
#はじめに
最近、AIコーディングで複数のプロジェクトを並行して進めることが増えた。
Codexを主力にしているが、4つほどのプロジェクトを同時に進めるとクラウド側の利用量も大きくなる。
そこで、ローカルLLMをAIコーディングの補助に使えないか検討した。
その最初の候補として使い始めたのがgpt-oss-20bだった。
自宅のメインPCはFedora 44で、GPUはRadeon RX 9060 XT 16GB。
OpenAIはgpt-oss-20bについて、ローカルや低レイテンシ用途を想定したオープンウェイトモデルとして公開しており、公式には16GBのメモリで実行できるとしている。
ちょうど手元のGPUと同じ容量だった。
#現在のPC
ローカルLLMを試した時点のメインPCは次の構成。
| 項目 | 構成 |
|---|---|
| OS | Fedora 44 |
| CPU | Ryzen 5 5600X |
| GPU | Radeon RX 9060 XT 16GB |
| RAM | 32GB |
| zram | 8GB |
| ローカルLLM | Ollama + Open WebUI |
RX 9060 XT 16GBは、AMD公式仕様では16GB GDDR6、128bitメモリインターフェイス、最大320GB/sのメモリ帯域幅を持つ。
ゲームや動画編集のために導入したGPUだったが、16GBのVRAMがあるのでローカルLLMでも使いたくなった。
#gpt-oss-20bは16GBを想定している
gpt-oss-20bは名前のとおり20Bクラスのモデルだが、OpenAIの案内では21Bパラメータ、3.6BアクティブパラメータのMoEモデルとなっている。
重みはMXFP4で量子化されており、公式には16GBのメモリでローカル実行できる。
これは自分の環境にとってかなり都合が良かった。
RX 9060 XT VRAM 16GB ↓ gpt-oss-20b 公式の想定メモリ 16GB
もちろん「入る」と「快適に使える」は同じではない。
それでも、まず試すモデルとしては分かりやすい。
#Ollama経由で使う
ローカルLLM環境にはOllamaを使っている。
普段はOpen WebUIから会話することもできるが、今回気になっているのはAIコーディング側への組み込みだった。
クラウドモデルの代わりにすべてを任せるのではなく、サブエージェント的な補助役として使う。
例えば、
- 小さなコードの確認
- 定型的な修正
- ファイルの要約
- 調査結果の整理
- 本命モデルへ渡す前の下調べ
のような作業だ。
#フロンティアモデルと同じ感覚では使わない
実際にローカルLLMを触ると、GPT-5.6 Solのようなフロンティアモデルと同じものとして考えない方が良いと感じる。
難しい実装を丸ごと任せるより、
重い判断 ↓ Codex + フロンティアモデル 軽い作業 ↓ gpt-oss-20b
と役割を分けた方が使いやすい。
ローカルだから利用量を気にせず繰り返し試せることにも価値がある。
#16GB VRAMの使い道が増えた
RX 9060 XTへ換装した当初は、ゲームやKdenliveでの動画処理を主に考えていた。
そこへローカルLLMという用途が増えた。
VRAM容量はゲームの高解像度テクスチャだけではなく、AIモデルを手元へ載せるときにもそのまま制約になる。
16GBを選んでおいて良かったと感じる場面だった。
#もっと大きなモデルも気になった
gpt-oss-20bが動くと、次に考えるのは、
もう少し大きなモデルも動かせるのでは
ということだった。
27Bクラスになると、4bit量子化した重みだけなら16GBへ近づいてくる。
ただし、モデルの重み以外にも実行時のメモリが必要になる。
16GBに収まるかどうかだけでなく、コンテキストを伸ばしたときの余裕や速度も考えなければならない。
この疑問は16GB VRAMで27BクラスのLLMを動かせるか調べたに続く。
#まとめ
RX 9060 XT 16GBでgpt-oss-20bを使い始めた。
OpenAI自身が16GBメモリでのローカル実行を想定していることもあり、自分の環境で試すにはちょうど良いモデルだった。
現在の目的は、クラウドモデルを完全に置き換えることではない。
Codex + GPT ↓ 難しい実装や設計 gpt-oss-20b ↓ 軽い作業や補助
という役割分担を作れるか試している。
そして20Bが動くと、次は27B、その先のさらに大きなモデルが気になってくる。
ローカルLLMは、モデルを動かし始めるとハードウェアまで考え始めるのが面白い。