大きなローカルLLMのために専用AIマシンが必要か考えた
- 日本語
- ローカルLLM
- DGX Spark
- Mac Studio
- M5 Ultra
- AI
#はじめに
ローカルLLMを触り始めると、モデルサイズを大きくしたくなる。
RX 9060 XT 16GBでgpt-oss-20bを使い、27Bクラスを16GB VRAMで動かせるか考えた。
さらにシステムRAMの重要性も分かってきた。
そこで次に考えたのが、
メインPCを少しずつ増強するより、AI専用マシンを用意した方が良いのでは
ということだった。
候補として気になったのがNVIDIA DGX SparkとMac Studioだった。
#現在のPCには明確な上限がある
自宅PCは、
- Ryzen 5 5600X
- Radeon RX 9060 XT 16GB
- RAM 32GB
という構成。
普段の開発、ゲーム、動画編集には十分使えている。
gpt-oss-20bのようなモデルも動かせる。
しかしローカルLLMだけを見ると、GPUの16GB VRAMが分かりやすい上限になる。
27B以上を余裕を持ってGPUへ載せたい。
さらに70B、120Bと大きくしていけば、一般的な家庭用GPU一枚では難しくなる。
#DGX Sparkは128GBの統合メモリ
NVIDIA DGX SparkはGrace Blackwellを搭載した小型AIマシン。
NVIDIA公式仕様では128GB LPDDR5xのコヒーレント統合メモリを搭載している。
NVIDIAは単体で最大200Bパラメータのモデルを扱えるとしている。
自宅PCの、
GPU VRAM 16GB + RAM 32GB
とは考え方がかなり違う。
CPUとGPUが大きな統合メモリを共有することで、大きなモデルを一台のコンパクトなマシンへ置ける。
ローカルAI専用機として見るとかなり魅力的だ。
#CUDA環境も魅力
ローカルAIではハードウェア性能だけでなくソフトウェア対応も重要になる。
NVIDIAはCUDAを中心にAI関連のツールやライブラリがかなり揃っている。
自分は普段AMD GPUを使っているので、ローカルLLMを調べるたびに、
NVIDIA前提の手順が多い
と感じる場面がある。
DGX Sparkなら最初からNVIDIAのAIスタックを使うことを前提にできる。
これは専用機として大きなメリットに見える。
#Mac Studioも大容量ユニファイドメモリが使える
もう一つ気になったのがMac Studio。
2026年8月にAppleはM5 MaxとM5 Ultraを搭載した新しいMac Studioを発表している。
M5 Maxは最大128GB、M5 Ultraは最大512GBのユニファイドメモリを選択できる。
AppleはM5 Ultraについて、大きなモデルをオンデバイスで動かす用途も強く打ち出している。
ローカルLLMでは、Apple Siliconのユニファイドメモリ容量はかなり魅力的だ。
#ただ、自分はMacを必要としていない
スペックだけを見るとMac Studioはかなり強い。
しかし自分の普段の環境はFedora。
Neovim、WezTerm、tmuxなどを中心にLinux環境を使っている。
Macでなければならない用途はほとんどない。
ローカルLLMのためだけにOS環境まで変えるなら、NVIDIA/Linux系の専用機の方が自分には自然に見える。
これは性能の優劣ではなく、普段の環境との相性の問題だ。
#まずメインPCの増強という選択肢もある
専用AIマシンを買う前に、現在のPCを強化する方法もある。
一番簡単なのはRAM増設。
32GBから64GB以上へ増やせば、CPU側へオフロードできる余裕は増える。
GPUについても将来より大容量VRAMの製品へ交換できる。
既存PCを使えるので、新しいマシンを一台増やすよりシンプルだ。
一方、家庭向けGPUのVRAM容量には限界があり、大きなモデルを目指すほど専用機との差は広がる。
#何を動かしたいか決める前に買わない
ここまで調べると、DGX Sparkのような専用機が欲しくなる。
しかし、現在使っているgpt-oss-20bで困っているわけではない。
ローカルLLMはあくまでAIコーディングの補助として試し始めた段階だ。
この状態で、
いつか120Bを動かしたい
という理由だけで高価な専用機を導入しても、持て余す可能性がある。
まず、
- 20Bでは足りない具体的なタスクがあるか
- 27Bや70Bで何をしたいか
- クラウドモデルではなくローカルである必要があるか
を確認した方が良い。
#現在は専用機を急がない
現時点では、
現在 RX 9060 XT 16GB ↓ gpt-oss-20bを実用 次 RAM増設や27Bを検証 ↓ 本当に足りなければ 将来 DGX Sparkなど専用機
くらいの順番が自分には合っている。
Mac StudioもローカルAI用途として非常に面白いが、自分はLinux環境を好んでいるので、専用機を選ぶならNVIDIA/Linux系を優先したい。
#最初から追う場合
今回のローカルLLMとハードウェア検討は次の記事に分けている。
- RX 9060 XT 16GBでgpt-oss-20bを動かしてみた
- 16GB VRAMで27BクラスのLLMを動かせるか調べた
- ローカルLLMではVRAMだけでなくRAM容量も重要だった
- Ryzen 9 PRO 8945HSとRadeon 780MでローカルLLMを動かせるか考えた
- 大きなローカルLLMのために専用AIマシンが必要か考えた
#まとめ
ローカルLLMを使い始めた結果、専用AIマシンまで気になるようになった。
DGX Sparkは128GBの統合メモリとNVIDIA AIスタックが魅力的。
M5 Mac Studioも最大512GBのユニファイドメモリを選べる。
ただ、現在の自分にはまだ20Bクラスでできることが多い。
専用機を先に買うのではなく、現在のPCを使い込み、
何が足りないのか
を明確にしてから次のハードウェアを選びたい。