重點速覽
買跑大模型的電腦只要看兩個數字:容量(GB)決定模型放不放得下,頻寬(GB/s)決定跑多快。顯示卡(RTX 5090 32GB、RTX PRO 6000 96GB)頻寬最高,約 1,792 GB/s,但容量有限;Mac Studio、DGX Spark、AMD AI Max+ 395 小主機用統一記憶體,容量可到 128GB 甚至 512GB,但頻寬較低(DGX Spark 和 AMD 約 256 到 273 GB/s,Mac Studio M5 Ultra 約 1,200 GB/s)。所以 512GB 的 Mac 買的是「放得下」,不是「比較快」;模型放得進 96GB 時,RTX PRO 6000 會比較快。主要生圖生影片選 NVIDIA 顯卡,想在家跑 70B 到 120B 選 128GB 統一記憶體主機,要跑幾百 B 的超大模型選 Mac Studio 256GB 或 512GB,偶爾才需要大算力就租雲端。
花了大錢買 96GB 的 RTX PRO 6000,結果有些大模型竟然裝不下;比它便宜的 Mac Studio 卻裝得下。那 512GB 的 Mac 一定比較快嗎?也不是。
這篇和實驗 #004 影片內容相同,另外附上完整的規格表、價格對照和資料來源。
先搞懂:記憶體不等於顯存
一般電腦有兩種記憶體:
- 記憶體(RAM):容量大,給 CPU 用;
- 顯存(VRAM):在顯示卡上,容量小但非常快,給 GPU 用。
兩邊中間隔著一條比較窄的路(PCIe)。模型要整個放進顯存才跑得快,放不下的部分只能放在記憶體,速度就會掉很多。這也是顯存怎麼估一直在算「放不放得下」的原因。
統一記憶體:記憶體「變成」顯存
Mac Studio、NVIDIA DGX Spark、AMD Ryzen AI Max 系列的小主機和筆電,用的是統一記憶體:CPU 和 GPU 共用同一池記憶體,所以 128GB 的記憶體,GPU 大部分都能拿來當顯存用。AMD 平台的 GPU 預設最多約可分到 3/4(128GB 約 96GB)。
為什麼有 128、256、512GB 可以選?因為這類電腦的記憶體焊在晶片旁邊,購買時就要選好容量,之後不能加。
只看兩個數字:容量和頻寬
用吃麵來比喻:
- 容量(GB)=碗有多大:決定模型放不放得下;
- 頻寬(GB/s)=筷子夾多快:決定跑多快。
碗很大、筷子很慢,一樣吃得很慢。跑大模型時,每產生一個字都要把模型讀一遍,所以:
每秒字數的理論上限 ≈ 頻寬 ÷ 每個字要讀的模型大小
六種熱門機器的規格
| 機種 | 容量 | 頻寬 |
|---|---|---|
| RTX 5090 | 32GB 顯存 | 1,792 GB/s |
| RTX PRO 6000 Blackwell | 96GB 顯存 | 1,792 GB/s |
| Mac Studio M5 Max | 最高 128GB 統一記憶體 | 614 GB/s |
| Mac Studio M5 Ultra | 最高 512GB 統一記憶體 | 約 1,200 GB/s |
| NVIDIA DGX Spark | 128GB 統一記憶體 | 273 GB/s |
| AMD Ryzen AI Max+ 395 主機 | 常見 128GB 統一記憶體 | 256 GB/s |
AMD 自家的 Ryzen AI Halo 另有 192GB 的 Ryzen AI Max+ PRO 495 版本,頻寬 273 GB/s。
價格對照(2026 年 11 月查詢)
| 機種 | 台灣 | 大陸 | 美國 |
|---|---|---|---|
| RTX 5090 32GB | 建議價 NT$71,990;通路約 NT$16 萬起 | 依通路(大陸版為 5090 D 系列) | 建議價 US$1,999;市場價 US$4,000 以上 |
| RTX PRO 6000 96GB | 依通路報價 | 依通路報價 | 上市約 US$8,500,報價曾超過 US$13,000 |
| Mac Studio M5 Max | NT$84,900 起(36GB) | ¥19,999 起(36GB) | US$2,499 起 |
| Mac Studio M5 Ultra | NT$199,900 起(96GB) | ¥46,999 起(96GB) | US$5,499 起 |
| └ 512GB 版 | 記憶體加價 NT$542,500 | ¥172,999(512GB+1TB) | — |
| DGX Spark 128GB | 同晶片 GB10 主機約 NT$17.6 萬起 | 官方未公布,通路曾到約 ¥4 萬 | US$6,950(Founders Edition) |
| AMD AI Max+ 395 128GB | 依品牌與通路 | 約 ¥15,000~19,000 | AMD Ryzen AI Halo US$3,999.99 |
Mac 的台灣、大陸價格為 Apple 官方售價,其他為建議價或通路價。2026 年記憶體缺貨,價格變動很快,購買前請再查一次。
同一個 70B 模型,誰跑最快?
70B 模型用 Q4 量化大約 42GB。用「頻寬 ÷ 42GB」算出理論上限:
| 機種 | 放得下嗎 | 每秒字數理論上限 |
|---|---|---|
| RTX 5090 | ✗ 32GB 放不下 | — |
| RTX PRO 6000 | ✓ | 約 43 |
| Mac Studio M5 Ultra | ✓ | 約 29 |
| Mac Studio M5 Max(128GB) | ✓ | 約 15 |
| DGX Spark | ✓ | 約 6 |
| AMD AI Max+ 395 | ✓ | 約 6 |
這是理論上限,不是實測,實際速度會再低一些。
512GB 買的是什麼?
買的是放得下,不是比較快。幾百 B 的超大模型,只有 256GB、512GB 的 Mac Studio 裝得下;而且這類超大模型多半是 MoE,每個字只讀一小部分參數,所以速度還能用。MoE 的原理請看MoE 混合專家模型。
反過來,模型放得進 96GB 時,RTX PRO 6000 的頻寬更高,會比較快。
要生圖、生影片?看算力和軟體
- NVIDIA 顯卡:有 CUDA,ComfyUI 等工具支援最好、速度最快;
- DGX Spark:也有 CUDA、算力不錯,但頻寬低,聊天跑大模型比較慢;
- Mac、AMD:能跑,但很多新工具會先支援 NVIDIA。
不買也可以:雲端按小時租
| 雲端 GPU | 參考價(每小時) |
|---|---|
| RTX 5090 | 約 US$0.35 |
| RTX PRO 6000 | 約 US$0.66 |
| H100(資料中心) | 約 US$1.25 |
價格為比價網站上的最低隨選價格,各平台不同、會變動。適合偶爾才要大算力,或買之前先試試;缺點是資料要上傳到別人的機器,長時間使用也不便宜。
想先試試看,可以用 RunPod:按秒計費,RTX 4090 約每小時 0.34 美元起,用完關機就停止計費。(聯盟連結:透過它註冊儲值,本站會得到少量點數或佣金,你的價格不變。)
你適合哪一種?
| 你是 | 建議 |
|---|---|
| 剛開始玩 | 先用現在的顯卡跑小模型,或用雲端、API |
| 主要生圖、生影片 | NVIDIA 顯卡(RTX 5090、二手 3090/4090) |
| 想在家跑 70B~120B | 128GB 統一記憶體:AMD 小主機、DGX Spark 或 Mac |
| 要跑幾百 B 的超大模型 | Mac Studio M5 Ultra 256GB/512GB |
| 偶爾大量運算 | 租雲端 GPU,用完就關 |
記住一句話:容量買的是「放得下」,頻寬買的是「快」。 沒有一台機器全贏,看你要跑什麼。
想先算算自己的顯卡能跑多大的模型,請看顯存怎麼估。
常見問題
為什麼 96GB 的 RTX PRO 6000 會裝不下比它便宜的電腦能裝的模型?
因為 Mac Studio、DGX Spark、AMD AI Max 小主機用的是統一記憶體,CPU 和 GPU 共用一大池,GPU 可以直接拿來當顯存。Mac Studio M5 Ultra 最高 512GB,容量比 96GB 大很多,所以幾百 B 的超大模型只有它裝得下。
512GB 的 Mac Studio 跑大模型一定比較快嗎?
不一定。速度主要看頻寬:Mac Studio M5 Ultra 約 1,200 GB/s,RTX PRO 6000 約 1,792 GB/s。同一個放得進 96GB 的模型,RTX PRO 6000 理論上會比較快。512GB 買的是「放得下」。
記憶體為什麼可以變成顯存?
一般電腦的記憶體給 CPU 用、顯存給 GPU 用,中間隔著較窄的 PCIe。統一記憶體的電腦把 CPU 和 GPU 做在一起,共用同一池記憶體,所以大部分記憶體都能給 GPU 用。AMD 平台的 GPU 預設最多約可分到 3/4。
統一記憶體的電腦可以之後再加記憶體嗎?
不行。這類電腦的記憶體焊在晶片旁邊,購買時就要選好 128GB、256GB 或 512GB,之後不能升級。
生圖、生影片要買哪一種?
優先選 NVIDIA 顯卡。ComfyUI 等工具對 CUDA 支援最好、速度最快;Mac 和 AMD 也能跑,但很多新工具會先支援 NVIDIA。
表格裡的每秒字數是實測嗎?
不是。那是用「頻寬 ÷ 模型大小」算出的理論上限,實際速度會再低一些,還會受軟體、上下文長度和設定影響。
留言
用 GitHub 帳號登入就能留言,留言會公開顯示在 GitHub Discussions。留言前請先看社群規則。