要点速览
买跑大模型的电脑只要看两个数字:容量(GB)决定模型放不放得下,带宽(GB/s)决定跑多快。显卡(RTX 5090 32GB、RTX PRO 6000 96GB)带宽最高,约 1,792 GB/s,但容量有限;Mac Studio、DGX Spark、AMD AI Max+ 395 小主机用统一内存,容量可到 128GB 甚至 512GB,但带宽较低(DGX Spark 和 AMD 约 256 到 273 GB/s,Mac Studio M5 Ultra 约 1,200 GB/s)。所以 512GB 的 Mac 买的是「放得下」,不是「比较快」;模型放得进 96GB 时,RTX PRO 6000 会比较快。主要生图生视频选 NVIDIA 显卡,想在家跑 70B 到 120B 选 128GB 统一内存主机,要跑几百 B 的超大模型选 Mac Studio 256GB 或 512GB,偶尔才需要大算力就租云端。
花了大钱买 96GB 的 RTX PRO 6000,结果有些大模型竟然装不下;比它便宜的 Mac Studio 却装得下。那 512GB 的 Mac 一定比较快吗?也不是。
这篇和实验 #004 视频内容相同,另外附上完整的规格表、价格对照和数据源。
先搞懂:内存不等于显存
一般电脑有两种内存:
- 内存(RAM):容量大,给 CPU 用;
- 显存(VRAM):在显卡上,容量小但非常快,给 GPU 用。
两边中间隔着一条比较窄的路(PCIe)。模型要整个放进显存才跑得快,放不下的部分只能放在内存,速度就会掉很多。这也是显存怎么估一直在算「放不放得下」的原因。
统一内存:内存「变成」显存
Mac Studio、NVIDIA DGX Spark、AMD Ryzen AI Max 系列的小主机和笔电,用的是统一内存:CPU 和 GPU 共用同一池内存,所以 128GB 的内存,GPU 大部分都能拿来当显存用。AMD 平台的 GPU 预设最多约可分到 3/4(128GB 约 96GB)。
为什么有 128、256、512GB 可以选?因为这类电脑的内存焊在芯片旁边,购买时就要选好容量,之后不能加。
只看两个数字:容量和带宽
用吃面来比喻:
- 容量(GB)=碗有多大:决定模型放不放得下;
- 带宽(GB/s)=筷子夹多快:决定跑多快。
碗很大、筷子很慢,一样吃得很慢。跑大模型时,每产生一个字都要把模型读一遍,所以:
每秒字数的理论上限 ≈ 带宽 ÷ 每个字要读的模型大小
六种热门机器的规格
| 机种 | 容量 | 带宽 |
|---|---|---|
| RTX 5090 | 32GB 显存 | 1,792 GB/s |
| RTX PRO 6000 Blackwell | 96GB 显存 | 1,792 GB/s |
| Mac Studio M5 Max | 最高 128GB 统一内存 | 614 GB/s |
| Mac Studio M5 Ultra | 最高 512GB 统一内存 | 约 1,200 GB/s |
| NVIDIA DGX Spark | 128GB 统一内存 | 273 GB/s |
| AMD Ryzen AI Max+ 395 主机 | 常见 128GB 统一内存 | 256 GB/s |
AMD 自家的 Ryzen AI Halo 另有 192GB 的 Ryzen AI Max+ PRO 495 版本,带宽 273 GB/s。
价格对照(2026 年 11 月查找)
| 机种 | 台湾 | 大陆 | 美国 |
|---|---|---|---|
| RTX 5090 32GB | 建议价 NT$71,990;通路约 NT$16 万起 | 依通路(大陆版为 5090 D 系列) | 建议价 US$1,999;市场价 US$4,000 以上 |
| RTX PRO 6000 96GB | 依通路报价 | 依通路报价 | 上市约 US$8,500,报价曾超过 US$13,000 |
| Mac Studio M5 Max | NT$84,900 起(36GB) | ¥19,999 起(36GB) | US$2,499 起 |
| Mac Studio M5 Ultra | NT$199,900 起(96GB) | ¥46,999 起(96GB) | US$5,499 起 |
| └ 512GB 版 | 内存加价 NT$542,500 | ¥172,999(512GB+1TB) | — |
| DGX Spark 128GB | 同芯片 GB10 主机约 NT$17.6 万起 | 官方未公布,通路曾到约 ¥4 万 | US$6,950(Founders Edition) |
| AMD AI Max+ 395 128GB | 依品牌与通路 | 约 ¥15,000~19,000 | AMD Ryzen AI Halo US$3,999.99 |
Mac 的台湾、大陆价格为 Apple 官方售价,其他为建议价或通路价。2026 年内存缺货,价格变动很快,购买前请再查一次。
同一个 70B 模型,谁跑最快?
70B 模型用 Q4 量化大约 42GB。用「带宽 ÷ 42GB」算出理论上限:
| 机种 | 放得下吗 | 每秒字数理论上限 |
|---|---|---|
| RTX 5090 | ✗ 32GB 放不下 | — |
| RTX PRO 6000 | ✓ | 约 43 |
| Mac Studio M5 Ultra | ✓ | 约 29 |
| Mac Studio M5 Max(128GB) | ✓ | 约 15 |
| DGX Spark | ✓ | 约 6 |
| AMD AI Max+ 395 | ✓ | 约 6 |
这是理论上限,不是实测,实际速度会再低一些。
512GB 买的是什么?
买的是放得下,不是比较快。几百 B 的超大模型,只有 256GB、512GB 的 Mac Studio 装得下;而且这类超大模型多半是 MoE,每个字只读一小部分参数,所以速度还能用。MoE 的原理请看MoE 混合专家模型。
反过来,模型放得进 96GB 时,RTX PRO 6000 的带宽更高,会比较快。
要生图、生视频?看算力和软件
- NVIDIA 显卡:有 CUDA,ComfyUI 等工具支持最好、速度最快;
- DGX Spark:也有 CUDA、算力不错,但带宽低,聊天跑大模型比较慢;
- Mac、AMD:能跑,但很多新工具会先支持 NVIDIA。
不买也可以:云端按小时租
| 云端 GPU | 参考价(每小时) |
|---|---|
| RTX 5090 | 约 US$0.35 |
| RTX PRO 6000 | 约 US$0.66 |
| H100(数据中心) | 约 US$1.25 |
价格为比价网站上的最低随选价格,各平台不同、会变动。适合偶尔才要大算力,或买之前先试试;缺点是数据要上传到别人的机器,长时间使用也不便宜。
想先试试看,可以用 RunPod:按秒计费,RTX 4090 约每小时 0.34 美元起,用完关机就停止计费。(联盟链接:透过它注册储值,本站会得到少量点数或佣金,你的价格不变。)
你适合哪一种?
| 你是 | 建议 |
|---|---|
| 刚开始玩 | 先用现在的显卡跑小模型,或用云端、API |
| 主要生图、生视频 | NVIDIA 显卡(RTX 5090、二手 3090/4090) |
| 想在家跑 70B~120B | 128GB 统一内存:AMD 小主机、DGX Spark 或 Mac |
| 要跑几百 B 的超大模型 | Mac Studio M5 Ultra 256GB/512GB |
| 偶尔大量运算 | 租云端 GPU,用完就关 |
记住一句话:容量买的是「放得下」,带宽买的是「快」。 没有一台机器全赢,看你要跑什么。
想先算算自己的显卡能跑多大的模型,请看显存怎么估。
常见问题
为什么 96GB 的 RTX PRO 6000 会装不下比它便宜的电脑能装的模型?
因为 Mac Studio、DGX Spark、AMD AI Max 小主机用的是统一内存,CPU 和 GPU 共用一大池,GPU 可以直接拿来当显存。Mac Studio M5 Ultra 最高 512GB,容量比 96GB 大很多,所以几百 B 的超大模型只有它装得下。
512GB 的 Mac Studio 跑大模型一定比较快吗?
不一定。速度主要看带宽:Mac Studio M5 Ultra 约 1,200 GB/s,RTX PRO 6000 约 1,792 GB/s。同一个放得进 96GB 的模型,RTX PRO 6000 理论上会比较快。512GB 买的是「放得下」。
内存为什么可以变成显存?
一般电脑的内存给 CPU 用、显存给 GPU 用,中间隔着较窄的 PCIe。统一内存的电脑把 CPU 和 GPU 做在一起,共用同一池内存,所以大部分内存都能给 GPU 用。AMD 平台的 GPU 预设最多约可分到 3/4。
统一内存的电脑可以之后再加内存吗?
不行。这类电脑的内存焊在芯片旁边,购买时就要选好 128GB、256GB 或 512GB,之后不能升级。
生图、生视频要买哪一种?
优先选 NVIDIA 显卡。ComfyUI 等工具对 CUDA 支持最好、速度最快;Mac 和 AMD 也能跑,但很多新工具会先支持 NVIDIA。
表格里的每秒字数是实测吗?
不是。那是用「带宽 ÷ 模型大小」算出的理论上限,实际速度会再低一些,还会受软件、上下文长度和设置影响。
留言
用 GitHub 账号登录就能留言,留言会公开显示在 GitHub Discussions。留言前请先看社区规则。