📦 快速资料包
只想赶快装好?这里就够了。
- 新手、想用鼠标操作:装 LM Studio。
- 要写程序、接其他工具:装 Ollama。
- 想让小显存跑超大模型:装 Strata(8GB 以下用 PolyStrata)。
💡 三个工具可以同时装在同一台电脑,不会冲突,只是不要同时跑大模型,显存会不够。
想知道原理、实测数据和常见问题?往下看完整教程 ↓
要点速览
三种工具都能免费在自己电脑上跑大模型,差别在用法。LM Studio 是图形界面的桌面软件,下载模型、聊天、开本地 API 都用鼠标点,最适合新手;Ollama 用一行指令就能下载和运行模型,背景开着一个本地 API,最适合写程序、接其他工具;Strata 专门处理「显存不够的超大模型」,把模型分层放在显存、内存和硬盘之间,让 12GB 左右的显卡也能跑 125B 等级的 MoE 模型(6~8GB 显卡则用它的分支 PolyStrata)。新手先用 LM Studio;要接程序或自动化用 Ollama;想挑战比显存大很多的模型用 Strata。三个可以同时装,不冲突。
想在自己电脑上跑大模型,最常见的问题不是「哪个模型最好」,而是第一步要装什么。现在最多人用的三个工具是 LM Studio、Ollama 和 Strata。它们都免费、都能在本机跑,但适合的人完全不一样。
这三个工具我自己都实际用过,也做过实测视频。这篇用最简单的方式帮你选。
一句话分辨
| 工具 | 一句话 | 最适合 |
|---|---|---|
| LM Studio | 有图形界面的桌面软件,全部用鼠标点 | 新手、想先试试看的人 |
| Ollama | 一行指令下载和运行模型,背景开 API | 写程序、接自动化工具的人 |
| Strata | 专门让小显存跑超大模型 | 显卡不大、又想跑 100B 以上模型的人 |
LM Studio:新手最好上手
优点:
- 全部有画面:搜索模型、下载、聊天、调设置,都在同一个窗口里完成;
- 下载前会标示这个模型你的电脑跑不跑得动,对新手很友善;
- 可以一键打开本地 API(预设网址
http://127.0.0.1:1234/v1),让其他软件接上来用; - Windows、Mac、Linux 都有,Mac 还支持苹果芯片专用的 MLX 格式。
缺点:
- 模型比显存大很多时,速度会掉得很明显;
- 比较适合「坐在电脑前用」,要长时间在背景跑服务,Ollama 比较方便。
适合你如果: 第一次玩本地大模型、不想碰指令列。
Ollama:一行指令,最适合接程序
优点:
- 安装后打一行指令就能跑,例如:
ollama run qwen3:4b
没有这个模型会自动下载,下载完直接开始聊天;
- 安装后会在背景开一个本地 API(预设
http://localhost:11434),也支持 OpenAI 兼容的格式,写程序、接 AI 代理、接自动化工具都很方便; - 模型都在官方的模型库里,名称固定,教学和脚本很好写、很好分享。
我的使用心得: 模型完全放得进显存的时候,Ollama 跑起来很快。模型比显存大时,它会自动把一部分放到内存,这时候速度就会明显变慢。想知道现在的分配,可以输入:
ollama ps
PROCESSOR 那一栏如果显示 100% GPU,代表整个模型都在显存里,速度最快;如果显示像 40%/60% CPU/GPU,代表有一部分放在内存,可以换小一点的模型或更低的量化版本。
缺点:
- 主要用指令操作,新手一开始会不习惯;
- 想用模型库以外的模型,要多做几个步骤。
适合你如果: 会一点指令列、想把本地模型接到自己的程序或工作流程里。不熟指令列的话,可以先看终端机基础。
Strata:小显存挑战超大模型
优点:
- 专门跑 MoE(混合专家)模型,把模型分层放在显存、内存和硬盘之间,需要的部分才搬进显存;
- 让 12GB 左右的显卡也能跑 125B 等级的模型,这是另外两个工具很难做到的;
- 显卡只有 6~8GB 的话,用它的分支 PolyStrata,一样能跑 35B 等级的模型;
- 也有本地 API,可以接 AI 代理。
缺点:
- 内存和硬盘要够大:显存省下来的空间,要由内存和硬盘补;
- 支持的模型比较少,主要是它整理好的几个 MoE 模型;
- 比较新,更新很快,版本之间差异大。
适合你如果: 显卡不大,但想体验 100B 以上的大模型。MoE 为什么能这样跑,请看 MoE 混合专家模型。
三个工具比一比
| LM Studio | Ollama | Strata | |
|---|---|---|---|
| 操作方式 | 图形界面 | 指令列(也有简单的窗口) | 图形界面+网页聊天 |
| 上手难度 | ★ 最简单 | ★★ | ★★ |
| 本地 API | 有 | 有 | 有 |
| 跑比显存大很多的模型 | 会很慢 | 会很慢 | 这是它的强项 |
| 可选的模型 | 非常多 | 非常多 | 少,以 MoE 为主 |
| 最适合 | 新手、日常聊天 | 写程序、自动化 | 小显存跑超大模型 |
照这个顺序选
- 还不知道自己的显卡能跑多大? 先看实验 #001:你的显卡能跑多大的模型?,算一次就知道。
- 只是想试试看、用鼠标操作 → LM Studio。
- 要接程序、AI 代理、自动化 → Ollama。
- 显卡不大,但想跑 100B 以上的模型 → Strata(8GB 以下用 PolyStrata),两个怎么选请看 Strata vs PolyStrata。
三个可以一起装吗?
可以,三个工具互不冲突,很多人是都装:平常用 LM Studio 聊天、写程序时用 Ollama、想挑战大模型时开 Strata。
唯一要注意的是不要同时让两个工具跑大模型,显存会被抢光,两边都会变得很慢或直接出错。用完一个,记得把它的模型卸载或关掉,再开另一个。
下载前的小提醒
- 只从官方网站或官方 GitHub 下载,不要用网络上来路不明的「集成包」;
- 模型档动辄十几 GB,C 槽空间不够的话,先在工具的设置里把模型文件夹改到其他硬盘;
- 每个模型都有自己的授权,个人使用大多没问题,商业用途要先看清楚。
想知道跑起来每秒几个字算快,可以看每秒 token 数是什么。
常见问题
三个都是免费的吗?
都可以免费下载使用。模型本身也大多免费,但每个模型有自己的授权,商业用途要另外看模型的授权条款。
我的显卡只有 4GB 或 6GB,该用哪个?
4GB 建议先用 LM Studio 或 Ollama 跑 1.5B 到 4B 的小模型;6GB 到 8GB 可以试 PolyStrata 跑 35B 等级的 MoE 模型。不确定的话,先用实验
可以让 Claude Code 这类 AI 代理用本地模型吗?
可以。三个工具都能开一个本地 API,兼容 OpenAI 的格式,很多任务具只要把网址换成本机的地址就能接上。
为什么 Strata 能跑比显存大很多的模型?
它主要跑 MoE 模型,每产生一个字只会用到一小部分参数。Strata 把常用的部分放显存、其他放内存和硬盘,需要时才搬,所以显存小也跑得动,代价是内存和硬盘要够大。
留言
用 GitHub 账号登录就能留言,留言会公开显示在 GitHub Discussions。留言前请先看社区规则。