📦 快速資料包
只想趕快裝好?這裡就夠了。
- 新手、想用滑鼠操作:裝 LM Studio。
- 要寫程式、接其他工具:裝 Ollama。
- 想讓小顯存跑超大模型:裝 Strata(8GB 以下用 PolyStrata)。
💡 三個工具可以同時裝在同一台電腦,不會衝突,只是不要同時跑大模型,顯存會不夠。
想知道原理、實測數據和常見問題?往下看完整教學 ↓
重點速覽
三種工具都能免費在自己電腦上跑大模型,差別在用法。LM Studio 是圖形介面的桌面軟體,下載模型、聊天、開本地 API 都用滑鼠點,最適合新手;Ollama 用一行指令就能下載和執行模型,背景開著一個本地 API,最適合寫程式、接其他工具;Strata 專門處理「顯存不夠的超大模型」,把模型分層放在顯存、記憶體和硬碟之間,讓 12GB 左右的顯卡也能跑 125B 等級的 MoE 模型(6~8GB 顯卡則用它的分支 PolyStrata)。新手先用 LM Studio;要接程式或自動化用 Ollama;想挑戰比顯存大很多的模型用 Strata。三個可以同時裝,不衝突。
想在自己電腦上跑大模型,最常見的問題不是「哪個模型最好」,而是第一步要裝什麼。現在最多人用的三個工具是 LM Studio、Ollama 和 Strata。它們都免費、都能在本機跑,但適合的人完全不一樣。
這三個工具我自己都實際用過,也做過實測影片。這篇用最簡單的方式幫你選。
一句話分辨
| 工具 | 一句話 | 最適合 |
|---|---|---|
| LM Studio | 有圖形介面的桌面軟體,全部用滑鼠點 | 新手、想先試試看的人 |
| Ollama | 一行指令下載和執行模型,背景開 API | 寫程式、接自動化工具的人 |
| Strata | 專門讓小顯存跑超大模型 | 顯卡不大、又想跑 100B 以上模型的人 |
LM Studio:新手最好上手
優點:
- 全部有畫面:搜尋模型、下載、聊天、調設定,都在同一個視窗裡完成;
- 下載前會標示這個模型你的電腦跑不跑得動,對新手很友善;
- 可以一鍵開啟本地 API(預設網址
http://127.0.0.1:1234/v1),讓其他軟體接上來用; - Windows、Mac、Linux 都有,Mac 還支援蘋果晶片專用的 MLX 格式。
缺點:
- 模型比顯存大很多時,速度會掉得很明顯;
- 比較適合「坐在電腦前用」,要長時間在背景跑服務,Ollama 比較方便。
適合你如果: 第一次玩本地大模型、不想碰指令列。
Ollama:一行指令,最適合接程式
優點:
- 安裝後打一行指令就能跑,例如:
ollama run qwen3:4b
沒有這個模型會自動下載,下載完直接開始聊天;
- 安裝後會在背景開一個本地 API(預設
http://localhost:11434),也支援 OpenAI 相容的格式,寫程式、接 AI 代理、接自動化工具都很方便; - 模型都在官方的模型庫裡,名稱固定,教學和腳本很好寫、很好分享。
我的使用心得: 模型完全放得進顯存的時候,Ollama 跑起來很快。模型比顯存大時,它會自動把一部分放到記憶體,這時候速度就會明顯變慢。想知道現在的分配,可以輸入:
ollama ps
PROCESSOR 那一欄如果顯示 100% GPU,代表整個模型都在顯存裡,速度最快;如果顯示像 40%/60% CPU/GPU,代表有一部分放在記憶體,可以換小一點的模型或更低的量化版本。
缺點:
- 主要用指令操作,新手一開始會不習慣;
- 想用模型庫以外的模型,要多做幾個步驟。
適合你如果: 會一點指令列、想把本地模型接到自己的程式或工作流程裡。不熟指令列的話,可以先看終端機基礎。
Strata:小顯存挑戰超大模型
優點:
- 專門跑 MoE(混合專家)模型,把模型分層放在顯存、記憶體和硬碟之間,需要的部分才搬進顯存;
- 讓 12GB 左右的顯卡也能跑 125B 等級的模型,這是另外兩個工具很難做到的;
- 顯卡只有 6~8GB 的話,用它的分支 PolyStrata,一樣能跑 35B 等級的模型;
- 也有本地 API,可以接 AI 代理。
缺點:
- 記憶體和硬碟要夠大:顯存省下來的空間,要由記憶體和硬碟補;
- 支援的模型比較少,主要是它整理好的幾個 MoE 模型;
- 比較新,更新很快,版本之間差異大。
適合你如果: 顯卡不大,但想體驗 100B 以上的大模型。MoE 為什麼能這樣跑,請看 MoE 混合專家模型。
三個工具比一比
| LM Studio | Ollama | Strata | |
|---|---|---|---|
| 操作方式 | 圖形介面 | 指令列(也有簡單的視窗) | 圖形介面+網頁聊天 |
| 上手難度 | ★ 最簡單 | ★★ | ★★ |
| 本地 API | 有 | 有 | 有 |
| 跑比顯存大很多的模型 | 會很慢 | 會很慢 | 這是它的強項 |
| 可選的模型 | 非常多 | 非常多 | 少,以 MoE 為主 |
| 最適合 | 新手、日常聊天 | 寫程式、自動化 | 小顯存跑超大模型 |
照這個順序選
- 還不知道自己的顯卡能跑多大? 先看實驗 #001:你的顯卡能跑多大的模型?,算一次就知道。
- 只是想試試看、用滑鼠操作 → LM Studio。
- 要接程式、AI 代理、自動化 → Ollama。
- 顯卡不大,但想跑 100B 以上的模型 → Strata(8GB 以下用 PolyStrata),兩個怎麼選請看 Strata vs PolyStrata。
三個可以一起裝嗎?
可以,三個工具互不衝突,很多人是都裝:平常用 LM Studio 聊天、寫程式時用 Ollama、想挑戰大模型時開 Strata。
唯一要注意的是不要同時讓兩個工具跑大模型,顯存會被搶光,兩邊都會變得很慢或直接出錯。用完一個,記得把它的模型卸載或關掉,再開另一個。
下載前的小提醒
- 只從官方網站或官方 GitHub 下載,不要用網路上來路不明的「整合包」;
- 模型檔動輒十幾 GB,C 槽空間不夠的話,先在工具的設定裡把模型資料夾改到其他硬碟;
- 每個模型都有自己的授權,個人使用大多沒問題,商業用途要先看清楚。
想知道跑起來每秒幾個字算快,可以看每秒 token 數是什麼。
常見問題
三個都是免費的嗎?
都可以免費下載使用。模型本身也大多免費,但每個模型有自己的授權,商業用途要另外看模型的授權條款。
我的顯卡只有 4GB 或 6GB,該用哪個?
4GB 建議先用 LM Studio 或 Ollama 跑 1.5B 到 4B 的小模型;6GB 到 8GB 可以試 PolyStrata 跑 35B 等級的 MoE 模型。不確定的話,先用實驗
可以讓 Claude Code 這類 AI 代理用本地模型嗎?
可以。三個工具都能開一個本地 API,相容 OpenAI 的格式,很多工具只要把網址換成本機的位址就能接上。
為什麼 Strata 能跑比顯存大很多的模型?
它主要跑 MoE 模型,每產生一個字只會用到一小部分參數。Strata 把常用的部分放顯存、其他放記憶體和硬碟,需要時才搬,所以顯存小也跑得動,代價是記憶體和硬碟要夠大。
留言
用 GitHub 帳號登入就能留言,留言會公開顯示在 GitHub Discussions。留言前請先看社群規則。