“我想在自己电脑上跑 DeepSeek,需要什么配置?”
这是最多人问、也最容易被误导的问题。网上一堆教程说得神乎其神,结果你兴冲冲装完发现卡成幻灯片。
这篇把真实门槛讲清楚,包括:能跑什么、跑不了什么、以及大多数人其实不该本地部署。
一、先分清三条路
用 DeepSeek 只有三种方式,适用人群完全不同:
| 方式 | 成本 | 隐私 | 能力 | 适合谁 |
|---|---|---|---|---|
| 网页版 / App | 免费 | 数据上传到对方服务器 | 完整前沿模型 | 90% 的人 |
| API 调用 | 按量付费,几分钱起 | 数据上传到对方服务器 | 完整前沿模型,可集成 | 开发者、批量任务 |
| 本地部署 | 几千到几十万硬件投入 | 数据完全不出本机 | 取决于你的硬件 | 有隐私/离线刚需的人 |
先说结论:如果你只是想”用 AI 干活”,本地部署是最不划算的那条路。 你花两万块买的显卡,跑出来的模型还不如网页版免费给你的强。
本地部署的真正价值只有一个:数据不出门。合同、病历、涉密材料、不能上云的私有代码——这些场景,本地部署无可替代。
二、一个重要区分:”DeepSeek” 到底是哪个模型
这是最大的认知坑。
你在网页上用的 DeepSeek 是 V4 系列(V4-Pro:1.6 万亿总参数;V4.1-Flash:5520 亿总参数)。这些是巨无霸,个人电脑根本跑不动完整版。
而你在 Ollama 等工具里常看到的 deepseek-r1:7b、deepseek-r1:32b,是 R1 的蒸馏版——用大模型生成的数据训练出来的小模型,继承了部分推理能力,但和真正的 V4/R1 完全不是一个量级。
所以当你看到”3090 显卡流畅运行 DeepSeek”的视频,说的是 7B 或 32B 的小模型,不是你网页上用的那个。
三、硬件门槛对照表(蒸馏版,个人可行区间)
以最常见的量化格式 Q4_K_M(精度损失小、体积适中)为参考:
| 模型 | 体积 | 最低显存 | 推荐显卡 | 大致速度 |
|---|---|---|---|---|
| R1-Distill 1.5B | ~1 GB | 几乎任意(可纯 CPU) | 集显/老显卡 | 5—30 tok/s |
| R1-Distill 7B | ~5 GB | 8 GB | RTX 4060 8GB / 3060 12GB | 40—80 tok/s |
| R1-Distill 14B | ~8—9 GB | 12 GB | RTX 4060 Ti 16GB / Intel Arc B580 | 30—60 tok/s |
| R1-Distill 32B | ~19—20 GB | 24 GB | RTX 3090 / 4090(24GB) | 28—45 tok/s |
| R1-Distill 70B | ~40 GB | 48 GB+ | 双 3090/4090 或 Mac Studio | 8—15 tok/s |
数据来源为社区实测汇总,实际速度受显存带宽、上下文长度、推理框架影响。
几个关键提示:
- 16GB 显卡跑不了 32B。 32B 在 Q4 量化下约需 19—20GB,加上上下文缓存就超了。这是最常见的踩坑点。
- 显存带宽比容量更影响速度。 RTX 4090(约 1008 GB/s)明显快于同显存的 RTX 3090(约 936 GB/s)。
- 苹果 Silicon 有特殊优势。 M 系列芯片是统一内存,GPU 共享系统内存。一台 Mac mini M4(24GB)可以跑 14B 高量化版本;Mac Studio M4 Max(64GB/128GB)能加载游戏 PC 根本装不下的模型——代价是速度较慢,但”能跑”本身就是价值。
四、想跑完整的 V4?那是另一回事
如果你要的是和网页版同级的 V4 系列权重:
- V4-Flash 在 FP4+FP8 混合精度下约 158 GB。这至少需要 1 张 H200(141GB HBM)或 2 张 A100 80GB;
- 要跑满 100 万 token 的长上下文基准测试,社区报告建议至少 4 张 A100 80GB 或多节点;
- 生产级服务还需要 500GB+ 的 NVMe 存储,以及 vLLM / SGLang 这类推理框架。
一句话:完整 V4 是数据中心的事,不是书房里的事。 有研究者干脆建议——这个规模直接用 API。
五、三步上手:用 Ollama 跑一个本地 DeepSeek
如果你想试试,最简单的路径是 Ollama(支持 Windows / macOS / Linux,自动识别 NVIDIA / AMD / Apple Silicon)。
第 1 步:安装
Linux/macOS:
curl -fsSL https://ollama.com/install.sh | sh
Windows:去 ollama.com 下载安装包,一路下一步。
第 2 步:拉取模型(按你的显存选)
ollama pull deepseek-r1:7b # 8GB 显存就能跑
ollama pull deepseek-r1:14b # 12GB 以上
ollama pull deepseek-r1:32b # 24GB 显存,RTX 3090/4090
第 3 步:开跑
ollama run deepseek-r1:7b
就这三行,你已经有一个完全离线、数据不外传的 AI 了。
想加个图形界面? 装 Open WebUI:
pip install open-webui
open-webui serve
然后浏览器打开 localhost:8080,界面和 ChatGPT 差不多。非技术用户也可以用 LM Studio,全图形操作,直接搜索下载模型。
给开发者: Ollama 提供 OpenAI 兼容接口(http://localhost:11434/v1),你原有的代码改个 base_url 就能切过去。
六、补充:量化格式怎么选,以及常见故障排查
量化格式:不是越低越好
同一个模型会有很多”版本后缀”:q4_K_M、q5_K_M、q8_0、fp16。它们的区别是每个参数用多少位来存储:
| 格式 | 显存占用 | 质量 | 适合 |
|---|---|---|---|
| FP16 | 最高(基准) | 最好 | 显存充裕、追求极限质量 |
| Q8 | 约 FP16 的一半 | 几乎无损 | 显存够用时优先选 |
| Q4_K_M | 约 FP16 的 1/4 | 损失很小 | 性价比甜点,最常用 |
| Q3 / Q2 | 更低 | 明显下降 | 显存实在不够时的妥协 |
社区共识:Q4_K_M 是甜点。再往下压,模型会明显变笨,尤其是推理和数学任务;往上用 FP16,显存翻倍但质量提升有限,不划算。
一句话决策:在你的显存能装下的前提下,选量化等级最高的那个。
三个最常见的故障
故障一:模型跑得极慢,一看 CPU 占满、GPU 闲着。
这说明显卡没被调用。排查顺序:
1. NVIDIA 用户跑 nvidia-smi,看推理时显存占用是否上升; 2. 没占用 → 驱动或 CUDA 没装好。Ollama 需要显卡计算能力 5.0 以上; 3. AMD 用户需要正确安装 ROCm; 4. Windows 用户注意:部分工具链需要 WSL2 环境。
Windows 用户额外提醒: Ollama 和 LM Studio 在 Windows 上都有原生安装包,优先用原生版,比在 WSL 里折腾省事得多。但如果你要用 vLLM 这类生产级推理框架,WSL2 或 Linux 是更稳妥的选择。
故障二:显存爆了(OOM)。
模型能装下,但一开长对话就崩。原因通常是上下文长度开太大——KV Cache 也要占显存。解决办法:把上下文从默认的超长值调到实际需要的大小(比如 8K 或 16K),或者在工具里限制 num_ctx 参数。
故障三:回答质量远不如网页版。
这是正常的。你跑的是 7B 或 32B 的蒸馏模型,网页版背后是几千亿参数的 V4 系列。差一个数量级,不是一个档次。 本地部署买的是隐私和离线,不是能力。
七、算笔账:什么时候不该本地部署
假设你用 API:V4.1-Flash 空闲时段输出 4 元/百万 token。日常聊天问答,一个月用几百万 token 也就是几块到几十块钱。
假设你本地部署:一张 RTX 4090 约两万元,加上整机、电费(满载几百瓦),跑的还只是 32B 蒸馏模型——能力远弱于 API 上的 V4。
所以理性的判断标准是:
该本地部署,如果你:
- 处理涉密/敏感数据(法律文书、病历、财务、未公开代码);
- 需要完全离线(内网环境、出差途中);
- 有明确的批量任务,且数据合规要求不外传;
- 想学习模型原理、做微调实验。
不该本地部署,如果你:
- 只是想找个 AI 聊天和写东西;
- 数据量小、不敏感;
- 没有 12GB 以上显存的显卡;
- 追求最强能力——那直接上云端。
八、三个常见误区
误区一:”本地部署就绝对安全”。 数据安全了,但模型本身的能力边界没变——它照样会胡说八道。隐私风险和准确性风险是两件事。
误区二:”量化越低越好”。 Q4 是性价比甜点;再往下压到 Q2/Q3,模型会明显变笨。FP16 精度高但显存翻倍,对推理任务收益有限。
误区三:”70B 一定比 32B 强很多”。 在你特定的任务上不一定。先跑小的,不够用再升级——很多人最后发现 14B 就够日常用了。
八、一句话总结
本地部署不是”更高级的用法”,而是”另一种用法”。
它解决的是“数据能不能出门”这个问题,不是”模型够不够强”。想清楚你要解决的是哪个问题,再决定要不要掏那两万块。
