阿文上手体验

阿文上手体验

已发布 19 篇文章

557万美元训练神话背后:DeepSeek省钱魔法哪些真哪些假

557万美元训练神话背后:DeepSeek省钱魔法哪些真哪些假

封面:算力压缩的视觉隐喻

一、那个让全世界震惊的数字

2024 年底,DeepSeek 在 V3 模型的技术报告里写下了一个数字:训练这次模型,花费约 557.6 万美元的 GPU 算力成本。

对比一下当时的行情:业界普遍认为训练一个前沿大模型需要几亿到几十亿美元。这个数字相当于把行业认知打了两折再打两折。

于是”DeepSeek 用 600 万美元做出了 GPT-4 级别的东西”传遍全球,英伟达股价应声大跌。

但这个数字,需要打一个很大的星号。

二、557 万美元,到底算了什么、没算什么

DeepSeek 论文里诚实地说明了口径:557.6 万美元是最终那一次成功训练运行的 GPU 租用/折旧成本。按照”每 GPU 小时 2 美元”的市场价,乘以实际消耗的 GPU 小时数算出来的。

它不包含以下东西:

  • 前期研究与失败实验。 一个能跑通的训练配方,背后是几十次跑崩、调参、重来的实验。这些算力开销往往比最终成功那次多得多。
  • 硬件采购。 据 SemiAnalysis 等机构估算,DeepSeek 拥有约 5 万张 GPU,基础设施投入远超 10 亿美元。买卡的钱不在这 557 万里。
  • 人力、数据、电力、机房。 一支顶尖研究团队的薪酬、数据清洗标注、数据中心运维,都是真金白银。
  • 此前的模型迭代。 V1、V2、V3-Base、R1 的积累,是站在肩膀上才有的效率。

所以更准确的说法是:“557 万美元”是”这一次训练的边际成本”,不是”造出 DeepSeek 的总成本”。

但这依然不影响它的伟大。因为”边际成本低”本身就是硬指标——它意味着这家公司具备了可持续迭代的能力:下一版模型的训练成本还能控制在这个量级,而竞争对手每训练一次都要掏几亿美元。

三、省钱的四个技术支点

DeepSeek 的效率不是玄学,是可拆解的工程。核心有四个支点,我用大白话讲。

支点一:MoE(混合专家)——不是每次都动用全部大脑

传统”稠密模型”处理每一个字,都要调用模型全部参数。1000 亿参数的模型,回答”你好”也要把这 1000 亿参数全算一遍。

MoE(Mixture of Experts,混合专家)的做法是:把模型切成很多个”专家小组”,每次只激活相关的几位专家。

打个比方:一家综合医院有 200 个专科医生,但你感冒去看病,只需要叫醒呼吸科的 3 位医生,不需要全院会诊。人还是 200 个,但每次干活的成本降了几十倍。

DeepSeek 的 V4-Pro 有 1.6 万亿总参数,但每个 token 只激活约 490 亿——知识容量是万亿级的,计算消耗是百亿级的。这就是”又大又便宜”的秘密。

支点二:MLA(多头潜在注意力)——把记忆压扁了存

大模型处理长文本时,需要把前面所有内容”记住”,这份记忆叫 KV Cache(键值缓存)。它非常占显存:上下文越长,缓存越大,成本越高。

DeepSeek 提出的 MLA(Multi-head Latent Attention,多头潜在注意力)把这份记忆做了一次”压缩存档”——不是原样保存每句话,而是压成更紧凑的表示,用的时候再还原。

效果有多夸张?官方数据:相比初代模型,V4 系列的 KV Cache 已经缩小了 437 倍;V4.1-Flash 相比上一代对显存(HBM)的需求降到 1/4、对固态硬盘的需求降到 1/8。

这意味着什么?同样的显卡,能装下几十倍长的对话;或者同样长的对话,成本只有原来的几十分之一。

支点三:FP8 / FP4 低精度——用”够用的精度”算账

传统训练用 FP32 或 FP16 精度(可以理解为小数点后保留很多位)。DeepSeek 大规模使用 FP8 甚至 FP4——数字位数少一半,计算速度快一倍,显存占用少一半。

代价是精度损失,但通过巧妙的误差补偿技术,模型质量几乎不掉。附带好处是:低精度对国产芯片更友好。同样的国产算力卡,在 FP4/FP8 下能承接更多推理任务——这是被芯片管制逼出来的创新,最后变成了生态优势。

支点四:工程层面的”抠门”

DeepSeek 在 2025 年搞过一次”开源周”,把底层工具链一股脑开源了,名字都很朴素:

  • DeepGEMM:核心逻辑只有约 300 行,却能跑出极高的 FP8 计算性能;
  • DualPipe:让计算和通信重叠,减少 GPU “干等”的时间;
  • FlashMLA / DeepEP / EPLB / 3FS:分别解决注意力加速、专家并行通信、专家负载均衡、分布式存储的问题。

2026 年 7 月,DeepSeek 又与北京大学联合开源了 DSpark——一套自研的推测解码(speculative decoding)方案。原理是让一个小模型先快速”起草”答案,大模型只负责审核修改,官方称推理速度提升约 60%—85%。

这些单个看都不起眼,叠加起来就是几倍的效率差。

四、一个常见误解:便宜 = 弱?

很多人默认”便宜没好货”。但 AI 领域的成本曲线和性能曲线,并不总是正相关。

原因在于:成本里很大一部分是”浪费”——冗余计算、等待通信、过高的数值精度、重复的上下文存储。把这些浪费挤掉,性能不降反升(因为同样预算下可以训更多数据、做更多强化学习)。

DeepSeek V4.1-Flash 就是最好的例子:它是”Flash”(快而便宜)系列,却在多项基准上超过了自家的旗舰 V4-Pro。官方公布的部分成绩:GPQA Diamond 90.9、Codeforces 评级 3471、Terminal-Bench 2.1 90.6、DeepSWE v1.1 74.2。

这不是营销话术,而是架构进步的真实体现:新的非对称架构让”便宜”和”强”第一次不再互斥。

五、给普通人的三个启发

第一,别迷信”训练成本”这个叙事。 媒体报道一个数,往往只报最有冲击力的那个。557 万是真实的,但它有严格口径。理解技术新闻时,多问一句”这个数字包含什么、不包含什么”。

第二,效率红利会传导到你身上。 训练便宜 → API 便宜 → 免费额度大方 → 长文本不用额外付费。2026 年 9 月起 V4.1-Flash 的价格是:空闲时段每百万 token 输入缓存命中 0.02 元、未命中 1 元、输出 4 元(高峰时段翻倍)。对比一些海外头部模型动辄几十上百倍的价格,普通人手里的工具其实是”补贴后”的。

第三,省下来的算力会变成新的能力。 同样的钱,别人训练一次,DeepSeek 可以训练三次、做更多强化学习、开更多研究方向。长期看,效率优势会复利。

六、一句话总结

DeepSeek 真正的创新不是”用 600 万美元做了一件大事”,而是把”单位智能的成本”这个指标,从一个营销概念变成了工程目标。

557 万美元这个数字会被记住,但更该被记住的是它背后的那句话:约束不是障碍,约束是创新的提示词。