阿文上手体验

阿文上手体验

已发布 19 篇文章

100万token能装下什么:DeepSeek长上下文用法与四个陷阱

100万token能装下什么:DeepSeek长上下文用法与四个陷阱

封面:延绵展开的长文档数据流

买 AI 会员时,你总会看到一个参数:上下文长度。从最早的 4K、8K,到后来的 128K,再到 2026 年 DeepSeek V4 系列的 100 万 token(1M)。

这个数字到底意味着什么?是不是越大越好?普通人用得上吗?

一、先把单位换算成人话

Token 是模型处理文本的最小单位,不等于”字”,但可以粗算:

  • 英文:1 个 token ≈ 0.75 个单词;
  • 中文:1 个汉字大约 0.6—1 个 token,取决于分词方式。

保守估算,100 万 token 大约相当于 80 万—150 万汉字。

具体一点:

内容 体量 100 万 token 能装下
《三体》三部曲 约 90 万字 1 套,还剩不少
《红楼梦》 约 73 万字 1 部
一年的工作周报(每周 1500 字) 约 7.8 万字 约 12 年
一份 200 页的 PDF 合同 约 10 万字 约 10 份
一整个中型项目的代码库 视规模 数万行到十几万行

换个说法:100 万 token 意味着你可以把一个普通人好几年的文字产出,一次性塞给 AI,让它在完整背景里思考。

二、为什么这件事这么难?

直觉上,”多读点东西”能有多难?难在两处。

第一,计算量随长度暴涨。 传统注意力机制要求每个字都和所有其他字”对一遍眼神”,100 万字的复杂度是 100 万的平方量级——这是天文数字。所以早期模型的上下文卡在 4K、8K,不是不想做,是做不起。

第二,记忆(KV Cache)装不下。 读过的每个字都要留一份”记忆”供后续参考。100 万字的记忆要占几十上百 GB 显存,一张顶级显卡都未必装得下,更别说还有成千上万用户同时在线。

所以长上下文是一场双重攻坚战:算法上要更聪明地”看”(稀疏/线性注意力),工程上要更紧凑地”记”(KV Cache 压缩)。

三、DeepSeek 是怎么做到的

DeepSeek 在这两条战线上都有动作:

在”看”这一侧,V4 系列采用了压缩稀疏注意力相关的混合机制——不是每个字都和所有字做全连接,而是有选择地关注关键位置。这把平方级复杂度压了下来。

在”记”这一侧,就是我们在上一篇讲过的 MLA 与 KV Cache 压缩。官方数据:相比初代模型,KV Cache 累计缩小 437 倍;V4.1-Flash 相比上一代,显存需求降到 1/4、硬盘需求降到 1/8。

V4 系列的两款模型(Pro 和 Flash)都支持 100 万 token 上下文、最长 38.4 万 token 的输出——也就是说,它不仅能读完一整本书,还能一口气写出一部中篇小说长度的内容。

更关键的是:100 万上下文不是”加价选配”,而是默认配置。在很多海外模型那里,超长上下文是要额外付费或者走特殊接口的,而 DeepSeek 把它做成了默认能力,且 MIT 开源——中小企业可以免费用百万上下文,不付授权费。

四、”大海捞针”问题:长 ≠ 准

这里必须泼一盆冷水。

长上下文有个著名的测试叫 Needle in a Haystack(大海捞针):在一大段无关文本里藏一句关键信息,看模型能不能找出来。

早期长上下文模型的问题很典型:理论上能读 100 万字,但真正能”记住并正确使用”的往往集中在开头和结尾,中间部分会明显退化(所谓 “lost in the middle” 现象)。

即使到 2026 年,这个问题也没有被彻底解决。所以使用长上下文时有几条经验:

1. 把关键信息放在开头或结尾,别埋在第 37 页的第三段; 2. 重要资料先做摘要再喂进去,比整本丢进去效果好; 3. 问得越具体越好:”第 4 章里提到的违约金比例是多少”比”这份合同讲了什么”更容易答准; 4. 长不代表全:超过一定长度后,模型对细节的把握会下降,别指望它逐字校对 80 万字。

五、什么时候真的需要长上下文?

坦率说,大多数人日常用不上 100 万。聊天、写文案、问问题,几万字绰绰有余。真正受益的是这几类场景:

场景一:整本项目资料一次性投喂。 把招标文件、需求文档、历史会议纪要全部丢进去,让它基于完整背景写方案,而不是你一页页复制粘贴。

场景二:代码库级别的理解。 让 AI 读完整项目再改代码,而不是只看单个文件——这是 2026 年 AI 编程助手(Agent Coding)能真正落地的前提。

场景三:长期陪伴型任务。 一个持续运行几天的 Agent,把每一步的思考、中间结果都留在上下文里。此时长度直接决定它能独立完成多复杂的任务。

场景四:个人知识库。 把自己的读书笔记、工作记录、学习资料累积成一个大上下文,变成”懂你的”私人助手。

六、补充:有了长上下文,还需要 RAG 吗?

这是很多人的疑问:既然能一次塞进 100 万字,那”检索增强生成(RAG)”是不是过时了?

简单说下两者的区别:

  • 长上下文:把所有资料一次性放进对话,让模型自己在里面找答案;
  • RAG:先用检索系统从海量资料里找出最相关的几段,只把这几段喂给模型。

答案是:两者解决的是不同量级的问题,而且 RAG 远没有过时。

长上下文适合”几百万字以内、单次任务”的场景。 一份合同、一本书、一个项目代码库——直接全丢进去,简单粗暴效果好。

RAG 适合”资料总量远超上下文”的场景。 比如你有 10 万份文档(几十亿字),无论如何塞不进 100 万 token,就必须先检索再阅读。此外 RAG 还有三个长上下文比不了的优势:

1. 成本低:每次只处理几千字,而不是每次都读一百万字; 2. 可溯源:能明确告诉你答案来自哪份文档的哪一段; 3. 可更新:资料变了只需更新索引,不用重新组织整个上下文。

反过来,长上下文也有 RAG 做不到的好处:它能跨文档做整体理解(”对比这三份合同的差异”),而 RAG 每次只看到片段,容易只见树木不见森林。

实操建议是两者结合:用 RAG 从海量资料里缩小范围,再用长上下文对筛出来的几十万字做深度分析。2026 年成熟的企业知识库方案基本都是这个套路。

七、成本:长上下文是”免费午餐”吗?

不是,但很便宜。

因为 KV Cache 被大幅压缩,V4.1-Flash 在空闲时段的缓存命中输入价格是 0.02 元/百万 token——便宜到几乎可以忽略。

但要注意一个机制:重复读取的部分如果命中缓存,按 0.02 元算;没命中(首次读取)按 1 元算。 所以多轮对话里,第一轮最贵,后续轮次很便宜。这也是为什么 DeepSeek 会说”Agent 场景中缓存命中费用占比较高,压缩缓存能大幅降低成本”。

给开发者的实操建议:保持对话上下文稳定,别每次都开新会话重传同样的资料。

八、一句话总结

100 万 token 上下文,真正的价值不是”能塞多少”,而是让 AI 第一次拥有了完整背景。

过去我们和 AI 对话,像是每次都给一个失忆的专家打电话,得先把前因后果复述一遍。现在,他终于能坐下来,把整摞资料从头翻到尾,再来回答你的问题。

当然,他还是会看漏、会记错、会自信地编造细节。所以最后一句建议永远成立:长上下文让 AI 更强,但不让它更可靠。关键结论,还是要自己核一遍。