日吞 155 万亿词元的生产引擎免费了：DeepSeek 开源 DeepInfer，也把门槛一并写清楚

这两年开源大模型已成常态：权重给你、许可宽松、社区迅速跟上。但企业真正把模型用到生产时，会发现账单上最大的那一项往往不是模型，而是「怎么把它跑起来」。同样的模型，同样的一批卡，服务栈写得好不好，吞吐可以差几倍——这就是推理框架的价值，也是此前各家从不外传的部分。

10 月 20 日，DeepSeek 在 GitHub 以 Apache 2.0 协议开源了 DeepInfer，也就是支撑自家线上服务 V4.1-Flash 的推理框架，同时放出配套的 deepseek-recipe 词元编解码库，让自建部署的分词与请求处理行为与官方 API 保持一致。消息在 Hacker News 数小时内冲到 2100 多分，Bloomberg、SiliconANGLE、MarkTechPost、The Next Web 同日跟进。

之所以轰动，是因为这是第一次有前沿实验室把整套生产服务引擎交出来，而不是零散地放几个内核、几篇论文。过去社区能拿到的都是「零件」，这次拿到的是「整机和装配图」——包括它怎么批处理请求、怎么在几百张卡之间分工、怎么把每一分算力榨出来。

先看它服务的对象。DeepSeek-V4.1-Flash 是一个 7630 亿参数的混合专家模型，模型卡推荐 100 万词元上下文，权重以 MIT 协议开放。这么大的模型要在线上跑得住，靠的不是单点技巧，而是一整套协同：注意力层用数据并行，专家层用专家并行加负载均衡，调度异步化，输出支持正则、JSON Schema 与 EBNF 文法约束的结构化生成。

仓库里带着一批自研内核：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及一批自定义的 TileLang 内核。项目说明里坦承它主要建立在深度改造过的 vLLM 分支之上，也吸收了 SGLang 与 TensorRT-LLM 的思路——这个交代很实在，开源社区的技术从来是站在前人肩上。

环境要求也写得清清楚楚：Linux、Python 3.12、GCC 13 以上，英伟达显卡需要 CUDA 13，昇腾需要 CANN 9.2。首次运行会默认拉取 10 月 17 日更新的检查点。值得注意的是批不变推理与确定性采样目前只在 NVIDIA 硬件上可用，所有公开基准也跑在 英伟达显卡上。

第一个是 DSpark 投机解码。原理不难理解：让一个小草稿模型一次猜 5 个词元，再用一个置信度头预判主模型会接受哪些，只校验最可能的候选。官方数据是这样把每步待验词元减少约 30%，在约 60 条并发序列的生产负载下换来 4% 到 7% 的吞吐增益。4% 到 7% 听起来不多，但放在每天百万级账单的规模上，是一笔真金白银。

第二个是 SWA Bounded Replay，这个更巧。长对话里缓存不命中是常事，朴素做法是整段重算；DeepSeek 把重算范围固定在提示词最后 128 个词元，官方称解码层的 prefill 计算量近乎减半。配合约 96% 的前缀缓存命中率，单卡 prefill 吞吐从 6 万词元每秒提升到 150 万词元每秒，差了 25 倍。

第三个是混合专家层的动态重排。专家副本每一万步重新洗牌一次，把最忙那张卡的负载与集群平均值的差距控制在 9% 以内。做过大规模集群的人都懂这个数字的分量——木桶效应下，集群效率取决于最慢的那张卡，能把差距压到个位数，意味着整批卡的利用率都被抬上来了。

这次开源里最罕见的，是一份部署问答文档披露了真实运营数据。官方称单个集群每天处理 155 万亿词元，谷时折算下来约 38 美元每卡每小时的收入。首词元延迟约 400 毫秒，生成速度约 230 词元每秒。

这些数字必须标注「厂商自报、未经独立审计」，但它们仍然价值极高——因为此前没有任何一家厂商公开过这个量级的运营口径。对做成本模型的人来说，38 美元每卡每小时是一个可以直接代入公式的锚点：你的机器数量、利用率、电价、折旧，往上套一遍，就能大致算出「自建 vs 调用 API」的分界线在哪里。

官方也大方承认了差距：公开版 FlashMLA 解码内核比内部版本慢 5% 到 10%。这种「开源版留一手」的说明反而增加了可信度——它明确了你拿到的是生产级的九成，而不是一个演示玩具。

硬件支持列表是这次发布里最具战略意味的一栏：NVIDIA SM100（Blackwell）数据中心 GPU 与华为昇腾 950 NPU 同时支持，而 Hopper 及更早的型号不在列表中。这是极少数横跨两套算力生态的生产级推理框架。

对国内企业的含义很直接：过去买不到最新 英伟达显卡，就只能退而求其次用上一代硬件跑开源社区方案，性能差一截；现在有了一条在国产芯片上跑生产级服务的现成路径。往前追溯，昇腾支持的基础是 9 月 30 日 TileLang 内核语言落地华为芯片——没有那一层算子工具，跨硬件的高性能内核无从谈起。

当然也要看清现实：批不变推理与确定性采样只在 英伟达显卡可用，所有公开基准也跑在 英伟达显卡上。也就是说昇腾路径可用，但成熟度与可复现的公开证据还不如 英伟达显卡充分。对生产选型来说，这意味着昇腾路线要有更长的验证周期和更强的工程储备。

必须把缺失部分讲清楚，否则容易误判。官方明确说明：KV 缓存系统、前后处理（prefill 与 decode）分离、跨副本负载均衡这三项没有公开，原因是它们与 DeepSeek 内部基础设施强耦合。而且当前版本只支持离线推理，不是开箱即用的在线服务。

这三项恰恰是在线服务的骨架。KV 缓存决定了多轮对话能复用多少历史；前后处理分离决定了长输入与长输出能不能分开调度、各自扩缩；跨副本负载均衡决定了你有八台机器时能不能真的用满八台。缺了它们，你能跑起来一个高性能的单机离线引擎，但要做一个面向几百个并发用户的稳定服务，还得自己把这几层补上。

所以正确的理解是：DeepSeek 送出的是「发动机与标定数据」，不是「整车」。对有能力补齐工程层的团队，这是极强的加速；对没有这类团队的中小公司，直接拿它当生产服务栈，会在并发、稳定性、故障恢复上踩一堆坑。这也是为什么很多自建项目最后算总账并不比调用 API 便宜。

有意思的是，同一周 OpenAI 也在缓存上做文章：为 API 提供 12 小时缓存选项，对 GPT-5.6 及以上模型生效，可选默认 30 分钟或 12 小时；选择 12 小时后，缓存写入价格从未缓存输入的 1.25 倍升至 2.5 倍，读取价格不变。文档同时提醒：12 小时只是按缓存命中计费的最短生命周期，并不保证复用 KV 张量或降低延迟。

两边放在一起看，行业竞争的重心已经很清楚：模型能力之外，谁能把「重复内容不重复算」这件事做到极致，谁的成本曲线就更漂亮。公开资料里提到，DeepSeek 的缓存保留目标是 72 小时以上，底层是约 100PiB SSD 的 3FS 集群——这个对比很直观。

对企业的实操启示是：如果你的应用有固定的系统提示、固定的知识库前缀、固定的工具定义，那么缓存策略直接决定你的账单。把不变的部分前置、变的部分后置，让前缀缓存尽量命中，是成本优化里性价比最高的一招，往往比换更便宜的模型更有效。

把这次开源翻译成决策建议，核心不是「赶紧自建」，而是「你终于有能力把账算清楚」。过去自建与调用之间的比较，缺的是可信的成本基准；现在有了 155 万亿词元、38 美元每卡每小时、96% 缓存命中率这些口径，可以做出像样的财务模型。

对绝大多数中小企业，结论大概率仍然是先调 API：模型每半年一换代，硬件三年一折旧，而你的业务规模可能连一台八卡服务器的量都喂不饱。自建的价值出现在调用量大到一定阈值、或者有数据不出内网的硬约束时——这两个条件至少满足一个，才值得认真评估。