推理架构与大模型毛利

01地板价下的单卡收入

V4.1-Flash 谷价时段每百万输入 token 收费 0.15 美元、输出 0.60 美元（高峰翻倍）。即便全天都按最便宜的谷价折算，单张显卡每小时依然能进账 38 美元。

卖 API 的账很直接：收入等于 token 吞吐量乘以单价。现在单价被同行竞争压死，租卡的硬件成本也是固定的，唯一能拉开毛利差距的就是单卡每小时的 token 产出量。跑同一个模型，不同推理系统的单卡吞吐能差出好几倍。

2025 年 3 月 DeepSeek 公布 V3/R1 运营数据时也是这笔账：H800 按每卡每小时 2 美元租金算，每天算力成本 87,072 美元，按 R1 价格折算的理论日收入为 562,027 美元（成本利润率 545%）。一年半过去，线上吞吐规模翻了几番，赚钱的底层逻辑依然一致。

02Prefill 与 Decode 拆开部署

一次推理请求分为前后两步：Prefill（读取输入）和 Decode（逐字生成）。这两步吃的是完全不同的硬件资源，混在同一台机器上跑会互相卡死——一旦插进来一个长输入的 Prefill，正在生成的 Decode 请求就得全部停下来等。DeepSeek 把两步彻底拆到不同规格的机器上：

为什么 Decode 必须用 64 到 128 张卡的大集群？因为 MoE（混合专家）模型每层有 256 个路由专家，每个 token 每次只激活其中 8 个。并发请求少了，大部分专家分不到活，显卡就在空转。把专家拆分铺到上百张卡上，才能凑出足够大的并发批次，让每张卡都跑满。

0396% 的输入直接读缓存

线上请求的平均输入长度达到了 77K token。现在的 Agent 调用基本都是这个形态：系统提示词、代码库、前几十轮对话每次都原样带过来，只在末尾追加几句新指令。

96% 的输入直接从缓存里读现成结果，平均每次请求真正需要重算的只有末尾约 3K token。

显卡显存按 GB 算，根本装不下这么大规模的历史缓存。DeepSeek 用了约 100 PiB 的 SSD 搭建独立的 3FS 存储集群专门存 KV 缓存，一段对话停掉之后，缓存还能保留至少 72 小时。因为 SSD 容量够大、保留时间够长，线上才能跑出 96% 的命中率。

剩下的 4% 还能再省。DeepInfer 做了「有界重放（Bounded Replay）」机制：命中缓存后，只取输入末尾固定长度的一小段（V4.1 默认为 140 token）重新过一遍模型，重算开销不再随上下文变长而增加，把 Prefill 的总计算量又砍掉近一半。反映在定价上，命中缓存的输入价格只有未命中的五十分之一（0.003 美元/百万 token）。

04开源的部分与未开源的部分

这次开源的 DeepInfer 包含了完整的单机推理引擎与算子库：FlashMLA、DeepGEMM、DeepEP 算子，异步调度、DSpark 投机解码（小模型一次猜 5 个候选 token，按置信度挑出靠谱的交给主模型验证，使线上整体吞吐提升约 6%）、有界重放、确定性推理，以及对齐官方 API 的协议层 deepseek-recipe，支持英伟达 SM100 和华为昇腾 950。

没开源的三部分——100 PiB 的 KV 缓存集群、PD 分离部署调度、跨副本负载均衡——正好对应前面省成本的核心环节。

就算把这三部分的代码也全放出来，外部团队照样跑不出 96% 的命中率。缓存想要高命中，前提是有海量用户高密度地反复发送相同前缀的请求。日请求量不够的部署环境，用一模一样的代码也攒不出高命中率。

05给投资人的四条参考

1. 01推理系统直接决定毛利跑同一个开源模型，不同团队的推理架构效率差出几倍，毛利率就差出几倍。
2. 02重点看缓存命中率和平均上下文长度看一家推理服务商，问清楚线上平均输入长度和缓存命中率，比看实验室跑出来的峰值吞吐实在得多。
3. 03低价未必是在亏钱补贴靠极致的系统工程同样能把价格打下来。判断一家公司是不是在烧钱换市场，先算它的单卡每小时收入。
4. 04单机引擎正在拉平，壁垒在集群调度与业务规模开源正在迅速抹平单机算子和引擎的差距，跨节点调度、PB 级缓存池，以及高密度流量带来的缓存复用率，才是长期的护城河。