允中 发自 凹非寺 量子位 | 公众号 QbitAI

过去两年，AI基础设施的竞争主要围绕GPU数量、芯片算力、HBM带宽和高速网络展开。

但随着大模型进入长上下文、复杂推理和多智能体阶段，决定一套系统能够产出多少有效Token的因素正在变得更加复杂。

GPU依然是算力底座，其实际利用率却越来越取决于模型权重、KV Cache和MoE专家能否在正确的时间到达正确的计算节点

- 如果KV Cache无法及时复用，系统就需要重新执行Prefill；
- 如果MoE专家权重没有在路由发生前进入内存，GPU便可能停下来等待数据；
- 如果大量推理状态长期占据HBM，又会压缩并发请求和有效批处理的空间。

AI Infra由此正在从“堆叠计算资源”进入“协同计算、网络、内存与存储数据路径”的新阶段。

月之暗面的Mooncake与NVIDIA推出的CMX，构成了这一变化的两个代表性信号。

月之暗面从大规模推理软件架构出发，把分散在集群中的CPU、DRAM、SSD和NIC组织为可调度的KV Cache资源；

NVIDIA进一步在Vera Rubin基础设施中建立专门的Pod级Flash上下文层。

二者尺度和实现方式不同，却共同指向一个趋势：

推理状态正在成为AI基础设施中的一级资源，存储也开始进入Token生成的实时主链路。

Mooncake：把KV Cache变成独立的基础设施资源

Mooncake最重要的产业意义，并不只是为Kimi构建了一套新的推理服务系统，更是改变了大模型基础设施对“数据”的组织方式

传统推理节点往往把GPU、CPU、DRAM和本地SSD视为一台服务器内部的固定资源，KV Cache主要跟随请求和GPU实例存在；一旦缓存被驱逐或请求迁移，已经完成的Prefill计算便可能失去复用价值。

上下文越长，重复计算和昂贵GPU资源的浪费就越明显。

Moonshot AI与清华大学发表于USENIX FAST ’25的Mooncake采用以KV Cache为中心的分离式架构，将Prefill与Decode部署在不同资源池中，并把GPU集群中未被充分利用的CPU、DRAM、SSD和NIC组织成分布式KV Cache池。

位于中心的Conductor不再只根据GPU负载分发请求，而是结合KV Cache分布、缓存命中、节点负载以及TTFT、TBT等服务目标，决定缓存复用、Prefill执行和Decode调度\[1\]。

Mooncake的请求流进一步说明了这种变化：可复用的Prefix KV Cache先被送至合适的Prefill实例，新增KV Cache随模型各层计算持续生成，再与Prefill计算重叠，异步流送到目标Decode节点；缓存到齐后，请求才进入连续批处理。

Mooncake Store负责KV块的放置、复制、淘汰和生命周期管理，Transfer Engine则通过RDMA、多NIC带宽聚合与拓扑感知路径选择连接不同计算和存储层\[1\]\[2\]。

推理系统由此从“给GPU喂数据”转向“围绕Tensor生命周期编排整条数据路径”。

△Mooncake以KV Cache为中心的分离式推理架构：Prefill与Decode资源池通过Mooncake Store、RDMA传输引擎和全局调度器协同工作。

Mooncake论文把这一思路概括为“用更多存储换取更少计算”。

根据论文披露，在真实请求轨迹和不同TBT约束下，Mooncake相对于所比较的基线系统提高了59%至498%的有效请求承载能力；论文发表时，其生产系统已运行于数千个节点，每日处理超过1000亿Token\[1\]。

需要强调的是，这些数据反映的是缓存、调度、网络与计算协同后的端到端架构收益，并非某一块SSD的单盘收益。

更值得AI SSD产业关注的是，Mooncake当前官方文档已经把DRAM与SSD/NVMe明确纳入多级缓存，并给出从内存向本地SSD卸载的路径，即将从内存淘汰的对象可在后台进入SSD，内存未命中时再从SSD回读；数据经过预注册缓冲区后，由Transfer Engine送往目标DRAM或VRAM\[2\]\[3\]。

上层系统解决“何时迁移、迁到哪里”，设备侧仍要解决尾延迟、并行搬运、持续负载、耐久和与推理生命周期协同的问题。

SSD因此不再只是模型启动前的文件来源，而成为TTFT、吞吐与服务SLO共同约束的推理数据层。

CMX：NVIDIA在HBM与共享存储之间增加G3.5层

Agent时代进一步改变了AI基础设施的优化对象。

一次复杂请求不再只是一次模型前向，还可能展开为模型调用、工具执行、记忆检索、数据访问和多轮推理组成的长链路。

KV Cache也由GPU内部的临时状态，转变为需要跨节点移动、共享和复用的基础设施数据。

GPU能否持续获得正确的上下文，开始变得与GPU本身能算多快同样重要。

- 在NVIDIA给出的分层体系中：
- G1是GPU HBM，用于保存参与当前Token生成的热KV Cache；
- G2是系统内存，承担交换和暂存；
- G3是本地SSD，用于承接短期可能复用的温数据；
- G4则是面向持久化数据的共享文件或对象存储。

随着智能体上下文延伸至多轮对话、工具调用和跨任务状态，G1至G3的容量很快受到限制，而G4的访问时延和通用数据服务开销又不适合频繁进入Decode路径\[4\]。

NVIDIA CMX Context Memory Storage Platform由此在二者之间增加了一个被称为“G3.5”的层级：通过以太网连接、以Flash为介质、面向KV Cache优化的Pod级上下文内存。

它主要承载短暂、派生、可重新计算但延迟敏感的推理上下文，而不是取代用于长期知识、日志和业务记录的G4持久化存储\[4\]。

△BlueField-4横跨Rubin GPU计算、Vera CPU服务与BlueField-4 STX共享KV Cache存储节点，构成统一的AI Factory数据路径。

CMX的意义并不只是给GPU Pod外挂一组大容量SSD。

Dynamo的KV block manager与NIXL负责KV块跨层编排和搬移；

DOCA Memos提供面向上下文缓存的通信、元数据、放置与共享能力；

BlueField-4把KV I/O、队列、预取、完整性与加密等操作下沉到靠近网络和NVMe Flash的位置；

Spectrum-X Ethernet则提供RDMA数据通道\[4\]\[5\]。

当Decode即将使用某组KV块时，系统可以提前将其从CMX预置到系统内存或GPU HBM，以减少GPU等待和历史上下文重算。

据NVIDIA披露，CMX可在单个GPU Pod内提供PB级共享上下文容量，面向长上下文和智能体负载的持续Token吞吐与功耗效率最高可达到传统存储方案的5倍\[4\]。

这一数据属于厂商发布口径，实际收益仍会受到模型、缓存命中率、网络和调度策略影响；但CMX释放的产业信号已经十分明确

Flash开始被GPU平台厂商定义为AI推理内存体系中的正式一层。

Mooncake与CMX并非同一种产品。

Mooncake主要是一套分离式推理、数据传输和分布式缓存体系，CMX则是Pod级上下文存储平台。

但两者共同说明，AI Infra正在形成新的系统边界：计算芯片负责执行算子，网络连接资源，存储则需要参与推理状态的放置、迁移和复用

AI Infra调用SSD之后，SSD自身也需要发生变化

把SSD纳入推理基础设施，并不意味着任意一块传统SSD都能稳定承担Token生成链路中的任务。

传统SSD主要围绕顺序带宽、随机IOPS、可靠性和单位容量成本进行设计；LLM推理需要的却是带有严格时序约束的数据供应。

KV Cache在Prefill阶段集中生成，并在后续对话或智能体步骤中被再次读取；MoE模型在每一层只激活部分专家，却需要保存远大于当前显存或内存容量的专家权重。

数据即使最终能够从SSD读出，只要没有赶上模型的计算窗口，GPU、NPU或CPU仍会进入等待。

这种矛盾还会延伸至SSD内部。NAND Flash以页为单位读取、以块为单位擦除，FTL需要执行地址映射、垃圾回收和磨损均衡，持续写入KV Cache可能带来写放大、寿命压力和难以预测的尾延迟。

传统LBA排布也不了解模型层、KV块、MoE专家及其执行次序之间的关系；逻辑上相关、即将共同使用的数据，在物理介质中未必形成适合并行读取的布局。

因此，AI SSD不能只用“更高峰值带宽”定义。

△图片为AI生成

它至少需要解决两个层面的问题：

- 一是提供更低延迟、更高耐久性和更稳定尾延迟的介质与I/O能力；
- 二是通过主控、固件、中间件乃至推理运行时的协同，让SSD参与数据分层、缓存管理和预测式预取。

市场上的相关产品也由此逐渐分化为两类。

第一类是AI负载强化型企业级SSD，仍保持标准块存储设备形态，但围绕AI集群的高频缓存、模型加载和大容量数据调整性能、耐久性与容量指标。

英韧科技洞庭-N3X采用低时延、高耐久介质，重点面向KV Cache卸载和高频临时数据读写\[6\]；

华为OceanDisk LC 560则以超大单盘容量和顺序读取能力承载模型、语料和向量数据\[7\]。

△AI负载强化型企业级SSD的代表性产品：英韧科技洞庭-N3X与华为OceanDisk LC 560。

这类产品首先解决AI基础设施底层的I/O供给问题。

第二类“推理参与型AI SSD”则更进一步：它们试图让SSD从被动响应块设备命令，走向参与模型权重、KV Cache和MoE专家的运行时管理。

群联、江波龙以及寅谱—联芸，是当前较有代表性的三条路线。

三条推理参与型路线：节点缓存、存储侧智能与跨层协同

群联：用专用缓存SSD和中间件扩展GPU运行空间

群联aiDAPTIV的核心产品形态，是专用缓存SSD、内存管理中间件和工具链的组合。

其目标不是单独提供一块高性能存储盘，而是把SSD组织成GPU显存之外的高容量缓存层。

当模型权重超过VRAM容量时，系统把权重切分为数据块，根据执行进度在SSD与VRAM之间流式搬运，使当前需要计算的部分留在GPU附近，暂时不活跃的数据下沉至Flash。

SSD还可以保存被显存驱逐的KV Cache，后续出现相同上下文时再将其取回，减少重新执行Prefill的成本\[8\]。

从AI Infra角度看，群联路线的特点在于产品边界清晰：专用高耐久缓存盘负责容量和持续写入，中间件负责数据交换，经过验证的工作站或服务器配置负责部署交付

群联官方资料给出的专用缓存SSD耐久性最高达到100 DWPD\[8\]。

这一方案把云侧常见的“以存储扩展计算内存”思路压缩到单机和小型集群中，形成较直接的部署路径。

江波龙：让SPU成为存储侧调度节点

江波龙的路线更强调SSD主控自身的处理能力。

其架构以SPU作为硬件执行层，以iSA作为软件决策层：iSA感知推理负载并制定数据分层与预取策略，SPU负责存储控制、硬件压缩、高速缓存和具体的数据搬运\[9\]。

根据江波龙公开材料，其WM8500 SPU采用5nm工艺，并引入存内无损压缩、HLC高级缓存和混合NAND调度。

HLC用于让SSD承接原本保存在DRAM中的温冷数据，混合NAND则按照冷热程度在高速缓存区和大容量介质区之间分配数据\[9\]。

这一方案体现的是“存储侧智能化”：控制器不再只执行主机发出的标准读写请求，也开始承担压缩、冷热识别、缓存划分和调度执行，重点面向AI PC、工作站和端侧智能设备。

寅谱-联芸：从AI Infra反向定义SSD的数据路径

寅谱（Infplane）与联芸（Maxio）构成了另一种组合。

联芸提供NAND Flash、SSD主控、固件及产品适配基础；寅谱则从大模型推理芯片、近存计算、操作系统和主板级协同控制出发，将计算侧的数据分层与调度技术延伸到SSD。

在本文重点讨论的群联、江波龙和寅谱-联芸三条路线中，寅谱是唯一一家以AI Native身份而非SSD Native身份进入AI SSD的企业

它并非从传统SSD、NAND模组或存储主控业务向AI延伸，而是以AI推理、计算芯片和系统协同为起点

这种背景使其对AI Infra的理解首先来自模型执行、数据流和调度，而不是从单盘容量或峰值IOPS出发。

寅谱推行的software-defined chip和近存计算，并不是单纯依靠软件代替芯片，而是让芯片能力通过主控、固件、运行时和系统软件之间的协同持续被定义。

△图片为AI生成

在AI推理中，数据是否需要驻留、何时预取、放在哪一级介质，以及如何与模型执行顺序匹配，往往无法只由一颗传统SSD主控独立决定。

寅谱-联芸方案因此尝试贯通计算侧缓存体系、middleware、firmware、controller和NAND介质管理。

该方案围绕MoE专家、KV Cache和数值精度三个维度进行数据切分、冷热分层、并行搬运和预测式预取：一方面根据模型执行过程调度专家权重与KV Cache，另一方面将模型数据中的不同精度部分按照访问热度进行特殊存放和读写。

其设计目标还包括减少对模型文件和主流推理框架的侵入，并适配不同CPU、GPU、NPU及SSD模组形态。

这条路线的AI Infra属性相对突出：它不把AI SSD理解为孤立设备，而是把SSD视为云侧、边缘侧和端侧推理数据路径中的可调度层级

相应地，它需要同时处理模型、运行时、操作系统、固件、主控和NAND之间的接口，软硬件协同范围更广，研发与验证成本也更高。

联芸已公开提出，AI推理正在推动SSD主控从传统“数据通道”走向面向Token成本的智能调度\[10\]；

其消费级与工业级主控产品基础，以及向AI推理主控方向的延展，也为相关技术进入不同模组和整机形态提供了产业化条件\[10\]\[11\]。

△存储侧推理参与型AI SSD探索：群联aiDAPTIV缓存SSD、江波龙SPU＋iSA方案以及寅谱-联芸AI SSD方案。

AI SSD竞争，最终会成为完整数据路径的竞争

群联、江波龙和寅谱—联芸并不只是采用了三种不同的SSD技术，它们也代表三种不同的AI基础设施切入方式。

- 群联从专用缓存盘和中间件切入，强调可部署的显存与内存扩展；
- 江波龙从SPU和iSA切入，把更多调度与压缩能力放入存储侧；
- 寅谱—联芸则从计算与存储协同切入，试图让SSD的数据组织方式更直接地匹配模型执行过程。

三者并非简单的替代关系，也可能分别适用于工作站、AI PC、边缘设备、企业节点和云侧基础设施中的不同位置。

△AI SSD在LLM推理数据路径中的作用，以及主要厂商技术路线与推理环节的对应关系。

从更长的产业周期看，AI SSD的门槛不会只体现在某个主控规格或某项峰值性能。

真正决定产品能否进入推理主链路的，是企业能否建立从NAND介质、FTL、固件、驱动、中间件到推理框架和整机验证的完整协作体系。

模型兼容性、缓存命中率、尾延迟、预取准确率、写入寿命和跨平台适配数据，都需要通过长期工程实践积累。

Mooncake和CMX已经在集群与Pod层面说明，推理状态值得被单独组织和调度；AI SSD则把这一变化进一步带到节点和设备内部。

它不会取代HBM、VRAM或DRAM，而是推动一套更细致的存储层级形成：最热的数据留在计算芯片附近，温数据进入DRAM或高性能Flash，冷数据下沉至容量更大、成本更低的层级，并由软件和硬件共同决定数据迁移时机。

当AI产业从模型能力竞赛走向大规模应用，基础设施最终需要回答的不只是拥有多少FLOPS，还包括每瓦电力能够生成多少有效Token、每张GPU有多少时间真正参与计算，以及一段已经计算过的上下文能否低成本复用。

沿着这一方向，算力、网络、内存和存储之间的边界将继续变得模糊，AI SSD也有机会从外围设备进入AI Infra的核心数据路径。

参考文献
\[1\] R. Qin et al., “Mooncake: Trading More Storage for Less Computation — A KVCache-centric Architecture for Serving LLM Chatbot,” 23rd USENIX Conference on File and Storage Technologies (FAST ’25), 2025.
\[2\] Mooncake Project, “Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving,” Official GitHub Repository, accessed 2026-08-05.
\[3\] Mooncake Project, “SSD Offload Design,” Mooncake Official Documentation, accessed 2026-08-05.
\[4\] NVIDIA, “Introducing NVIDIA BlueField-4-Powered CMX Context Memory Storage Platform for the Next Frontier of AI,” 2026.
\[5\] NVIDIA, “Scaling Agentic AI Factories Through Extreme Co-Design with NVIDIA BlueField,” 2026.
\[6\] 英韧科技，“从N3X到Gen6：英韧科技如何用三大要素打造国产AI SSD”，2026.
\[7\] Huawei, “Huawei OceanDisk LC 560 SSD Data Sheet,” 2025.
\[8\] Phison Electronics, “How aiDAPTIV+ Works.”
\[9\] 江波龙，“SPU与iSA”，2026.
\[10\] 联芸科技，“CFMS 2026｜联芸科技：AI推理时代，存储主控芯片价值跃迁”，2026.
\[11\] 联芸科技，“PCIe接口SSD控制芯片”