超越带宽：AI 推理正在重塑内存墙

AI 推理正把内存墙从单纯带宽问题变成带宽、容量、延迟、功耗与成本的多维系统约束。KV cache 通过复用注意力状态减少重复计算，但更长上下文与更高并发会放大需保留和搬运的数据量。系统需在延迟、带宽与功耗包络内协调计算、内存、互连与软件，使每次数据移动的成本都可被证明合理。