AI
未读
KV Cache 实现手记——高估了，低估了，然后搞懂了
在衔言渡意的训练收尾阶段，我给自己的最后一项技术任务是给推理加上 KV Cache。 我对这个东西的第一印象来自行业讨论——到处都在说 KV Cache 管理、PagedAttention、prefix sharing。脑子里自动补全了一整套分布式系统的画面：用户登录鉴权，会话状态持久化，多轮对话中