中科大ActKV压缩智能体缓存 削减74%显存仍保留98%准确率

AI技术投降派

智能体超九成显存消耗源自冗余的观察与推理，ActKV证明唯有彻底转向为动作决策保留记忆，才能在大幅压低运行时成本的同时避免任务崩溃。

AI-assisted summary of AI的记忆99%在白烧 中科大压掉3/4还不掉分 — original source. Check the original for full context.

Source published: 2026-10-11

Key ideas

• 中科大团队提出专为 AI 智能体设计的 KV 缓存压缩框架 ActKV，在仅占用 25.98% 峰值显存的情况下，保留了全量缓存 98.53% 的任务准确率。 (4:45)
• 实验表明智能体超 99% 的 KV 缓存由观察与推理生成，且观察、推理与动作 token 的注意力偏好完全不同，仅按动作偏好保留缓存能将任务准确率从 43%-69% 提升至 100%。 (0:00)
• ActKV 引入三项核心技术：动作导向的 LRFU 淘汰、基于置信度趋势的动态预算分配，以及基于 LSE 重构与原地压实的页感知 GPU 内核。 (1:45)
• 在工程性能上，ActKV 带来了 3.97 倍的 Token 吞吐提升和 3.58 倍的任务吞吐提升，但论文数据目前属于自报，代码尚未正式开源。 (4:45)

Detailed notes

## Background 该视频由 Bilibili UP 主“AI技术投降派”于 2026 年 10 月 11 日发布。视频聚焦中科大团队在 arXiv 挂出的智能体 KV 缓存压缩框架 ActKV，系统性解析其如何通过区分观察、推理与动作 token 的注意力特征，在削减四分之三显存占用的同时几乎不损失任务准确率。

## TL;DR 视频深入剖析了长程 AI 智能体在多轮交互中显存被海量非关键 token 烧穿的行业痛点，指出动作 token 才是决定任务成败的核心。中科大提出的 ActKV 框架通过“动作导向的 LRFU 淘汰”、“置信度驱动的动态预算”以及针对 PagedAttention 的“页感知系统内核”三项核心技术，将保留偏好全面转向动作决策。实验显示，ActKV 仅占用 25.98% 峰值显存便保留了 98.53% 的任务准确率，显著超越传统通用压缩方法，并将端到端吞吐提升近 4 倍。最后，视频客观看待了该方案代码暂未开源、数据待第三方复测的局限，强调其为智能体运行时显存优化提供了范式级的发问视角。

## Atmosphere & style 视频整体呈现出一种硬核极客、务实犀利且节奏紧凑的技术剖析氛围。主讲人以“显存在着火”这一抓人眼球的痛点切入，语言风格直白爽快，擅长用通俗生动的比喻拆解底层复杂的系统机制。在层层推演技术原理并展示亮眼成绩的同时，叙述始终保持清醒克制，专门设立“诚实账本”审视自报数据的局限性，带给观众一种既扎实透彻又客观严谨的观感体验。

## Bulletin - [04:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=285s) 中科大团队提出专为 AI 智能体设计的 KV 缓存压缩框架 ActKV，在仅占用 25.98% 峰值显存的情况下，保留了全量缓存 98.53% 的任务准确率。 - [00:00](https://www.bilibili.com/video/BV1o8p56tEa7?t=0s) 实验表明智能体超 99% 的 KV 缓存由观察与推理生成，且观察、推理与动作 token 的注意力偏好完全不同，仅按动作偏好保留缓存能将任务准确率从 43%-69% 提升至 100%。 - [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) ActKV 引入三项核心技术：动作导向的 LRFU 淘汰、基于置信度趋势的动态预算分配，以及基于 LSE 重构与原地压实的页感知 GPU 内核。 - [04:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=285s) 在工程性能上，ActKV 带来了 3.97 倍的 Token 吞吐提升和 3.58 倍的任务吞吐提升，但论文数据目前属于自报，代码尚未正式开源。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1o8p56tEa7?t=0s) 智能体执行长程任务时面临极大的显存开销，例如 30B 模型在 WebShop 任务交互 25 轮即可烧掉 3.2 GB 的 KV 缓存。 - [00:00](https://www.bilibili.com/video/BV1o8p56tEa7?t=0s) 智能体缓存中超过 99% 属于环境观察与中间推理，而真正推进任务的动作 token 仅占极小部分。 - [00:00](https://www.bilibili.com/video/BV1o8p56tEa7?t=0s) 观察、推理与动作 token 审视历史的方式差异显著：观察偏向局部眼前，推理弥散扫描全局，动作则高度聚焦于关键信息。 - [00:00](https://www.bilibili.com/video/BV1o8p56tEa7?t=0s) 通用压缩算法按整体输出保留记忆，容易将动作依赖的高价值信息误当低频垃圾剔除，导致决策失败。 - [00:00](https://www.bilibili.com/video/BV1o8p56tEa7?t=0s) 消融实验表明，在 25% 显存预算下，按观察、推理、动作偏好保留缓存的准确率分别为 43%、69% 和 100%。 - [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) 动作对历史缓存的调用呈现冷启动、连续和间歇三类特征，简单的当前贪心截断会误删关键间歇条目。 - [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) ActKV 采用 LRFU 算法，兼顾访问的“最近性”与“频率”，有效保护平时低频但关键时刻极重要的间歇条目。 - [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) 当缓存预算不足导致核心信息缺失时，模型会出现推理链条被动拉长、token 置信度下降的现象。 - [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) ActKV 利用滑动窗口拟合推理过程中的置信度斜率，以此作为动态调整 KV 缓存配额的实时反馈信号。 - [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) 针对 vLLM 和 SGLang 等 PagedAttention 块级分页机制，ActKV 设计了页感知内核以解决系统块与散装 token 的粒度错配。 - [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) ActKV 直接利用 Softmax 中的 LSE 元数据反向重构注意力分数，避免保存完整注意力矩阵的高昂开销，并支持显存原地无冲突压实。 - [04:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=285s) 在 4 个模型与 3 个基准测试中，ActKV 以 25.98% 峰值显存取得 98.53% 的准确率保留率，远超通用基线的 74.22%。 - [04:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=285s) 在端到端系统性能上，ActKV 实现了 3.97 倍的 token 吞吐提升和 3.58 倍的任务吞吐提升。 - [04:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=285s) 当前测试数据均为论文自报，缺少独立第三方复测，且代码尚未开源，对主流引擎的兼容性仍处于声明阶段。 - [04:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=285s) ActKV 转变了 KV 压缩的研究发问范式，从单纯追求“如何压小缓存”转向“记忆为谁保留”，给出了以动作为核心的运行时淘汰路线。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1o8p56tEa7?t=0s) 显存在着火：智能体 KV 缓存的 99% 浪费与核心洞察

当让 AI 智能体替人类执行复杂长程任务时，显存往往在后台以惊人的速度被消耗。论文里详细算过一笔账：使用一个 30B 参数规模的模型去跑网页购物（WebShop）任务，在经历 25 轮交互、累计约 35,000 个 token 后，光是生成的 KV 缓存（Key-Value Cache）就会吃掉整整 3.2 GB 显存。这仅仅是一个任务在单轮并发下的开销，如果面对企业级的高并发场景，显存瞬间就会被彻底打满。更扎心的是，在这堆庞大的缓存数据中，超过 99% 的内容充斥着环境观察（Observation）和中间思考推理（Thought/Reasoning），而真正能够驱动任务发生质的推进、产生实际动作的动作 token（Action token）仅仅占极小的一部分。论文原图上甚至直接打出了一句触目惊心的警告：“Memory's On Fire”（内存正在着火）。

中科大团队在 arXiv 上挂出的这篇系统级论文《ActKV》，目标正是直击智能体的显存危机。他们给出的核心答案，并非沿用过去的传统思路，而是换了一个全新视角去审视“到底什么记忆才值得留下来”。这个洞见源自论文中最漂亮的实验观察：在智能体系统的交互过程中，观察、推理和动作这三类 token，审视和回看历史上下文的方式完全不同： 1. **观察 token**：眼界极窄，主要只看眼前刚刚返回的页面或环境局部上下文； 2. **推理 token**：如同大网弥散，会把整段漫长的历史都扫视一遍，注意力被极其分散地打在各个角落； 3. **动作 token**：目光极其聚焦，只死死盯着一小撮决定成败的关键历史，以此为依据决定下一步执行什么操作。

这种行为差异带来了一个致命的系统推论：对模型推理重要的缓存条目，和对动作决策重要的条目，其在注意力矩阵中的排名可能完全相反。以往通用的 KV 压缩算法一味强调整体文本生成的输出质量，往往会把动作所依赖的关键信息误当成低频垃圾直接剔除。结果就是模型在表面上推演得头头是道，关键时刻动作指令却彻底发错，导致整个任务直接崩溃。论文的消融实验用铁一般的数据坐实了这一判断：在仅保留 25% 显存预算的严苛条件下，如果按照观察 token 的偏好去保留缓存，任务准确率只剩 43%；按照推理偏好保留，准确率提升到 69%；而如果完全按照动作 token 的偏好来定向保留，准确率居然可以达到惊人的 100%。“同一份缓存，三种留法，效果天壤之别。”

```mermaid flowchart TD accTitle: ActKV 核心逻辑与三大武器 accDescr: 展示智能体三类 Token 的注意力差异，以及 ActKV 的三项关键技术支撑。

subgraph TokenBehaviors["Token 注意力差异洞察"] Obs["观察 Token<br/>(只看眼前的局部上下文)"] Reas["推理 Token<br/>(弥散扫视整个历史)"] Act["动作 Token<br/>(聚焦决策的关键锚点)"] end

subgraph ActKVWeapons["ActKV 三大核心武器"] W1["1. 动作导向 LRFU 淘汰<br/>(平衡连续与间歇性关键条目)"] W2["2. 置信度驱动动态预算<br/>(拟合斜率，犹豫即扩容)"] W3["3. 页感知系统内核<br/>(LSE 重构注意力 + 原地无冲突压实)"] end

Act -->|"决定保留偏好"| W1 W1 --> W2 W2 --> W3 ```

---

[01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) 三件武器：LRFU 淘汰、置信度动态预算与页感知内核

为了彻底扭转为推理保留记忆的误区，ActKV 祭出了三件环环相扣的技术武器，从算法筛选、动态调优一直打通到系统底层的显存引擎。

**第一件武器是动作导向的淘汰策略**。既然要把缓存全心全意保留给动作，首先必须搞清楚动作对历史缓存的“口味”到底稳不稳定。论文对每个缓存条目被各个动作区域调用的历史轨迹进行了细致量化，发现它们可以清晰地分为三类： - **冷启动条目**：几乎从不被任何后续动作访问； - **连续条目**：在整个流程中最常见，每个动作都会引用它，但单次贡献的注意力权重偏低； - **间歇条目**：平时极少被访问，但关键时刻一出现就会瞬间爆发出极强的注意力权重。

这套分类直接推翻了“仅根据当前动作偏好做贪心截断”的简单方案。如果仅看眼前动作的注意力分数，那些间歇性发光的黄金条目就会被当成闲置数据惨遭误删，而在几个回合之后的下一个动作里，它们恰恰又会变成生死攸关的支点。为此，ActKV 引入了经典结合体 LRFU（Least Recently/Frequently Used）算法，将时间上的“最近性”与频率上的“访问度”科学融合。这就像一个经验极其老道的图书管理员，不仅能记住哪些书平时借阅最频繁，更清楚哪些罕见藏书虽然借得少，但每借一次都是决定重大课题的核心典籍。

**第二件武器是置信度驱动的动态预算分配**。在真实业务中，固定显存预算往往面临两难：给多了纯属浪费宝贵的显卡显存，给少了又会导致信息缺失、任务崩盘。ActKV 团队发现，模型其实具备一套自我求救的反馈闭环：当显存预算压得过紧时，动作依赖的核心上下文被剥离，模型为了弥补缺失的信息，会被迫拉长推理链条展开猜测与脑补；而这种被拉长的推理过程，直接伴随着模型逐 token 置信度的持续暴跌。换言之，模型的“犹豫程度”就是评估当前缓存预算是否吃紧的最佳实时信号。在具体实现上，ActKV 通过滑动窗口对推理过程中的 token 级置信度做线性回归拟合，监控其趋势线斜率：一旦置信度斜率开始掉头往下走，系统就自动为 KV 缓存分配更多扩容配额；而如果置信度持续稳健，系统就毫不留情地继续往下死死压缩。在一项针对 100 条完全正确轨迹的严格受控实验中，数据清晰地印证了这种强相关性——缓存压缩得越狠，模型的准确率与置信度便同步下滑，而推理的轨迹长度则会同步被动变长。

**第三件武器也是极具工业工程价值的一件：页感知（Page-aware）的压缩管理内核**。算法设计得再巧妙，如果在真实的推理引擎中跑不起来，就只能停留在纸面上。在当前主流的生产级部署中，vLLM 和 SGLang 普遍采用 PagedAttention 机制，依赖块级（Block-level）的分页内存来管理显存，以消除显存碎片。然而，算法层面的缓存淘汰往往是细粒度到单个 token 级别的，系统层面的“整页块”与算法层面的“散装 token”存在着天然的粒度错配，很多学术界压缩研究正是被卡死在这道鸿沟上，根本无法落地。ActKV 将整个压缩流程高度抽象并标准化为三个核心原语：先算注意力分数，再做重要性淘汰，最后进行显存数据压实（Compaction）。ActKV 专门为最耗费算力的两步编写了定制的高性能 GPU 内核： - **计算注意力环节**：直接从 Softmax 操作中的对数和指数（Log-Sum-Exp, LSE）元数据中反向重构注意力分数，从而彻底避免了在显存中保留完整庞大注意力矩阵的恐怖开销； - **压实环节**：设计了无冲突的槽位规划算法，在显存内部直接完成一次原地拷贝压实，规避了频繁在 GPU 全局显存中来回倒腾数据的性能损耗。至此，算法层面省下的 token 显存，才真正兑现成了工程底层的吞吐收益。

---

[04:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=285s) 成绩单与诚实账本：为动作保留记忆的范式转变

在全套方案加持下，ActKV 交出了一份极为亮眼的工程成绩单。测试横跨从 30B 到 235B 参数规模的 4 个主流大模型，覆盖涵盖问答交互、网页购物（WebShop）以及家庭环境交互任务（ALFWorld）的 3 个经典基准测试集。

实验得出的最终结论是：ActKV 在仅仅占用 **25.98% 峰值显存**（相当于直接压掉了将近四分之三的显存占用）的极端条件下，依然完整保留了 **98.53%** 基于全量缓存时的任务准确率。相比之下，现有的三种通用压缩基线方法在类似条件下全面溃败，它们最多只能保住大约 74.22% 的准确率，而且所消耗的显存依然要占到三成以上。落到系统底层的工程收益上，ActKV 实现了端到端 token 吞吐量提升至 **3.97 倍**，最终完成任务的吞吐量提升至 **3.58 倍**。

| 评估指标 / 方案 | 完整缓存基线 (Full Cache) | 通用压缩基线 (General Baselines) | ActKV | |:--- |:--- |:--- |:--- | | **任务准确率保留率** | 100% | 最高仅约 74.22% | **98.53%** | | **显存峰值占用** | 100% | > 30% | **25.98%** (压缩近 3/4) | | **端到端 Token 吞吐提升** | 1.0× | - | **3.97×** | | **端到端任务吞吐提升** | 1.0× | - | **3.58×** |

在惊艳的测试数据面前，视频也客观地算了一笔“诚实账”，明确指出了论文当前的局限性： - 所有的性能测试数据目前均为该团队论文自报（Self-reported），尚未经过独立第三方的交叉复测； - 论文在挂出时暂未附带开源代码仓库，其声称能够无缝兼容主流大模型推理引擎（如 vLLM、SGLang），现阶段仍属于论文声明阶段； - 这一研究方向正在全面升温，同期也有其他研究组在尝试利用分层存储和显存卸载（Offloading）来缓解智能体显存瓶颈，这充分印证了“显存着火”早己成为学术界和工业界的普遍共识。

整篇论文最大的价值，其实不在于纸面指标上具体帮显卡省下了几点几 GB 的显存空间，而是它彻底重构了该领域的研究发问方式：在过去，几乎所有的压缩研究都在苦思冥想“怎样把上下文缓存压得更小”；而 ActKV 却第一次把问题推向了核心本质——**“这份上下文记忆，究竟是在为谁保留？”** 它的答案极其坚定：对于智能体而言，记忆只为推动任务执行的“动作”而保留。

如果把此前讨论过的“分块压缩周期盲区”视作一种架构级的底层改良路线，那么 ActKV 则代表了在运行时动态淘汰的技术路线上给出的强力答案。无论走哪条技术路径，二者所共同追寻的终极目标完全一致：在通往超级智能体的漫长任务链条中，上下文记忆那昂贵到令人窒息的运行成本，必须被坚决打下来。

## Notable quotes > [00:00](https://www.bilibili.com/video/BV1o8p56tEa7?t=0s) Memory's On Fire

> [00:00](https://www.bilibili.com/video/BV1o8p56tEa7?t=0s) 同一份缓存，三种留法，效果天壤之别

> [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) 不仅能记住哪些书平时借阅最频繁，更清楚哪些罕见藏书虽然借得少，但每借一次都是决定重大课题的核心典籍

> [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) 模型的“犹豫程度”就是评估当前缓存预算是否吃紧的最佳实时信号

> [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) 一旦置信度斜率开始掉头往下走，系统就自动为 KV 缓存分配更多扩容配额；而如果置信度持续稳健，系统就毫不留情地继续往下死死压缩

> [01:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=105s) 算法层面省下的 token 显存，才真正兑现成了工程底层的吞吐收益

> [04:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=285s) 之前所有人问的是怎么把缓存压小，它问的是这份记忆为谁保留——答案是为动作

> [04:45](https://www.bilibili.com/video/BV1o8p56tEa7?t=285s) 在通往超级智能体的漫长任务链条中，上下文记忆那昂贵到令人窒息的运行成本，必须被坚决打下来

## Mentioned AI技术投降派, 中科大, ActKV, WebShop, ALFWorld, vLLM, SGLang, PagedAttention, LRFU, arXiv

## Video description 让 AI 智能体替你干活的时候，显存在悄悄着火。论文算过账：三十B 模型跑一个网页购物任务，二十五轮交互烧掉 3.2 GB 的 KV 缓存，其中超过 99% 是观察和推理，真正推动任务的动作 token 只占极小一条。论文原图上直接写着：Memory&#39;s On Fire。

九月二十五号，中科大团队在 arXiv 挂出 ActKV，首个专为 Agent 打造的 KV 缓存压缩框架。这期视频讲透它：

一，关键洞察。观察、推理、动作三类 token 看历史的方式完全不同：观察只看眼前，推理弥散扫全史，动作只盯一小撮关键。对推理重要的缓存和对动作重要的排名可能完全不同——通用压缩一压，动作关键条目被当垃圾扔掉。消融实验：25% 预算下，按观察偏好保留准确率剩 43，按推理 69，按动作 100。

二，三件武器。LRFU 淘汰：像好图书管理员，既记得谁常来，也记得谁一来就借走最重要的书；置信度预算：预算太紧模型会被迫拉长推理、置信度下跌——犹豫程度就是该不该扩容的实时信号；页感知内核：从 LSE 重构注意力分数加无冲突原地压缩，打通 vLLM/SGLang 的块级分页。

三，成绩单。四个模型三个基准：保留 98.53% 的完整缓存准确率，只用 25.98% 峰值内存；通用基线最多 74.22%，内存还占三成多；token 吞吐 3.97 倍，任务吞吐 3.58 倍。

四，诚实账本。数字均为论文自报，暂无第三方复测；论文未附开源代码，兼容主流引擎目前是论文声明。

一句话总结：之前所有人问的是怎么把缓存压小，它问的是这份记忆为谁保留——答案是为动作。和之前讲过的分块压缩周期盲区（架构级路线）一起，这是运行时淘汰路线的答案：上下文记忆的成本，必须降下来。

[Source](https://www.bilibili.com/video/BV1o8p56tEa7)