AI 周报：Agent 常驻后的安全与成本拷问

本周看点

老实说，这周刷 HN 和 arXiv 的时候，我有一种明显的“换挡”感觉。前几个月大家还在卷参数量、卷上下文长度，但这周的信息流里，充斥着“成本”、“安全”、“修剪”和“遗忘”这些词。行业似乎终于意识到，把模型塞进生产环境只是第一步，怎么让它安全、便宜且可控地跑下去，才是接下来的硬仗。

我把这周的动态归结为两个核心主题：一是 AI Agent 走向“常驻”后带来的现实拷问（安全与成本）；二是给大模型做“脑外科手术”（从机制理解到工程修剪）。

主题一：当 AI Agent 开始“常驻”，安全与成本的现实拷问

1. 持久化 Agent 的阿喀琉斯之踵：代码库投毒

• 发生了什么 arXiv 上有一篇关于持久状态 AI 控制中分布式攻击的论文（Distributed Attacks in Persistent-State AI Control）。研究指出，现在的 AI 编码 Agent 越来越自主，它们不再是一次性生成代码，而是跨会话迭代提交，代码库在多次会话中持久存在。这种“持久性”直接暴露了一个新的攻击面。

• 深度解读 我觉得这篇论文点出了目前 Agent 开发里一个很容易被忽视的盲区。我们总盯着 prompt 注入，但如果 Agent 拥有对代码库的长期读写权限，攻击者完全可以通过在代码库里埋下微小的、分布式的“毒药”（比如特定的注释或边缘逻辑），在后续会话中诱导 Agent 做出错误决策。这就像是在 Agent 的长期记忆里植入潜意识指令。模型本身没被破解，但它的工作环境被污染了。

• 影响分析 这对所有在内部推行 AI 辅助编程的企业是个警钟。开发者不能只把 Agent 当作一个聪明的实习生，还得把它当成一个需要严格权限隔离和代码审计的“外部承包商”。下一步，针对 Agent 工作区的沙箱隔离和增量代码的自动化安全扫描，可能会成为标配。

• 链接 Distributed Attacks in Persistent-State AI Control

2. AI 利润率崩溃预警：非科技行业的长跑道与薄利润

• 发生了什么 Martin Alderson 写了一篇关于 AI 利润率崩溃的文章（The Upcoming AI Margin Collapse），在 HN 上引发了 80 多条激烈讨论。同时，Apollo 的一份报告（AI: The ROI Runway Could Be Long Outside the Tech Sector）也指出，非科技行业的 AI 投资回报周期可能会拉得很长。

• 深度解读 这两份内容放在一起看特别有意思。Alderson 的文章直指大模型 API 调用的利润空间正在被极速压缩（他提到了 GLM-5-2 相关的趋势）。我的观察是，当底层模型能力趋同且价格战打响时，单纯做“套壳”或轻量级集成的中间层公司，毛利会薄得像纸。而 Apollo 的报告则从买方视角泼了冷水：传统企业落地 AI 的隐性成本（数据清洗、流程改造）极高，ROI 的兑现远比 PPT 上画的要慢。

• 影响分析 这意味着 AI 创业和投资的逻辑正在发生硬着陆。对于开发者和小团队来说，靠调用 API 赚差价的窗口期基本关闭了，必须往深水区走，去解决特定行业的脏活累活。对于企业 IT 决策者，现在不是盲目采购大模型服务的时候，而是要精打细算，评估真实的业务增量。

• 链接 The Upcoming AI Margin Collapse | Apollo AI ROI Report

主题二：给大模型做“脑外科手术”：从机制理解到上下文修剪

3. Anthropic 探索“全局工作空间”：试图看懂模型的潜意识

• 发生了什么 Anthropic 发布了一项关于 Global Workspace（全局工作空间）的研究（Global Workspace），在 HN 上拿到了 255 个赞。他们试图用认知科学中的“全局工作空间理论”来理解和解释大模型的内部机制。

• 深度解读 我一直觉得，现在的可解释性研究大多是在做“事后诸葛亮”（比如看看哪个 token 权重高）。但 Anthropic 这次是在尝试从认知架构的层面去拆解模型。全局工作空间理论认为，意识是大脑各个模块信息共享的结果。如果大模型内部也存在类似的信息广播机制，那就意味着我们有可能找到模型内部负责“统筹”和“决策”的核心枢纽，而不是仅仅盯着局部的神经元。这不仅是学术上的突破，更是迈向真正“白盒化”的一步。

• 影响分析 这对 AI 安全研究员和底层模型开发者影响最大。如果我们能定位模型的“全局工作空间”，就能更精准地进行机制干预，而不是靠 RLHF 去盲目微调。也许未来我们能看到基于这种机制的、更高效的对齐方法。

• 链接 Anthropic Global Workspace Research

4. RAG 进入“修剪”时代：别把垃圾塞给大模型

• 发生了什么 Kapa.ai 分享了他们如何修剪 RAG 上下文的工程实践（How We Prune RAG Context）。与此同时，arXiv 上也有一篇关于 ReContext 的论文（ReContext: Recursive Evidence Replay），探讨长上下文推理中的证据重放机制。

• 深度解读 前两年大家都在卷“百万上下文”，觉得只要窗口够大，把整个文档库塞进去就行了。但 Kapa.ai 的实践和 ReContext 论文都指出了一个残酷的现实：上下文越长，噪音越多，模型的注意力会被稀释。Kapa.ai 的做法是在送入模型前，对检索到的上下文进行 aggressive 的“修剪”，只保留最核心的证据。这其实是工程上的一种“断舍离”。

• 影响分析 对于正在做 RAG 应用的开发者，这绝对是个实用的建议。不要再迷信超长上下文了，把精力花在检索后的重排、过滤和修剪上，不仅能大幅降低 token 成本，还能提高回答的准确率。下一步，自动化、轻量级的 Context Pruner 可能会成为 RAG 框架的标配组件。

• 链接 How We Prune RAG Context | ReContext Paper

小结

这周的信息看下来，我最大的感受是：AI 行业正在从“青春期”步入“成年期”。

青春期看重的是“我能跑多快”、“我能吃下多少上下文”；而成年期必须面对“我的利润率能不能支撑”、“我的代码库会不会被投毒”、“我的 RAG 是不是塞了太多垃圾”这些现实问题。

接下来几个月，我预计会看到更多针对 Agent 工作流的安全审计工具涌现，同时，那些无法在垂直场景中建立数据壁垒、只能靠 API 倒卖的中间层公司，会迎来一波残酷的洗牌。至于底层研究，像 Anthropic 这样试图从认知机制上拆解大模型的工作，可能会为下一代更可控、更透明的架构埋下伏笔。

保持关注，我们下周见。