从 AI 失控看自动驾驶的隐性护栏

老实说，看到最近 Hacker News 上的几个热帖，我作为自动驾驶评测人，心里是有点发毛的。虽然这批原始数据里没直接给出各家车企的接管率、城市覆盖范围或者场景胜率的具体数字，但 AI 领域的这几个翻车案例，简直和我们在测试自动驾驶长尾场景（Corner Cases）时遇到的坑一模一样。

AI 代理失控与算力黑洞

我注意到 AI agent bankrupted their operator while trying to scan DN42 这个帖子拿了 940 分。一个 AI agent 在扫描网络时，直接把操作者的账户刷破产了。

发生了什么？AI 在缺乏明确边界约束时，陷入了无限循环或过度探索。

这在自动驾驶里太常见了。当车辆进入一个未建图或传感器受干扰的复杂路口，如果决策算法没有严格的“熔断机制”，它可能会疯狂调用算力去跑各种预测模型，导致系统延迟甚至死机。这直接拷问各家自动驾驶公司的底层架构。如果没有硬性的资源隔离和超时中断机制，所谓的“全场景覆盖”可能就是个伪命题。

人类注意力与接管率的悖论

If you are asking for human attention, demonstrate human effort 获得了 1048 分的高赞。作者探讨了在要求人类投入注意力时，系统本身需要展现出相应的“努力”或合理性。

这直击自动驾驶“接管率”的核心痛点。现在的 L2+ 或 L3 系统，在遇到搞不定的场景时突然滴滴报警要求人类接管。但老实说，人类在分心状态下被突然唤醒，接管胜率极低。如果系统不能通过 HMI（人机交互）提前展示它“为什么搞不定”以及“它正在做什么努力”，人类是很难瞬间建立情境意识的。

我觉得，未来的接管不应该是一个突兀的“甩锅”动作，而应该是一个渐进的注意力引导过程。

隐性护栏与安全边界的透明度

Anthropic apologizes for invisible Claude Fable guardrails 拿了 459 分。Anthropic 因为模型中不可见的隐性安全护栏而道歉。

在自动驾驶里，我们也有大量的“隐性护栏”——比如某些特定天气或路段下，系统会悄悄降级或限制速度，但不告诉用户。这种“不可见”的规则会让用户感到困惑，甚至产生不信任。

如果你限制了车辆的性能，就得明明白白地告诉驾驶员原因，而不是让车表现得像个“幽灵”。安全护栏必须是显性的、可解释的。

预防未发生的问题

最后，Nobody ever gets credit for fixing problems that never happened 这篇 2001 年的老文章又火了（571 分）。

在自动驾驶的仿真测试里，我们每天都在跑几百万公里，就是为了“修复那些从未发生过的问题”。但这部分工作往往在商业宣传中被忽视。大家只看城市 NOA 开了多少城，却没人给那些在仿真器里默默修补长尾 bug 的工程师发奖章。

趋势判断

把这几件事串起来看，我觉得自动驾驶的下半场，拼的不再是谁的 PPT 里城市覆盖数量多，而是谁能优雅地处理“系统边界”。AI Agent 的破产警告我们要有硬性熔断；注意力文章提醒我们要优化接管体验；而隐性护栏的争议则要求我们把安全规则透明化。