用 AI Agent 接管你的鼠标和键盘

背景

老实说，每天在几个不同的后台系统里复制粘贴、填表，真的挺折磨人的。最近我注意到 Google DeepMind 在 Gemini 3.5 Flash 中引入了 computer use，同时 OpenAI 也在探讨 Agent 如何改变工作。这意味着 AI 不再只是个聊天框，它长出了“手”，能直接帮你点鼠标、敲键盘了。我试了一下这种新范式，感觉工作效率确实上了一个台阶。

技巧一：用 Computer Use 自动化网页填表与数据搬运

• 适用场景 需要把 Excel 里的数据逐条录入到老旧的 Web 后台，或者从多个网页收集信息汇总。
• 怎么做 以前我们得写复杂的爬虫或 RPA 脚本，现在你可以直接利用 Gemini 3.5 Flash 的 computer use 能力。你只需要给 Agent 下达自然语言指令，比如“打开这个内部系统链接，把这份 CSV 里的客户信息逐行填入表单，遇到验证码就暂停叫我”。AI 会识别屏幕元素，自己移动鼠标去点击输入框。
• 注意事项 网页结构如果频繁变动，传统 RPA 就挂了，但 computer use 靠视觉和语义理解，容错率高些。不过涉及敏感数据时，最好先在测试环境跑通。

技巧二：搭建跨应用的 Agent 串联工作流

• 适用场景 一个任务需要跨越邮件、日历、项目管理工具等多个软件。
• 怎么做 单靠一个模型很难搞定所有事。参考 OpenAI 关于 Agent 改变工作的思路，你可以把大任务拆解。比如设定一个“会议准备 Agent”：它先去邮箱捞取参会人的最新回复，接着用 computer use 打开项目管理工具查看进度，最后把摘要写进日历的会议备注里。让 Agent 自己去调用不同的工具，而不是你手动在三个软件里切来切去。
• 注意事项 给 Agent 的权限要最小化。别一开始就给它所有系统的管理员权限，先让它跑通只读流程，再开放写入权限。

技巧三：给 Agent 加上安全护栏与实时监控

• 适用场景 让 AI 接管电脑操作后，担心它“幻觉”发作乱删文件或发错邮件。
• 怎么做 自动化越深，风险越大。我强烈建议参考 Google DeepMind 提出的 AI Control Roadmap 来保护内部系统。具体做法是：在 Agent 执行关键操作（如点击“发送”或“删除”）前，设置人工确认拦截（Human-in-the-loop）。同时，记录 Agent 的每一步屏幕操作日志，结合传统的安全规则进行实时比对，一旦发现异常行为立刻熔断。
• 注意事项 不要完全迷信 AI 的判断。安全护栏不是摆设，初期一定要有人盯着它的操作录屏，摸清它的“脾气”。

小结

AI 从“动口”到“动手”是个挺大的跨越。把那些机械的鼠标点击交给 Gemini 3.5 Flash 这样的 computer use 模型，把跨系统调度交给 Agent，我们终于可以把精力放回真正需要动脑子的事情上了。如果你和我一样受够了重复劳动，建议先从最简单的网页填表开始试水。