metayu
知识卡片2026-06-29·阅读 4 分钟

让 AI 替你点鼠标:Agent 实战指南

别再手动搬砖了,用 Computer Use 和 Agent 自动化你的日常操作。

Gemini 3.5 Flash 上线 Computer Use,AI 终于能自己操作电脑了。结合 Agent 工作流和安全护栏,我总结了 3 个立刻能用的自动化技巧,帮你把重复劳动甩给 AI。

背景

老实说,以前用 AI mostly 是在对话框里“问答”。你得把数据喂给它,它吐出文本,你再手动复制粘贴到别的软件里。但这周看到 Google DeepMind 发布 Gemini 3.5 Flash 的 computer use 功能,以及 OpenAI 探讨 Agent 如何改变工作,我感觉味道变了。AI 不再只是个“大脑”,它长出了“手脚”。

如果你和我一样,每天被各种跨系统录入、长流程审批折磨,这几个基于最新 Agent 能力的实战技巧,真的能帮你省下不少时间。

技巧一:用 Computer Use 干掉“跨系统搬运”

  • 适用场景 你需要把 Excel 里的几百条数据,逐条填进公司那个连 API 都没有的老旧内部系统。以前要么纯手工,要么找 IT 写 RPA 脚本。

  • 怎么做 现在你可以直接利用 Gemini 3.5 Flash 的 computer use 能力。写一段简单的控制脚本,让模型截取当前屏幕,识别输入框,然后模拟键盘输入和鼠标点击。 你可以这样给 Prompt:“观察当前屏幕,找到‘客户名称’输入框,将剪贴板里的内容粘贴进去,然后点击右下角的‘保存’按钮。如果弹出确认框,点击‘确定’。”

  • 注意事项 这比传统 RPA 香的地方在于,它不需要你写死 XPath 或坐标。界面稍微改版,AI 也能自己“看”懂。不过,跑的时候记得给它分配个虚拟桌面,别让它抢了你正在用的鼠标。

技巧二:把大任务扔给 Agent 自己拆解

  • 适用场景 做一份深度的竞品分析,或者像 DeepMind 辅助英国房屋规划 那样处理复杂的合规检查。以前我们习惯写个几千字的超级 Prompt,结果 AI 经常漏掉细节。

  • 怎么做 转变思路,不要把它当问答机器,而是当成一个“实习生 Agent”。给它设定目标,让它自己规划步骤。 试试这个 Prompt 框架:“你是一个资深行业分析师。你的目标是调研 X 领域的 3 家头部公司。请先列出你的调研步骤和需要使用的搜索工具,等我确认步骤后,你再逐步执行,每完成一步向我汇报进度。”

  • 注意事项 让 Agent 自己拆解任务,能大幅减少幻觉。你会发现,它自己规划的步骤往往比你硬塞给它的更合理。

技巧三:给干活的 Agent 装上“安全护栏”

  • 适用场景 当你让 Agent 自动回复客户邮件,或者自动修改数据库状态时,最怕它突然“发疯”乱操作。

  • 怎么做 参考 DeepMind 提出的 AI Agent 安全控制路线图,我们需要结合传统规则和实时监控。 在代码层,给 Agent 的工具调用加上白名单限制。比如,允许它“读取”邮件,但“发送”动作必须触发一个 Webhook,把草稿推送到你的 Slack 或飞书,你点击“Approve”后它才能真正发出去。

  • 注意事项 不要盲目信任 Agent 的自主性。在涉及资金、对外沟通的核心节点,Human-in-the-loop(人工介入)依然是目前最稳妥的兜底方案。

小结

AI 正在从“对话框”走向“操作系统”。无论是让模型直接控制鼠标,还是构建多步 Agent,核心都在于把执行权交出去,同时把监督权留在自己手里。建议你今天就开个虚拟机,试试让 AI 替你点几次鼠标,那种感觉真的很奇妙。

分发工具

相关文章

让 AI 替你点鼠标:Agent 实战指南 · metayu insight