知识卡片2026-07-10·阅读 7 分钟

用 AI 操控电脑与拆解大项目实战

GPT-5.6 和 Gemini 3.5 Flash 让 AI 能看屏幕点鼠标，也能搞定长文档与大项目。

OpenAI 把 GPT-5.6 接入了 365 Copilot，还发了用 ChatGPT 拆解宏大项目的指南。Google 则在 Gemini 3.5 Flash 里加了 computer use。这篇教你怎么用这三个新功能自动化跨软件操作、深度分析长文档、分步执行大项目。

背景

最近 OpenAI 和 Google 都放了大招。OpenAI 把 GPT-5.6 做成了 Microsoft 365 Copilot 的首选模型，还专门发了一篇讲 ChatGPT 如何处理你最宏大工作的文章。另一边，Google DeepMind 直接在 Gemini 3.5 Flash 里加了 computer use 功能，这意味着 AI 现在能直接看着屏幕帮你点鼠标了。

我试了一下这些新功能，老实说，跨应用操作和长上下文推理的结合，真的能省下大把重复劳动的时间。以前我们用 RPA 得写死规则，用老模型得分段喂文档，现在玩法完全变了。

技巧一：用 Gemini 3.5 Flash 操控电脑跨软件搬运数据

适用场景：你需要从某个没有 API 的老旧系统，或者网页表格里，把数据一点点抠出来，填到另一个系统里。
怎么做：
1. 在 Gemini 3.5 Flash 的 API 或客户端里启用 computer use 功能。
2. 给它一个初始指令，比如：“打开浏览器，访问 xxx 系统，把第一页的客户名单提取出来，然后打开本地 Excel，逐行填入表格。”
3. AI 会截取屏幕截图，分析界面元素，然后模拟鼠标点击和键盘输入来执行任务。
4. 你可以在旁边看着，如果它点错了，随时打断并给它纠正指令。
注意事项：computer use 目前还在早期，界面稍微变一下它可能就迷路了。我建议你先在测试环境跑，别直接拿生产数据试。而且它操作比较慢，适合那种不需要极速但很繁琐的活。和传统 RPA 相比，它的好处是不用你提前写好每一步的点击坐标，它能自己找按钮，容错率高不少。

Gemini 3.5 Flash computer use 官方演示入口 我强烈建议你点开这个官方演示看看，看 AI 怎么自己找网页上的按钮并点击，比干看文字描述直观多了。

技巧二：用 GPT-5.6 在 365 Copilot 里搞定长文档逻辑梳理

适用场景：几十页的 Word 方案，或者包含几千行数据的 Excel，你需要提炼核心结论或者找出逻辑漏洞。
怎么做：
1. 打开 Microsoft 365 Copilot（现在它底层已经换成 GPT-5.6 了）。
2. 不要只是让它“总结一下”，而是给它一个具体的推理任务，比如：“对比这份方案第三章的预算分配和第五章的预期收益，找出不一致的地方，并给出修改建议。”
3. GPT-5.6 的上下文和推理能力比之前的模型强不少，它能跨章节对比，而不是只看局部。
注意事项：虽然模型变聪明了，但太复杂的指令它还是会漏细节。最好把任务拆成两三步，先让它提取数据，再让它做对比。以前用 GPT-4o 的时候，超过 20 页它就开始胡说八道，5.6 好多了，但太长的话还是得分段喂。

技巧三：用 ChatGPT 拆解并执行你的“宏大工作”

适用场景：你要写一本电子书、策划一场大型发布会，或者重构整个代码库。这种大项目通常让人无从下手。
怎么做：
1. 在 ChatGPT 里新建一个项目（Project），把所有相关的参考资料、大纲、草稿丢进去。
2. 告诉它你的最终目标，比如：“我要写一本关于 2026 年 AI 工具箱的电子书，受众是开发者。”
3. 让它先帮你生成一个包含 10 个阶段的执行计划，每个阶段有明确的交付物。
4. 每次你只和它对话完成一个阶段，比如：“现在我们进入阶段 2，帮我写出第一章的草稿，参考我上传的资料风格。”
注意事项：别指望它一次性把整本书写完，那样出来的东西通常很水。一定要分阶段，每个阶段你都要人工审核和微调。传统做法是自己列大纲然后硬写，现在是你和 AI 轮流推进，它负责填肉，你负责把控骨架。

来源与延伸阅读

我写这篇文章主要参考了 OpenAI 关于 GPT-5.6 和 ChatGPT 处理宏大工作的官方博客，如果你想看它怎么结合 365，可以点这篇 GPT-5.6 preferred model Microsoft 365 Copilot。
Google 那边的重点全在 Gemini 3.5 Flash computer use，官方演示视频很直观。
另外他们也发了新模型 Nano Banana 2 Lite 和 Gemini Omni Flash，如果你做边缘端部署，可以去看看参数。