Codex推出Windows电脑操控功能

【实测】Codex Computer Use 太强了，可视化操控电脑，告别键盘和鼠标！！！ — iwenwiki

iwenwiki

虽然纯界面操控实现了脱离键鼠的未来愿景，但由于需要读取屏幕截图，使用中存在不可忽视的数据泄露与失控操作风险。

AI-assisted summary of 【实测】Codex Computer Use 太强了，可视化操控电脑，告别键盘和鼠标！！！ — original source. Check the original for full context.

Source published:

Detailed notes

## Background 该内容由B站UP主“iwenwiki”于2026年5月30日发布。视频简介指出，这是全B站最详细的 Codex 零基础教程，并补充了全新的 Computer Use 功能，让 AI 可以真正接管并可视化操控电脑。

## TL;DR 本期内容主要演示了 Codex 在 Windows 平台最新推出的 “Computer Use” 电脑操控功能。主讲人展示了如何通过设置授权，让 AI 自动执行打开微信发送消息、唤醒后台百度网盘等本地操作，并深入剖析了其基于界面感知、结构化定位与原子操作的核心原理。最后，主讲人也严肃指出了该功能在隐私泄露、失控操作和敏感信息传输方面的高危风险，以及当前版本执行较慢、偶发异常等局限性。

## Atmosphere & style 整个视频充满着科技前沿的震撼感与实测的接地气感。主讲人开门见山、毫不拖泥带水，在演示 Codex 自动发微信和打开网盘时，语气中带着对 AI 强大能力的惊叹，让观众能切身感受到“脱离键鼠”的未来科技感。然而，在谈及安全风险时，主讲人的态度又立刻变得严肃而谨慎，呈现出一种既兴奋于技术突破、又保持理性克制的极客视角，整体节奏严谨、拆解清晰，给观众带来极其直观且震撼的观看体验。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) Codex 推出了重磅更新，引入了针对 Windows 平台的 “Computer Use”（电脑操控）功能，补齐了此前仅支持 Mac 系统的短板。 - [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) “Computer Use” 允许用户通过对话直接让 Codex 操作本地电脑，如打开应用、发微信等，且官方称其在后台运行不会沾引计算机。 - [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 使用该功能需在设置中开启“任意应用”和可选的“谷歌 Chrome”控制开关，其中 Chrome 选项用于更深度的浏览器操作，可因隐私原因保持关闭。 - [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 实测显示 Codex 能成功执行“发微信给特定好友”以及“打开处于关闭状态的百度网盘”等本地指令，但操作前需要用户在对话框中点击授权同意。 - [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) “Computer Use” 的核心原理是纯粹的“界面操作”而非读取系统后台，分为感知当前窗口、判断可操作内容以及执行原子操作三步。 - [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) Codex 支持通过元素索引（element index）操作结构化元素，或者按照像素坐标直接点击屏幕区域。 - [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 在执行输入操作时，Codex 并非模拟键盘逐字输入，而是直接通过“设置值”的方式将文本粘贴过去。 - [05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 该功能存在三大潜在安全风险：屏幕可见的隐私资料可能随截图上传、已登录账号可能引发不可控的误操作、输入敏感信息存在泄露隐患。 - [05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 主讲人展望未来认为这标志着重大举措，未来完美结合语音与自然语言处理后，人类有望真正脱离键盘和鼠标控制电脑。 - [05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 作为首个版本，目前该功能存在诸多异常报错（如提示不能使用）、执行流程非常慢（不如手动操作快）以及较为消耗 Token 等问题。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) Computer Use 新功能：Windows 平台的“虽迟但到”与初始设置

主讲人开门见山地宣布了 Codex 上午迎来的重大更新——引入了名为 “Computer Use”（电脑操控）的重量级功能。其实这一功能在苹果 Mac 系统上一个版本就已经能够使用了，Windows 系统虽然总是滞后，“但虽迟但到”，这次更新终于补齐了这一短板。简单来说，“Computer Use” 允许用户通过与 Codex 进行对话，直接让它操作本地电脑，包括打开应用程序、发送微信等。官方描述虽然有些晦涩，称其可以通过自带的鼠标进行检查、点击和输入，“在后台运行，不会沾引你的计算机”，并能处理诸如前端迭代、应用程序测试或任何不暴露 API 的工作流任务。但主讲人认为，直接看实际演示会更加直观。

要使用这个功能，第一步需要在 Codex 的左下角点开“设置”，在左侧侧边栏会发现多了一个“电脑操控”的选项。点开后可以看到两个控制开关：一个是“任意应用”，另一个是可选项“谷歌 Chrome”。这两个选项在默认情况下都是关闭的，主讲人解释自己这里显示开启是因为提前做了测试。用户只需按照正常流程点击允许并完成系统授权即可。其中，谷歌 Chrome 是为了让 Codex 连接到浏览器进行更深度的操作，如果用户出于隐私考虑不希望它碰浏览器，完全可以保持关闭，因为 “Computer Use” 核心只需要把上面的“任意应用”打开即可。

---

[00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 实测演练：Codex 自动发送微信与打开百度网盘

完成设置后，主讲人将 Codex 窗口缩小并收起左侧栏，同时打开微信界面进行实际演示。他向 Codex 输入指令：“打开微信给我的微信好友谁呢丫头发送一条消息内容为你好”，随后敲击回车耐心等待。主讲人提醒道，在操作过程中系统会有个“授权操作”，Codex 会先将内容写入当前的对话框中，等待用户点击同意后才会真正发送。最终，微信消息在没有任何问题的情况下成功发送了出去。紧接着，主讲人又测试了另一个需求：让 Codex 打开在后台处于关闭状态的“百度网盘”。同样在输入指令并等待片刻后，电脑屏幕上的百度网盘被成功唤醒并打开。

为了让大家深刻理解这个功能，主讲人详细拆解了它的“核心原理”。他特别强调，Codex 并不是在读取系统后台，而是纯粹的“界面操作”。整个过程可以细分为三步： * **第一步：感知当前窗口。** 先拿到当前窗口的状态，包含窗口的截图、按钮、输入框等结构化的空间树。 * **第二步：判断能操作什么。** 拿到结构化数据后进行判断，它支持两种定位方式：既可以按照 element index（元素索引）操作结构化元素，也可以按照像素坐标点击屏幕区域。 * **第三步：执行原子操作。** 它的能力不仅很实用，包含点击、输入、按键、滚动、拖拽等，还可以直接“设置值”。主讲人特意指出，刚才发微信时，Codex 并不是模拟键盘一个字一个字打出来的，而是直接将文本“粘贴”过去进行设值的。

---

[05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 潜在的安全风险提示、未来展望与 Token 消耗

虽然功能酷炫，但主讲人非常严肃地提醒各位，由于这是纯界面操控，使用中存在不可忽视的风险，并将其总结为三大类： 1. **可见即可能被读。** 既然 Codex 需要读取和截取整个窗口，那么当前屏幕上出现的聊天记录、后台隐私资料等，都可能随着截图被上传到大模型后台，存在数据泄露的危险。 2. **已登录可能被操作。** 只要用户的账号处于登录状态，AI 就可能在当前的身份上下文里继续做出一些不可控、甚至意想不到的乱七八糟的操作，它毕竟没有真人那么严谨。 3. **输入敏感信息。** 如果让 AI 帮写手机号、证件号、账号等，本质上都是在向外传输私密数据，属于高危行为。

尽管存在上述隐患，主讲人依旧坚信这是一个“非常非常大的举措”。他展望未来，日后人们可能真的只需要用嘴说话就能控制电脑。虽然目前他禁用了语音，只能靠打字，但未来一旦完美结合语音和自然语言处理，完全可以让人类“脱离键盘和鼠标”。

不过作为第一个版本，目前它也暴露出不少问题，比如许多同学在点开设置时会遇到“无法加载”或提示 “computer use 不能使用” 的异常情况。此外，整个执行流程还“非常非常慢”，比较消耗时间，“远不如我们真正的手去敲对话”。最后，针对大家关心的 Token 消耗问题，主讲人展示了自己的后台个人资料消耗图表，并建议想完整测试损耗的用户可以找一个干净的账号，单独做一次微信对话测试来观察具体的 Token 消耗量。

## Notable quotes > [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 虽迟但到 — 主讲人

> [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 在后台运行，不会沾引你的计算机 — 官方描述

> [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 电脑操控 — 主讲人

> [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 任意应用 — 主讲人

> [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 谷歌 Chrome — 主讲人

> [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 打开微信给我的微信好友谁呢丫头发送一条消息内容为你好 — 主讲人

> [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 授权操作 — 主讲人

> [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 核心原理 — 主讲人

> [00:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=0s) 界面操作 — 主讲人

> [05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 可见即可能被读 — 主讲人

> [05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 已登录可能被操作 — 主讲人

> [05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 输入敏感信息 — 主讲人

> [05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 非常非常大的举措 — 主讲人

> [05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 脱离键盘和鼠标 — 主讲人

> [05:00](https://www.bilibili.com/video/BV1g2VL6PE1s?t=300s) 非常非常慢 — 主讲人

## Mentioned Codex, Computer Use, Windows, Mac, 谷歌 Chrome, 微信, 百度网盘, Token

[Source](https://www.bilibili.com/video/BV1g2VL6PE1s)

中文简报

Codex推出Windows电脑操控功能 虽然纯界面操控实现了脱离键鼠的未来愿景，但由于需要读取屏幕截图，使用中存在不可忽视的数据泄露与失控操作风险。 本期内容主要演示了 Codex 在 Windows 平台最新推出的 “Computer Use” 电脑操控功能。主讲人展示了如何通过设置授权，让 AI 自动执行打开微信发送消息、唤醒后台百度网盘等本地操作，并深入剖析了其基于界面感知、结构化定位与原子操作的核心原理。最后，主讲人也严肃指出了该功能在隐私泄露、失控操作和敏感信息传输方面的高危风险，以及当前版本执行较慢、偶发异常等局限性。 Codex 迎来重磅更新，正式为 Windows 平台上线“Computer Use”（电脑操控）功能，用户在设置中开启相应授权后，即可通过对话驱动 AI 操作本地电脑。 (0:00) 实测验证 Codex 可成功唤醒关闭状态的百度网盘并自动向好友发送微信消息；其核心原理为纯界面操作，通过感知窗口结构、利用元素索引或像素坐标定位，并以直接设值完成输入，关键步骤需手动确认授权。 (0:00) 使用该功能需注意三大安全风险：屏幕截图中包含的隐私资料可能被大模型读取、已登录账号可能因失误产生非预期操作，以及输入证件号等敏感信息存在外泄隐患。 (5:00) 作为首个版本，目前仍存在响应执行较慢、部分设置偶发报错以及 Token 消耗等问题，但主讲人认为其结合自然语言与语音交互的未来前景广阔，有望让用户真正告别键鼠。 (5:00)

Reading summary

主讲人介绍了 Codex 在 Windows 平台上线的“Computer Use”（电脑操控）功能，展示了其通过界面交互自动发送微信和启动软件的能力，同时也指出了该功能在隐私安全与执行效率上的局限性。 Windows 平台上线与核心配置 (0:00) Codex 迎来更新并在 Windows 端推出了“Computer Use”功能。此前该功能已在 Mac 系统上线，其设计目的是让用户通过对话指令操控本地电脑，适用于无 API 暴露的工作流、前端迭代或应用测试。用户需在设置的“电脑操控”面板中授权开启“任意应用”开关；至于连接浏览器的“谷歌 Chrome”开关则为可选项，用户出于隐私考虑可选择保持关闭。 实测演示与底层界面交互机制 (0:00) 在实际测试中，主讲人通过向 Codex 发送文本指令，成功在用户授权确认后向指定好友发送了微信消息，并唤醒了后台处于关闭状态的百度网盘。主讲人指出，该功能并非直接读取系统后台，而是纯粹的“界面操作”。其运行机制分为三步：首先感知当前窗口并获取截图与元素树等结构化数据；接着通过元素索引（element index）或像素坐标定位可操作对象；最后执行点击、按键、滚动或直接“设置值”等原子操作（如发微信时直接粘贴文本设值）。 潜在安全隐患与首版体验局限 (5:00) 主讲人强调，纯界面操控存在三类重大安全隐患：一是“可见即可能被读”，截取窗口可能导致屏幕上的隐私数据上传至大模型后台；二是“已登录可能被操作”，已登录账号可能引发 AI 的不可控误操作；三是输入手机号、证件号等敏感信息存在外传风险。此外，首发版本在稳定性与性能上仍有限制，部分用户遇到设置“无法加载”或提示功能不可用的异常，且整体运行速度远慢于人工手动操作。关于 Token 消耗，主讲人建议用户使用独立干净账号进行单次测试以观察损耗情况。 主讲人认为该功能展现了未来结合语音与自然语言处理彻底摆脱键鼠的潜力，但当前首发版本仍受制于较慢的响应速度、偶发系统异常以及显著的隐私泄露风险。

Source quotes

[0:00] 主讲人: 虽迟但到 [0:00] 官方描述: 在后台运行，不会沾引你的计算机 [0:00] 主讲人: 电脑操控 [0:00] 主讲人: 任意应用 [0:00] 主讲人: 谷歌 Chrome [0:00] 主讲人: 打开微信给我的微信好友谁呢丫头发送一条消息内容为你好 [0:00] 主讲人: 授权操作 [0:00] 主讲人: 核心原理 [0:00] 主讲人: 界面操作 [5:00] 主讲人: 可见即可能被读 [5:00] 主讲人: 已登录可能被操作 [5:00] 主讲人: 输入敏感信息 [5:00] 主讲人: 非常非常大的举措 [5:00] 主讲人: 脱离键盘和鼠标 [5:00] 主讲人: 非常非常慢

Original transcript

[0:00] Hello,小伙伴们,大家好,这个视频是对Codex的功能做了一个补充,上午Codex更新了,更新之后就出现了一个非常牛的功能,它叫Computer Use。事实上这个功能早在上一个版本当中,苹果系统就已经可以使用了,只是Windows总是滞后的这个版本才出现,虽然有点晚了,但虽迟但到。那Computer Use什么意思呢?使用电脑,简单来说就是我们通过跟Codex对话,可以让它操作我们的电脑,比如打开应用程序比如帮我们发微信等等操作那接下来呢给大家演示一下先来看一下描述吧他说Codex啊使用计算机时啊可以通过其自带的鼠标进行检查点击和输入从而呢操作任何应用程序它在后台运行不会沾引你的计算机可以处理诸如前端迭代应用程序测试或任何不暴露API的工作流等任务当然呢这个描述有点晦涩具体的呢我们还是通过演示来给大家感受吧首先第一步我们要做的是开启computer use回到我们的codex里边大家可以看到在我的左下角的设置里边有一个设置点开点开设置之后在我们的左侧这里边多了一个电脑操控我们点击电脑操控你会发现这里边多了这样两个内容一个是任意应用一个是谷歌Chrome其实这里边有一个很重要的文本叫控制管理codex如何使用您电脑上的其他应用程序其实就是computer use注意这两个默认情况下它是关闭的我这里之所以开启是因为我提前开启给大家做了一个测试发现它没有问题正常能使用所以才给大家演示的这里大家按照它的流程点开允许啊它中间呢可能有个授权大家进行正常授权就可以了当然呢第二个谷歌Chrome这个其实是可选项因为它呢是连接到你的浏览器然后对你的浏览器进行更进一步的操作如果你不希望它对你浏览器有更进一步的操作那这个呢也可以关闭没关系我们的computer use需要的是上面这个把它打开就可以了之后打开它回到我们的呃正常对话界面我们接下来呢就可以做我们刚刚所说的打开应用或者是发送微信这样的操作了比如我希望他能帮我们去操作微信发送一条消息给你的微信好友能不能做到呢当然可以OK回到这边我们将他小一点把左侧收起来之后把我们的微信打开在这里我们就可以让他帮我们发一条消息了比如说打开微信给我的微信好友谁呢丫头发送一条消息内容为你好OK此时我们直接回车接下来呢就是耐心去等待他会操作你的电脑打开你的微信选中对话框然后帮你去发送消息当然呢在这个过程当中大家要注意他有个授权操作什么授权呢他会将内容写入到你当前这个对话框当中等待你同意之后他才会发送好OK我们接下来耐心等待OK我们可以看到他已经成功的将消息发送出去了我们可以看到我的微信没有任何问题这就是我们要给大家演示的第一个功能通过Codex帮我们去发送微信好接下来我们再来看其他的除了这样的操作我们其实还可以让他去帮我们打开应用程序然后去在应用程序当中做一些操作比如我们翻回来再跟他说帮我打开百度网盘当然我现在的百度网盘并没有打开我的需求是让他把我把我电脑的百度网盘给打开我们看能不能做到回车耐心等待OK我们可以看到他已经将我的百度网盘打开了所以Codex是可以操作我们的电脑了OK翻回来那么我们要跟大家说的呢首先来说一说它的核心原理注意它并不是读后台而是界面操作这一点大家要理解我们给它分为三步第一步呢叫感知当心窗口就是先拿到当心窗口的状态包含窗口的截图按钮输入框等结构化的空间数拿到之后呢做第二步操作就是判断能操作什么同时呢支持两种定位方式可以按element index操作结构化元素也可以按照像素坐标点击屏幕区域好接下来呢进入第三步就是执行原子操作它的能力呢其实并不神秘而且很实用它能操作点击输入按键滚动脱拽等等还可以给输入 [5:00] 直接设置值注意啊我们刚刚打开微信的这个内容啊它并不是通过这里打字打出来的而是直接粘贴过来的所以它叫设值我没有说去调用键盘打字而是说的设值它是这么一个操作方式当然呢我还是要提醒各位这个操作呢它是有风险的所以我们简单给大家总结了一下风险预知我认为第一个风险呢是可见即可能被读什么意思呢窗口里出现的聊天后台隐私资料都可能被读取毕竟他在读取你整个窗口所以当前你窗口有什么不希望供外界所拿到的数据那不用这个操作因为只要他截图那这个数据就相当于已经上传到了大模型里边已经上传到他的后台那就相当于数据的泄露了所以这是第一个风险第二个风险是已登录可能被操作就是带操作啥意思呢只要你登录账号就可能发生各种意想不到的毕竟他是AI他没有像真人一样那么严谨的逻辑或者说他真的有可能会发生乱七八糟操作所以我们这里说他可能在那个身份上上下文里面继续操作做一些不可控的操作这个也是有可能的这是第二个风险第三个风险就是输入敏感信息就是传输帮你填写手机号证件号账号信息本质上就是对外传输数据这也是一个危险操作因为证件号也好手机号也好还有你的账号信息也好本质上都属于私立信息所以它是有风险的那么到目前为止大家可以再通过Codex去操纵电脑但是不希望会出现这样我们上面所说的这些情况就是你尽量去避免好吧不过虽然有了这么多的问题但我们总是能感觉到这是一个非常非常大的举措就是说在未来我们看到了它真的有可能去代替人而日后我们可能只需要嘴去说当然现在我们是通过打字而且其实他是可以通过语音来进行控制的只不过我现在把语音给禁掉了就是我没有让他用这个语音如果日后我们有了这个语音可以更好的操作我们事实上是完全可以脱离键盘和鼠标的因为直接通过语音跟他对话让他去自然语言处理就是让他去做某些操作就很方便了对不对好所以我们说这是一个非常心且大胆的一场尝试而且未来可能会更新的更好目前它可能会出现各种各样的问题比如说很多同学在打开设置的时候在打开这里找到电脑操作而这里边会说computer use不能使用或者说出现问题就是无法加载现在这个信息这个是有可能的因为我也遇到了也有可能它在整个操作过程当中出现了异常并不能打开你的应用程序也不能帮你发动消息也不能帮你做某些操作这也是有可能的毕竟目前还是第一个版本我们持续等待它后续更新然后希望它能出现更好的结果而且在整个的执行过程当中大家会发现比如说拿发微信来说整个的流程非常非常慢对不对整个的流程非常慢所以说事实上是比较消耗时间的远不如我们真正的手去敲对话但是未来可能会慢慢变得快也有人关心它的token消耗怎么样事实上你是可以在设置这里边去看到个人资料里边它的一个个人的消耗的情况如果你想完整的去测试的话就不要在当前这个账号做任何操作直接做一个微信对话你就能知道它到底消耗了多少个token比如这是我最近一段时间的token消耗量大家可以看到大概长成什么样子这里咱们就不细说了好那么关于Codex所新更新的computer use功能我们就给大家介绍到这里感谢各位聆听咱们下节再见