Devin 可以使用完整的 Linux 桌面环境——而不是仅限于浏览器。它可以移动鼠标、点击界面元素、在键盘上输入、截取屏幕截图，并与任何运行在 Linux 桌面上的应用程序交互。这种能力称为 Computer Use (计算机使用) ，使 Devin 能够像人类一样测试和交互你的软件。
Computer Use 为 Devin 提供对带有鼠标和键盘的图形化桌面环境的直接访问。它不仅仅是浏览器自动化——Devin 可以与屏幕上渲染的任何应用程序交互，包括：
- Chrome 中的网页应用程序 (点击按钮、填写表单、在页面之间导航)
- 在 Linux 上运行的桌面应用程序 (Electron 应用、原生图形界面、IDE)
- 基于终端的界面 (TUI 程序、交互式 CLI)
- 能在桌面上显示的任何可视化界面
Devin 将屏幕视为一个 1024×768 像素的显示器，并且可以执行诸如点击、输入、滚动、拖动和截图等操作——就像一个坐在电脑前的人类用户一样。
Computer Use 由你所在组织的自定义选项中的 Enable desktop mode 开关进行控制。
- 前往 Settings > Customization
- 在 Browser interaction 部分下，将 Enable desktop mode 切换为开启
- Devin 现在将在会话期间使用其桌面环境
Desktop mode 适用于所有套餐。只有组织管理员可以更改此设置。
- “测试你刚刚做的更改，并把录屏发给我”
- “在浏览器中打开应用，验证登录页面是否正常工作”
- “启动桌面应用，检查新的菜单项是否出现”
Devin 会自行决定何时适合通过桌面交互来完成任务。如果任务涉及点击 UI 元素、在应用中导航、填写表单或对某些内容进行目视确认，Devin 会在无需你明确要求的情况下使用 Computer Use。你不需要告诉 Devin 如何 与屏幕交互——只需告诉它 要完成什么 即可。
Devin 可以在本地启动你的应用，在 Chrome 中打开它，并完整地走一遍用户流程——登录、导航、表单提交、结账——以验证一切是否按预期工作正常。
任何在 Linux 上运行的应用程序都可以进行测试。Devin 可以启动应用、与其图形界面 (GUI) 交互并验证其行为。这包括 Electron 应用、Java Swing/AWT 应用、GTK/Qt 应用等。
Devin 可以在测试过程中的特定步骤截取屏幕截图，用于验证布局、样式和 UI 元素是否正确显示。它可以将屏幕上看到的内容与预期效果进行比对，并标记出视觉问题。
有些测试场景需要多步 GUI 交互，而不仅是简单的 API 调用或浏览器自动化——比如拖拽、上下文菜单、键盘快捷键，或在多个窗口之间切换。Computer Use 可以处理所有这些。
Devin 可以在测试时录制自己的屏幕，并在视频中标注关键时刻。录制内容随后会被处理并发送给你，这样你就可以观看 Devin 与你的应用交互的过程，并确认更改是否正常生效。有关录制工作流的完整说明，请参见 Testing & Video Recordings。
当 Devin 在会话中使用 Computer Use 功能时，会遵循以下流程：
- 截取屏幕截图，以了解当前屏幕上可见的内容
- 识别可交互元素 —— 按钮、文本输入框、菜单、链接 —— 并决定要与哪些进行交互
- 执行操作 —— 点击、输入、滚动，或使用键盘快捷键
- 等待并观察 —— 再次截屏以查看该操作的结果
- 重复上述步骤，直到任务完成
这种“截图—操作”循环使 Devin 能够适应屏幕上的任何内容，像人类一样处理动态内容、加载状态、弹出窗口和意外弹出的对话框。
电脑操作是 Devin 测试与录屏 工作流的基础。当 Devin 在创建拉取请求 (PR) 后测试你的应用时：
- 设置 — Devin 安装依赖、启动你的应用并准备环境
- 测试规划 — Devin 阅读代码 diff 并创建一份聚焦的测试计划
- 通过电脑操作执行 — Devin 使用其桌面环境与应用交互，按测试计划一步步执行
- 录制 — 整个过程会被录制成带批注的视频，然后发送给你进行审核
电脑操作与测试与录屏工作流之间的关键区别在于作用范围：电脑操作 是底层能力 (桌面交互) ，而 测试与录屏 是在此之上构建的结构化工作流，它使用电脑操作来测试你的 PR，并提供视频佐证。
明确要测试的内容
- “打开应用，在右上角点击 Settings 按钮，切换深色模式，并确认所有文本仍然清晰可读”
- “启动 Electron 应用，创建一个新文档，输入一些文本，并在关闭窗口时确认文档已成功保存”
告诉 Devin 成功的标准
- “仪表盘应显示三个图表，且没有错误信息”
- “提交表单后，页面顶部应出现绿色的成功提示横幅”
