¿Qué es Computer Use?
Computer Use le da a Devin acceso directo a un entorno de escritorio gráfico con ratón y teclado. Esto va más allá de la automatización del navegador: Devin puede interactuar con cualquier aplicación que se muestre en pantalla, incluidas:- Aplicaciones web en Chrome (hacer clic en botones, completar formularios, navegar por páginas)
- Aplicaciones de escritorio que se ejecutan en la plataforma de la sesión (Linux, Windows o macOS), incluidas aplicaciones Electron, IDE y GUI nativas de la plataforma
- Interfaces de terminal (programas TUI, CLI interactivas)
- Cualquier interfaz visual que se pueda mostrar en el escritorio
Plataformas compatibles
La experiencia de Computer Use es la misma en todas las plataformas: Devin usa el mouse y el teclado, toma capturas de pantalla, ejecuta Chrome para aplicaciones web y puede grabar sus sesiones de prueba. En Windows, Devin también puede probar aplicaciones de escritorio nativas de Windows (p. ej., WPF, WinForms y otras apps que solo se ejecutan en Windows); en macOS puede probar apps de Mac y apps de iOS en el Simulador. Para ejecutar sesiones en otra plataforma, configura un blueprint como se describe en compatibilidad con Windows o compatibilidad con macOS. Para ver un ejemplo de extremo a extremo, consulta Crear una app de iOS con Devin.
En macOS, Devin usa la tecla Command para los atajos de teclado (⌘C, ⌘V) en lugar de Control.
Cómo habilitarlo
Computer Use se controla mediante el interruptor Computer use en la configuración de Devin de tu organización.- Ve a Settings > Devin
- En la sección Sessions, activa Computer use
- Devin ahora usará su entorno de escritorio durante las sesiones
Desktop mode está disponible en todos los planes. Solo los administradores de la organización pueden cambiar esta opción.
Cuándo se ejecuta Computer Use
Una vez que el modo Desktop está activado, Computer Use está disponible en cada sesión. Hay tres formas de usarlo:Después de crear un pull request (PR)
Cuando Devin crea un PR, ofrece un botón Test the app. Al hacer clic se ejecuta el flujo de pruebas completo: Devin inicia tu aplicación, usa Computer Use para interactuar con el escritorio, prueba los cambios y te envía una grabación.
A petición durante una sesión
Puedes pedirle a Devin que realice pruebas en cualquier momento durante una sesión; no necesitas ninguna sintaxis especial, solo lenguaje natural. Por ejemplo:- “Prueba los cambios que acabas de hacer y envíame una grabación”
- “Abre la aplicación en el navegador y verifica que la página de inicio de sesión funcione”
- “Inicia la aplicación de escritorio y comprueba que el nuevo elemento del menú aparezca”
De forma autónoma cuando corresponda
Devin decide de forma autónoma cuándo la interacción con el escritorio es la herramienta adecuada para la tarea. Si una tarea implica hacer clic en elementos de la interfaz, navegar por una aplicación, completar formularios o verificar visualmente algo, Devin usará Computer Use sin que se le pida explícitamente. No necesitas decirle a Devin cómo interactuar con la pantalla: solo dile qué debe hacer.Qué puede hacer Devin al usar la computadora
Probar aplicaciones web de extremo a extremo
Devin puede iniciar tu aplicación localmente, abrirla en Chrome y recorrer flujos de usuario completos — inicio de sesión, navegación, envío de formularios, proceso de compra — para comprobar que todo funciona como se espera.Probar aplicaciones de escritorio
Devin puede probar cualquier aplicación que se ejecute en su plataforma de sesiones. En las sesiones de Linux, esto incluye aplicaciones de Electron, aplicaciones de Java Swing/AWT, aplicaciones GTK/Qt y más. En las sesiones de Windows, Devin también puede probar aplicaciones nativas de Windows, como las desarrolladas con WPF y WinForms. Devin inicia la aplicación, interactúa con su interfaz gráfica y verifica su comportamiento.Verificación visual
Devin puede tomar capturas de pantalla en puntos específicos durante las pruebas para verificar que los diseños, estilos y elementos de la interfaz de usuario tengan el aspecto correcto. Puede comparar lo que ve en pantalla con el comportamiento esperado y detectar problemas visuales.Interactuar con flujos de interfaz de usuario complejos
Algunos escenarios de prueba requieren interacciones de varios pasos en la interfaz gráfica de usuario (GUI) que van más allá de simples llamadas a APIs o de la automatización del navegador — cosas como arrastrar y soltar, menús contextuales, atajos de teclado o navegación entre múltiples ventanas. Computer Use se encarga de todo esto.Grabar sesiones de prueba
Devin puede grabar su pantalla mientras realiza pruebas, anotando momentos clave en el vídeo. Luego, la grabación se procesa y se te envía para que puedas ver a Devin interactuar con tu aplicación y confirmar que los cambios funcionan. Consulta Pruebas y grabaciones de vídeo para obtener más detalles sobre el flujo de trabajo de grabación.Cómo funciona Computer Use
Cuando Devin usa Computer Use durante una sesión, sigue este proceso:- Toma una captura de pantalla de la pantalla actual para entender qué hay en pantalla
- Identifica elementos interactivos — botones, campos de texto, menús, enlaces — y decide con qué interactuar
- Realiza una acción — hace clic, escribe, desplaza la pantalla o usa atajos de teclado
- Espera y observa — toma otra captura de pantalla para ver el resultado de la acción
- Repite hasta que la tarea esté completa
Computer Use y pruebas
Computer Use es la base del flujo de trabajo de Testing & Recordings de Devin. Cuando Devin prueba tu aplicación después de crear una pull request (PR):- Configuración — Devin instala las dependencias, inicia tu aplicación y prepara el entorno
- Planificación de pruebas — Devin lee el diff y crea un plan de pruebas específico
- Ejecución mediante Computer Use — Devin usa su escritorio para interactuar con tu aplicación, siguiendo el plan de pruebas paso a paso
- Grabación — Todo el proceso se captura en video con anotaciones y luego se te envía para revisión
Computer Use en Outposts
En Outposts, las sesiones se ejecutan en máquinas que gestionas, por lo que Devin utiliza el entorno de escritorio que ya tenga la máquina en lugar de aprovisionar uno propio. La herramientacomputer está disponible en todas las sesiones en modo de escritorio; si la máquina no puede realizar una acción, esta falla y muestra un error claro y práctico, en lugar de que la herramienta simplemente no esté disponible.
Requisitos por plataforma
Linux: el worker debe ejecutarse con acceso a una sesión gráfica;DISPLAY debe estar configurado en el entorno del worker y apuntar a un servidor X en ejecución. En una máquina sin interfaz gráfica, puedes iniciar uno tú mismo (p. ej., Xvfb :0 junto con un gestor de ventanas) y exportar DISPLAY antes de iniciar el worker. Sin una pantalla, las acciones de equipo devuelven un error que explica que no hay ningún escritorio gráfico disponible y cómo proporcionar uno.
macOS: Devin reutiliza la sesión de escritorio existente de la máquina. Se aplican dos permisos independientes de macOS (TCC) al proceso que ejecuta el worker de Devin:
- Grabación de pantalla — necesaria para las capturas de pantalla.
- Accesibilidad — necesaria para la entrada sintética de mouse y teclado.
Es normal contar con capacidades parciales
Las capacidades se verifican de forma independiente, por lo que Devin sigue funcionando de forma limitada en lugar de perder toda la funcionalidad de la herramienta:- Si se concede Grabación de pantalla, pero no Accesibilidad (una configuración predeterminada habitual), las capturas de pantalla funcionan, mientras que las acciones de clic, escritura o desplazamiento devuelven un error que indica exactamente qué permiso debes conceder.
- Si no hay ninguna pantalla disponible, cada acción en el equipo devuelve el motivo (p. ej.,
DISPLAYno está configurado) y qué debes cambiar.
ffmpeg en la máquina; consulta las dependencias de la máquina.
Consejos para obtener los mejores resultados
Sé específico sobre lo que quieres probar
- “Abre la aplicación, haz clic en el botón de Configuración en la esquina superior derecha, activa el modo oscuro y comprueba que todo el texto siga siendo legible”
- “Inicia la aplicación de Electron, crea un nuevo documento, escribe algo de texto y comprueba que se guarde cuando cierres la ventana”
Dile a Devin qué significa tener éxito
- “El panel debe mostrar tres gráficos sin mensajes de error”
- “Después de enviar el formulario, debe aparecer un banner verde de éxito en la parte superior de la página”
Preconfigura el acceso
Si tu aplicación requiere autenticación, configura los secrets con anticipación para que Devin pueda iniciar sesión sin pedirte credenciales durante la sesión. Completa la configuración de Environment para asegurarte de que Devin pueda instalar las dependencias e iniciar tu aplicación sin problemas.Crear skills para pruebas
Para las aplicaciones que pruebas con frecuencia, crea una Skill que le indique a Devin exactamente cómo configurar y probar tu aplicación. Esto ahorra tiempo en sesiones repetidas y garantiza pruebas consistentes. Consulta Testing & Video Recordings — Skill Suggestions para ver ejemplos.Uso del navegador con scripts mediante Playwright
El navegador Chrome de Devin expone un endpoint de Chrome DevTools Protocol (CDP) al que Playwright puede conectarse. Devin puede escribir y ejecutar scripts de Playwright para automatizar interacciones en el navegador, como flujos de inicio de sesión o la introducción sistemática de datos, en el navegador que está ejecutando. También puedes escribir estos scripts tú mismo e incorporarlos a tu repo. Para la mayoría de las demás acciones del navegador, se recomienda usar la función Computer Use nativa de Devin o sus herramientas de navegador.Cómo funciona
La instancia de Chrome de Devin acepta conexiones CDP en el puerto 29229. Un script de Playwright puede conectarse a este navegador, realizar acciones (completar formularios, hacer clic en botones, gestionar redirecciones) y luego desconectarse. Como el script se conecta al navegador existente en lugar de iniciar uno nuevo, todos los cambios de estado — cookies, localStorage y tokens de autenticación — se conservan después de que el script finaliza. Esto significa que Devin puede usar de inmediato la sesión autenticada: actualizar páginas, navegar e interactuar con la aplicación con normalidad.Ejemplo: conexión al navegador de Devin
Cuándo usar esto
Flujos de SSO / OAuth
Automatiza flujos de inicio de sesión de varios pasos (p. ej., Okta, Auth0, Google SSO) que sería tedioso completar manualmente en cada sesión.
Autenticación para la configuración del entorno
Incluye un script de inicio de sesión en tu configuración del entorno para que Devin inicie cada sesión con la autenticación ya hecha.
Automatización basada en Skills
Guarda scripts de inicio de sesión o de introducción de datos en una Skill para que Devin pueda ejecutarlos automáticamente cuando sea necesario.
Entrada sistemática de datos
Crea scripts para envíos repetitivos de formularios o para la introducción masiva de datos que, de otro modo, serían lentos y propensos a errores al hacerlos manualmente.
Consejos
- Guarda los scripts de inicio de sesión en el directorio
.agents/skills/de tu repositorio para que persistan entre sesiones - Usa Secrets para almacenar credenciales; haz referencia a ellas mediante variables de entorno en tus scripts
- El endpoint de CDP es siempre
http://localhost:29229; es el mismo puerto tanto si Desktop mode está habilitado como si no - Después de que se ejecute el script, Devin puede usar Computer Use o las herramientas del navegador para interactuar con la sesión autenticada
En combinación con Secrets expuestos como variables de entorno, un script en
.agents/skills/ puede inyectar cualquier estado a nivel de navegador al inicio de cada sesión, no solo cookies. Por ejemplo, un script puede llamar a page.evaluate() para escribir claves de localStorage (flags de funciones, tokens de API, selección de tenant) leídas de variables de entorno, de modo que el navegador de Devin siempre se inicie en el estado que espera tu app. Para conservar el estado que capturaste manualmente en lugar de crear un script, consulta Autenticación del navegador.