Cómo Devin prueba tus cambios de extremo a extremo y te envía grabaciones de vídeo como comprobante
Devin puede probar tu aplicación de extremo a extremo después de crear un PR: ejecutando la aplicación localmente, interactuando con ella a través del navegador y grabando un vídeo de todo el proceso. La grabación se envía directamente como archivo adjunto para que puedas verificar que los cambios funcionan sin tener que hacer pull tú mismo de la rama.
Después de crear un PR, Devin se ofrecerá a probar la aplicación por ti. Haz clic en Test the app para que Devin inicie el flujo de trabajo de pruebas.
Próximamente habrá una configuración para ejecutar automáticamente las pruebas después de crear un PR, sin necesidad de hacer clic en el botón.
También puedes pedirle a Devin que haga pruebas en cualquier momento durante una sesión; por ejemplo: “prueba los cambios que acabas de hacer y envíame un video” o “verifica que la página de inicio de sesión funciona y envíame un video”.
Antes de que comience cualquier prueba, Devin prepara el entorno:
Lee el PR y la base de código para entender qué se debe probar
Comprueba si hay skills relevantes en el repo (en .agents/skills/) y los sigue si los encuentra
Inicia sesión en los servicios necesarios y resuelve problemas de acceso
Comprueba los entornos disponibles (staging, dev, local) y verifica la conectividad
Solicita los secretos que falten si es necesario — Devin pedirá las credenciales por adelantado y las guardará para sesiones futuras
Completar Repo Setup con anticipación hace que las pruebas sean mucho más rápidas — Devin puede omitir la instalación de dependencias, la configuración de servicios y el inicio de sesión al comienzo de cada sesión.
Cuando Devin solicita credenciales durante las pruebas, las guarda como secrets para futuras sesiones, por lo que solo necesitas proporcionarlas una vez.
Una vez completada la configuración, Devin redacta un breve plan de pruebas:
Identifica el flujo de extremo a extremo más importante que demuestre que la funcionalidad funciona correctamente
Escribe pasos concretos y no ambiguos (por ejemplo, «haz clic en el botón etiquetado Save en la parte superior derecha», no «encuentra la opción de guardar»)
Basa el plan en código real: recorre el frontend para encontrar la ruta exacta en la interfaz de usuario hasta la funcionalidad
Solo agrega flujos de prueba adicionales si hay un caso límite realmente crítico
Devin te envía el plan como un mensaje corto antes de ejecutarlo, para que puedas corregir el rumbo si es necesario.
Una vez que el CI está en verde y se han atendido todos los comentarios de revisión, Devin ejecuta la prueba:
Inicia la grabación — captura la pantalla completa
Anota momentos clave — añade etiquetas de texto en puntos importantes (p. ej., «Probando flujo de inicio de sesión», «Funcionalidad verificada») que aparecen en el video final
Ejecuta el plan de prueba — interactúa con la aplicación a través del navegador, siguiendo cada paso
Detiene la grabación — el video se procesa automáticamente con anotaciones y ajustes de velocidad alrededor de los momentos clave
Envía el video — adjunta la grabación a un mensaje para que puedas reproducirla directamente
Las grabaciones de pantalla de Devin tienen varias funciones que las hacen útiles para su revisión:
Anotaciones — Aparecen etiquetas de texto en momentos clave del vídeo, marcando lo que Devin está probando. El vídeo se ralentiza alrededor de los puntos anotados para que puedas ver los detalles.
Zoom automático — El vídeo hace zoom automáticamente hacia donde Devin hace clic e interactúa, desplazándose suavemente para seguir el cursor y alejándose durante los momentos de inactividad.
Procesamiento automático — Las grabaciones sin procesar se tratan para resaltar las acciones importantes y comprimir el tiempo de inactividad.
Enviados como archivos adjuntos — Los vídeos se adjuntan a los mensajes de tu sesión y se pueden ver directamente en la aplicación web de Devin o en Slack.
Las grabaciones están diseñadas para ser breves y enfocadas: una verificación rápida con un único flujo principal de extremo a extremo que demuestra que la funcionalidad funciona correctamente. Si necesitas una cobertura más exhaustiva, usa tus suites de pruebas y CI existentes en lugar de las grabaciones visuales.
Después de probar tu app, Devin anota lo que intentó y lo que funcionó — pasos de configuración, configuración del entorno, cómo iniciar la app — y propone crear o actualizar un Skill mediante un PR. Puedes fusionar el PR tal como está o ajustarlo para perfeccionar las instrucciones. Con el tiempo, esto significa que Devin mejora al probar tu proyecto: los aprendizajes de cada sesión se basan en los de la anterior.También puedes pedirle a Devin que haga esto en cualquier momento (por ejemplo, «crea un Skill sobre cómo probar esta app»). Consulta la guía de Skills para ver todos los detalles sobre cómo crear y gestionar Skills.Aquí tienes un ejemplo de un Skill de pruebas:
Copiar
Preguntar a la IA
---name: test-before-prdescription: Run the local dev server and verify pages before opening any PR that touches frontend code.---## Setup1. Install dependencies: `npm install`2. Start the database: `docker-compose up -d postgres`3. Run migrations: `npx prisma migrate dev`4. Start the dev server: `npm run dev`5. Wait for "Ready on http://localhost:3000"## Verify1. Read the git diff to identify which pages changed2. Open each affected page in the browser3. Check for: console errors, layout issues, broken links4. Screenshot each page at desktop (1280px) and mobile (375px) widths## Before Opening the PR1. Run `npm run lint` and fix any issues2. Run `npm test` and confirm all tests pass3. Include screenshots in the PR description
Cuando escribas o mejores habilidades, sé específico sobre qué hay que verificar:
Buenas instrucciones
“Prueba el flujo de compra: añade un artículo al carrito, ve al checkout, completa el formulario y verifica que la página de confirmación del pedido muestre el total correcto”
“Verifica que el interruptor de modo oscuro funcione en la página de configuración — el texto debe ser legible y ningún elemento debe desaparecer”
“Prueba que la exportación a CSV descargue un archivo con los encabezados correctos”
El modo de pruebas está disponible en las sesiones en las que Devin crea una pull request (PR) con cambios de código. Si Devin no se ofreció, siempre puedes pedírselo directamente: «¿Puedes probar estos cambios y grabar un vídeo?»
Si la grabación no llega a procesarse, Devin te lo hará saber. Entre las causas más comunes están que la aplicación se bloquee durante las pruebas o que caduque el tiempo de espera del procesamiento del vídeo. Devin puede volver a intentarlo; solo pídele “Try recording again.” Los archivos de las grabaciones se almacenan en la máquina de Devin, y puede enviártelos en cualquier momento si se lo pides.
Si Devin no puede acceder a tu aplicación en las pruebas (por ejemplo, por pantallas de inicio de sesión o requisitos de VPN), te pedirá ayuda. Proporciona credenciales usando secrets, usa el Interactive Browser para completar manualmente los pasos de autenticación o completa el Repo Setup para preconfigurar el acceso y evitar que Devin se encuentre con estos problemas.