Ejecutar pruebas E2E nocturnas en el entorno de staging

¿Prefieres no configurarlo manualmente? Pega un enlace a esta página en una sesión de Devin y pídele que lo configure todo por ti.

Esta guía explica cómo gestionar automatizaciones programadas a través de la API v3, lo cual resulta útil para flujos de trabajo de infraestructura como código. También puede crearlas y gestionarlas directamente en la página de automatizaciones sin ninguna configuración de API.

Configura un usuario de servicio para acceder a la API

Las automatizaciones creadas a través de la API necesitan un usuario de servicio con los permisos adecuados. Lo configurarás una sola vez y luego usarás su API key en todas las llamadas que se muestran a continuación.

Ve a app.devin.ai > Settings > Devin API, abre la pestaña Service users y haz clic en Provision service user
Asigna un rol que incluya el permiso ManageOrgAutomations
Guarda la API key que se muestra después del provisioning: solo se muestra una vez y la usarás como tu token Bearer

Tu organization ID se muestra en la parte superior de la página Settings > Devin API. Los usuarios de servicio de Enterprise cuyo rol incluya ViewOrganizations también pueden llamar al endpoint List Organizations con su token:

curl "https://api.devin.ai/v3/enterprise/organizations" \
  -H "Authorization: Bearer $DEVIN_API_KEY"

Exporta ambos valores para que los comandos de esta guía funcionen tal como se muestran:

export DEVIN_API_KEY="sk-your-service-user-key"
export ORG_ID="your-org-id"

Consulta la documentación de autenticación de la API para obtener más información sobre los usuarios de servicio y sus permisos.

Crear un playbook para la ejecución de prueba

Antes de crear la automatización, escribe un playbook que indique a Devin exactamente cómo ejecutar tu suite E2E y qué hacer con los resultados. Ve a Settings > Playbooks y crea un nuevo playbook, o pídele a Devin que genere uno para ti a partir de una descripción de tu flujo de pruebas. Aquí tienes un ejemplo para una suite de Playwright:Toma nota del ID del playbook después de guardarlo: lo referenciarás en el prompt de la automatización. Puedes encontrarlo en la URL cuando veas el playbook (app.devin.ai/.../playbooks/{playbook_id}).

Instala la integración con Linear para que Devin pueda crear tickets como parte del playbook. Al editar la automatización en la página de Automations, también puedes agregar una notificación Post to Slack (por ejemplo, #qa-results) para que tu equipo reciba notificaciones automáticamente. Concede a Devin acceso de solo lectura a los secrets de tu entorno de staging (URL de bases de datos, API keys) mediante organization secrets si tus pruebas los necesitan.

Crear la programación nocturna mediante la API

Ahora utiliza el endpoint POST /v3/organizations/{org_id}/automations para registrar una automatización con un trigger schedule:recurring y una acción start_session. Haz referencia al playbook en el prompt con un token @playbook:{id}. Las sesiones iniciadas por una automatización solo obtienen las herramientas que le concedas, así que el bloque tools habilita las herramientas de Linear y permite que Devin publique en tu canal #qa-results (reemplaza los IDs del workspace y del canal de Slack por los tuyos). Este ejemplo se ejecuta todas las noches a las 2:00 a. m. UTC:

curl -X POST "https://api.devin.ai/v3/organizations/$ORG_ID/automations" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "Nightly E2E — staging",
    "run_as": {"type": "organization"},
    "triggers": [{
      "event_type": "schedule:recurring",
      "conditions": {"any": [{"all": [{
        "field": "rrule",
        "operator": "recurrence",
        "value": "FREQ=DAILY;BYHOUR=2;BYMINUTE=0"
      }]}]}
    }],
    "actions": [{
      "type": "start_session",
      "prompt": "Run the nightly E2E test suite against staging. Follow @playbook:your-playbook-id exactly."
    }],
    "tools": {
      "linear_enabled": true,
      "slack_channels": [{"team_id": "T0123456789", "channel_id": "C0123456789"}]
    }
  }'

La respuesta incluye un automation_id que usarás para gestionar esta automation más adelante. Guárdalo:

export AUTOMATION_ID="a1b2c3d4e5f6789012345678"  # automation_id de la respuesta

La condición rrule recibe una RRULE de iCalendar evaluada en UTC. Algunas alternativas útiles:

Pattern	When it runs
`FREQ=DAILY;BYHOUR=2;BYMINUTE=0`	Cada noche a las 2 a. m. (UTC)
`FREQ=WEEKLY;BYDAY=MO,TU,WE,TH,FR;BYHOUR=2;BYMINUTE=0`	Solo noches de lunes a viernes
`FREQ=WEEKLY;BYDAY=MO;BYHOUR=6;BYMINUTE=0`	Todos los lunes a las 6 a. m. (UTC)

¿Por qué a las 2 a. m.? Quieres que las pruebas se ejecuten después de que el último despliegue del día se haya asentado en el entorno de staging, pero lo bastante temprano como para que los errores sean visibles cuando los ingenieros empiecen a trabajar. Ajústalo para que coincida con la zona horaria y la cadencia de despliegues de tu equipo.Consulta la documentación del endpoint Create automation para ver todos los campos disponibles.

Revisa la primera ejecución y ajusta el prompt

Después de que la automatización se dispare por primera vez, revisa la sesión para asegurarte de que Devin haya ejecutado las pruebas correctamente y que el resultado coincida con lo que esperas.

Abre la automatización en la página de Automations y sigue el enlace de la sesión en su pestaña Activity
¿Se ejecutó la suite de Playwright? ¿Se crearon tickets de Linear para fallos reales (no pruebas inestables)?
Revisa el canal de Slack #qa-results para ver el mensaje de resumen

Problemas comunes en la primera ejecución y cómo solucionarlos:

Devin can’t access staging: Agrega tus variables de entorno de staging (como STAGING_API_KEY o DATABASE_URL) como organization secrets para que estén disponibles en cada sesión que inicie la automatización
Too many tickets from flaky tests: Agrega un reintento a tu playbook: “Vuelve a ejecutar cualquier prueba fallida una vez antes de crear un ticket. Crea tickets solo para las pruebas que fallen dos veces.”
Tests take too long: Acota el alcance de la suite — p. ej., “Solo ejecuta pruebas en tests/critical/ y tests/smoke/” — o aumenta el tiempo de espera de la sesión

Gestiona las automatizaciones como código

Una vez que tu ejecución nocturna sea estable, querrás gestionarla junto con el resto de tus automatizaciones: pausarla durante congelaciones de despliegue, actualizar el prompt cuando cambie tu suite de pruebas o crear una segunda automatización para un entorno diferente.Pausa la automatización durante una congelación de despliegue o una ventana de mantenimiento:

curl -X PATCH "https://api.devin.ai/v3/organizations/$ORG_ID/automations/$AUTOMATION_ID" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"enabled": false}'

Vuelve a habilitarla cuando finalice el período de congelación:

curl -X PATCH "https://api.devin.ai/v3/organizations/$ORG_ID/automations/$AUTOMATION_ID" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"enabled": true}'

Enumera todas las automatizaciones para auditar qué se está ejecutando:

curl "https://api.devin.ai/v3/organizations/$ORG_ID/automations" \
  -H "Authorization: Bearer $DEVIN_API_KEY"

Para equipos que gestionan múltiples automatizaciones, pídele a Devin que cree una CLI que sincronice las definiciones de automatizaciones a partir de un archivo de configuración YAML, para que puedas someter tus automatizaciones a control de versiones junto con tu configuración de pruebas:

Get Started

Essential Guidelines

Onboarding Devin

Working with Devin

Product Guides

Integrations

Admin

Release Notes