Executar testes E2E noturnos no ambiente de staging

Não quer configurar isso manualmente? Cole um link para esta página em uma sessão do Devin e peça para ele configurar tudo para você.

Este guia aborda o gerenciamento de automações agendadas por meio da API v3, útil para fluxos de trabalho de infraestrutura como código. Você também pode criá-las e gerenciá-las diretamente na página de Automações sem nenhuma configuração de API.

Configurar um usuário de serviço para acesso à API

Automações criadas via API precisam de um usuário de serviço com as permissões corretas. Você configurará um usuário de serviço uma vez e, em seguida, usará sua Chave de API em todas as chamadas abaixo.

Vá para app.devin.ai > Settings > Devin API, abra a aba Service users e clique em Provision service user
Atribua uma função que inclua a permissão ManageOrgAutomations
Salve a Chave de API exibida após o provisionamento — ela é mostrada apenas uma vez e você a usará como seu token Bearer

O ID da organização é exibido no topo da página Settings > Devin API. Usuários de serviço Enterprise cuja função inclua ViewOrganizations também podem chamar o endpoint List Organizations com seu token:

curl "https://api.devin.ai/v3/enterprise/organizations" \
  -H "Authorization: Bearer $DEVIN_API_KEY"

Exporte ambos os valores para que os comandos deste guia funcionem exatamente como estão:

export DEVIN_API_KEY="sk-your-service-user-key"
export ORG_ID="your-org-id"

Consulte a documentação de autenticação da API para saber mais sobre usuários de serviço e permissões.

Crie um playbook para a execução de testes

Antes de criar a automação, escreva um playbook que instrua o Devin exatamente sobre como executar sua suíte E2E e o que fazer com os resultados. Vá para Settings > Playbooks e crie um novo playbook — ou peça ao Devin para gerar um para você a partir de uma descrição do seu fluxo de testes. Aqui está um exemplo de playbook para uma suíte Playwright:Anote o ID do playbook após salvar — você vai referenciá-lo no prompt da automação. Você pode encontrá-lo na URL ao visualizar o playbook (app.devin.ai/.../playbooks/{playbook_id}).

Instale a integração com Linear para que o Devin possa criar tickets como parte do playbook. Ao editar a automação na página de Automações, você também pode adicionar uma notificação Post to Slack (por exemplo, #qa-results) para que sua equipe seja notificada automaticamente. Dê ao Devin acesso somente leitura aos segredos do seu ambiente de staging (URLs de banco de dados, chaves de API (API keys)) via organization secrets se seus testes precisarem deles.

Crie a automação noturna pela API

Agora use o endpoint POST /v3/organizations/{org_id}/automations para cadastrar uma automação com um trigger schedule:recurring e uma action start_session. Referencie o playbook no prompt com um token @playbook:{id}. Sessões iniciadas por uma automação só recebem as ferramentas que você conceder a ela, então o bloco tools ativa as ferramentas do Linear e permite que o Devin publique no seu canal #qa-results (substitua os IDs do workspace e do canal do Slack pelos seus). Este exemplo é executado todas as noites às 2h UTC:

curl -X POST "https://api.devin.ai/v3/organizations/$ORG_ID/automations" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "Nightly E2E — staging",
    "run_as": {"type": "organization"},
    "triggers": [{
      "event_type": "schedule:recurring",
      "conditions": {"any": [{"all": [{
        "field": "rrule",
        "operator": "recurrence",
        "value": "FREQ=DAILY;BYHOUR=2;BYMINUTE=0"
      }]}]}
    }],
    "actions": [{
      "type": "start_session",
      "prompt": "Run the nightly E2E test suite against staging. Follow @playbook:your-playbook-id exactly."
    }],
    "tools": {
      "linear_enabled": true,
      "slack_channels": [{"team_id": "T0123456789", "channel_id": "C0123456789"}]
    }
  }'

A resposta inclui um automation_id que você usará para gerenciar esta automação mais tarde. Salve-o:

export AUTOMATION_ID="a1b2c3d4e5f6789012345678"  # automation_id da resposta

A condição rrule recebe um RRULE do iCalendar avaliado em UTC. Algumas alternativas úteis:

Padrão	Quando é executado
`FREQ=DAILY;BYHOUR=2;BYMINUTE=0`	Todas as noites às 2h UTC
`FREQ=WEEKLY;BYDAY=MO,TU,WE,TH,FR;BYHOUR=2;BYMINUTE=0`	Apenas noites de semana (seg–sex)
`FREQ=WEEKLY;BYDAY=MO;BYHOUR=6;BYMINUTE=0`	Todas as segundas-feiras às 6h UTC

Por que 2h? Você quer que os testes sejam executados depois que o último deploy do dia tiver estabilizado em staging, mas cedo o suficiente para que as falhas sejam visíveis quando engenheiros e engenheiras começarem a trabalhar. Ajuste para ficar alinhado ao fuso horário e à cadência de deploy da sua equipe.Consulte a documentação do endpoint Create automation para ver todos os campos disponíveis.

Revise a primeira execução e ajuste o prompt

Depois que a automação for acionada pela primeira vez, verifique a sessão para garantir que o Devin executou os testes corretamente e que o resultado corresponde ao que você espera.

Abra a automação na página de Automações e siga o link da sessão na aba Activity
A suíte Playwright foi executada? Foram criados tickets no Linear para falhas reais (e não para testes instáveis)?
Verifique o canal do Slack #qa-results para ver a mensagem de resumo

Problemas comuns na primeira execução e como corrigi-los:

O Devin não consegue acessar o ambiente de staging: Adicione suas variáveis de ambiente de staging (como STAGING_API_KEY ou DATABASE_URL) como segredos da organização, para que fiquem disponíveis em todas as sessões iniciadas pela automação
Tickets demais causados por testes instáveis: Adicione uma nova tentativa ao seu playbook: “Execute novamente qualquer teste com falha uma vez antes de abrir um ticket. Só abra tickets para testes que falharem duas vezes.”
Os testes demoram demais: Reduza o escopo da suíte — por exemplo, “Execute apenas os testes em tests/critical/ e tests/smoke/” — ou aumente o tempo limite da sessão

Gerencie automações como código

Depois que sua execução noturna estiver estável, você vai querer gerenciá-la junto com suas outras automações — pausando durante períodos de congelamento de deploy, atualizando o prompt quando sua suíte de testes for alterada ou criando uma segunda automação para um ambiente diferente.Pausar a automação durante um período de congelamento de deploy ou janela de manutenção:

curl -X PATCH "https://api.devin.ai/v3/organizations/$ORG_ID/automations/$AUTOMATION_ID" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"enabled": false}'

Reative-o quando o período de congelamento acabar:

curl -X PATCH "https://api.devin.ai/v3/organizations/$ORG_ID/automations/$AUTOMATION_ID" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"enabled": true}'

Liste todas as automações para auditar o que está rodando:

curl "https://api.devin.ai/v3/organizations/$ORG_ID/automations" \
  -H "Authorization: Bearer $DEVIN_API_KEY"

Para equipes que gerenciam várias automações, peça ao Devin para criar uma CLI que sincronize definições de automações a partir de um arquivo de configuração YAML — assim você pode versionar suas automações junto com sua configuração de testes:

Get Started

Essential Guidelines

Onboarding Devin

Working with Devin

Product Guides

Integrations

Admin

Release Notes