Nächtliche E2E-Tests in der Staging-Umgebung ausführen

Möchten Sie dies nicht manuell einrichten? Fügen Sie einen Link zu dieser Seite in eine Devin-Sitzung ein und bitten Sie Devin, alles für Sie einzurichten.

Diese Anleitung beschreibt die Verwaltung geplanter Automatisierungen über die v3 API, was für Infrastructure-as-Code-Workflows nützlich ist. Sie können sie auch direkt auf der Automatisierungsseite erstellen und verwalten – ganz ohne API-Einrichtung.

Service-Benutzer für den API-Zugriff einrichten

Über die API erstellte Automatisierungen benötigen einen Service User mit den richtigen Berechtigungen. Sie richten ihn einmal ein und verwenden dann seinen API key in allen folgenden Aufrufen.

Gehen Sie zu app.devin.ai > Settings > Devin API, öffnen Sie den Tab Service users und klicken Sie auf Provision service user
Weisen Sie eine Rolle zu, die die Berechtigung ManageOrgAutomations enthält
Speichern Sie den nach dem Provisioning angezeigten API key — er wird nur einmal angezeigt und Sie verwenden ihn als Ihren Bearer-Token

Ihre organization ID wird oben auf der Seite Settings > Devin API angezeigt. Enterprise service users, deren Rolle ViewOrganizations enthält, können außerdem den Endpunkt List Organizations mit ihrem Token aufrufen:

curl "https://api.devin.ai/v3/enterprise/organizations" \
  -H "Authorization: Bearer $DEVIN_API_KEY"

Exportieren Sie beide Werte, damit die Befehle in dieser Anleitung wie angegeben funktionieren:

export DEVIN_API_KEY="sk-your-service-user-key"
export ORG_ID="your-org-id"

Weitere Informationen zu Servicebenutzern und Berechtigungen finden Sie in der Dokumentation zur API-Authentifizierung.

Schreiben Sie ein Playbook für den Testlauf

Bevor Sie die Automatisierung erstellen, schreiben Sie ein Playbook, das Devin genau vorgibt, wie Ihre E2E-Suite auszuführen ist und was anschließend mit den Ergebnissen zu tun ist. Gehen Sie zu Settings > Playbooks und erstellen Sie ein neues Playbook – oder bitten Sie Devin, anhand einer Beschreibung Ihres Testworkflows eines für Sie zu generieren. Hier ist ein Beispiel für eine Playwright-Suite:Notieren Sie sich die Playbook-ID nach dem Speichern – Sie verweisen im Prompt der Automatisierung darauf. Sie finden sie in der URL, wenn Sie das Playbook anzeigen (app.devin.ai/.../playbooks/{playbook_id}).

Installieren Sie die Linear-Integration, damit Devin im Rahmen des Playbooks Tickets erstellen kann. Wenn Sie die Automatisierung auf der Automatisierungen-Seite bearbeiten, können Sie außerdem eine Post to Slack-Benachrichtigung (z. B. #qa-results) hinzufügen, sodass Ihr Team automatisch benachrichtigt wird. Gewähren Sie Devin nur Lesezugriff auf die Secrets Ihrer Staging-Umgebung (Datenbank-URLs, API keys) über organization secrets, falls Ihre Tests sie benötigen.

Richten Sie die nächtliche Automatisierung über die API ein

Verwenden Sie nun den Endpunkt POST /v3/organizations/{org_id}/automations, um eine Automatisierung mit einem schedule:recurring-Auslöser und einer start_session-Action zu registrieren. Verweisen Sie im Prompt mit einem @playbook:{id}-Token auf das Playbook. Sitzungen, die von einer Automatisierung gestartet werden, erhalten nur die Tools, die Sie ihr gewähren – der tools-Block aktiviert daher die Linear-Tools und erlaubt Devin, in Ihrem #qa-results-Channel zu posten (ersetzen Sie die Slack-Workspace- und Channel-IDs durch Ihre eigenen). In diesem Beispiel wird die Automatisierung jede Nacht um 2:00 Uhr UTC ausgeführt:

curl -X POST "https://api.devin.ai/v3/organizations/$ORG_ID/automations" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "Nightly E2E — staging",
    "run_as": {"type": "organization"},
    "triggers": [{
      "event_type": "schedule:recurring",
      "conditions": {"any": [{"all": [{
        "field": "rrule",
        "operator": "recurrence",
        "value": "FREQ=DAILY;BYHOUR=2;BYMINUTE=0"
      }]}]}
    }],
    "actions": [{
      "type": "start_session",
      "prompt": "Run the nightly E2E test suite against staging. Follow @playbook:your-playbook-id exactly."
    }],
    "tools": {
      "linear_enabled": true,
      "slack_channels": [{"team_id": "T0123456789", "channel_id": "C0123456789"}]
    }
  }'

Die Antwort enthält eine automation_id, die Sie später zur Verwaltung dieser Automatisierung verwenden. Speichern Sie sie:

export AUTOMATION_ID="a1b2c3d4e5f6789012345678"  # automation_id aus der Antwort

Die Bedingung rrule erwartet eine iCalendar-RRULE, die in UTC ausgewertet wird. Einige nützliche Alternativen:

Pattern	When it runs
`FREQ=DAILY;BYHOUR=2;BYMINUTE=0`	Jeden Tag um 2 Uhr morgens UTC
`FREQ=WEEKLY;BYDAY=MO,TU,WE,TH,FR;BYHOUR=2;BYMINUTE=0`	Nur an Wochentagen (Mo–Fr)
`FREQ=WEEKLY;BYDAY=MO;BYHOUR=6;BYMINUTE=0`	Jeden Montag um 6 Uhr morgens UTC

Warum 2 Uhr morgens? Sie möchten, dass Tests laufen, nachdem das letzte Deployment des Tages in der Staging-Umgebung stabil ist, aber früh genug, damit Fehler sichtbar sind, wenn Engineers mit der Arbeit beginnen. Passen Sie dies an die Zeitzone und Deployment-Frequenz Ihres Teams an.Siehe die Dokumentation zum Create-Automation-Endpunkt für alle verfügbaren Felder.

Überprüfen Sie den ersten Lauf und verfeinern Sie den Prompt

Nachdem die Automatisierung das erste Mal ausgelöst wurde, überprüfe die Session, um sicherzustellen, dass Devin die Tests korrekt ausgeführt hat und die Ausgabe deinen Erwartungen entspricht.

Öffne die Automatisierung auf der Automations-Seite und folge dem Session-Link auf dem Tab Activity
Wurde die Playwright-Suite ausgeführt? Wurden Linear-Tickets für tatsächliche Fehler (nicht für flaky Tests) erstellt?
Überprüfe den #qa-results Slack-Channel auf die Zusammenfassungsnachricht

Häufige Probleme beim ersten Durchlauf und wie du sie behebst:

Devin kann nicht auf Staging zugreifen: Füge deine Staging-Umgebungsvariablen (wie STAGING_API_KEY oder DATABASE_URL) als organization secrets hinzu, damit sie in jeder Session verfügbar sind, die die Automatisierung startet
Zu viele Tickets durch flaky Tests: Füge deinem Playbook einen Retry hinzu: “Führe jeden fehlgeschlagenen Test einmal erneut aus, bevor du ein Ticket erstellst. Erstelle nur Tickets für Tests, die zweimal fehlschlagen.”
Tests dauern zu lange: Schränke den Umfang der Suite ein – z. B. “Führe nur Tests in tests/critical/ und tests/smoke/ aus” – oder erhöhe das Session-Timeout

Automatisierungen als Code verwalten

Sobald Ihr nächtlicher Durchlauf stabil ist, sollten Sie ihn gemeinsam mit Ihren anderen Automatisierungen verwalten — ihn während Deployment-Freezes pausieren, den Prompt aktualisieren, wenn sich Ihre Testsuite ändert, oder eine zweite Automatisierung für eine andere Umgebung einrichten.Pausieren Sie die Automatisierung während eines Deployment-Freezes oder Wartungsfensters:

curl -X PATCH "https://api.devin.ai/v3/organizations/$ORG_ID/automations/$AUTOMATION_ID" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"enabled": false}'

Aktivieren Sie ihn wieder, sobald der Freeze endet:

curl -X PATCH "https://api.devin.ai/v3/organizations/$ORG_ID/automations/$AUTOMATION_ID" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"enabled": true}'

Alle Automatisierungen auflisten, um zu prüfen, was aktuell läuft:

curl "https://api.devin.ai/v3/organizations/$ORG_ID/automations" \
  -H "Authorization: Bearer $DEVIN_API_KEY"

Für Teams, die mehrere Automatisierungen verwalten müssen, können Devin bitten, ein CLI-Tool zu erstellen, das Automatisierungsdefinitionen aus einer YAML-Konfigurationsdatei synchronisiert — sodass Sie Ihre Automatisierungen zusammen mit Ihrer Testkonfiguration unter Versionskontrolle stellen können:

Devin Desktop

Agent Command Center

Releases

Windsurf Plugins

Accounts

Security