Skip to main content
Devin kann deine Anwendung end-to-end testen, nachdem Devin einen PR erstellt hat – führt die App lokal aus, interagiert im Browser damit und zeichnet ein Video des gesamten Vorgangs auf. Die Aufzeichnung wird dir direkt als Anhang zugeschickt, sodass du überprüfen kannst, ob die Änderungen funktionieren, ohne den Branch selbst auszuchecken.

​
Funktionsweise

Nachdem Devin einen PR (Pull Request) erstellt hat, kann es in den Testmodus wechseln – einen strukturierten Workflow, in dem Devin:
  1. Die Umgebung einrichtet – Abhängigkeiten installiert, Dienste startet, sich bei erforderlichen Konten anmeldet
  2. Den Test plant – den Diff und die Codebasis liest, um einen minimalen, fokussierten Testplan zu erstellen
  3. Ein Video aufnimmt – eine Bildschirmaufzeichnung startet, den Testplan auf dem Desktop ausführt und Schlüsselmomente kommentiert
  4. Dir das Ergebnis sendet – die Aufzeichnung beendet, das Video verarbeitet und es dir als Nachrichtenanhang zusendet
Das Ziel ist eine kurze Aufzeichnung, die sich ein Code-Reviewer ansieht und sofort denkt „ja, das funktioniert“ – und den PR anschließend zusammenführt.

​
Einen Test starten

Nachdem du einen PR erstellt hast, bietet dir Devin an, die App für dich zu testen. Klicke auf Test the app, damit Devin den Test-Workflow startet.
Test the app button
Damit Devin Tests nach dem Erstellen eines PRs ausführt, ohne dass du auf die Schaltfläche klicken musst, aktiviere Pre-approve testing unter Settings > Preferences. Devin testet die App dann, ohne vorher um Zustimmung zu bitten.
Du kannst Devin auch jederzeit während einer Session bitten zu testen – zum Beispiel: “test the changes you just made and send me a recording” oder “verify the login page works and send me a video.”

​
Der Test-Workflow

Wenn Devin in den Testmodus wechselt, durchläuft es einen strukturierten Prozess mit drei Phasen:

​
Phase 1: Setup

Bevor Tests beginnen, bereitet Devin die Umgebung vor:
  • Liest den PR und die Codebasis, um zu verstehen, was getestet werden muss
  • Prüft, ob relevante Skills vorhanden sind im Repo (unter .agents/skills/) und nutzt sie, falls vorhanden
  • Meldet sich bei benötigten Diensten an und behebt Zugriffsprobleme
  • Prüft verfügbare Umgebungen (Staging, Dev, lokal) und überprüft die Konnektivität
  • Fordert fehlende Secrets bei dir an, falls nötig — Devin fragt im Voraus nach Zugangsdaten und speichert sie für zukünftige Sitzungen
Wenn du die Umgebungskonfiguration im Voraus abschließt, werden Tests deutlich schneller — Devin kann das Installieren von Abhängigkeiten, das Konfigurieren von Services und das Anmelden zu Beginn jeder Sitzung überspringen.
Wenn Devin während des Testens nach Zugangsdaten fragt, speichert es diese als Secrets für zukünftige Sitzungen, sodass du sie nur einmal angeben musst.

​
Phase 2: Testplanung

Sobald das Setup abgeschlossen ist, schreibt Devin einen kurzen Testplan:
  • Identifiziert den wichtigsten End-to-End-Flow, der zeigt, dass das Feature funktioniert
  • Schreibt konkrete, eindeutige Schritte (z. B. „Klicke oben rechts auf die Schaltfläche mit der Beschriftung ‘Save’“ — nicht „Suche nach der Speicheroption“)
  • Verankert den Plan im tatsächlichen Code — verfolgt den Frontend-Code, um den genauen Pfad in der Benutzeroberfläche zum Feature zu finden
  • Fügt zusätzliche Testflows nur hinzu, wenn es einen wirklich kritischen Edge Case (Randfall) gibt
Devin schickt dir den Plan als kurze Nachricht, bevor er ihn ausführt, damit du bei Bedarf korrigierend eingreifen kannst.

​
Phase 3: Aufzeichnung und Ausführung

Nachdem CI grün ist und alle Reviewkommentare bearbeitet wurden, führt Devin den Test aus:
  1. Startet die Aufzeichnung — erfasst den gesamten Bildschirm
  2. Annotiert Schlüsselmomente — fügt an wichtigen Stellen Textbeschriftungen hinzu (z. B. „Login-Flow testen“, „Feature als funktionsfähig bestätigt“), die im finalen Video angezeigt werden
  3. Führt den Testplan aus — interagiert über den Browser mit der App und folgt dabei jedem Schritt
  4. Beendet die Aufzeichnung — das Video wird automatisch mit Anmerkungen und Geschwindigkeitsanpassungen rund um Schlüsselmomente verarbeitet
  5. Sendet das Video — hängt die Aufzeichnung an eine Nachricht an, damit du es direkt ansehen kannst

​
Details zur Videoaufzeichnung

Devin Bildschirmaufnahmen haben mehrere Merkmale, die sie für Reviews nützlich machen:
  • Anmerkungen — Textbeschriftungen erscheinen an wichtigen Momenten im Video und markieren, was Devin testet. Das Video wird um diese markierten Stellen herum verlangsamt, damit du die Details erkennen kannst.
  • Auto-Zoom — Das Video zoomt automatisch in den Bereich, in dem Devin klickt und interagiert, folgt dem Cursor mit sanften Kamerafahrten und zoomt in Leerlaufphasen wieder heraus.
  • Automatische Verarbeitung — Rohaufnahmen werden verarbeitet, um wichtige Aktionen hervorzuheben und Leerlaufzeiten zu komprimieren.
  • Als Anhänge gesendet — Videos werden an Nachrichten in deiner Sitzung angehängt und sind direkt in der Devin-Web-App oder in Slack sichtbar.
Aufnahmen sind so konzipiert, dass sie kurz und fokussiert sind — ein schneller Sanity-Check mit einem zentralen End-to-End-Flow, der nachweist, dass das Feature funktioniert. Wenn du eine umfassendere Testabdeckung benötigst, verwende deine bestehenden Test-Suites und CI anstelle visueller Aufzeichnungen.

​
Skill-Empfehlungen

Nachdem Ihre App getestet wurde, protokolliert Devin, was es ausprobiert hat und was funktioniert hat – Einrichtungsschritte, Umgebungskonfiguration, wie die App gestartet wird – und schlägt vor, per PR ein Skill zu erstellen oder zu aktualisieren. Sie können den PR unverändert mergen oder ihn anpassen, um die Anweisungen zu verfeinern. Mit der Zeit wird Devin dadurch immer besser im Testen Ihres Projekts – die Erkenntnisse aus jeder Sitzung bauen auf den vorherigen auf. Sie können Devin außerdem jederzeit dazu auffordern (z. B. „Create a skill for how to test this app.“). Ausführliche Informationen zum Erstellen und Verwalten von Skills finden Sie im Skills-Leitfaden. Hier ist ein Beispiel für einen Test-Skill:
Beim Schreiben oder Verfeinern von Skills geben Sie konkret an, was überprüft werden soll:

Gute Anweisungen

  • “Teste den Checkout-Prozess: Lege einen Artikel in den Warenkorb, gehe zur Kasse, fülle das Formular aus und überprüfe, ob die Bestellbestätigungsseite den korrekten Gesamtbetrag anzeigt”
  • “Überprüfe, ob der Dark-Mode-Schalter auf der Einstellungsseite funktioniert – der Text sollte lesbar sein und keine Elemente sollten verschwinden”
  • “Teste, ob der CSV-Export eine Datei mit den richtigen Spaltenüberschriften herunterlädt”

Vage Anweisungen

  • “Teste alles”
  • “Stelle sicher, dass die App funktioniert”
  • “Überprüfe, dass nichts kaputt ist”

​
Fehlerbehebung

​
Devin hat keinen Test angeboten

Der Testmodus ist in Sessions verfügbar, in denen Devin einen PR mit Codeänderungen erstellt. Wenn Devin ihn nicht angeboten hat, kannst du immer direkt fragen: „Kannst du diese Änderungen testen und ein Video aufzeichnen?“

​
Aufzeichnung fehlgeschlagen

Wenn die Aufzeichnung nicht verarbeitet werden kann, teilt dir Devin das mit. Häufige Ursachen sind App-Abstürze während des Testens oder ein Timeout bei der Videobearbeitung. Devin kann es erneut versuchen – sag einfach „Try recording again“. Aufzeichnungsdateien werden auf der Devin-Maschine gespeichert, und Devin kann sie dir jederzeit zuschicken, wenn du darum bittest.

​
Devin kann nicht auf die App zugreifen

Wenn Devin während des Testens nicht auf Ihre App zugreifen kann (z. B. wegen Login-Walls oder VPN-Anforderungen), fordert Devin Sie zur Unterstützung auf. Stellen Sie Zugangsdaten über secrets bereit, verwenden Sie den Interactive Browser, um Authentifizierungsschritte manuell durchzuführen, oder schließen Sie die Umgebungskonfiguration ab, um den Zugriff vorzukonfigurieren, sodass diese Probleme gar nicht erst auftreten.