In che modo Devin esegue test end-to-end sulle tue modifiche e ti invia registrazioni video come prova
Devin può testare la tua applicazione end-to-end dopo aver creato una PR — eseguendo l’applicazione in locale, interagendo con essa tramite il browser e registrando un video dell’intero processo. La registrazione ti viene inviata direttamente come allegato, così puoi verificare che le modifiche funzionino senza dover effettuare il pull del branch.
Dopo aver creato una PR, Devin ti proporrà di testare l’app per te. Vedrai un messaggio come:
“Posso eseguire questo test end-to-end e registrare un video. Vuoi che mi registri mentre eseguo i test?”
Fai clic su Test the app per avviare con Devin il flusso di test.
Un’impostazione per eseguire automaticamente i test dopo la creazione di una PR — senza dover fare clic sul pulsante — sarà presto disponibile.
Puoi anche chiedere a Devin di eseguire i test in qualsiasi momento durante una sessione — ad esempio, “testa le modifiche che hai appena fatto e mandami una registrazione” oppure “verifica che la pagina di login funzioni e mandami un video”.
Prima di avviare qualsiasi test, Devin prepara l’ambiente:
Legge la PR e la codebase per capire cosa deve essere testato
Controlla le skill rilevanti nella repo (in .agents/skills/) e le segue se presenti
Accede ai servizi necessari e risolve eventuali problemi di accesso
Controlla gli ambienti disponibili (staging, dev, locale) e verifica la connettività
Richiede i segreti mancanti a te, se necessario — Devin chiederà le credenziali in anticipo e le salverà per le sessioni future
Completare in anticipo il Repo Setup rende l’esecuzione dei test molto più rapida — Devin può evitare di installare dipendenze, configurare servizi ed effettuare il login all’inizio di ogni sessione.
Quando Devin chiede credenziali durante l’esecuzione dei test, le salva come secrets per le sessioni future, così devi fornirle solo una volta.
Dopo che la CI è verde e tutti i commenti della revisione sono stati gestiti, Devin esegue il test:
Avvia la registrazione — cattura l’intero schermo
Annota i momenti chiave — aggiunge etichette di testo nei punti importanti (ad es. “Verifica del flusso di login”, “Funzionalità verificata”) che compaiono nel video finale
Esegue il piano di test — interagisce con l’app tramite il browser, seguendo ogni passaggio
Interrompe la registrazione — il video viene elaborato automaticamente con annotazioni e regolazioni della velocità intorno ai momenti chiave
Invia il video — allega la registrazione a un messaggio in modo che tu possa riprodurlo direttamente
Le registrazioni dello schermo di Devin includono diverse funzionalità che le rendono utili per la revisione:
Annotazioni — Etichette di testo compaiono in momenti chiave del video, indicando cosa sta testando Devin. Il video rallenta intorno ai punti annotati, in modo che tu possa vedere i dettagli.
Zoom automatico — Il video esegue automaticamente lo zoom nell’area in cui Devin fa clic o interagisce, effettuando uno spostamento fluido per seguire il cursore e tornando gradualmente alla visuale completa nei momenti di inattività.
Elaborazione automatica — Le registrazioni grezze vengono elaborate per mettere in evidenza le azioni importanti e comprimere il tempo di inattività.
Inviate come allegati — I video sono allegati ai messaggi nella tua sessione, visualizzabili direttamente nella web app di Devin o in Slack.
Le registrazioni sono progettate per essere brevi e mirate — un rapido controllo di base con un unico flusso principale end-to-end che dimostra che la funzionalità funziona. Se hai bisogno di una copertura più esaustiva, utilizza le tue suite di test e la tua CI esistenti invece delle registrazioni visive.
Dopo aver testato la tua app, Devin annota ciò che ha provato e ciò che ha funzionato — passaggi di setup, configurazione dell’ambiente, come avviare l’app — e propone di creare o aggiornare una Skill tramite PR. Puoi fare il merge della PR così com’è oppure modificarla per perfezionare le istruzioni. Nel tempo, questo significa che Devin diventa più efficace nel testare il tuo progetto — gli apprendimenti di ogni sessione si sommano a quelli delle precedenti.Puoi anche chiedere a Devin di eseguire questa operazione in qualsiasi momento (ad es. “crea una skill su come testare questa app”). Consulta la guida alle Skill per tutti i dettagli sulla creazione e la gestione delle Skill.Ecco un esempio di skill di testing:
Copia
Chiedi all'IA
---name: test-before-prdescription: Run the local dev server and verify pages before opening any PR that touches frontend code.---## Setup1. Install dependencies: `npm install`2. Start the database: `docker-compose up -d postgres`3. Run migrations: `npx prisma migrate dev`4. Start the dev server: `npm run dev`5. Wait for "Ready on http://localhost:3000"## Verify1. Read the git diff to identify which pages changed2. Open each affected page in the browser3. Check for: console errors, layout issues, broken links4. Screenshot each page at desktop (1280px) and mobile (375px) widths## Before Opening the PR1. Run `npm run lint` and fix any issues2. Run `npm test` and confirm all tests pass3. Include screenshots in the PR description
Quando crei o perfezioni le skill, sii specifico su cosa verificare:
Buone istruzioni
“Testa il flusso di checkout: aggiungi un articolo al carrello, vai al checkout, compila il modulo e verifica che la pagina di conferma dell’ordine mostri il totale corretto”
“Verifica che l’interruttore della modalità scura funzioni nella pagina delle impostazioni — il testo deve essere leggibile e nessun elemento deve scomparire”
“Verifica che l’esportazione CSV scarichi un file con le intestazioni corrette”
La modalità di test è disponibile nelle sessioni in cui Devin crea una pull request (PR) con modifiche al codice. Se Devin non lo ha fatto, puoi sempre chiedere direttamente: “Puoi testare queste modifiche e registrare un video?”
Se l’elaborazione della registrazione non riesce, Devin te lo comunicherà. Le cause più comuni includono l’arresto anomalo dell’app durante la fase di test o il timeout dell’elaborazione video. Devin può riprovare: ti basta dire “Prova a registrare di nuovo”. I file di registrazione sono archiviati sul computer di Devin e Devin può inviarteli in qualsiasi momento se lo chiedi.
Se Devin non riesce a raggiungere la tua app durante i test (ad esempio, a causa di pagine di login o requisiti VPN), ti chiederà il tuo intervento. Fornisci le credenziali usando i secrets, utilizza l’Interactive Browser per completare manualmente i passaggi di autenticazione oppure completa il Repo Setup per preconfigurare l’accesso, così che Devin non incontri questi problemi.