Che cos’è Session Insights?
Session Insights è una funzionalità di analisi che ti aiuta a capire cosa è successo nelle tue sessioni con Devin e fornisce indicazioni operative concrete per migliorarle. Dopo che Devin ha completato un’attività, Session Insights analizza la sessione per identificare schemi, problemi e opportunità per una collaborazione più efficace.
Session Insights è disponibile, senza costi aggiuntivi, per tutte le sessioni di Devin completate.
Come accedere a Session Insights
Passaggio 1: Completa una sessione
Avvia una sessione di Devin e lasciala arrivare al termine. Session Insights funziona al meglio con sessioni che hanno esiti chiari, indipendentemente dal fatto che siano state completate con successo o meno. Le sessioni troppo brevi (meno di un messaggio di Devin) non genereranno alcun insight.
Passaggio 2: Apri la finestra modale Session Insights
Al termine della sessione, cerca il pulsante Session Insights nella barra superiore della sessione.
Passaggio 3: Genera o visualizza l’analisi
Fai clic sul pulsante per aprire la finestra modale Session Insights. Se non è ancora stata generata un’analisi, fai clic su Generate Analysis per avviare la generazione. La generazione richiede di solito circa un minuto. Se esiste già un’analisi, puoi fare clic su Regenerate per crearne una nuova.
Metriche di riepilogo della sessione
Nella parte superiore della finestra modale Session Insights, quattro metriche chiave offrono una rapida istantanea della sessione:
L’utilizzo di ACU (unità di calcolo AI) riflette la quantità di capacità di calcolo che Devin ha consumato durante la sessione. Un utilizzo di ACU inferiore per una determinata attività in genere indica una sessione più efficiente. Usa questa metrica per confrontare attività simili e identificare le sessioni in cui Devin potrebbe aver utilizzato una quantità eccessiva di capacità di calcolo in tentativi ripetuti o in vicoli ciechi.
Il numero totale di messaggi che hai inviato durante la sessione. Un numero elevato di messaggi può indicare che Devin ha avuto bisogno di frequenti correzioni di rotta, suggerendo che il prompt iniziale avrebbe potuto essere più dettagliato. Idealmente, fornisci subito tutto il contesto importante per ridurre al minimo gli scambi.
Dimensione della sessione
La dimensione della sessione è una classificazione composita (XS, S, M, L, XL) basata sia sull’utilizzo di ACU sia sul numero di messaggi dell’utente. Un utilizzo più elevato di ACU o un numero maggiore di messaggi dell’utente possono aumentare la dimensione della sessione. Le sessioni classificate come L o XL vengono contrassegnate come problematiche, il che significa che Devin probabilmente ha riscontrato problemi significativi oppure che l’ambito dell’attività era troppo ampio per una singola sessione. Valuta di suddividere le attività di ampia portata in sessioni più piccole e mirate.
Per mantenere le sessioni contenute ed efficienti, fornisci tutte le informazioni importanti subito nel prompt iniziale.
Devin classifica automaticamente le sessioni in categorie di attività:
- Feature Development — sviluppo di nuove funzionalità
- Bug Fixing — diagnosi e risoluzione di bug
- Code Review & Analysis — revisione o analisi del codice esistente
- Refactoring & Optimization — miglioramento della struttura o delle prestazioni del codice
- Test Generation — creazione di unit test o suite di test
- Migrations & Upgrades — aggiornamento delle dipendenze o migrazione di sistemi
- CI/CD & DevOps — gestione di pipeline, deployment o infrastruttura
- Code Quality & Security — gestione di problemi di linting, sicurezza o qualità
- Data & Automation — elaborazione dei dati o script di automazione
Questa classificazione ti aiuta a capire come Devin ha interpretato la tua attività e può evidenziare eventuali disallineamenti tra ciò che intendevi e ciò su cui Devin ha lavorato.
La finestra modale Session Insights contiene tre schede, ognuna incentrata su un diverso aspetto dell’analisi.
La scheda Cronologia dei problemi contiene due sezioni:
Problemi rilevati elenca i problemi che Devin ha incontrato durante la sessione. Ogni problema include:
- Un’etichetta che descrive la categoria del problema
- Una valutazione dell’impatto (alto, medio o basso)
- Una descrizione che spiega cosa è andato storto
I problemi sono raggruppati per etichetta e livello di impatto, semplificando l’individuazione di schemi ricorrenti. Tra le tipologie di problemi più comuni ci sono errori di build, problemi di configurazione dell’ambiente, assunzioni errate sulla codebase e ambiguità dell’ambito.
Timeline fornisce una vista cronologica, codificata a colori, degli eventi chiave durante la sessione:
| Color | Meaning |
|---|
| Red | Problema ad alto impatto |
| Yellow | Problema a impatto medio |
| White/Gray | Evento significativo |
| Green | Valore fornito |
Ogni evento nella timeline ha un titolo e una descrizione. Gli eventi collegati a problemi specifici sono visualizzati in grassetto. Usa la timeline per comprendere il flusso della sessione — dove Devin ha fatto progressi, dove ha incontrato ostacoli e come si è ripreso.
La scheda Feedback operativo ti aiuta a migliorare le sessioni future in due modi:
Prompt migliorato mostra una versione riscritta del tuo prompt originale con miglioramenti mirati. Il prompt suggerito viene visualizzato con evidenziazione interattiva: passa il puntatore del mouse su una sezione sottolineata per vedere cosa è cambiato e perché. Un elenco numerato di Modifiche apportate sotto il prompt spiega ogni modifica:
- Aggiungere contesto o vincoli che mancavano rispetto all’originale
- Chiarire istruzioni ambigue
- Includere criteri di successo o requisiti specifici
- Portare in primo piano informazioni importanti di cui Devin aveva bisogno prima
Fai clic su Start new session per avviare una nuova sessione di Devin precompilata con il prompt migliorato.
Azioni da intraprendere elenca le modifiche di configurazione consigliate per migliorare le sessioni future. Si tratta di passaggi concreti che puoi eseguire nella tua machine configuration o nella configurazione di Knowledge:
- Machine setup — modifiche all’ambiente o agli strumenti (ad esempio installazione di dipendenze mancanti, configurazione degli accessi)
- Repo config — modifiche a livello di repository (ad esempio aggiunta di script di build, aggiornamento dei file di configurazione)
Fai clic su Go to machine per passare direttamente alla configurazione della tua macchina e applicare le modifiche suggerite.
La scheda Knowledge Usage mostra come i tuoi elementi di Knowledge sono stati utilizzati durante la sessione:
Knowledge utile elenca gli elementi di Knowledge che hanno aiutato Devin a completare correttamente l’attività, con una spiegazione di come è stato applicato ciascun elemento.
Knowledge fuorviante elenca gli elementi di Knowledge che hanno sviato Devin o che contenevano informazioni obsolete o errate. Ogni voce spiega perché l’elemento di Knowledge è stato dannoso, aiutandoti a individuare quelli che richiedono un aggiornamento o la rimozione.
Fai clic su qualsiasi elemento di Knowledge per accedervi direttamente e modificarlo. La revisione regolare di questa scheda ti aiuta a mantenere una base di conoscenza di alta qualità.
Interpretazione degli schemi di Insight più comuni
Utilizzo elevato di ACU con pochi messaggi utente
Di solito questo significa che Devin ha lavorato in modo autonomo ma ha avuto difficoltà con l’attività. Controlla la Issue Timeline per errori ricorrenti o tentativi ripetuti. Cause comuni:
- Configurazione dell’ambiente incompleta (dipendenze, API key, credenziali di accesso)
- Requisiti ambigui che hanno portato ad approcci per tentativi ed errori
- Attività complesse che trarrebbero vantaggio dall’essere suddivise in sotto-attività
Cosa fare: Esamina l’Improved Prompt per suggerimenti su come aggiungere contesto. Controlla gli Action Items per modifiche alla configurazione della macchina o del repo.
Molti messaggi utente con basso consumo di ACU
Questo suggerisce frequenti interruzioni o correzioni di rotta. Devin ha usato poche risorse di calcolo ma ha avuto bisogno di una guida costante. Cause comuni:
- Prompt iniziale poco dettagliato
- Devin ha frainteso l’ambito o i requisiti dell’attività
- L’attività richiedeva conoscenze specifiche di dominio non disponibili a Devin
Cosa fare: Usa il Prompt migliorato come modello per attività simili future. Aggiungi i dettagli rilevanti al tuo Knowledge in modo che Devin possa accedervi automaticamente.
Knowledge fuorviante contrassegnata
Quando la scheda Knowledge Usage mostra elementi di Knowledge fuorvianti, questi elementi possono contenere istruzioni obsolete o indicazioni troppo generiche che vanno in conflitto con l’attuale codebase. Cause comuni:
- Knowledge è stata scritta per una versione precedente della tua codebase
- Knowledge è troppo generica e viene recuperata in contesti irrilevanti
- Knowledge è in conflitto con altri elementi di Knowledge
Cosa fare: Aggiorna o elimina gli elementi di Knowledge contrassegnati. Rendi le descrizioni dei trigger di Knowledge più specifiche per evitare recuperi irrilevanti.
Sessione classificata nella categoria sbagliata
Se la categoria mostrata nel riepilogo non corrisponde a ciò che intendevi, probabilmente significa che Devin ha interpretato la tua richiesta in modo diverso. Cause comuni:
- Il prompt era ambiguo rispetto all’obiettivo
- La descrizione dell’attività era focalizzata su un aspetto, ma l’intento era diverso (ad es. descrivere un bug quando volevi una feature)
Cosa fare: Confronta la categoria con il tuo intento. Usa l’Improved Prompt per vedere come l’analisi suggerisce di chiarire l’obiettivo dell’attività.
La timeline mostra problemi ripetuti
Quando lo stesso tipo di problema compare più volte nella timeline, è probabile che Devin sia rimasto bloccato in un ciclo di tentativi. Cause comuni:
- Un errore di build o di test persistente che Devin non è riuscito a risolvere
- Un problema dell’ambiente (strumento mancante, versione errata, errore di permessi)
- Una comprensione fondamentale errata dell’approccio necessario
Cosa fare: Controlla gli Action Items per eventuali correzioni dell’ambiente. Valuta di aggiungere un elemento di Knowledge che spieghi l’approccio corretto per questo tipo di attività.
Rivedi gli Insights dopo le sessioni complesse
Abituati a controllare gli Insights di sessione dopo le sessioni importanti o complesse. Gli schemi che identificherai ti aiuteranno a diventare più efficace nel tempo.
Applica i Miglioramenti ai Prompt in Modo Iterativo
Usa i prompt migliorati suggeriti come punto di partenza per attività future simili. Con il tempo svilupperai una libreria di schemi di prompt efficaci. Salva i tuoi prompt migliori come Playbooks per flussi di lavoro ripetibili.
Mantieni aggiornata la tua base di Knowledge
Rivedi regolarmente la scheda Knowledge Usage per mantenere accurati e pertinenti gli elementi in Knowledge. Rimuovi o aggiorna tempestivamente qualsiasi informazione fuorviante in Knowledge: anche un singolo elemento obsoleto può compromettere la qualità delle sessioni per tutto il tuo team.
Risolvi i problemi ricorrenti tramite la configurazione della macchina
Se gli Action Items suggeriscono ripetutamente le stesse modifiche all’ambiente o alla configurazione, affrontale in modo proattivo. Configurare correttamente la configurazione della macchina evita problemi ripetuti in tutte le sessioni future.
Condividi gli insight con il tuo team
Session Insights può rivelare schemi che portano vantaggi all’intera organizzazione. Aggiungi le informazioni principali come Knowledge così che i tuoi colleghi possano beneficiarne.
Mantieni le sessioni mirate
Se le tue sessioni vengono costantemente classificate come L o XL, suddividi le attività più grandi in sessioni più piccole e mirate. Le sessioni più piccole tendono a produrre risultati migliori e facilitano l’analisi e l’iterazione.
Nessun Insight disponibile
Se Session Insights non è disponibile per una sessione, potrebbe essere dovuto a:
- La sessione è ancora in corso
- La sessione è stata troppo breve per generare un’analisi significativa (meno di un messaggio di Devin)
- Si è verificato un errore durante il processo di analisi — prova a fare clic su Regenerate
L’analisi richiede troppo tempo
La generazione dell’analisi di solito si completa entro un minuto. Se è in corso da più di cinque minuti, il processo potrebbe essere andato in timeout. Chiudi e riapri la finestra modale Session Insights, quindi fai clic su Regenerate.
Nei piani Team ed Enterprise, gli utenti con le autorizzazioni appropriate vedranno un pulsante Analizza con Devin nella finestra modale Session Insights. Facendo clic su questo pulsante si apre una nuova sessione di Devin in modalità avanzata, preconfigurata per analizzare in profondità la sessione originale. Utilizzala per le sessioni in cui la sola analisi automatica non spiega completamente cosa è successo.