O que é o Session Insights?
Session Insights é um recurso de análise que ajuda você a entender o que aconteceu nas suas sessões com o Devin e fornece recomendações práticas para melhorias. Quando você aciona uma análise, o Session Insights examina a sessão para identificar padrões, problemas e oportunidades de melhorar a colaboração. Session Insights está disponível para todas as sessões concluídas do Devin sem custo adicional. Quando uma sessão termina, o Devin gera automaticamente uma classificação leve (categoria, linguagens e ferramentas). Para sessões grandes (L ou XL), uma análise completa também é gerada automaticamente no encerramento. Para sessões menores, você pode acionar uma análise completa manualmente pela UI ou pela API.Como acessar o Session Insights
Etapa 1: Concluir uma sessão
Inicie uma sessão com o Devin e deixe-a ser concluída. O Session Insights funciona melhor com sessões que têm resultados claros, sejam eles bem-sucedidos ou não. Sessões muito curtas (com menos de uma mensagem do Devin) não gerarão insights.Etapa 2: Abrir o modal de Insights
Quando a sessão for concluída, abra o menu da sessão (o botão ⋯ na extremidade direita da barra superior da sessão) e selecione Session insights.Em organizações enterprise, a barra superior da sessão também exibe um chip com o tamanho da sessão ao lado do título. Clicar nele abre o mesmo modal Session Insights.
Etapa 3: Gerar ou visualizar a análise
No modal Session Insights, se nenhuma análise tiver sido gerada ainda, clique em Generate Analysis para iniciar uma. A geração normalmente leva cerca de um minuto. Se uma análise já existir, você pode clicar em Regenerate para criar uma nova análise.
Métricas de Visão Geral da Sessão
Na parte superior do modal Session Insights, quatro métricas principais oferecem uma visão rápida da sessão:
Uso de ACU
O uso de ACU (Agent Compute Unit) reflete quanto poder computacional o Devin consumiu durante a sessão. Um consumo de ACU menor para uma determinada tarefa geralmente indica uma sessão mais eficiente. Use essa métrica para comparar tarefas semelhantes e identificar sessões em que o Devin possa ter gasto poder computacional excessivo em tentativas repetidas ou caminhos sem saída.Mensagens do usuário
O número total de mensagens que você enviou durante a sessão. Um número alto de mensagens pode indicar que o Devin precisou de ajustes frequentes, sugerindo que o prompt inicial poderia ser mais detalhado. Idealmente, forneça todo o contexto importante desde o início para minimizar idas e vindas.Tamanho da sessão
O tamanho da sessão é uma classificação (XS, S, M, L, XL) baseada no uso que a sessão consome, medido em ACUs. O número de mensagens do usuário não afeta o tamanho da sessão. Os limites para cada categoria de tamanho são:Para clientes Enterprise, os limites de ACU são multiplicados por um fator de 10 (por exemplo, XS ≤ 20 ACUs, S ≤ 50, M ≤ 100, L ≤ 200, XL > 200). Em planos baseados em cota, o tamanho das sessões é definido pelo custo de excedente, convertido em ACUs à taxa de US$ 2 por ACU.
Categoria
O Devin classifica automaticamente as sessões em categorias de tarefa com base no trabalho realizado. A classificação também inclui metadados, como as ferramentas e os frameworks usados e as linguagens de programação envolvidas. As categorias de tarefa disponíveis são:- Desenvolvimento de Recursos — criação de novos recursos, componentes, serviços ou implementação de novas funcionalidades
- Correção de Bugs — investigação e resolução de bugs, erros ou comportamentos inesperados
- Revisão de Código — revisão, explicação ou análise de código e arquitetura existentes
- Refatoração e Otimização — melhoria da estrutura, do desempenho ou da legibilidade do código sem alterar seu comportamento
- Geração de Testes — escrita, correção ou melhoria de testes (unitários, de integração, e2e, QA) e da infraestrutura de testes
- Migrações e Upgrades — atualização de dependências, migração entre frameworks ou versões
- CI/CD e DevOps — trabalho em pipelines de CI/CD, deployment, monitoramento, alertas e tarefas de infraestrutura
- Segurança — correção de vulnerabilidades de segurança, tratamento de CVEs e melhoria da postura de segurança
- Dados e Automação — análise de dados, pipelines, scripts, dashboards e tarefas de automação
- Documentação e Conteúdo — escrita ou atualização de documentação, READMEs, changelogs, documentação de API e traduções
- Pesquisa e Exploração — avaliação de viabilidade, pesquisa de soluções, definição de arquitetura, escrita de RFCs e prototipagem
Abas de análise
O modal Session Insights contém três abas, cada uma voltada a um aspecto diferente da análise.Linha do tempo de issues
- Um rótulo descrevendo a categoria da issue
- Uma classificação de impacto (alto, médio ou baixo)
- Uma descrição explicando o que deu errado
Cada evento na linha do tempo tem um título e uma descrição. Eventos vinculados a issues específicas aparecem em negrito. Use a linha do tempo para entender o fluxo da sessão — onde Devin fez progresso, onde encontrou obstáculos e como se recuperou.
Feedback acionável
- Adicionar contexto ou restrições que estavam ausentes do original
- Esclarecer instruções ambíguas
- Incluir critérios de sucesso ou requisitos específicos
- Antecipar informações importantes de que o Devin precisava mais cedo
- Configuração da Máquina — alterações de ambiente ou ferramentas (por exemplo, instalar dependências ausentes, configurar acesso)
- Repo config — alterações em nível de repositório (por exemplo, adicionar scripts de build, atualizar arquivos de configuração)
Uso do Knowledge
Como interpretar padrões comuns de insights
Alto uso de ACU com poucas mensagens de usuário
Isso geralmente significa que o Devin trabalhou de forma autônoma, mas teve dificuldades com a tarefa. Verifique o Issue Timeline em busca de erros recorrentes ou novas tentativas. Causas comuns:- Configuração de ambiente ausente (dependências, chaves de API, credenciais de acesso)
- Requisitos ambíguos que levaram a abordagens de tentativa e erro
- Tarefas complexas que se beneficiariam de serem divididas em subtarefas
Muitas mensagens do usuário com baixo uso de ACU
Isso sugere interrupções frequentes ou correções de rota. Devin consumiu pouca computação, mas precisou de orientação constante. Causas comuns:- Prompt inicial mal definido
- Devin interpretou incorretamente o escopo ou os requisitos da tarefa
- A tarefa exigia conhecimento específico de domínio não disponível para Devin
Knowledge Enganoso Sinalizado
Quando a aba Knowledge Usage mostra itens de Knowledge enganosos, esses itens podem conter instruções desatualizadas ou orientações genéricas demais que entram em conflito com sua base de código atual. Causas comuns:- Knowledge foi escrito para uma versão anterior da sua base de código
- Knowledge é genérico demais e é recuperado em contextos irrelevantes
- Knowledge entra em conflito com outros itens de Knowledge
Sessão classificada na categoria errada
Se a categoria exibida na visão geral não corresponder ao que você tinha em mente, provavelmente significa que o Devin interpretou sua solicitação de forma diferente. Causas comuns:- O prompt estava ambíguo em relação ao objetivo
- A descrição da tarefa focava em um aspecto, mas a intenção era outra (por exemplo, descrever um bug quando você queria uma funcionalidade)
Linha do tempo mostra problemas repetidos
Quando o mesmo tipo de problema aparece várias vezes na linha do tempo, é provável que o Devin tenha ficado preso em um loop de tentativas. Causas comuns:- Uma falha persistente de build ou teste que o Devin não conseguiu resolver
- Um problema de ambiente (ferramenta ausente, versão incorreta, erro de permissão)
- Um equívoco fundamental quanto à abordagem necessária
Melhores práticas
Revise os Insights após sessões complexas
Crie o hábito de revisar o Session Insights após sessões importantes ou complexas. Os padrões que você identificar vão ajudá-lo a se tornar mais eficiente ao longo do tempo.Aplique melhorias nos prompts de forma iterativa
Use os prompts aprimorados sugeridos como ponto de partida para tarefas semelhantes no futuro. Com o tempo, você desenvolverá uma biblioteca de padrões de prompts eficazes. Salve seus melhores prompts como Playbooks para fluxos de trabalho repetíveis.Mantenha sua base de conhecimento
Revise regularmente a guia Knowledge Usage para manter seus itens de Knowledge precisos e relevantes. Remova ou atualize rapidamente itens de Knowledge enganosos — um único item de Knowledge desatualizado pode comprometer a qualidade das sessões para toda a sua equipe.Resolva Problemas Recorrentes por Meio da Configuração da Máquina
Se os Itens de Ação estiverem sempre recomendando as mesmas alterações de ambiente ou configuração, resolva-as de forma proativa. Configurar corretamente a configuração do seu ambiente evita que os mesmos problemas se repitam em todas as sessões futuras.Compartilhe insights com sua equipe
Session Insights pode revelar padrões que beneficiam toda a sua organização. Adicione aprendizados importantes como Skills para que sua equipe também possa se beneficiar.Mantenha as sessões focadas
Se suas sessões forem constantemente classificadas como L ou XL, divida tarefas grandes em sessões menores e mais focadas. Sessões menores tendem a produzir resultados melhores e são mais fáceis de analisar e iterar sobre elas.Solução de problemas
Nenhum Insight Disponível
Se o Session Insights não estiver disponível para uma sessão, isso pode ser porque:- A análise ainda não foi acionada — clique em Generate Analysis no modal Session Insights ou use o endpoint da API para generate
- A sessão ainda está em andamento
- A sessão foi curta demais para gerar uma análise significativa (menos de uma mensagem do Devin)
- Ocorreu um erro durante o processo de análise — tente clicar em Regenerate