O que é Computer Use?
Computer Use concede ao Devin acesso direto a um ambiente de desktop gráfico com mouse e teclado. Isso vai além da simples automação de navegador — o Devin pode interagir com qualquer aplicativo que apareça na tela, incluindo:- Aplicativos web no Chrome (clicar em botões, preencher formulários, navegar entre páginas)
- Aplicativos desktop que rodam na plataforma da sessão (Linux, Windows ou macOS), incluindo apps Electron, IDEs e GUIs nativas da plataforma
- UIs baseadas em terminal (programas TUI, CLIs interativas)
- Qualquer interface visual que possa ser exibida no desktop
Plataformas compatíveis
A experiência do Computer Use é a mesma em todas as plataformas: Devin usa o mouse e o teclado, faz capturas de tela, usa o Chrome para apps da web e pode gravar suas sessões de teste. No Windows, Devin também pode testar aplicativos de desktop nativos do Windows (por exemplo, WPF, WinForms e outros apps que só funcionam no Windows); no macOS, pode testar apps do Mac e apps de iOS no Simulador. Para executar sessões em outra plataforma, configure um blueprint conforme descrito em suporte para Windows ou suporte para macOS. Para um exemplo de ponta a ponta, consulte Criar um app de iOS com Devin.
No macOS, Devin usa a tecla Command para atalhos de teclado (⌘C, ⌘V) em vez de Control.
Como ativar
O Computer Use é controlado pela opção Computer use nas configurações do Devin da sua organização.- Acesse Configurações > Devin
- Na seção Sessions, ative Computer use
- O Devin agora usará seu ambiente de desktop durante as sessões
O modo Desktop está disponível em todos os planos. Somente administradores da organização podem alterar essa configuração.
Quando o Computer Use é acionado
Depois que o modo Desktop é ativado, o Computer Use fica disponível em todas as sessões. Há três maneiras de ele ser usado:Após criar um PR
Quando Devin cria um PR, ele exibe o botão Test the app. Clicar nesse botão aciona o fluxo de testes completo — Devin inicia seu app, usa Computer Use para interagir com a área de trabalho, testa as alterações e envia uma gravação para você.
Sob demanda durante uma sessão
Você pode pedir para o Devin testar a qualquer momento durante uma sessão — não é necessária nenhuma sintaxe especial, basta usar linguagem natural. Por exemplo:- “Teste as alterações que você acabou de fazer e me envie uma gravação”
- “Abra o aplicativo no navegador e verifique se a página de login está funcionando”
- “Inicie o aplicativo para desktop e confira se o novo item de menu aparece”
De forma autônoma quando apropriado
Devin decide por conta própria quando a interação com a área de trabalho é a ferramenta certa para a tarefa. Se uma tarefa envolver clicar em elementos de UI, navegar em um aplicativo, preencher formulários ou verificar algo visualmente, Devin usará Computer Use sem que você precise solicitar isso explicitamente. Você não precisa dizer ao Devin como interagir com a tela — apenas o que deseja que ele faça.O que o Devin pode fazer usando o computador
Testar aplicações web de ponta a ponta
Devin pode iniciar seu app localmente, abri-lo no Chrome e percorrer fluxos de usuário completos — login, navegação, envio de formulários, checkout — verificando se tudo funciona conforme o esperado.Testar aplicativos desktop
Qualquer aplicativo executado na plataforma de sessão do Devin pode ser testado. Nas sessões Linux, isso inclui apps em Electron, aplicativos Java Swing/AWT, apps GTK/Qt e muito mais. Nas sessões Windows, Devin também pode testar aplicativos nativos do Windows, como apps WPF e WinForms. Devin inicia o app, interage com a interface gráfica e verifica seu comportamento.Verificação visual
Devin pode fazer capturas de tela em pontos específicos durante os testes para verificar se layouts, estilos e elementos da interface estão corretos. Ele pode comparar o que vê na tela com o comportamento esperado e sinalizar problemas visuais.Interagir com fluxos complexos de UI
Alguns cenários de teste exigem interações de GUI em múltiplas etapas que vão além de chamadas simples de API ou automação de navegador — coisas como arrastar e soltar, menus de contexto, atalhos de teclado ou navegação entre várias janelas. O Computer Use dá conta de tudo isso.Registrar sessões de teste
Devin pode gravar sua tela enquanto executa testes, anotando momentos importantes no vídeo. A gravação é então processada e enviada para você, para que você possa ver o Devin interagindo com seu aplicativo e confirmar que as alterações funcionam. Consulte Testes e gravações de vídeo para obter todos os detalhes sobre o fluxo de trabalho de gravação.Como o Computer Use funciona
Quando o Devin usa o Computer Use durante uma sessão, ele segue este processo:- Tira uma captura de tela da tela atual para entender o que está visível
- Identifica elementos interativos — botões, campos de texto, menus, links — e decide com o que interagir
- Realiza uma ação — clica, digita, rola ou usa atalhos de teclado
- Espera e observa — tira outra captura de tela para ver o resultado da ação
- Repete até que a tarefa seja concluída
Computer Use e Testes
Computer Use é a base do fluxo de trabalho de testes e gravações do Devin. Quando o Devin testa sua aplicação após criar uma PR (pull request):- Configuração — Devin instala dependências, inicia seu app e prepara o ambiente
- Planejamento de testes — Devin lê o diff e cria um plano de teste focado
- Execução via Computer Use — Devin usa sua área de trabalho para interagir com seu app, seguindo o plano de teste passo a passo
- Gravação — Todo o processo é capturado em vídeo com anotações e enviado para você revisar
Computer Use em Outposts
No Outposts, as sessões são executadas em máquinas que você gerencia. Por isso, o Devin usa o ambiente de desktop já disponível na máquina, em vez de provisionar um próprio. A ferramentacomputer está disponível em todas as sessões no modo desktop. Se a máquina não for compatível com uma ação, ela falhará com um erro claro e acionável, em vez de a ferramenta simplesmente não estar disponível.
Requisitos por plataforma
Linux: o worker deve ser executado com acesso a uma sessão gráfica —DISPLAY deve estar definido no ambiente do worker e apontar para um servidor X em execução. Em uma máquina sem interface gráfica, você pode iniciar um servidor manualmente (por exemplo, Xvfb :0 com um gerenciador de janelas) e exportar DISPLAY antes de iniciar o worker. Sem uma tela, as ações no computador retornam um erro explicando que não há uma área de trabalho gráfica disponível e como disponibilizá-la.
macOS: o Devin reutiliza a sessão de área de trabalho existente da máquina. Duas permissões distintas do macOS (TCC) se aplicam ao processo que executa o worker do Devin:
- Gravação da Tela — necessária para capturas de tela.
- Acessibilidade — necessária para entradas sintéticas de mouse e teclado.
É normal ter recursos disponíveis apenas parcialmente
Os recursos são verificados de forma independente, então o Devin degrada normalmente em vez de perder toda a funcionalidade:- Se a Gravação de Tela estiver concedida, mas a Acessibilidade não (uma configuração padrão comum), as capturas de tela funcionam, enquanto as ações de clicar/digitar/rolar retornam um erro informando exatamente qual permissão conceder.
- Se não houver nenhum monitor disponível, todas as ações no computador retornam o motivo (por exemplo,
DISPLAYnão configurado) e o que é preciso alterar.
ffmpeg na máquina — consulte dependências da máquina.
Dicas para Obter os Melhores Resultados
Seja específico sobre o que testar
- “Abra o app, clique no botão Settings no canto superior direito, ative o modo escuro e verifique se todo o texto continua legível”
- “Inicie o app Electron, crie um novo documento, digite algum texto e verifique se ele é salvo ao fechar a janela”
Diga ao Devin o que significa sucesso
- “O painel deve mostrar três gráficos sem mensagens de erro”
- “Após enviar o formulário, um banner verde de sucesso deve aparecer na parte superior da página”
Pré-configure o acesso
Se o seu app exigir autenticação, configure os secrets com antecedência para que o Devin possa fazer login sem precisar solicitar isso a você durante a sessão. Conclua a configuração do ambiente para garantir que o Devin possa instalar as dependências e iniciar seu app sem problemas.Crie skills de teste
Para apps que você testa com frequência, crie uma Skill que instrua o Devin exatamente sobre como configurar e testar seu aplicativo. Isso economiza tempo em sessões repetidas e garante consistência nos testes. Veja Testes e gravações de vídeo — sugestões de Skill para exemplos.Uso do navegador por scripts via Playwright
O navegador Chrome do Devin expõe um endpoint do Chrome DevTools Protocol (CDP) ao qual o Playwright pode se conectar. Devin pode escrever e executar scripts do Playwright para automatizar interações no navegador — como fluxos de login ou entrada sistemática de dados — no navegador que ele mesmo está executando. Você também pode escrever esses scripts por conta própria e fazer commit deles no seu repositório. Para a maioria das outras ações no navegador, recomenda-se usar o Computer Use nativo do Devin ou as ferramentas do navegador.Como funciona
A instância do Chrome do Devin escuta conexões CDP na porta 29229. Um script Playwright pode se conectar a esse navegador, executar ações (preencher formulários, clicar em botões, lidar com redirecionamentos) e depois se desconectar. Como o script se conecta ao navegador existente em vez de iniciar um novo, todas as alterações de estado — cookies, localStorage, tokens de autenticação — persistem após o término do script. Isso significa que o Devin pode usar imediatamente a sessão autenticada: atualizar páginas, navegar e interagir com o app normalmente.Exemplo: como se conectar ao navegador do Devin
Quando usar isso
Fluxos de SSO / OAuth
Automatize fluxos de login em várias etapas (por exemplo, Okta, Auth0, Google SSO) que seriam trabalhosos de executar manualmente, clique por clique, em toda sessão.
Autenticação na configuração do ambiente
Inclua um script de login na sua configuração do ambiente para que o Devin inicie cada sessão já autenticado.
Automação com skills
Armazene scripts de login ou de entrada de dados em uma Skill para que o Devin possa executá-los automaticamente quando necessário.
Entrada de dados sistemática
Crie scripts para envios repetitivos de formulários ou entrada de dados em massa que seriam lentos e propensos a erros manualmente, no modo apontar e clicar.
Dicas
- Armazene scripts de login no diretório
.agents/skills/do seu repositório para que sejam mantidos entre sessões - Use Segredos para armazenar credenciais — referencie-as por meio de variáveis de ambiente nos seus scripts
- O endpoint CDP é sempre
http://localhost:29229— a porta é a mesma com ou sem o modo Desktop ativado - Após a execução do script, o Devin pode usar o Computer Use ou as ferramentas do navegador para interagir com a sessão autenticada
Em conjunto com Segredos expostos como variáveis de ambiente, um script em
.agents/skills/ pode injetar qualquer estado no navegador no início de cada sessão — não apenas cookies. Por exemplo, um script pode chamar page.evaluate() para gravar chaves no localStorage (flags de recursos, tokens de API, seleção de tenant) lidas de variáveis de ambiente, para que o navegador do Devin sempre seja iniciado no estado esperado pelo seu app. Para manter o estado que você capturou manualmente em vez de criá-lo por script, consulte Autenticação no navegador.