Devin はブラウザだけでなく、完全な Linux デスクトップ環境にアクセスすることができます。マウスを動かしたり、UI 要素をクリックしたり、キーボードから文字を入力したり、スクリーンショットを撮ったり、Linux デスクトップ上で動作するあらゆるアプリケーションを操作したりできます。この機能は Computer Use と呼ばれ、人間と同じように Devin があなたのソフトウェアをテストし、操作できるようにします。
Computer Use を使うと、Devin にマウスとキーボード付きのグラフィカルなデスクトップ環境へ直接アクセスさせることができます。これは単なるブラウザ自動化を超えており、画面に表示される あらゆるアプリケーション を操作できます。具体的には次のようなものが含まれます:
- Chrome 上の Web アプリケーション（ボタンをクリックする、フォームに入力する、ページを遷移する）
- Linux 上で動作する デスクトップアプリケーション（Electron アプリ、ネイティブ GUI、IDE など）
- ターミナルベースの UI（TUI プログラム、対話型 CLI）
- デスクトップ上に表示できる あらゆるビジュアルインターフェース
Devin は画面を 1024×768 ピクセルのディスプレイとして認識し、人間がコンピュータの前に座っているのと同じように、クリック、入力、スクロール、ドラッグ、スクリーンショットの撮影といった操作を行えます。
Computer Use は、組織のカスタマイズ設定にある Desktop mode の設定で制御されます。
- Settings > Customization に移動します
- Enable desktop mode トグルを探します
- トグルをオンにします
有効化されると、Devin はセッション中、特にアプリケーションの UI と対話する必要があるテストワークフローにおいて、デスクトップ環境を使用します。
Desktop mode はすべてのプランで利用できます。この設定を変更できるのは組織の管理者のみです。
- 「今行った変更をテストして、録画を送って」
- 「ブラウザでアプリを開いて、ログインページが動作するか確認して」
- 「デスクトップアプリを起動して、新しいメニュー項目が表示されるかチェックして」
Devin は、デスクトップでの操作がそのタスクに最適な手段かどうかを自律的に判断します。タスクに UI 要素のクリック、アプリの操作、フォーム入力、あるいは画面上での目視確認が含まれる場合、Devin は明示的に指示しなくても Computer Use を使用します。Devin に画面上で「どう」操作するかを教える必要はなく、「何を」達成したいのかだけを伝えてください。
Webアプリケーションをエンドツーエンドでテストする
- 現在の画面に何が表示されているかを把握するために、スクリーンショットを撮る
- ボタン、テキストフィールド、メニュー、リンクなどの操作可能な要素を特定し、どれを操作するかを決める
- アクションを実行する — クリック、入力、スクロール、またはキーボードショートカットの実行
- 待機して観察する — アクションの結果を確認するために、もう一度スクリーンショットを撮る
- タスクが完了するまで繰り返す
この「スクリーンショットとアクション」のループにより、Devin は画面上のあらゆる状態に適応し、動的コンテンツ、読み込み中の状態、ポップアップ、予期しないダイアログなどを人間と同じように扱うことができます。
Computer Use は、Devin のテストと記録ワークフローの基盤となる機能です。Devin が PR を作成した後にあなたのアプリケーションをテストする際は、次のように進行します。
- セットアップ — Devin が依存関係をインストールし、アプリを起動し、環境を準備する
- テスト計画 — Devin が差分を読み、要点を絞ったテスト計画を作成する
- Computer Use による実行 — Devin がデスクトップを使ってアプリと対話し、テスト計画に沿ってステップごとに実行する
- 記録 — プロセス全体が注釈付きの動画として記録され、その後あなたにレビュー用として送信される
Computer Use と Testing & Recordings ワークフローの主な違いはスコープです。Computer Use は基盤となる機能（デスクトップ操作）であり、Testing & Recordings は Computer Use を利用してあなたの PR をテストし、動画によるエビデンスを提供するための構造化されたワークフローです。
テスト内容を具体的に伝える
- 「アプリを開き、右上のSettingsボタンをクリックし、ダークモードを切り替えても、すべてのテキストが引き続き読みやすいことを確認する」
- 「Electronアプリを起動し、新しいドキュメントを作成してテキストを入力し、ウィンドウを閉じたときに保存されることを確認する」
成功のイメージをDevinに伝える
- 「ダッシュボードには、エラーメッセージなしで3つのチャートが表示されていること」
- 「フォーム送信後、ページ上部に緑色の成功バナーが表示されること」
