Session Insights は、Devin のセッションで何が起きたかを理解し、改善に向けた具体的な推奨事項を提示する分析機能です。Devin がタスクを完了すると、Session Insights がセッションを分析し、より良いコラボレーションのためのパターン、問題点、改善の機会を特定します。
Session Insights は、完了したすべての Devin セッションで、追加料金なしで利用できます。
Session Insights にアクセスする方法
まず、Devin セッションを開始し、完了まで実行します。Session Insights は、成功・失敗にかかわらず、結果が明確なセッションで最も効果的に機能します。Devin からのメッセージが 1 件に満たないような短いセッションでは、インサイトは生成されません。
セッションが完了したら、セッション画面上部のバーに表示されている Session Insights ボタンを探します。
ボタンをクリックして Session Insights モーダルを開きます。まだ分析が生成されていない場合は、Generate Analysis をクリックして分析の生成を開始します。生成には通常 1 分ほどかかります。すでに分析が存在する場合は、Regenerate をクリックして新しい分析を再生成できます。
Session Insights モーダルの上部には、セッションの概要をすばやく把握できる 4 つの主要なメトリクスが表示されます。
ACU(AI Compute Unit)の使用量は、そのセッション中に Devin が消費した計算リソースの量を表します。特定のタスクに対して ACU 使用量が少ないほど、一般的にセッションがより効率的であったことを示します。この指標を用いて類似タスク同士を比較し、Devin がリトライや行き詰まりに過度な計算リソースを費やした可能性があるセッションを特定してください。
セッション中に送信したメッセージの合計数です。メッセージ数が多い場合、Devin に頻繁な軌道修正が必要だったことを示しており、最初のプロンプトをより詳細にできた可能性があります。理想的には、やり取りの回数を最小限に抑えるために、重要なコンテキストは最初にまとめて提示してください。
セッションサイズは、ACU 使用量とユーザーからのメッセージ数の両方に基づいて決まる複合的な区分(XS, S, M, L, XL)です。ACU 使用量が多い場合やユーザーメッセージ数が多い場合のいずれでも、セッションサイズは大きくなります。L または XL に分類されたセッションは健全ではない状態としてフラグ付けされ、Devin が重大な問題に直面したか、タスクのスコープが 1 回のセッションには広すぎた可能性を示します。大きなタスクは、小さく焦点を絞ったセッションに分割することを検討してください。
セッションを小さく効率的に保つには、最初のプロンプトで重要な情報をできるだけまとめて提示してください。
Devin はセッションを自動的にタスクカテゴリごとに分類します:
- Feature Development — 新機能の実装
- Bug Fixing — バグの診断と修正
- Code Review & Analysis — 既存コードのレビューまたは解析
- Refactoring & Optimization — コード構造やパフォーマンスの改善
- Test Generation — ユニットテストやテストスイートの作成
- Migrations & Upgrades — 依存関係のアップグレードやシステム移行
- CI/CD & DevOps — パイプライン、デプロイ、インフラストラクチャに関する作業
- Code Quality & Security — リント、セキュリティ、品質に関する課題への対応
- Data & Automation — データ処理や自動化スクリプト
この分類によって、Devin がタスクをどのように解釈したかを把握でき、意図した内容と Devin が実際に取り組んだ内容とのずれを発見できます。
Session Insights モーダルには 3 つのタブがあり、それぞれが異なる観点から分析を行います。
Issue Timeline タブには 2 つのセクションがあります。
Issues Detected には、セッション中に Devin が直面した問題が一覧表示されます。各 issue には以下が含まれます。
- issue のカテゴリを表す label
- impact の評価(high、medium、low)
- 何が問題だったかを説明する description
issue は label と impact レベルごとにグループ化されるため、傾向を簡単に把握できます。一般的な issue の種類には、ビルドの失敗、環境設定の問題、コードベースに関する誤った前提、スコープの曖昧さなどがあります。
Timeline では、セッション中の主要なイベントを時系列かつ色分けして表示します。
| Color | Meaning |
|---|
| Red | 影響度(impact)の高い issue |
| Yellow | 影響度(impact)が中程度の issue |
| White/Gray | 重要なイベント |
| Green | 価値を提供できた箇所 |
各タイムラインイベントにはタイトルと説明があります。特定の issue に関連付けられているイベントは太字で表示されます。タイムラインを使って、セッションの流れ ― Devin がどこで前進し、どこで障害に当たり、どのように復旧したか ― を把握してください。
Actionable Feedback タブでは、今後のセッションを次の 2 つの方法で改善できます。
Improved Prompt には、元のプロンプトに具体的な改善を加えて書き直したバージョンが表示されます。提案されたプロンプトはインタラクティブなハイライト付きで表示され、下線が付いた箇所にカーソルを合わせると、どこがどのような理由で変更されたかを確認できます。プロンプトの下には、各修正内容を説明する Changes Made の番号付きリストが表示されます:
- 元のプロンプトに不足していたコンテキストや制約を追加
- あいまいな指示を明確化
- 成功条件や具体的な要件を追加
- Devin がより早い段階で把握しておくべき重要な情報を前に持ってくる
Start new session をクリックすると、改善されたプロンプトがあらかじめ入力された新しい Devin セッションを開始できます。
Action Items には、今後のセッションを改善するために推奨される設定変更が一覧表示されます。これは、machine configuration や Knowledge の設定で実行できる具体的な手順です:
- Machine setup — 環境やツールに関する変更(例: 不足している依存関係のインストール、アクセス設定)
- Repo config — リポジトリ レベルでの変更(例: ビルドスクリプトの追加、設定ファイルの更新)
Go to machine をクリックすると、マシン設定に直接移動して、提案された変更を適用できます。
Knowledge Usage タブでは、セッション中に Knowledge の各項目がどのように利用されたかを確認できます。
Useful Knowledge には、Devin がタスクをうまく完了するのに役立った Knowledge 項目が一覧表示され、それぞれの Knowledge がどのように適用されたかの説明が示されます。
Misleading Knowledge には、Devin を誤った方向に導いた、または古くなった/誤った情報を含んでいた Knowledge 項目が一覧表示されます。各項目には、その Knowledge がなぜ問題になったのかが説明されており、更新や削除が必要な項目を特定するのに役立ちます。
いずれかの Knowledge 項目をクリックすると、その項目に直接移動して編集できます。このタブを定期的に確認することで、質の高いナレッジベースを維持できます。
ACU 使用量が高いのにユーザーメッセージが少ない場合
これは一般的に、Devin が自律的に作業したものの、そのタスクに苦戦したことを意味します。Issue Timeline を確認し、繰り返し発生しているエラーやリトライがないか確認してください。よくある原因は次のとおりです。
- 環境セットアップの不足(依存関係、APIキー、アクセス用認証情報)
- 試行錯誤的なアプローチを招くあいまいな要件
- サブタスクに分割したほうがよい複雑なタスク
対応方法: Improved Prompt を確認して、コンテキストを追加するための提案を参照してください。Action Items で、マシンやリポジトリの設定変更が必要かどうかを確認します。
ユーザーメッセージが多いのに ACU 使用量が少ない場合
これは、頻繁な中断や軌道修正が発生していることを示します。Devin は計算リソースの消費は少なかったものの、常に指示が必要な状態だったということです。よくある原因は次のとおりです。
- 最初のプロンプトの指定が不十分
- Devin がタスクの範囲や要件を誤解していた
- タスクに、Devin が利用できないドメイン固有の知識が必要だった
対処方法: 「Improved Prompt」を、今後の類似タスク用のテンプレートとして使用してください。関連する詳細を Knowledge に追加し、Devin が自動的に参照できるようにしてください。
誤解を招く Knowledge がフラグされた場合
Knowledge Usage タブに誤解を招く Knowledge アイテムが表示されている場合、それらのアイテムには、現在のコードベースと矛盾する古い手順や、範囲が広すぎるアドバイスが含まれている可能性があります。主な原因:
- Knowledge が以前のバージョンのコードベース向けに書かれている
- Knowledge が一般的すぎて、無関係なコンテキストで取得されてしまう
- Knowledge が他の Knowledge アイテムと矛盾している
対応方法: フラグされた Knowledge アイテムを更新または削除します。不要な取得を防ぐために、Knowledge のトリガー説明文をより具体的にしてください。
概要に表示されているカテゴリが意図と一致していない場合、Devin がリクエストの内容や意図を別のものとして解釈した可能性があります。よくある原因は次のとおりです。
- 目的に関するプロンプトがあいまいだった
- タスクの説明が特定の側面にばかり焦点を当てていて、実際の意図と異なっていた(例: 機能を依頼したかったのに、バグとして説明していた)
対処法: 表示されているカテゴリと自分の意図を比較してください。Improved Prompt を使って、分析結果がタスクの目的をどのように明確化することを推奨しているかを確認しましょう。
同じ種類の問題がタイムラインに何度も現れる場合、Devin が再試行ループに陥っている可能性があります。よくある原因は次のとおりです。
- Devin が解決できなかった、継続的に発生するビルドやテストの失敗
- 環境の問題(ツールの不足、バージョン違い、権限エラー)
- 必要なアプローチに対する根本的な誤解
対処方法: Action Items で環境に関する修正内容を確認してください。この種類のタスクに必要な正しいアプローチを説明する Knowledge アイテムの追加も検討してください。
複雑なセッションの後に Session Insights を確認する
重要または複雑なセッションの後には、Session Insights を確認することを習慣づけましょう。そこで把握したパターンによって、時間の経過とともにより効果的に活用できるようになります。
提案された改善済みプロンプトを、今後の類似タスクの出発点として活用します。時間の経過とともに、効果的なプロンプトパターンのライブラリを構築できるようになります。再現性のあるワークフローのために、最良のプロンプトはPlaybooksとして保存してください。
Knowledge Usage タブを定期的に確認し、Knowledge アイテムの正確性と関連性を保ちましょう。誤解を招く Knowledge アイテムはすぐに削除または更新してください — たった 1 件の古い Knowledge アイテムでも、チーム全体のセッションの品質を低下させる可能性があります。
繰り返し発生する問題はマシンのセットアップで解消する
Action Items が一貫して同じ環境や設定変更を推奨している場合は、先回りして対応しましょう。machine configuration を正しくセットアップしておくことで、今後のすべてのセッションで同じ問題が繰り返し発生するのを防げます。
Session Insights は、組織全体にとって有益なパターンを明らかにできます。得られた重要な学びを Knowledge として追加し、チームメンバー全員が活用できるようにしましょう。
セッションが一貫して L や XL に分類される場合は、大きなタスクを、より小さく焦点の定まったセッションに分割してください。セッションを小さくすることで結果の質が向上し、分析や改善もしやすくなります。
あるセッションで Session Insights が利用できない場合、次のような理由が考えられます。
- セッションがまだ進行中である
- セッションが短すぎて、有意な分析結果を生成できなかった(Devin からのメッセージが 1 件未満だった)
- 分析処理中にエラーが発生した — Regenerate をクリックして再試行してください
Session Insights は、時間をかけて Devin とより効果的なパートナーシップを築くために設計されています。何がうまく機能しているのか、どこを改善できるのかを把握することで、AI を活用した開発ワークフローを継続的に改善できます。
分析結果の生成は通常、1 分以内に完了します。5 分以上経っても生成が続いている場合は、処理がタイムアウトしている可能性があります。Session Insights モーダルを一度閉じてから再度開き、Regenerate をクリックしてください。
Team プランと Enterprise プランでは、適切な権限を持つユーザーに対して、Session Insights モーダル内に Investigate with Devin ボタンが表示されます。このボタンをクリックすると、元のセッションを詳細に分析するよう事前設定された、高度なモードの新しい Devin セッションが開きます。自動解析だけでは何が起きたかを十分に説明できないセッションで使用してください。