Session Insights とは？
Session Insights は、Devin のセッションで何が起きたかを理解し、改善に向けた具体的な推奨事項を提示する分析機能です。分析をトリガーすると、Session Insights がセッションを分析し、より良いコラボレーションのためのパターン、問題点、改善の機会を特定します。 Session Insights は、完了したすべての Devin セッションで、追加料金なしで利用できます。セッションが終了すると、Devin は軽量な分類 (カテゴリ、言語、ツール) を自動的に生成します。大規模なセッション (L または XL) の場合は、終了処理時に完全な分析も自動的に生成されます。より小規模なセッションでは、UI または API から手動で完全な分析をトリガーできます。Session Insights にアクセスする方法
ステップ 1: セッションを完了する
ステップ2：Insights モーダルを開く
セッションが完了したら、セッションメニュー (セッションのトップバー右端にある ⋯ ボタン) を開き、Session insights を選択します。Enterprise 組織では、セッションのトップバーのセッションタイトル横にセッションサイズのチップも表示されます。これをクリックしても、同じ Session Insights モーダルが開きます。
ステップ 3: 分析を生成または表示する
Session Insights モーダルで、まだ分析が生成されていない場合は、Generate Analysis をクリックして分析の生成を開始します。生成には通常 1 分ほどかかります。すでに分析が存在する場合は、Regenerate をクリックして新しい分析を再生成できます。
セッション概要メトリクス
Session Insights モーダルの上部には、セッションの概要をすばやく把握できる 4 つの主要なメトリクスが表示されます。
ACU 使用量
ACU (Agent Compute Unit) の使用量は、そのセッション中に Devin が消費した計算リソースの量を表します。特定のタスクに対して ACU 使用量が少ないほど、一般的にセッションがより効率的であったことを示します。この指標を用いて類似タスク同士を比較し、Devin がリトライや行き詰まりに過度な計算リソースを費やした可能性があるセッションを特定してください。ユーザーメッセージ
セッション中に送信したメッセージの合計数です。メッセージ数が多い場合、Devin に頻繁な軌道修正が必要だったことを示しており、最初のプロンプトをより詳細にできた可能性があります。理想的には、やり取りの回数を最小限に抑えるために、重要なコンテキストは最初にまとめて提示してください。セッションサイズ
セッションサイズは、セッションが消費した使用量 (ACU 単位で測定) に基づいて決まる区分 (XS, S, M, L, XL) です。ユーザーメッセージ数はセッションサイズに影響しません。 各サイズ区分のしきい値は次のとおりです。Enterprise のお客様では、ACU しきい値は 10 倍に調整されます (例: XS ≤ 20 ACUs、S ≤ 50、M ≤ 100、L ≤ 200、XL > 200) 。利用枠ベースのプランでは、超過分のコストを 1 ACU あたり $2 で ACU に換算した値に基づいてセッションサイズが決まります。
カテゴリ
Devin は、実施された作業内容に基づいてセッションをタスクカテゴリに自動分類します。分類には、使用されたツールとフレームワークや、関係するプログラミング言語などのメタデータも含まれます。 利用可能なタスクカテゴリは次のとおりです。- Feature Development — 新しい機能、コンポーネント、サービスの開発や、新機能の実装
- Bug Fixing — バグ、エラー、予期しない動作の調査と修正
- Code Review — 既存のコードやアーキテクチャのレビュー、説明、分析
- Refactoring & Optimization — 動作を変えずに、コード構造、パフォーマンス、可読性を改善する作業
- Test Generation — テスト (unit、integration、e2e、QA) やテスト用インフラストラクチャの作成、修正、改善
- Migrations & Upgrades — 依存関係のアップグレードや、フレームワーク間またはバージョン間の移行
- CI/CD & DevOps — CI/CD パイプライン、デプロイ、監視、アラート対応、インフラストラクチャ関連の作業
- Security — セキュリティ脆弱性への対処、CVE への対応、セキュリティ体制の強化
- Data & Automation — データ分析、パイプライン、スクリプト、ダッシュボード、自動化に関する作業
- Documentation & Content — ドキュメント、README、変更ログ、API ドキュメント、翻訳の作成または更新
- Research & Exploration — 実現可能性の検証、解決策の調査、アーキテクチャ設計、RFC の作成、プロトタイピング
分析タブ
Session Insights モーダルには 3 つのタブがあり、それぞれが異なる観点から分析を行います。Issue Timeline
- issue のカテゴリを表す label
- impact の評価 (high、medium、low)
- 何が問題だったかを説明する description
各タイムラインイベントにはタイトルと説明があります。特定の issue に関連付けられているイベントは太字で表示されます。タイムラインを使って、セッションの流れ ― Devin がどこで前進し、どこで障害に当たり、どのように復旧したか ― を把握してください。
Actionable Feedback
- 元のpromptに不足していたコンテキストや制約を追加
- あいまいな指示を明確化
- 成功条件や具体的な要件を追加
- Devin がより早い段階で把握しておくべき重要な情報を前に持ってくる
- マシンのセットアップ — 環境やツールに関する変更 (例: 不足している依存関係のインストール、アクセス設定)
- Repo config — リポジトリ レベルでの変更 (例: ビルドスクリプトの追加、設定ファイルの更新)
Knowledge の利用状況
一般的なインサイトパターンの解釈
ACU 使用量が高いのにユーザーメッセージが少ない場合
これは一般的に、Devin が自律的に作業したものの、そのタスクに苦戦したことを意味します。Issue Timeline を確認し、繰り返し発生しているエラーやリトライがないか確認してください。よくある原因は次のとおりです。- 環境セットアップの不足 (依存関係、APIキー、アクセス用認証情報)
- 試行錯誤的なアプローチを招くあいまいな要件
- サブタスクに分割したほうがよい複雑なタスク
ユーザーメッセージが多いのに ACU 使用量が少ない場合
これは、頻繁な中断や軌道修正が発生していることを示します。Devin は計算リソースの消費は少なかったものの、常に指示が必要な状態だったということです。よくある原因は次のとおりです。- 最初のpromptの指定が不十分
- Devin がタスクの範囲や要件を誤解していた
- タスクに、Devin が利用できないドメイン固有の知識が必要だった
誤解を招く Knowledge がフラグされた場合
Knowledge Usage タブに誤解を招く Knowledge アイテムが表示されている場合、それらのアイテムには、現在のコードベースと矛盾する古い手順や、範囲が広すぎるアドバイスが含まれている可能性があります。主な原因:- Knowledge が以前のバージョンのコードベース向けに書かれている
- Knowledge が一般的すぎて、無関係なコンテキストで取得されてしまう
- Knowledge が他の Knowledge アイテムと矛盾している
セッションが誤ったカテゴリとして分類されている
概要に表示されているカテゴリが意図と一致していない場合、Devin がリクエストの内容や意図を別のものとして解釈した可能性があります。よくある原因は次のとおりです。- 目的に関するプロンプトがあいまいだった
- タスクの説明が特定の側面にばかり焦点を当てていて、実際の意図と異なっていた (例: 機能を依頼したかったのに、バグとして説明していた)
Improved Prompt を使って、分析結果がタスクの目的をどのように明確化することを推奨しているかを確認しましょう。
タイムラインに同じ問題が繰り返し表示される
同じ種類の問題がタイムラインに何度も現れる場合、Devin が再試行ループに陥っている可能性があります。よくある原因は次のとおりです。- Devin が解決できなかった、継続的に発生するビルドやテストの失敗
- 環境の問題 (ツールの不足、バージョン違い、権限エラー)
- 必要なアプローチに対する根本的な誤解
ベストプラクティス
複雑なセッションの後に Session Insights を確認する
重要または複雑なセッションの後には、Session Insights を確認することを習慣づけましょう。そこで把握したパターンによって、時間の経過とともにより効果的に活用できるようになります。プロンプト改善を反復的に適用する
提案された改善済みプロンプトを、今後の類似タスクの出発点として活用します。時間の経過とともに、効果的なプロンプトパターンのライブラリを構築できるようになります。再現性のあるワークフローのために、最良のプロンプトはPlaybooksとして保存してください。Knowledge ベースを維持する
Knowledge Usage タブを定期的に確認し、Knowledge アイテムの正確性と関連性を保ちましょう。誤解を招く Knowledge アイテムはすぐに削除または更新してください — たった 1 件の古い Knowledge アイテムでも、チーム全体のセッションの品質を低下させる可能性があります。繰り返し発生する問題はマシンのセットアップで解消する
Action Items が一貫して同じ環境や設定変更を推奨している場合は、先回りして対応しましょう。環境設定 を正しくセットアップしておくことで、今後のすべてのセッションで同じ問題が繰り返し発生するのを防げます。チームとインサイトを共有する
Session Insights は、組織全体にとって有益なパターンを明らかにできます。得られた重要な学びを スキル として追加し、チームメンバー全員が活用できるようにしましょう。セッションの焦点を絞る
セッションが一貫して L や XL に分類される場合は、大きなタスクを、より小さく焦点の定まったセッションに分割してください。セッションを小さくすることで結果の質が向上し、分析や改善もしやすくなります。トラブルシューティング
インサイトは利用できません
あるセッションで Session Insights が利用できない場合、次のような理由が考えられます。- まだ分析がトリガーされていない — Session Insights モーダルで Generate Analysis をクリックするか、generate API endpoint を使用してください
- セッションがまだ進行中である
- セッションが短すぎて、有意な分析を生成できなかった (Devin からのメッセージが 1 件未満)
- 分析処理中にエラーが発生した — Regenerate をクリックして再試行してください