Qu’est-ce que Session Insights ?
Session Insights est une fonctionnalité d’analyse qui vous aide à comprendre ce qui s’est passé dans vos sessions Devin et fournit des recommandations concrètes pour les améliorer. Une fois que Devin a terminé une tâche, Session Insights analyse la session pour identifier les schémas, les problèmes et les possibilités d’améliorer la collaboration.
Session Insights est disponible pour toutes les sessions Devin terminées, sans frais supplémentaires.
Étape 1 : Mener une session à son terme
Lancez une session Devin et laissez-la aller à son terme. Session Insights est plus efficace avec des sessions dont l’issue est clairement définie, qu’elles soient réussies ou non. Les sessions trop courtes (moins d’un message de Devin) ne généreront pas d’insights.
Étape 2 : Ouvrir la fenêtre modale Session Insights
Une fois votre session terminée, recherchez le bouton Session Insights dans la barre supérieure de votre session.
Étape 3 : Générer ou afficher l’analyse
Cliquez sur le bouton pour ouvrir la fenêtre modale Session Insights. Si aucune analyse n’a encore été générée, cliquez sur Generate Analysis pour en lancer une. La génération prend généralement environ une minute. Si une analyse existe déjà, vous pouvez cliquer sur Regenerate pour créer une nouvelle analyse.
Métriques récapitulatives de la session
En haut de la fenêtre Session Insights, quatre métriques clés vous donnent un aperçu rapide de la session :
L’utilisation des ACU (AI Compute Unit) reflète la quantité de ressources de calcul que Devin a consommées pendant la session. Une utilisation d’ACU plus faible pour une tâche donnée indique généralement une session plus efficace. Utilisez cet indicateur pour comparer des tâches similaires et identifier les sessions où Devin a pu consacrer une quantité excessive de ressources de calcul à des réessais ou à des impasses.
Le nombre total de messages que vous avez envoyés pendant la session. Un nombre élevé peut indiquer que Devin a eu besoin de réajustements fréquents, ce qui suggère que la consigne initiale pourrait être plus détaillée. Idéalement, fournissez dès le départ tout le contexte important afin de réduire les allers-retours.
La taille de session est une classification composite (XS, S, M, L, XL) basée à la fois sur l’utilisation des ACU et sur le nombre de messages utilisateur. Une utilisation plus élevée des ACU ou un plus grand nombre de messages utilisateur peuvent augmenter la taille de la session. Les sessions classées L ou XL sont signalées comme non optimales, ce qui signifie que Devin a probablement rencontré des problèmes importants ou que le périmètre de la tâche était trop large pour une seule session. Envisagez de découper les grandes tâches en sessions plus petites et plus ciblées.
Pour maintenir des sessions de petite taille et efficaces, fournissez dès le départ toutes les informations importantes dans l’invite initiale.
Devin classe automatiquement les sessions en catégories de tâches :
- Feature Development — création de nouvelles fonctionnalités
- Bug Fixing — diagnostic et résolution de bugs
- Code Review & Analysis — revue ou analyse du code existant
- Refactoring & Optimization — amélioration de la structure ou des performances du code
- Test Generation — création de tests unitaires ou de suites de tests
- Migrations & Upgrades — mise à niveau de dépendances ou migration de systèmes
- CI/CD & DevOps — travail sur des pipelines, le déploiement ou l’infrastructure
- Code Quality & Security — prise en charge de problèmes de linting, de sécurité ou de qualité
- Data & Automation — traitement de données ou scripts d’automatisation
Cette classification vous aide à comprendre comment Devin a interprété votre tâche et peut révéler un décalage entre ce que vous aviez en tête et ce sur quoi Devin a réellement travaillé.
La fenêtre modale Session Insights comporte trois onglets, chacun consacré à un aspect différent de l’analyse.
Chronologie des problèmes
L’onglet Chronologie des problèmes contient deux sections :
Problèmes détectés répertorie les problèmes que Devin a rencontrés pendant la session. Chaque problème comprend :
- Un libellé décrivant la catégorie du problème
- Un niveau d’impact (élevé, moyen ou faible)
- Une description expliquant ce qui s’est mal passé
Les problèmes sont regroupés par libellé et niveau d’impact, ce qui facilite l’identification de schémas récurrents. Les types de problèmes courants incluent les échecs de build, les problèmes de configuration d’environnement, des hypothèses incorrectes sur la base de code et des ambiguïtés de périmètre.
Chronologie fournit une vue chronologique et codée par couleur des événements clés de la session :
| Couleur | Signification |
|---|
| Rouge | Problème à impact élevé |
| Jaune | Problème à impact moyen |
| Blanc/Gris | Événement important |
| Vert | Valeur fournie |
Chaque événement de la chronologie a un titre et une description. Les événements liés à des problèmes spécifiques apparaissent en gras. Utilisez la chronologie pour comprendre le déroulement de la session : où Devin a progressé, où il a rencontré des obstacles et comment il les a surmontés.
L’onglet Commentaires exploitables vous aide à améliorer vos futures sessions de deux manières :
Invite améliorée affiche une version réécrite de votre invite initiale avec des améliorations précises. L’invite suggérée est affichée avec une surbrillance interactive — survolez une section soulignée pour voir ce qui a changé et pourquoi. Une liste numérotée des Modifications apportées sous l’invite explique chaque changement :
- Ajout de contexte ou de contraintes qui manquaient dans la version initiale
- Clarification d’instructions ambiguës
- Ajout de critères de réussite ou d’exigences spécifiques
- Mise en avant des informations importantes dont Devin avait besoin plus tôt
Cliquez sur Start new session pour lancer une nouvelle session Devin préremplie avec l’invite améliorée.
Actions recommandées répertorie les changements de configuration recommandés pour améliorer vos futures sessions. Ce sont des étapes concrètes que vous pouvez effectuer dans votre configuration de machine ou la configuration de votre Knowledge :
- Configuration de la machine — changements d’environnement ou d’outils (par ex. installation de dépendances manquantes, configuration des accès)
- Configuration du dépôt — changements au niveau du dépôt (par ex. ajout de scripts de build, mise à jour des fichiers de configuration)
Cliquez sur Go to machine pour accéder directement à la configuration de votre machine et appliquer les changements suggérés.
L’onglet Knowledge Usage montre comment vos éléments Knowledge ont été utilisés pendant la session :
Knowledge utile répertorie les éléments Knowledge qui ont aidé Devin à mener la tâche à bien, avec une explication de la manière dont chaque élément a été appliqué.
Knowledge trompeuse répertorie les éléments Knowledge qui ont induit Devin en erreur ou qui contenaient des informations obsolètes ou incorrectes. Chaque entrée explique pourquoi ces éléments étaient problématiques, ce qui vous aide à identifier ceux à mettre à jour ou à supprimer.
Cliquez sur n’importe quel élément Knowledge pour y accéder directement et le modifier. Passer régulièrement en revue cet onglet vous aide à maintenir une base de connaissances de haute qualité.
Interpréter les schémas d’Insights les plus courants
Utilisation élevée d’ACU avec peu de messages utilisateur
Cela signifie généralement que Devin a travaillé de manière autonome mais a rencontré des difficultés avec la tâche. Vérifiez la chronologie des problèmes (Issue Timeline) pour repérer les erreurs récurrentes ou les tentatives répétées. Causes fréquentes :
- Configuration de l’environnement manquante ou incomplète (dépendances, API keys, identifiants d’accès)
- Exigences ambiguës qui ont conduit à une approche par essais et erreurs
- Tâches complexes qui gagneraient à être décomposées en sous-tâches
Que faire : Passez en revue l’Improved Prompt pour des suggestions visant à enrichir le contexte. Consultez les Action Items pour les modifications de configuration de la machine ou du dépôt.
De nombreux messages utilisateur avec une faible consommation d’ACU
Cela suggère des interruptions fréquentes ou des changements de direction. Devin a utilisé peu de ressources de calcul, mais a eu besoin d’un guidage constant. Causes courantes :
- Invite initiale trop peu précise
- Devin a mal compris la portée ou les exigences de la tâche
- La tâche nécessitait des connaissances métier spécifiques auxquelles Devin n’avait pas accès
Que faire : utilisez l’Improved Prompt comme modèle pour de futures tâches similaires. Ajoutez les détails pertinents à votre Knowledge pour que Devin puisse y accéder automatiquement.
Éléments Knowledge trompeurs signalés
Lorsque l’onglet Knowledge Usage affiche des éléments Knowledge trompeurs, ces éléments peuvent contenir des instructions obsolètes ou des conseils trop généraux qui entrent en conflit avec votre base de code actuelle. Causes fréquentes :
- Knowledge a été rédigé pour une version précédente de votre base de code
- Knowledge est trop général et est rappelé dans des contextes non pertinents
- Knowledge est en conflit avec d’autres éléments Knowledge
Que faire : mettez à jour ou supprimez les éléments Knowledge signalés. Rendez les descriptions de déclencheurs Knowledge plus précises afin d’éviter des récupérations non pertinentes.
Session classée dans la mauvaise catégorie
Si la catégorie affichée dans la vue d’ensemble ne correspond pas à ce que vous aviez en tête, cela signifie probablement que Devin a interprété votre demande différemment. Causes fréquentes :
- Le prompt était ambigu quant à l’objectif
- La description de la tâche mettait l’accent sur un aspect alors que l’intention était différente (par exemple, décrire un bug alors que vous souhaitiez une nouvelle fonctionnalité)
Que faire : Comparez la catégorie à votre intention initiale. Utilisez l’Improved Prompt pour voir comment l’analyse recommande de clarifier l’objectif de la tâche.
La chronologie affiche des problèmes récurrents
Lorsque le même type de problème apparaît plusieurs fois dans la chronologie, Devin est probablement resté bloqué dans une boucle de tentatives. Causes fréquentes :
- Un échec de build ou de test persistant que Devin n’a pas pu résoudre
- Un problème d’environnement (outil manquant, mauvaise version, erreur de permissions)
- Une incompréhension fondamentale de l’approche nécessaire
Que faire : consultez les Action Items pour trouver des correctifs d’environnement. Envisagez d’ajouter un élément Knowledge qui décrit l’approche correcte pour ce type de tâche.
Passez en revue les Insights après les sessions complexes
Prenez l’habitude de consulter les Session Insights après les sessions importantes ou complexes. Les tendances que vous identifiez vous aideront à gagner en efficacité avec le temps.
Appliquer les améliorations de prompt de manière itérative
Utilisez les prompts améliorés proposés comme point de départ pour de futures tâches similaires. Au fil du temps, vous constituerez une bibliothèque de modèles de prompts efficaces. Enregistrez vos meilleurs prompts sous forme de Playbooks pour des flux de travail reproductibles.
Maintenir votre base de connaissances
Consultez régulièrement l’onglet Knowledge Usage pour vous assurer que vos éléments Knowledge restent exacts et pertinents. Supprimez ou mettez à jour sans délai tout élément Knowledge trompeur : un seul élément Knowledge obsolète peut dégrader la qualité des sessions pour l’ensemble de votre équipe.
Traiter les problèmes récurrents via la configuration de la machine
Si les Action Items recommandent systématiquement les mêmes modifications d’environnement ou de configuration, traitez-les de manière proactive. Une configuration correcte de votre machine empêche la réapparition de ces problèmes lors de toutes les sessions futures.
Partager les enseignements avec votre équipe
Session Insights peut révéler des tendances qui profitent à l’ensemble de votre organisation. Ajoutez ces enseignements clés à Knowledge afin que les membres de votre équipe puissent en bénéficier.
Gardez les sessions ciblées
Si vos sessions sont systématiquement classées en L ou XL, découpez les tâches volumineuses en sessions plus petites et plus ciblées. Les sessions plus courtes ont tendance à produire de meilleurs résultats et sont plus faciles à analyser et à améliorer de façon itérative.
Si Session Insights n’est pas disponible pour une session, cela peut être dû au fait que :
- La session est toujours en cours
- La session était trop courte pour générer une analyse pertinente (moins d’un message Devin)
- Une erreur s’est produite pendant le processus d’analyse — essayez de cliquer sur Regenerate
L’analyse prend trop de temps
La génération de l’analyse se termine généralement en moins d’une minute. Si elle dure plus de cinq minutes, le processus a peut-être expiré. Fermez puis rouvrez la fenêtre modale Session Insights, puis cliquez sur Regenerate.
Dans les forfaits Team et Enterprise, les utilisateurs disposant des autorisations appropriées verront un bouton Investigate with Devin dans la fenêtre modale Session Insights. En cliquant sur ce bouton, une nouvelle session Devin s’ouvre en mode avancé, préconfigurée pour analyser en profondeur la session d’origine. Utilisez cette option pour les sessions où l’analyse automatisée à elle seule ne permet pas d’expliquer complètement ce qui s’est passé.