Qu’est-ce que Session Insights ?
Session Insights est une fonctionnalité d’analyse qui vous aide à comprendre ce qui s’est passé dans vos sessions Devin et fournit des recommandations concrètes pour les améliorer. Lorsque vous déclenchez une analyse, Session Insights examine la session pour identifier les schémas, les problèmes et les possibilités d’améliorer la collaboration. Session Insights est disponible pour toutes les sessions Devin terminées, sans frais supplémentaires. Lorsqu’une session se termine, Devin génère automatiquement une classification légère (catégorie, langages et outils). Pour les grandes sessions (L ou XL), une analyse complète est également générée automatiquement à la clôture. Pour les sessions plus petites, vous pouvez déclencher manuellement une analyse complète soit via l’interface utilisateur, soit via l’API.Comment accéder à Session Insights
Étape 1 : Mener une session à son terme
Lancez une session Devin et laissez-la aller à son terme. Session Insights est plus efficace avec des sessions dont l’issue est clairement définie, qu’elles soient réussies ou non. Les sessions trop courtes (moins d’un message de Devin) ne généreront pas d’insights.Step 2 : ouvrir le modal Insights
Une fois votre session terminée, ouvrez le menu de la session (le bouton ⋯ situé à droite de la barre supérieure de la session) et sélectionnez Session insights.Dans les organisations enterprise, la barre supérieure de la session affiche aussi une pastille indiquant la taille de la session à côté de son titre. Un clic dessus ouvre cette même fenêtre modale Session Insights.
Étape 3 : Générer ou afficher l’analyse
Dans la fenêtre modale Session Insights, si aucune analyse n’a encore été générée, cliquez sur Generate Analysis pour en lancer une. La génération prend généralement environ une minute. Si une analyse existe déjà, vous pouvez cliquer sur Regenerate pour créer une nouvelle analyse.
Métriques récapitulatives de la session
En haut de la fenêtre Session Insights, quatre métriques clés vous donnent un aperçu rapide de la session :
Utilisation des ACU
L’utilisation des ACU (Agent Compute Unit) reflète la quantité de ressources de calcul que Devin a consommées pendant la session. Une utilisation d’ACU plus faible pour une tâche donnée indique généralement une session plus efficace. Utilisez cet indicateur pour comparer des tâches similaires et identifier les sessions où Devin a pu consacrer une quantité excessive de ressources de calcul à des réessais ou à des impasses.Messages utilisateur
Le nombre total de messages que vous avez envoyés pendant la session. Un nombre élevé peut indiquer que Devin a eu besoin de réajustements fréquents, ce qui suggère que la consigne initiale pourrait être plus détaillée. Idéalement, fournissez dès le départ tout le contexte important afin de réduire les allers-retours.Taille de session
La taille de session est une classification (XS, S, M, L, XL) basée sur l’utilisation consommée par une session. Le nombre de messages utilisateur n’a aucune incidence sur la taille de session. Les sessions classées L ou XL sont signalées comme non optimales, ce qui signifie que Devin a probablement rencontré des problèmes importants ou que le périmètre de la tâche était trop large pour une seule session. Envisagez de découper les grandes tâches en sessions plus petites et plus ciblées.Catégorie
Devin classe automatiquement les sessions dans des catégories de tâches en fonction du travail effectué. Cette classification inclut également des métadonnées, comme les outils et frameworks utilisés et les langages de programmation concernés. Les catégories de tâches disponibles sont :- Développement de fonctionnalités — création de nouvelles fonctionnalités, de nouveaux composants ou services, ou implémentation de nouvelles capacités
- Correction de bugs — investigation et résolution de bugs, d’erreurs ou de comportements inattendus
- Revue de code — revue, explication ou analyse du code et de l’architecture existants
- Refactorisation et optimisation — amélioration de la structure, des performances ou de la lisibilité du code sans en modifier le comportement
- Génération de tests — rédaction, correction ou amélioration des tests (unitaires, d’intégration, e2e, QA) et de l’infrastructure de test
- Migrations et mises à niveau — mise à niveau des dépendances, migration entre frameworks ou entre versions
- CI/CD et DevOps — travail sur les pipelines CI/CD, déploiement, supervision, alerting et tâches d’infrastructure
- Sécurité — correction des vulnérabilités de sécurité, traitement des CVE et renforcement de la posture de sécurité
- Données et automation — analyse de données, pipelines, scripts, dashboards et tâches d’automation
- Documentation et contenu — rédaction ou mise à jour de la documentation, des README, des changelogs, de la documentation d’API et des traductions
- Recherche et exploration — étude de faisabilité, recherche de solutions, conception d’architecture, rédaction de RFC et prototypage
Onglets d’analyse
La fenêtre modale Session Insights comporte trois onglets, chacun consacré à un aspect différent de l’analyse.Chronologie des problèmes
- Un libellé décrivant la catégorie du problème
- Un niveau d’impact (élevé, moyen ou faible)
- Une description expliquant ce qui s’est mal passé
Chaque événement de la chronologie a un titre et une description. Les événements liés à des problèmes spécifiques apparaissent en gras. Utilisez la chronologie pour comprendre le déroulement de la session : où Devin a progressé, où il a rencontré des obstacles et comment il les a surmontés.
Commentaires exploitables
- Ajout de contexte ou de contraintes qui manquaient dans la version initiale
- Clarification d’instructions ambiguës
- Ajout de critères de réussite ou d’exigences spécifiques
- Mise en avant des informations importantes dont Devin avait besoin plus tôt
- Configuration de la machine — changements d’environnement ou d’outils (par ex. installation de dépendances manquantes, configuration des accès)
- Configuration du dépôt — changements au niveau du dépôt (par ex. ajout de scripts de build, mise à jour des fichiers de configuration)
Utilisation de Knowledge
Interpréter les schémas d’Insights les plus courants
Utilisation élevée d’ACU avec peu de messages utilisateur
Cela signifie généralement que Devin a travaillé de manière autonome mais a rencontré des difficultés avec la tâche. Vérifiez la chronologie des problèmes (Issue Timeline) pour repérer les erreurs récurrentes ou les tentatives répétées. Causes fréquentes :- Configuration de l’environnement manquante ou incomplète (dépendances, API keys, identifiants d’accès)
- Exigences ambiguës qui ont conduit à une approche par essais et erreurs
- Tâches complexes qui gagneraient à être décomposées en sous-tâches
De nombreux messages utilisateur avec une faible utilisation des ACU
Cela suggère des interruptions fréquentes ou des changements de direction. Devin a utilisé peu de ressources de calcul, mais a eu besoin d’un guidage constant. Causes courantes :- Prompt initial trop peu précis
- Devin a mal compris le périmètre ou les exigences de la tâche
- La tâche nécessitait des connaissances métier spécifiques auxquelles Devin n’avait pas accès
Éléments Knowledge trompeurs signalés
Lorsque l’onglet Knowledge Usage affiche des éléments Knowledge trompeurs, ces éléments peuvent contenir des instructions obsolètes ou des conseils trop généraux qui entrent en conflit avec votre base de code actuelle. Causes fréquentes :- Knowledge a été rédigé pour une version précédente de votre base de code
- Knowledge est trop général et est rappelé dans des contextes non pertinents
- Knowledge est en conflit avec d’autres éléments Knowledge
Session classée dans la mauvaise catégorie
Si la catégorie affichée dans la vue d’ensemble ne correspond pas à ce que vous aviez en tête, cela signifie probablement que Devin a interprété votre demande différemment. Causes fréquentes :- Le prompt était ambigu quant à l’objectif
- La description de la tâche mettait l’accent sur un aspect alors que l’intention était différente (par exemple, décrire un bug alors que vous souhaitiez une nouvelle fonctionnalité)
La chronologie affiche des problèmes récurrents
Lorsque le même type de problème apparaît plusieurs fois dans la chronologie, Devin est probablement resté bloqué dans une boucle de tentatives. Causes fréquentes :- Un échec de build ou de test persistant que Devin n’a pas pu résoudre
- Un problème d’environnement (outil manquant, mauvaise version, erreur de permissions)
- Une incompréhension fondamentale de l’approche nécessaire
Bonnes pratiques
Passez en revue les Insights après les sessions complexes
Prenez l’habitude de consulter les Session Insights après les sessions importantes ou complexes. Les tendances que vous identifiez vous aideront à gagner en efficacité avec le temps.Appliquer les améliorations de prompt de manière itérative
Utilisez les prompts améliorés proposés comme point de départ pour de futures tâches similaires. Au fil du temps, vous constituerez une bibliothèque de modèles de prompts efficaces. Enregistrez vos meilleurs prompts sous forme de Playbooks pour des flux de travail reproductibles.Maintenir votre base de connaissances
Consultez régulièrement l’onglet Knowledge Usage pour vous assurer que vos éléments Knowledge restent exacts et pertinents. Supprimez ou mettez à jour sans délai tout élément Knowledge trompeur : un seul élément Knowledge obsolète peut dégrader la qualité des sessions pour l’ensemble de votre équipe.Traiter les problèmes récurrents via la configuration de la machine
Si les Action Items recommandent systématiquement les mêmes modifications d’environnement ou de configuration, traitez-les de manière proactive. Une configuration correcte de votre environnement empêche la réapparition de ces problèmes lors de toutes les sessions futures.Partager les enseignements avec votre équipe
Session Insights peut révéler des tendances qui profitent à l’ensemble de votre organisation. Ajoutez ces enseignements clés sous forme de Skills afin que les membres de votre équipe puissent en bénéficier.Gardez les sessions ciblées
Si vos sessions sont systématiquement classées en L ou XL, découpez les tâches volumineuses en sessions plus petites et plus ciblées. Les sessions plus courtes ont tendance à produire de meilleurs résultats et sont plus faciles à analyser et à améliorer de façon itérative.Dépannage
Aucun insight disponible
Si Session Insights n’est pas disponible pour une session, cela peut être dû au fait que :- L’analyse n’a pas encore été déclenchée — cliquez sur Generate Analysis dans la fenêtre modale Session Insights ou utilisez l’endpoint d’API de génération
- La session est toujours en cours
- La session était trop courte pour générer une analyse pertinente (moins d’un message Devin)
- Une erreur s’est produite pendant le processus d’analyse — essayez de cliquer sur Regenerate