Fonctionnement
Après que Devin a créé une PR (pull request), il peut passer en mode test — un workflow structuré dans lequel Devin :- Configure l’environnement — installe les dépendances, démarre les services, se connecte aux comptes requis
- Planifie le test — lit le diff et la base de code pour créer un plan de test minimal et ciblé
- Enregistre une vidéo — démarre un enregistrement d’écran, exécute le plan de test sur le poste de travail et annote les moments clés
- Vous envoie le résultat — arrête l’enregistrement, traite la vidéo et vous l’envoie en pièce jointe à un message
Lancement d’un test
Après avoir créé une PR (pull request), Devin proposera de tester l’application pour vous. Cliquez sur Test the app pour que Devin lance le workflow de test.
Pour que Devin exécute les tests après la création d’une PR sans avoir à cliquer sur le bouton, activez Pre-approve testing dans Settings > Preferences. Devin testera alors l’application sans demander d’approbation au préalable.
Le processus de test
Lorsque Devin passe en mode test, il suit un processus structuré en trois phases :Phase 1 : Configuration
Avant le début de tout test, Devin prépare l’environnement :- Lit la PR et la base de code pour comprendre ce qui doit être testé
- Vérifie les skills pertinentes dans le dépôt (sous
.agents/skills/) et les applique si elles sont disponibles - Se connecte aux services requis et résout les problèmes d’accès
- Vérifie les environnements disponibles (staging, dev, local) et confirme la connectivité
- Demande les secrets manquants si nécessaire — Devin vous demandera les identifiants dès le départ et les enregistrera pour les sessions futures
Phase 2 : Planification des tests
Une fois la configuration terminée, Devin rédige un bref plan de test :- Identifie le parcours de bout en bout le plus important qui prouve que la fonctionnalité fonctionne
- Rédige des étapes concrètes et non ambiguës (par exemple : « cliquez sur le bouton intitulé Save en haut à droite » — et non « trouvez l’option de sauvegarde »)
- Ancre le plan dans le code réel — remonte la partie frontend pour trouver le parcours exact dans l’interface jusqu’à la fonctionnalité
- N’ajoute des parcours de test supplémentaires qu’en présence d’un cas limite réellement critique
Phase 3 : Enregistrement et exécution
Une fois que la CI est au vert et que tous les commentaires de revue de code ont été traités, Devin exécute le test :- Lance l’enregistrement — capture l’écran entier
- Annote les moments clés — ajoute des libellés texte aux moments importants (par exemple, « Testing login flow », « Feature confirmed working ») qui apparaissent dans la vidéo finale
- Exécute le plan de test — interagit avec l’application via le navigateur en suivant chaque étape
- Arrête l’enregistrement — la vidéo est automatiquement traitée avec les annotations et des ajustements de vitesse autour des moments clés
- Envoie la vidéo — joint l’enregistrement à un message pour que vous puissiez la visionner directement
Détails des enregistrements vidéo
Les enregistrements d’écran de Devin disposent de plusieurs fonctionnalités qui les rendent utiles pour la revue :- Annotations — Des libellés apparaissent à des moments clés de la vidéo pour indiquer ce que Devin teste. La vidéo ralentit autour des points annotés afin que vous puissiez voir les détails.
- Zoom automatique — La vidéo effectue automatiquement un zoom sur les zones où Devin clique et interagit, en se déplaçant en douceur pour suivre le curseur et en revenant progressivement à la vue globale pendant les moments d’inactivité.
- Traitement automatique — Les enregistrements bruts sont traités pour mettre en évidence les actions importantes et compresser le temps d’inactivité.
- Envoyées en pièces jointes — Les vidéos sont jointes aux messages de votre session et peuvent être consultées directement dans l’application web Devin ou dans Slack.
Suggestions de compétences
Après avoir testé votre application, Devin consigne ce qu’il a essayé et ce qui a fonctionné — étapes d’installation, configuration de l’environnement, façon de démarrer l’application — et propose de créer ou de mettre à jour une Skill via une PR. Vous pouvez fusionner la PR telle quelle ou l’ajuster pour affiner les instructions. Avec le temps, Devin s’améliore dans les tests de votre projet — les enseignements de chaque session s’appuient sur les précédents. Vous pouvez également demander à Devin de faire cela à tout moment (par exemple, « create a skill for how to test this app »). Consultez le guide Skills pour tous les détails sur la création et la gestion des compétences. Voici un exemple de compétence de test :Bonnes instructions
- “Testez le parcours de commande : ajoutez un article au panier, allez au paiement, remplissez le formulaire et vérifiez que la page de confirmation de commande affiche le bon total”
- “Vérifiez que l’activation du mode sombre fonctionne sur la page des paramètres — le texte doit rester lisible et aucun élément ne doit disparaître”
- “Testez l’export CSV : il doit télécharger un fichier avec les bons en-têtes”
Instructions vagues
- “Testez tout”
- “Assurez-vous que l’application fonctionne”
- “Vérifiez que rien n’est cassé”