Comment l’agent IA interagit-il avec le SUT ? Puis-je suivre les actions que l’IA effectue ?
L’agent IA utilise la reconnaissance de composants établie et les actions utilisateur simulées de QF-Test. Toutes les actions effectuées par l’IA sont enregistrées par QF-Test.
L’IA peut interagir avec le SUT en utilisant les outils MCP fournis par QF-Test. Elle utilise la même reconnaissance de composants et simule les interactions utilisateur de la même manière.
Lors de l’utilisation de l’IA dans QF-Test, toutes les actions, les utilisations d’outils MCP et les réponses de l’agent IA sont documentées dans le journal. Cela permet un suivi complet de ce que l’agent a fait et de la manière dont il a obtenu ses résultats.
Limites de profondeur, suppression accidentelle de données, actions irréversibles : comment restreindre l’IA lors de l’exploration autonome d’un SUT pour la génération de tests ?
La génération de tests par IA dans QF-Test est conçue comme point de départ pour les équipes QA — pas comme outil de validation. Cette distinction est essentielle pour une utilisation appropriée.
L’exploration autonome est conçue pour les environnements de test. Les actions irréversibles, les suppressions accidentelles ou l’accès à des systèmes extérieurs à l’environnement de test doivent être contrôlés par l’environnement de test lui-même — pas par l’agent IA. Cela s’applique de la même manière à tout agent IA.
Les limites de profondeur peuvent être spécifiées dans la description du test et sont généralement respectées en pratique. Il n’existe cependant actuellement aucun mécanisme permettant de les imposer techniquement. L’agent peut être arrêté à tout moment si un comportement indésirable est observé pendant l’exploration.
Comment empêcher l’IA d’accepter le comportement actuel de l’application comme étant correct ?
La génération de tests par IA dans QF-Test est conçue comme point de départ pour les équipes QA — pas comme outil de validation. Cette distinction est essentielle pour une utilisation appropriée.
Il n’existe actuellement aucun moyen fiable d’empêcher l’IA de considérer l’état actuel de l’application comme le comportement attendu. Ce n’est cependant pas l’objectif principal de cette fonctionnalité — elle est destinée à fournir aux équipes QA un point de départ structuré pour la structure des tests, qu’elles examinent et affinent ensuite.
Pour des tests stables, il est recommandé de remplacer dans la mesure du possible les nœuds IA générés par des nœuds QF-Test traditionnels.
Quelles sont mes possibilités pour le prompting de la génération de tests par IA ?
La génération de tests par IA dans QF-Test repose entièrement sur la description de test que vous fournissez — plus vous apportez de contexte, meilleurs sont les résultats.
Le prompt envoyé à l’agent IA se compose de deux parties : un prompt de base (défini dans la suite de tests bibliothèque qfs-ai.qft, remplaçable par votre propre suite de tests comme user-ai.qft) et votre description de test. Cette description peut être aussi détaillée que vous le souhaitez.
Vous pouvez intégrer dans le prompt des tickets et des plans de test, des critères d’acceptation, des règles métier ou des références à des tests existants. Comme pour toute application IA, rien ne garantit que tous les détails seront entièrement pris en compte — plus votre description est précise et complète, meilleur sera le résultat.
Notez qu’une surcharge de la fenêtre contextuelle du modèle peut conduire à de moins bons résultats. Rédigez donc vos descriptions de manière détaillée, mais ciblée.
Les suites de tests générées par IA dans QF-Test sont-elles reproductibles ?
Les tests générés par IA varient d’une exécution à l’autre — c’est la nature des IA non déterministes. Si le prompt reste constant, la structure globale des tests générés est toutefois généralement similaire.
La génération de tests par IA dans QF-Test est par nature non déterministe : plusieurs exécutions du même processus de génération produisent des résultats différents. C’est une caractéristique fondamentale des grands modèles de langage.
Si le prompt de génération de tests reste identique d’une exécution à l’autre, la structure et l’approche des suites de tests générées sont généralement similaires — même si les étapes concrètes ou les formulations diffèrent. Considérez chaque exécution comme une ébauche que votre équipe QA examine et affine — pas comme un package de tests terminé.