Wie interagiert der KI Agent mit dem SUT? Kann ich nachvollziehen, welche Aktionen die KI durchführt?
Der KI-Agent nutzt die etablierte Komponentenerkennung und simulierte User-Aktionen von QF-Test. Sämtliche von der KI ausgeführte Aktionen werden von QF-Test protokolliert.
Die KI kann unter Verwendung von MCP-Tools, die QF-Test bereitstellt, mit dem SUT interagieren. Dabei nutzt sie die Komponentenerkennung und simuliert User-Interaktionen auf die gleiche Weise.
Bei Verwendung von KI in QF-Test werden alle Aktionen, MCP-Tool-Nutzungen und Antworten des KI Agenten im Protokoll dokumentiert. Dies ermöglicht eine vollständige Nachverfolgung, was der Agent getan hat und wie er zu seinen Ergebnissen gelangt ist.
Tiefenbegrenzungen, unabsichtliche Löschung von Daten, unwiderrufliche Aktionen: Wie schränke ich KI bei der autonomen Erkundung eines SUTs für die Testgenerierung ein?
Die KI-Testgenerierung in QF-Test ist als Ausgangspunkt für QA-Teams konzipiert – nicht als Validierungswerkzeug. Diese Unterscheidung ist entscheidend für den richtigen Einsatz.
Die autonome Erkundung ist für Testumgebungen konzipiert. Unwiderrufliche Aktionen, versehentliche Löschvorgänge oder der Zugriff auf Systeme außerhalb der Testumgebung müssen durch die Testumgebung selbst kontrolliert werden – nicht durch den KI-Agenten. Dies gilt für jeden KI-Agenten gleichermaßen.
Tiefenbegrenzungen können in der Testbeschreibung angegeben werden und werden in der Praxis in der Regel eingehalten. Ein Mechanismus zur technischen Durchsetzung ist aktuell jedoch nicht vorhanden. Der Agent kann jederzeit gestoppt werden, wenn während der Erkundung unerwünschtes Verhalten beobachtet wird.
Wie verhindern wir, dass die KI das aktuelle Verhalten der Anwendung als korrekt akzeptiert?
Die KI-Testgenerierung in QF-Test ist als Ausgangspunkt für QA-Teams konzipiert – nicht als Validierungswerkzeug. Diese Unterscheidung ist entscheidend für den richtigen Einsatz.
Es gibt derzeit keine zuverlässige Möglichkeit, die KI daran zu hindern, den aktuellen Anwendungszustand als Erwartungsverhalten zu übernehmen. Das ist jedoch auch nicht der primäre Zweck der Funktion – sie soll QA-Teams einen strukturierten Ausgangspunkt für die Teststruktur liefern, den diese anschließend prüfen und verfeinern.
Für stabile Tests empfiehlt es sich wo möglich, die erzeugten KI-Knoten durch traditionelle QF-Test Knoten zu ersetzen.
Welche Möglichkeiten habe ich beim Prompting für die KI-Testgenerierung?
Die KI-Testgenerierung in QF-Test basiert vollständig auf der von Ihnen bereitgestellten Testbeschreibung – je mehr Kontext Sie liefern, desto besser die Ergebnisse.
Der Prompt, der an den KI-Agenten gesendet wird, besteht aus zwei Teilen: einem Basis-Prompt (definiert in der Bibliotheks-Testsuite qfs-ai.qft, überschreibbar in einer eigenen Testsuite wie user-ai.qft) und Ihrer Testbeschreibung. Diese Beschreibung kann so ausführlich sein, wie Sie möchten.
In den Prompt können Sie Tickets und Testpläne, Akzeptanzkriterien, Geschäftsregeln oder Verweise auf bestehende Tests integrieren. Wie bei jeder KI-Anwendung gibt es keine Garantie, dass alle Details vollständig berücksichtigt werden – je präziser und vollständiger Ihre Beschreibung ist, desto besser das Ergebnis.
Beachten Sie, dass eine Überlastung des Kontextfensters des Modells zu schlechteren Ergebnissen führen kann. Formulieren Sie Ihre Beschreibungen daher ausführlich, aber fokussiert.
Sind KI-generierte Testsuiten in QF-Test reproduzierbar?
KI-generierte Tests variieren zwischen Testläufen – das liegt in der Natur nicht-deterministischer KI. Bleibt der Prompt jedoch konstant, ähnelt sich die Gesamtstruktur der generierten Tests stark.
Die KI-Testgenerierung in QF-Test ist von Natur aus nicht-deterministisch: Mehrere Durchläufe desselben Generierungsvorgangs liefern unterschiedliche Ergebnisse. Das ist ein grundlegendes Merkmal großer Sprachmodelle.
Bleibt der Prompt zur Testgenerierung über alle Testläufe hinweg derselbe, fallen auch Struktur und Ansatz der generierten Testsuiten in der Regel ähnlich aus – auch wenn sich konkrete Schritte oder Formulierungen unterscheiden. Betrachten Sie jeden Testlauf als Entwurf, den Ihr QA-Team prüft und verfeinert – nicht als fertiges Testpaket.