Fragen zu KI-Tests

Fall 1 - Update-Check

Nur in der grafischen Oberfläche und nur mit Zustimmung

Der Update-Check findet nur in der grafischen Oberfläche statt und nur mit Zustimmung des Anwenders. Im Batch- und Daemon-Modus findet er nie statt. Abschalten lässt er sich per Startparameter -noupdatecheck oder über die Option .

Fall 2 - Browser-Treiber

Download nur im WebDriver-Modus

Der Download von Browser-Treibern erfolgt nur im WebDriver-Modus für Chrome und Edge. Im Standardmodus (CDP) ist kein Download nötig.

Fall 3 - KI-Funktionen

Verbindung nur mit konfiguriertem Sprachmodell

KI-Funktionen bauen nur dann eine Verbindung auf, wenn ein Sprachmodell konfiguriert ist. Mit einem lokalen Modell bleibt auch diese Verbindung in Ihrem Netz.

QF-Test sammelt keine Nutzungsstatistiken oder Telemetriedaten. Auch die Lizenzprüfung und der Lizenzserver kommunizieren nicht mit dem Internet.

Ja. Der Installer enthält die benötigte Java-Laufzeitumgebung, es wird nichts nachgeladen.

Neue Versionen installieren Sie parallel zur bestehenden und behalten so eine Rückfallebene.

Lizenz-Updates spielen Sie über Hilfe › Lizenz aktivieren… ein oder tauschen einfach die Lizenzdatei aus.

Nein. Die Lizenz ist eine signierte Datei, die Sie einmal ablegen.

Gleichzeitig laufende Instanzen stimmen sich ausschließlich in Ihrem Netz ab:

• Im lokalen Subnetz per IP-Multicast
• Über Netzgrenzen hinweg über einen Lizenzserver, den Sie selbst betreiben

Auch bei Verlängerungen gibt es keine Online-Aktivierung.

Ja. Für Chrome und Edge nutzt QF-Test standardmäßig das Chrome DevTools Protocol (CDP), das ohne separaten Treiber auskommt. Den GeckoDriver für Firefox liefern wir mit, Safari bringt seinen Treiber selbst mit.

Nur wenn Sie für Chrome oder Edge bewusst den WebDriver-Modus wählen, lädt QF-Test chromedriver bzw. msedgedriver automatisch herunter. Alternativ legen Sie die Treiber intern ab und verweisen mit der Umgebungsvariable QFTEST_WEBDRIVERS_ROOT darauf.

Weg 1 - Konfiguration

Kein LLM eintragen, MCP-Server nicht aktivieren

Legen Sie in der Tabelle “LLM-Konfigurationen” keinen Eintrag an und setzen Sie den Haken bei “Eingebetteten MCP-Server aktivieren” nicht. Ohne konfiguriertes Sprachmodell führt QF-Test keine KI-Anfragen durch.

Weg 2 - Systemoption

Option “KI-Funktionen blockieren” aktivieren

Die Systemoption OPT_BLOCK_AI deaktiviert auf einen Schlag alle Funktionen, die LLM-Aufrufe durchführen oder KI-Schnittstellen bereitstellen - unabhängig von anderen Einstellungen.

Weg 3 - Installation

KI-Bibliotheken entfernen

Unter Windows können KI-Funktionen bereits bei der Installation abgewählt werden. Unter Linux und macOS löschen Sie einfach die Dateien lib/langchain4j.jar und lib/mcp.jar aus dem Installationsverzeichnis.

Alle drei Wege sind dauerhaft wirksam und lassen sich kombinieren - z. B. für Umgebungen, in denen eine Firmenrichtlinie den Einsatz von KI-Funktionen grundsätzlich untersagt.

Die KI kann unter Verwendung von MCP-Tools, die QF-Test bereitstellt, mit dem SUT interagieren. Dabei nutzt sie die Komponentenerkennung und simuliert User-Interaktionen auf die gleiche Weise.

Bei Verwendung von KI in QF-Test werden alle Aktionen, MCP-Tool-Nutzungen und Antworten des KI Agenten im Protokoll dokumentiert. Dies ermöglicht eine vollständige Nachverfolgung, was der Agent getan hat und wie er zu seinen Ergebnissen gelangt ist.

Die autonome Erkundung ist für Testumgebungen konzipiert. Unwiderrufliche Aktionen, versehentliche Löschvorgänge oder der Zugriff auf Systeme außerhalb der Testumgebung müssen durch die Testumgebung selbst kontrolliert werden – nicht durch den KI-Agenten. Dies gilt für jeden KI-Agenten gleichermaßen.

Tiefenbegrenzungen können in der Testbeschreibung angegeben werden und werden in der Praxis in der Regel eingehalten. Ein Mechanismus zur technischen Durchsetzung ist aktuell jedoch nicht vorhanden. Der Agent kann jederzeit gestoppt werden, wenn während der Erkundung unerwünschtes Verhalten beobachtet wird.

Es gibt derzeit keine zuverlässige Möglichkeit, die KI daran zu hindern, den aktuellen Anwendungszustand als Erwartungsverhalten zu übernehmen. Das ist jedoch auch nicht der primäre Zweck der Funktion – sie soll QA-Teams einen strukturierten Ausgangspunkt für die Teststruktur liefern, den diese anschließend prüfen und verfeinern.

Für stabile Tests empfiehlt es sich wo möglich, die erzeugten KI-Knoten durch traditionelle QF-Test Knoten zu ersetzen.

Der Prompt, der an den KI-Agenten gesendet wird, besteht aus zwei Teilen: einem Basis-Prompt (definiert in der Bibliotheks-Testsuite qfs-ai.qft, überschreibbar in einer eigenen Testsuite wie user-ai.qft) und Ihrer Testbeschreibung. Diese Beschreibung kann so ausführlich sein, wie Sie möchten.

In den Prompt können Sie Tickets und Testpläne, Akzeptanzkriterien, Geschäftsregeln oder Verweise auf bestehende Tests integrieren. Wie bei jeder KI-Anwendung gibt es keine Garantie, dass alle Details vollständig berücksichtigt werden – je präziser und vollständiger Ihre Beschreibung ist, desto besser das Ergebnis.

Beachten Sie, dass eine Überlastung des Kontextfensters des Modells zu schlechteren Ergebnissen führen kann. Formulieren Sie Ihre Beschreibungen daher ausführlich, aber fokussiert.

Die KI-Testgenerierung in QF-Test ist von Natur aus nicht-deterministisch: Mehrere Durchläufe desselben Generierungsvorgangs liefern unterschiedliche Ergebnisse. Das ist ein grundlegendes Merkmal großer Sprachmodelle.

Bleibt der Prompt zur Testgenerierung über alle Testläufe hinweg derselbe, fallen auch Struktur und Ansatz der generierten Testsuiten in der Regel ähnlich aus – auch wenn sich konkrete Schritte oder Formulierungen unterscheiden. Betrachten Sie jeden Testlauf als Entwurf, den Ihr QA-Team prüft und verfeinert – nicht als fertiges Testpaket.