Der perfekte Durchblick: QF-Test Ergebnisse in Q12-TMT und Xray integriert

Q12-TMT und Xray Test Management sind beliebte Testverwaltungswerkzeuge. In diesem Spezialwebinar zeigen wir Ihnen, wie sie mit den neuesten Funktionen in QF-Test Ihre Testergebnisse mit Q12-TMT und Xray synchronisieren können. So kombinieren Sie die detaillierten Berichte von QF-Test mit den Stärken dieser Tools. Ergänzt wird das Webinar um eine kurze Vorstellung von Q12-TMT unserer Muttergesellschaft mgm technology partners.

Transkript

Kapitel 1: Intro

Noch mal herzlich willkommen zu unserem speziellen Webinar. Heute wollen wir gemeinsam Antworten auf die Frage suchen:

• Wie behalte ich bei den vielen Anwendungstests eigentlich den Überblick?
• Woher weiß ich, was wann wie fehlgeschlagen ist?
• Und ist das jetzt schlimm oder nicht?

Das Stichwort hier ist natürlich Testmanagement-Systeme.

Heute legen wir den Fokus besonders auf zwei Systeme, mit denen QF-Test seit der letzten Version besonders eng verzahnt ist:

• das bekannte Xray-System
• sowie das leistungsfähige Q12-TMT

Mit dabei sind heute zwei ausgewiesene Experten zum Thema:

• Gregor Schmidt, der Erfinder von QF-Test, der auch nach 25 Jahren noch die treibende Kraft hinter der QF-Test-Entwicklung ist
• sowie Thomas Rätzel aus Leipzig, der seit fast zehn Jahren bei MGM Teamleiter im Qualitätssicherungsbereich ist und uns Q12-TMT vorstellen wird

Ich selbst bin Pascal Bihler, ebenfalls Entwickler bei QF-Test, und versuche parallel eure Fragen zu beantworten.

Also los geht’s. Gregor, ich freue mich schon.

Gregor Schmidt

Vielen Dank, Pascal, für die wunderbare Einführung.

Die Integration von Testmanagement-Tools in QF-Test ist kein neues Thema. Auf der Folie hier rechts sieht man einige frühere Integrationen, die es zum Teil schon sehr lange gibt, etwa:

• HP ALM
• die imbus TestBench

In letzter Zeit kamen jedoch immer mehr Nachfragen nach einer konkreteren Anbindung an Xray.

Xray ist aktuell wohl der Platzhirsch auf Basis von Atlassian Jira – mit allen Vor- und Nachteilen, die damit verbunden sind.

Unser erster Ansatz war zu prüfen, ob wir die JUnit-Reports so umschreiben können, dass sie direkt in Xray hochgeladen werden können. Das ist grundsätzlich möglich, aber sehr eingeschränkt, weil es eben nur exakt für diesen einen Fall funktioniert.

Parallel dazu entstand über die letzten Jahre auch Q12-TMT. Das Tool ist noch nicht so bekannt, stammt aber von unserer Mutterfirma MGM Technology Partners und wird dort bereits intensiv in vielen Projekten eingesetzt – natürlich auch zusammen mit QF-Test.

Daher bestand dort ebenfalls ein starker Bedarf nach einer engeren Verzahnung.

Geplante Funktionen

Für beide Testmanagement-Tools arbeiten wir außerdem an:

• Import/Export kompletter Testsets
• Hierarchien von Testfällen
• Synchronisation zwischen den Systemen

Das ist aktuell noch nicht releasefähig, wird aber in zukünftigen Versionen kommen.

Was wir zuerst umgesetzt haben – weil hier der größte Bedarf bestand – ist das:

• Hochladen von Testergebnissen in die jeweiligen Testmanagement-Tools.

Damit das nicht zu abstrakt bleibt, wird mein Kollege Thomas jetzt Q12-TMT aus Anwendersicht vorstellen.

Die Konzepte sind übrigens sehr ähnlich zu Xray. Auch technisch verfolgen wir bei beiden Systemen einen nahezu identischen Ansatz – nur die konkreten Requests unterscheiden sich.

Thomas, damit zu dir.

Kapitel 2: Demo Q12-TMT

Was ist Q12-TMT?

Q12-TMT steht für: Test Management Tool

Das Tool basiert auf unserer hauseigenen Low-Code-Plattform R12.

Warum haben wir ein eigenes Testing-Tool entwickelt?

Ganz einfach:

Wir haben in der Vergangenheit mit anderen Tools gearbeitet, uns fehlten jedoch bestimmte Funktionen. Deshalb haben wir gesagt: Wir sind ein Software-Lösungshaus und in der Lage, ein eigenes Tool zu entwickeln, das exakt unsere Anforderungen abbildet.

Grundaufbau von TMT

TMT ist relativ intuitiv bedienbar, sobald man die Grundstruktur verstanden hat.

Wir sehen hier ein geöffnetes Projekt. TMT unterstützt mehrere Projekte und unterschiedliche Testverwaltungsbereiche.

Für dieses Webinar verwenden wir als Beispiel den bekannten Car Configurator

Projektübersicht

In der Übersicht sieht man unter anderem:

• Anzahl der Testfälle
• Bearbeitungsstatus
• Versionen
• weitere Projektinformationen

Auf der linken Seite befinden sich verschiedene Navigationsbereiche.

Ein wichtiger Bereich ist die Testautomatisierung.

Dort kann man pro Testfall hinterlegen:

• bereits automatisiert
• noch zu automatisieren
• bewusst manuell

Dadurch entsteht quasi ein kleines Taskboard für Automatisierer.

Testfälle und Testläufe

Die zwei wichtigsten Bereiche sind:

Testsuiten

Hier wird definiert:

• welche Testfälle existieren
• wie sie organisiert sind

Test Runs

Hier sieht man:

• welche Tests ausgeführt wurden
• Ergebnisse
• Status
• Startzeit
• eindeutige IDs

Grafische Auswertung

Besonders spannend:

TMT bietet grafische Auswertungen.

Über das sogenannte „Feuerwerkdiagramm“ erkennt man beispielsweise:

• Fehlercluster
• Häufungen
• offene Bereiche

Farben zeigen direkt:

• Grün = erfolgreich
• Rot = fehlgeschlagen
• weitere Statuswerte

Strukturierung der Tests

Die Anwendung kann beliebig strukturiert werden, zum Beispiel:

• nach UI-Bereichen
• funktional
• nach Komponenten

Im Beispiel:

• Vehicles
• Specials
• Accessories

Die Struktur ist komplett flexibel und kann an die jeweilige Teststrategie angepasst werden.

Aufbau eines Testfalls

Ein Testfall enthält typischerweise:

• Titel
• Status
• Verantwortliche Personen
• Automatisierungsstatus
• Beschreibung
• Jira-Verlinkungen
• Risikobewertung
• Vorbedingungen
• Testschritte
• erwartete Ergebnisse

Zusätzlich gibt es Formatierungsmöglichkeiten für bessere Lesbarkeit.

Historie & Versionierung

Ein zentrales Feature von TMT ist die Versionierung.

Das bedeutet:

• neue Versionen können aus bestehenden erzeugt werden
• Historien bleiben erhalten
• Testfälle werden fortgeführt
• Änderungen werden nachvollziehbar gespeichert

Beispiel:

• Version 1.8
• neue Version 2.0

Versionsdelta

Ein besonders wichtiges Konzept ist das sogenannte Versionsdelta.

Das bedeutet: neue Testfälle werden markiert, bearbeitete Testfälle ebenfalls. Dadurch erkennt TMT automatisch, welche Testfälle sich in einer Version geändert haben. Das ist später für die Testausführung extrem hilfreich.

Testläufe erstellen

Ein neuer Testlauf kann sehr einfach erstellt werden.

Danach können Testfälle hinzugefügt werden:

Möglichkeiten:

• automatisch über Versionsdelta
• manuell über Testsuiten
• gezielt nach Automatisierungsstatus

Testausführung

Während der Ausführung kann der Tester:

• einzelne Schritte abhaken
• Ergebnisse dokumentieren
• Status setzen
• später fortfahren

Zusätzlich können Aufgaben direkt bestimmten Personen zugewiesen werden.

Bisheriger Workflow

Bislang war der Workflow folgender:

1. Testfälle in TMT verwalten
2. Verknüpfung mit QF-Test über IDs
3. Ergebnisse manuell zurückführen

Das war natürlich relativ aufwendig.

Deshalb geht es heute darum, wie das künftig automatisiert funktioniert.

Kapitel 3: Die QA-Toolchain aus einer Hand

Ein großer Vorteil von Q12-TMT: Es läuft nicht nur in der Cloud.

Es gibt:

• eine Cloud-Variante
• sowie eine On-Premise-Installation auf eigenen Servern

Dadurch können Kunden je nach Anforderungen flexibel entscheiden.

Außerdem können Supportanfragen gemeinsam über den bekannten QF-Test-Support abgewickelt werden.

Zielbild

Die Vision ist ein durchgängiger Workflow:

QF-Test → TMT/Xray → Risikobasierte Auswertung

Damit entsteht eine vollständige QA-Toolchain.

Kapitel 4: Testergebnisse in TMT/Xray hochladen

Voraussetzungen

Damit das funktioniert, braucht man:

1. automatisierte Tests
2. mindestens einen Testfall mit einer Verknüpfungs-ID

Zum Beispiel:

• @TMTID
• @XID

Verknüpfung der Systeme

Die Verbindung erfolgt über sogenannte Doctags.

Beispiel:

@TMTID=2416
@XID=Xray-12

Dabei gilt:

• mehrere QF-Test-Testfälle können einem Management-Testfall zugeordnet werden
• oder umgekehrt

Es handelt sich also um eine m:n-Beziehung.

Kapitel 5: Xray-Integration

Konfiguration

Für beide Systeme müssen Verbindungsdaten hinterlegt werden:

TMT

• Login
• Projekt
• Unterprojekt
• Version
• Mapping

Xray

• Jira-Zugang
• Cloud/Data-Center-Konfiguration
• Ticket-Typen
• IDs

Testdurchlauf

Beim Testlauf entstehen absichtlich Fehler, damit die Ergebnisse sichtbar werden.

Im Protokoll sieht man dann beispielsweise:

• Exceptions
• fehlgeschlagene Checks
• nicht gefundene Komponenten

HTML-Reports

Für den Upload wird ein HTML-Report benötigt.

Dieser enthält:

• Screenshots
• Fehlermeldungen
• Logs
• Details

Upload nach TMT und Xray

Nach dem Upload entstehen automatisch:

In TMT

• neue Test Runs
• Ergebnisübersichten
• Fehlerstatus
• Historien

In Xray

• Test Executions
• Evidences (Screenshots)
• Kommentare
• Reportlinks

Unterschiede der Statuswerte

Beispiel TMT:

• Fehler → „Nicht bestanden“
• Exception → „Blockiert“

Das Mapping kann individuell angepasst werden.

Historisierung

Ein wichtiger Punkt:

Wenn Tests erneut ausgeführt werden:

• bleibt die Historie erhalten
• neue Ergebnisse überschreiben den aktuellen Stand
• alte Ergebnisse bleiben nachvollziehbar

Batch-Upload

In der Praxis arbeitet man natürlich nicht mit einzelnen Reports.

Typische Größenordnungen: 30.000 bis 40.000 Testcases pro Nachtlauf.

Daher unterstützt QF-Test auch:

• Batch-Uploads
• Kommandozeilenaufrufe
• automatisierte Verarbeitung

Vorteile des Batch-Modus

• mehrere Reports gleichzeitig
• flexible Konfiguration
• verschlüsselte Secrets
• Optionsdateien
• vollständige Automatisierung

Kapitel 6: Zusammenfassung

Zum Abschluss noch einmal die wichtigsten Punkte:

Was wurde gezeigt?

• Verknüpfung von QF-Test mit TMT und Xray
• Upload automatisierter Testergebnisse
• Historisierung
• Batch-Verarbeitung
• Screenshots und Reports direkt im Testmanagement
• Integration manueller und automatisierter Tests

Ergebnis

Dadurch entsteht eine zentrale Plattform für:

• Testmanagement
• Automatisierung
• Auswertung
• Risikobetrachtung
• Historien

Vielen Dank noch einmal an Thomas und Gregor für die ausführliche Vorstellung – und viel Erfolg mit QF-Test und dem Testmanagement-Werkzeug Ihrer Wahl.