QF-Test
Handbuch

10.0+28.1 Q12-TMT

Q12-TMT ist ein Werkzeug für professionelles Software-Testmanagement in komplexen IT-Projekten, entwickelt von mgm technology partners. Die enge Integration mit QF-Test ist ein fortlaufender Prozess. Bereits verfügbar ist die Möglichkeit, Testergebnisse aus QF-Test in TMT zu importieren. Der bidirektionale Import/Export von Testfällen ist in Planung.

28.1.1 Integrationskonzepte

Die Zuordnung und Korrelation von Testfällen zwischen QF-Test und einem Testmanagement-Tool ist ein Konzept, das über TMT hinausgeht. Kurz gesagt wird ein beliebiger, aber auf das Management-Tool bezogenes Doctag gewählt und in der Option Doctag zur Identifikation von Testfällen in TMT angegeben. Für TMT ist das Standard-Doctag @tmtid. Für jeden QF-Test-Testfall-Knoten, der einen TMT-Testfall implementiert, sollte der entsprechende @tmtid-Doctag zu seinem Bemerkung-Attribut hinzugefügt werden, mit der ID des TMT-Testfalls als Wert, z.B. @tmtid C_36. Zwischen QF-Test- und TMT-Testfällen besteht eine N:M-Beziehung, d.h. ein QF-Test-Testfall kann mehrere @tmtid-Doctags enthalten, und mehrere QF-Test-Testfälle können dasselbe Doctag enthalten.

Für eine enge Integration mit TMT kann es auch nützlich sein, QF-Test-Testsuiten über ihre Testsuite-Knoten mit TMT-Testsuiten zu verknüpfen (z.B. @tmtid S_11), Testfallsatz-Knoten mit TMT-Ordnern (z.B. @tmtid F_36) und Testschritt-Knoten mit TMT-Testschritten (z.B. @tmtid TS_C_36_1). Letzteres ist ein künstliches Konzept. Da TMT-Testschritte keine eigene ID haben, werden sie über den enthaltenden Testfall plus ihren 1-basierten numerischen Index dargestellt. Wenn solche zusätzlichen @tmtid-Doctags verwendet werden, muss die Option Optionaler regulärer Ausdruck für TMT-Testfälle auf C_.* gesetzt werden, damit QF-Test TMT-Testfälle korrekt identifizieren kann.

Testläufe in TMT definieren eine Reihe von Aufgaben, die entweder manuell oder automatisiert oder in manchen Fällen beides ausgeführt werden sollen. Zu diesem Zweck werden Testfälle zum Testlauf hinzugefügt, und das Ergebnis für jeden Testfall wird nach seiner Ausführung gesetzt. QF-Test kann beim Hochladen von Daten einen Testlauf automatisch erstellen.

28.1.2 Testergebnisse zu TMT hochladen

Beim Hochladen von Testergebnissen zu TMT müssen einige Entscheidungen getroffen werden:

Die folgenden Abschnitte erläutern, wie Sie QF-Test konfigurieren, um diese Fragen zu beantworten.

28.1.2.1 Einstellungen und Voraussetzungen

Für die Interaktion mit TMT müssen mehrere Optionen konfiguriert werden. Diese können im QF-Test-Optionendialog gesetzt oder beim Ausführen im Batchmodus über Kommandozeilenargumente angegeben werden:

Für das Client-Secret und das Passwort wird dringend empfohlen, die verschlüsselte Form ${decrypt:...} anstelle von Klartext zu verwenden. Details zu allen TMT-bezogenen Optionen finden Sie unter TMT-Einstellungen.

28.1.2.2 Interaktives Hochladen aus der QF-Test-Oberfläche

Neben dem unten beschriebenen Batchmodus können Sie Testergebnisse nach einem interaktiven Testlauf auch direkt aus der QF-Test-Oberfläche zu TMT hochladen.

Gehen Sie dazu wie folgt vor:

  1. Öffnen Sie nach einem Testlauf das Protokoll in QF-Test.
  2. Klicken Sie auf die Schaltfläche Report erstellen in der Toolbar oder wählen Sie »Datei«-»Report erstellen...«. Aktivieren Sie im Dialog zur Reporterstellung die Option TMT im Exportbereich, um das Hochladen zu TMT zu aktivieren.
  3. Nach dem Bestätigen des Report-Dialogs erscheint der Dialog Ergebnisse zu TMT hochladen. Dieser zeigt alle relevanten Einstellungen, einschließlich Verbindungsparameter, Projekt, Version und Zieltestlauf. Bereits im QF-Test Optionendialog konfigurierte Optionen werden automatisch vorausgefüllt.
  4. Prüfen und passen Sie die Einstellungen bei Bedarf an und bestätigen Sie den Dialog. QF-Test erstellt den Report und lädt die Testergebnisse in den angegebenen TMT-Testlauf hoch. Der Fortschritt wird während des Hochladens in der Statusleiste angezeigt.
  5. Nach Abschluss des Hochladens informiert ein Ergebnisdialog darüber, ob das Hochladen erfolgreich war, zusammen mit allen Meldungen des Hochladevorgangs.

Die im Hochlade-Dialog eingegebenen Einstellungen werden für den Rest der Sitzung gespeichert und beim nächsten Report mit aktiviertem TMT-Upload automatisch vorausgefüllt.

Hinweis Der Zieltestlauf muss im Hochlade-Dialog angegeben werden. Geben Sie eine bestehende Testlauf-ID (z.B. R_123) ein, um Ergebnisse zu einem vorhandenen Lauf hinzuzufügen, oder new (optional gefolgt von :<Titel>), um einen neuen Lauf zu erstellen.

28.1.2.3 Kommandozeilenparameter

Das Hochladen von Testergebnissen erfolgt als Nebeneffekt der Reporterstellung. Um die TMT-Verarbeitung zu aktivieren, verwenden Sie das Argument -report-tmt beim Erstellen eines Reports oder beim Ausführen von Tests im Batchmodus. Allgemeine Informationen zur Reporterstellung finden Sie unter "Einen Report aus Protokollen erstellen".

Die folgenden Kommandozeilenargumente sind für die TMT-Integration verfügbar. Die meisten davon entsprechen den oben aufgeführten Optionen:

-tmt-url <URL>
Gibt die Basis-URL des TMT-Servers an, zu dem die Verbindung hergestellt werden soll.
-tmt-clientid <Client-ID>
Gibt die Client-ID für die Authentifizierung mit der TMT-API an. Standardwert ist uaa-auth-client.
-tmt-secret <Client-Secret>
Gibt das Client-Secret für die Authentifizierung mit der TMT-API an.
-tmt-user <Benutzername>
Gibt den Benutzernamen für die Authentifizierung mit TMT an.
-tmt-password <Passwort>
Gibt das Passwort für den angegebenen TMT-Benutzer an.
-tmt-project <Projekt>
Gibt die ID des TMT-Projekts an, in das die Ergebnisse hochgeladen werden.
-tmt-subproject <Unterprojekt>
Gibt die ID des TMT-Unterprojekts an. Leer lassen, wenn das Projekt keine Unterprojekte verwendet.
-tmt-version <Version>
Gibt die Version des TMT-Projekts an, in die die Testergebnisse hochgeladen werden.
-tmt-testrun <Testlauf>
Gibt die ID des TMT-Testlaufs an, in den die Ergebnisse hochgeladen werden. Dieses Argument ist erforderlich. Verwenden Sie new, um einen neuen Testlauf mit Standardtitel zu erstellen, oder new:<Titel>, um einen benutzerdefinierten Titel anzugeben.
-tmt-extend
Gibt an, ob Testfälle automatisch zu einem bestehenden Testlauf hinzugefügt werden sollen, wenn sie noch nicht Teil davon sind. Standardwert ist true. Verwenden Sie -tmt-extend=false zum Deaktivieren.

Hinweis Passwörter und Client-Secrets auf der Kommandozeile sind unsicher. Alternativ können Sie die Optionen Client-Secret für TMT und Passwort für TMT im QF-Test-Optionendialog konfigurieren, aber in allen Fällen wird die verschlüsselte Form mit ${decrypt:...} empfohlen.

28.1.2.4 Beispiel

Das folgende Beispiel zeigt einen typischen Batch-Aufruf, der eine Testsuite ausführt und die Ergebnisse in einen neuen TMT-Testlauf hochlädt: 

qftest -batch -genreport -report ReportDir \
    -report.tmt -tmt-url "https://tmt.example.com" \
    -tmt-project "P_42" -tmt-suproject "SP_6" -tmt-version "1.1.0" \
    -tmt-testrun "new:Nightly Build RC_2602_1" \
    SmokeTestSuite.qzp
Beispiel 28.1:  Testergebnisse zu TMT hochladen

In diesem Beispiel wird angenommen, dass das Client-Secret, der Benutzername und das Passwort in den QF-Test-Optionen konfiguriert sind. Wenn Sie diese lieber auf der Kommandozeile übergeben möchten, fügen Sie die Argumente -tmt-secret <Client-Secret>, -tmt-user <Benutzername> und -tmt-password <Passwort> entsprechend hinzu. Umgekehrt können die Argumente -tmt-project <Projekt>, -tmt-subproject <Unterprojekt> und -tmt-version <Version> entfallen, wenn die entsprechenden Optionen konfiguriert sind.

Um Ergebnisse in einen bestehenden Testlauf hochzuladen anstatt einen neuen zu erstellen, ersetzen Sie -tmt-testrun "new:..." durch die ID des Testlaufs, z.B. -tmt-testrun "T_123". Setzen Sie in diesem Fall -tmt-extend=false, wenn Sie nicht möchten, dass Testfälle automatisch zum Testlauf hinzugefügt werden.

28.1.2.5 Verwendung einer Optionsdatei

Die Angabe aller TMT-bezogenen Argumente auf der Kommandozeile kann unhandlich werden und Ihre Batch-Skripte aufblähen. Alternativ können Sie diese Argumente in eine Optionsdatei schreiben und diese über das Argument -options <Datei> referenzieren. Dieser Ansatz hält Ihre Kommandozeile übersichtlich und ermöglicht es, TMT-Einstellungen separat zu verwalten.

Erstellen Sie eine Datei namens tmt.options mit folgendem Inhalt: 

tmt-url=https://tmt.example.com
tmt-secret=${decrypt:ylAr5/4nu...}
tmt-user=automation
tmt-password=${decrypt:QhtrY7w...}
tmt-project=P_42
tmt-subproject=SP_6
tmt-version=1.1.0
Beispiel 28.2:  Beispiel einer tmt.options-Datei

Referenzieren Sie diese Datei dann in Ihrem Batch-Aufruf: 

qftest -batch -genreport -report ReportDir \
    -options tmt.options -report-tmt \
    -tmt-testrun "new:Nightly Build RC_2602_1" \
    SmokeTestSuite.qzp
Beispiel 28.3:  Batch-Aufruf mit Optionsdatei

Argumente auf der Kommandozeile überschreiben jene aus der Optionsdatei, sodass Sie den Testlauf und andere laufspezifische Argumente weiterhin direkt angeben können. Sie können auch mehrere Optionsdateien verwenden, um beispielsweise Anmeldedaten von Projekteinstellungen zu trennen. Der Wert für -options <Datei> muss ein Pfad relativ zum Arbeitsverzeichnis des QF-Test Batch-Laufs oder ein absoluter Pfad sein.

Hinweis Speichern Sie Optionsdateien mit Anmeldedaten sicher und schließen Sie sie von der Versionsverwaltung aus.