QF-Test für UI-basierte Lasttests
Dieses Video zeigt Ihnen, wie Sie mit der QF‑Test Demo-Testsuite einfach Systemlast über die UI erstellen, dabei wird das gesamte System bis zum Endanwender beobachtet.
- Die Anwendung wird unter Last/Stress gesetzt. Durch die Ausführung vieler gleichzeitiger/synchroner Aktionen wird die Belastungsgrenze der Anwendung getestet. Die Besonderheit von QF-Test ist, dass Lasttest über die grafische Oberfläche (User/Transaktion per QF-Test, auf deren eigenen Benutzersessions) gefahren werden können und somit nicht zwangsläufig Protokoll-basiert sind.
- Fehler nicht-funktionaler Natur werden aufgedeckt: z.B. Antwortzeiten, simulierter Livebetrieb, Stabilität Server/Client Umgebung, was eine Ergänzung zu funktional orientierten Tests darstellt.
- Lasttests können aus Bausteinen funktionaler Tests aufgebaut werden (QF-Test ist primär ein funktionales UI testing tool), wodurch bestehende Schritte wiederverwendet werden können.
- Eine clientseitige Überprüfung der Hardwaredimensionen ist möglich. Alternativen: über Virtuelle Rechner/Desktops, cloudbasierte Lösungen, Docker/Container.
- QF-Test ermöglicht die Anbindung an viele verschiedene andere Tools, wodurch eine geschickte „Lasterzeugung“ möglich ist: Tools wie JMeter, JUnit kombiniert mit Testfällen von QF-Test, spezialisierte Lasttesttools wie NeoLoad (protokollbasiertes Tool für Web), Loadrunner von hp, Gatling, Silkperformer, Scapa TPP etc.
- Die technischen Details und die Umsetzung von QF-Test Lasttests werden im Handbuch beschrieben. Ein einfaches Szenario, eine Beispielimplementierung in der QF-Test Installation mitgeliefert.
- Zur Durchführung von Lasttests (auch für größere Zahlen) können kostengünstige Runtimelizenzen gekauft bzw. für einen bestimmten Zeitraum gemietet werden.
Praxisbeispiele
Frau Weiß vom MÜNCHENER VEREIN, München: „Wenn die Kosten-Nutzenanalysen in einem Projekt einen umfassenden Lasttest nicht empfehlen, werden bei der MÜNCHENER VEREIN Versicherungsgruppe die vorhandenen QF-Test-Automatisierungen entweder manuell oder zeitgesteuert über Batch-Jobs auf 20 virtuellen Maschinen parallel gestartet. Somit wird Last auf die Anwendung erzeugt und eine Aussage hinsichtlich Performance ermöglicht.“
Evaluationsbericht für Lasttests: 11 Tools im Vergleich, Opensource wie kommerziell: Praxisbeispiel ALEA GmbH
Lasttests mit QF-Test im Webbereich
Anbindung an hochspezialiserte kommerzielle Tools:
- NeoLoad von Tricentis (früher Neotys)
- Loadrunner von hp
- Silkperformer
- Scapa TP
Ebenso an OpenSource Tools:
- JMeter
- Gatling
NeoLoad und QF-Test
QF-Test betrachtet die Web-Oberfläche, NeoLoad die Backend-Systeme und Netzwerk-Ebene.
- In QF-Test erstellte Regressionstests können durch NeoLoad als Lasttests, Stresstests und Performancetests weiter verwendet werden.
- Im Webbereich werden solche Tests auf Ebene der Netzwerkprotokolle durchgeführt, d.h. ohne Bilddarstellung im Browser. NeoLoad verarbeitet die QF-Test Regressionstests zu Web-Lasttests.
- Muth Partners hat zur einfachen Integration von bestehenden Skripten aus QF-Test eine spezielle Schnittstellensoftware entwickelt.
Vorteile von Lasttests mit beiden Tools
- Diese NeoLoad-Lasttests enthalten mit der Metrik der End User Experience neue Möglichkeiten in der Auswertung.
- Weitgehend automatisierter Import von QF-Test nach NeoLoad.
- Über die Bezeichnungen von Sequenzen und Transaktionen ist Wiedererkennung gegeben.
Weiterführende Informationen
- Whitepaper von NeoLoad
- Webinaraufzeichnung
- Pressemitteilung von QFS und Neotys
- Whitepaper von Muthpartners zur Integration von QF-Test in Neoload
Überzeugen Sie sich selbst:
- Checkliste zur Überprüfung Ihrer Anforderungen und zum Vergleich mit anderen Tools für automatisierte UI-Tests
- Evaluationsberichte zum Nachlesen
- kostenlose Testlizenz, voll funktionsfähig, für 4 Wochen
FAQ – häufig gestellte Fragen zum Thema Performance- und Lasttests
Wie oft sollten automatisierte Performance Tests laufen?
Idealerweise laufen kleine Smoke-Performance-Checks bei jedem wichtigen Build oder Merge.
Wie oft sollten automatisierte Performance Tests laufen?
Idealerweise laufen kleine Smoke-Performance-Checks bei jedem wichtigen Build oder Merge.
Umfangreichere Last- und Stabilitätstests werden meist nightly oder vor Releases eingeplant, damit Ergebnisse vergleichbar bleiben.
Welche Mindestanforderungen sollte ein automatisierter Performance Test erfüllen?
Er sollte reproduzierbar sein, ein klar definiertes Lastprofil haben und messbare Zielwerte (z. B. p95-Latenz, Fehlerrate) prüfen.
Welche Mindestanforderungen sollte ein automatisierter Performance Test erfüllen?
Er sollte reproduzierbar sein, ein klar definiertes Lastprofil haben und messbare Zielwerte (z. B. p95-Latenz, Fehlerrate) prüfen.
Zusätzlich braucht es Monitoring, damit Ursachen bei Abweichungen nachvollziehbar sind.
Wie geht man mit externen Abhängigkeiten (z. B. Payment, Login, APIs) in automatisierten Tests um?
Entweder werden sie bewusst als Teil des End-to-End-Szenarios mitgetestet oder kontrolliert ersetzt (Mock/Staging), um stabile Ergebnisse zu erhalten.
Wie geht man mit externen Abhängigkeiten (z. B. Payment, Login, APIs) in automatisierten Tests um?
Entweder werden sie bewusst als Teil des End-to-End-Szenarios mitgetestet oder kontrolliert ersetzt (Mock/Staging), um stabile Ergebnisse zu erhalten.
Entscheidend ist, die Strategie pro Abhängigkeit festzulegen und in den Ergebnissen transparent zu machen.
Wie verhindert man, dass Performance Tests „flaky“ werden?
Durch feste Testfenster, stabile Testdaten, identische Konfigurationen und wiederholte Läufe mit Median-/Perzentil-Vergleich.
Wie verhindert man, dass Performance Tests „flaky“ werden?
Durch feste Testfenster, stabile Testdaten, identische Konfigurationen und wiederholte Läufe mit Median-/Perzentil-Vergleich.
Zusätzlich hilft es, Schwellenwerte mit Toleranzen zu definieren und die Infrastruktur während Tests nicht parallel zu belasten.