Wann amortisiert sich das Testtool?
Schon ab dem dritten Testzyklus kann mit Testautomatisierung mit Testautomatisierungstools wie QF-Test eine positive Bilanz beim Testaufwand erreicht werden. Der individuell erreichte ROI kann natürlich immer variieren.
Bei agiler Software-Entwicklung wird der ROI wegen kürzerer Iterationszyklen, bestenfalls täglich oder sogar mehrmals täglich, schneller erreicht als bei klassischen Entwicklungs- und QA-Ansätzen.
Der initiale Aufwand ist ist beim automatisierten Testen zu Beginn höher als beim manuellen Testen.
„Wir haben bisher – und das nur als Zwischenstand – bei unseren End-to-End Test Automation in 25 Projekten mit 5 Technologien (Web, JavaFX, Electron, Android, SWT) an 10 Standorten mit QF-Test 28.638 Stunden eingespart.“
Automatisiertes Testen und Return on Investment (ROI)
Den steigenden Testaufwand bewältigen
Durch die aufeinander folgenden Entwicklungszyklen müssen immer mehr Funktionalitäten getestet werden. Der steigende Testaufwand ist nur mit Testautomatisierung zu beherrschen.
Im Laufe der Zeit entsteht eine große Basis an Tests und für eine maximale Testabdeckung werden bei neuen Features peu à peu weitere Tests aufgenommen.
Agile Softwareentwicklung hat viele Iterationen und deshalb ist Testautomatisierung eine Notwendigkeit – zusätzlich zu Unittests und stichpunktartigen manuellen Tests.
Zeiteinsparung durch Automatisierung in der Praxis: Beispiele von QF-Test Usern
| Zeit vor Automatisierung | Zeit nach Automatisierung | Ersparnis | Zitat |
|---|---|---|---|
| 8 Stunden | 1 Stunde | 87,5% | Thomas Schöning, ISTQB Certified Testmanager, Airbus Defence and Space GmbH, Multi-INT Products & Projects Germany, Deutschland: Das parallele und automatische Ausführen von ca. 100 Tests dauert ungefähr eine Stunde. Ein manuelles Ausführen der Tests beschäftigte bisher eine Person für drei Stunden pro Konfiguration. Für das Standardprodukt und seine Ausprägung (zwei Modi) ergibt sich also eine Ersparnis von derzeit 8 Stunden pro Tag, eine Zeit, für die wir gern in weitere automatisierte Tests oder andere Tätigkeiten investieren (vollständige Fallstudie). |
| 8 Wochen | 1 Woche | 87,5% | Sean Kane, Manager of Test Engineering, Intervoice Inc., Dallas, USA: Jetzt können wir die Anwendung in einer Woche testen – früher brauchte das acht Wochen. |
| 2 Wochen | 5 Tage | 50% | Gadi Goldbarg, Development Tools, QA Team Leader, Zend, Ramat Gan, Israel: QF-Test hat meine Test-Zyklen von plus/minus zwei Wochen auf fünf Tage (es ist noch nicht alles automatisiert) verkürzt. |
| 1 Tag | 3 Stunden | 62,5% | Denis Gauthier Software Integration, Thales Australia, Melbourne: Ich brauchte einen ganzen Tag um die Non-Regression-Tests zum Laufen zu Bringen. Das wurde jetzt auf drei Stunden reduziert (vollständige Fallstudie). |
| 1 Tag | unter 1 Stunde | 87,5% | Phil Cross, Lockheed Martin, Owego New York, USA: Regressions-Tests unserer Java-Anwendungen, die früher einen ganzen Tag benötigten, sind mit QF-Test in unter einer Stunde erledigt. |
| 7-8 Stunden | 1,5 Stunden | 80% | Heidi Klade, Logistik Pur Software GmbH, Koppl b. Salzburg, Österreich: Unsere Tests laufen 90 Minuten. Ich schätze, dass ein manueller Testdurchlauf 7-8 Stunden konzentrierte Arbeit kosten würde. |
| Reduktion um fast 50% | CertiCon, Prag, Tschechische Republik: In wenigen Monaten erreichten wir die Reduzierung der Testdurchführungszeit um fast 50%, indem wir Hunderte von zusätzlichen Testfällen hinzufügten. (vollständige Fallstudie). |
Die vollständigen Zitate finden Sie hier: Vorteile für Entscheider
Phasen des Testprozesses mit hohem Einfluss auf den ROI
Die drei rosa markierten Phasen des Testprozesses (im Bild links) Testfall-Entwicklung, Testfall-Ausführung und Pflege der Testfälle beeinflussen den Return on Investment bei der Automatisierung von Tests am meisten.
| Phase des Testprozesses | Manuelles Testen | Automatisiertes Testen |
|---|---|---|
| Testplanung | Die Testplanung umfasst das Planen der Tests und die Bereistellung der Testumgebung. Das ist beim manuellen und automatisierten Testen identisch. | |
| Testfall Spezifikation | Bei manuellen und automatisierten Tests braucht man die Analyse und Beschreibung der Testfälle. | |
| Entwicklung | Um die Konsistenz zu gewährleisten, müssen bei manuellen Tests die Anweisungen für die Tester aufwendig erstellt werden. | Die Implementierung der Testfälle mit dem Testtool braucht Zeit, Geld und Ressourcen. Die Anfangsinvestition amortisiert sich über die Testzyklen hinweg. |
| Dokumentation | Bei manuellem Testen korreliert der Testplan mit den Testanweisungen. | Durch die Automatisierung kann die Dokumentation schnell aus den Testfällen generiert werden. |
| Testfall Verwaltung | Sowohl die manuelle als auch die automatisierte Teststrategie erfordern die Verwaltung von Dokumenten. | |
| Testausführung | Die Testausführung stellt den größten Kostentreiber dar, da sie sowohl durch Hardware als auch durch Personalaufwand verursacht wird. Zudem besteht die Möglichkeit, dass Flüchtigkeitsfehler auftreten. | Das Testtool ist hierbei sehr zuverlässig bei der Testausführung. Es nutzt die Hardware optimal aus. |
| Verwaltung der Ergebnisse | Bei manuellem Testen werden die Ergebnisse per Hand eingetragen. | Der Vorteil der Automatisierung ist die automatische Generierung des Reports. Dies erhöht die Qualität des Berichts und erleichtert bzw. beschleunigt die Reporterstellung. |
| Pflege der Testfälle | Bei manuellen Tests würde man die Testanweisungen nur nach fundamentalen Änderungen anpassen. Kleinere Änderungen in der Zwischenzeit werden daher nicht geprüft. | Testfälle im GUI müssen natürlich angepasst werden, was Wartungsaufwand mit sich bringt. Der Vorteil eines Testtools liegt jedoch darin, dass Änderungen in der grafischen Oberfläche nur einmal vorgenommen werden müssen. Darüber hinaus ermöglicht es eine effiziente Modularisierung sowie eine zuverlässige Wiedererkennung der Komponenten. |
Überzeugen auch Sie sich, wie QF-Test bei Ihnen einen schnellen ROI generieren kann!
Die unterstützten Technologien
-
HTML 5, Web-Anwendungen cross-browser und headless mit CDP-Connection Mode und Web-Driver
-
Jegliche Java Anwendung (Java Swing, SWT/Eclipse, JavaFX) cross-plattform auf Windows, Linux und macOS
-
Native, moderne Windows Anwendungen (Win32, .Net, Windows Apps, C++)
-
Android und iOS Anwendungen mit echten Geräten und Emulator
-
PDF-Testen mit jeder QF-Test Entwickler Lizenz
