QF-Test vs. SilkTest vs. Squish vs. Marathon
Evaluationsergebnisse
Durchführung
Olav Krapp und Matthias Besemer, SBE network solutions GmbH, Heilbronn
Getestete Produkte
Borland SilkTest, Froglogic Squish, QFS QF-Test, Marathon Ergebnis: Gewählt wurde das Produkt QF-Test der Firma QFS.
Begründung
Der Hauptgrund für die Entscheidung liegt in der Tatsache, dass QF-Test weit weniger entwicklerzentriert ist, als die anderen Produkte. Dennoch gewährt QF-Test die notwendige und auch hinreichende Flexibilität bei der Änderung von zu testenden GUI. Als weiterer entscheidender Vorteil ist bei QF-Test die übersichtliche Darstellung und nach einer (allerdings leicht erhöhten) Einstiegsschwelle auch intuitive Bedienung zu nennen. Die Darstellung der Testergebnisse sowie verfügbare Reports runden den Gesamteindruck positiv ab.
Vergleichsmatrix
Produkt |
SilkTest |
Squish |
QF-Test |
Marathon |
Vorteile
|
- einfache Unterstützung von Obfuscating
- Web-Testing bereits integriert
- Screenshots können einfach aufgezeichnet werden
- umfassende Integration in anforderungsbasiertes Testen / Testmanagement
- umfangreiche Tutorials, Dokumentation und Support
|
- Komponenten-Picker für Verifikation usw.
- uneingeschränkte Unterstützung von Linux
- bei Tests auf entfernten Maschinen muss kein Benutzer angemeldet sein
- Verwendung von gebräuchlichen Skriptsprachen
- drei Runtime-Lizenzen in einer Benutzer-Lizenz enthalten
- umfangreiche Tutorials, Dokumentation und Support
- Web-Testing verfügbar (allerdings separate Edition, mit Mehrkosten verbunden)
|
- nicht-entwicklerzentrierte Lösung* (aber dennoch sehr flexibel)
- modern anmutende und im Wesentlichen benutzerfreundliche Bedienoberfläche (sehr übersichtliche Darstellung der Testsuiten, Tests und sonstigen Artefakten)
- uneingeschränkte Unterstützung von Linux
- Abhängigkeiten zur Redundanzvermeidung
- Komponenten-Picker für Verifikation usw.
- einfache Unterstützung von Obfuscating
- Problemlose Ankopplung der SBE-Applikation
- Screenshots können einfach aufgezeichnet werden
- Reports für die Testergebnisse nicht-benutzergebundene Lizenz
- umfangreiche Tutorials, Dokumentation und Support
|
- kostenlos
- offener Quelltext
- Komponenten-Picker für Verifikation usw.
- Problemlose Ankopplung der SBE-Applikation
|
Nachteile
|
- entwicklerzentrierte Lösung*
- veraltet anmutende Bedienoberfläche, wenig intuitive Bedienung
- nur eingeschränkte Unterstützung von Linux (RedHat Enterprise)
- Ankopplung der SBEApplikation fehlerbehaftet
- Verwendung einer eigenen, proprietären Skriptsprache
- bei Tests auf entfernten Maschinen muss Benutzer angemeldet sein
- hoher Preis für die RuntimeLizenz
- nicht-benutzergebundene Lizenz mit Mehrkosten verbunden
|
- entwicklerzentrierte Lösung*
- veraltet anmutende Bedienoberfläche, teilweise umständliche Bedienung (z.B. Erzwingung von Namenskonventionen für Testfälle u.ä.)
- Ankopplung der SBEApplikation fehlerbehaftet
- keine einfache Unterstützung von Obfuscating
- keine einfache Unterstützung von Screenshots im Fehlerfall
- umständliches Konzept der „Verification Points“ (keine Umbenennung möglich, Redundanz)
- Umbenennen symbolischer Komponentennamen sehr umständlich, manuelles Eingreifen notwendig
- begrenzte Integration in Testmanagement
- nicht-benutzergebundene Lizenz mit Mehrkosten verbunden
|
- leicht erhöhte Einstiegsschwelle bei der Bedienung, Icons teilweise nicht sehr intuitiv
- Web-Testing derzeit noch nicht verfügbar (als separate Edition angekündigt, mit Mehrkosten verbunden)
- bei Tests auf entfernten Maschinen muss Benutzer angemeldet sein
- begrenzte Integration in Testmanagement
|
- entwicklerzentrierte Lösung*
- Produkt offensichtlich nicht ausgereift / fehlerbehaftet
- Web-Testing nicht verfügbar
- Dokumentation und Support nicht auf gewünschtem Niveau
|
*Hinweis: Eine entwicklerzentrierte Lösung (hauptsächlich auf Skriptierung basierend) muss nicht zwangsläufig ein Nachteil sein, gesucht wurde jedoch ein Produkt, das möglichst auch von Personen ohne tiefgehende Programmierkenntnisse bedient werden kann.
Evaluation of GUI-test tools for Java Swing: QFS QF-Test, Borland SilkTest, Froglogic Squish and Marathon - November 2007, O. Krapp, M.Besemer, SBE network solutions GmbH, Heilbronn, Germany.
