QF-Test vs. SilkTest vs. Squish vs. Marathon
Résultats de l’évaluation
Réalisation
Olav Krapp and Matthias Besemer, SBE network solutions GmbH, Heilbronn Products tested: Borland SilkTest, Froglogic Squish, QFS QF-Test, Marathon
Conclusion
La décision a été prise en faveur de « QF-Test » de QFS.
Justification
La raison principale de cette décision est le fait que QF-Test est beaucoup moins orienté vers les développeurs que les autres produits. Cependant, QF-Test offre toujours la flexibilité nécessaire et suffisante en ce qui concerne les modifications de l’interface graphique en cours de test. Un autre avantage décisif de QFTest à mentionner est sa vue clairement organisée et son interface – après une certaine (bien que légèrement plus longue) familiarisation – également intuitive. L’affichage des résultats des tests et les rapports disponibles complètent l’impression générale de manière positive.
Matrice de comparaison
Produit |
SilkTest |
Squish |
QF-Test |
Marathon |
Avantages
|
- prise en charge fluide de l’obfuscation
- tests web déjà intégrés
- les captures d’écran peuvent être facilement enregistrées
- intégration complète dans les tests basés sur les exigences / la gestion des tests
- didacticiels, documentation et assistance étendus
|
- sélecteur de composants pour la vérification, par exemple
- support Linux illimité
- l’utilisateur ne doit pas être connecté pour les tests sur des ordinateurs distants
- utilisation de langages de script courants
- trois licences d’exécution incluses dans une licence utilisateur
- didacticiels, documentation et support étendus
- possibilité d’effectuer des tests sur le Web (mais il s’agit d’une édition distincte avec un coût supplémentaire)
|
- solution non orientée vers les développeurs* (même très flexible)
- interface utilisateur moderne et fondamentalement conviviale (affichage très clairement structuré des suites de tests, des tests et d’autres éléments)
- support illimité de Linux
- dépendances pour éviter les redondances
- sélecteur de composants pour la vérification, par exemple
- support sans faille de l’obfuscation
- connexion à l’application SBE sans problèmes
- les captures d’écran peuvent être facilement enregistrées
- rapports sur les résultats des tests
- licence flottante incluse
- tutoriels, documentation et support étendus
|
- available at no charge
- open source software
- component picker for e.g. verification
- connection to SBE application without problems
|
Inconvénients
|
- solution orientée vers les développeurs
- interface utilisateur d’apparence désuète, manipulation pas très intuitive
- support Linux seulement limité (RedHat Enterprise)
- connexion à l’application SBE défectueuse
- utilisation d’un langage de script propriétaire
- l’utilisateur doit être connecté pour effectuer des tests sur des ordinateurs distants
- licence d’exécution coûteuse
- licences flottantes uniquement pour un coût supplémentaire
|
- developer-oriented solution*
- outdated appearing user interface, handling partially laborious (e.g. forced naming of test cases)
- connection to SBE application faulty
- no simple support of obfuscating
- no easy provision of screenshots in case of errors
- cumbersome concept of „verification points“ (no renaming possible, redundancy)
- renaming of symbolic component names is very laborious, manual interaction necessary
- limited integration in test management
- floating licenses for additional charge only
|
- effort de familiarisation légèrement accru en ce qui concerne la manipulation, certaines icônes n’étant pas très intuitives
- les tests sur le web ne sont pas encore disponibles (annoncés comme une édition séparée avec des coûts supplémentaires)
- l’utilisateur doit être connecté pour effectuer des tests sur des ordinateurs distants
- intégration limitée dans la gestion des tests
|
- solution orientée vers les développeurs
- produit manifestement non mature
- tests web non disponibles
- la documentation et le support ne sont pas d’un niveau suffisant
|
*Remarque : Une solution orientée vers les développeurs (principalement basée sur des scripts) n’est pas nécessairement un inconvénient, mais nous avons cherché un produit utilisable sans compétences avancées en programmation si possible.
Évaluation d’outils de test d’interface graphique pour Java Swing : QFS QF-Test, Borland SilkTest, Froglogic Squish et Marathon, novembre 2007 – O. Krapp, M.Besemer, SBE network solutions GmbH, Heilbronn, Allemagne.
(Les textes originaux allemands et les citations sont traduits en français).
