Dès le troisième cycle de test, un bilan positif peut déjà être atteint concernant les dépenses liées à l'automatisation des tests par exemple avec QF-Test. Bien entendu, le ROI peut varier selon l'application et son contexte.
En développement agile, grâce aux cycles d'itération plus courts, on obtient plus rapidement un ROI qu'avec une approche classique.
L’effort initial est généralement plus important pour automatiser les tests que pour effectuer des tests manuellement.
En raison des cycles de développement successifs, de plus en plus de fonctionnalités doivent être régulièrement retestées. Cette augmentation de la charge de travail ne peut être gérée qu'avec l'automatisation des tests.
Au fil du temps, une base de tests s'auto-alimente. Pour garantir une couverture maximale, des tests supplémentaires sont ajoutés au fur et à mesure que de nouvelles fonctionnalités s'ajoutent.
Le développement agile comporte de nombreuses itérations, et c'est la raison pour laquelle l'automatisation s'avère indispensable - en plus des tests unitaires et de tests manuels ponctuels.
| Durée avant l'automatisation | Durée après l'automatisation | Epargne | Citation |
|---|---|---|---|
| 8 heures | 1 heure | 87,5% | Thomas Schöning, Testmanager certifié ISTQB, Airbus Defence and Space GmbH, Produits et projets multi-INT Allemagne: L'exécution d'environ 100 tests automatisés en parallèle prend environ une heure. Auparavant, l’exécution manuelle des tests occupait une personne pendant trois heures pour chaque configuration. Pour le produit standard et sa variante (deux modes), l'économie est donc actuellement de 8 heures/jour, un temps que nous sommes heureux d'investir dans d'autres tests automatisés ou d'autres activités. (voir l'étude de cas complète). |
| 8 semaines | 1 semaine | 87,5% | Sean Kane, Directeur de l'ingénierie de test, Intervoice Inc., Dallas, Etats-Unis: Nous pouvons désormais tester l'application en une semaine, contre huit semaines auparavant. |
| 2 semaines | 5 jours | 50% | Gadi Goldbarg, Logiciels de développement, Directeur de l'AQ, Zend, Ramat Gan, Israel: |
| 1 jour | 3 heures | 62,5% | Denis Gauthier Software Integration, Thales Australia, Melbourne: |
| 1 jour | Moins qu'1 heure | 87,5% | Phil Cross, Lockheed Martin, Owego New York, Etats-Unis: |
| 7-8 heures | 1,5 heures | 80% | Heidi Klade, Logistik Pur Software GmbH, Koppl près de Salzburg, Autriche: |
| Réduction de près de 50% | CertiCon, Prague, République tchèque: |
Vous trouvez les citation complètes ici: Avantages pour les décideurs
Les trois phases en rouge sur l'image (développement, exécution et maintenance des cas de test) sont celles qui ont le plus d'influence sur le ROI de l'automatisation des tests.
| Phase du processus de test | Tests manuels | Tests automatisés |
|---|---|---|
| Planification de test | La planification des tests comprend le planning et la préparation de l'environnement de test. Ceci est identique pour les tests manuels et automatisés. | |
| Spécification des cas de test | Aussi bien pour les tests manuels qu'automatisés, l'analyse et la description des cas de test sont nécessaires. | |
| Développement | Pour des tests manuels, afin de maintenir la cohérence, vous devez décrire avec grande précision les instructions pour les testeurs. | L'implémentation des cas de test avec l'outil de test nécessite du temps, de l'argent et des ressources. L'investissement initial est amorti au fil des cycles de test. |
| Documentation | Le plan de test est corrélé avec les instructions de test. | Grâce à l'automatisation, la documentation peut être générée automatiquement à partir des cas de test. |
| Gestion des cas de test | Que ce soit avec une stratégie de test manuel ou une stratégie de test automatisé, les documents doivent être gérés dans chaque cas. | |
| Exécution des cas de test | L'exécution des tests est ici le principal facteur de coût, composé principalement de ressources matérielles et humaines. | L'outil de test est très fiable lors de l'exécution de tests, tout en optimisant l'utilisation du matériel. |
| Gestion des reslutats | Les résultats doivent être saisis manuellement. | L'avantage de l'automatisation est la génération automatique du rapport. Cela augmente la qualité du rapport et facilite, voire accélère, la création du rapport. |
| Maintenance des cas de test | Avec les tests manuels, les cas de test ne doivent être ajustées que suite à des changements importants. | Bien entendu, les cas de test doivent être ajustés à l'interface graphique, ce qui entraîne un effort de maintenance. Toutefois, l'avantage d'un outil de test est que vous ne devez les ajuster qu'une seule fois, la modularisation et une bonne reconnaissance des composants sont néanmoins nécessaires. |
