QF-Test - casestudies

Tests de bout en bout pour le test automatisé d’une solution ERP basée sur Swing

2026-02-03T00:00:00+01:00

À propos d’ABS

ABS est un leader mondial des logiciels de gestion de blanchisserie, spécialisé dans le secteur de la blanchisserie industrielle et de la location textile. Notre logiciel est devenu une solution ERP complète et intégrée pour les blanchisseries industrielles – incluant la gestion des tournées et des contrats.

Tests automatisés de bout en bout sans compétences en programmation

Après avoir mené une analyse approfondie de plusieurs solutions d’automatisation des tests, nous avons choisi QF-Test comme solution idéale pour notre système ERP blanchisserie basé sur Java Swing.

L’un des avantages majeurs a été la facilité d’utilisation, permettant à notre équipe de créer rapidement des tests des processus métier sans connaissances avancées en programmation.

Cela nous a permis de :

automatiser très tôt les processus critiques,
réduire considérablement l’effort de test manuel,
et accélérer la livraison.

Extension de la couverture de test

Au fil du temps, l’outil QF-Test a continué d’évoluer, nous permettant d’étendre notre couverture de test automatisé au-delà de Java Swing, vers les applications web, mobiles et les web services REST.

Pour les scénarios de test échoués, QF-Test fournit des données de diagnostic très précieuses, incluant :

des captures d’écran,
des informations d’erreur détaillées étape par étape,
et des messages d’erreur.

De plus, en intégrant des scripts Jython dans nos dépendances, nous pouvons vérifier les fichiers journaux des erreurs, offrant une analyse plus approfondie des défaillances et améliorant la recherche de cause racine.

Les tests nocturnes automatisés font gagner du temps et de l’énergie

Nous avons mis en place un processus de test entièrement automatisé, lancé chaque nuit via Jenkins, qui exécute automatiquement tous les tests QF-Test et fournit des résultats complets.

Ces rapports sont extrêmement utiles pour identifier les défauts du code ainsi que les axes d’amélioration des processus de test.

La possibilité d’exécuter ces tests automatisés sur les branches master et feature a permis à notre équipe d’économiser un temps et des efforts considérables par rapport aux tests de bout en bout manuels.

Support exceptionnel

Au-delà de la technologie, notre collaboration avec l’équipe QF-Test a été exceptionnelle. Leur support est réactif et compétent, nous aidant constamment à relever nos défis au besoin. Ils proposent aussi régulièrement des webinaires qui offrent des perspectives précieuses sur les nouveautés, les améliorations et les meilleures pratiques, nous permettant de tirer un bénéfice continu de l’outil. Après plus de 15 ans d’utilisation, QF-Test reste un partenaire de confiance dans notre stratégie d’automatisation des tests.

Conclusion

QF-Test, en tant que meilleure solution d’automatisation des tests pour notre ERP dédié à la blanchisserie basé sur Swing, dépasse nos attentes depuis plus de 15 ans. Son approche intuitive nous a permis de créer rapidement des tests de bout en bout avec un effort de programmation minime, réduisant drastiquement le besoin de tests manuels. Grâce à l’innovation continue de l’équipe QF-Test, nous avons depuis élargi notre couverture de test aux applications mobiles, web et web services, faisant de QF-Test un partenaire fiable sur le long terme.

Anca Stamatopol, Responsable de l’automatisation QA, ABS Laundry Business Solutions

Tests de régression mobile pour iOS et Android

2026-02-02T00:00:00+01:00

L’extension du standard logiciel GKV BITMARCK_21c|ng

À propos de BITMARCK

En tant que partenaire majeur de la digitalisation de l’assurance maladie légale en Allemagne, BITMARCK accélère la transformation numérique du secteur à travers des produits et services innovants. La base de cette avancée est le standard logiciel GKV BITMARCK_21c|ng, utilisé par les caisses d’assurance affiliées. Les clients du groupe BITMARCK sont les caisses d’entreprise et de métiers, ainsi que DAK-Gesundheit et d’autres caisses de remplacement : plus de 30 000 collaborateurs et environ 35 millions d’assurés de la GKV bénéficient des services IT de BITMARCK. Plus de 80 % des caisses d’assurance maladie légale allemandes font appel au groupe. Avec plus de 1 900 employés, BITMARCK réalise un chiffre d’affaires annuel de plus d’un demi-milliard d’euros.

Le défi : Garantir la qualité sur les canaux mobiles

Après la mise en œuvre réussie de l’automatisation des tests pour les clients desktop (Web et Swing), BITMARCK GmbH s’est trouvée face au défi de porter la qualité de ses applications natives iOS et Android du standard logiciel GKV BITMARCK_21c|ng au même niveau d’exigence. Cela nécessitait une extension prospective et flexible du framework d’automatisation existant afin de :

Assurer une expérience utilisateur et des fonctionnalités identiques sur les deux systèmes mobiles (iOS et Android).
Créer rapidement et efficacement de nouveaux cas de test mobile et les intégrer à l’ensemble existant de plus de 4 500 tests de régression.
Transférer la couverture de tests mobile dans le pipeline de livraison continue (CI/CD) pour garantir la stabilité à chaque cycle de publication.

La solution : Exploitation de la plateforme QF-Test pour le mobile

La base existante, composée de QF-Test et du Multi-Client Recorder développé conjointement, a servi de socle à l’extension mobile.

Stratégie de tests de régression mobiles en détail

BITMARCK s’est concentré sur la sécurisation de ses applications natives iOS et Android, qui constituent des portails importants pour ses clients et ses employés, en prenant les mesures suivantes :

Choix technologique et intégration : Grâce au caractère multiplateforme de QF-Test, le framework a pu être étendu directement aux apps mobiles natives. L’intégration s’est faite via QF-Test, permettant d’utiliser de façon transparente des appareils physiques comme des émulateurs.
Reconnaissance des objets de test mobile : La collaboration étroite avec QFS a permis une implémentation et une optimisation précoces de la reconnaissance des objets de test dans les architectures mobiles. Cela a garanti la robustesse des cas de test face aux changements mineurs d’UI sur les deux plateformes mobiles.
Interactions mobiles spécifiques : Les interactions propres au mobile (comme le balayage ou la gestion des claviers virtuels) sont capturées par le recorder et intégrées aux cas de test.
Résultat : La couverture de tests mobile a été intégrée avec succès au pipeline CI/CD et garantit désormais la qualité des applications iOS et Android lors de chaque cycle de publication.

Les avantages

Efficacité multiplateforme : Le Multi-Client Recorder optimise l’automatisation des tests sur les clients Web, clients Swing et les applications natives iOS et Android au sein d’un même framework unifié.
Couverture exhaustive : L’intégration permet la gestion et l’exécution des tests de régression sur toutes les architectures clientes, y compris la nouvelle dimension mobile.
Développement de tests accéléré : L’ utilisation intuitive du recorder est transposée au développement mobile, ce qui simplifie la création et la maintenance des cas de test tout en réduisant significativement l’effort de maintenance.
Qualité logicielle maximale sur mobile : Grâce à l’extension de sa stratégie de régression, BITMARCK Software GmbH assure la plus haute qualité de ses solutions mobiles pour l’assurance maladie légale.
Livraison continue : La couverture mobile fait partie du pipeline CI/CD et garantit la stabilité des apps natives à chaque exécution journalière.

Conclusion

L’intégration réussie des tests de régression mobiles pour iOS et Android à l’aide de QF-Test et du Multi-Client Recorder souligne la flexibilité et la vision d’avenir de la stratégie d’automatisation des tests de BITMARCK GmbH. Cette extension confirme l’importance croissante des canaux mobiles et réaffirme l’engagement à assurer les plus hauts standards de qualité logicielle.

Dirk Kruck, Ingénieur de test, BITMARCK Software GmbH

Migration réussie d’une solution logicielle ERP grâce à une automatisation efficace des tests avec QF-Test

2025-01-01T00:00:00+01:00

QF-Test chez remoso GmbH

Depuis plus de 30 ans, nous sommes un fournisseur leader de solutions logicielles ERP dans le domaine de la mobilité. Nous développons des concepts de gestion de flotte ultramodernes pour la gestion de parc automobile, la location de véhicules et l’autopartage.

Notre logiciel ERP actuel était à l’origine un monolithe vieux de plus de 30 ans. Afin de rester en phase avec le marché et de répondre aux exigences futures prévues, nous avons décidé d’abandonner cette approche monolithique et de miser sur une solution logicielle évolutive. Pour ce faire, nous avons opté pour la pile technologique suivante :

Multi-Module Maven Project
Java
Typescript
Framework Spring
Framework Angular
Composants d’interface utilisateur Kendo
Bootstrap CSS Framework & Responsive Design

Aussitôt dit, aussitôt fait !

La voie était tracée et le nouveau produit logiciel a été développé. Mais nous étions maintenant confrontés à un tout nouveau défi : les tests de régression durent plus de 3 semaines pour les tests effectués manuellement, en raison des modifications architecturales ! Dans notre approche agile du développement logiciel, un délai de plus de 3 semaines n’est pas acceptable. Afin d’augmenter la vitesse des tests tout en conservant la qualité, nous avons décidé de mettre en place un système d’automatisation des tests.

Pourquoi QF-Test ?

Dans le cadre d’une analyse de marché, nous avons examiné les solutions logicielles disponibles et les avons comparées entre elles. QF-Test est sorti vainqueur de cette comparaison. Il répond très bien à nos exigences spécifiques en matière d’automatisation des tests. Par exemple, QF-Test est capable de reconnaître les composants Angular et nous épargne ainsi des adaptations de code, comme l’attribution d’identifiants pour chaque élément. Les produits concurrents ne pouvaient pas offrir cette valeur ajoutée. Cela fait maintenant trois ans que nous utilisons QF-Test. Grâce à l’automatisation des tests de régression, il nous est possible d’effectuer nos cycles de test complets chaque nuit. Grâce à l’intégration Jenkins, les tests sont exécutés automatiquement et programmés, et le résultat est communiqué à notre équipe d’automatisation des tests. L’utilisation de QF-Test nous a permis d’économiser beaucoup de temps, qui était auparavant consacré aux tests manuels. Notre équipe d’assurance qualité a été soulagée et a donc plus de temps pour s’occuper des autres parties de l’assurance qualité logicielle. À l’avenir, nous prévoyons d’étendre l’automatisation des tests à nos applications mobiles.

La décision de miser sur l’automatisation des tests avec QF-Test s’est avérée payante pour nous en peu de temps. Nous réalisons plus de tests dans un laps de temps plus court, nous allégeons la charge de travail de nos collaborateurs et nous augmentons la qualité, car les erreurs humaines sont exclues. Du côté de la direction, l’investissement dans QF-Test et la qualification correspondante des collaborateurs sont également considérés comme plus que justifiés.

Merci à QF-Test !

Nous tenons à faire l’éloge de la collaboration avec Quality First Software GmbH. Quel que soit le problème ou la question que nous avons posés au support, nous avons toujours été aidés rapidement, de manière compétente et ciblée. De plus, les nombreux tutoriels vidéo et les webinaires gratuits sont tout simplement exemplaires. Nous tenons à remercier ici le service d’assistance.

Patrick Veit et Marius Pramsoler, remoso GmbH, Ravensburg, Allemagne

Tests de régression quotidiens de l’interface utilisateur graphique avec QF-Test

2025-01-01T00:00:00+01:00

QF-Test chez Swiss Life

Depuis 2012, nous utilisons QF-Test pour les tests de régression quotidiens de l’interface graphique de notre nouveau système de devis d’assurance EVApro et nous sommes très satisfaits.

Pour nous, l’utilisation de QF-Test présente principalement les avantages suivants :

Approache générique: Avec QF-Test, il est possible d’enregistrer les actions de manière élégante pour chaque type de contrôle et de les résumer, par exemple les actions « définir une valeur » et « vérifier une valeur » pour les champs de texte et les zones combinées ou l’action « cliquer » pour les boutons.
Fichiers de cas de test partagés pour les interfaces HTML et Java: L’application testée existe à la fois dans une variante RAP et une variante RCP. En raison de l’approche générique, il est possible d’utiliser les mêmes fichiers de cas de test (*.xls) pour le test des deux variantes.
Enregistrement simple au sein de la demande: En raison de l’approche générique, les fichiers de cas test ne contiennent que des données relativement simples telles que (valeur définie, PersonDialog.BirthDate : DATE FIELD, 06/05/1978), grâce auxquelles un contrôle avec l’ID spécifié obtient la valeur de date spécifiée. Ces informations sont enregistrées automatiquement lorsqu’un utilisateur utilise l’application ; lorsqu’il ouvre une boîte de dialogue spéciale de l’application, un tableau apparaît, à partir duquel il peut copier les informations directement dans son fichier de cas test.
Petit fichier de la suite de tests, bien structuré et facilement lisible: Nous n’avons besoin pour RAP et RCP que d’un seul fichier partagé de la suite de tests (*.qft), qui est très petit (environ 150 KB) et bien structuré (XML). De plus, il est entièrement lisible : Contrairement à certains produits concurrents de QF-Test, ce fichier ne comporte aucune section cryptée ou propriétaire. Cela facilite aussi grandement la comparaison des différents états de développement de ce fichier dans notre système de gestion des versions.
Mise à niveau facile de RAP 1 à RAP 2: En raison de l’approche générique, le passage du PAR 1 au PAR 2 a été facile à réaliser : Seul le fichier de la suite de tests a dû être révisé, et pour la plupart des types de contrôle, il a même suffi de changer la référence de composant « classe », c’est-à-dire le type de composant, du composant générique approprié.
Soutien compétent: Au cours de plusieurs ateliers d’une journée organisés sur notre site, un employé de Quality First Software GmbH (QFS) nous a apporté un soutien compétent pour développer en permanence le fichier de la suite de tests. En particulier dans le cas de contrôles plus complexes (tels que des tableaux), il nous a aidés grâce à une connaissance approfondie du produit, notamment par l’utilisation de scripts. Les questions posées par courrier électronique entre les ateliers ont toujours reçu une réponse rapide et compétente de la part de QFS.
Excellente documentation: Le manuel et le tutoriel nous ont souvent aidés. Il est évident que les auteurs ne considèrent pas la documentation comme une corvée, mais sont convaincus de leur produit et veulent le décrire de manière complète et compréhensible. Ils y sont parvenus.
Des options d’appel très confortables: Comme les valeurs variables peuvent être transmises lors de l’appel à QF-Test, nous sommes en mesure de les déterminer très confortablement grâce aux paramètres d’un fichier batch auto-écrit,
- quels sont les tests à effectuer (les 400 tests sur les 35 tarifs de notre système de devis d’assurance ? Seulement les cas tests d’un tarif donné ? Seulement un cas test particulier ?),
- quelle variante doit être testée (RAP ou RCP ?)
- quel est le niveau de développement à tester (version publiée ou locale instable ?)
- s’il faut déplacer la souris pendant le test
- si le QF-Test doit être lancé de manière interactive ou en arrière-plan
- quel navigateur utiliser dans la version dans le cas du RAP (Internet Explorer ou Firefox ?)
- quelle version de QF-Test utiliser.Chaque paramètre d’appel est soit un numéro (tarif ou test case), soit une lettre unique, donc très simple. Ainsi, notre service peut facilement créer et exécuter des cas de test sans avoir à connaître des détails complexes.
Des solutions simples pour les changements de version : Pour les tests de régression de l’interface graphique, plusieurs applications doivent fonctionner ensemble :
- dans la variante RAP : le navigateur dans lequel l’application réelle est exécutée (par défaut Internet Explorer)
- le programme dans lequel les fichiers de cas test sont présents (Excel)
- l’outil de test de l’interface utilisateur graphique (QF-Test).
Dans ces interactions, des problèmes peuvent bien sûr survenir si la version d’une des applications concernées est modifiée. Nous avons donc, par exemple, comme solution de contournement
- a testé la variante RAP avec une version de QF-Test différente de la variante RCP
- a utilisé à la place de la version actuelle d’Internet Explorer une version plus ancienne de Firefox dans la variante RAP.Ces solutions de contournement nous ont toujours aidés jusqu’à présent à faire le pont entre le moment où le fichier de la suite de tests était révisé lors d’un atelier ultérieur, où une nouvelle version de QF-Test était fournie ou où une version améliorée d’Internet Explorer était disponible. Grâce aux méthodes très confortables mentionnées ci-dessus, nous avons pu mettre en œuvre et défaire ces contournements toujours de manière relativement aisée.

Nous pouvons donc absolument recommander l’utilisation de QF-Test.

Auteur:

Dirk Stanke

Contact:

Max Gest
Application manager EVApro
Swiss Life AG, German Branch
Berliner Straße 85
80805 Munich

(Les textes originaux allemands et les citations sont traduits en français).

Tests d’interface utilisateur de SAP Manufacturing avec intégration de QF-Test dans Microsoft Azure Pipelines

2025-01-01T00:00:00+01:00

A propos de Systema GmbH

L’intégration de systèmes de fabrication, les extensions, le conseil et les solutions logicielles personnalisées pour les branches verticales de la fabrication discrète constituent le cœur de métier de Systema GmbH. Systema compte plus de 200 collaborateurs répartis sur 8 sites dans le monde. Notre réputation et notre marque reposent sur plus d’un quart de siècle d’activité commerciale, avec une éthique marquée par le respect et la confiance mutuels – de la part de notre équipe, de nos clients, de nos partenaires et de nos concurrents.

Situation de départ

Pour notre client, une entreprise renommée de l’industrie de la mécanique de précision et de l’optique, nous développons des extensions pour le système SAP Manufacturing.

Ces plug-ins complètent les fonctionnalités et offrent aux utilisateurs des interfaces personnalisées en fonction de leurs besoins spécifiques.

Afin d’assurer la qualité et la stabilité de notre développement, nous cherchions un moyen de tester les plug-ins directement dans le système SAP Manufacturing.

Comme nous avions déjà travaillé avec succès avec QF-Test dans d’autres projets, il a été notre premier choix comme outil de test.

Objectif

Notre objectif était de reproduire les actions de l’utilisateur dans les tests afin d’élaborer une reproduction aussi proche que possible des processus de la production.

L’exécution des tests doit être automatisée afin de réduire les efforts manuels.

Mise en œuvre

L’une des exigences concernant les tests est qu’ils doivent reproduire la réalité au plus près.

Les outils de test de l’interface graphique, comme QF-Test, qui interagissent réellement avec l’interface utilisateur, représentent ici la meilleure solution.

Pour la préparation, des cas de test ont été créés sur la base des exigences spécifiées, qui ont ensuite été regroupés en scénarios. Le résultat a été un plan de test détaillé, qui a été mis en œuvre par l’équipe d’automatisation avec QF-Test.

Réalisation technique

La création des tests avec QF-Test a été réalisée en grande partie à l’aide de la fonction d’enregistrement.

Des problèmes sont apparus avec l’utilisation d’identifiants de composants générés, qui empêchaient une identification univoque et donc la reproductibilité des tests.

Pour résoudre ce problème, des composants génériques ont été créés, qui ont permis la résolution reproductible des composants cibles à l’aide d’expressions régulières et de résolveurs Web personnalisés configurés en conséquence. Il convient de mentionner ici l’excellent support de QFS, qui a contribué à l’élaboration de cette solution.

Au cours du développement des tests, un autre défi est apparu.
Le système SAP Manufacturing est constitué de plusieurs composants qui, en interagissant, fournissent des données complexes. Notre système cible est le ME en tant que frontal avec le MII en tant qu’extension du backend. Il y a aussi le système ERP.

Dépendances dans le système productif

Afin de réduire la complexité et d’obtenir des résultats reproductibles, nous avons décidé de simuler l’ERP (mockup).

Dépendances dans le système de test

En utilisant le framework du serveur de mock, nous avons développé ce mock qui fournit des données prévisibles.

Le serveur de mock est un projet logiciel à part entière et comprend différents modèles préconfigurés pour les différentes fonctionnalités. Pour mettre en œuvre de nouvelles exigences, il suffit de créer un modèle adapté.

Une fois le développement des tests terminé et les essais manuels réussis, l’étape suivante a été l’automatisation. Pour cela, nous avons utilisé un pipeline Microsoft Azure.

Le pipeline nous permet de préparer les données de test de manière automatisée, de transmettre les données utilisateur et les variables à la suite de tests, d’évaluer les résultats et de nettoyer ensuite tous les systèmes.

Déroulement du pipeline Azure

Comme le serveur de mock et la suite du QF-Test sont tous deux maintenus dans GIT, il est certain que la dernière version est toujours utilisée à chaque exécution.

Conclusion et perspectives

L’utilisation de l’ERP Mock Server et de QF-Test a permis d’obtenir une combinaison de tests backend (logiques) et de tests UI. Cela nous a permis de créer un environnement de test fiable et proche de la réalité pour tester automatiquement les plug-ins développés pour notre client directement dans le système SAP Manufacturing. L’intégration dans un pipeline Azure a permis de mettre en œuvre le principe des tests continus. Cela permet d’obtenir un retour d’information rapide sur les tests et donc d’éviter efficacement une régression précoce, tout en minimisant le travail de test manuel.

Dans la suite du projet, les tests seront continuellement maintenus, améliorés et étendus afin de garantir les nouvelles fonctionnalités.

Non-Regression Tests with QF-Test

2025-01-01T00:00:00+01:00

QF-Test chez Thales Australia: Gagner du temps avec les tests

Disons que l’automatisation de nos tests est un succès et que c’est un grand pas en avant. Je ne suis pas un expert de tous les autres outils disponibles, mais d’après ce que je sais, je ne vois pas comment j’aurais pu interfacer d’autres outils que QF-Test avec notre système, en outre dans un délai aussi court.

Les quelques points qui font de QF-Test l’application tueuse:

Une IHM mature et complète pour concevoir la suite de tests.
Un rapport synthétique généré automatiquement en HMTL.
Pas besoin de pirater la JVM ou l’application testée pour rendre les choses testables.
Scripting en Jython : Vous pouvez faire tout ce dont vous avez besoin avec cela.
Extension API : Elle permet de rendre QF-Test conscient des objets internes à l’application UI.

En ce qui concerne le degré d’intégration du QF-Test dans notre processus : Nos tests de non-régression ont été presque entièrement mis en œuvre dans le cadre du QF-Test. Il prend environ trois heures à exécuter et me fait donc gagner beaucoup de temps.

En termes de retour sur investissement, il y a plusieurs aspects : En ce qui concerne le gain de temps, il me fallait généralement une journée entière pour effectuer les tests de non-régression. Ce délai a été réduit à trois heures. La grande différence, c’est que je peux faire autre chose avec le temps gagné ! L’avantage direct est que je peux maintenant effectuer des tests sur différentes versions de notre système (c’est-à-dire différentes branches) en parallèle, alors que c’était impossible auparavant (pas assez de temps).

Un autre aspect moins visible est qu’il améliore la communication avec le développement de logiciels. Il n’y a pas de « sentiments » ou de jugement personnel dans l’évaluation des résultats. Il est arrivé auparavant que les résultats soient légèrement différents selon la personne qui effectuait les tests. En effet, comme je l’ai mentionné, il s’agit d’un système en temps réel et, selon l’action que vous effectuez à un moment donné, le comportement du système peut ne pas être toujours le même. Le fait d’avoir automatisé les tests supprime (ou diminue) ces problèmes de temps.

Le développement logiciel ne peut plus dire que vous avez bourré ou mal utilisé le système pendant les tests (et vous demander de les refaire et donc de gagner du temps …). Ce sont toujours les mêmes tests qui sont reproduits et si les résultats changent, c’est parce que le Système a changé. Parfois, les changements sont bons (amélioration des fonctionnalités, correction des bugs, temps de réponse plus rapide ….) mais l’automatisation reprend cela, ce qui est tout l’intérêt du test NRG : détecter les changements.

L’automatisation des tests présente cependant quelques inconvénients : Premièrement, les tests doivent être maintenus ! Le SUT évolue et les composants doivent être mis à jour. De nouvelles fonctionnalités sont également introduites et doivent être ajoutées dans le champ d’application des tests. Ensuite, les tests ne sont pas parfaits : ils ne sont pas à l’épreuve des balles et parfois un problème peut générer un effet domino et annuler le résultat complet. Si vous n’êtes pas devant la machine pendant le test, vous ne la verrez pas et perdrez peut-être trois heures. Donc, à chaque fois que cela se produit, je corrige le test et j’ajoute d’autres contrôles et protections. Mais de temps en temps, je dois relancer le test.

Le QF-Test ne détectera alors que les problèmes que vous lui avez appris à reconnaître. En comparaison, un testeur humain serait capable de détecter des comportements étranges du système. Encore une fois, c’est en temps réel et avec beaucoup d’algorithmes. Tout n’est pas prévisible. Cela signifie que des problèmes peuvent ne pas être détectés par QF-Test (ou plus précisément par la suite de tests que j’ai écrite). Ces problèmes sont généralement détectés plus en aval de la chaîne de test (IBB, V&V Testing …), mais leur correction coûte alors un peu plus cher. Chaque fois que cela se produit, j’essaie d’améliorer la suite de tests, ce qui prend un peu de temps.

Vous vous demandez peut-être alors s’il y a un réel avantage à automatiser les tests.

Ma conclusion serait toujours oui, mais le retour sur investissement n’est pas à la hauteur. Le temps que vous ne passez plus sur les tests doit être consacré à différents sujets : la maintenance, les améliorations, l’analyse de ce que vous voulez tester et de la manière dont vous voulez le tester (pas toujours aussi simple qu’on pourrait le penser). Le gain que vous obtenez porte sur la qualité et la cohérence.

Denis Gauthier Intégration de logiciels, Thales Australie, Melbourne

QF-Test et Robot Framework – une étude de cas de Scheidt & Bachmann

2024-01-01T00:00:00+01:00

Pour l’exécution automatisée de cas de test, l’entreprise Scheidt & Bachmann utilise depuis plusieurs années déjà l’outil de test QF-Test, car il est idéal pour tester les applications Java UI.

Le défi était d’utiliser les cas de test Java UI existants, y compris toutes les procédures créées en QF-Test, dans le cadre de Robot Framework. Ceci est nécessaire car Robot Framework est l’outil choisi pour tester les appareils de terrain qui fonctionnent sous Linux et qui contiennent l’application Qt à tester.

Afin de créer des cas de test complets de bout en bout entre l’appareil de terrain (application Qt) et l’application back-office (application Java), nous avions besoin d’un moyen de combiner QF-Test et Robot Framework. Le soutien de QFS nous a proposé rapidement une interface detaillée qui permets au Robot Framework d’accéder et d’exécuter des procédures individuelles par mot-clé (l’approche du Keyword-Driven-Testing).

L’image suivante montre comment Robot Framework utilise et pilote une procédure QF-Test:

Cette approche nous a permis de créer des cas de test complets de bout en bout, ce qui simplifie et raccourcit considérablement la réalisation des tests de version au niveau des appareils de terrain et du back-office.

Le support très coopératif et très rapide de QFS a joué un rôle déterminant dans l’implémentation de cette nouvelle fonctionnalité, ce qui nous a permis de faire des progrès considérables en très peu de temps.

À l’avenir, cette approche nous permettra de gagner beaucoup de temps dans la création de nouveaux cas de tests automatisés, ainsi que dans l’exécution des cas de tests.

Auteur: Marvin Klerx
QS – Fare Collection
Scheidt & Bachmann Fare Collection Systems GmbH
Mönchengladbach, Deutschland

Tester Java Web Start avec QF-Test

2024-01-01T00:00:00+01:00

QF-Test chez Siemens : Tester Java Web Start

Les tests d’interface graphique sont une étape essentielle du cycle de vie des tests de logiciels car ils sont effectués du point de vue de l’utilisateur final d’une application. L’automatisation des tests de cette phase est l’objectif final car elle est déjà réalisée avec des tests unitaires ou d’intégration.

Lorsque vous effectuez une recherche sur Internet pour une telle tâche, vous trouverez un large éventail d’outils de test fonctionnel qui sont soit des outils de test « généraux », soit dédiés à un type spécifique d’interface graphique. Mon travail consistait à trouver un outil de test approprié capable d’effectuer des tests automatisés pour une interface graphique Java Swing compliquée (fournie en tant qu’application Java Web Start).

Bien sûr, vous pouvez commencer à évaluer tous les « grands acteurs » dans ce domaine, mais « grand acteur » signifie aussi « beaucoup d’argent » en termes de frais de licence et de maintenance. L’autre possibilité est de rechercher des fournisseurs spécialisés dans le test de l’interface graphique Java Swing si c’est tout ce que vous voulez. Une telle première présélection a été mon point de départ et QF-Test a été l’un de mes premiers candidats pour une analyse plus approfondie.

Les outils open source peuvent également être un choix pour tout utilisateur à la recherche d’une solution à faible coût. Cependant, à mon avis, ces outils sont capables de gérer des tests simples d’interface graphique mais atteignent leurs limites avec des interfaces graphiques complexes (composants personnalisés, etc.) si vous n’investissez pas de temps et d’argent pour faire beaucoup de « personnalisation » (c’est un logiciel libre, donc vous êtes libre de les étendre). Mais vous pouvez aussi décider de prendre la voie du milieu et alors vous devriez certainement essayer QF-Test (pour Java).

Pour une comparaison des outils, j’ai créé plus de 30 critères d’évaluation (annotés avec différentes priorités) comme

possibilité d’enregistrement et de lecture
reconnaissance des composants de l’interface graphique intelligente
mappind d’objet
contrôle des images
échec des tests et la récupération des erreurs
soutien aux tests basés sur les données
utilisation de langages de script populaires
base pour les tests basés sur des mots-clés (comme les procédures paramétrées de QF-Test)
intégration dans des systèmes populaires de construction et/ou d’intégration continue (comme Ant/Maven ou CruiseControl)
exécution des tests/rapport des résultats en utilisant XML et HTML
support multi-écrans
soutien au drag&drop
possibilité de reconnaître des composants personnalisés complexes
coûts de licence et de maintenance
qualité du soutien (disponibilité de ressources qualifiées, validité des réponses du service d’assistance)
ressources en ligne (comme des forums actifs plutôt que d’appeler la ligne d’assistance)
rapidité des réponses
qualité de la documentation en ligne
…

Avec ces critères d’évaluation ainsi que des scénarios de test spécifiques pour le système réel testé, je dois dire que QF-Test a réussi à remplir toutes mes exigences avec un score de plus de 90%. Ce résultat place QF-Test au-dessus de tous les autres outils commerciaux et open source évalués – du moins pour mes exigences et mon objectif spécifiques.

Toutefois, je pense que vous ne trouverez guère d’autre outil de test de l’interface graphique Java Swing qui vous offre un meilleur rapport qualité-prix.

Résultat : Avec QF-Test, le test d’interface graphique peut passer d’une tâche obligatoire à une tâche passionnante.

Klaus Berg, ingénieur principal, Siemens Corporate Technology, Munich

(Les textes originaux allemands et les citations sont traduits en français).

Test automation with QF-Test as central pillar in the fight against bugs: QF-Test and SIV.AG

2024-01-01T00:00:00+01:00

SIV.AG successfully uses proven tool of partner Quality First Software GmbH for its customers and in its own company

SIV.AG relies on test automation to ensure the quality of their software. Every week, several hundred process tests are carried out on the user interface of the complex ERP system kVASy using the tool QF-Test of Quality First Software GmbH. « Over time, we have reached a remarkable complexity in the test cases, which is why our regression tests achieve large-scale test coverage with QF-Test, » says Andrea Menda, Deputy Head of Department Management Operations at SIV.AG.

« In addition, with the help of QF-Test, we operate complex monitoring regarding availability and performance on the systems of one of our largest customers. Furthermore, several of our customers use the test automation tool independently. They have built up the know-how in close cooperation with us. This allows for more flexible testing of unique configurations with customer data sets. »

Excellent cooperation since 2014

The extraordinarily good long-term cooperation deserves special mention: « Ever since we started using test automation at SIV.AG, we have had an extremely reliable and internationally experienced partner in Quality First Software GmbH. With their help we have been able to increasingly professionalize ourselves. The new feature developments of the tool and the reliably quick support helped us achieve this, » Andrea Menda continues. A bidirectional knowledge transfer also strengthens the relationship. Over the years, SIV.AG has developed a comprehensive tool for static code analysis, which is planned to also be used by Quality First Software GmbH in the future.

Further information:

Product booklet German PDF only
SIV.AG page

(Original German texts and citations are translated into English.)

Transition en douceur entre le test d’un logiciel Java et le test web

2023-01-01T00:00:00+01:00

À propos de pds GmbH

Depuis 1974 déjà, la société pds GmbH développe des programmes pour le secteur principal et secondaire de la construction. Avec le logiciel pds, elle propose une solution ERP qui, grâce à des compléments via App et Web, reproduit tous les processus pour les entreprises, de la start-up aux groupes établis.

Le chemin vers QF-Test

Au début du millénaire, pds a commencé à développer le logiciel pds basé sur Java et à planifier l’assurance qualité future. L’entreprise était alors connue pour son slogan « Qualité dans les logiciels », qui devait également avoir une grande importance pour la nouvelle génération de logiciels. Les tests sur le code étaient déjà standard à l’époque, tandis que l’interface devait continuer à être testée manuellement, ce qui prenait beaucoup de temps. Le nombre de composants ne cessant d’augmenter, la recherche d’une solution plus efficace a commencé.

De nombreux programmes ont ensuite été testés en 2007. Parmi les solutions testées, il y avait QF-Test, et ce programme a tout de suite fait l’affaire. On a pu commencer à tester directement, sans avoir besoin de beaucoup de réglages ni de connaissances préalables. Il suffisait d’indiquer le chemin d’accès au logiciel, puis d’enregistrer, de lire et d’arrêter, comme avec un magnétophone à cassette (presque tout le monde le connaissait encore à l’époque). Il existe en outre de nombreuses possibilités d’extension pour intégrer des scripts et d’autres appels, ainsi que des options pour répondre à des exigences particulières du logiciel.

Un département entier

Après la commande, un poste à temps plein pour l’automatisation des tests a été créé très rapidement, les premiers scénarios ont été enregistrés et une administration interne pour l’installation quotidienne du logiciel et l’exécution des tests a été mise en place. La maintenance, l’évaluation et le réenregistrement simples des tests de QF-Test ont fait leurs preuves.

Davantage de tests, d’exigences et de résultats ont conduit à une deuxième et maintenant troisième position dans l’entreprise. Environ 180 tests sont désormais exécutés quotidiennement, fournissant des résultats précieux et opportuns et libérant les testeurs manuels pour d’autres tâches.

Projets actuels

Pour cette année, l’équipe d’assurance qualité de pds s’est fixé comme objectif de commencer à automatiser les tests des applications web. Pour ce faire, une licence de test a d’abord été demandée à QFS afin de vérifier la fonctionnalité et la compatibilité. Cela a permis de résoudre les petites difficultés de démarrage et les questions en suspens avant l’acquisition, grâce à un échange qui a bien fonctionné avec QFS.

Le résultat a été un premier scénario de test qui a complètement convaincu tous les participants. Notre équipe de développement a été particulièrement impressionnée par la transition en douceur entre le test du logiciel Java et le test du site web de Flutter. Entre-temps, la licence complète pour le moteur web fonctionne en mode actif et une extension à la compatibilité Android est en cours de planification en interne.

Les points forts

QF-Test de QFS a convaincu :

Prise en main rapide des tests
Bonne communication avec QFS
Utilisation intuitive du logiciel
Bonne documentation avec des exemples utiles : trouver super rapidement celui qui convient, directement sur le web ou en pdf dans le logiciel
Ateliers qui ont un effet d’amélioration de l’efficacité même après de nombreuses années d’utilisation de QF-Test.

Merci beaucoup à l’équipe QFS pour la bonne collaboration jusqu’à présent. Nous nous réjouissons de l’avenir commun.

Jo Meyer, pds GmbH, Rotenburg, Allemagne

Tests de régression pour Java Swing

2023-01-01T00:00:00+01:00

À propos de Planon

Planon fournit des logiciels et des services de conseil pour permettre aux entreprises de gérer leurs installations et leurs biens immobiliers de manière efficace et intelligente. Une croissance constante a fait de Planon l’une des entreprises informatiques les plus prospères et à la croissance la plus rapide au monde. Nous sommes reconnus comme le premier fournisseur de systèmes de gestion intégrée du lieu de travail en Europe. Nous sommes convaincus que les technologies supérieures sont l’un des ingrédients clés pour construire un leadership international encore plus fort.

QF-Test à Planon : tests de régression quotidiens du client Java swing

Quel est le rôle de QF-Test dans notre processus de développement de logiciels ? Nous utilisons la méthode Agile pour concevoir, construire et tester tous nos produits logiciels. Cette méthode se caractérise entre autres par une communication quotidienne entre toutes les disciplines concernées (propriétaires de produits, concepteurs, développeurs, testeurs, rédacteurs techniques) et de courtes itérations mensuelles. L’objectif principal de chaque itération est de fournir des logiciels compilables. Le QF-Test joue un rôle important dans nos tests de régression quotidiens du client Java Swing. Chaque matin, QF-Test nous présente les derniers résultats du code qui a été compilé la veille au soir.

Le QF-Test est très apprécié en raison des caractéristiques suivantes :

L’outil est très puissant dans sa reconnaissance des composants, ce qui le rend adapté aux tests de régression des applications en cours de développement.
Maintenance minimale nécessaire pour mettre à jour les tests afin de gérer les changements dans l’interface client.
Les scripts de test sont faciles à exécuter et la relecture est rapide.
QF-Test offre de bonnes fonctionnalités de gestion des tests, ce qui nous a permis de disposer d’un ensemble de logiciels de test bien structuré et documenté.
Les fichiers journaux sont clairs et complets, ce qui facilite l’analyse des résultats.
La possibilité d’étendre l’outil avec Jython.
L’outil est très facile à apprendre pour les nouveaux testeurs.
Un soutien bon, rapide et compétent.

En bref, QF-Test est un puissant outil de test automatisé et joue un rôle important dans notre méthode de création de logiciels de haute qualité.

René Hegeman, Ingénieur de test technique, Planon B.V., Nijmegen, Pays-Bas

Migration réussi de Java Swing à l’automatisation des tests de l’interface graphique Web

2022-01-01T00:00:00+01:00

Atruvia, anciennement appelé Fiducia & GAD IT AG, est un prestataire de services informatiques au sein du réseau de services financiers coopératifs. La société allemande, dont les sièges administratifs se trouvent à Karlsruhe et à Münster et les succursales à Munich, Francfort et Berlin, emploie près de 5 600 personnes qui génèrent un chiffre d’affaires annuel de groupe d’environ 1,3 milliard d’euros.

Les clients de Atruvia comprennent l’ensemble des quelque 1 000 banques coopératives (Volksbanken et Raiffeisenbanken) en Allemagne ainsi que plusieurs banques privées et entreprises d’autres secteurs, dont l’ADAC (c’est un célèbre club automobile en Allemagne). Atruvia dessert plus de 164 000 établissements bancaires, gère près de 79 millions de comptes de clients et assure une distribution de fonds sans heurts dans tout le pays grâce à environ 36 000 appareils en libre-service.

Atruvia gère les deux procédures bancaires « agree21 » et « bank21 » dans son centre informatique de haute sécurité.

QF-Test chez Atruvia

QF-Test avec le framework Atruvia

Nous travaillons intensivement avec la société QFS depuis plusieurs ans. Nous utilisons QF-Test en combinaison avec un cadre développé par nos soins qui remplace le processus de capture de QF-Test. Ce cadre de travail extrait l’opération de script ainsi que la reconnaissance d’objet du code spécifique de l’outil.

En utilisant ce cadre, il nous a été possible de passer de l’outil d’un autre fournisseur à QF-Test avec très peu d’efforts et sans aucune intervention sur les cas de test ainsi abstraits. La raison de cette migration était l’exigence de pouvoir exécuter des tests également dans un environnement Linux. Cela n’était pas possible avec l’outil que nous utilisions auparavant. En raison de l’extrême flexibilité de QF-Test (intégration de Jython et Groovy, personnalisation de la reconnaissance d’objets, etc.), l’adaptation du code du cadre a été rapidement possible.

Passage de Java swing à l’application web

Dans le cadre du passage prévu de notre application principale basée sur Java Swing à une application web, nous avons été confrontés l’année dernière au défi de mettre en œuvre l’automatisation de l’interface utilisateur également pour les composants du navigateur JX. Le navigateur JX est utilisé comme un navigateur intégré swing pendant la migration. Concernant ce défi, il s’est avéré que la coopération avec la société QFS a été remarquable. Nous avons reçu des réponses individuelles aux problèmes émergents ainsi que des mises en œuvre rapides et compétentes sur mesure – un grand éloge et un grand merci aux employés de la société QFS.

(Les textes originaux allemands et les citations sont traduits en français).

Automatisation robuste des tests avec QF-Test

2022-01-01T00:00:00+01:00

Pour le développement et l’exécution de cas de test automatisés pour notre client (HP / HP OpenView Software), un outil de test devait être sélectionné, qui devait être bien adapté au test des applications Java UI. Les exigences qui devaient être satisfaites sont les suivantes :

Soutien de l’ensemble du processus de cycle de vie des logiciels : Gestion de la configuration, gestion des cas de test, remaniement, tests des composants, tests du système
Soutien aux plates-formes MS Windows, HP-UX, Linux, Solaris, AIX
Développement de cas de test solides: Facile à capturer, facile à exécuter, reconnaissance robuste des composants graphiques même sans « object.name », capture et développement de cas de test sur une seule plateforme, exécution des cas de test sur plusieurs plateformes (MS Win, Linux, HP-UX, Solaris, …), exécution des tests capturés sur une plateforme différente, support des cas de test localisés, facile à étendre
Facile à utiliser et / ou un langage connu pour les cas tests (Java, Perl, Python, …)
Mode batch (exécution sans surveillance)
Licences sensibles (à utiliser dans des environnements de test complexes avec firewall, proxy ?)
Installation simple de l’outil: Un mécanisme simple, peu ou pas de dépendances
Évaluation facile et complète des résultats des tests
Support: Soutien rapide et compétent pour les questions concernant le développement et l’exécution des cas de test, des cycles de développement courts et fiables

QF-Test chez hp / daemons point : faible effort de maintenance

Malheureusement, beaucoup d’outils bien connus des fournisseurs les plus renommés ne répondaient qu’en partie aux exigences. La capacité de QF-Test à effectuer des tests sur différentes plateformes a été particulièrement remarquable lors de l’évaluation. La reconnaissance standard des composants graphiques est déjà très puissante. En utilisant l’API des extensions Name et ItemResolver, il devrait être possible – même dans des situations difficiles (absence ou incohérence des noms d’objets) – de créer un scénario de test robuste qui fonctionnera de manière fiable même dans des environnements localisés.

On peut voir clairement que les fonctionnalités de QF-Test ont été mises en œuvre de manière très pratique. Ce n’est qu’ainsi qu’il est possible de créer très efficacement des cas de test, qui – lors des changements habituels de logiciels tout au long de leur cycle de vie (un certain nombre d’années dans le cas présent !) – peuvent toujours être adaptés à la dernière version avec une faible charge de maintenance. En outre, l’interface de plugin de QF-Test ouvre la voie à l’intégration dans le cadre de test distribué existant, de sorte que le développement de cas de test beaucoup plus complexes devrait être possible.

QF-Test a donc été le grand gagnant de l’évaluation. Le fait que ses coûts de licence et de soutien pour le développement et l’exécution étaient les plus bas n’a même pas été pris en compte.

(Les textes originaux allemands et les citations sont traduits en français).

QF-Test replace Selenium chez HPV

2022-01-01T00:00:00+01:00

À propos de Hamburger Pensionsverwaltung

La Hamburger Pensionsverwaltung eG (HPV) offre un service de retraite complet. Elle conseille ses membres dans le domaine de la retraite d’entreprise et crée de nouveaux plans de retraite et des rapports d’équilibre et de prévision. HPV gère pour ses entreprises membres les droits et les pensions ainsi que des fonds de pension et de prévoyance complets. HBV supervise un demi-million de promesses de pension dont les actifs s’élèvent à plus de sept milliards d’euros.

À propos de Selenium

Il y a environ 10 ans, nous avons utilisé de Selenium pour tester nos applications de portail. Les avantages et les inconvénients suivants ont été pris en compte :

Avantages : Il a été possible d’enregistrer et de rejouer les tests par capture-relecture et sans script. Des scénarios compliqués étaient également testables. Les tests pouvaient être copiés et de nouveaux ensembles de données pouvaient être inclus par le biais de l’édition. En cas de petits ajustements dans la séquence du programme, nous pouvions ajouter les nouvelles séquences partielles par un copier/coller intelligent à notre test existant.

Inconvénients : Malheureusement, vous ne pouvez répéter les tests qu’avec le même ensemble de données que celui qui a été utilisé pour l’enregistrement. En général, les tests de matrice doivent être enregistrés à nouveau. Nous avons eu des problèmes de performance pendant l’exécution des tests. Nous ne pouvions exécuter les tests qu’en mode lent (la question restait ouverte de savoir si cela dépendait de notre infrastructure ou de notre propre application). Après deux versions du maire, nous avons abandonné le sélénium en raison de ce grand effort de maintenance.

À propos de QF-Test

En 2010, un de nos collègues a mentionné QF-Test. Nous avons alors pu tester confortablement nos applications de portail. Nous testons également notre système de gestion d’inventaire basé sur Java avec QF-Test. Depuis lors, nous pouvons également exécuter des tests cohérents entre le système de gestion de l’inventaire et les applications du portail. Nous envisageons actuellement d’appliquer QF-Test également à notre site web mis à jour via typo3.

Rédacteur et personne de contact: Attila Enez, Testeur
Hamburger Pensionsverwaltung e.G.
Adenauerallee 21
20097 Hamburg
Allemagne

(Les textes originaux allemands et les citations sont traduits en français).

Kolumbus Software automatisé avec QF-Test

2022-01-01T00:00:00+01:00

À propos d’innovas GmbH

Depuis 1990, innovas GmbH développe des solutions logicielles individuelles et standard avec une grande satisfaction des clients et conseille ces derniers sur le plan organisationnel, technique et dans le cadre de projets concrets. Nous comprenons que l’innovation est un processus à long terme qui nécessite de la prévoyance et de la clarté dans un environnement d’assurance sensible. Par conséquent, notre modèle d’entreprise est essentiellement basé sur l’intégration de la technologie et du professionnalisme qui se fondent progressivement dans un environnement commercial de plus en plus complexe. Notre gamme de services va de la conception et de la restructuration de systèmes administratifs complets au contrôle de la comptabilité médicale, en passant par le soutien de nouvelles approches de la gestion des soins.

QF-Test chez innovas : Gestion des cas hospitaliers

Le logiciel standard KOLUMBUS sert à l’examen et à la gestion des cas hospitaliers et est utilisé par plus de 100 porteurs de coûts. L’examen est effectué selon des critères formels et de contenu médical.

Nous utilisons QF-Test depuis le début de 2015 pour les test de regression quotidiens de l’interface graphique de notre logiciel KOLUMBUS DRG. Les employés de l’équipe d’automatisation sont des représentants du centre de test et du développement de produits.

Pour nous, l’utilisation de QF-Test présente notamment les avantages suivants :

Ergonomie intuitive
Rapports HTML lisibles
Infrastructure Java
Iintégration facile dans notre infrastructure
Livraison continue : installation et exploitation nocturnes de suites automatisées
Test implicite des scripts de la base de données et installation
Expansion rapide dans des versions adaptées via des fichiers de propriétés
Création d’une bibliothèque de composants
Extensibilité grâce à des scripts et des bibliothèques personnalisés
Intégration MS-Excel pour la gestion des données d’essai
Détection des problèmes non traçables manuellement (par exemple dans le domaine du gestionnaire d’événements Java)
Démarrage automatique des batchs
Téléchargement FTP
Intégration des services Web
XML schema validation
Génération d’Edifact
Soutien rapide et efficace (solution toujours le lendemain)

Il faut également saluer votre excellente formation, qui a été jugée très positivement par tous les employés.

Auteur: Jörg Riebschläger, Test responsible KOLUMBUS

innovas GmbH
Theodor-Heuss-Ring 19-21
50668 Cologne

(Les textes originaux allemands et les citations sont traduits en français).

Test de mise à l’échelle via Dockers/Jenkins

2022-01-01T00:00:00+01:00

Mise à l’échelle QF-Runtime via Jekins/Docker, licence incluse

Janitza electronics GmbH est une entreprise familiale dynamique, opérant au niveau international, dont le siège se trouve à Lahnau, en Hesse. Fondée en 1986 et employant environ 200 personnes, elle est l’une des principales entreprises offrant des solutions complètes en matière de gestion de l’énergie, de contrôle de la qualité de l’énergie électrique et de mesure différentielle du courant (RCM). Janitza se concentre sur le développement et la fabrication d’appareils de mesure de haute qualité avec GridVis®, un logiciel spécialement adapté à cet effet, ainsi qu’une vaste gamme de services. Janitza est considéré comme l’un des leaders du marché dans cette branche technologique, avec des canaux de distribution dans plus de 60 pays.

Janitza utilise QF-Test de manière intensive depuis de nombreuses années pour faire face à la croissance constante et garantir en même temps un niveau de qualité élevé.

En commençant par une application Swing, la technologie passe à JavaFX, JxBrowser et les applications web ont également été couvertes efficacement avec QF-Test.

Pour garantir des réponses rapides malgré la multiplication des tests, chez Janitza, nous comptons sur la mise à l’échelle via Docker.

La première condition à l’exécution parallèle est de disposer d’autant de petites suites de tests que possible, partageant une base commune. Avec l’aide du JobDSL-Plugin, un job Jenkins approprié est créé automatiquement pour chaque suite de test. Le plugin Jenkins-Docker crée ensuite les agents Docker appropriés à la charge et les distribue aux hôtes Docker. Cela s’adapte très facilement à l’ajout d’autres hôtes Docker.

L’image Docker des agents est un développement interne, utilisant une image Ubuntu normale (Phusion/baseimage) plus les paquets nécessaires et les clés SSH.

Pour garantir le bon fonctionnement des tests de surface, l’agent démarre sur un écran virtuel (Xvfb).

Certains cas de test dépendent toutefois d’un environnement Windows. Ces tests utilisent un label différent afin de fonctionner sur des agents Windows stables.

Les agents utilisent tous le même serveur de licence QF.

Tristan Himmelreich
Diplom-Informatiker | Recherche et développement

(Les textes originaux allemands et les citations sont traduits en français).

Tests par mot-clé (Keyword-driven Testing) avec QF-Test

2022-01-01T00:00:00+01:00

QF-Test à l’assurance autrichienne pour le secteur public

Situation initiale

En 2013, l’Österreichische Beamtenversicherung – ÖBV (assurance autrichienne pour le secteur public) a décidé d’introduire un système informatique adapté à ses besoins pour les principaux processus de gestion des stocks d’assurance et de traitement des prestations d’assurance. L’application basée sur Java Swing/AWT a été mise en œuvre en coopération avec un fournisseur de services logiciels externe et a été lancée en juillet 2016.

Il était prévu d’avoir des cycles de lancement courts après la mise en service afin de pouvoir réagir rapidement aux changements et aux nouvelles fonctionnalités.

Des cycles de lancement courts génèrent un effort de test important :

Tests d’approbation pour les billets mis en œuvre
Tests de régression pour l’assurance qualité des fonctionnalités existantes
Sanity & smoke tests après les déploiements dans les environnements de test et d’assurance qualité ainsi que dans la production.

Les services spécialisés ne peuvent pas fournir en permanence les ressources nécessaires à la couverture complète de tous les tests.

Le département informatique est responsable du fonctionnement de l’outil d’automatisation des tests QF-Test.

Objectif

En raison des connaissances très spécifiques à l’assurance requises pour la conception des tests automatisés, la question s’est posée : quel service devait mettre en œuvre les tests ?

Le service spécialisé doit-il acquérir des connaissances sur l’outil de test ou
Le service informatique doit-il faire appel à des employés ayant des connaissances spécialisées en matière d’assurance ?

L’ÖBV a choisi la solution suivante : Les connaissances informatiques restent au sein du département informatique et les connaissances spécialisées au sein du département spécialisé coordonné par le coordinateur de l’automatisation des tests. Le maniement de l’interface doit être très facile du côté des spécialistes.

Mise en œuvre

En raison de la rareté des ressources, le coordinateur de l’automatisation des tests est assisté par Q_PERIOR pour la gestion des tests et par Erler Consulting International pour l’ingénierie des tests.

Coordinateur de l’automatisation des tests entre le service spécialisé et l’informatique

Le département spécialisé dans les assurances conçoit des cas de test comprenant des paramètres de test qui sont transmis au coordinateur de l’automatisation des tests. Sur la base de ces paramètres, il crée les tests dans des fichiers Excel qui sont traités par l’outil d’automatisation des tests QF-Test qui exécute les mots clés avec leurs paramètres.

Réalisation technique

Une solution technique a été choisie qui

permet aux utilisateurs non techniques de mettre en œuvre des cas d’essai dans Excel, de les copier, etc.
couvre, respectivement traite, tous les écrans du logiciel d’assurance
peuvent passer facilement d’un environnement de test à l’autre.

Les tests sont basés sur des mots-clés. Toutes les actions de l’utilisateur au sein de l’application (par exemple, les clics de souris, la saisie de texte, les vérifications de texte) sont mises en correspondance dans QF-Test avec les procédures. L’ingénierie des tests fournit des mots clés au coordinateur de l’automatisation des tests qui les rassemble ensuite dans des cas de test.

Les cas de test individuels sont assemblés dans d’autres fichiers Excel pour tester des scénarios. Ces fichiers de contrôle des tests définissent quel scénario de test est exécuté dans quel scénario de test.

Les paramètres spécifiques aux mots clés peuvent être saisis soit directement avec le mot clé dans le fichier de cas de test, soit dans un fichier Excel séparé pour l’ensemble du dialogue de l’application.

Pour le fichier des résultats, la date, l’heure et le résultat de chaque scénario de test sont ajoutés au fichier de contrôle des tests. En outre, QF-Test crée un rapport HTML avec des graphiques du résultat global. Les journaux d’exécution détaillés de QF-Test peuvent être utilisés par l’ingénierie des tests pour l’analyse des erreurs.

Conclusion

Cette solution aide chaque service à remplir ses tâches spécialisées. Dans un premier temps, tous les tests de fumée ont été automatisés (tests pour la couverture des fonctionnalités de base de l’application), ce qui était jusqu’alors fait manuellement par les services spécialisés.

Les avantages pour l’ÖBV sont les suivants :

Économie de 5 à 10 jours-homme par version par rapport aux tests manuels
Qualité stable
Génération automatisée de données d’essai

Étape par étape, d’autres tests seront mis en œuvre pour devenir des tests de régression runas après chaque déploiement de logiciel.

Gestion des tests : Q_PERIOR AG
La société de conseil informatique Q_PERIOR a apporté son soutien en ce qui concerne la gestion des tests. Cela a couvert la déduction de la stratégie de test du point de vue des risques, la création du concept de test, toutes les tâches telles que la conception des plans de test et leur mise en œuvre, la planification et le contrôle de tous les tests ainsi que la coordination de la conception des cas de test, de l’exécution des tests et des ressources de test.

Ingénierie des tests : Erler Consulting International GmbH
Erler Consulting International GmbH, représentée par Ute Erler, était responsable de l’ingénierie des tests. Cela comprenait la conception et la mise en œuvre du traitement des mots-clés, la programmation des mots-clés et la structuration des scénarios de test. En cours de fonctionnement, elle participe à l’analyse des erreurs des cas de test exécutés.

(Les textes originaux allemands et les citations sont traduits en français).

Migration des tests automatisés de Java Swing vers JavaFX

2021-01-01T00:00:00+01:00

A propos de Centris AG

Centris AG est un prestataire de services pour les assurances maladie et accidents suisses et les aide à mettre en place de nouvelles solutions informatiques. Le logiciel Syrius utilisé chez Centris AG est une application Java et est en cours de migration vers JavaFX.

Situation initiale : Swing – Mise en place / structure

Le cadre de test QF-Test de Centris AG est conçu de manière à ce que chaque procédure de test logique (spécialisée) d’une application puisse être facilement mappée dans un data driver. Grâce à une distribution librement sélectionnable de l’insertion des données sources dans une section de navigation et/ou d’insertion de données. La logique du processus avec les valeurs d’insertion appropriées, écrites dans des tableaux Excel (data driver) correspond à 1:1 à la conception de l’interface graphique ou à la désignation des composants de l’application.

Les conditions préalables sont les suivantes :

Mise en œuvre de composants génériques pour chaque classe concernée (à peu près 30: de genericTextField à genericMultiChoiceComboBox juqu’au genericList).
Mise en œuvre de résolveurs de noms pour déterminer des noms de composants uniques et appropriés à l’interface graphique pour les champs de test, les cases à cocher, etc.

Migration de Swing vers JavaFX

Les tâches centrales pour le portage de Swing à FX étaient :

Adaptation/extension des composants existants et mise en œuvre de nouveaux composants génériques
Nouveau name resolver pour JavaFX pour la dénomination des composants à accéder et la réalisation de la reconnaissance des composants.

Conclusion

Les frais d’adaptation de ce transfert ont été relativement faibles. Il n’y a eu que quelques changements dans la structure de base, à l’exception de la migration de certains scripts Jython/Groovy limités (utilitaires) vers JavaFX. Nous avons pu mettre en œuvre le résolveur de manière relativement aisée avec seulement quelques difficultés que nous avons surmontées avec l’aide de QFS, par exemple l’intégration ultérieure des « hachures d’images » manquantes dans les fonctionnalités supplémentaires.

Outlook

La migration (d’environ 80% jusqu’à présent) a duré environ un « homme-mois ». La mise au point, par exemple, le timing est une tâche permanente.

Les 20 % restants font l’objet d’une migration permanente et nous sommes convaincus, grâce à l’expérience acquise, de ne pas être confrontés à de plus grandes difficultés ou à quelque chose d’inattendu.

La migration, jusqu’à présent assez facile, a confirmé le concept de test de Centris AG et le choix de l’outil d’automatisation des tests approprié.

C’est la raison pour laquelle nous sommes très optimistes quant à la conclusion prochaine de cette migration grâce au soutien très compétent, rapide et convivial de QFS et au passage en mode de maintenance.

Future

Java 9… nous serons surpris !

(Les textes originaux allemands et les citations sont traduits en français).

Passage du test manuel au test automatisé

2021-01-01T00:00:00+01:00

A propos de CertiCon

Depuis 1996, CertiCon améliore la compétitivité de nos clients dans le monde entier. Les solutions B2B de CertiCon comprennent toute la gamme de services et de solutions en matière de développement de logiciels et de tests de vérification de l’assurance qualité. Notre expérience dans les domaines des applications médicales et critiques et des applications industrielles de haute technologie nous permet d’exploiter les meilleures pratiques et solutions pour nos clients. CertiCon conçoit, développe, réalise des prototypes rapides et déploie des solutions logicielles sophistiquées. Nos projets et solutions couvrent les domaines médicaux et industriels en s’appuyant sur des méthodologies et des technologies de pointe.

QF-Test utilisé par CertiCon

Le projet

Le projet est une solution sophistiquée de diagnostic des véhicules qui intègre les applications existantes, les applications étendues et les nouvelles applications et processus dans un système commun. Les clients potentiels sont des concessionnaires agréés et des ateliers indépendants.

Du point de vue de l’utilisateur final, l’application élimine les entrées multiples des utilisateurs grâce à la mise en œuvre de mécanismes de prise de contrôle unique et de signature unique. L’objectif initial du projet était de créer une solution légère qui fournisse des résultats de diagnostic compétents à ses utilisateurs finaux.

Le défi

Version après version, l’application s’est développée avec l’ajout de nouvelles fonctionnalités. Le maintien du processus d’assurance qualité défini était une tâche exigeante.

Avec plus de 2 000 cas de test manuels (qui augmentent à chaque version), nous avons dû réduire le temps nécessaire aux tests et, ce faisant, continuer à ajouter de nouveaux cas de test et à améliorer la qualité du logiciel dans son ensemble.

Solution

Avec un environnement de test stable, l’automatisation du processus de test était la réponse à nos besoins. L’outil de choix proverbial était QF-Test de Quality First Software GmbH, un outil professionnel sous licence pour les tests de régression et de charge des applications Java et Web avec une interface utilisateur graphique (GUI).

Le processus d’automatisation comprenait les étapes suivantes :

Rédaction de scripts de test initiaux, communs à tous les cas de test.

Réutilisation

Enregistrement de cas individuels comme séquences séparées.
Exécution des scripts de test.
Modification des scripts de test après la correction des défauts révélés dans l’application lors de l’exécution du script.
Préparation des suites de test pour les tests de régression quotidiens exécutés sur la dernière version.

Résultats : Réduction du temps de test de près de 50% !

En quelques mois, nous avons réussi à réduire le temps de traitement des tests de près de 50 %, en ajoutant des centaines de cas de tests supplémentaires, le cycle et le calendrier des tests restant intacts.

Comme le montre le chiffre général, bien que l’investissement initial en ressources supplémentaires ait été élevé, à long terme, le temps et le coût des tests de logiciels ont été réduits et l’ajout de cas de test et l’augmentation des tests de régression ont permis d’améliorer la qualité des logiciels.

De Winrunner à QF-Test

2021-01-01T00:00:00+01:00

À propos de CoreMedia

CoreMedia est le leader des logiciels sociaux innovants centrés sur les personnes. La société, basée à Hambourg, en Allemagne, a réussi à se positionner sur le marché très dynamique de la technologie Internet. L’entreprise se caractérise par sa culture innovante et créative, et par l’accent mis sur l’apprentissage collectif. Ces valeurs se retrouvent également dans la technologie de CoreMedia : CoreMedia développe des logiciels qui permettent à son personnel, ses partenaires et ses clients d’atteindre leurs objectifs rapidement, de manière créative et productive.

Fondée en 1996 et basée à Hambourg, en Allemagne, CoreMedia compte plus de 150 employés et entretient un réseau mondial de partenaires de mise en œuvre qui comprend 500 consultants professionnels.

ÜPlus de 200 sociétés dans le monde entier font confiance aux solutions de gestion de contenu (CMS) et de gestion des droits numériques (DRM) de CoreMedia, notamment ARD, Bertelsmann, BenQ, BILD, Continental, DAK, DaimlerChrysler, debitel, Deutsche Telekom, GMX, IKK, NEC, MLP, Motorola, Nokia, O2, Panasonic, Plus, PREMIERE, Quelle, Qualcomm, Samsung, SEAT, Sony Ericsson, T-Mobile, T-Online et Vodafone. CoreMedia est également à la base des services en ligne fournis par plus de 80 institutions publiques et organismes administratifs.

CoreMedia a reçu de nombreux prix internationaux ces dernières années, faisant l’éloge de sa culture et de ses logiciels innovants, notamment le European Business Award, la reconnaissance en tant que meilleur innovateur, et l’inclusion dans la liste Deloitte Technology Fast 50 des entreprises à croissance rapide.

QF-Test chez CoreMedia : La robustesse des tests est importante

Extrait d’un article de Mark Michaelis, ingénieur logiciel, assurance qualité, CoreMedia AG, Hambourg, Allemagne :

À propos des mauvais outils d’automatisation des interfaces graphiques : Je pense aussi que l’automatisation des tests d’interface graphique est peut-être l’une des choses les plus difficiles à faire dans le domaine des tests. Il faut une longue évaluation pour obtenir le bon outil d’automatisation, surtout pour en faire accepter un par toute l’équipe.

Pour Java (Swing Applications), nous sommes passés de WinRunner (utilisé depuis des années) à QF-Test. WinRunner n’a pas été accepté par l’équipe en raison de son langage propriétaire, la TSL. En revanche, QF-Test est développé en Java et utilise Jython comme langage de script. Un excellent début pour les développeurs Java. Il y a beaucoup d’autres avantages de QF-Test, mais je n’en mentionnerai que trois ici :

Comme QF-Test est écrit en Java, il n’a aucun problème pour traiter les dernières versions de Java. Passer du test avec Java 1.5 au test avec Java 1.6 a été un jeu d’enfant
Les tests peuvent être écrits de manière à ce que les responsables puissent également lire facilement ce que le test fait réellement sans entrer dans les détails.
Un support important pour les tests pilotés par les données (Data driven Testing). Jamais autant de cas de tests n’ont été effectués en si peu de temps…

A propos de la robustesse de l’automatisation des tests d’interface graphique : Je pense qu’il y a deux choses qui doivent être faites pour que les tests soient aussi robustes que possible. L’une est déjà mentionnée dans l’article de StickyMinds que vous avez cité : Impliquer les développeurs. Il est certain qu’il faut ajouter des crochets de test dans l’application. Le plus simple est de donner aux éléments de l’interface graphique un identifiant unique (en Java : en utilisant setName()).

Ensuite, il faut créer des cartes d’interface graphique (un terme que j’ai appris de WinRunner, mais que j’ai également adopté pour QF-Test) : Placer les règles d’identification des éléments de l’interface graphique dans une base de données/un fichier propre. De cette façon, vous n’avez qu’à toucher ce fichier pour de légères modifications de l’interface graphique.

Mais la meilleure chose à faire est de créer un cadre de test. Par exemple, pour chaque action de menu (chaque au sens de XP : chaque action actuellement utilisée), j’ai créé une fonction de bibliothèque. Les développeurs n’ont qu’à appeler cette fonction de bibliothèque et n’ont pas besoin de se soucier de savoir s’il y a des boutons radio ou une liste déroulante derrière. Si l’élément de l’interface graphique change de type, seul le cadre doit être ajusté.

Des fonctions encore plus complexes ont été déplacées dans le cadre. Par exemple, pour le CMS, j’ai créé des fonctions de cadre qui créent automatiquement des documents (en utilisant l’interface graphique). Il est donc très facile pour les développeurs d’obtenir des montages de test avec lesquels ils peuvent travailler.

Enfin, pour en revenir au code, j’ai ajouté une interface graphique de test à l’application. Cela présente deux avantages :

Je peux accéder à l’intérieur même de l’application.
Les développeurs peuvent facilement voir que je fais cela et comment et peuvent donc s’en occuper pendant le remaniement du code.

Le fait d’avoir ces trois choses : UI Maps, UI Automation Test Framework, UI Test Facade J’ai enfin obtenu un ensemble très robuste de tests d’interface graphique.

AdditionalEvaluation report of CoreMedia

(Les textes originaux allemands et les citations sont traduits en français).

Tester le logiciel d’entreprise eGECKO avec QF-Test

2021-01-01T00:00:00+01:00

Premiers pas après la formation

Après la formation, j’ai créé plusieurs procédures universelles qui couvrent des processus élémentaires dans notre logiciel et vous pouvez ensuite vous y référer dans d’autres cas de tests. Le webinaire sur les dépendances m’a également aidé à comprendre ce sujet et à optimiser un test.

Au début, nous nous sommes concentrés sur le domaine de la comptabilité de notre logiciel. Nous testons maintenant différents processus, par exemple les interfaces, la création de documents et les transactions comptables avec différentes données de base ou la création de factures. Nous vérifions ensuite également les fichiers PDF créés. Ça marche super bien !

Perspectives

Nous sommes toujours confrontés à des défis concernant l’indépendance des tests. Nos tests démarrent avec une base de données vide, les données sont créées par les tests pendant l’exécution du test et ensuite importées. Mais, lorsqu’il y a une erreur dans le test n°5, les tests 1 à 4 doivent d’abord être exécutés pour que nous puissions trouver l’erreur et déboguer. À ce stade, cela fonctionne, mais avec un nombre croissant de tests, cela peut devenir difficile en raison du manque de temps. Nous devrions peut-être sauvegarder la base de données après chaque cas de test, mais cela aurait un impact profond sur les performances.

Nous avons automatisé les tests via notre Jenkins avec des pipelines (pas le plugin QF-Test), puisque nous avons plusieurs configurations et nettoyages de nos tests, cela rend les tests mieux contrôlables. Après la création d’une nouvelle branche de notre logiciel, il nous suffit de changer le chemin vers la nouvelle version du programme – Nous n’avons pas eu d’autres changements ou bugs du côté de QF-Test lors de la vérification d’une nouvelle version ! Dans un futur proche, nous allons mettre à jour eGECKO sur Java 11, mais je suis optimiste que nous n’aurons pas de problèmes à ce niveau.

eGECKO

eGECKO est un logiciel d’entreprise modulaire et très confortable pour des processus économiques très différents.

Résultats de test QF-Test eGECKO

Evaluation Report : Testing the business software eGECKO – March 2019, Leonhard Zentgraf, CSS AG.

(Les textes originaux allemands et les citations sont traduits en français).

Tester une application ERP

2021-01-01T00:00:00+01:00

QF-Test à eMundo

Nous utilisons QF-Test dans notre entreprise depuis longtemps pour tester une application ERP avec plusieurs centaines de masques de saisie. Il est basé sur une surface de Java Swing et a été élargi par diverses bibliothèques d’interface graphique : Jide, JGoodies, etc. Nous sommes très satisfaits de la fonctionnalité de QF-Test pour tester une application étendue.

La prise en charge de plusieurs éléments d’interface graphique, ainsi que d’éléments complexes tels que des tableaux, des arbres, etc. est très bonne. Pour les besoins qui vont au-delà de ce test, QF-Test offre la possibilité d’étendre la fonctionnalité individuellement par diverses interfaces (en utilisant Groovy et Jython comme langage de script). Ces extensions s’intègrent facilement dans le concept de contrôle clair et bien conçu de QF-Test.

QF-Test est robuste, de plus les tests locaux ne sont pas perturbés par le fait de travailler en même temps. Pour l’intégration dans un système de CI, dans notre cas Jenkins est utilisé, QF-Test peut être exécuté en mode batch.

QF-Test dispose d’une documentation complète, les questions sont répondues rapidement par l’équipe de support compétente et très attentive !

Gerhard Katstaller, eMundo GmbH, Salzbourg, Autriche

(Les textes originaux allemands et les citations sont traduits en français).

QF-Test sécurise un logiciel de gestion de cabinet médical

2021-01-01T00:00:00+01:00

À propos d’ Epikur

Depuis 1999, Epikur Software considère que sa mission est de faciliter le travail des psychothérapeutes et des médecins. Avec notre système de gestion de cabinet EPIKUR, nous aidons les cabinets individuels et collectifs, les centres médicaux, les instituts de formation psychothérapeutique et les centres de recherche ambulatoires à organiser leurs processus quotidiens : Nous optimisons l’attribution des rendez-vous, accélérons la documentation et améliorons la communication numérique entre les praticiens et les patients. En outre, nous nous occupons de la sécurité informatique et de la connexion sans faille à l’infrastructure télématique.

Les exigences

Notre système de gestion de cabinet médical utilise Java comme base avec AWT, Swing et JavaFX pour l’interface utilisateur graphique et est conçu pour être utilisé sous Windows, macOS et Linux. Il en résulte le besoin d’un logiciel de test qui puisse représenter tous ces aspects à la fois.

Lors d’une recherche approfondie, plusieurs autres produits ont été comparés. Les critères étaient les suivants :

Prix
Compatibilité de la plateforme pour Windows, macOS, Linux
Auto-hébergement ou cloud-only
Performance
Support
Facilité d’utilisation
Intégration et contrôle de version (Git)
Compétences de programmation nécessaires ?

C’est surtout sur l’aspect de la compatibilité des plateformes et sur la question de la nécessité des compétences de programmation que QF-Test a pu s’imposer.

La réalisation

Nous utilisons QF-Test pour représenter les tests de régression lors des tests de validation des mises à jour de programmes. Tous les tests manuels ne sont pas encore complètement automatisés, mais on peut d’ores et déjà prévoir que le gain de temps en termes de tests manuels sera considérable, ce qui libérera du temps pour d’autres types de tests.

Par exemple, il existe un cas d’utilisation qui, en cas de test manuel, prend environ dix minutes par système d’exploitation et par variante de produit et qui est exécuté après chaque build. Sous sa forme automatisée, il ne prend plus que trois minutes. De plus, l’automatisation de nos cas de test nous permet de tester les mêmes cas de test avec un temps d’exécution plus court dans deux variantes de produit différentes sur trois systèmes d’exploitation différents, ce qui représente un gain de temps considérable par rapport à l’exécution manuelle.

L’un des défis de l’implémentation de nos tests avec QF-Test est la stabilité de la récupération des éléments d’affichage, qui a pu être résolue dans un premier temps en modifiant les temps d’attente standard ou en attribuant des temps d’attente supplémentaires dédiés.

En tant qu’infrastructure de test, nous utilisons des pipelines gitlab qui exécutent les tests de régression correspondants via des schedules déclenchés chronologiquement. Ces pipelines gitlab font partie d’un processus de test de validation qui se répète deux à trois fois par semaine. Étant donné que nous devons tester le même cas de test dans deux versions différentes du produit et dans trois systèmes d’exploitation différents, le nombre de cas de test à exécuter automatiquement est énorme (environ 120), même pour une petite quantité de cas de test. Actuellement, nous exécutons ces cas de test la nuit, après la construction du programme, et nous pouvons évaluer les résultats des tests le matin. En général, cela prend environ cinq à six heures.

Comme QF-Test permet un appel par lots, c’est-à-dire sans nécessité de démarrer à partir du mode éditeur, d’autres intégrations des tests sont également envisageables, notamment dans de véritables systèmes de gestion de tests.

Philipp Strauß, Epikur Software GmbH & Co. KG, Berlin, Allemagne

QF-Test chez Airbus Defence and Space

2020-01-01T00:00:00+01:00

1 Tests de régression UI multi-plateformes dans la chaîne de déploiement continu avec QF-Test

Airbus Defence and Space utilise l’outil de test UI QF-Test pour les tests de régression automatisés quotidiens. Le « System under Test » est un logiciel d’application utilisé pour le traitement d’informations d’images, de vidéos et de mouvements dans un environnement militaire. Pour ce produit et ses variantes, il est garanti que les modifications nouvellement implémentées n’ont pas d’influence sur les fonctionnalités existantes. L’architecture du logiciel, associée à QF-Test, permet une approche inter-systèmes d’exploitation de type « Write once, test anywhere » (écrire une fois, tester n’importe où), afin de vérifier de manière ciblée la qualité tant du produit standard que de ses déclinaisons.

2 Test QF chez Airbus Defence and Space

2.1 Le projet de test

Le logiciel d’application développé par Airbus Defence and Space est basé sur une architecture client-serveur. Le client est basé sur Eclipse RCP et peut être lancé sous RHEL dans deux modes différents. Le backend est une solution serveur OSGi et est supporté pour deux systèmes d’exploitation, RHEL Server pour le produit standard, Oracle Solaris 11 pour une version du produit qui est déjà opérationnelle.

Sur la base des nouvelles exigences des clients, le produit standard est développé, recréé dans le cadre d’un processus de construction quotidien et distribué sur les deux plates-formes. Dans le cadre de cette chaîne de développement continu, des tests de régression UI automatisés basés sur QF-Test sont effectués pour vérifier l’intégrité des interfaces client-serveur et leur fonctionnalité de base. Cela garantit que les éventuels comportements erronés après l’implémentation de modifications sont détectés à temps et peuvent être rapidement corrigés.

2.2 L’architecture des tests

La chaîne de déploiement continu pour le produit SW et sa variante est illustrée dans la figure ci-dessus. Dans le processus de construction et de déploiement, le logiciel à tester ainsi que le logiciel QF-Test sont d’abord mis en paquet et stockés dans un référentiel. Le package QF-Test stocké dans le référentiel NEXUS comprend, outre le logiciel QF-Test, deux autres parties : une bibliothèque de produits (Produkt Library.qft) et une suite de tests correspondante (Smoke-Test-Suite.qft) pour chaque plateforme. La bibliothèque de produits contient tous les enregistrements permettant d’accéder aux éléments graphiques du client basé sur Eclipse RCP (menus, parties, tables, boutons, curseurs, etc.). C’est également ici que se trouve l’arborescence Windows et Components qui, avec un identifiant de composant univoque, permet d’accéder aux éléments graphiques du client. Le déroulement dynamique des tests varie entre les deux solutions serveur (RHEL, Oracle Solaris) et est adapté en conséquence dans la suite de test Smoke correspondante pour chaque plate-forme. Les suites de test implémentées ici sont lancées quotidiennement après l’installation et utilisent les fonctionnalités de base enregistrées dans la bibliothèque du produit. Les suites de test sont tout d’abord exécutées afin de définir les paramètres de configuration pour le transfert de données entre le serveur et le client (ports, adresses IP, protocoles). Ensuite, l’exactitude des interfaces implémentées entre le serveur et le client est vérifiée pour chaque plateforme en simulant et en vérifiant automatiquement un simple échange de données (images, vidéos, informations de mouvement). L’utilisation de Data Driver/Tables facilite l’exécution de la même séquence de test avec différentes configurations, tout en préservant la maintenabilité du code de test. Les procédures individuelles sont encapsulées dans de simples blocs Try/Catch, ce qui permet d’intercepter et de consigner facilement les erreurs imprévues. L’exécution parallèle et automatique d’une centaine de tests prend environ une heure. L’exécution manuelle des tests occupait jusqu’à présent 1 personne pendant 3 heures par configuration. Pour le produit standard et sa version (2 modes), l’économie est donc actuellement de 8 heures/jour, un temps que nous investissons volontiers dans d’autres tests automatisés ou d’autres activités.

2.3 La conclusion

Grâce à cette approche – « write once, test anywhere » – nous avons trouvé de très nombreuses erreurs liées à la configuration de l’application sur le système d’exploitation concerné. Dans l’ensemble, l’automatisation des tests a un effet très positif sur l’accélération du processus de développement, car les résultats des tests sont disponibles rapidement et les tests manuels coûteux peuvent être supprimés. De plus, des résultats de tests automatisés réussis sont considérés comme des critères de transfert pour l’installation et la configuration du logiciel à l’étape suivante de l’intégration.

QF-Test, en tant qu’outil d’automatisation des tests d’interface graphique, est conçu pour une utilisation multiplateforme et convient très bien à notre domaine d’application. QF-Test est facile à apprendre et s’est intégré sans problème dans notre environnement d’exploitation. La possibilité d’insérer dans le processus de test les algorithmes fournis pour la comparaison d’images basées sur les pixels pour les images et les vidéos mérite d’être soulignée. De plus, nous avons tiré profit de la gestion des exceptions de QF-Test pour le contrôle du déroulement des différentes suites de test. Enfin, le support allemand très rapide et fiable du fabricant nous a également aidés.

2.4 Les perspectives

Afin de vérifier de manière ciblée la variante de produit déjà en service opérationnel, d’autres tests de régression sont prévus pour vérifier les cas d’utilisation fréquents du système. Il s’agit ici de simuler des processus asynchrones et de longue durée ainsi que d’étudier le traitement de grandes quantités de données afin de tirer des conclusions sur les performances (charge CPU, besoin en mémoire) du système. Ici aussi, la bibliothèque de produits existante peut être utilisée, il suffit de créer une nouvelle suite de tests de régression contenant les nouveaux cas d’application. Nous espérons que cette procédure permettra d’améliorer encore la qualité du logiciel et de minimiser les risques que les erreurs ne soient découvertes qu’à un stade tardif et donc beaucoup plus coûteuses à corriger.

Auteur : Thomas Schöning
Testmanager certifié ISTQB
Airbus Defence and Space GmbH
Produits et projets multi-INT Allemagne

(Les textes originaux allemands et les citations sont traduits en français).

QF-Test chez Amadeus Airline Software

2020-01-01T00:00:00+01:00

A propos d’Amadeus

Amadeus est l’un des principaux processeurs de transactions pour l’industrie mondiale du voyage et du tourisme. Il fournit une puissance de traitement des transactions et des solutions technologiques aux fournisseurs de voyages et aux agences de voyages. La société agit à la fois comme un réseau mondial reliant les fournisseurs de voyages et les agences de voyages par le biais d’une plate-forme de traitement très efficace pour la distribution des produits et services de voyage et comme un fournisseur d’un portefeuille complet de solutions informatiques qui automatisent certains processus commerciaux essentiels.

QF-Test chez Amadeus : Tests de l’interface graphique des composants spéciaux de Swing

Dans le cadre de son offre historique, Amadeus propose une suite de produits pour Airline IT nommée Altéa. Basée sur des composants Swing hautement personnalisés, ses interfaces graphiques sont déployées sur des centaines de milliers de postes de travail dans le monde entier.

Afin d’assurer un niveau de qualité élevé et durable, nous avons réalisé en 2005 une étude comparant sept outils de test d’interfaces graphiques, dont QF-Test, qui s’est finalement classé premier pour les principales raisons suivantes:

La reconnaissance de composants la plus puissante et la plus fiable : basée sur l’heuristique spécifique de Java Swing, la suite QF-Test nécessite moins de maintenance que les autres produits testés.
La vitesse à laquelle QF-Test est capable de jouer un scénario est assez impressionnante : elle permet une livraison à temps sans compromettre la qualité.
Le paradigme de la lecture d’enregistrements graphiques associé aux procédures Jython (et maintenant Groovy) : garantit la convivialité pour les utilisateurs sans connaissances de développement et la puissance des fonctions personnalisées avancées partagées.

Notre offre et nos besoins ont ensuite évolué, tout comme QF-Test ::

Le mode démon – qui permet de regrouper des stations de travail et de réutiliser l’interface graphique – réduit considérablement le temps nécessaire à une régression complète.
QF-Test/web, le module web multi-navigateurs situé au-dessus du moteur central de régression QF-Test, nous permet de tester nos applications web sans perdre notre expertise locale QF-Test.

Une seule chose n’a pas changé au fil du temps : le niveau réactif et efficace du soutien des auteurs. L’équipe de QF-Test nous a montré à de nombreuses reprises qu’elle était capable de réagir de manière rapide et précise. C’est sans aucun doute ce qui fait la différence entre un bon et un excellent produit.

Nos solutions informatiques sont maintenant utilisées dans le monde entier par les protagonistes de l’industrie du tourisme et du voyage, et QF-Test n’a jamais cessé de nous aider à améliorer la qualité, même par des changements drastiques comme:

Look&Feel migrations.
Java switches (de Java 4 to Java 6).
Changements architecturaux et technologiques (in-house Java Swing et frameworks web).

Capable de couvrir des parties importantes des mondes Java et web, facile à utiliser et à comprendre grâce à son manuel d’utilisation complet et à jour, sans oublier le support dédié et la formation optionnelle sur site, la suite QF-Test est désormais l’util officiel de test de régression d’Amadeus, utilisé dans le monde entier par nos développeurs et analystes fonctionnels.

Les API et la modularité (mode démon, rapports personnalisés, bibliothèques partagées…) permettent des initiatives locales qui finissent parfois par devenir des solutions ou des meilleures pratiques à l’échelle de l’entreprise, comme le cadre Windmill, qui envoie des commandes de test 24 heures sur 24 et 7 jours sur 7 sur un nuage de dizaines de postes de travail.

L’outil et l’équipe derrière QF-Test ne m’ont jamais déçu, je n’hésiterais donc pas à recommander QF-Test à quiconque développe des applications Java ou web.

Laurent Dollé
Software Engineer, Java Front-end Middleware, Amadeus IT Group SA – amadeus.com

Un logiciel bancaire critique migré de Java Swing vers le Web

2020-01-01T00:00:00+01:00

Migration via WebSwing – tests inclus !

La société B+S Banksysteme Aktiengesellschaft, cotée à la bourse des valeurs de Francfort, est une manufacture de logiciels pour les banques et les prestataires de services financiers, fondée en 1982 à Salzbourg. Le siège de la société se trouve à Munich depuis 2008, d’autres sites se trouvent en Autriche et en Suisse.

Nous relevons les défis vastes et complexes du monde de la finance avec une équipe de plus de 100 experts.

Grâce à l’organisation de l’équipe avec des spécialistes professionnels et techniques, il est possible de développer des produits exceptionnels pour des clients exigeants et de les exploiter sur demande dans notre propre centre informatique. L’étroite collaboration avec QFS nous permet depuis de nombreuses années d’intégrer efficacement toutes les technologies de développement utilisées dans des procédures de test automatisées intensives et multicouches.

QF-Test chez B+S Banksysteme

B+S utilise QF-Test depuis 2006. Nous avons commencé par mettre en place des tests de régression et d’intégration automatisés pour notre logiciel bancaire dont l’interface utilisateur est développée en Java Swing. La facilité de développement des procédures et des cas de test nous a rapidement convaincus et a été très bien acceptée par les employés qui développent et exécutent les tests. Nous pouvons notamment souligner la stabilité de la reconnaissance des composants malgré l’évolution des éléments d’interface ou des versions Java. Suite à une fusion avec un fabricant de services bancaires en ligne, nous avons élargi notre portefeuille de tests aux applications web natives, qui ont ensuite été intégrées dans les logiciels bancaires classiques.

QF-Test est utilisé dans l’ensemble du groupe et est intégré à de nombreuses étapes du processus de développement.

Tests de développement et d’intégration
Tests de régression (Continuous deployment, nightlybuilds)
Tests de versions logicielles proches du client avant la livraison
Tests unitaires complémentaires avec intégration dans Jenkins

Déploiement de clients Java Swing (vers les utilisateurs finaux)

De nombreux clients de B+S utilisent d’autres logiciels pour le déploiement des clients Java, comme Citrix ou des outils similaires, afin d’éviter les installations sur les postes de travail. Après avoir reçu de plus en plus de demandes pour savoir si l’application ne pouvait pas être mise à la disposition des utilisateurs finaux dans un navigateur, une étude préliminaire sur les possibilités correspondantes a été lancée en interne. Le développement d’une application web native ayant été écarté en raison des coûts élevés et des longs délais de développement, la solution WebSwing a été examinée de plus près. WebSwing permet, par le biais d’un middleware, de présenter des applications Java Swing sous forme de pages web et donc de les distribuer très facilement aux utilisateurs finaux, tout en offrant une gestion et une installation centralisées. Pendant la preuve de concept, les questions relatives aux possibilités de test de la nouvelle interface ont également été analysées. Il s’est rapidement avéré que l’entreprise QFS travaillait déjà sur le sujet avec WebSwing – le webinaire informatifIntegrated testing of Webswing applications with QF-Test nous a permis de comprendre rapidement les nouveaux contextes et les solutions possibles. Pour B+S, il était particulièrement important de pouvoir réutiliser nos cas de test QF-Test et nos procédures, qui ont évolué au fil des années.

Cette condition ayant été remplie, WebSwing a été ajouté au portefeuille de services et est utilisé dans le centre informatique de B+S depuis 2022.

Tests de Java Swing avec WebSwing

Lors des tests avec WebSwing, deux défis ont dû être relevés:

Les tests des niveaux proches du développement sont exécutés localement. Le serveur WebSwing est démarré par les testeurs. QF-Test est donc en mesure de démarrer l’instance WebSwing.
Le premier défi a pu être résolu rapidement après une brève prise de contact avec M. Gregor Schmid de QFS. Nous avons reçu un fichier de test préconfiguré et avons pu intégrer rapidement nos modifications (minimales) dans les procédures, de sorte que le serveur WebSwing et le navigateur soient lancés localement. Nous avons été très agréablement surpris de constater que tous les tests existants pouvaient être réutilisés de manière transparente. La détection de la fonction de composant est extrêmement fiable et stable, tous les identifiants et caractéristiques de détection sont restés inchangés – les tests étaient directement opérationnels.
D’autres étapes de test se déroulent sur des environnements de test dédiés, qui sont mis à jour automatiquement. L’application client/serveur complète est exploitée en permanence, les services des serveurs sont lancés de manière centralisée. Pour compliquer les choses, les serveurs de test sont clusterisés et load balanced, plusieurs environnements de test fonctionnent en parallèle sur le cluster. QF-Test ne peut donc pas démarrer lui-même l’instance WebSwing.
La résolution du deuxième défi a nécessité un peu plus d’attention. Ici aussi, les modifications nécessaires de QFS ont été nommées ou transmises sous forme de fichiers. Par exemple, le serveur WebSwing doit être installé sur QF-Test (Linux) et maintenu sur le client de manière à correspondre à QF-Test. Après l’implémentation des spécifications, il s’est avéré que la reconnaissance des composants se fait en tant qu’application web, ce qui donne de nouveaux identifiants pour les composants Swing.

Lors d’une séance de télémaintenance, les problèmes ont été identifiés et directement résolus avec Monsieur Schmid. Ainsi, plusieurs ports devaient être activés sur les différents pare-feux. Ces ports doivent également être pris en compte dans le script de démarrage de QF-Test. L’intégration de QF-Test – WebSwing sur le serveur a également dû être légèrement modifiée à plusieurs endroits en raison de notre structure.

Grâce à l’excellent soutien de QFS, que nous remercions chaleureusement, le deuxième défi a également pu être résolu de manière stable. Ici aussi, les tests existants fonctionnent sans nécessiter d’adaptation notable.

Mag. FH Jürgen Macherhammer, Chef de projet, B+S Banksysteme Salzbourg GmbH, Autriche

Tests de régression complets pour des architectures client complexes avec QF-Test

2020-01-01T00:00:00+01:00

À propos d’ BITMARCK

En tant que fournisseur de services gérés sur le marché informatique de l’assurance maladie obligatoire, BITMARCK fait avancer la numérisation dans le secteur et chez ses clients avec des produits, des solutions et des services innovants. Le standard logiciel de l’assurance maladie obligatoire BITMARCK_21c|ng, utilisé par les caisses d’assurance maladie affiliées, en constitue la base. Les clients du groupe sont les caisses d’assurance maladie d’entreprise et les caisses d’assurance maladie internes ainsi que la DAK-Gesundheit et d’autres caisses d’assurance maladie de remplacement – plus de 30.000 collaborateurs et environ 25 millions d’assurés de la GKV profitent des services informatiques de BITMARCK, plus de 80 pour cent des caisses d’assurance maladie légales allemandes sont des clients du groupe. Avec environ 1.800 employés, BITMARCK réalise un chiffre d’affaires annuel de 393 millions d’euros.

Le défi: Tests de régression complets pour des architectures client complexes

La société BITMARCK Software GmbH a été confrontée à la tâche exigeante de garantir la qualité et la stabilité continues du système central BITMARCK_21c|ng de sa solution logicielle complexe pour l’assurance sociale. Cela comprenait notamment des tests de régression complets dans le standard logiciel GKV BITMARCK_21c|ng pour différentes architectures de clients.
Tant le client web que le client swing ont dû être sécurisés à l’aide d’un vaste ensemble de tests. La gestion et l’optimisation de 4.500 tests de régression actuellement en cours sur ces différents types de clients, ainsi que l’extension prévue aux plates-formes mobiles, nécessitaient une solution d’automatisation des tests flexible et tournée vers l’avenir.

La solution : QF-Test et l’enregistreur multi-clients développé en commun

Pour relever ces défis, BITMARCK Software GmbH a opté pour QF-Test, l’un des principaux outils d’automatisation des tests d’interface graphique. En partenariat étroit avec QFS, le fabricant de QF-Test, BITMARCK Software GmbH a développé un enregistreur multi-clients innovant. Cet enregistreur a été spécialement conçu pour soutenir de manière optimale l’automatisation des tests dans le système central BITMARCK_21c|ng, aussi bien pour le client web que pour le client swing. L’enregistreur multi-clients permet un enregistrement et une maintenance hautement efficaces et précis des 4.500 tests de régression actuellement en cours sur tous les types de clients pertinents. En combinant QF-Test et cet enregistreur sur mesure, BITMARCK Software GmbH a atteint une nouvelle dimension dans l’automatisation des tests.

Les avantages de cette solution

Efficacité multi-plateforme dans le standard logiciel GKV BITMARCK_21c|ng
L’enregistreur multi-clients développé en commun optimise l’automatisation des tests pour le client web et le client swing dans le système central BITMARCK_21c|ng.
Gestion de 4.500 tests de régression pour différents clients
QF-Test et l’enregistreur permettent de gérer et d’exécuter efficacement 4.500 tests de régression en cours sur les clients web et swing.
Un enregistreur intuitif pour accélérer le développement des tests
L’enregistreur multi-clients simplifie la création et l’adaptation des cas de test pour les deux types de clients et les apps natives (iOS et Android) et réduit significativement les frais de maintenance. De plus, l’enregistreur peut être utilisé par les professionnels sans grande formation.
Une qualité logicielle maximale sur tous les clients
Grâce à la stratégie globale de test de régression avec QF-Test et l’enregistreur, BITMARCK Software GmbH assure la plus haute qualité de ses solutions logicielles pour l’assurance maladie obligatoire sur toutes les architectures client ainsi que sur les apps natives.
Livraison continue
4.500 tests de régression automatisés dans le pipeline CI/CD assurent la qualité du logiciel à chaque exécution quotidienne.

Perspectives d’avenir : Automatisation des tests mobiles et tests de bout en bout (E2E)

BITMARCK Software GmbH is continuously expanding test automation with QF-Test. Test coverage with the intuitive recorder is currently being extended to iOS and Android apps. QFS has already made great progress in the iOS area, which makes mobile test automation with QF-Test particularly promising. As a next step, BITMARCK is aiming to expand end-to-end testing between the native apps (iOS and Android) and the GKV software standard BITMARCK_21c|ng in order to comprehensively ensure the end-to-end functionality and interaction of all components.

The successful cooperation with QFS and the continuous further development of test automation with QF-Test underline the claim of BITMARCK Software GmbH to continue to set the highest quality standards in software development in the future and to actively shape the digital transformation of statutory health insurance.

The cooperation between BITMARCK Software GmbH and QFS is characterized by a close and solution-oriented partnership that enables BITMARCK Software GmbH to efficiently master even complex test automation challenges. When problems arise, BITMARCK Software GmbH benefits from the fast and competent support of QFS, which contributes significantly to finding solutions.

Dirk Kruck, ingénieur de test, BITMARCK Software GmbH

Migration de Java vers le Web chez Experian

2020-01-01T00:00:00+01:00

À propos d’Experian

Experian est la première entreprise mondiale de services d’information. Au cours des grands moments de la vie – de l’achat d’une maison ou d’une voiture à l’envoi d’un enfant à l’université, en passant par la création d’une entreprise par la mise en relation avec de nouveaux clients – nous donnons aux consommateurs et à nos clients les moyens de gérer leurs données en toute confiance. Nous aidons les particuliers à prendre le contrôle de leurs finances et à accéder aux services financiers, les entreprises à prendre des décisions plus judicieuses et à prospérer, les prêteurs à prêter de manière plus responsable et les organisations à prévenir la fraude d’identité et la criminalité. Forbes nous a désignés comme l’une des « entreprises les plus innovantes au monde ».

Client Java Swing de bureau en tant qu’application web

Il y a quelque temps, nous avons décidé de transformer une de nos applications de bureau Java Swing en une application web. Nous avons trouvé un moyen simple et agréable de le faire, en utilisant un logiciel tiers déjà disponible, et nous avons décidé de l’utiliser. La partie difficile a été la testabilité de la nouvelle solution web. Nous avons exploré plusieurs options pour pouvoir créer des tests automatisés, mais aucune d’entre elles n’était suffisamment robuste ou prometteuse. Nous l’avons ensuite examinée sous un angle différent : « C’est la même application swing que celle que nous avons en dessous, et nous disposons d’un excellent cadre d’automatisation et d’une suite de tests utilisant QF-Test. Ne pouvons-nous pas la tester sur le web avec le même outil ? Nous savions que cela ne serait pas possible avec les fonctionnalités disponibles de l’outil. Nous savions aussi que l’équipe QFS est très orientée vers le client, qu’elle est très réactive et qu’elle apporte des solutions ponctuelles à certaines de nos idées apparemment farfelues ou à certains de nos problèmes complexes. C’était juste une autre idée folle, et nous l’avons présentée à QFS, en leur demandant ce qui nous semblait être une solution imaginaire et magique à l’époque…

…et ça en valait la peine. Nos exigences ont été prises en compte très rapidement et l’un des meilleurs experts techniques de l’équipe QFS a commencé à y travailler personnellement. Il a fallu quelques itérations sur une implémentation de preuve de concept que nous avons testée, et un grand effort de collaboration entre nos spécialistes techniques et l’équipe QFS, avant que nous commencions à croire que cette implémentation pouvait réellement couvrir nos besoins.

Aujourd’hui, nous disposons de 95% (plus de 10 000 tests) de la suite existante de cas de tests pour la version Swing de notre logiciel, réutilisable pour la version web. Nous y sommes parvenus avec un minimum de retouches, et cela nous a permis d’économiser une énorme quantité d’efforts pour créer des tests à partir de zéro. Ces tests nous donnent une très grande assurance que chaque nouvelle version de la version web est de la qualité requise.

Merci à l’équipe QFS !

P.S. : L’équipe QFS remercie également pour la collaboration constructive depuis 2009, que ce soit pour les applications Swing ou les solutions web grâce à l’intégration d’outils entre Webswing et QF-Test.