Der Kunde ist ein großer Autowartungsbetrieb, der Lackierarbeiten, Karosseriereparaturen, Ölwechsel, Wartung, Autowäsche und viele andere Dienstleistungen anbietet.

Sein wichtigstes IT-Produkt ist ein B2B-Marktplatz auf der SAP-Hybris-Plattform, der Tausende von Geschäften miteinander verbindet und Produkte führender Hersteller anbietet.

Der Kunde hatte zuvor mit einem anderen Qualitätssicherungsanbieter zusammengearbeitet, war aber mit der schlechten Testeffizienz unzufrieden, was zu erheblichen Verzögerungen bei der Markteinführung führte. Nach der Suche nach einem besser geeigneten Testpartner wandte sich der Kunde an a1qa.

Das Team von a1qa unter der Leitung eines QA-Managers schloss sich einem Projekt an, das nach der Scrum-Methode organisiert war. Die erste Aufgabe bestand darin, dem Kunden dabei zu helfen , seinen Flaggschiff-Marktplatz so schnell wie möglich zu starten.

Das Team analysierte die derzeitigen Qualitätskontrollprozesse, schlug Verbesserungen vor und führte neue Ansätze auf der Grundlage des ISTQB ein:

Erstellung eines Testsystems für jede Umgebung

• Eine Testumgebung, in der Entwickler neuen Code veröffentlichen und das a1qa-Team neue Funktionen testen und demonstrieren kann.
• Eine Interne Abnahmetest-Umgebung (UAT-Umgebung), in der die endgültige Version für Vorführungen bei neuen Anbietern oder zur Überprüfung der korrekten Funktion neuer Funktionen bereitgestellt wurde.
• Eine Produktionsumgebung für echte Benutzer.

Um die Testeffizienz zu verbessern, empfiehlt a1qa, die Nutzung dieser Umgebungen wie folgt zu optimieren:

• Die Testumgebung sollte dazu verwendet werden, neue Funktionen mit voller Akzeptanzabdeckung zu testen.
• Die UAT-Umgebung ist für Regressionstests vorgesehen, wobei der Code am neunten Tag des Sprints eingefroren wird, um eine minimale Abdeckung der Abnahmetests zu gewährleisten.
• Die Produktionsumgebung - für Smoke-Tests am 15. Tag des Sprints, wenn die Regressionstests zufriedenstellend sind.

Dieser Ansatz sollte den Qualitätssicherungsprozess vereinfachen und die Wirksamkeit der Tests insgesamt verbessern.

Getrennte Planung der Testaktivitäten für jedes Release

Der QA-Manager führte ein umfassendes Nachverfolgungssystem ein, das alle in jeder Umgebung zu erfüllenden Funktionen beschreibt. Dies erleichterte die Kommunikation und Transparenz für alle QS-Experten.

Erfüllung der Aufgaben des Auftraggebers

Zunächst gab der Kunde die Versionen aller neuen Funktionen frei. Nachdem sich a1qa als zuverlässiger Partner etabliert hatte, wurde diese Aufgabe an das Team der Qualitätssicherung übergeben. Kritische Funktionen wurden vom Kunden selbst getestet oder ihm vom Engineering-Team im Rahmen von Demonstrationen vorgeführt.

Festlegung des Prozesses der Fehlerklassifizierung

Anfänglich fanden zweimal wöchentlich, später einmal wöchentlich Besprechungen des QS-Teams mit dem Kunden statt. In diesen Sitzungen analysierten die Projektteilnehmer die Mängel und setzten neue Prioritäten. Diese Sitzungen trugen dazu bei, potenzielle Risiken zu ermitteln, die Beseitigung aller kritischen und wichtigen Fehler sicherzustellen und sich unter den Teammitgliedern über die Prioritäten der ermittelten Fehler zu einigen.

Organisation des Prozesses zur Erstellung der Testdokumentation

Der Dokumentationsprozess gewährleistete eine vollständige Abdeckung der Anwendungstests, half bei der Entwicklung gut strukturierter Testfälle und Testskripte, um Probleme während der Betriebsphase zu minimieren, erleichterte die Interaktion zwischen den Projektteilnehmern, förderte den Wissensaustausch und half neuen Teammitgliedern, sich schneller mit dem Softwareprodukt vertraut zu machen.

Einführung einer universellen Beschreibung von Mängeln

Diese Lösung ermöglichte es allen Projektbeteiligten, die Art jedes Fehlers klar zu verstehen, was eine genauere Priorisierung ermöglichte und das Risiko von Nacharbeiten oder Störungen des Zeitplans aufgrund von Inkonsistenzen verringerte.

Erstellung einer detaillierten Wissensbasis

Die Wissensdatenbank ermöglichte eine effizientere Einführung neuer Mitarbeiter in das Projekt, schuf einen standardisierten Ansatz für die Qualitätssicherung und vereinfachte die Lösung von Problemen im Arbeitsablauf. Sie stellte auch sicher, dass das gesamte gesammelte Wissen im Projekt verbleibt, selbst wenn wichtige Mitarbeiter das Team verlassen.

In der zweiten Phase führte das Team von a1qa umfassende Benutzerakzeptanztests durch.Die Qualitätssicherungsingenieure testeten die gesamte Softwarelösung gründlich anhand von Szenarien, die reale Benutzererfahrungen simulierten, um die Leistung des früheren Qualitätssicherungsanbieters zu bewerten und sicherzustellen, dass alle Funktionen den Anforderungen entsprachen. Nach fünf Monaten Projektprüfung und Fehlervalidierung genehmigte der Kunde die Software für den Einsatz, und der Markt begann zu funktionieren.

Nach dem erfolgreichen Start hat a1qa die folgenden Arbeiten fortgesetzt:

Funktionstests

Die QA-Ingenieure führten einen vollständigen Testzyklus der neuen Funktionen durch, um deren hohe Qualität zu gewährleisten. Es wurden auch Regressionstests durchgeführt, um sicherzustellen, dass Änderungen am Code die Funktionalität der zuvor gut funktionierenden Software nicht beeinträchtigten. Außerdem wurden Smoke-Tests durchgeführt, um die grundlegende Funktionalität schnell zu überprüfen, und eine Fehlervalidierung, um zu bestätigen, dass alle entdeckten Fehler von den Entwicklern erfolgreich beseitigt worden waren.

Darüber hinaus führte a1qa Kompatibilitätstests durch. Mit BrowserStack testeten die Ingenieure das Softwareprodukt auf verschiedenen Plattformen und Browsern. Sie analysierten die gängigsten Geräte und erstellten eine Kompatibilitätsmatrix, die Safari, Google Chrome, Microsoft Edge sowie die neuesten iPhone-, iPad- und Samsung-Geräte umfasste.

Im Rahmen der ersten Big-Data-Validierungsphase überprüften die Tester die Geschäftslogik. Sie stellten sicher, dass alle Waren korrekt kategorisiert wurden und den vordefinierten Regeln entsprachen.

Die a1qa-Ingenieure demonstrierten dem Kunden die neue Funktionalität, um ihm die Funktionsweise des Rückgabesystems zu erläutern, das es dem Endkunden ermöglicht, Rückerstattungen auszustellen und das Geld automatisch zurückzuerhalten.

Testautomatisierung

Die manuelle Durchführung von Regressionstests war sehr zeitaufwändig: Vier QA-Ingenieure mussten für jeden Zyklus vier Tage aufwenden. Um diesen Prozess zu vereinfachen, implementierte a1qa eine Java-Testautomatisierung für Regressionstests, Build-Tests und Smoke-Tests.

Das Team von a1qa verwendete ein eigenes KI-basiertes Framework zur Testautomatisierung. Es wurde entwickelt, um die Interaktion mit Webbrowsern zu vereinfachen, sicherer zu machen und stabiler zu gestalten. Das Framework verfügt über eine Funktion für bedingte Erwartungen sowie die Möglichkeit, Tests parallel auszuführen, und ein einfaches Konfigurationssystem.

Zur Verbesserung der Testausführung und des Berichtswesens implementierte a1qa Jenkins CI zur Ausführung von Remote-Tests und integrierte es in Jira und Allure Report. Diese Anpassung ermöglichte die automatische Generierung spezifischer Testsuiten nach dem Testen jedes Builds sowie die Bereitstellung detaillierter Berichte. Dies hat die Effizienz und Genauigkeit der Tests erheblich verbessert.

Die Testautomatisierung hat die Zeit für Regressionstests halbiert.

Die Testautomatisierungsingenieure überprüften auch die Optimierung der Suchleiste, die nun über Funktionen zur Suche nach Produkten nach ID, Name und Kategorie verfügt. Zu Beginn hatte der Kunde keine klare Vorstellung davon, wie diese Funktion funktionieren sollte. Daher automatisierte a1qa die Suche für mehrere Produkte und lieferte Berichte, um den Entwicklern des Kunden bei der Analyse der Ergebnisse und der Verbesserung der Suche zu helfen.

In der zweiten Phase der Big-Data-Validierung entwickelte das Team Python-Skripte, um Fehler in den Daten zu identifizieren und zu korrigieren, die eine Kategorisierung der Produkte verhinderten.

Leistungstests

Der Kunde wollte wissen, wie stabil der Markt unter den festgelegten Akzeptanzkriterien funktionieren würde: 250 aktive Nutzer gleichzeitig. Die Ingenieure von a1qa entwickelten Testfälle und führtenStress- und Belastungstests auf der Serverseite sowieTests des gesamten Produkts auf der Kundenseite durch. Diese Tests identifizierten umfangreiche Datenbankabfragen, die die Software verlangsamten. Nachdem die Entwickler das Problem behoben hatten, testeten die Qualitätsingenieure das System erneut, um sicherzustellen, dass die Korrekturen wirksam waren.

Während des Post-Release-Supports testete das a1qa-Team, wo User Stories die Gesamtleistung beim Sprint beeinträchtigen könnten. Die QA-Ingenieure leiteten die identifizierten Fehler zur Behebung an die Entwickler weiter und testeten dann das Softwareprodukt erneut.

Der Kunde verwendete eine Software, die mit dem Marktplatz über .txt-Dateien interagierte, die Informationen über Produkte, Lieferanten, Preise und Rabatte enthielten. Der Marktplatz sendete .txt-Dateien mit Kundendaten, Kontonummern und Beträgen. Der Kunde entschied sich jedoch, auf Oracle ERP umzusteigen. a1qa führte Systemintegrationstests durch, um die nahtlose Interaktion und den Datenfluss zwischen dem Marktplatz und Oracle ERP sicherzustellen.

Das getestete Softwareprodukt lief auf der SAP-Hybris-Plattform. Ungefähr einmal im Jahr bringt SAP ein größeres Upgrade heraus und stellt den Support für frühere Versionen ein. Das letzte Mal, als dies geschah, führten die QA-Ingenieure alle verfügbaren Testfälle erneut durch, um sicherzustellen, dass die Software nach dem Upgrade auf die neueste Version von SAP Hybris stabil war. Darüber hinaus führten die QA-Ingenieure alle drei Monate Wartungsarbeiten an den großen SAP-Hybris-Upgrades durch, d. h. sie analysierten, welche Teile der Software möglicherweise betroffen waren, und testeten sie.

Die a1qa-Experten leisteten auch agile Unterstützung bei der Lösung auftretender Probleme, sei es bei der Fehlersuche oder bei der schnellen Erweiterung des Teams, um mehr Testaufgaben zu bewältigen.