a1qa testet eine große SaaS-Plattform für die Verwaltung von Programmen im sozialen Wohnungsbau

Als die QA-Managerin zum Team stieß, schien es, als wäre sie schon ihr ganzes Leben lang bei dem Projekt dabei gewesen. Sie verstand alle Rollen, die wir hinzufügten, erstellte die richtige Dokumentation, hielt effizient Besprechungen ab und analysierte auftretende Probleme schnell. Er bewies ausgezeichnete schriftliche und mündliche Kommunikationsfähigkeiten und erklärte komplexe technische Details auf einfache Weise. Er ist ein guter Zuhörer und weiß, wie er die richtigen Informationen findet. Das ist sehr wichtig, wenn wir Probleme diskutieren und jeder die Probleme versteht, die wir zu lösen haben. Für jedes Problem bestimmt das Team selbständig den geeigneten Bewegungsvektor. Sie kommen zu uns, um Antworten auf die Fragen zu erhalten, die sie benötigen, um mit einer bestimmten Aufgabe fortzufahren.

BESCHREIBUNG DES PRODUKTS

Der US-Kunde beauftragte a1qa mit der Durchführung eines vollständigen Systemtests. Bei dem Produkt handelte es sich um ein umfangreiches SaaS-ERP-System zur Verwaltung aller Prozesse im Bereich des geförderten Wohnungsbaus:

Einreichung und Bearbeitung von Anträgen, Überprüfung der für die Gewährung von Sozialwohnungen erforderlichen Bedingungen
Verwaltung des Einzugs/Auszugs von Mietern, Überprüfung des Wohnungszustands
Aufgabenzuweisung, Benachrichtigungen und Zeitmanagement.

Der Kunde wollte die folgenden Ziele erreichen:

laufende Geschäftsprozesse zu automatisieren
die Benutzerzufriedenheit durch Verkürzung der für die Bearbeitung von Dokumenten benötigten Zeit zu erhöhen
die Nutzer in die Lage zu versetzen, die Formulare selbst auszufüllen, um die Zusammenarbeit mit den Wohnberatungsstellen fortzusetzen
Kundendienststatistiken zur Verbesserung bestehender Geschäftsprozesse zu erfassen
den Prozess zur Erhebung finanzieller Informationen für die Berichterstattung an Investoren einzurichten.

BESCHREIBUNG DES PROJEKTS

Um die Qualität aller Systemprozesse zu sichern, haben die a1qa-Spezialisten ein maßgeschneidertes Set von Testdienstleistungen entwickelt (Full-Cycle-Testing), die sowohl die Markteinführungspläne als auch die Produktspezifikationen und Zielgruppen berücksichtigen.

Je nach Entwicklungsphase wurden verschiedene Arten von Tests zu unterschiedlichen Zeitpunkten durchgeführt. In der Phase der aktiven Funktionserweiterung führten die a1qa-Spezialisten zum Beispiel folgende Tests durch Funktionstests parallel zu Leistungstests und Testautomatisierung.

Außerdem wurde ein Usability-Audit durchgeführt, um das Produkt zu verbessern und es trotz seiner Komplexität benutzerfreundlich und verständlich zu machen.

Vor der Markteinführung des Produkts wurden End-to-End-Tests durchgeführt, um die allgemeine Marktreife des Systems zu beurteilen.

TESTANSATZ

Es wurde eine Reihe von Testfällen entwickelt, um die Umsetzung der funktionalen Anforderungen zu überprüfen. Um sicherzustellen, dass die Testfälle alle Anforderungen abdeckten, führte das a1qa-Team eine Cross-Review-Phase ein, in der jeder Tester jeden von ihm erstellten Testfall an ein anderes Teammitglied zur Überprüfung weitergab.

Die Testfallmatrix wurde eingeführt, um ein effizientes Arbeiten zu ermöglichen:

sicherzustellen, dass die Testfälle alle Systemanforderungen abdecken
mehrere Prüfungen zu kombinieren und so die Anzahl der Testfälle um ein Vielfaches zu reduzieren.

Die Entwicklung des Systems ging mit Änderungen an der Funktionalität einher, die eine Aktualisierung der Testfälle erforderlich machten. Damit der QA-Ingenieur nicht viel Zeit für die Auswahl der von den Änderungen betroffenen Testfälle aufwenden musste, wurde beschlossen, die Komponentenmatrix zu verwenden.

Die Komponentenmatrix enthält Testfallmatrizen für eine Komponente (Modul) des Systems.

Wenn neue Funktionen entwickelt wurden, wurde die Testfallmatrix der entsprechenden Komponentenmatrix hinzugefügt.

Erstellung der technischen Dokumentation

Der Kunde beauftragte die technischen Redakteure von a1qa mit der Erstellung und Aktualisierung einer umfassenden Hilfedokumentation. Die Dokumente sollten die verschiedenen Merkmale des Systems berücksichtigen und alle Funktionalitäten beschreiben.

Das a1qa-Team von technischen Redakteuren führte folgende Aufgaben aus:

Erstellung kontextsensitiver Hilfe
Entwicklung von praktischen Anleitungen und Seiten mit häufig gestellten Fragen
Erstellung von Unterlagen für Schulungen.

Im Laufe des Projekts haben die technischen Redakteure von a1qa mehr als 90 Dokumente mit insgesamt mehr als 1000 Seiten erstellt.

Das Produkt wurde in der Dokumentation ausführlich beschrieben. Der Kunde schätzte den flexiblen und maßgeschneiderten Ansatz bei der Bereitstellung der erforderlichen Dokumentation für alle Anforderungen sowie die beträchtliche Erfahrung und Kompetenz der technischen Redakteure.

Abnahmetests (UAT)

Vor jeder neuen Produkteinführung führte das QA-Team Abnahmetests anhand von Szenarien durch, die vom Business-Analysten und dem Kundenvertreter vorbereitet worden waren.

Schwierigkeiten:

großer Zeitaufwand für die Vorbereitung von Abnahmetestszenarien
Notwendigkeit der Änderung/Erstellung von Testszenarien für jedes UAT.

Nach zwei Abnahmetestrunden wurde festgestellt, dass die meisten Regressionsfehler mit dem grundlegenden Algorithmus für Benutzeraktionen und der Einführung neuer Funktionen zusammenhingen. Außerdem zwang die neue Funktionalität das Testteam, bestehende Abnahmetestszenarien zu ändern oder neue zu erstellen.

Lösung:

Das QA-Team entwickelte einen neuen Ansatz für die Erstellung von Skripten für Akzeptanztests. Es wurde beschlossen, UAT-Skripte zu erstellen, die grundlegende Benutzeraktionen beschreiben, und für neue Funktionen vorgefertigte Testfälle zu verwenden, um die Benutzeranforderungen zu testen.

Damit reduzierte sich die Vorbereitung der Abnahmetests auf die Auswahl geeigneter Testfälle. Anschließend wurden alle QSC- und BAS-Testfälle (Business Analyst Scenarios) automatisiert. Das Verhalten jeder Funktion wurde von den Business-Analysten in den BAS beschrieben. Diese wurden vom QA-Team entwickelt und an das Automatisierungsteam übergeben. Für jede getestete Funktion gab es mindestens einen automatisierten Test, wodurch in der UAT-Phase 3 Stunden Testzeit pro Funktion eingespart werden konnten.

Übergang von Scrum zu SAFe

Ursprünglich wurde die Projektentwicklung nach der Scrum-Methode durchgeführt. Nach einigen Jahren wurde jedoch beschlossen, auf das Scaled Agile Framework (SAFe) umzusteigen. SAFe richtet sich an große Unternehmen und ermöglicht ein effizienteres Management der Softwareentwicklung, auch bei Projekten mit mehreren Teams.

Das a1qa-Team benötigte ein tieferes Verständnis der zugrunde liegenden Werte und Prinzipien der SAFe-Entwicklung.

Der offensichtlichste Vorteil der Umstellung auf SAFe war die koordinierte Arbeit aller Teams und die schnelle Lieferung des Endprodukts.

Test-Metriken

In Absprache mit dem Kunden verfolgten die QA-Ingenieure die Dynamik der ausgewählten Metriken.

Beispiel:

Erläuterung:

Abgelehnt, % der Fehler im Verhältnis zur Gesamtzahl aller geprüften Fehler.

Qualität der Fehlerkorrektur:

0% bis 3,9% der wiedereröffneten Mängel - hoch
4 % bis 9,9 % der wiedereröffneten Mängel - mittel
10 % oder mehr der wiedereröffneten Mängel - niedrig.

Ziel: weniger als 10 % aller behobenen Mängel sollen wieder geöffnet werden.

Sprint Defects by Severity - die Anzahl aller Defekte im Zusammenhang mit den Benutzeranforderungen des aktuellen Sprints, sortiert nach Schweregrad. Die Anzahl der offenen Defekte wird in Klammern angezeigt.

QA-Team

Anfänglich war ein Qualitätskontrollteam (2 Ingenieure und 1 Teamleiter) an dem Projekt beteiligt.

Im Jahr 2014 wurde die Qualitätssicherung von sieben Teams geleistet, darunter ein Projektkoordinator, ein Projektmanager, Teamleiter, Testingenieure, Testautomatisierungsingenieure, ein Leistungstestteam, technische Redakteure und UX-Experten.

Vor dem Ende des Projekts wurde das Team auf drei Spezialisten erweitert. Teilnehmende a1qa-Spezialisten waren beteiligt an Produktunterstützung, Validierung von Fehler zu validieren und zusätzliche Funktionen zu testen, die entsprechend den Benutzeranforderungen entwickelt wurden.

Beitrag von a1qa

Das a1qa-Team war von Beginn der Produktentwicklung an in den Qualitätssicherungsprozess eingebunden. Klar strukturierte parallele Arbeitsprozesse mehrerer QS-Teams ermöglichten eine effiziente Verteilung der zu lösenden Aufgaben und Arbeitsprobleme.

Während der Testdurchführung wurden mehr als 12.000 schwerwiegende und kritische Fehler registriert, die erfolgreich behoben wurden.

Das a1qa-Team sorgte für eine qualitativ hochwertige Migration auf das neue ERP-System.

Die Spezialisten von a1qa führten eine Reihe von Schulungsveranstaltungen für die Mitarbeiter des Kunden durch und die a1qa Manager berieten den Kunden bei der Rekrutierung von neuen Qualitätskontrolleuren.

Dank der Einbindung des a1qa-Teams von technischen Redakteuren und der Erstellung einer detaillierten Dokumentation konnte der Wissenstransfer erheblich optimiert werden, was Zeit und Ressourcen für die Prüfung sparte.

Alle Projektziele wurden termingerecht erreicht und das Produkt wurde erfolgreich und pünktlich eingeführt.

ERBRACHTE DIENSTLEISTUNGEN