Wat komt er allemaal kijken bij bepalen van test automation metrics en waar loop je daarbij tegenaan? Test Automation Consultant Vincent Wijnen en Test Manager Guido Nelissen vertellen over hun ervaringen in de dagelijkse praktijk en de misverstanden en valkuilen die ze daarbij tegenkomen.
Veelvoorkomende situatie
Nelissen schetst een situatie die hij vaak aantreft: “Wanneer deadlines niet worden gehaald, grijpen managers naar testautomatisering als middel om ontwikkelprocessen te versnellen. Maar meestal blijkt dit niet het ei van Columbus te zijn en worden testdoelstellingen niet gehaald. Het kost bijvoorbeeld te veel tijd om de test suites op te zetten en het lukt niet om alle testen te automatiseren. Daarna besluiten managers om alleen de regressietesten te automatiseren en ze stellen zichzelf de vraag: hoe kunnen we meten of deze vorm van automatisering het gewenste resultaat oplevert?”
Verkeerde KPI’s
Om de automatisering van regressietesten meetbaar te maken, stellen organisaties vaak KPI’s op. Deze doelstellingen worden meetbaar gemaakt door metrics. Wijnen: “Op het eerste gezicht lijkt dit een prima aanpak. Maar wanneer je inzoomt op de KPI’s, zie je dat deze geen goede indicatie voor testsucces zijn.” Wijnen en Nelissen geven enkele voorbeelden van dergelijke verkeerde KPI’s. In dat geval meten organisaties:
- Het percentage van geautomatiseerde testcases.
- Het aantal incidenten in productie.
- De testdekking.
- Handmatige testen in vergelijking met geautomatiseerde testen.
Valkuilen
Bij het vaststellen van bovenstaande metrics, lopen organisaties in een paar veelvoorkomende valkuilen. “Ze kijken bijvoorbeeld met een manuele testbril naar geautomatiseerde testen. In dat geval baseren ze KPI’s op handmatig testen, terwijl deze methode wezenlijk verschilt van geautomatiseerd testen. Je kunt bijvoorbeeld niet elke handmatige test automatiseren en de meerwaarde van geautomatiseerd testen zit niet in de snelheid. Of organisaties verwachten dat, wanneer testautomatisering gemaakt is, het nooit onderhoud nodig heeft en altijd uitgevoerd kan worden”, zegt Nelissen. Deze misverstanden leiden tot diverse verkeerde aannames:
- Testautomatisering is juist niet het industrialiseren van handmatige testen.
- Eenmaal geautomatiseerd renderen de testgevallen niet tijdens de rest van het project.
- Test automation verdient zichzelf niet terug door tijdswinst.
- In een testproces is de uitvoer vaak niet de bottleneck.
- Niet alle handmatige testcases zijn automatiseerbaar; sommige moeten dus niet geautomatiseerd worden.
- Testautomatisering is niet altijd een meetbare activiteit binnen een project.
Hoe zorgen deze valkuilen voor verkeerde metrics: welke gedachtegang zit achter de KPI’s, waarom klopt die niet en hoe kun je verkeerde metrics voor testautomatisering voorkomen? In hun presentatie op QX Day beantwoorden Wijnen en Nelissen deze vragen aan de hand van diverse praktijkvoorbeelden en vertellen ze hoe je met een grote bocht om de metrics-valkuilen heenloopt.
Ben je benieuwd hoe we organisaties kunnen helpen hun Quality Engineering naar het volgende level te tillen? Bekijk dan onze Quality Assurance & Testing oplossingen en services.
