Performance testen is (onderdeel van) test automatisering
In essentie is een performance test niets anders dan het meervoudig, én in parallel, uitvoeren van geautomatiseerde testscripts. De belangrijkste vraag die hierbij komt kijken is: “met welke load(s) wil ik mijn systeem belasten?”. In jargon hebben we het dan over een aantal transacties per tijdseenheid, meestal per seconde (Transacties per Seconde, TPS). Deze load kan je vervolgens variëren aan de hand van je opgestelde eisen: zo kan je bijvoorbeeld testen onder de verwachte piekbelasting, of je kan de belasting langzaam laten opbouwen om de limieten van je systeem op te zoeken.
Bij functionele test automatisering zijn er maar twee mogelijke resultaten: een test case kan slagen of falen. Testresultaten van een performance moeten echter altijd geïnterpreteerd worden en vergeleken worden met de vooraf gesteld eisen, daarom is het ook van groot belang om de eisen zo concreet mogelijk op definiëren. De beste tip die ik hier kan meegeven is dat een gemiddelde (van bijvoorbeeld laadtijd, CPU-, of netwerk- verbruik) specifiek klinkt, maar dat eigenlijk helemaal niet is. Veel interessanter zijn de uitschieters: hoe groot is de afwijking t.o.v. het gemiddelde en hoe vaak komt dit voor?
4 laagdrempelige stappen om te beginnen met performance
Hoe start je dan met het testen van de performance van jouw product? Hieronder heb ik een aantal tips op een rijtje gezet die je daarmee kunnen helpen. Deze stappen zullen je allemaal helpen om meer bewustwording te creëren omtrent performance.
- Ga in gesprek met je team en/of business en/of andere belangrijke stakeholders: wat verwachten zij van jouw product? Als het antwoord ‘snel’ is, moet je vragen hoe snel. Zorg dat er duidelijke (performance) eisen opgesteld zijn en voeg deze ook toe aan je Definition of Done.
- Vervolgens kan je beginnen bij je (geautomatiseerde) functionele testen: hou een stopwatch bij de hand of kijk of er mogelijkheid is in je testtooling om de doorlooptijd van een aantal transacties te meten. Doe dit voor een aantal test cases, en een aantal releases achter elkaar voor een algemeen beeld voor de responsetijden van jouw product.
- De volgende stap is om ‘handmatig’ te gaan load testen: wat gebeurt er als je je geautomatiseerde test cases in parallel uitvoert? Als je geen geautomatiseerde testset hebt, kan dit handmatig met een aantal verschillende laptops of op dezelfde laptops in meerdere tabbladen/vensters.
- Kijk ook eens naar de achterliggende infrastructuur waar je product op draait. Doe dit in productie en/of in je testomgeving op het moment dat je (automatisch) aan het testen bent. Hoeveel geheugen wordt er gebruikt? Wat is het CPU gebruik? Is dat wat we verwachten?
Meer weten?
Beginnen met het testen van performance kan dus heel laagdrempelig zijn. Ben je nieuwsgierig geworden en wil je nog meer doen met performance engineering? Neem eens een kijkje op TMap.net of in het boek "Quality for DevOps Teams" (2020) (hoofdstuk 38). Uiteraard kan je ook direct contact opnemen voor concrete vragen.
