Bijna 15 jaar geleden lanceerden we het eerste World Quality Report. Onze bedoeling was een rapport te maken dat bedrijven zou helpen om naar "kwaliteit en testen" te kijken over verschillende industrieën en bedrijfstakken heen en te leren van andere bedrijven hoe dingen beter, sneller en goedkoper gedaan kunnen worden. Zoals we in die eerste editie stelden, was ons doel om dit een jaarlijkse publicatie te maken die zakelijke, technologische en economische trends in de softwarekwaliteit en het testen volgt.
In de eerste editie werden vier onderwerpen onderzocht: Testgereedschappen en -technologie, Testorganisatie en Testerprofiel, Outsourcingstrends en Economische Impact van Testen. De wereld was net aan het herstellen van de financiële crisis. Er was een focus op kostenbesparing. Destijds concentreerden de meeste organisaties zich op de industrialisatie van softwareontwikkeling en kwaliteitsborgingsactiviteiten (QA). Dit deden ze door het creëren van bedrijfsbrede QA-teams, met een focus op shift-left en automatisering als de belangrijkste drijfveren die hielpen om kortere en hoogwaardigere levenscycli te bereiken.
In de tweede editie zagen we de opkomst van agile en cloud. We ontdekten dat 60% van de ondervraagde bedrijven agile gebruikte, hoewel de meesten nog experimenteerden. Er was een toename van testautomatisering, maar veel bedrijven worstelden om ROI van testautomatisering te realiseren. En 50% was al begonnen met de eerste stappen van het gebruik van cloudarchitectuur voor testomgevingen. We merkten dat organisaties voornamelijk hun eigen normen voor testen ontwikkelden.
In het derde jaar analyseerden we voor het eerst testbudgetten. We vonden dat een schamele 18% van het IT-budget aan testen werd besteed, wat wees op onvoldoende aandacht voor kwaliteit. Meer organisaties namen de aanpak van het Testing Center of Excellence over om efficiëntie te verhogen en hun voordelen op te schalen. Maar het was duidelijk dat testen voornamelijk werd beschouwd als een kostenfactor en dat organisaties moeite hadden om de ware zakelijke waarde van kwaliteit te zien.
In de editie van 2013 merkten we dat kwaliteit en testen belangrijker werden voor bedrijven. We zagen een overgang van testen naar een kwaliteitsborgingsmentaliteit. De budgetten voor kwaliteitsborging stegen van 18% naar 23%. Er was verdere stroomlijning en centralisatie van QA-activiteiten om efficiëntie en kostenoptimalisatie te bereiken. Mobiel testen kwam op als een nieuwe specialisatie. Toch was een groot probleem dat projecten doorgaans te laat begonnen met het plannen van testactiviteiten en dat projectteams nauwelijks rapporteerden over op het bedrijf gerichte kwaliteitsmetrieken.
Het volgende jaar zagen we de opkomst van transformationele programma's met gebruik van sociale media, mobiel, analytics, cloud en het Internet of Things (IoT). Dit veranderde de focus en verhoogde het belang van QA en testen. De uitgaven aan QA en testen stegen tot 26%, als gevolg van de proliferatie van digitaliseringsinitiatieven. De meeste organisaties volgden nu een hybride benadering van QA en testen, met een combinatie van gecentraliseerde dienstencentra en ingebedde testteams in projecten. Organisaties bleven zoeken naar snellere en responsievere QA- en testoplossingen die geïntegreerd waren met agile ontwikkelmethoden. Testgedreven ontwikkeling (TDD) was in opkomst. Maar in deze agile teams ontbrak een echte risicogebaseerde strategieaanpak voor testen.
Digitaal Transformatietijdperk
In 2015 merkten we een enorme druk op de digitale transformatie van bedrijven. Maar organisaties worstelden duidelijk met de efficiëntie en effectiviteit van testen in agile transformatieprogramma's. De uitgaven aan testen stegen scherp naar 35% van het IT-budget. De belangrijkste reden voor de inefficiëntie bij testen was onvoldoende adoptie van kwaliteitsstrategie en testexpertise die kon bijblijven bij alle eisen van de digitale transformatie. In de meeste agile teams was het testen onvoldoende en te traag. Agile teams verwachtten meer technische vaardigheden van testengineers en we zagen de opkomst van de SDET-rol (Software Development Engineer in Test). Testgedreven ontwikkeling en behavior-driven development (BDD) werden standaardpraktijken. Virtualisatieoplossingen hielpen teams efficiënter te worden met testomgevingen.
In 2016 merkten we een verdere verschuiving in focus – nu meer gericht op hoe QA bedrijfsresultaten kan verbeteren. Er was een duidelijk onderscheid tussen de kern-IT en de behendigere mobiele en webapplicaties (bi-modale IT). Testomgevingen en testdata waren belangrijke knelpunten die verhinderden dat testen efficiënter werd. Het QA-budget daalde naar 31%, maar was nog steeds niet op het niveau van efficiëntie waar het zou moeten zijn.
Tegen 2017 was agile een standaardpraktijk geworden en kwam DevOps op als de volgende snellere manier van werken. De uitdagingen met testen in deze agile teams namen toe naarmate organisaties van plan waren om de DevOps-manier van werken nogal radicaal over te nemen. In DevOps-transformaties werd de rol van de kwaliteitsengineer gemakkelijk over het hoofd gezien. Het budget besteed aan testen daalde naar 26%. Testautomatisering leek een groter knelpunt te worden in de transformatie naar agile werkwijzen. Veel organisaties zochten naar slimmere end-to-end automatiseringsplatformen, aangezien ze aannamen dat dat de oplossing zou zijn om steeds kortere deadlines te halen. En we zagen voor het eerst de introductie van slimmere analytics en autonome testoplossingen. Deze veelbelovende oplossingen leken teams in staat te stellen om bij te blijven met een steeds sneller tempo van verandering.
Met de overgang naar agile en DevOps waren veel organisaties in de enquête van 2018 afgestapt van kwaliteitsrichtlijnen en -normen. De algemene overtuiging was dat autonome teams altijd zelf de beste weg vooruit zouden vinden. Een belangrijke bevinding was dat we een terug-naar-de-basis-aanpak en een focus op kwaliteit en testen opmerkten. Maar de uitdagingen met testen in agile teams namen toe. Gebrek aan gegevens en uitdagingen met testomgevingen werden specifiek aangehaald. Testgegevens en testomgevingen waren de duidelijke achilleshiel voor veel agile teams.
Er was ook een vraag om meer met AI te doen. De rol van datawetenschapper en het vermogen om data-analyse te gebruiken voor verbeterde besluitvorming nam toe. De tijd was rijp om de vrijheid van autonome teams in evenwicht te brengen met wat meer gestructureerde richtlijnen en toolkeuzes, om de kosten beter te optimaliseren.
Omgaan met wereldwijde uitdagingen
In 2020 werd de wereld getroffen door de COVID-19-pandemie. Rond de tijd van het uitbrengen van de WQR in september toonden de meeste organisaties en economieën een opmerkelijke veerkracht om met de crisis om te gaan. De pandemie gaf duidelijk een impuls aan digitale transformatieprogramma's. En het dwong organisaties om nieuwe manieren van werken te creëren met op afstand samenwerkende teamleden. Dit bleek zeer efficiënt, en de adoptie van agile en DevOps bleef groeien. We zagen bemoedigende vooruitgang in kwaliteitsengineeringpraktijken. QA-teams transformeerden in enablers en orkestrators van kwaliteit binnen agile teams. We merkten ook een duidelijke toename van testautomatisering op, die intelligenter en uitgebreider werd. De pandemie verstoorde de opname van kunstmatige intelligentie en machine learning, wat leidde tot een vertraging in de ware integratie van AI in QA en testen. De adoptie van cloud, virtualisatieoplossingen, het creëren van testdata en testmanagementtools hielpen ook om aanzienlijke vooruitgang te boeken in testomgevingen en testdata.
In 2021 kwam de wereld uit strenge lockdowns en zag een grotere honger naar innovatie. Organisaties wilden dat testautomatisering sneller werd, met een grotere kwaliteit en meer behendigheid. Kunstmatige intelligentie werd geleidelijk geïnfuseerd in het QA-proces. We zagen ook een voortdurende groei in het vermogen van organisaties om testdata en testomgevingen op aanvraag op te zetten. Beveiligingsinitiatieven namen toe. En we zagen de opkomst van de intelligente industrie: 5G, augmented reality en virtual reality werden integrale onderdelen van bedrijfsoperaties.
Vorig jaar liet de wereld de pandemie achter zich, maar er doken nieuwe en mogelijk nog grotere uitdagingen op: geopolitieke instabiliteit, ineenstortende toeleveringsketens, een ernstig tekort aan geschoolde middelen in bijna alle domeinen, groeiende wereldwijde inflatiecijfers, een potentiële economische recessie en voortdurende milieu- en sociale uitdagingen. Om succesvol te blijven, moesten organisaties zeer responsief zijn op verandering. Ook moesten ze, meer dan ooit, focussen op het genereren van waarde voor hun klanten. Continue verandering was vereist. Waarde-uitkomst was het doel. Agile ontwikkeling en digitale transformatie bleven de belangrijkste drijfveren voor verdere investeringen in IT. En we zagen de opkomst van duurzame IT als specifieke focus. Slechts 72% van de organisaties dacht dat kwaliteit kon bijdragen aan het milieuvriendelijke aspect van duurzame IT. Als organisaties milieuvriendelijk willen zijn, moeten ze leren om beschikbare middelen optimaal te gebruiken. Een sterke strategische focus op kwaliteit is de manier om dat te bereiken. Kwaliteit moet een kernonderdeel zijn van de strategie om duurzamere IT te stimuleren en het is wederom een kernthema in de nieuwste editie van de WQR. Al deze ontwikkelingen hebben directe implicaties voor de voortdurende ontwikkeling van zowel IT-kwaliteit als softwaretesten. "Hoe dichterbij je kijkt, des te meer zie je" was het thema van het World Quality Report van vorig jaar: door dieper te graven en geschikte tools en middelen te gebruiken, kunnen we een beter begrip krijgen of IT-oplossingen voordeel zullen bieden aan onze eindklanten en waardevolle resultaten zullen opleveren in termen van bedrijfsprestaties. Dit is voor ons de essentie van kwaliteitsengineering.
En nu in 2023 hebben we de 15e editie van het World Quality Report gelanceerd. Duidelijk zijn de tijden uitdagender. Organisaties richten zich meer op kosten, en investeringen worden uitgesteld. Maar als het om kwaliteit gaat, realiseren organisaties zich meer dan ooit dat de kwaliteit van software en IT van cruciaal belang is. Het gaat niet alleen om snelheid, maar om waarde met snelheid. Kwaliteitsengineering moet sneller, slimmer en kostenefficiënter zijn. En er is een nieuwe grote verstoorder opgedoken: generatieve AI-systemen. Deze krachtige systemen brengen veel potentieel voordeel met zich mee, voor allerlei gebieden, inclusief activiteiten op het gebied van softwarekwaliteitsengineering. Echter, de enquête laat ook zien dat organisaties generatieve AI stap voor stap moeten toepassen, met voldoende expertise om voldoende betrouwbaarheid, effectiviteit en efficiëntie van de resultaten te waarborgen.
Toekomstperspectief
In de afgelopen World Quality Reports hebben we serieuze transformaties gezien in de manier waarop organisaties kwaliteitsuitkomsten van IT-ontwikkelingen waarborgen. Van traditionele ontwikkel- en testmethoden naar zeer agile en continue kwaliteitsengineeringbenaderingen. Van voornamelijk handmatig testen naar slimme, geautomatiseerde, autonome, AI-aangedreven kwaliteitsoplossingen. Het is voor organisaties van cruciaal belang geworden om end-to-end kwaliteitsengineeringspecialisten in te bedden om kwaliteit te waarborgen, wat nu aan de kern ligt van bedrijfsvoering. Het is fundamenteel voor succes en niet slechts een 'leuke extra' optie.
Nieuwe, krachtigere technologieën zijn naar voren gekomen om ons te helpen bij het nemen van beslissingen. Maar één ding blijft duidelijk: organisaties hebben altijd vertrouwen en zekerheid nodig in uitkomsten. Organisaties eisen duidelijke toegevoegde waarde aan bedrijfsresultaten van nieuwe technologieën. En alles moet ethisch, duurzaam en veilig zijn. Dit bewijst alleen maar dat er een eindeloze behoefte is aan snelle, efficiënte en effectieve validatie van de kwaliteit van software en producten.
