Twee constateringen overheersen de actualiteit rond testen van software; de aanpak moet effectiever en het proces moet efficiënter. Iedere organisatie krijgt ermee te maken. Veel organisaties zijn al volop bezig met de veranderingen die het veroorzaakt. Uit ambitie of onder druk van de business steken steeds meer ict-managers tijd en energie in het verbeteren van testen. Veel van deze energie wordt besteed aan het beoordelen van de kwaliteit van het testproces. Vrijwel altijd in de vorm van een meer of minder formele scan. En dat is waar het gemakkelijk beter kan, of toch in ieder geval beter gemakkelijk.
Voor het beoordelen van een testproces staan in feite twee normen ter beschikking. Als eerste is er TPI, een vragenlijst en matrix gebaseerd op TMap. Daarnaast wordt TMMi (Test Maturity Model integrated) steeds vaker gebruikt. TMMi lijkt in opzet sterk op CMMi (Capability Maturity Model integrated). Het hanteert dezelfde vijf niveau's en een zelfde indeling in doelen en middelen. Hoewel TMMi niet formeel gebonden is aan een specifieke testmethode zijn er duidelijke verbanden met testen volgens ISTQB.
Beide systemen kunnen worden gebruikt voor bepaling van de volwassenheid van het testproces en het formuleren van verbeteringen. Voor TMMi bestaat bovendien de mogelijkheid tot een formele onafhankelijke certificering.
Niveau bepalen
De vijf niveau's van TMMi zijn cumulatief, dat wil zeggen dat aan alle eisen van lagere niveau's moet worden voldaan om het volgende niveau te kunnen behalen. Per niveau gelden meerdere aandachtsgebieden en per aandachtsgebied wordt gekeken naar een scala aan te realiseren doelen.
Om te meten op welk niveau het testen in een organisatie zich bevindt, moeten vele vragen worden beantwoord. Ter indicatie, voor niveau 2 kunnen ruim 350 individuele vragen worden onderscheiden. Enigszins versimpeld heeft een testproces het niveau waarvoor alle vragen positief zijn beantwoord.
Certificeren
De TMMi Foundation biedt de mogelijkheid om een testproces formeel te certificeren. Certificaten voor niveau 1 worden niet verstrekt. Het gaat hier om het instapniveau dat iedere organisatie per definitie heeft. Vanaf niveau 2 moeten vragen worden beantwoord.
Voor een certificering is een geaccrediteerde auditor nodig. Deze auditor zal niet alleen vragen stellen, maar ook op zoek gaan naar bewijsvoering voor de antwoorden. Wanneer de auditor tot een positieve conclusie komt, kan bij de TMMi Foundation het certificaat worden aangevraagd.
Verbeteren
Op de website van de TMMi Foundation is te zien dat tot op heden slechts vier bedrijven in de wereld een certificaat hebben. Certificering lijkt dus niet het voornaamste doel waarmee organisaties TMMi ter hand nemen. De overwegingen zijn meestal praktischer van aard.
TMMi wordt vooral gebruikt om te ontdekken waar verbeteringen nodig zijn en deze vervolgens te realiseren. Om de realisatie behapbaar te maken, zijn keuzes nodig. Stel dat een organisatie wil verbeteren op basis van niveau 2 en na een audit komt men tot de conclusie dat circa 10 procent van de vragen een negatief antwoord heeft. Dat laat bijna veertig potentiële verbeterpunten.
Kortom, hoe TMMi ook wordt ingezet; het kost veel energie en legt vooral de nadruk op wat er niet is.
Veel energie en een negatieve invalshoek zijn geen wervende teksten. Waarom dan toch aan TMMi beginnen? Omdat het ook anders kan. Bij de klassieke inzet van TMMi ligt de focus op de ontbrekende 'vinkjes', op dat wat de organisatie nog niet kan. Maar TMMi kan een schatkaart zijn.
Projecten
Waar getest wordt, zijn projecten. Deze projecten vormen het onderzoeksterrein van TMMi. Voor een goed beeld van de testvolwassenheid in een organisatie spreekt de auditor met vertegenwoordigers van verschillende projecten. Het is goed gebruik om daarbij diverse invalshoeken te kiezen, van de testers tot en met het betrokken lijnmanagement.
In de klassieke aanpak vult de auditor de antwoorden in, trekt conclusies over waar het beter moet en geeft adviezen over hoe het beter kan. Vaker wel dan niet leidt dat tot aantrekken van externe capaciteit om de verbeteringen te helpen realiseren.
Vele organisaties gaan aan de slag met de adviezen en zien er na enige tijd ook de positieve resultaten van. Tot zover niets dan winnaars. En toch is hier iets geks aan de hand.
Uitgraven
TMMi heeft als uitgangspunt dat een vraag negatief moet worden beantwoord wanneer niet overal in de organisatie onder alle omstandigheden een positief antwoord is gegeven. Bijvoorbeeld, wanneer in één project niet met testplannen wordt gewerkt, zal de organisatie als geheel op dat punt negatief worden beoordeeld. Maar is er dan werkelijk een probleem? Is er dan externe hulp nodig of wordt hier een interne kans over het hoofd gezien?
Omgekeerd is dit effect nog sterker. Wanneer op slechts één plek in de organisatie positief is geantwoord, is klaarblijkelijk de kennis en vaardigheid wel aanwezig. Er wordt alleen nauwelijks gebruik van gemaakt; een juweel wordt over het hoofd gezien.
Iedere organisatie heeft meerdere van deze juwelen. Een goede schatkaart is het enige dat nodig is om ze te vinden. TMMi is zo'n kaart. De vragenlijst graaft de juwelen op. Wat rest is ze te delen met anderen in de organisatie. Dit kan zonder externe hulp en geeft direct positieve resultaten.
Hoewel in beide situaties TMMi wordt gebruikt, naar dezelfde aandachtsgebieden wordt gekeken en dezelfde vragen worden gesteld, is er een groot verschil in de wijze waarop conclusies worden getrokken.
Van soll naar isst
TMMi als schatkaart is een wezenlijk andere manier van kijken.Door de vragenlijst op een iets andere manier in te vullen, wordt zichtbaar waar de juwelen in de organisatie zitten. Een manier om het aan te pakken, is door de vragenlijst twee keer in te vullen. De eerste keer strikt volgens de klassieke regels. Daarmee ontstaat het beeld van wat er mist. Vervolgens de tweede keer soepel, waarbij volstaat dat ergens in de organisatie een positief antwoord is gegeven.
De delta tussen deze beide beelden is de schatkaart; de verschillen zijn de punten waarop de organisatie van zichzelf kan leren. Weten wat er is, wordt dan belangrijker dan vragen wat er zou kunnen zijn.
Met welk doel het ook wordt gedaan, een TMMi invullen is een specialistisch karwei. Kennis en ervaring met het uitvoeren van dergelijke audits maakt het eindresultaat beter en nuttiger. Het verdient daarom aanbeveling om dat deel van de jacht op de schat aan een specialist over te laten. Hij zal de kaart tekenen. Maar vanaf daar kan iedere organisatie het zelf.
Met de schatkaart in de hand, met een helder beeld van wat er in sommige projecten goed gaat, kan de organisatie leren van zichzelf. Zelf de benodigde stappen zetten om de juwelen uit te graven, te delen en te zorgen dat er voortaan meer projecten van profiteren.
Succes
De behoefte om testen efficiënter en effectiever te maken is groot. Een middel als TMMi kan daarin een belangrijke positieve rol spelen. Voorkom teleurstelling en vermijd focus op de negatieve punten, maar richt tijd en energie op meer doen van wat al goed gaat. Maak uw testen beter door van uzelf te leren.
Leon Bosma, adviseur bij KZA
Beste Leon,
Interessant artikel, goed te constateren dat jullie de waarde van TMMi zien. Er zijn twee stellingen in je artikel die mijns inziens niet helemaal correct zijn. In het begin van het artikel stel je er ruim 350 vragen beantwoord moeten worden voor niveau 2. Ik ben benieuwd waar je het getal vandaan hebt, er zijn namelijk 18 procesdoelstellingen (vragen zo je wil) waar je aan moet voldoen (je kunt ook zeggen 22, maar dat voert wat ver om hier op in te gaan). De onderliggende niveau’s zijn mogelijke invullingen, op die niveau’s mag best worden afgeweken. Eén project waar een best practice op een lager niveau niet wordt ingevuld levert zeker geen negatief oordeel op! De onderliggende niveau’s, zeker het laagste niveau, kan beter worden gezien als hulp bij het verbeteren van het testproces; het zijn mogelijke invullingen van het testproces maar zeker niet verplicht! Zie ‘De kleine TMMi’, pagina 28. Ik denk dat we het eens zijn over de stelling dat een te strikte toepassing van TMMi leidt tot het te snel krijgen van een negatief beeld. TMMi zelf staat deze strikte toepassing ook niet voor.
Een ander punt waar ik me over verbaasde was de stelling dat een een vraag negatief beantwoord moet worden als niet overal in de organisatie een positief antwoord kan worden gegeven. Dat is niet juist, er mogen best uitzonderingen zijn (zie ‘De kleine TMMi, pagina 63). Daarnaast kan een geaccrediteerde auditor altijd vaststellen dat er op een beheerste wijze is afgeweken en er toch sprake is van een beheerst proces en de procesdoelstellingen worden gehaald.
Leon, je hebt helemaal gelijk met de twee manieren waarop je naar TMMi kan kijken. De meeste assessments die ik heb gedaan waren ook gericht op het vinden van mogelijke verbeteringen en best practices in de organisatie. Een te strikte uitleg van TMMi (of welk model dan ook) waarbij het model tot onwrikbare waarheid wordt verheven schiet zijn doel voorbij. Dan wordt het model het doel in plaats van het middel om het testen efficiënter en effectiever te maken. En daar wat het, zeg je terecht, om begonnen!
Jan Jaap Cannegieter
Auteur De kleine TMMi/The little TMMi en als lid van het TMMi developmentteam auteur van drie procesgebieden.
Beste Jan Jaap,
Allereerst hartelijk dank voor jouw royale complimenten; het zijn mooie woorden van een kenner van het framework.
In antwoord op jouw vragen;
Het getal van ruim 350 vragen komt inderdaad voort uit de optelling van de ‘subpractices’ zoals voorgesteld in het TMMi Framework versie 3.1.
Ik realiseer me daarbij dat het een versimpeling is om te zeggen dat al deze ‘subpractices’ letterlijk zo moeten worden gemeten.
Tegelijk is dat vaak wel de wijze waarop ik het zie worden toegepast; een vinkenlijst met bovenmatig veel aandacht voor de ontbrekende vinkjes.
En dat is precies het punt dat ik wil maken in dit deel van het artikel. Een punt waarover wij het duidelijk eens zijn.
Iets vergelijkbaars geldt voor het binaire karakter bij het invullen van de punten.
Natuurlijk is het niet zo dat iedere afwijking op detail leidt tot een negatief oordeel.
Tegelijk is het omgekeerde ook waar; het is erg lastig om een organisatie van zichzelf te laten leren wanneer de uitzonderingen worden genegeerd.
In analogie van de schatkaart; iedere pas moet worden afgemeten op uiteindelijk op het kruisje uit te komen.
Leon Bosma
Beste Leon,
Een originele invalshoek, TMMi als schatkaart!
Ik heb er twee kanttekeningen bij:
1. Zowel TPI als TMMi dragen een behoorlijk risico op suboptimalisatie in zich. Wanneer alleen of vooral naar verbeteren van het testproces wordt gekeken, bestaat het gevaar dat verbeteringen op het gebied van requirements, ontwerp, bouw en andere ICT gerelateerde activiteiten minder aandacht krijgen.
2. Het is de vraag of de gebieden die worden gevonden met de schatkaart (waar de organisatie van zichzelf kan leren), ook de gebieden zijn die tot de grootste verbetering van resultaten leiden. Effectiever is het selecteren van verbeteringen op basis van de impact op de grootste beperkende factoren.
Als ervoor wordt gewaakt dat het testproces wordt verbeterd terwijl andere ICT aspecten de beperkende factor vormen en het testproces met de schatkaart in de hand wordt verbeterd daar waar de grootste winst te behalen is, is een dergelijke aanpak een waardevol instrument.