Als een systeem verouderd raakt, wordt het tijd voor iets nieuws. Toen een van de divisies van Centraal Beheer dat punt bereikte, viel de keuze na een uitvoerige testperiode uiteindelijk op het standaardpakket Synergy. De noodzakelijke aanpassingen kon de leverancier op maat bouwen. De testprocedure met vondsten en vertragingen is nog in volle gang. Het eind is evenwel in zicht dankzij toepassing van T-map, Cast, ATF en Takt. Al met al is de verzekeraar tevreden met de gang van zaken, zeker over de kwaliteit. Verslag van een complex testprogramma.
De Apeldoornse verzekeraar Centraal Beheer begon in het najaar van 1997 met het vervangen van het primaire informatiesysteem van de ‘business unit’ Zakelijke Schade. Deze divisie van Centraal Beheer verzekert zakelijke objecten als bedrijfswagenparken.
Reden voor de vervanging was dat het oude systeem, dat ooit op maat voor Centraal Beheer was ontwikkeld, aan het eind van zijn levenscyclus was gekomen. Na een korte selectie besloot de verzekeraar over te gaan tot aanschaf van het standaardpakket Synergy, een product van het Britse bedrijf Eurobase Systems. Het werd geïmplementeerd op een Windows NT-netwerk met vijfhonderd à zeshonderd eindgebruikers.
Het voordeel van een standaardpakket was, volgens de verzekeraar, dat hiermee een groot deel van de benodigde functionaliteit al bij de aanschaf beschikbaar was. Hoewel aanpassingen en aanvullingen op Synergy noodzakelijk waren, was de inschatting dat het pakket 80 procent van de gewenste functionaliteit dekte. De noodzakelijke aanvullingen kon de leverancier op maat aanbrengen.
Forse ingreep
Het vervangen van het primaire informatiesysteem betrof een zeer omvangrijke en ingrijpende implementatie. De omvang van het pakket bedraagt 13.000 functiepunten. Naast de vijfhonderd eindgebruikers waren er ook veertig projectmedewerkers bij betrokken. De omvang en de risico’s van de implementatie deden Centraal Beheer ertoe besluiten vanaf het begin een gestructureerde testaanpak te gaan volgen.
Voordat het testen kon beginnen, was een zorgvuldige voorbereiding noodzakelijk. Voor het managen van deze voorbereidende fase werd een beroep gedaan op de expertise van Iquip, een zusterbedrijf van Cap Gemini Nederland.
Meteen na aanvang van de implementatie werd Arie Kok van Iquip als externe testadviseur aangesteld. Koks eerste prioriteit was het beschrijven van een blauwdruk voor de aanpak van het testen. Hij besloot daarbij gebruik te maken van een in de praktijk ontwikkelde testfilosofie, genaamd T-map, wat staat voor ‘test management approach‘. T-map is een door Iquip ontwikkelde methode die op vier pijlers rust. De eerste pijler bestaat uit de fasering of planning van het testtraject. Een ander belangrijk aandachtspunt van deze benadering betreft de keuze van de softwarehulpmiddelen en de andere infrastructuur van het traject. De derde pijler wordt gevormd door de keuze van de te gebruiken technieken, zoals het creëren van testsituaties. Het vierde en laatste aandachtspunt betreft de organisatorische inbedding van het testtraject. De vier pijlers van T-map moeten met elkaar in balans zijn.
Strategie en infrastructuur
De fasering van het testtraject begint met de planningsfase waarin afspraken worden gemaakt over planning en beheer van het project. In deze fase moet worden geanticipeerd op zaken die het testproces gewoonlijk moeilijk stuurbaar en beheersbaar maken. Zo wordt de realiteitswaarde van de opleveringsdatum tegen het licht gehouden en wordt rekening gehouden met het aantal wijzigingen en ‘hertests’, de inrichting van de beheerstaken en de beschikbaarheid van mensen, middelen en tijd. Het meest cruciale gedeelte is de teststrategie, waarin de risico’s en de gewenste kwaliteit tegen elkaar worden afgewogen.
Het tweede gedeelte van de fasering bestaat uit de voorbereiding van het testen. In deze fase worden de systeemspecificaties op hun testbaarheid beoordeeld en wordt het personeel opgeleid. De derde stap van het programma behelst de fase waarin wordt gespecificeerd welke testgevallen worden geselecteerd en hoe de draaiboeken eruit zullen zien.
Ook wordt in deze fase de testinfrastructuur gerealiseerd. Het vierde onderdeel in de fasering van T-map bestaat uit het testen zelf waarin het systeem wordt blootgesteld aan de draaiboeken die zijn ontwikkeld. Een uitgangspunt is het beschikbaar hebben van kwalitatief goede testdata. Het eerst worden de hoofdtaken van de systeemfuncties globaal beproefd. Daarna wordt het volledige systeem geconfronteerd met de ontworpen testgevallen.
In de uitvoeringsfase wordt ook geanticipeerd op een snelle, betrouwbare risicorapportage. Het management van de gebruikersorganisatie verwacht immers snel en betrouwbaar geïnformeerd te worden over de risico’s die worden genomen bij ingebruikname van het systeem. Bij de overdracht wil het management weten welk gedeelte van het system is getest en welk deel nog aan tests moet worden onderworpen.
In de vijfde en laatste fase van T-map, de afronding; stelt de testploeg adviezen op voor het management van de gebruikersorganisatie over het toekomstige beheer van het systeem. Ook wordt aangegeven hoe de testware – de testprogrammatuur en de testdata – het beste kan worden geconserveerd.
Het ’testbewustzijn’
Met het afronden van de blauwdruk, die Arie Kok op basis van T-map ontwikkelde, was het strategische gedeelte van de voorbereiding van het testen afgedekt. De tactische keuzes op het gebied van testen werden beschreven in het master-testplan.
Een ander noodzakelijk gedeelte van de voorbereiding betrof het creëren van een testbewustzijn in de ‘business unit’ Zakelijke Schade. De eerste stap die Kok hiertoe nam was het verkrijgen van commitment van het management door het verzorgen van een presentatie, aangevuld met informele voorlichting. Vervolgens hield Kok een reeks voordrachten omtrent gestructureerd testen voor projectmedewerkers waardoor de acceptatiegraad op de werkvloer werd verhoogd. Een groot deel van de projectmedewerkers zou na oplevering immers ook eindgebruiker van het systeem worden.
Nadat aldus voldoende steun was verworven, was het testmanagement toe aan een wisseling van de wacht. De volgende fase van het traject zou andere leidinggevende vaardigheden vereisen, zoals het samenstellen van het testteam en het delegeren van verantwoordelijkheden.
Arie Kok werd als testmanager opgevolgd door Theo Feenstra, die het masterplan uitwerkte tot een testprogramma. Dit kwam neer op een omvangrijke reeks testen, die elkaar stapsgewijs opvolgden. Het begon met de systeemtesten die door de leverancier Eurobase Systems werden uitgevoerd; bedoeld om aan te tonen dat het systeem werkt zoals het volgens de leverancier zou moeten werken.
Strak geleid proces
Een tiental testers en eindgebruikers van Centraal Beheer reisden af naar de vestiging van Eurobase in het Britse Chelmsford waar het gezelschap een korte afnametest verrichte. Mark Buenen, die voor Iquip als uitvoerend manager ‘software control testen’ bij Centraal Beheer was gedetacheerd, merkt op: "Dat was een strak geleid proces. Voor het testen zou plaatsvinden, was met de eindgebruikers doorgenomen hoeveel fouten en van welke aard er in deze fase zouden optreden. Bovendien had het projectmanagement voor duidelijke en strakke procedures gezorgd om de gevonden fouten te registreren en af te handelen. Hiermee werd voorkomen dat gebruikers en ontwikkelaars in onderonsjes aanpassingen aan de programmatuur gingen doorvoeren, waardoor de implementatie tijdens de testfase onbeheersbaar had kunnen worden." De tests toonden aan dat de kwaliteit van het systeem nog te laag was. Buenen: "Er zaten nog teveel ‘hickups’ in het systeem. Centraal Beheer trok de conclusie dat ze Eurobase moesten gaan helpen."
Vanaf dat moment werd het voorbereiden en uitvoeren van de systeemtest een gezamenlijke activiteit van Centraal Beheer en Eurobase Systems. Het bezoek heeft er ook toe bijgedragen dat de leverancier zelf de in aanbouw zijnde programmatuur intensiever ging beproeven. Eurobase Systems besloot een testmanager aan te stellen die op de kwaliteit van het eindproduct moest toezien. De vergrote aandacht voor de kwaliteit leidde ertoe dat fouten werden ontdekt die anders pas tijdens de latere testen in Nederland naar voren zouden zijn gekomen.
De volgende stap bestond uit de gebruikersacceptatietest. Doel was te controleren of het systeem ook in de gebruikersomgeving van Centraal Beheer functioneerde. De technische omgeving bij de verzekeraar is immers anders dan bij de leverancier en eindgebruikers gaan op een geheel andere manier met een programma om dan ontwikkelaars. Nadat deze testronde was afgesloten, vonden de zogenoemde productie-acceptatietesten plaats. Daarin werd gekeken naar eigenschappen zoals de installeerbaarheid, de performance bij gewoon gebruik en de prestaties van het systeem bij het afhandelen van ‘batches’.
Het testen van het primaire informatiesysteem van ‘Zakelijke Schade’ is naar alle maatstaven een zeer omvangrijk project. Daarom besloot het bedrijf al in een vroeg stadium te onderzoeken of het zinvol was delen van de test geautomatiseerd uit te voeren. Na een kort haalbaarheidsonderzoek besloot Centraal Beheer over te gaan tot de aanschaf van het programma Automated Test Facility (ATF) van leverancier VAC.
Combinatie van Cast en Takt
ATF is een zogeheten record and playback hulpmiddel dat vastlegt welke handelingen de gebruiker verricht, zodat die opname later opnieuw en automatisch kan worden afgespeeld. Daartoe maakt het testtool gebruik van een scripttaal. Op die manier kan een systeem in hoog tempo worden uitgetest bij een groot aantal verschillende soorten invoer. Later is dus te achterhalen waar het mis is gegaan als het systeem fouten rapporteert. De testscripts zijn volgens Buenen relatief makkelijk onderhoudbaar, omdat de scripttaal lijkt op Visual Basic. De invoer is via spreadsheets makkelijk aan te passen. Centraal Beheer maakte ook gebruik van de methode voor geautomatiseerd testen, CMG:Cast, door een cast engine voor ATF toe te voegen (‘cast’ staat voor ‘computer aided software testing’). Aan deze testsuite werden applicatiespecifieke scripts toegevoegd van Iquip. Voordat het eigenlijke testwerk middels de scripts van start ging, moest er een prototype van het pakket ter beschikking staan.
Het geautomatiseerd testen gebeurde volgens de methode Takt van Iquip, die de technieken en fasering van het testen vastlegt (Takt staat voor ’testen, automatiseren, kennis en tools’.) Takt en CMG:Cast zijn afzonderlijk ontwikkeld, maar blijken in de praktijk goed op elkaar aan te sluiten. De volledige testsuite – prototype, ATF, scripts en testinvoer – was in februari 1999 gereed en werd overgedragen aan de beheerorganisatie van Centraal Beheer.
Op dat moment had het testen en opleveren van het programma vanaf het najaar van 1997 anderhalf jaar in beslag genomen.
De eerste versie van het programma had eigenlijk rond die tijd opgeleverd moeten worden, maar het testen is bij Centraal Beheer nog in volle gang. Zoals het er nu uitziet, zal oplevering niet eerder dan in april 2000 plaatsvinden.
De verzekeraar meent al enkele belangrijke lessen uit het project te kunnen trekken. Zo bleek de realisatie van de extra wensen en aanpassingen op het pakket, die tijdens het traject naar boven kwamen, meer problemen op te leveren dan aanvankelijk werd verwacht. Leverancier Eurobase Systems kreeg bijvoorbeeld duidelijk moeite met het leveren van de gewenste kwaliteit. Ook liepen de oorspronkelijke opleverschema’s maanden vertraging op.
Adviseur als katalysator
Een andere leerzame ontwikkeling betrof de relatie met Eurobase Systems: het testen werd tijdens het project onderdeel van de contractonderhandelingen. Aanleiding hiertoe was het bezoek van testers en eindgebruikers van Centraal Beheer aan Eurobase Systems waar het beproeven van het standaardpakket en het maatwerkgedeelte plaatsvond.
Toen was gebleken dat de kwaliteit van het systeem nog te wensen overliet, werd de leverancier min of meer gedwongen meer aandacht te besteden aan het testen. De goede samenwerking tussen klant en leverancier die daarna ontstond, bleek vruchten af te werpen.
Een belangrijke les die de verzekeraar heeft getrokken is dat een vroegtijdige beoordeling van het testbewustzijn van de eigen organisatie en van de leverancier vruchten afwerpt. Het creëren van een voedingsbodem voor gestructureerd testen, zowel bij het management als op de werkvloer, is essentieel voor het invoeren van een gestructureerde aanpak. Verder is duidelijk geworden dat het inschakelen van diverse externe adviseurs als een katalysator op het proces kan werken. Naast Kok en Feenstra zijn een zevental testers en adviseurs van Iquip bij Centraal Beheer aan het werk. Daar bovenop zijn nog een viertal externe adviseurs bij het project betrokken geweest.
Hoog conceptueel niveau
Verder is duidelijk geworden dat er hoge eisen worden gesteld aan de testmanager. In de eerste, conceptuele, fase van het programma waren de activiteiten gericht op het doen toenemen van het testbewustzijn binnen de organisatie en het verkrijgen van het commitment. De testmanager moet in deze fase, naast gedegen expertise, beschikken over veel overtuigingskracht. Hij moet met alle partijen contacten leggen, zowel formeel als informeel, en mondelinge en schriftelijke presentatievaardigheden zijn daarbij essentieel. De concrete producten van deze fase zijn de blauwdrukken en plannen voor het testprogramma met een hoog conceptueel niveau.
In de uitvoerende fase moet de testmanager de concepten vertalen in concrete plannen, scripts en draaiboeken. Dit is ook de periode waarin meetpunten worden bedacht. Vooral de overgang tussen de twee fases is gevoelig, omdat de testmanager om moet schakelen van een conceptueel niveau naar operationele zaken. Tijdens de overgang moet hij zichzelf de vraag stellen of het testteam capabel is en eventueel wijzigingen in de samenstelling aanbrengen. Hij moet ook taken en verantwoordelijkheden delegeren, nagaan of instructies en werkplannen duidelijk zijn en tegelijkertijd op tijd voortgangsrapportages opstellen. Kortom, deze tweede fase vergt andere vaardigheden van de testmanager dan de conceptuele fase. De problematiek rond de uiteenlopende eisen werd ondervangen door in de tweede fase testadviseur Arie Kok te laten opvolgen door zijn collega Theo Feenstra.
Toch is Centraal Beheer alles bij elkaar genomen tevreden met de implementatie, met name over de kwaliteit. Die tevredenheid werd in de hand gewerkt doordat de verzekeraar al tijdens het testen besloot aandacht te gaan besteden aan kwaliteitszorg. Het op te leveren systeem werd getoetst aan de hand van zogenoemde Fagan-inspecties waarmee de functionaliteiten van het systeem werden beoordeeld. Het gevolg was dat niet alleen vroegtijdig potentiële fouten konden worden aangepakt, maar de vroege betrokkenheid en mogelijkheid tot inspraak door eindgebruikers heeft de acceptatiegraad van het systeem ook aanmerkelijk verhoogd.
Henny van der Pluijm, freelance medewerker