‘Benchmark meestal waardeloos voor rechtvaardigen IT-investering’

Het vergelijken van de eigen IT-afdeling met die van andere organisaties, benchmarking, is de enige manier om – onder bepaalde voorwaarden – inzicht te krijgen in mogelijke kostenreducties. Zo’n vergelijking geeft echter nooit aan hoe het proces van software-ontwikkeling te verbeteren is. Bovendien vormt het geen rechtvaardiging voor investeringen in informatietechnologie.

Waarom geven bedrijven zoveel geld uit aan evaluaties van IT-afdelingen? Uit een recent rapport van onderzoeksbureau OTR komen drie redenen naar voren: om de kosten van de IT-organisatie te drukken, om de prestaties van de afdeling te verbeteren en om de gepleegde investeringen te rechtvaardigen. Volgens het bureau voldoet benchmarking in veel gevallen niet aan de hooggespannen verwachtingen.
In het rapport gaan de onderzoekers vooral in op de vraag of de hoge kosten die met het vergelijkingsproces gepaard gaan, terug te verdienen zijn. In sommige gevallen worden er wel verbeteringen gerealiseerd, maar slechts als er voldaan is aan een aantal randvoorwaarden.

Externe adviseurs

Zo moet gebruik gemaakt worden van externe adviseurs, die de benchmark uitvoeren. Ook moet de IT-organisatie een behoorlijke omvang hebben. "Bedrijven die weinig aan IT besteden, of van wie de IT-afdeling klein is, bereiken zelden of nooit besparingen door de vergelijking met andere rekencentra." Organisaties die de test regelmatig herhalen, blijken ook vaker kostenreducties te realiseren.
Een groot nadeel van benchmarking is dat er geen aanwijzingen uit voortvloeien hoe de produktiviteit in de software-ontwikkeling te verbeteren is. "De meeste onderzochte bedrijven gebruiken andere manieren om deze produktiviteit te verhogen. De meetgegevens uit bestaande benchmarks zijn niet geschikt om dit te meten." Volgens OTR is modern systeemontwerp te complex om vast te leggen met behulp van bestaande benchmark-methoden. "Toch blijken organisaties door de benchmark wel gestimuleerd te worden om te werken aan de produktiviteit van de software-ontwikkelaars."
Uit de antwoorden van 1200 bedrijven en diepergaande gesprekken met vijftig van hen, blijkt verder dat benchmarking zelden kan dienen om gedane investeringen te rechtvaardigen. "Uit ervaring blijkt dat dit gewoon niet mogelijk is met benchmarks. Bovendien is het geen efficiënte manier van meten in vergelijking met het direct tegen elkaar afzetten van kosten en baten."

Fortis Nederland

Fortis Nederland is een financieel bolwerk met activiteiten op het gebied van banken en verzekeringen. Recentelijk nam de verzekeringsmaatschappij Amev over. Als gevolg hiervan moesten de IT-afdelingen fuseren. Ook werden bedrijfsonderdelen gevormd die de vrijheid hebben om zowel intern als extern IT-diensten in te kopen. Om de concurrentie met externe leveranciers aan te kunnen gaan, moest de IT-afdeling eerst weten hoe deze zich verhoudt tot ‘de markt’. Voor het uitvoeren van een benchmark werd Software Productivity Research (SPR) ingehuurd.
SPR mat het software-ontwikkelproces door op kwalitatieve en kwantitatieve normen. Uit de kwalitatieve beschouwingen bleek dat Fortis ongeveer gemiddeld scoorde, behalve wat betreft het ontwikkelproces: dit bleek slechter dan in vergelijkbare bedrijven. SPR gaf advies over mogelijke verbeteringen. Na negen maanden bleek er een belangrijke verbetering in het ontwikkelproces te bespeuren. Vooral de tijd die het kostte om fouten in de programmatuur te herstellen, nam aanzienlijk af. Dit werd bereikt door het invoeren van inspecties gedurende het ontwikkeltraject en via functiepuntanalyse om meer inzicht te krijgen in het verloop van zo’n traject.
 
Hoewel bestaande IT-investeringen nauwelijks te rechtvaardigen zijn met een benchmark, vormt die rechtvaardiging in bijna 30 procent de reden om aan zo’n vergelijkende test te beginnen (bron: OTR 1996).