Benchmarking wordt in de ICT-wereld veelvuldig toegepast voor de vergelijking van hardware-componenten. De methode is ook bruikbaar voor het vergelijken en verbeteren van ICT-organisaties. Daarvoor is wel een aparte aanpak nodig: een organisatie reageert nu eenmaal anders dan hardware. Twee medewerkers van Twijnstra en Gudde over de wijze waarop benchmarking vruchten kan afwerpen. 'De ICT-manager mag een benchmark niet zomaar uitbesteden, maar moet betrokken blijven'.
Benchmarking is een onmisbare peiler onder moderne ICT-organisaties. Het wordt op twee manieren gebruikt: expertmatig ten behoeve van sanering en participatief ten behoeve van organisatie-ontwikkeling. Meestal kiest men, bijna vanzelfsprekend, voor de eerste benadering. Dit valt te betreuren, want management en medewerkers leren zo niet om samen hun organisatie te verbeteren.
Vaak overheerst daardoor ook scepsis. Veel mensen hebben ervaren dat een benchmark aanleiding geeft tot de zoveelste reorganisatie. Het is dan ook begrijpelijk dat men niet enthousiast raakt over een benchmark; als dit alleen maar de stok oplevert om de hond te slaan, zal het animo hiervoor in de regel gering zijn. Straf is zelden een prikkel tot effectief veranderen. Het 'organiseren' van participatie is daarom cruciaal.
Scepsis
In onze adviespraktijk hebben wij goede ervaringen opgedaan met benchmarking als spiegel voor management en medewerkers: hoe goed doet u het echt ten opzichte van anderen en wat kunt u van de ervaringen elders leren? Dit is de essentie van een benchmark, zie kader. In elke benchmark moet een aantal hindernissen worden overwonnen voordat betrokkenen bereid zijn kritisch naar de eigen organisatie en de eigen rol daarbinnen te kijken. Leren van elkaar blijft verbazingwekkend moeilijk. Voor een echte reflectie van de eigen en andermans ervaringen is een begeleid leerproces vereist. De valkuilen zijn legio.
Om scherp te stellen hoe ICT-managers benchmarking ervaren, is in figuur 1 een aantal veel gehoorde opmerkingen weergegeven.
| Scepsis | Leergierigheid |
| Dat wist ik allemaal al | Ik weet nu toch meer |
| Dat geldt bij ons niet | Het is daar anders, maar toch... |
| Die cijfers zijn niet representatief | Het geeft toch een goede indicatie |
| Ik ga toch niet af op een paar cijfertjes | De richting voor ontwikkelacties is nu nog duidelijker |
| Die cijfers zeggen niet wat ik moet doen | De analyse ligt er; laten we eens nadenken over hoe te ontwikkelen? |
| Niet alles is gemeten | Wij moeten nog eens aanvullend benchmarken |
| Word ik hierop beoordeeld? | Hiermee kan ik mijn baas overtuigen |
Figuur 1. Veel gehoorde opmerkingen van ICT-managers bij benchmarking
Wij hebben geen diepgaand onderzoek gedaan naar opvattingen van ICT-managers over benchmarking, maar uit gesprekken krijgen we de indruk dat scepsis overheerst. Meestal legt men de nadruk op het eigene van de organisatie, het onvergelijkbare, en blijven goede mogelijkheden om te leren van een ander onbenut. Deze scepsis komt voort uit de gebruikelijke aanleiding tot de expertmatige benchmark: saneren!
In de praktijk zetten managers benchmarking meestal in uit ontevredenheid over het huidige functioneren. Als argument wordt dan aangevoerd dat de ICT-organisatie te veel kost en te weinig waarde levert of onvoldoende presteert: projecten worden te laat opgeleverd en het beheer is ontoereikend. Andere argumenten zijn het achterlopen op technologische ontwikkelingen in de markt of het feit dat ICT-medewerkers niet flexibel inzetbaar zijn.
Als het topmanagement ontevreden raakt over ICT-prestaties en op grond hiervan opdracht geeft tot een benchmark, ervaren ICT-managers en -medewerkers dit als bedreigend. Vergelijking van de eigen organisatie met andere organisaties, met name de succesvolle, maakt ondoelmatigheid en ineffectiviteit natuurlijk altijd zichtbaar.
Vervolgens stelt men de resultaten van de benchmark ter discussie vanwege verkeerde uitgangspunten, ontoereikend vergelijkingsmateriaal of verkeerde conclusies. Bovendien is de deskundigheid van het benchmark-team 'natuurlijk' discutabel: dit team begrijpt onze organisatie niet.
Zo kan er van een leereffect natuurlijk nooit sprake zijn. Benchmarking levert hooguit de (gezochte) argumenten om te saneren. Vooral kostenargumenten zijn snel gevonden: er zijn altijd organisaties goedkoper (als u niets doet op ICT-gebied kost u dit ook niets!). Het verbetervermogen van de ICT-organisatie verandert niet. Als gevolg hiervan raakt de organisatie na verloop van een aantal jaren obsoleet en is een nieuwe sanering onvermijdelijk.
Een eenmalige, expertmatige benchmark biedt voor de korte termijn wel relevante informatie, maar geen impuls voor structurele organisatieverbetering. Daarvoor is een benadering vereist die meer recht doet aan mensen in organisaties.
Randvoorwaarden
Gebruik van benchmarking kan ook anders. Wil er sprake zijn van een leergerichte houding bij de uitvoering van een benchmark (als startpunt voor structureel ontwikkelen), dan moet tenminste worden voldaan aan de hieronder genoemde randvoorwaarden.
Het management bespreekt met de medewerkers de doelstelling, de aanpak, het gebruik van de resultaten van de benchmark, en medewerkers krijgen de ruimte om hun zorgen te benoemen. De medewerkers zijn voorts bekend met principes van 'permanent verbeteren'. Daarbij is het meten van prestatie niet bedreigend, maar uitdagend.
Het benchmark-team moet navolgbaar en controleerbaar zijn.
Verder dient er voldoende tijd voor analyse van de benchmark-resultaten te zijn. Verschillen op zichzelf zijn niet interessant; het gaat om de achterliggende verklaringen.
Daarnaast zijn de medewerkers betrokken bij de analyse van de resultaten. Essentiële vragen daarbij zijn: herkennen wij de uitkomsten van de benchmark?; wat verklaart de (positieve of negatieve) verschillen met andere organisaties?; wat kunnen wij anders doen, en wat zullen de (waarschijnlijke) effecten daarvan zijn?
Tot slot zijn medewerkers (mede)verantwoordelijk voor de uitwerking van de bevindingen in concrete maatregelen en acties.
Bijdrage aan reorganisatie
Onze opdrachtnemer voor het herontwerp van een middelgrote ICT-organisatie ('not-for-profit') achtte het noodzakelijk dat vergelijking met andere organisaties zou plaatsvinden. Daarnaast zou een kijkje in de keuken bij anderen interessante gezichtspunten kunnen opleveren voor het ontwerp van de ICT-organisatie. Besloten werd een benchmark uit te voeren op vijf vergelijkbare organisaties, met aandacht voor: de personele opbouw van de ICT-organisatie; de formatieve opbouw van de ICT-organisatie, mede in relatie tot uitbestedingscontracten, aantal medewerkers en automatiseringsgraad; de kwalitatieve opbouw van de ICT-organisatie, de inrichting van de planning & control-cyclus en het gebruik van hulpmiddelen voor het beheer (met name de Itil-implementatie);de informatiseringsgraad (onder andere uitgedrukt in de inzet van werkplekautomatisering).
Enkele opvallende resultaten uit het onderzoek zijn weergegeven in figuur 2.
| Eigen organisatie | Gemiddeld over vijf organisaties | Laagste score | Hoogste score | |
| ICT-kosten/totale kosten | 2,6% | 3% | 2% | 7% |
| ICT-kosten per werkplek (in guldens) | 8.880,- | 9.140,- | 8.000,- | 10.220,- |
| Aantal ICT-medewerkers/ aantal kantoormedewerkers | 3,9% | 3% | 3% | 4% |
| Verhouding direct - indirect personeel | 3,7 | 3,6 | 3,4 | 3,8 |
| Aantal ICT-medewerkers per ICT-manager | 14,8 | 11,9 | 7,6 | 15,3 |
| Aantal werkplekken ondersteund door een gebruikers-ondersteuner | 140 | 190 | 97 | 350 |
| Tevredenheid over kwaliteit van leveranciers van menscapaciteit | matig | matig | onvoldoende | goed |
| Aantal leveranciers (hardware, software, capaciteit) aan ICT-organisatie | 26 | 20 | 10 | 33 |
| Aantal projecten bij ICT-organisatie | 38 | 26 | 12 | 45 |
| Verhouding onderhoud: ontwikkeling | 4,2:1 | 3,3:1 | 1,5:1 | 5:1 |
| Aantal systeembeheerders per 100 werkplekken | 1,1 | 0,9 | 0,7 | 1,2 |
Figuur 2. Voorbeeld van benchmark-resultaten
De benchmark bevestigde reeds voorgenomen veranderingen in de formatie. Verder werd duidelijk dat het opleidingsbudget van deze organisatie onder de maat was. Investeringen in de kwaliteit van medewerkers waren urgent. Dankzij de participatieve benadering van de benchmark beschouwden management én medewerkers de resultaten als voldoende betrouwbaar. De verschillen in de structuur en processen van de ICT-organisaties zijn tot slot gebruikt om alternatieve organisatiemodellen te beoordelen. Kortom, de benchmark heeft een onmisbare bijdrage geleverd aan het reorganisatieproces.
Momenteel wordt de set prestatie-indicatoren verder uitgewerkt in een 'besturingspaneel'. Aangevuld met eigen organisatie-indicatoren krijgt het ICT-management hiermee inzicht in de prestaties van de organisatie.
Door de bank genomen is deze benchmark succesvol verlopen. Toch vereist met name de afbakening van de benchmark nog meer aandacht: 'wat wilt u echt vergelijken met andere organisaties'? Het is eenvoudig om een aantal relevante aspecten te benoemen, maar het vereist veel aandacht om ze concreet en meetbaar uit te werken.
Het succes van deze benchmark is het resultaat van het open, ontwikkelgerichte onderzoeksklimaat. Hieraan heeft het benchmark-team in de eerste fasen van het onderzoek veel aandacht besteed. Het ICT-management heeft ook in woord en daad begrip getoond voor de onrust onder de medewerkers. De tijd en energie die hieraan zijn besteed, hebben zich in het vervolg ruimschoots terugbetaald.
Indien zo'n leerklimaat ontbreekt of niet voldoende aanwezig is, ligt daar een eerste aangrijpingspunt voor verbetering. Het uitvoeren van een vergelijkend onderzoek voor organisatie-ontwikkeling is natuurlijk niet zinvol.
Procedurele zorgvuldigheid
Naarmate de 'mentale' afstand tussen het benchmark-team en de ICT-organisatie groter is, is de acceptatie van de resultaten moeilijker.
Goede afspraken tussen opdrachtgever en opdrachtnemer (degene die de benchmark uitvoert) zijn nodig om het gewenste resultaat te bereiken. Op een aantal momenten is overleg tussen opdrachtgever en -nemer nodig, in de fasen 'opstellen plan van aanpak', 'uitvoeren van benchmark' en 'leren van benchmark'.
Bij het opstellen van het plan van aanpak is afbakening belangrijk. De volgende vragen zijn daarbij te stellen.
Welk inzicht wil de opdrachtgever verwerven? Indien de afbakening onvoldoende gebeurt, loopt hij aan het einde van het onderzoek het risico dat vanzelfsprekende vragen niet te beantwoorden zijn omdat gegevens ontbreken.
Over welke onderwerpen informatie moet worden verzameld (altijd een limitatieve opsomming)?
Welke (soort) organisaties worden benaderd ter vergelijking?
En tenslotte: hoe worden benchmark-resultaten intern gecommuniceerd?
Onvolkomenheden in een benchmark ontstaan gedurende de voorbereiding, als het team niet voldoende nadenkt over de impact van het onderzoek.
Het selecteren van referentie-organisaties moet eveneens zorgvuldig geschieden. Deze keuze is (mede)bepalend voor de uitkomsten van het onderzoek: vergelijking met de 'champions' levert immers andere resultaten op dan vergelijking met vergelijkbare organisaties. Het is vooral essentieel om een keuze consequent door te voeren.
De methode voor gegevensvergaring en -analyse is vaak hét argument voor defensief gedrag. Met name de betrouwbaarheid en zorgvuldigheid worden onderwerp van discussie. Bij voorkeur stellen wij een benchmark-team daarom gemengd samen (interne medewerkers met adviseurs). Hiermee beoordelen ook 'eigen' mensen de betrouwbaarheid van het onderzoek en 'getuigen' zij dat zorgvuldigheid is betracht. Als zij de uitkomsten presenteren aan hun collega's, is de bedreiging nog kleiner.
Onder vuur
Bij voorkeur bespreken wij de uitkomsten van de benchmark in één sessie met onze opdrachtgever én referentie-organisaties. Alle betrokkenen verwerven zo inzicht in hun organisatie. Bijkomend voordeel is dat een onderzoek zo ook interessant is voor referentie-organisaties. Deze aanpak past met name bij organisaties die niet in een concurrentie-verhouding tot elkaar staan. Wij kunnen ons voorstellen dat organisaties uit dezelfde bedrijfstak onder voorwaarden ook bereid zijn informatie te delen.
Vaak wordt niet aan alle condities voldaan. Dit impliceert dat het benchmark-team onder lastige omstandigheden werkt. De risico's zijn evident: de onderzoeker, het onderzoek en de resultaten zullen na afloop onder vuur liggen. De ICT-manager mag een benchmark daarom niet zomaar uitbesteden, maar moet betrokken blijven.
Welk inzicht?
Eén van de belangrijkste afspraken tussen opdrachtgever en opdrachtnemer is de afbakening van de benchmark. Voor de afbakening gebruiken wij het PRM-model [3]. Dit model biedt (aanvullende) invalshoeken om ICT-organisaties te bekijken. Deze invalshoeken zijn onder te verdelen naar Processen, Relaties en Middelen van ICT-organisaties. Als uiteindelijk de benchmark is uitgevoerd, zijn er, meestal voor de eerste keer, indicatoren beschikbaar die echt inzicht geven in de prestaties van de organisatie.
Voor elk van de invalshoeken wordt samen met de opdrachtgever vastgesteld welk inzicht wenselijk is. Strategisch inzicht in de klanttevredenheid vereist nu eenmaal andere informatie dan tactisch inzicht in de leveranciersbinding of operationeel inzicht in ondersteuningskosten. Dikwijls zijn de doelstellingen van de ICT-organisatie het uitgangspunt voor de afbakening van de benchmark. Aan de hand van de invalshoeken kunnen de informatiebehoeften van de opdrachtgever vervolgens systematisch worden uitgewerkt en raakt de benchmark steeds beter gericht.
Prestatie-indicatoren
Afhankelijk van de invalshoek is het tot slot nodig de informatiebehoeften te concretiseren in prestatie-indicatoren. Voorbeelden zijn: de ICT-kosten per werkplek bij de invalshoek Financiën; het ziekteverzuim van ICT-medewerkers bij Personeel;
het aantal werkplekken dat één beheerder ondersteunt bij de invalshoek Beheer; het aantal systeemhuizen waarmee zaken wordt gedaan bij Leveranciers.
Zowel binnen één invalshoek als tussen de invalshoeken zijn 'compenserende' indicatoren te bedenken (meer kwaliteit vraagt hogere kosten; minder personeel vereist meer uitbesteding, enzovoort).
Het opbouwen van een bruikbare set prestatie-indicatoren is het sluitstuk van de voorbereiding. Hierbij wordt tevens de meetwijze bepaald.
Een indruk van relevante prestatie-indicatoren en de daarbij behorende normwaarden geeft figuur 3.
| Invalshoek | Prestatie-indicator | Normwaarde |
| Informatiebeleid en -planning | Aanwezigheid projectenplan | Niet ouder dan 1 jaar |
| Halfjaarlijks door klant geëvalueerd beleidsplan | Beoordeling: goed | |
| Ontwikkeling | Beheersbaarheid projecten | 80% projecten overschrijdt budget maximaal met 10% |
| Beheer | Bezettingsgraad CPU's | Maximaal 80% |
| Aantal werkstations gebruiker | Maximaal 0,90 | |
| Gebruik | Bereikbaarheid helpdesk | Minimaal 95% tussen 08.00 en 17.00 uur |
| Aantal werkplekken per gebruikersondersteuner | 100 < x < 140 | |
| Leverancier | Aantal leveranciers | Maximaal 10 |
| Inkoopspreiding over leveranciers | Maximaal 25% bij één leverancier | |
| Klant | Aanwezigheid SLA | Bij minimaal 90% van de klanten |
| Personeel | Intern : extern personeel | 3 : 1 |
| Motivatie ICT-medewerkers | Minimaal 80% minstens tevreden | |
| Financiën | Kosten per werkplek | Maximaal 9000 gulden |
| % ontwikkelkosten van ICT-kosten | Minimaal 30% totale ICT-budget |
Figuur 3. Invalshoek, prestatie-indicator en normwaarde.
Op basis van de uitkomsten van de benchmark (het verschil tussen de norm en de werkelijkheid) benoemen medewerkers en management vervolgens acties en maatregelen. Deze beogen de prestaties beter in lijn te brengen met benoemde normwaarden. Bij voorkeur zijn normwaarden in een dialoog tussen management en medewerkers opgesteld. Wanneer indicatoren regelmatig worden gemeten, wordt de verbetersnelheid zichtbaar.
De indicatoren zijn niet statisch, maar moeten blijven sporen met de doelen van de organisatie. En ook deze doelen zijn in beweging. Daarom is een beheerscyclus onontbeerlijk om goed te blijven meten.
Benchmarking is een startpunt
Naar verwachting zullen steeds meer ICT-organisaties benchmarking integreren in de bestaande besturing. Naast beleidsplannen, begrotingen en service level agreements vormen externe vergelijkingen een onmisbaar hulpmiddel voor ICT-managers. Benchmarking levert - mits structureel en participatief toegepast - een onmisbare aanvulling op interne besturingsinformatie.
Voorwaarde is wel dat men erin slaagt om een leergericht klimaat te scheppen. Participatie van medewerkers bij het uitvoeren van de benchmark helder afbakenen en duidelijke afspraken zijn bepalend voor succes. Alleen dan vinden onderzoeksresultaten een voedingsbodem.
Drs. J.B.W. Boere MA en ir. M.B. Louweret zijn werkzaam als adviseurs bij Twijnstra Gudde Management Consultants te Amersfoort.
Literatuur
1 - Collins, English Language Dictionary
2 - Van de Voort (1993)
3 - J. Boere en R. van der Meulen, Management & Informatie, november 1997.
Definities
'A benchmark is a mark on a fixed object such as a stone post, stating the height above sea level, which is used as a reference point in surveying' [1].
Benchmarking: een methode om een activiteit, functie of proces van een onderneming te vergelijken met de 'best practices' van andere ondernemingen of organisaties. Op basis van die vergelijking kan de eigen activiteit dan in belangrijke mate worden verbeterd [2].
Kernpunten voor benchmarking
Om te kunnen beoordelen moet u ingelogd zijn: