De statistische fruitmand van de ict-onderzoeksbureaus

De ict-sector wordt frequent geconfronteerd met verse cijfers over ‘de markt’ van diverse onderzoeksbureaus; cijfers die vaak sterk van elkaar afwijken. De onderzoekers wijzen op de verschillen in onderzoeksmethodes, de sector wil meer stroomlijning.

Computable publiceert om de week een overzicht van een ict-segment. Wie zijn de sterke spelers, waar zitten de zwakke broeders, en welke kansen heeft de branche ondanks de economische malaise?   De hele serie: De chipmachinefabrikanten De processorfabrikanten De serverproducenten De PC-producenten De mainframeproducenten Markt besturingssystemen Dienstenleveranciers Database-leveranciers De ERP-leveranciers De CRM-leveranciers De beveiligingssector De opslagleveranciers De onderzoeksbureaus CMG Microsoft IBM

Gemiddelden, grafieken, statistieken – ze zijn niet altijd wat ze lijken. "Het is vaak al moeilijk genoeg om zelfstandige cijfers op hun merites te beoordelen. Het wordt nog lastiger als een berg gegevens over hetzelfde onderwerp vanuit diverse hoeken op één hoop wordt geveegd. Dan ontstaat het probleem van de statistische fruitmand: mandarijnen, bananen, appels, peren, druiven. De combinatie oogt appetijtelijk, maar het is onduidelijk welke vrucht precies de juiste smaak bevat", aldus een hoogleraar statistiek. In de ict-branche lijkt de statistische fruitmand gemeengoed. De ontwikkelingen volgen elkaar snel op en er zijn vele bureaus die deze trends cijfermatig in kaart brengen. Dit resulteert in een stortvloed aan statistische gegevens die het overzicht eerder vertroebelt dan verheldert.

Gemakzuchtig

In het medio 2001 verschenen rapport ‘De digitale economie 2001′ schrijft het CBS dat in Nederland eind juni 2000 6,4 miljoen mensen internettoegang hadden. Interview/NSS meldde tegelijkertijd dat er medio 2001 9,7 miljoen Nederlandse internetters waren. Dan zouden er binnen een jaar 3,3 miljoen internetters zijn bijgekomen, zo’n 280 duizend per maand, terwijl het CBS stelt dat er een trendmatige maandelijkse toename is van 160 duizend. Andere voorbeelden van opvallende verschillen komen naar voren bij vergelijking van Gartner Dataquest- en IDC-onderzoeken (zie grafieken).
Soms trekken ict-bedrijven zelf aan de bel als cijfers hen niet bevallen. Sun betwistte IDC-cijfers over de omzetverdeling in de Unix-servermarkt. Volgens de onderzoekers bedroeg IBM’s omzetaandeel over het laatste kwartaal van 2001 26,9 procent en scoorde het daarmee voor het eerst hoger (0,1 procent) dan Sun. Volgens Sun overdreef IDC de groei van IBM en ging het uit van gecombineerde cijfers voor servers en opslag. Het greep naar het in februari gepubliceerde Gartner-onderzoek waarin Sun ook over het vierde kwartaal van 2001 marktleider was in de wereldwijde Unix-servermarkt met een kwartaalomzet van zeshonderd miljoen dollar.
De afwijkingen hangen vaak samen met verschillen in de onderzoeksdefinities (wat de onderzoekers overigens niet ontkennen). Multiscope-directeur John Kivit: "Het heeft vrijwel altijd te maken met een verschil in definitie of in de tijd dat een onderzoek wordt uitgevoerd. Wij rekenen bijvoorbeeld tot e-commercie zowel zakelijke als particuliere bestedingen, terwijl een collega als Blauw alleen de tweede meet. Verder vergelijkt de pers soms een bijvoorbeeld in juli uitgevoerd onderzoek één op één met een latere meting van een ander."
Volgens Kivit besteden afnemers vaak te weinig moeite en tijd aan zorgvuldige bestudering van de bijgeleverde onderzoeksverantwoording. IDC wijst erop dat de kennis van marktonderzoek bij de afnemers daalt doordat daarvoor geen specialisten meer in dienst zijn. Kortom, bedrijven en pers interpreteren de cijfers soms te gemakzuchtig.
CBS-onderzoeker A.D. Kuipers vindt dat commerciële bureaus te gemakkelijk het probleem van hun bordje schuiven. "Door de verschillende methodes is het moeilijk één kompas te zetten op de uitkomsten. Ik heb soms vier x- en y-assen nodig om de resultaten van diverse bureaus naast elkaar te zetten. Vandaar dat ons vooral vanuit het beleid is gevraagd die verschillen op een rij te zetten en te komen tot een transparantere meetmethode." Het CBS komt in zijn volgende publicatie over de digitale economie eind mei met eigen berekeningen over de trends in de digitale economie. "De kans is groot dat deze realistischer uitvallen dan de optimistische cijfers van de ict-onderzoeksbureaus."
 

Gartner, Dataquest en IDC meten voordurend de ontwikkelingen in de ict-markt. Vaak is er sprake van opvallende verschillen. Twee voorbeelden: de omvang van de it-dienstverlening in 2001/2002 en de penetratie van de blade (platte) servers rond 2005/2006, waarbij eerst IDC ‘behoudend’ en Gartner ‘optimistisch’ is, en vervolgens de rollen omgekeerd zijn. Gartner houdt in het laatste geval wel een slag om de arm.

Koffiedik kijken

Kuipers plaatst vooral vraagtekens bij de soms ‘uitbundige prognoses’ van de commerciële onderzoekers. "Wij zijn per definitie terughoudend bij voorspellingen. Mijn indruk is dat veel commerciële bureaus niet uitblinken in relativerende kanttekeningen." Hoogleraar bedrijfsinformatica Daan Rijsenbrij deelt Kuipers’ analyse: "Veel commerciële bureaus hanteren een ruime interpretatiemarge bij voorspellingen. Daarbij treden ze vaak de minimale normen die voor wetenschappelijk onderzoek gelden met voeten. Ze publiceren regelmatig jubelende prognoses gebaseerd op flinterdun bewijsmateriaal. Ze hebben eigenlijk de rol overgenomen van ict-goeroes als James Martin, die in de jaren tachtig het succes van de vierde-generatie tool Focus voorspelde, waarna Information Builders werd verblijd met een overvloed aan orders. Het verschil is dat de afnemers zich toen realiseerden dat het om een goeroe-prognose ging. Nu worden deze voorspellingen, veelal uit de categorie koffiedik kijken, als waarheid gepresenteerd onder quasi wetenschappelijke vlag. Hebben de onderzoeksbureaus de hausse in mobiele telefonie zien aankomen, of de stortvloed aan sms-verkeer? Nee. Mijn advies luidt: Luister naar de onderzoekers om geïnspireerd te raken, want ze zijn zeker nuttig. Gebruik echter je eigen Hollandse nuchterheid om nieuwe technologieën eventueel te implementeren."
Kivit van Multiscope is niet onder de indruk van de kritiek vanuit de academische hoek en het CBS: "Zij hebben van nature een negatieve perceptie van commerciële onderzoeksbureaus. Ik denk dat er een botsing tussen ‘praktijk’ en ’theorie’ bestaat. Commerciële bureaus krijgen nooit maanden de tijd om onderzoek te doen en daarbij elk woord op een goudschaaltje te leggen. Dit betekent niet dat de kwaliteit minder is, maar wel dat je soms harde keuzes moet maken."

Stroomlijning

De verschillen in resultaten zitten niet alleen de theoretische onderzoekers dwars, ook de ‘markt’ heeft er steeds meer last van. "Zeker nu het slechter gaat binnen de ict-branche is het urgent dat er betrouwbaardere en beter vergelijkbare cijfers komen", aldus Machiel de Rooij van branchevereniging Nederland-ICT. "Je blijft altijd in meer of mindere mate appels met peren vergelijken. Bovendien is het ene marktsegment gemakkelijker te meten dan het andere. Maar de afwijkingen zijn nu wel erg groot."
De Rooij pleit dan ook voor stroomlijning van de onderzoeksdefinities, zodat in ieder geval het voortraject eenduidiger wordt. "Dat is in het belang van zowel de branche als de onderzoeksbureaus." Vandaar dat Nederland-ICT met enkele grote branche- en onderzoekspartijen betere afspraken over onderzoekmethodes wil maken. "Daar hebben zowel onze bedrijven als de onderzoekers belang bij, willen ze – ook op de langere termijn – serieus genomen worden. We zijn voorjaar 2001 een overleg gestart met enkele belangrijke organisaties. Wij verwachten dit jaar met de eerste resultaten naar buiten te kunnen treden. Dan zullen we ook andere belanghebbenden bij dit initiatief betrekken, om uiteindelijk te komen tot eenduidiger onderzoeksdefinities."
 
Marten Dijkstra