In een recente onderzoeksnota spreekt de Giga Information Group zijn twijfels uit over de objectiviteit van Doculabs-rapporten. Gebruikers van deze rapporten moeten volgens Giga niet teveel belang hechten aan het feit of een bepaalde leverancier vernoemd wordt of niet. Hetzelfde geldt voor onderzoeken van Gistics, dat veel werk voor Apple verricht.
Doculabs evalueert IT-producten op het gebied van onder meer document-, opslag- en informatiebeheer, werkstroom en applicatie servers. Giga stelt dat Doculabs op een subjectieve manier te werk gaat. Als de analist een studie van een bepaald soort producten begint, nodigt het de leveranciers uit om deel te nemen. Ze moeten dan wel een bedrag van rond de zevenduizend dollar in de Doculabs-kas storten. De analist zelf benadrukt dat dit bedrag dient om de kosten te dekken.
De ‘onderzoeker’ heeft ook nog andere eisen alvorens een product op te nemen in de beoordeling. Zo moet een leverancier ook voldoende ondersteuning vrijmaken, en wenst Doculabs bovendien dat technici aanwezig zijn bij de tests. Dit alles wekt op z’n minst de indruk dat Doculabs-rapporten niet echt objectief zijn, iets dat Giga ook duidelijk zegt in de conclusie aan het einde van het onderzoeksrapport
Doculabs staat echter niet alleen. Zo is er Gistics, een analist die steevast door Apple wordt opgevoerd om aan te tonen dat grafici sneller hun investering kunnen terugverdienen met een Mac. Apple betaalt Gistics voor dit soort return on investment-onderzoeken, wat ook hier de resultaten op z’n minst in een subjectief daglicht stelt.
Moeilijk doen
Eigenlijk zijn er maar een handvol analisten kritisch ten aanzien van de objectiviteit van onderzoeken. Gartner spreekt bijvoorbeeld met zijn klanten om te weten waar Abraham de mosterd haalt. Dat doen ook Giga, Seybold en Forrester. Twee analisten die sterk zijn in productevaluaties, de Butler Group en Spex (een dochter van de Meta Group), proberen eerst zelf uit te vissen welke producten in een bepaalde technologie horen en nodigen dan de leveranciers uit om hen te voorzien van testpakketten. Butler Group’s Research Manager Gary Cooper zegt: "Het enige waar wij leveranciers voor laten betalen, zijn de herdrukken van een uitgegeven rapport."
Toch zijn de rapporten van Doculabs of Gistics niet noodzakelijk slechter dan degene die Butler of Spex uitgeven. Cooper zelf geeft toe dat ze "er wel eens naast zitten". Daarbij verwijst hij dan naar leveranciers die niet aan bod komen in een rapport terwijl ze daar wel in horen. In Doculabs rapporten komen leveranciers soms ook niet voor, bijvoorbeeld omdat producten ook zonder evaluatie van Doculabs goed verkopen. Terwijl het rapport bij Doculabs dus meestal gekleurd wordt door een marketingbeslissing van de leverancier, blijft het resultaat wel hetzelfde: een rapport dat een onvolledig beeld biedt van de markt.
