In een recente onderzoeksnota spreekt de Giga Information Group zijn twijfels uit over de objectiviteit van Doculabs-rapporten.
Gebruikers van deze rapporten moeten volgens Giga niet teveel belang hechten aan het feit of een bepaalde leverancier vernoemd wordt of niet. Hetzelfde geldt voor onderzoeken van Gistics, dat veel werk voor Apple verricht.
Doculabs evalueert IT-producten op het gebied van onder meer document-, opslag- en informatie-beheer, werkstroom, en applicatieservers. Giga stelt dat Doculabs op een subjectieve manier te werk gaat. Als de analist een studie van een bepaald soort producten begint, nodigt hij de leveranciers uit om deel te nemen. Ze moeten dan wel een bedrag van rond de zevenduizend dollar in de Doculabs-kas storten. De analist zelf benadrukt dat dit bedrag dient om de kosten te dekken. Bovendien moet een leverancier voldoende ondersteuning vrijmaken, en wenst Doculabs dat technici aanwezig zijn bij de tests. Dit alles wekt op z’n minst de indruk dat Doculabs-rapporten niet echt objectief zijn. Giga stelt dit ook duidelijk in de slotconclusie van zijn onderzoeksrapport
Apple voert steevast analist Gistics op om aan te tonen dat grafici sneller hun investering kunnen terugverdienen met een Mac. Apple betaalt Gistics voor dit soortreturn on investment-onderzoeken, wat ook hier de resultaten op z’n minst in een subjectief daglicht stelt.
Eigenlijk zijn er maar een handvol analisten kritisch ten aanzien van de objectiviteit van onderzoeken. Gartner spreekt bijvoorbeeld met zijn klanten om te weten waar Abraham de mosterd haalt. Dat doen ook Giga, Seybold en Forrester. Twee analisten die sterk zijn in productevaluaties, Butler Group en Spex (een dochter van de Meta Group), proberen eerst zelf uit te vissen welke producten in een bepaalde technologie horen en nodigen dan de leveranciers uit om hen te voorzien van testpakketten. Butler Group’s ‘research manager’ Gary Cooper: "Het enige waar wij leveranciers voor laten betalen, zijn de herdrukken van een uitgegeven rapport."
Toch zijn de rapporten van Doculabs of Gistics niet noodzakelijk slechter dan die van Butler of Spex. Cooper zelf geeft toe dat ze ‘er wel eens naast zitten’. Daarbij verwijst hij naar leveranciers die niet aan bod komen in een rapport terwijl ze daar wel in horen. In Doculabs rapporten komen leveranciers soms ook niet voor, bijvoorbeeld omdat producten ook zonder evaluatie van Doculabs goed verkopen. Terwijl het rapport bij Doculabs dus meestal gekleurd wordt door een marketingbeslissing van de leverancier, blijft het resultaat wel hetzelfde: een rapport dat een onvolledig beeld biedt van de markt.
