In een recente onderzoeksnota spreekt de Giga Information Group zijn twijfels uit over de objectiviteit van Doculabs-rapporten.
Gebruikers van deze rapporten moeten volgens Giga niet teveel belang hechten aan het feit of een bepaalde leverancier vernoemd wordt of niet. Hetzelfde geldt voor onderzoeken van Gistics, dat veel werk voor Apple verricht.
Doculabs evalueert IT-producten op het gebied van onder meer document-, opslag- en informatiebeheer, werkstroom en applicatieservers. Giga stelt dat Doculabs op een subjectieve manier te werk gaat. Als de analist een studie van producten begint, nodigt het de leveranciers uit om deel te nemen voor rond de zevenduizend dollar. De analist zegt met dit geld de kosten te dekken.
De ‘onderzoeker’ heeft ook nog andere eisen alvorens een product op te nemen in de beoordeling. Zo moet een leverancier ook voldoende ondersteuning vrijmaken, en moeten technici aanwezig zijn bij de tests. Doculabs staat niet alleen. Gistics, een analist steevast opgevoerd door Apple om aan te tonen dat grafici sneller hun investering kunnen terugverdienen met een Mac, krijgt geld van Apple Gistics voor dit soortreturn on investment-onderzoeken.
Weinig analisten zijn kritisch ten aanzien van de objectiviteit van onderzoeken. Gartner, Giga, Seybold en Forrester spreken met hun klanten. Twee analisten die sterk zijn in productevaluaties, de Butler Group en Spex (een dochter van de Meta Group), proberen eerst zelf uit te vissen welke producten in een bepaalde technologie horen en nodigen dan de leveranciers uit om hen te voorzien van testpakketten. Butler Group’s Research Manager Gary Cooper zegt: "Het enige waar wij leveranciers voor laten betalen, zijn de herdrukken van een uitgegeven rapport."
