Leveranciers van besturingssystemen beïnvloeden benchmarks zodanig dat de resultaten niet of nauwelijks bruikbaar zijn, aldus onderzoeksbureau Bloor. Deze conclusie trekt het bureau in het onderzoeksrapport The realities of OS scalability.
In het onderzoek komt Sun Solaris x86 als beste besturingssysteem voor Intel-servers uit de bus. Naast Solaris zijn Windows NT, Novell Netware en OS/2 Warp 4 SMP beoordeeld.
Volgens Bloor manipuleren bedrijven de testomstandigheden. Daardoor komt het product van de leverancier zelf altijd als nummer één naar voren. Benchmarks tonen de zwakke punten van besturingssystemen niet aan, zo menen de onderzoekers. Vooral de zwakke punten, die elk systeem heeft, zijn bepalend voor de keuze die een gebruiker in zijn specifieke situatie moet maken. De testen van Bloor, die onafhankelijkheid claimt, tonen bijvoorbeeld aan dat het bestandssysteem van NT traag is en niet schaalbaar. Als descheduler van Solaris bijna niet of juist volledig benut wordt, verlaagt deze de efficiëntie van de applicaties. OS/2 maakt volgens het rapport geen effectief gebruik vandisk-caching. De kritiek op Netware luidt dat het bestandssysteem niet schaalbaar is en dat de prestaties van de planner bij twee processoren slecht zijn.
Alleen Microsoft en IBM bleken bereid te reageren op de onderzoeksresultaten. Volgens Alain Meeus van Microsoft Benelux vinden benchmarks of andere tests altijd onder laboratorium-omstandigheden plaats. "Dat geldt ook voor die van Bloor. De situatie van elke eindgebruiker is verschillend, dus niet altijd representatief voor iedereen. Benchmarks zijn indicatief", zegt Meeus. De woordvoerster van IBM vindt dat benchmarks zeker toegevoegde waarde hebben, maar dat elke eindgebruiker zich af moet vragen in welke mate de testomstandigheden representatief zijn voor zijn situatie.
