Volgens onderzoeksbureau Bloor beïnvloeden leveranciers van besturingssystemen benchmarks zodanig dat de resultaten niet of nauwelijks bruikbaar zijn. Deze conclusie trekt het bureau in het rapport ‘The realities of OS scalability’.
In het onderzoek dat ten grondslag ligt aan het rapport komt Solaris van Sun als beste besturingssysteem uit de bus vóór Intel-servers. Naast Solaris werden Windows NT, Netware en OS/2 op objectieve wijze beoordeeld. Volgens Bloor manipuleren bedrijven de testomstandigheden, met als gevolg dat het product van de leverancier zelf altijd als nummer één naar voren komt.
Uit benchmarks komen de zwakke punten van besturingssystemen niet naar voren, meent Bloor. Met name die zwakke punten, die elk systeem heeft, zijn bepalend voor de keuze die een gebruiker in zijn specifieke situatie moet maken. De testen van Bloor, die onafhankelijkheid claimt, tonen bijvoorbeeld aan dat het bestandssysteem van NT traag is en niet schaalbaar. Als de ‘scheduler’ van Solaris bijna niet of juist volledig benut wordt, verlaagt deze de efficiency van de applicaties. OS/2 maakt volgens het rapport geen effectief gebruik van disk-caching. En de kritiek op Netware is dat het bestandssysteem niet schaalbaar is en dat de prestaties van de planner bij twee processoren slecht zijn.
Alleen Microsoft en IBM bleken bereid te reageren op de onderzoeksresultaten. Volgens Alain Meeus van Microsoft Benelux vinden benchmarks of andere tests altijd onder laboratorium-omstandigheden plaats. "Dat geldt ook voor die van Bloor. De situatie van elke eindgebruiker is verschillend, dus niet altijd representatief voor iedereen. Benchmarks zijn indicatief", zegt Meeus. De woordvoerster van IBM vindt dat benchmarks zeker toegevoegde waarde hebben, maar dat elke eindgebruiker zich af moet vragen in welke mate de testomstandigheden representatief zijn voor zijn situatie. RV
