Er is veel tumult ontstaan over een recente test waaruit bleek dat Windows XP met Service Pack 3 bijna twee keer zo snel is als zijn opvolger Windows Vista met Service Pack 1.
Critici zeggen dat de resultaten gebaseerd zijn op een enkele test en dat het om betaversies gaat van de Service Packs. Voor een reëler beeld zouden er meer testen gedaan moet worden, met de eindversies van de Service Packs en met verschillende configuraties.
De testers, werkzaam bij het bedrijf Devil Mountain Software, hebben toegegeven dat de eerste resultaten van de benchmarktest verschilden van de controversiële resultaten die ze hebben gepubliceerd. Devil Mountain Software heeft voor de tests verschillende versies van XP en Vista gebruikt en de meest recente versies van de Service Packs. Uit deze tests bleek dat Vista veel slechter presteerde dan zijn voorganger Windows XP.
Critici vinden echter dat de resultaten niet representatief zijn voor beide besturingssystemen. De testers gebruikten identieke Dell-computers en ze vergeleken Office 2007 op Vista met Office 2003 op XP.
"Alle tests werden gedaan met verse installaties van beide besturings-systemen," zegt de baas van Devil Mountain Sofware Craig Barth. "Voor Vista hebben we alleen de RTM-code geïnstalleerd en hebben we geen updates geïnstalleerd om een ‘pure’ image te behouden. We hebben daarna Office 2007 geïnstalleerd en de DMS Clarity Studio en Tracker-tools. Toen de benchmarktest klaar was, hebben we de installatie geüpgraded naar de v.658 build (RC0) van Service Pack 1. Voor de XP-benchmarktest heeft Barth dezelfde procedure gevolgd, maar alleen met Windows XP en de laatste build van Service Pack 3.
Critici zagen dat beide systemen in de test niet op dezelfde manier werden belast. De benchmarksoftware focust op specifieke factoren, zoals Active X Data Objects (ADO), die flink verschillen tussen Office 2003 en Office 2007 waardoor de testresultaten nergens op slaan.
Geschrokken door alle commotie heeft het team van Devil Mountain Software nieuwe tests gedaan en daarvoor Office 2003 op zowel XP als Vista geïnstalleerd. XP bleek nog steeds een stuk sneller te zijn dan Vista, alleen niet twee keer zo snel. Het bedrijf heeft niet een test gedaan met Office 2007 op XP en Vista.
Specificaties van het testsysteem:
Dell XPS M1710 notebook met een Core 2 Duo CPU van 2 GHz (T7200), 1 of 2 GB aan Corsair Value Select DDR-2 667 MHz geheugen, een Hitachi 7200 RPM 80 GB harde schijf en een nVidia GeForce Go 7900GS grafische kaart.
