Pendragon Software, de ontwikkelaar van de Caffeinemark-benchmarktest, beschuldigt Sun Microsystems ervan dat die zijn Java-compiler dusdanig optimaliseert dat het de benchmarktest om de tuin leidt. Caffeinemark is de bekendste prestatietest voor Java-applets ter wereld.
Volgens Pendragon hebben ingenieurs van Sun hun Solaris OS 2.6 Java just-in-time(Jit)-compiler zo ingesteld dat deze kan identificeren wat Caffeinemark aan het testen is. De compiler gebruikt dan speciale algoritmes die de prestaties oppeppen tot zeker 300 keer de normale resultaten.
Woordvoerders van de benchmark-ontwikkelaar beweren dat dit misleidend is voor IT-directeuren aangezien de praktijkresultaten van Java aanzienlijk verschillen van de testuitslagen. "Wij hopen dat dit geen schaduw werpt op het geweldige werk dat Sun verricht", zei Ivan Phillips, directeur van Pendragon. Sun had nog geen commentaar op deze aanklacht.
