Elke werkdag behandelt Computable een onderwerp waarover lezers kunnen discussiëren. Vandaag over de waarde van benchmarks.
Marco Borsato zou het kunnen zingen: ‘De meeste benchmarks zijn bedrog’. AMD is de Nederlandse zanger vóór met de aantijging dat de bekende SYSmark-benchmark misleidend is. De hardwaretest is volgens de x86-underdog teveel gericht op processorkracht en zou daarmee concurrent Intel een oneerlijk voordeel geven. Enerzijds heeft de klager een punt: pc-vermogen is allang niet meer gebonden aan – of zelfs grotendeels bepaald door – processorvermogen. Anderzijds komt AMD over als klagende kleine.
Het is immers logisch dat een processorbenchmark het prestatieniveau van processors meet en daarbij grafische chips plus andere componenten buiten beschouwing laat. AMD haalt de eveneens bekende benchmarksuite PCMark aan om zijn gelijk te halen. Een strijd om marketingwoorden? AMD heeft al eerder moeite gehad met benchmarks, zoals eind 2001 toen het de Gigahertz-race tegen Intel begon af te leggen en het overschakelde op prestatiegetallen die de eindgebruiker beter inzicht zouden verschaffen. Die nummers van weleer zijn eigenlijk net zoals benchmarks maar een graadmeter. Wat vind jij?
SYSMark is klaarblijkelijk gewoon op een slecht softwarepakket. 15% trager, terwijl andere programma’s 7% trager zeggen is nogal een verschil.
CPU performance is niet het enige dat telt, GPU performance is ook belangrijk. Maar waar het echt om gaat, is user experience.
UX is hoe iets overkomt op de gebruiker. Theoretische rekenkracht is leuk, maar als de interface niet soepel werkt, dan performt een apparaat niet. De UX is dan onvoldoende.
Voorbeeld: men neme 2 telefoons, een recente Samsung Galaxy S telefoon en een recente Apple iPhone. De Samsung heeft een snellere processor met meer cores, en heeft meer RAM geheugen, maar voelt door het minder efficiente Android en de stroperige Samsung TouchWiz interface toch minder soepel aan dan de Apple iPhone.
Benchmarks zijn nietszeggend als er appels en peren met elkaar vergeleken worden. als we het over de graadmeters gaan hebben dan is het wel handig of we de cijfers in Celsius of Fahrenheit gaan noteren.
Kortom, wat en hoe er getest wordt is bepalend voor de uitslag want een fool met een tool blijft een fool. Ook niet onbelangrijk is de interpretatie van de testen om de relevantie ervan te kunnen beoordelen. GPU performance is namelijk niet zo belangrijk als je een 100% zakelijke omgeving hebt, de context van de tool versus de bruikbaarheid wordt bepaald door je vraag.
Veel benchmark software is eigenlijk de ‘sjoemelsoftware’ van de ICT sector als we kijken naar de
cijfers en het verbruik, Frank mag daarom zijn UX-factor daar steken waar de zon niet schijnt als de beoordeling van prestatie suggestief is. Dat VOELT misschien een beetje onaangenaam maar dat is dus efficiëntie, bij een mobiele telefoon telt voor mij in de eerste plaats de batterij.
Beste “wie roept mij”, jij zegt met onnodig grof taalgebruik ook dat jij UX het belangrijkste vindt! Voor jouw ervaring moet de batterij lang meegaan, dus dat is jouw persoonlijke eis!
De meetbare zaken, en tevens de zaken waarmee je kunt sjoemelen (CPU/GPU performance), zijn ondergeschikt.
Verder is jouw batterij-eis als losse eis natuurlijk onzinnig. Ik heb een batterij die wel een jaar meegaat en dan nog niet leeg is, maar ik doe dan ook niks met die batterij.
Voor telefoons gelden nog andere eisen. Ze moeten contact maken en houden met een telefoonnetwerk, en dan liefst 4G voor data. Je hebt geen telefoon bij je om een telefoon bij je te hebben, nee, je wil (of moet) bereikbaar zijn en/of anderen willen kunnen bereiken. Je telefoon moet toch responsief zijn (mijn voorbeeld van UX), betrouwbaar, draagbaar, …
Makers van die benchmark programma’s zijn commerciële bedrijven.
Dat zegt al genoeg dunkt me.
Nee Frans, in de discussie over usability gaat het vooral om design. Een zakelijk ecosysteem kent hier andere prioriteiten dan de ‘stand-alone’ wereld van consumenten. En de betrouwbaarheid van het user device afzetten tegen die van de bedrijfsinformatie geeft een hele andere graadmeter als we kijken naar onaangename oplossingen zoals MDM. Voor alle duidelijkheid, een aspect dat ook steeds meer speelt in de consumenten markt en de IoT hype voedt. En hoe ‘happy’ ben je nog als 40% van je batterij gebruikt wordt voor allerlei push reclame, 15% van GPU mogelijkheden voor adware en 30% van je CPU voor spyware?
Onnodig grof taalgebruik hoor ik zeer regelmatig, de krachttermen die gebruikers hanteren als de technologie weer eens vervloekt wordt omdat ze vergeten zijn om hun telefoon op te laden. Hoe populair zijn daarom tegenwoordig de powerbars?
De discussie gaat wat mij betreft niet over de benchmark van een puntoplossing maar de som der delen, mijn supersnelle mobiele telefoon is telkens traag als ik de informatie die ik nodig heb op moet halen via een traag netwerk. Het Wereld Wijde Wachten als je wel een 4G abonnement hebt maar niet overal dekking is dan frustrerend. Net als websites die geoptimaliseerd zijn voor mobiel gebruik welke de informatie die je zoekt missen waarna je (extra handeling en meer datagebruik) alsnog de full site moet laden. En ondertussen maar duimen dat je batterij nog genoeg levensduur heeft..
Ja roeper, zoals Henri verbaasd is als we hem cloudcolporteur noemen, zo ben jij dat als je over je taalgebruik aangesproken wordt.
“de context van de tool versus de bruikbaarheid wordt bepaald door je vraag”.
Frank’s vraagt om een snelle GPU, en jouw antwoord is dattie zijn phone op een andere plek moet opbergen. We weten nu wel dat jij nogal gericht bent op de backend 😉 maar wat iemand graag wil ervaren dat bepaalt die mooi zelf.