Voor IT-organisaties en hun produkten zijn goede prestaties van levensbelang. Niet het wetenschappelijke publish or perish, maar perform or perish is het adagium in de hyperdynamische wereld van de informatietechnologie.
Het op prestaties testen van IT-organisaties of systemen is het domein van IT-benchmarking. Wat heeft Internet hierover te melden?
Bij de beoordeling van sites ga ik meestal achtereenvolgens af op de geboden inhoud, de achtergrond van de auteur(s) en de reputatie van hun organisaties, de verwijzingen van anderen naar de site, en de populariteit.
Prosi Magazine geeft een aardige definitie van benchmarking van organisaties, ontleend aan Watsons Benchmarking workbook: "Effective benchmarking links the desire to learn from other companies with the need to strategically allocate an organisation’s resources. By linking benchmarking with strategic planning, organisations can focus their change-management ability on the areas that will provide the highest payoff in terms of quality, productivity, and customer satisfaction".
Twee internationale benchmark-netwerken springen in het oog: de Benchmarking Club en het Global Benchmarking Network. De Benchmarking Club biedt personen en organisaties die zich richten op benchmarking en procesverbetering een uitgebreid forum voor het uitwisselen van ervaringen en informatie. The Global Benchmarking Network is een beginnend netwerk van benchmarking-instituten, vooralsnog zonder Nederlandse inbreng; het benchmarken van IT-organisaties is relevant voor de IT-wereld.
Computer-benchmarking is voor organisaties vooral relevant bij de inkoop van IT-produkten en -diensten. Helaas let men meestal vooral op de snelheid van een computer, en niet op de mate waarin bedrijfsprocessen verbeterd worden. Steven Gordon biedt een goed achtergrondartikel over de ontwikkeling van het benchmarken van functies van informatiesystemen. Een wereldwijd onafhankelijk onderzoek van Xephon wijst uit dat Compass, Kpmg Nolan & Norton en Real Decisions de actiefste firma’s op het gebied van computer-benchmarking zijn. Hun belangrijkste opdrachtgevers zijn banken en verzekeraars, en de gemiddelde opdracht varieert van 22.000 dollar tot 132.000 dollar (IBM).
De indrukwekkendste en meestgeprezen online site is System Optimization Information. Deze biedt tal van interessante links naar onderzoeken op het gebied van prestatietesten en naar faq’s (antwooren op ‘frequently asked questions’). Benchmarkers kunnen hun hart ophalen aan de vele benchmarkprogramma’s en -statistieken. Verder zijn er tips te vinden voor het bouwen en optimaliseren van PC’s. Vooral nuttig hierbij zijn de top-10 hardware-ratings. De nummers 1 zijn: US Robotics Courier V Everything (modems), Elitegroup P5HX-B (moederborden), Buslogic 956C (Scsi-kaarten), Nec 6FG (monitoren), Roland SCD-15 (geluidskaarten) en Hercules Stingray 64/Video (grafische kaarten).
Een goede site is The Performance Database Server, een uitgebreide wetenschappelijke database met testresultaten. Deze site biedt het soort informatie waardoor Internet groot is geworden: gratis ‘papers’ in Ascii en Postscript, softwarecode en onderzoekservaringen. Er zijn ondermeer gegevens over zeer veel computersystemen, waarvan de bekendste zijn: SGI, Apple, Fujitsu, Siemens, Mips, Compaq, Hitachi, nCube, Sun, Cray, HP, Nec, IBM en Digital.
Beperkter maar gelikter is de site van The Silk Road Group, die in haar Linux-benchmarks indrukwekkend uitgebreide testresultaten geeft over de cpu-prestaties van verschillende Intel Pentium-uitvoeringen, van 486/386-chips en van Sun Sparc.
Voor grafische toepassingen worden vaak zwaardere computers gebruikt en zijn de computerprestaties essentieel. De Graphics Performance Characterization Group biedt nieuws en actuele rapporten over graphics-gerelateerde prestaties van systemen van diverse leveranciers. In het Picture Level Benchmark Project bijvoorbeeld komt de HP C180-XP Visualize-48XP als krachtigste naar voren. Ook waardevol is het CAD Benchmarking Laboratory van de North Carolina State University, dat de mogelijkheid biedt voor zoekacties op databases om vergelijkingen tussen cad-systemen te kunnen maken. Nuttig voor vakgenoten is verder het overzicht van conferenties en literatuur, ook op aanpalende gebieden zoals de zeer grote systemen. Een nadeel is dat de interface met de zoekdatabases nog niet altijd web-gebaseerd is en met forms werkt.
Naast de besproken inhoudelijke sites zijn er zeer veel commerciële sites waarin bedrijven hun diensten aanbieden. Laagdrempelig en leuk is de aanbieding van het Institute for Information Management van de University of St. Gallen om voor slechts 600 Zwitserse franken je logistieke Sap-toepassing te laten benchmarken. De prijs is laag omdat hun tool nog in een precommerciële fase verkeert. Aardig is verder dat ook naar de prestaties van de logistieke bedrijfsprocessen gekeken wordt; niet onbelangrijk voor ‘Nederland distributieland’, waar de wet van de markt, perform or perish, meedogenloos is.
Alle http-adressen van de genoemde sites zijn te vinden op Computable Online: https://www.computable.nl/internet
Om de drie weken schrijft Martijn Hoogeveen, senior adviseur strategie bij PTT Telecom, op deze plek over de beste sites op Internet rond een thema dat interessant is voor de lezers van Computable.
email: martijn@cyber-ventures.nl
