CA test Linux-op-mainframe versus Windows en Solaris

Hoewel er een groeiende consensus in de ict-wereld bestaat dat het toepassen van Linux op een mainframe tot een verlaging van de ’total cost of computing’ kan leiden, bestaan er nauwelijks concrete studies die deze voordelen ook daadwerkelijk hard maken. In een opmerkelijk initiatief heeft softwarebedrijf Computer Associates nu cijfers gepubliceerd over interne benchmarks van Linux-op-mainframe ten opzichte van gedistribueerde systemen op basis van Windows en Solaris. De conclusie is duidelijk: Linux op IBM’s S/390 kan inderdaad tot interessante kostenbesparingen leiden.

Linux & i/o
Mainframes ontlenen een belangrijk deel van hun reputatie aan het feit dat zij grote hoeveelheden i/o kunnen afhandelen. Moderne systemen kennen tientallen of honderden kanalen (channels) die gebruikt kunnen worden voor parallelle i/o. Is Linux – net als traditionele mainframebesturingssystemen – in staat hier optimaal gebruik van te maken? Vincent Re van Computer Associates ontdekte in het onderzoek dat uiteindelijk resulteerde in het rapport ‘Benchmarking Mainframe Linux vs. Distributed Systems’ een aantal -wat hij noemde- ‘real issues’.
Om de i/o-prestaties van Linux vast te stellen, gebruikte Re de Bonnie-benchmark. Er blijken op dit punt aanzienlijke verschillen te bestaan tussen de Linux 2.2- en 2.4-kernel. Maar wat vooral opviel waren de verschillen die ontstaan wanneer Escon danwel Ficon wordt toegepast. Nogal tegen de verwachting in, bleek gedurende de tests dat zelfs subtiele veranderingen in de configuratie tot ingrijpende wijzigingen van de doorvoersnelheid (throughput) kunnen leiden. Neem als voorbeeld de Logical Volume Manager (LVM). Hoewel het gebruik hiervan slechts een geringe invloed op het prestatieniveau heeft, veroorzaakt het al of niet toepassen van ‘sofware striping’ belangrijke verschillen. Met ‘striping’ nam de doorvoersnelheid met meer dan 80 procent af: van 18 Mbps naar 3,5 Mbps.
Ook opvallend was het gebruik van ruwe (raw) i/o. Het gebruik hiervan bleek een positief effect op de belasting van de processor te hebben: soms wel 25 procent lager. De verbetering van de doorvoersnelheid viel echter tegen: slechts 8 procent. Het gebruik van ruwe i/o op de S/390 en de zSeries is belangrijk omdat Linux hier in de regel – onder z/VM of in andere lpar’s – naast andere applicaties zal draaien. Aangezien ruwe i/o een lagere cpu-belasting als gevolg heeft, kunnen de hierdoor uitgespaarde cycli dus aan andere toepassingen ten goede komen.
Een laatste opmerkelijk resultaat tenslotte komt voort uit een directe vergelijking van de i/o-prestaties van z/OS en Linux. z/OS blijkt gemiddeld een twee maal hoger prestatieniveau te behalen. Het brengt onderzoeker Re tot de conclusie dat er ten aanzien van de Linux-bestandssystemen en drivers van apparatuur nog veel werk verzet al moeten worden voordat zij zich kunnen meten met klassieke mainframetechnologie.

Figuur 1: De transactiekosten van de zes platformen (inclusief IBM Multiprise met én zonder z/VM).

Cijfers zijn geduldig. Wie de kunst verstaat getallen te masseren, kan zo’n beetje ieder gewenst ‘bewijs’ leveren. Met name de omstandigheden waaronder getalsmatige onderzoeksresultaten tot stand zijn gekomen, spelen een belangrijke rol bij de relevantie van de scores van benchmarks. Daarom opent Vincent Re, werkzaam bij het ‘Office of the CTO’ van Computer Associates, zijn rapport ‘Benchmarking Mainframe Linux vs. Distributed Systems’ met een korte beschrijving van de systeemomgeving. "Zoals veel bedrijven, kennen ook wij nauwelijks ‘workloads’ die het uiterste van onze systemen vragen. Onze business vereist geen verwerking van miljoenen transacties per seconde, zodat we kunnen aannemen dat vrijwel ieder platform aan onze ‘workload’-doelstellingen kan voldoen. Voor ons zijn met name de kosten belangrijk."
CA gebruikt voor de interne gegevensverwerking drie platformen: Sun, Intel/Microsoft en IBM-mainframe. Op dit laatste platform wil het Linux toepassen. De vraag is echter of dat financieel voldoende aantrekkelijk is. Om een vergelijking van de kosten mogelijk te maken, zijn drie testplatformen gedefinieerd waarop één kleine maar representatieve applicatie draait, op basis waarvan een kostprijs per transactie kan worden berekend.

Systeemconfiguraties

Allereerst Linux. Aangezien er heel wat mainframe-configuraties mogelijk zijn, is voor het Linux/390-platform gekozen voor drie varianten:

IBM zSeries 900 met IFL processor engine op een 8 GB 2064-101. De schijven zijn IBM ESS (Shark) over Ficon, de netwerkverbinding is gebaseerd op OSA-2 Gigabit Ethernet op z/Vm en vervolgens Virtual CTC tussen z/VM en Linux/390.
IBM zSeries 800 op één processor en 8 GB aan geheugenruimte. Disk en netwerk zijn als hiervoor beschreven.
IBM Multiprise 3000 H70 op één processor met 4 GB aan geheugenruimte en een intern SSA disk array. De interne Ethernet-adapter en de Multiprise LCS-emulatie zorgen voor de netwerkfunctionaliteit.

Na een aantal distributies te hebben bekeken, besloot Re tenslotte SuSe 7.2 (Sles) op het mainframe-platform toe te passen. Deze distributie is gebaseerd op de Linux 2.4.7-kernel waaraan verder de zogeheten ‘kernel timer’ patches en de in mei aanbevolen beveiligings-update zijn toegevoegd. In plaats van de VM minidisk driver – die consequent trager werd bevonden – paste Re de Eckd-driver toe. Verder koos hij voor het EXT2-bestandssysteem zonder ondersteuning van LVM (Logical Volume Manager).
Het Sun-platform bestond uit een Sunfire 3800 met 4 GB aan geheugenruimte. De toegang tot een EMC san-disk liep via Fibrechannel. Het besturingssysteem is Solaris 8.
Microsoft Windows 2000 Advanced Server inclusief alle recente ‘fixes’ werd geïnstalleerd op een Dell Xeon 1,5 GHz-systeem met 2 GB aan geheugenruimte. Ook hier is sprake van een EMC san-schijf die via Fibrechannel scsi is gekoppeld.
Op alle systemen werd een zoveel mogelijk standaard gehouden GA-versie van de Advantage Ingres Enterprise Relational Database 2.6 geplaatst. Re benadrukt dat zo min mogelijk is getuned of geoptimaliseerd om een zo neutraal mogelijke vergelijking mogelijk te maken. De testapplicatie wordt gevormd door een Ingres-implementatie van een standaard Tpcc-suite.

Benchmark-resultaten

De benchmark-methodiek telde het aantal afgeronde transacties binnen een vastgesteld tijdvenster. Op basis van dit getal is de transactiedoorvoersnelheid (transaction throughput) berekend die vervolgens met de totale systeemkosten de kostprijs per transactie opleverde. Bij de Sun- en Dell-servers is uitgegaan van de normale aanpak: één applicatie = één server. Bij mainframes ligt dat uiteraard anders. Daarom is bij die platformen vastgesteld welk percentage van de systeem-resources voor de applicaties werden ingezet. Ditzelfde percentage is vervolgens gehanteerd om een reëel beeld te krijgen van de kosten voor de processor, het onderhoud en de software die toegerekend dienen te worden aan de testapplicatie.

Figuur 2. De i/o-prestaties van Linux op S/390 en zSeries bij gebruik van Escon dan wel Ficon. In de laatste kolom is ter vergelijking de i/o-doorvoersnelheid van Linux (2.4-kernel) op een Intel-systeem (1 Ghz-processor, IBM 7200 rpm IDE-harde schijf) weergegeven. Alle resultaten zijn in Kb/s.
Seq out: Doorvoersnelheid (througput) voor het sequentieel wegschrijven van kleine hoeveelheden data
Block out: Doorvoersnelheid voor het wegschrijven van grotere datablokken (4K)
Seq in: Doorvoersnelheid voor het lezen van karakter-voor-karakter vanuit het bestandssysteem
Block in: Doorvoersnelheid voor het lezen van grotere datablokken (4K)
Rewrite: Doorvoersnelheid voor het herschrijven van data op een willekeurige locatie in het bestandssysteem
Seeks/sec: Totaal aantal willekeurige ‘seeks’ (gevolgd door het lezen van een enkele byte) per seconde

Niet meegenomen kosten hebben betrekking op schijfruimte, de omgeving waarin de systemen functioneren (elektriciteit, vloeroppervlak en dergelijke), onderhoud van de applicatie, rampherstelvoorzieningen en de toekomstige restwaarden van de systemen. Ook managementkosten anders dan de directe personele kosten, uitgaven voor softwarematige beheerhulpmiddelen voor applicaties, incidentele kosten als gevolg van bijvoorbeeld storingen en eventuele kortingen zijn niet meegerekend.
Re komt vervolgens tot de volgende getallen:

IBM zSeries 900
Processor: $ 36.000
Memory: $ 12.000
Software (z/VM): $ 9600
Onderhoud (3 jaar): $15.000
Administratie (3 jaar): $ 8900
DBA (3 jaar): $ 9910
Totaal: $ 91.410

De ‘performance’ ligt op 170.000 transacties in een testvenster van 20 minuten. De relatieve kostprijs per transactie is $ 0,54. De 170.000 transacties werden bereikt met een belasting van één processor voor 20 procent en 10 procent van de 2 GB aan ‘real memory’ dat beschikbaar was in de lpar (logical partitioning).

IBM zSeries 800
Processor: $ 40.000
Software (z/VM): $ 13.400
Onderhoud (3 jaar): $ 12.000
Administratie (3 jaar): $ 8900
DBA (3 jaar): $ 9910
Totaal: $ 84.210

Ook hier bedroeg de ‘performance’ 170.000 transacties in 20 minuten. De relatieve kosten per transactie: $ 0,50. De 170.000 transacties werden gerealiseerd bij het gebruik van 28 procent van één processor.

IBM Multiprise 3000
Processor: $ 28.000
Software (z/VM): $ 16.800
Onderhoud (3 jaar): $ 6400
Administratie (3 jaar): $ 8900
DBA (3 jaar): $ 9910
Totaal: $ 70.010

De ‘performance’ werd op dit systeem op 170.000 transacties gehouden bij een relatieve kostprijs per transactie van $ 0,41. Voor dit aantal transacties werd 35 procent van één processor ingezet. Het kan bij dit percentage interessant zijn om z/VM (dat circa 5 procent van de processorcapaciteit vereist) achterwege te laten en via lpar-technologie de processor te delen met andere applicaties. Dan bedragen de totale systeemkosten $ 49.210 en de kosten per transactie $ 0,29.

Sun Sunfire 3800
Basissysteem : $ 85.550
Software (Solaris): $ 250
Onderhoud (3jaar): $ 25.600
Administratie (3 jaar): $ 11.400
DBA (3 jaar): $ 10.200
Totaal: $ 133.000

Het volume van 161.000 transacties werd gerealiseerd met het gebruik van 26 procent van de beschikbare processorcapaciteit. Het gebruik van een kleiner systeem zou de relatieve kostprijs – nu $ 0,81 – verder omlaag kunnen brengen.

Microsoft/Dell
Basissysteem: $ 4800
Software (Windows 2000): $ 400
Onderhoud (3 jaar): $ 1800
Administratie (3 jaar): $ 9624
DBA (3 jaar): $ 12.396
Totaal: $ 29.020

De ‘performance’ bedroeg hier 128.000 transacties in een 20 minuten-venster. De relatieve kostprijs per transactie: $ 0,23. Door Linux in plaats van Windows te gebruiken lopen de kosten nog iets verder terug ($ 28.200) waardoor de kostprijs per transactie uitkomt op $ 0,22.

Niet blindstaren

De kosten per transactie zijn weergegeven in figuur 1. Uit de gegevens van CA blijkt dat Linux-op-S/390 wat kosten betreft interessante mogelijkheden biedt. Re wijst er echter nadrukkelijk op dat we ons niet op de exacte cijfers moeten blind staren. Het gaat meer om de vergelijking die nu mogelijk is, dan om de exacte getallen.
We moeten ook niet vergeten dat vaak lokaal bepaalde factoren in ogenschouw moeten worden genomen die de kostenniveaus aanzienlijk kunnen beïnvloeden. Denk bijvoorbeeld aan de schaalbaarheid van een platform. De combinatie van Microsoft en Dell lijkt erg goedkoop, maar kent slechts een beperkte schaalbaarheid ten opzichte van de andere applicaties. Bij een groeiend aantal transacties kunnen hierdoor aanzienlijke extra investeringen nodig blijken, die het hier weergegeven beeld aanzienlijk veranderen.

Robbert Hoeffnagel, freelance medewerker