Interpay, dat zichzelf profileert als ‘de stille kracht achter het betalingsverkeer’, kampte voor zijn uitwijk met een reusachtig maximaal dataverlies van 24 uur. Sinds september vorig jaar heeft het echter een nieuw uitwijksysteem met nul uur dataverlies, een wereldprimeur. It-architect Dick van Kuijk legt in een interview de opzet van dit ambitieuze project uit.
Dick Van Kuijk, werkzaam bij de Interpay-divisie Girale Services (GS) was samen met Walter van der Hooven van IBM projectleider van Uitwijk II. GS verzorgt vooral interbancaire transacties en de directe aanlevering door bedrijven van salaris- en crediteurenbetalingen en incasso. Interpay verzorgt een groot deel van het Nederlandse betalingsverkeer in binnen- en buitenland, dat is verricht met pinpassen, chipknips, Mastercard- en Visa creditcards en betalingen over internet.
Daarnaast biedt het bedrijf dienstverlening aan banken, waaronder documentverwerking – denk hierbij aan acceptgiro’s en overboekingsformulieren. Interpay staat daarmee centraal in het girale netwerk voor bulkverkeer in Nederland. De Postbank en de handelsbanken wikkelen daarnaast een deel van hun betalingsverkeer binnen de eigen muren af, het zogenaamde concernverkeer.
In 2001 verzorgde Interpay 2,5 miljard betalingstransacties voor de banken. Het dagrecord lag op 34,7 miljoen. Dat was met Pasen 2002, mede doordat er toen een lang weekend was. "Pin-betalingen die op zaterdag worden verricht, komen maandag pas bij ons binnen voor verwerking. Dat draagt ook bij aan de pieken. Die kunnen we wel voorzien. Daarnaast zijn er ook wel verschuivingen; er zijn steeds minder acceptgirobetalingen, en steeds meer incasso- en pin-betalingen en ook meer telefonische overboekingen, zoals telegiro. De bulk is pin-betalingen, in winkels, wat na het weekend een piek oplevert."
De verwerkte transacties omvatten crediteurenbetalingen, machtigingen/incasso’s, acceptgiro’s, telegiro’s, pin-betalingen, opnames bij geldautomaten, kortom het volle spectrum aan betalingsverkeer. Dit vertoont veel pieken en groeit jaarlijks met ongeveer tien procent. Het is dan ook moeilijk voor te stellen dat deze spil van het Nederlandse bancaire betalingsverkeer tot september vorig jaar nog een uitwijksysteem met een dataverlies van maximaal 24 uur.
Kern van Interpay is het zogeheten Clearing and Settlement System (CSS) ten behoeve van de banken in Nederland. Interpay verzorgt de transacties tussen rekeninghouders van verschillende banken. Het saldo biedt Interpay vervolgens aan bij De Nederlandsche Bank (DNB) die de betrokken banken debiteert of crediteert. Het CSS heeft altijd een uitwijkfaciliteit gehad en leunde op twee verwerkingscentra: een in Amsterdam Zuidoost en een in Leusden. Beide verwerkingscentra draaien op S/390-mainframes van IBM. Van deze twee is de Amsterdamse vestiging het productiecentrum en het pand in Leusden het uitwijkcentrum. Dit is een uitwijkcentrum dat continue paraat staat om in te springen, het zogeheten ‘hot standby’. De afstand tussen deze twee locaties is 55 kilometer, wat het backup-proces nogal bemoeilijkt.
Cassettes vervoeren
Het nu vervangen uitwijksysteem leidde bovendien tot een wildgroei aan protocollen volgens welke klanten van Interpay de data mochten aanleveren: sna, ftp en http. De backup-data werden altijd weggeschreven op cassettes. "Voordat Uitwijk II gereed was, gingen de tapes en cassettes met de backup na afsluiting – op basis van vijf werkdagen van achttien uur, afgeleid van de openingstijden van DNB – fysiek naar de andere locatie. Dat werkte wel voor de gewone aanlevering van data, maar als er midden op de dag een calamiteit zou plaatsvinden, hadden we een probleem", zegt Van Kuijk.
Allereerst is er de tijd die de bezorgwagens erover doen om de tapes en cassettes te bezorgen in Leusden. Die tapes werden dagelijks aangemaakt en vervoerd, maar in geval van een calamiteit waren de gegevens een dag oud. Alle tussentijdse verwerkingen moesten dan alsnog ongedaan gemaakt worden, om daarna opnieuw doorgevoerd te worden met de correcte data.
Daarna is er nog de fysieke handeling van het laden van de tapes en het inlezen van de daarop opgeslagen informatie door de uitwijksystemen. "Onze werknemers moesten natuurlijk bij calamiteiten ook naar het uitwijkcentrum. Verder moesten we onze klanten informeren dat zij hun data dan naar de andere locatie moesten sturen. Dat ging vaak met koeriers die hun disks en tapes bezorgden, maar ook via koperdraden – zelfs met 9600 baud-modems – en edi (electronic data interchange – red.), hoewel dat laatste een minderheid was."
"De cassettes werden rond een uur of een ’s nachts vervoerd, maar ook dan kan je files hebben. Ons uitwijksysteem was niet echt ‘state of the art’. Wij liepen wat achter op de banken. DNB eiste van ons dat de dienstverlening binnen 24 uur moest zijn hersteld. Die eis bestond al zo’n vijftien jaar." En daaraan voldeed Interpay, zij het op inmiddels wat ouderwetse wijze. De eisen zijn echter veranderd. "Per 1 oktober 2001 is de DNB-verrekening (settlement) verscherpt. CSS moest anders gaan functioneren; voorheen deden we een keer per dag die verrekening bij DNB. Tegenwoordig moet dat een keer per half uur. De markt eist immers boter bij de vis."
Voldoen aan hoge criteria
"Begin 2000 zijn we al een onderzoek begonnen naar snellere herstelmogelijkheden – denk aan vier uur – die ook nog eens zonder dataverlies moesten werken. De reserve-kopie van het betalingsverkeer mocht geen seconde achterlopen. Voorheen liep de backup dus altijd 24 uur achter op de werkelijkheid. Uitwijk II moest dan ook voldoen aan hoge criteria: dataverlies door rampen is geen optie, de uitwijktijd mag maximaal 4 uur bedragen, en er mag nauwelijks prestatieverlies zijn voor de bedrijfsvoering. Deze verkenning heeft de eerste helft van 2000 in beslag genomen en moest op basis van de eisen en wensen bepalen welke opzet het meest geschikt zou zijn.
Daarbij was een extra voorwaarde het gebruik van de bestaande twee centra. Het bedenken en inrichten van nieuwe centra op een gunstiger afstand tot elkaar behoorde niet tot de mogelijkheden. En tot slot was er nog een wens: dat het uitwijkcentrum synchroon loopt met het productiecentrum, zodat een eventuele uitwijk nagenoeg onmerkbaar zou zijn. Geen geringe opgave. "Dat was dus ons eigen project om de backup en uitwijk te verbeteren. Daar werd ineens een harde deadline van DNB aan gehangen: 1 oktober. Dat betekende voor ons 1 september, want je moet ruim voor je deadline klaar zijn zodat je kunt proefdraaien. Eerst hadden we juli-augustus gepland, om wat ademruimte te hebben. Die hadden we wel nodig."
"Maar het is ons gelukt, en nog op tijd ook." De totale doorlooptijd van de implementatie was acht maanden, wat niet alleen binnen de geplande tijdsspanne was, maar ook nog eens binnen het budget. De officiële start van Uitwijk II was namelijk 2 januari vorig jaar, toen de Raad van Commissarissen van Interpay toestemming verleende voor het ambitieuze plan. Er waren namelijk nogal wat hobbels te nemen, die met de toenmalige stand van technologie eigenlijk onneembaar waren. "Daarbij hebben we ook zeker gekeken naar de uitwijksystemen van de banken, die zijn immers onze collega’s en niet concurrenten."
Te grote afstand
Er zijn twee opties voor datareplicatie: synchroon of asynchroon. De eerste mogelijkheid garandeert dat er geen dataverlies is, maar brengt afstandsbeperkingen en negatieve gevolgen voor het prestatieniveau met zich mee. Uitwijk II zou in deze opzet hoe dan ook een hoge bandbreedte nodig hebben. De tweede mogelijkheid had het risico van dataverlies, maar kende geen afstandsbeperking en ook geen gevolgen voor het prestatieniveau. Bovendien zou er een relatief lage bandbreedte nodig zijn, die gewoon te huren was bij een telecommunicatieleverancier.
"De locaties in Amsterdam-zuidoost en Leusden liggen 55 kilometer uit elkaar. Dat is een te grote afstand voor synchrone replicatie van de gegevens. IBM haalde met zijn technologie toen maximaal veertig kilometer. Dat is nu honderddrie, maar dan wel met doorvoerstations en ‘darkfiber’." De toevoeging van een dergelijk tussenstation voor een backup-systeem maakt het niet alleen duurder, maar vooral kwetsbaarder. Indien het versterkingspunt uitvalt, is er geen backup meer mogelijk.
"Uiteindelijk waren er drie mogelijkheden, waarvan een ‘multihop’-systeem ons het beste leek. Daarbij synchroniseert het centrum naar een tussenstation die dan asynchroon repliceert naar het uitwijkcentrum. Bij ‘synchroon’ heb je geen data- en tijdverlies wanneer je moet uitwijken. De data wordt direct doorgegeven en gecontroleerd. Nadeel is dat je pieken moet aankunnen, en dat scheelt een factor twintig aan bandbreedte vergeleken met asynchroon. Wij wilden dus een combinatie." Deze moest de goede aspecten van deze twee verschillende datavervoerssystemen verenigen.
"EMC bood een dergelijke opzet, maar wij wilden liever met IBM in zee. In de zomer van 2000 is opslagexpert en IBM-wederverkoper E-Storage in beeld gekomen. Zij hebben op basis van technologie die op dat moment nog niet algemeen beschikbaar was in drie maanden tijd een theoretisch systeem ontworpen. (De gebruikte technologie is uiteindelijk op 15 december 2000 uitgekomen, red.) Die theorie hebben ze besproken met een gespecialiseerd IBM-laboratorium in de VS; dat bevestigde de haalbaarheid. Wij wilden wel een ‘proof of concept’; in het IBM-lab te Mainz werden vervolgens de testen gedaan. En het werkte, precies volgens de theorie. Natuurlijk wilden we ook het prestatieniveau testen; ook dat bleek fantastisch. Dat kwam onder andere doordat er nieuwe, snellere ESS-schijven zijn gebruikt." E-Storage liep met het voor Interpay bedachte systeem dus eigenlijk voor op IBM zelf. Interpay is de eerste gebruiker van deze opzet ter wereld.
Het Uitwijk II-ontwerp van E-Storage is vóór de goedkeuring door de raad van commissarissen nog voorgelegd aan opslaganalist Josh Krisher van onderzoeksbureau Gartner. Dit gebeurde op aandringen van enkele grote banken, die een ‘second opinion’ van een onafhankelijke partij wilden. Krisher was zeer te spreken over het nieuwe ontwerp.
Overschakelende stroomvoorziening
"Op 2 januari 2001 werd alle nieuwe hardware naar binnen gereden. Toen hebben we weer een ‘proof of concept’-test gedaan, deze keer in de praktijk. Op zaal, zeg maar, want KPN moest de atm-verbinding tussen de andere locaties nog aanleggen. Ongeveer drie maanden later hadden wij een nieuw, relatief klein co-locatiecentrum ingericht, dus konden we weer een deel verhuizen. Die co-locatie bevindt zich in de computerruimte van een partner van ons. Je hebt tegenwoordig nogal veel ruimte over, servers en mainframes worden immers steeds kleiner. De infrastructuur lag in wezen dus al klaar."
Dat rekencentrum is wel voorzien van volledig gescheiden redundante glasvezelverbindingen en overschakelende stroomvoorziening. Dat laatste is geen overbodige luxe, en heeft zijn dienst reeds bewezen. Op 17 september vorig jaar zorgde een stroomstoring in het reguliere net ervoor dat een deel van Amsterdam-Zuidoost zonder stroom zat. Interpay kon gewoon doordraaien, maar de noodstroom van de partner zelf schakelde niet over waardoor diens systemen uitvielen.
"Vanuit het productiecentrum leggen we de gegevens vast in de co-locatie die drie tot zes kilometer verderop ligt. Ik ga niet vertellen hoever en waar precies, dat is onderdeel van de beveiliging. Vervolgens trekt het uitwijkcentrum via de atm-verbinding de co-locatie asynchroon leeg. Tegelijk worden de gegevens synchroon gekopieerd naar het productiecentrum. Daarvoor liggen er twee kabels met elk 36 aderparen, die waren toen namelijk verkrijgbaar met 12 of 24 aderparen. Van die 36 zijn er nu 27 in gebruik; 26 voor de data en 1 voor beveiliging en dergelijke. We hebben dus extra capaciteit, maar die hebben we voorlopig niet nodig. Dat hebben we getest. De huidige bandbreedte is namelijk 10 Megabyte per seconde, let op: niet Megabit."
"Het was een prachtig project, buitengewoon creatief. Als je daar de juiste mensen bij hebt, is dat heel fijn werken. Dan loop je een paar stappen voorop." In totaal bestond het Uitwijk II-team uit zo’n dertig mensen, afkomstig van Interpay, IBM en E-Storage.
"Het is nu afgerond, maar er is gelukkig nog genoeg te doen. Zo moet je je systemen om de anderhalf jaar vernieuwen." Van Kuijk heeft inmiddels al meerdere presentaties gegeven over de wereldprimeur van Interpay’s backup- en uitwijksysteem, onder meer bij IBM in Mainz, bij enkele Nederlandse banken en ook Europese boekingsinstanties (clearinghouses).
Jasper Bakker
