Een onafhankelijke partij gaat onderzoek doen naar de storing in de ict-systemen van Prorail. Door die storing lag maandag 2 februari 2015 het treinverkeer rond Utrecht plat. Uit een voorlopige conclusie van de spoorwegbeheerder blijkt dat de oorzaak ligt in een stroomstoring in het rekencentrum van BT in Nieuwegein en een overbelaste back-up server.
Een woordvoerder van Prorail licht toe: ‘Het onderzoek zal zich richten op de oorzaak van de schade die in de hardware is gevonden en de mogelijke oorzaak van de kortstondige uitval van een deel van het systeem. Daarbij zal ook het voedingsconcept zoals ProRail dat heeft laten inrichten opnieuw worden beoordeeld. Dit gebeurt op basis van deskundigheid in dit deelgebied. Hoe lang het onderzoek gaat duren is nu nog niet bekend.’ Prorail moet nog een externe partij kiezen die het onderzoek leidt.
In een uitgebreide reconstructie beschrijft de spoorwegbeheerder waardoor de ict haperde. In het datacenter waar de computersystemen en netwerken voor de treinbesturing rond Utrecht zich bevinden, het rekencentrum British Telecom (BT) in Nieuwegein, vonden zondag 1 februari werkzaamheden plaats aan de stroomvoorziening. Prorail was vooraf op de hoogte gesteld van die werkzaamheden aan één van de drie stroomvoorzieningskanalen.
‘We hebben in samenwerking met BT vooraf risicomaatregelen genomen. De aanpassing aan het ene stroomvoorzieningskanaal is afgelopen zondag zonder problemen verlopen. We werden zondag echter wel geconfronteerd met een kortstondige uitval van de systemen. Deze systemen zijn verbonden aan één van de twee stroomvoorzieningskanalen, waar niet aan is gewerkt. De systemen functioneerden na de kortstondige uitval weer normaal. Wij zijn de enige gebruiker van het stroomvoedingskanaal waar de kortstondige uitval plaatsvond. Daarom hebben andere gebruikers van het rekencentrum geen hinder ondervonden’, aldus Prorail.
Overbelaste back-up
Maandagochtend 2 februari 2015 viel rond 08.00 uur onverwacht één van de computersystemen van verkeersleidingpost Utrecht uit. Prorail: ‘Dit betrof een computer die verbonden was met het systeem dat zondag kortstondig is uitgevallen. Het systeem schakelde vervolgens over naar het back-upsysteem, dat het werk overnam. Door de overschakeling naar de back-up ontstond, naar nu blijkt, een te zware belasting op het systeem waar de data van het treinverkeersysteem wordt opgeslagen: de dataserver (Storage Area Network). Hierdoor werd het systeem traag.’
Volgens de spoorwegbeheerder trad een onwerkbare situatie op voor de treinverkeersleiders. Zij konden de seinen en wissels buiten niet goed bedienen. ‘Er is toen besloten om een aantal werkplekken van treindienstleiders uit te schakelen. Hierdoor kreeg het totale systeem ‘lucht’ en kon de treindienst rond 12:30 uur beperkt worden opgestart.’
Uitval
De eerste conclusie die de spoorbeheerder trekt is dat ‘het totale systeem inclusief de redundantie (de back-up systemen) in het weekend een ‘tik’ hebben gekregen vanwege kortstondige uitval, die zeer waarschijnlijk ontstond door een verstoring in de stroomvoorziening’. Verder onderzoek moet uitwijzen of de voorzieningen waarover Prorail beschikt de impact van stroomwisselingen en storingen kunnen voorkomen. Prorail: ‘Wat we nu weten is dat defecten zijn veroorzaakt in de hardware van zowel de dataserver (storage area network) als de redundante computers. Wat we nog niet begrijpen is: wat er met de derde stroomtoevoer in het weekend is gebeurd? En hoe dat tot verschillende defecten in het systeem heeft kunnen leiden? Wat we wel weten, is dat onze redundante systemen hebben gewerkt. Vanaf 8.15 uur is met de redundante systemen gewerkt op de verkeersleidingpost Utrecht. Alleen werkten deze systemen door de defecten vertraagd. Pas toen we werkplekken hebben uitgezet en het systeem lucht hebben gegeven, kon de treindienst opgestart worden.’
Afhankelijk van ICT
Prorail benadrukt dat het alles doet om grote storingen in de toekomst te voorkomen, maar benadrukt dat de afhankelijkheid van ict steeds groter wordt. ‘Storingen grijpen in op het dagelijks leven van grote groepen mensen. Dat geldt ook voor het treinverkeer. Mede dankzij de hoge automatiseringsgraad kunnen we in Nederland een treinsysteem exploiteren met een hoge benutting, hoge punctualiteit tegen relatief lage kosten. Echter de kwetsbaarheid als gevolg van ict-storingen neemt toe.’ Prorail zegt zich tot het uiterste in te spannen om storingen te voorkomen en als ze plaatsvinden snel op te lossen.
Ict-investering
Prorail heeft sinds 2007 al haar verkeersleidingsystemen vernieuwd. Er is volgens de spoorwegbeheerder meer dan honderd miljoen euro geïnvesteerd in het verbeteren van de verkeersleidingsystemen, zoals dubbele computersystemen en -netwerken en het upgraden van rekencentra. ‘Deze investeringen hebben geleid tot een reductie van meer dan 80 procent van ict-gerelateerde storingen in de treindienst: 380 in 2007 tegen vijftig in 2014. Deze storingen variëren van een kapot computerscherm op de post, met één vertraagde trein tot gevolg, tot een grote storing in de systemen met veel hinder voor reizigers, zoals maandag 2 februari 2015’, aldus Prorail.
Na een brand in de Utrechtse verkeersleidingpost in 2010 is een uitwijkmogelijkheid bij grote calamiteiten voor verkeersleidingposten gerealiseerd. In zo’n situatie kan deze uitwijk het werk binnen vier uur overnemen. De uitwijk staat in het Operationeel Controlecentrum Rail (OCCR). Hier is een uitwijk computercentrum en uitwijk seinzaal ingericht.
De voorzieningen in het BT-rekencentrum zijn allemaal dubbel uitgevoerd, zoals voeding en airconditioning, en is Tier3 gecetificeerd.
Excuses
Reizigers hebben op maandag 2 februari 2015 flinke hinder gehad van de storing bij de verkeersleidingspost van Utrecht Centraal. Door de storing konden de seinen en wissels niet bediend worden. Tot omstreeks 13.00 uur was er geen treinverkeer van en naar Utrecht mogelijk. Rond 21.00 uur reden treinen weer volgens dedienstregeling. Prorail heeft treinreizigers van NS en van andere vervoerders in een video-boodschap excuses aangeboden voor de storing.
“We werden zondag echter wel geconfronteerd met een kortstondige uitval van de systemen. Deze systemen zijn verbonden aan één van de twee stroomvoorzieningskanalen, waar niet aan is gewerkt. De systemen functioneerden na de kortstondige uitval weer normaal. Wij zijn de enige gebruiker van het stroomvoedingskanaal waar de kortstondige uitval plaatsvond. Daarom hebben andere gebruikers van het rekencentrum geen hinder ondervonden’, aldus Prorail.”
Dus. Zondag ging bij werkzaamheden een systeem plat dat niet plat kon gaan omdat er niet aan de stroom werd gewerkt. Dat gebeurde toch en toen hebben we niet onderzocht waarom iets plat ging dat theoretisch niet plat kon gaan. Op maandag zijn we dus lekker de rest gaan doen.
En hoezo zijn ze verbonden aan 1 van de 2.
Daar kan een nieuwe redundancy officer ingehuurd worden.
@peter He’s been made redundant ..
Grappig. Eerst gaan dingen fout die niet fout kunnen gaan maar toch fout gaan. En dan huur je een ” onafhankelijk ” bedrijf in om te onderzoeken waarom er dingen fout zijn gegaan die niet fout kunnen gaan maar toch fout zijn gegaan. En dat ” onafhankelijke ” bedrijf wordt dan betaald door ……. ???? Prorail.
Echt onafhankelijk onderzoek zou moeten worden uitgevoerd vanuit een instantie als de Ombudsman. Voor kosten en rekening van diezelfde organisatie. En dan het rapport dat wordt opgeleverd integraal publiceren. Want die rapporten en onderzoeken van NS en Prorail, die kennen we nog van de vorige keer.
Als ik het mij goed herinner hebben ze een paar jaar geleden een nieuw verkeersleidingcentrum gebouwd, waarbij ze de hele noodstroom voorziening waren vergeten. Kan gebeuren nietwaar?
Naast bladeren op de rails, vierkante wielen, bevroren wissels heeft Prorail een nieuw excuus gevonden, de afhankelijkheid van ICT en de impact van een storing op het ICT systeem..Ik neem toch aan dat je alle maatregelen neemt om je dienstverlening waar te maken, niet alleen technisch maar ook procedureel. Jammer dit.