Een niet goed functionerende switch van het merk 3Com, nu onderdeel van HP, is de oorzaak van de netwerkstoring die afgelopen vrijdag 11 februari het BovenIJ Ziekenhuis in Amsterdam trof. Het duurde even voordat de fout was gevonden. Uiteindelijk bleek de ‘spanning tree’ binnen de switch in de war. De storing leidde ertoe dat het patiëntendossier niet bereikbaar was, maar de servers bleven operationeel. Het probleem dat in de ochtend ontstond, werd pas 's avonds verholpen.
Het BovenIJ Ziekenhuis in Amsterdam werd vrijdag 11 februari getroffen door een storing in het computernetwerk. De storing ontstond 's ochtends rond half negen en heeft er tot tien uur in de avond voor gezorgd dat uitwisseling van elektronische patiëntgegevens binnen het ziekenhuis niet mogelijk was. Het probleem zat in een niet goed functionerende 3Com Superstack switch 4400 . Het opsporen van het probleem, in het netwerkjargon beter bekend als ‘pinpointen', duurde even.
'De switch had last van een ‘spanning tree' die in de war was', aldus Richard van Leeuwen, werkzaam als coördinator infrastructuur bij het BovenIJ Ziekenhuis. Een spanning tree protocol (stp) wordt gebruikt om redundantie van paden in een netwerktopologie te beheersen. Door de niet goed functionerende switch konden werknemers in het ziekenhuis op hun schermen geen informatie meer zien. Van Leeuwen: ‘Het is vergelijkbaar met als je op de snelweg in een file staat: je wilt rijden maar je kan niks. De niet goed functionerende switch is vervangen door een andere switch van 3Com.‘
Rolls-Royce
Bij het oplossen van het netwerkprobleem was er hulp van ict-dienstverlener Burgers Ergon. ‘Die wisten het netwerkprobleem snel op te sporen en te verhelpen', aldus Van Leeuwen. 'Na het netwerkincident gaan we een evaluatie doen, waarbij actiepunten worden uitgezet.'
De storing heeft niet geleid tot gevaarlijke situaties voor patiënten. De Inspectie voor de Gezondheidszorg is ingelicht over deze calamiteit. Het is niet de eerste keer dat er computerstoringen optreden in Nederlandse ziekenhuizen of elektronische patiëntendossiers worden getroffen.
Paul Burger, hoofd ICT van het BovenIJ Ziekenhuis, zegt dat de 3Com netwerkbackbone al jaren na tevredenheid draait. 'De afgelopen twee jaar met een uptime van honder procent.' Volgens Van Leeuwen komen dit soort problemen ook voor bij andere merken switches, dus niet alleen van 3Com. ‘Vergelijk het maar met goede auto's. Een Rolls-Royce gaat ook weleens kapot.'
Als u dermate afhankelijk bent van deze switch, overweeg dan om in redundantie te investeren. De kosten voor deze investering zijn ongetwijfeld lager dan de schade die nu als gevolg van de uitval is veroorzaakt.
Het gebruik van spanning tree suggereert dat er redundantie was, maar door een software-/configuratiefout vond er een storing plaats.
Investering in redundantie is dus niet zozeer belangrijk, wel in de juiste tools om een storing van deze aard snel op te sporen.
Daarnaast vraag ik mij af wat de leeftijd van deze switch is geweest, aangezien deze in 2009 al end-of-sale was.
In deze had redundatie niet geholpen omdat het protocol (STP) wat zorgdraagt voor redundantie in meerdere paden zelf de fout in ging.
Wanneer Ethernet Fabrics en TRILL van de grond komen kunnen dit soort fouten ge-elimineerd worden.
Met een product als HP Openview Network Node Manager (Ja, dat kost wat) Nagios of Solarwinds ORION Network Performance monitor was een storing als deze zeer vlot in beeld en traceerbaar geweest.
In de ziekenhuisautomatisering komen echter nog wel eens situaties voor dat er in de verkeerde zaken geld gepompt wordt, terwijl er onvoldoende in monitoringstools geïnvesteerd wordt. Waar dit gebeurt tref je een coördinatorenwildgroei gecombineerd met te weinig hart voor de corebusiness zorg bij de automatiseringsdiensten.
Wauw, wat een vertrouwen in 3Com, bewonderenswaardig. Wij hebben na veel ellende ons ziekenhuisnetwerk toch echt moeten overzetten naar een ander merk. Achteraf hadden we dat veel eerder moeten doen. Wat een verschil. Ik hoor dezelfde verhalen (ook achteraf natuurlijk) van collega’s. Ik ben nog steeds boos over dat XRN-verhaal dat nooit van de grond is gekomen. En .. onze nieuwe Rolls Royce is toch echt nog nooit zo lang down geweest hoor .. maar ja, hij kost dan ook wel wat, natuurlijk. Ik wens jullie veel wijsheid!