Het Universitair Medisch Centrum Groningen (UMCG) heeft vanaf vrijdagmiddag het hele ict-netwerk platgelegd om te kunnen onderzoeken waarom de infrastructuur instabiel is. Woensdag 3 maart 2010 ontstond een hardwareprobleem dat enkele belangrijke medische en administratieve systemen instabiel maakte. Dat vertelt een woordvoerster van de instelling. De belangrijkste processen lopen voorlopig handmatig, waardoor patiënten geen last ondervinden.
'De afgelopen anderhalve dag was mondjesmaat verbetering zichtbaar. Het leek erop dat alles een beetje stabieler werd', aldus de woordvoerster. Omdat hiermee het probleem niet was opgelost, is besloten het hele netwerk plat te leggen.
De voorlichtster weet niet welke hardware de storing veroorzaakte, maar wel welke systemen erdoor getroffen zijn. Het gaat om uiteenlopende systemen die het ziekenhuis gebruikt, zoals voor de automatische verwerking van röntgenfoto's en ct-scans en de koppeling daarvan aan de patiëntgegevens, het elektronisch patiëntendossier en het facturatiesysteem. Ook de systemen voor elektronische recepten en voor laboratoriumaanvragen zijn door de storing getroffen.
Handmatig
Als tijdelijke oplossing heeft het UMCG besloten om de belangrijkste processen handmatig en/of op papier te verwerken. Zo worden de röntgenfoto's tijdelijk niet op het beeldscherm maar aan de lichtbak bekeken. De voorlichtster vreest dat dit veel werk oplevert zodra de systemen weer draaien: 'Alles wat nu handmatig wordt gedaan, moeten we uiteindelijk in de systemen inkloppen.'
De woordvoerster vertelt dat bijna alle ict'ers van het ziekenhuis zijn ingeschakeld om de oorzaak van de storing te achterhalen, de systemen te herstellen en in de gaten te houden. Ze schat dat het er zo'n honderd tot honderdvijftig zijn. Er zijn 24 uur per dag ict'ers aan het werk.
@Constant: Jij zei: ”
Waar ik me het meeste over verbaas en zorgen maak is dat men in 5 dagen van 24 uur met 100 tot 150 mensen geen oorzaak kan vinden.”
Heb je die artikelen van de vtsPN laatst niet gelezen, dat is veel erger, en gevaarlijker:
minimaal 250 man, 24 uur per dag, minimaal 45 dagen lang.
Ik ben toch echt zeeer benieuwd wat nu het probleem was en hoe het opgelost is…
Eerst is gekeken of de belangrijkste servers, verbindingen, databases en applicaties werkten. Dat zijn er veel. Daarbij zijn specifieke vertragingen / time-outs gevonden. Dat was lastig om te doorgronden, want het gaat om heel veel bitjes van veel naar heel computers. Toen is bijna alles uitgezet en e.e.a. opnieuw gestart. Voila, de bottleneck bleek een centrale switch. De failover deed het niet.
Nu moet nog van alles alsnog ingevoerd en ingescand worden.
Ik ben het eens met Mark-Peter.
In een ziekenhuis moeten systemen (zowel servers als netwerk-componenten) in een “hot-standby” manier werken, dwz: automatic-switch-over. Als dat niet het geval was moet de It-manager op staande voet ontslagen worden… 5 dagen? Dat is hier toch geen joke of zo???
Dit is een mooi voorbeeld van een aanwijsbare storing, echter gaat er door deze voorvallen een hoop tijd verloren. Eens in de zoveel tijd komen deze gebeurtenissen aan het licht waarop direct actie moet worden ondernomen. Dit geldt behalve voor computer hardware systemen ook voor blussystemen waarvan men het probleem bij een brand in een ICT-ruimte onderschat. Mvg, Smart Fire Systems.
Het is interessant om te weten welke service level agreement het Universitair Medisch Centrum Groningen heeft afgesloten. Aangezien organisaties veel geld betalen voor service, mag men dan ook wat verwachten. Vaak weten organisaties niet eens wat ze precies krijgen / kunnnen verwachten voor het vele geld dat ze spenderen aan een service contract. In de praktijk blijkt wat dat betreft dat het rationaliseren van het service aspect een groot goed blijft. Kortom, logisch nadenken.
@ICT-er
De bottleneck bleek een centrale switch.
Netwerk switch?