Ziekenhuis legt ICT-netwerk plat na storing

05-03-2010 16:57 | Door Diederik Toet | Lees meer artikelen over: EPD | Er zijn 27 reacties op dit artikel | Permalink

Onder andere ct-scans kan het UMCG tijdelijk niet automatisch verwerken.

Het Universitair Medisch Centrum Groningen (UMCG) heeft vanaf vrijdagmiddag het hele ict-netwerk platgelegd om te kunnen onderzoeken waarom de infrastructuur instabiel is. Woensdag 3 maart 2010 ontstond een hardwareprobleem dat enkele belangrijke medische en administratieve systemen instabiel maakte. Dat vertelt een woordvoerster van de instelling. De belangrijkste processen lopen voorlopig handmatig, waardoor patiënten geen last ondervinden.

'De afgelopen anderhalve dag was mondjesmaat verbetering zichtbaar. Het leek erop dat alles een beetje stabieler werd', aldus de woordvoerster. Omdat hiermee het probleem niet was opgelost, is besloten het hele netwerk plat te leggen.

De voorlichtster weet niet welke hardware de storing veroorzaakte, maar wel welke systemen erdoor getroffen zijn. Het gaat om uiteenlopende systemen die het ziekenhuis gebruikt, zoals voor de automatische verwerking van röntgenfoto's en ct-scans en de koppeling daarvan aan de patiëntgegevens, het elektronisch patiëntendossier en het facturatiesysteem. Ook de systemen voor elektronische recepten en voor laboratoriumaanvragen zijn door de storing getroffen.

Handmatig

Als tijdelijke oplossing heeft het UMCG besloten om de belangrijkste processen handmatig en/of op papier te verwerken. Zo worden de röntgenfoto's tijdelijk niet op het beeldscherm maar aan de lichtbak bekeken. De voorlichtster vreest dat dit veel werk oplevert zodra de systemen weer draaien: 'Alles wat nu handmatig wordt gedaan, moeten we uiteindelijk in de systemen inkloppen.'

De woordvoerster vertelt dat bijna alle ict'ers van het ziekenhuis zijn ingeschakeld om de oorzaak van de storing te achterhalen, de systemen te herstellen en in de gaten te houden. Ze schat dat het er zo'n honderd tot honderdvijftig zijn. Er zijn 24 uur per dag ict'ers aan het werk.

Stefan de Konink, 06-03-2010 1:49

Geweldig dat dit kan! (Ik meen dit serieus.) Dit ziekenhuis is dus instaat om zonder enig probleem ook gewoon op de analoge manier te werken, en hun bedrijfsprocessen in gang te houden. Mocht daar ooit nog een keer de pleuris uitbreken weet men dat het ziekenhuis gewoon kan doordraaien.

Dit zou in veel organisaties gewoon eens preventief geoefend moeten worden.

Peter Ambagtsheer, 06-03-2010 8:47

Elk ziekenhuis zou hier op voorbereid moeten zijn en niet alleen om infrastructuur knelpunten. Terugvallen op niet-gedigitaliseerde processen is het ultieme 'plan B'; als al het andere niet meer lukt. Zie de case study.

http://hbr.org/product/when-hackers-turn-to-blackmail-hbr-case-study/an/R0910X-PDF-ENG

Jan, 06-03-2010 12:05

Dit zou ieder jaar een week gedaan moeten worden als een soort stress-test. Het organiseren van de test kan betaalt worden door de woordvoerder op non-actief te stellen. Persberichten voorlezen is een overbodige activiteit voor een ziekenhuis.

PaVaKe, 07-03-2010 13:56

Een beetje dubbel gevoel bij dit artikel.
Het ziekenhuis laat inderdaad zien dat ze ook met pen en papier de zaak nog draaiende kunnen houden. Voor de belangrijkste processen is dit inderdaad zeer belangrijk; daarvoor dan ook alle lof.

Maar als je allerlei röntgen, CT en MRI scans af moet gaan zeggen omdat je, door een ICT storing, je gegevens niet op kunt slaan en verwerken, dan wordt het toch vrij lastig je zaak draaiende te houden.

Peter Ambagtsheer, 08-03-2010 9:12

@PaVeKe:

Ik kan mij je "dubbele gevoel" wel voorstellen. Terugvallen op een lager niveau van ICT ondersteuning gebeurt ook niet voor de lol, maar heeft ten doel om datgene wat nog wel aan zorg te leveren is, enigszins georganiseerd te doen. Dan is er van de situatie -vervelend als die is- in elk geval het beste te maken. Of een MRI scan dan onmogelijk wordt weet ik niet (kan die niet los van een netwerk opereren?) maar er is ook nog heel veel [zelfs levensreddende] zorg mogelijk en vereist, zelfs zonder netwerk en imaging instrumenten.

PaVaKe, 08-03-2010 9:38

@Peter

MRI scans etc. kunnen wel zelfstandig uitgevoerd worden, maar de gegevens kunnen alleen lokaal bekeken worden.
Daarnaast zal de opslag van de scanner vol lopen als de gegevens niet doorgestuurd kunnen worden naar een centraal opslagsysteem.

Maar waar ik eigenlijk op doel is de commerciele kant van het ziekenhuis. Als je een aantal (niet levensbedreigende) ingrepen \ diagnoses niet uit kunt voeren doordat het netwerk niet beschikbaar is, dan kan dit een aardige aanslag zijn op de inkomsten.

Erwin Drent, 08-03-2010 12:44

Doet me denken aan de begin dagen van elektrische netwerken, toen had men ook mensen in dienst om het elektrische netwerk in de lucht te houden. (dat was toch complex)

JaapG, 08-03-2010 12:46

Ik ken het ziekenhuis maar al te goed. Ben er vaak regelmatig als patient geweest (woon nu in andere regio). Inderdaad heeft men alle processen gedigitaliseerd, gewoon om zo sneller en doelmatiger te kunnen werken. Ook ik ben vol lof over het feit dat men ook zonder ICT dit immense ziekenhuis in bedrijf kan houden. Ik vraag me af hoe dat in de rest van Nederland gaat.

Constant, 08-03-2010 12:54

Waar ik me het meeste over verbaas en zorgen maak is dat men in 5 dagen van 24 uur met 100 tot 150 mensen geen oorzaak kan vinden.

mrC, 08-03-2010 13:01

Het ziekenhuis waar ik voor werk is ook in staat om op papier ipv elektronisch verder te werken. Alleen elektronisch geeft betere communicatie.

CK, 08-03-2010 13:03

Om toch even kritisch te kijken.... Er staat niet bij hoe het nu handmatig functioneert. Misschien kan men in het ziekenhuis nu niet in dezelfde mate performen. En misschien zijn bepaalde zaken die nu niet noodzakelijk zijn onmogelijk geworden en kunnen deze in de toekomst wel noodzakelijk worden. Maar goed, al knap dat ze het meest noodzakelijke up and running weten te houden. Ik ken organisaties die daar nog van kunnen/moeten leren.

Quasso, 08-03-2010 13:11

@Constant Ik deel deze verbazing en zorgen volledig met je. Of we het nu willen of niet, ziekenhuizen worden steeds afhankelijker van ICT voor het kunnen leveren van goede zorg. Het UMCG heeft haar zaken wat betreft ICT niet op orde. Insiders weten ook heel goed wat voor gevaarlijke situaties dit oplevert voor de patiënt en zoals gewoonlijk hoor je hier niets over.

ivo, 08-03-2010 13:18

"dat enkele belangrijke medische en administratieve systemen instabiel maakte"

Als het hardware is moet het toch met een nieuw apparaat op te lossen zijn ?
Of maakt men gebruik van virtualisatie, wat ineens een SPOF blijkt te zijn voor meerdere systemen tegelijk ?
Bijv. VMware ESX 4.0 met Update1, zonder de updates die daarna kwamen ? (>> disconnected storage veroorzaakt instabiel netwerk)

Patient, 08-03-2010 13:18

Als patient van het UMCG heb ik mij als IT-er altijd zeer verbaasd (en opgewonden) dat alle gegevens die digitaal vastliggen bij een volgende discipline geen enkele rol spelen en vervolgens alles weer opnieuw wordt gevraagd en vastgelegd. Geïntegreerde processen kennen ze m.i. niet of nauwelijks. De Cruijff gemeenplaats "ieder nadeel heeft zijn voordeel" gaat nu zeker op.

Erwin Witte, 08-03-2010 13:18

Gelukkig staan de meeste ziekenhuizen tegenwoordig open voor ASP of SAAS systemen voor hun 'secundaire' processen. Hiermee wordt de ontwikkeling, het beheer en de hosting van de software bij externe specialisten belegd wat het risico op algemene systeemuitval aanzienlijk reduceert.

Jelle344, 08-03-2010 13:50

@Constant

Inderdaad. Ik vermoed ook dat er op architectuurvlak weleens wat hiaten zouden kunnen bestaan. De kern van een netwerk in een bedrijfskritische omgeving dient hoe dan ook HA (soms zelfs triple-HA) te worden uitgevoerd.

Tegenwoordig is het erg eenvoudig (en ook gebruikelijk) om die redundantie door te trekken naar distri- en access lagen, welke steeds vaker geintegreerd zijn. Als daar het probleem niet zit kan ook nog gedacht worden aan onvoldoende inzicht in de verkeersstromen. Zijn de afhankelijkheden tussen onderliggende systemen goed in kaart gebracht? Zo ja, tot op welk niveau?

Ik begin als de spreekwoordelijke stuurman te klinken, maar een ding weet ik wel zeker: als je met zoveel mensen al zolang aan het troubleshooten bent, dan is er sprake van *en* een expertiseprobleem *en* een "ontwerpfoutje".

Toon Meijlink, 08-03-2010 14:11

Het is jammer, dat in uw berichtgeving over personeelsafvloeiing in de ICT dienstenbranche nergens het waarom wordt benaderd waar het gaat om het verschijnsel, dat 80% daarvan in Nederland plaatsvindt.
Is het raden daarvan wellicht TE voor de hand liggend ?

ICT-er, 08-03-2010 21:37

Het is opgelost.

Quasso, 08-03-2010 23:53

Wat is er fout gegaan?

Healthcare ICT-er, 09-03-2010 11:35

@ICT-er

Dan ben ik wel erg benieuwd wat het probleem nu was..

Mark Peter, 09-03-2010 11:42

@Constant: Jij zei: "
Waar ik me het meeste over verbaas en zorgen maak is dat men in 5 dagen van 24 uur met 100 tot 150 mensen geen oorzaak kan vinden."

Heb je die artikelen van de vtsPN laatst niet gelezen, dat is veel erger, en gevaarlijker:
minimaal 250 man, 24 uur per dag, minimaal 45 dagen lang.

ivo, 09-03-2010 13:22

Ik ben toch echt zeeer benieuwd wat nu het probleem was en hoe het opgelost is...

ICT-er, 09-03-2010 18:12

Eerst is gekeken of de belangrijkste servers, verbindingen, databases en applicaties werkten. Dat zijn er veel. Daarbij zijn specifieke vertragingen / time-outs gevonden. Dat was lastig om te doorgronden, want het gaat om heel veel bitjes van veel naar heel computers. Toen is bijna alles uitgezet en e.e.a. opnieuw gestart. Voila, de bottleneck bleek een centrale switch. De failover deed het niet.

Nu moet nog van alles alsnog ingevoerd en ingescand worden.

jokke, 10-03-2010 17:57

Ik ben het eens met Mark-Peter.
In een ziekenhuis moeten systemen (zowel servers als netwerk-componenten) in een "hot-standby" manier werken, dwz: automatic-switch-over. Als dat niet het geval was moet de It-manager op staande voet ontslagen worden... 5 dagen? Dat is hier toch geen joke of zo???

Erik Scheffers, 11-03-2010 11:05

Dit is een mooi voorbeeld van een aanwijsbare storing, echter gaat er door deze voorvallen een hoop tijd verloren. Eens in de zoveel tijd komen deze gebeurtenissen aan het licht waarop direct actie moet worden ondernomen. Dit geldt behalve voor computer hardware systemen ook voor blussystemen waarvan men het probleem bij een brand in een ICT-ruimte onderschat. Mvg, Smart Fire Systems.

DURABILIT, 15-03-2010 14:32

Het is interessant om te weten welke service level agreement het Universitair Medisch Centrum Groningen heeft afgesloten. Aangezien organisaties veel geld betalen voor service, mag men dan ook wat verwachten. Vaak weten organisaties niet eens wat ze precies krijgen / kunnnen verwachten voor het vele geld dat ze spenderen aan een service contract. In de praktijk blijkt wat dat betreft dat het rationaliseren van het service aspect een groot goed blijft. Kortom, logisch nadenken.

UMC, 30-03-2010 12:01

@ICT-er
De bottleneck bleek een centrale switch.
Netwerk switch?

Nieuws

Ziekenhuis legt ICT-netwerk plat na storing

Handmatig

03-02 'Overheid vreest voor veiligheid in de cloud'

01-02 F5 beschermt openbare websites

31-01 Publieksvoorlichting is belangrijke taak voor NCSC

30-01 Avans beschermt netwerk met nieuwe firewalls

30-01 Symantec raadt gebruik pcAnywhere even af

30-01 13 besmette apps ontdekt in Android Marketplace

30-01 Wennen aan cybercrime kost tijd

27-01 NCSC wijst Logius op lek in DigiD-server

27-01 T24 IP-video toegangsoplossing

27-01 CA Technologies haalt security uit de schaduw

12-08-11 Afsluitende core switches legden UMCG plat

11-08-11 Computernetwerk UMCG crasht opnieuw

15-02-11 3Com-switch veroorzaakte storing BovenIJ

10-03-10 ICT Gronings ziekenhuis synchroniseerde niet

09-03-10 Gronings ziekenhuis lost computerstoring op

03-02 Facebook steekt Google naar beurskroon

03-02 Clouddiensten Dell en Atos voor Wolters Kluwer

03-02 IntraData en Centric breiden samenwerking uit

03-02 SAN-storage is het fundament van je ICT

03-02 'Overheid vreest voor veiligheid in de cloud'

03-02 Learningguide Solutions wijzigt naam in Ontuitive

03-02 Siemens PLM Software introduceert Jack 7.1

03-02 BAM helpt SOR met unified communications

03-02 Apple eist alsnog Samsung Galaxy-verbod

03-02 Unit4 regelt herfinanciering van 150 miljoen euro

31-01 Ernst & Young: Crisis wordt nu écht voelbaar

01-02 Centric nieuw in top drie ICT-dienstverleners

27-01 KPN ontlast ICT-beheer met snoepmachine

02-02 Rijk snijdt in aantal dienstverleners datacentra

01-02 Ecabo waarschuwt voor misleidend vacaturebeeld

01-02 Imtech ICT hoort bij tien grootste dienstverleners

27-01 NCSC wijst Logius op lek in DigiD-server

03-02 HDD-fabrikanten schroeven massaal garantie terug

03-02 Inhoudelijk een goed artikel, maar ik wil even...

03-02 De keuze voor services vanaf servers bij...

03-02 Welke leveranciers schroeven de garantie omlaag...

03-02 Duw in de rug voor Backup & Recovery fabrikanten...

03-02 Reza, Storage is inderdaad het fundament van...

03-02 Hallo Petra, Gefeliciteerd met je artikel! Erg...

03-02 Veiligheid en privacy zijn twee verschillende...

03-02 Die andere zus, die ook in de gemeenteraad zit,...