Het Universitair Medisch Centrum Groningen (UMCG) heeft vanaf vrijdagmiddag het hele ict-netwerk platgelegd om te kunnen onderzoeken waarom de infrastructuur instabiel is. Woensdag 3 maart 2010 ontstond een hardwareprobleem dat enkele belangrijke medische en administratieve systemen instabiel maakte. Dat vertelt een woordvoerster van de instelling. De belangrijkste processen lopen voorlopig handmatig, waardoor patiënten geen last ondervinden.
'De afgelopen anderhalve dag was mondjesmaat verbetering zichtbaar. Het leek erop dat alles een beetje stabieler werd', aldus de woordvoerster. Omdat hiermee het probleem niet was opgelost, is besloten het hele netwerk plat te leggen.
De voorlichtster weet niet welke hardware de storing veroorzaakte, maar wel welke systemen erdoor getroffen zijn. Het gaat om uiteenlopende systemen die het ziekenhuis gebruikt, zoals voor de automatische verwerking van röntgenfoto's en ct-scans en de koppeling daarvan aan de patiëntgegevens, het elektronisch patiëntendossier en het facturatiesysteem. Ook de systemen voor elektronische recepten en voor laboratoriumaanvragen zijn door de storing getroffen.
Handmatig
Als tijdelijke oplossing heeft het UMCG besloten om de belangrijkste processen handmatig en/of op papier te verwerken. Zo worden de röntgenfoto's tijdelijk niet op het beeldscherm maar aan de lichtbak bekeken. De voorlichtster vreest dat dit veel werk oplevert zodra de systemen weer draaien: 'Alles wat nu handmatig wordt gedaan, moeten we uiteindelijk in de systemen inkloppen.'
De woordvoerster vertelt dat bijna alle ict'ers van het ziekenhuis zijn ingeschakeld om de oorzaak van de storing te achterhalen, de systemen te herstellen en in de gaten te houden. Ze schat dat het er zo'n honderd tot honderdvijftig zijn. Er zijn 24 uur per dag ict'ers aan het werk.
Om toch even kritisch te kijken…. Er staat niet bij hoe het nu handmatig functioneert. Misschien kan men in het ziekenhuis nu niet in dezelfde mate performen. En misschien zijn bepaalde zaken die nu niet noodzakelijk zijn onmogelijk geworden en kunnen deze in de toekomst wel noodzakelijk worden. Maar goed, al knap dat ze het meest noodzakelijke up and running weten te houden. Ik ken organisaties die daar nog van kunnen/moeten leren.
@Constant Ik deel deze verbazing en zorgen volledig met je. Of we het nu willen of niet, ziekenhuizen worden steeds afhankelijker van ICT voor het kunnen leveren van goede zorg. Het UMCG heeft haar zaken wat betreft ICT niet op orde. Insiders weten ook heel goed wat voor gevaarlijke situaties dit oplevert voor de patiënt en zoals gewoonlijk hoor je hier niets over.
Gelukkig staan de meeste ziekenhuizen tegenwoordig open voor ASP of SAAS systemen voor hun ‘secundaire’ processen. Hiermee wordt de ontwikkeling, het beheer en de hosting van de software bij externe specialisten belegd wat het risico op algemene systeemuitval aanzienlijk reduceert.
Als patient van het UMCG heb ik mij als IT-er altijd zeer verbaasd (en opgewonden) dat alle gegevens die digitaal vastliggen bij een volgende discipline geen enkele rol spelen en vervolgens alles weer opnieuw wordt gevraagd en vastgelegd. Geïntegreerde processen kennen ze m.i. niet of nauwelijks. De Cruijff gemeenplaats “ieder nadeel heeft zijn voordeel” gaat nu zeker op.
“dat enkele belangrijke medische en administratieve systemen instabiel maakte”
Als het hardware is moet het toch met een nieuw apparaat op te lossen zijn ?
Of maakt men gebruik van virtualisatie, wat ineens een SPOF blijkt te zijn voor meerdere systemen tegelijk ?
Bijv. VMware ESX 4.0 met Update1, zonder de updates die daarna kwamen ? (>> disconnected storage veroorzaakt instabiel netwerk)
@Constant
Inderdaad. Ik vermoed ook dat er op architectuurvlak weleens wat hiaten zouden kunnen bestaan. De kern van een netwerk in een bedrijfskritische omgeving dient hoe dan ook HA (soms zelfs triple-HA) te worden uitgevoerd.
Tegenwoordig is het erg eenvoudig (en ook gebruikelijk) om die redundantie door te trekken naar distri- en access lagen, welke steeds vaker geintegreerd zijn. Als daar het probleem niet zit kan ook nog gedacht worden aan onvoldoende inzicht in de verkeersstromen. Zijn de afhankelijkheden tussen onderliggende systemen goed in kaart gebracht? Zo ja, tot op welk niveau?
Ik begin als de spreekwoordelijke stuurman te klinken, maar een ding weet ik wel zeker: als je met zoveel mensen al zolang aan het troubleshooten bent, dan is er sprake van *en* een expertiseprobleem *en* een “ontwerpfoutje”.
Het is jammer, dat in uw berichtgeving over personeelsafvloeiing in de ICT dienstenbranche nergens het waarom wordt benaderd waar het gaat om het verschijnsel, dat 80% daarvan in Nederland plaatsvindt.
Is het raden daarvan wellicht TE voor de hand liggend ?
Het is opgelost.
Wat is er fout gegaan?
@ICT-er
Dan ben ik wel erg benieuwd wat het probleem nu was..