Ict-bedrijf Hallo uit Alkmaar moet van de rechter minimaal een half miljoen euro schadevergoeding betalen aan Blok Group uit Velsen-Noord. Bij de technisch dienstverlener (en Hallo-klant) bleek na een servercrash de backup te ontbreken waardoor de data van het enterprise resource planning (erp)-systeem van ECI vanaf juli 2022 verdwenen zijn. Het bedrijf kon daardoor weken niet goed functioneren.
De Blok Group biedt diensten als machinale bewerkingen, industrieel herstel, onderhoud, assemblage, engineering, prototyping, productie, 3d-printing en projectmanagement. Het bedrijf werkt sinds eind 2017 met IT Support Groep als partner voor het leveren van it-diensten waaronder de dagelijkse backup-controle. Dit bedrijf werd begin 2023 overgenomen door Hallo. Blok Group betaalt jaarlijks ongeveer honderdvijftigduizend euro voor deze diensten.
De technisch dienstverlener gebruikt als erp-systeem Bemet van ECI Solutions. In juni 2022 sloten Blok en Hallo een overeenkomst voor een upgrade van de server waarop Bemet draait, omdat de nieuwe versie van het erp-systeem meer ruimte nodig had. Hallo leverde de nieuwe server, terwijl ECI de migratie uitvoerde.
Crash
Per kwartaal ontving Blok een uitgebreide rapportage van de (onderhouds-)controles. De recentste rapportage dateert van juli 2024, waarbij werd vermeld dat het systeem, waaronder ook de backup- en restore-functies goed functioneerden. Begin oktober lukte het Blok echter niet om toegang tot Bemet te krijgen. Uit een analyse bleek dat meerdere servers waren gecrasht. Hallo verving deze servers, opdat backups daarop waren te plaatsen. Tijdens het herplaatsen werd duidelijk geworden dat er sinds juli 2022 geen backup is gemaakt van de in juni 2022 aangeschafte nieuwe server. De data die door de crash verloren zijn gegaan, waren daardoor niet te herstellen.
Volgens Blok is de bedrijfsvoering en het productieproces hierdoor sinds de crash 2 oktober 2024 stil komen te liggen. Als gevolg hiervan lijdt het bedrijf ernstige schade. Als gevolg van de crash is er geen zicht op de actuele voorraadniveaus en bestellingen, waardoor er een tekort aan voorraden is ontstaan. Hierdoor is de productieplanning verstoord en loopt de supply chain vast.
Geen backupservice
Hallo voert ter verdediging aan dat partijen aanvankelijk overeengekomen zijn dat er van tien van de zestien servers van Blok backups werden gemaakt en dat Blok geen verzoek heeft gedaan om de nieuwe server, waarop het erp-systeem draait, mee te nemen in deze backup-service. Bovendien vindt het it-bedrijf dat de verantwoordelijkheid om ervoor te zorgen dat er backups worden uitgevoerd bij Blok zelf ligt. Het had voor de hand gelegen wanneer Blok dit met ECI (als applicatiebeheerder) voor deze server had geregeld.
Hallo stelt dan ook niet tekortgeschoten te zijn in zijn verplichtingen. Het bedrijf deed echter wel een voorstel voor een minnelijke schikking regeling om ongeveer honderdvijftigduizend euro (eenmaal de jaarlijkse fee, verwijzend naar de ICT-voorwaarden), minus de reeds door Hallo gemaakte kosten. Het bedrijf schakelde bijvoorbeeld Stellar Data Recovery in, gespecialiseerd in data recovery.
Menselijke fout
Blok accepteerde het voorstel niet en stapte naar de rechter. Die heeft het bedrijf uit Velsen-Noord in het gelijk gesteld. Volgens de voorzieningenrechter kan de overeenkomst tussen beide partijen niet anders worden uitgelegd dan dat het maken van backups van de nieuwe server, en de controle op backups, onder de verantwoordelijkheid van Hallo viel. ‘Het is essentieel voor de bedrijfsvoering van Blok dat er voor situaties als na een crash een recente, herplaatsbare backup aanwezig is. Hallo heeft in zijn onderhoudsrapporten elk kwartaal aangegeven dat alle servers en back-ups naar behoren functioneerden. Bovendien werd in de rapporten expliciet aangegeven dat er extra aandacht was besteed aan de nieuwe server, waarop het erp-systeem draaide. Hallo heeft hiermee bij Blok de indruk gewekt dat alles goed geregeld was, waardoor er voor Blok geen reden was nadere maatregelen te treffen. Vast staat dat Hallo bekend is met de bedrijfsvoering van Blok – mede door vele bezoeken van medewerkers van Hallo aan de vestigingen van Blok – en het belang van Blok bij een goed functionerend erp-systeem. Dit systeem is cruciaal voor het functioneren van Blok; bij het uitvallen van dat systeem komt de bedrijfsvoering nagenoeg stil te liggen. De schade is dan enorm. Juist om dat risico te voorkomen heeft Blok Hallo ingeschakeld en fors betaald voor zijn dienstverlening.’, schrijft de rechter.
Dat het mis is gegaan met de backup komt door een menselijke fout, blijkt uit de uitspraak. Na de vervanging van de server is Hallo abusievelijk gedurende een jaar lang backups blijven maken van de oude server die fysiek niet was verwijderd maar niet langer een functie had. De nieuwe server is nooit in de geautomatiseerde backupservice meegenomen.
Bodemprocedure
Volgens de rechter is Hallo ernstig tekort geschoten in zijn verplichtingen. Het bedrijf moet Blok een bedrag van 368.861,73 betalen, plus 5.308 euro voor iedere dag vanaf 25 oktober 2024 tot 19 november 2024 (beide te vermeerderen met de wettelijke rente). Het betreft een voorschot als voorschot op de schadevergoeding die in een nog te starten bodemprocedure moet worden vastgesteld. Dat bedrag kan in de miljoenen lopen.
Hallo heeft nog niet gereageerd op de vraag of het tegen de uitspraak in hoger beroep gaat.
Hele idee van uitbesteden is dat het werk door bedrijven wordt gedaan die er verstand van hebben.
Maar goed, waarvan dan eigenlijk..
LCM begint toch beetje bij server uitzetten als die niet meer wordt gebruikt, dat voorkomt energieverspilling en misverstanden.
En dan het shared responsibility model van, maar dat deden jullie toch ?
Hallo helpt ook met “Integreren van AI”, alleen zelf maken ze backup van verkeerde server 😉
Opmerkelijk want:
“Vast staat dat Hallo bekend is met de bedrijfsvoering van Blok – mede door vele bezoeken van medewerkers van Hallo aan de vestigingen van Blok – en het belang van Blok bij een goed functionerend erp-systeem.”
Met zo’n partner heb je geen ransomware meer nodig.
LCM zal vast een rol spelen maar dan eerder in het knuffelen van legacy-interoperabiliteit dan de vervanging van een server die te klein maar nog niet verouderd is. Want ik vind de naam van de nieuwe server interessant omdat in de naamgeving PDC vaak voor een specifieke rol van de server staat. Want hoewel het ERP systeem belangrijk is voor de bedrijfsvoering lijkt een gezonde werking van de AD mij even belangrijk daarvoor. En het klinkt wel logisch dat na uitval van BMI-PDC-01 op 2 oktober 2024 dit tot een kettingreactie leidde aan falende servers en services de volgende dag door een single point of failure in een keten van afhankelijkheden.
BCM lijkt me dan ook relevanter want redelijkheid en billijkheid aangaande het maken van een back-up als een kernverplichting is door de tijd achterhaald. Want hoewel Hallo overduidelijk gefaald heeft aangaande de RPO valt nog te bezien of de gevolgde BCM strategie een RTO had van minder dan 72 uur. Zo blijkt uit paragraaf 2.6 dat de inrichting van de nieuwe server door ECI gedaan is wat overeenkomt met een geldende definitie voor recovery. Voor juristen, een restore gaat alleen om het terughalen van de data zonder te kijken of je daarmee ook de functionaliteit van een systeem kunt herstellen want bij een systeem crash moet je – zoals blijkt met vervanging van een te kleine server – wat meer doen dan alleen de data terug zetten. Knuffelen van legacy-interoperabiliteit is dus meer te gaan dan het terugzetten van een back-up maar dat is mijn mening.
Wat betreft een periodieke health check waarop vertrouwd wordt kan Blok aansluiten bij Hof van Twente die ook te goed van vertrouwen was want dat de managed B&R services van Hallo op papier er beter uitzagen is geen verrassing. Ik heb zelfs de indruk dat deze meer schade gaf dan resultaat want het lijkt erop dat pas na constatering van meerdere falende servers voor een herstel vanuit de back-up gekozen werd waarna toen pas duidelijk werd dat er helemaal geen back-up was van nieuwe BMI-PDC-01. Een menselijke of administratieve fout valt nog te bezien want rapporteren dat de restore succesvol is maar van de verkeerde server komt door het ontbreken van een sloepenrol. Verplichting hiertoe met NIS2 zal nog wel wat stof doen opwaaien als een voorzieningsrechter een geheel eigen mening hierin heeft.
niet weten wat je op welke hardware heb draaien, lijkt me niet specifiek voor legacy.
En belangrijke applicaties op je primary AD controller draaien was altijd al dom geweest.
Speculeren op basis van naamgeving ook, maar tis gewoon leuk.
Wel lijken al die partijen nog niet toe te zijn gekomen aan de server virtualisatie fase,
die zegmaar zo’n 20 jaar geleden zijn intrede deed.
Bij managed BR services, is het vaak de vraag wie nu wat doet.
Niet dat dat dat moeilijk is, maar even de overeenkomst lezen is dat blijkbaar wel.
Bij shared-responsibility en twijfel weet je dat als er achteraf iets mis ging dat het altijd de verantwoording was van de andere partij en in dit geval kun je er 2 kiezen.
En blijkbaar mag de rechter daar een uitspraak over doen, als het ergens om gaat.
Dan mag die ook bevestigen dat als functionaliteit herstellen er niet toe doet, wat betreft backup,
dan kan je net zo goed binnen een restore kunt doen van een oude op een nieuwe server.
Echt wonderlijk wordt het als als Hallo blijkbaar gewoon backup/restore rapporten uit zn duim zuigt.
en dat het lelijk is geworden blijkt wel uit “Volgens Hallo is het bovendien onmogelijk om in verzuim te geraken, omdat Blok een betalingsachterstand bij Hallo heeft van € 45.000”.
Beetje de Trump oplossing van als je niet snel betaalt, mag Putin je overnemen 🙂
Staat B&R nu voor Back-up & Restore of Back-up & Recovery?
Want naast speculeren op een naamgeving kunnen we ook speculeren op definities. En natuurlijk is Hallo verwijtbaar dat hun rapportages evenveel waard zijn als de certificaten van DigiNotar maar gokken op de back-up terwijl je nooit getest hebt of je daaruit je dienstverlening kunt herstellen klinkt als onbehoorlijk bestuur. Penny wise, pound foolish is het ook vreemd dat de rekening maar deels betaald is terwijl je roept dat de dienstverlening kritisch is. Dat is als het lidmaatschap van de NAVO belangrijk vinden maar er uiteindelijk niet naar handelen. En dan heb ik het nog niets eens over redundantie want met industrie 2.0 worden bedrijven als Blok data gedreven en kwetsbaarder voor verstoringen hoewel dit besef nog even in moet dalen bij menig bestuurder.
Legacy-interoperabiliteit vormt hierin een aanzienlijk risico want de best practices beperken zich niet alleen tot het scheiden van kritische rollen maar gaan ook – indien mogelijk – om het uitfaseren van de onveilige protocollen of deze zoveel mogelijk isoleren. Het knuffelen van legacy voor €150.000 is een koopje als ik kijk naar stijgende beveiligings- en onderhoudskosten maar gezien de betalingsachterstand was dat blijkbaar nog te duur.