Amazon Web Services kampt sinds enkele dagen met een noodsituatie omdat meerdere datacenters in het Midden-Oosten werden getroffen door drone-aanvallen. Het herstel blijkt complexer dan bij een gewone storing en kan nog enkele dagen in beslag nemen vanwege de omvang van de fysieke schade.
Zondagnamiddag Europese tijd meldde AWS op zijn servicestatuspagina dat een faciliteit in de Verenigde Arabische Emiraten was getroffen door ‘objecten’ die vonken en brand veroorzaakten. De brandweer schakelde de stroomvoorziening en generatoren uit om het vuur te blussen, waardoor de connectiviteit volledig wegviel.
Het ging om gerichte drone-aanvallen. In totaal werden drie AWS-faciliteiten geraakt – twee in de Verenigde Arabische Emiraten en één in Bahrein. De aanvallen vonden plaats tijdens militaire aanvallen van de VS en Israël op Iran, gevolgd door Iraanse vergeldingsacties op meerdere Golfstaten. Of hoe datacenters van grote cloudproviders intussen aantrekkelijke doelwitten zijn in tijden van oorlog.
Ter plaatse inspecteren
De drones veroorzaakten structurele schade, verstoorden de stroomvoorziening, en zorgden in sommige gevallen voor waterschade door bluswerkzaamheden. In een update begin deze week waarschuwde AWS dat het herstel minstens een dag zou duren. ‘Het vereist reparatie van faciliteiten, koel- en stroomsystemen, coördinatie met lokale autoriteiten, en zorgvuldige beoordeling om de veiligheid van onze operators te garanderen’, aldus AWS.
Bij een typische storing kan AWS snel overschakelen naar redundante systemen binnen dezelfde availability zone of regio. Maar fysieke schade aan gebouwen, koelsystemen en stroominfrastructuur vereist een fundamenteel andere aanpak. De ingenieurs moeten de faciliteit fysiek ter plaatse inspecteren, reparaties uitvoeren en systemen stap voor stap opnieuw opstarten.
Migratie uit het Midden-Oosten
Volgens de meest recente AWS-status van dinsdagavond Europese tijd is er vooruitgang in het herstel van sommige services. Amazon S3 toont verbetering voor nieuwe data, maar volledige toegang tot bestaande data, en onder meer hun DynamoDB-databanktoepassing, blijft afhankelijk van infrastructuurherstel.
AWS riep klanten op om hun noodherstelplannen te activeren en data te herstellen vanuit externe back-ups in andere AWS-regio’s. Het bedrijf adviseerde om workloads ‘nu te migreren’ naar alternatieve AWS-faciliteiten wereldwijd, gezien ‘de onvoorspelbare operationele omgeving in het Midden-Oosten.’
Dit laatste is een opmerkelijke boodschap. Normaliter belooft AWS hoge beschikbaarheid binnen een regio, maar nu erkent het bedrijf openlijk dat de situatie dusdanig instabiel is dat klanten beter hun workloads elders kunnen draaien. AWS beveelt regio’s aan in de Verenigde Staten, Europa of Azië-Pacific, afhankelijk van latentie- en data-residency-vereisten.
