AT&T heeft zich sinds 1991 gespecialiseerd in 'network disaster recovery' op internationale schaal. De hersteldienstverlening bij netwerkcalamiteiten is allereerst bedoeld voor de eigen bedrijfsvoering en reguliere klanten. Daarnaast ondersteunt AT&T hulporganisaties met tijdelijke netwerkvoorzieningen in crisissituaties, zoals Télécoms Sans Frontières en de International Telecommunication Union.
Binnen 48 uur nadat AT&T in Groot-Brittannië het startsein gaf voor de rampenoefening stond kortgeleden bij de RAI in Amsterdam een volledig draaiend netwerkcentrum klaar voor gebruik. Drie of vier keer per jaar vinden er op verschillende plekken wereldwijd van dit soort ‘network disaster recovery’-oefeningen plaats. Tijdens zo’n oefening wordt een op Mpls-gebaseerde ‘point of presence’ (pop) ingericht en getest, op basis van de binnen AT&T daarvoor geldende ontwerpprincipes. Deze pop moet een node in het wereldwijde netwerk van AT&T kunnen vervangen, mocht die uitvallen.
Tandartssetje
Op het terrein bij de RAI staan een paar grote trailers doe-het-zelf-containers die netwerk- en telecomapparatuur, bekabeling en dieselgeneratoren bevatten. Deze autonoom opererende containers passen in Boeing 747-vliegtuigen zodat ze overal ter wereld naar toe kunnen worden gevlogen in het geval van een calamiteit.
Daarnaast bestaat het ‘noodvoorzieningspakket’ onder meer uit een uitklapbaar voertuig dat als commandocentrum kan worden ingericht en een trailer waarmee een mobiele werkplek met satellietcommunicatie (vsat-verbindingen) en een Wi-Fi-oplossing (een Linksys-vpn) kan worden ingericht. Tijdens de oefening worden er zoveel mogelijk netwerkherstelprocessen getest, zoals dat ook in het echt zou gebeuren.
Ook gaat er een uitgebreide kampeeruitrusting mee waar menig avonturier jaloers op zou zijn. Aan alles is gedacht: van tent, veldbed en Ehbo-doos met tandarts-set tot aan walkietalkies, gereedschap, kookgerei, eten en drinken en een tijdelijk wc-huisje.
Grote incidenten
Voor AT&T is zo’n simulatie-opstelling een goede gelegenheid om lokale klanten het belang van backup- en herstelvoorzieningen voor telecommunicatie te laten zien. ‘Dagelijks gaat er meer dan 43 petabyte aan data over het internationale netwerk van AT&T. Al de Fortune 1000-bedrijven zijn klant van ons’, zegt Justin Williams, manager Network Disaster Recovery Team International bij AT&T Network Operations. ‘Onze missie luidt: het netwerk moet altijd beschikbaar zijn, ook als de stad in brand staat. Gemiddeld genomen zijn er per dag twee grote incidenten, maar klanten merken er niets van.’
Olympische Spelen
Het bedrijf heeft op vier continenten 38 datacentra staan. De bedreigingen die een kink in de kabel kunnen vormen, zijn talrijk. Williams somt op: netwerkaanpassingen, softwarebugs, onderhoudswerkzaamheden, hardwarestoringen, kabelbreuken en batterijlekken, hackers en cybercriminelen, natuurrampen, oorlogen en terroristische aanvallen. ‘Elk datacenter heeft een eigen disaster recovery plan. Wij houden ons internationale netwerk in ons ‘global network operations center’ in Bedminster, New Jersey continu in de gaten en voeren haast elke dag risicoanalyses uit. Daarbij vragen we onder meer bij geologische instellingen informatie op over mogelijke aardbevingen, orkanen, tornado’s en andere natuurrampen.’
Ook grote evenementen worden onder de loupe genomen. Zo onderzocht een team van AT&T de risico’s bij de Olympische Spelen die vorig jaar in Londen plaatsvonden. Williams: ‘We brachten de looproutes voor bezoekers aan sportwedstrijden in kaart. We wilden weten of die routes langs belangrijke AT&T-apparatuur liepen en of en hoe we in een geval van een storing bij die apparatuur konden komen als er duizenden mensen door een straat zouden lopen.’
Investeringen
De telecomgigant investeert jaarlijks tien tot vijftien miljoen dollar in het noodnetwerk, apparatuur, voertuigen, hulpmiddelen, rampoefeningen en ondersteunend personeel. In 1991 startte AT&T met dit wereldwijde programma voor ‘business continuity en network disaster recovery’, vertelt Williams. Hij schat in dat er sindsdien zo’n zeshonderd miljoen dollar in is geïnvesteerd. In 1992 is de eerste trailer gebouwd met netwerkvoorzieningen. Inmiddels zijn er vijf magazijnen voor alle spullen en is er binnen AT&T een team van dertig medewerkers dagelijks bezig met ‘network disaster recovery’-werkzaamheden. Daarnaast is er een pool van honderd vrijwilligers – er is een wachtlijst – die ook deelnemen aan een van de vier jaarlijkse oefeningen.
FBI
Het bewustzijn dat het uitvallen van een netwerk grote gevolgen kan hebben voor een samenleving is sterk vergroot sinds de terreuraanval op de Twin Towers in New York op 11 september in 2001, merkt Williams. ‘Toch onderschatten bedrijven en overheden nog steeds de gevolgen van een netwerkcalamiteit. Dat zag je vorig jaar weer bij de orkaan Sandy waarbij sommige bedrijven en instellingen ben in New York veel moeite hadden om weer een telecomverbinding in de lucht te krijgen. Een goede voorbereiding is het halve werk. Onze node in de WTC Zuidtoren was op 9/11 vernield waardoor de crisiscommunicatie tussen de hulpdiensten was verstoord. Aan de hand van ons lokale rampenplan waren we in staat snel noodverbindingen aan te leggen.’
Saillant detail was dat op verzoek van de FBI de medewerkers van AT&T tijdens het werk geen kleding met logo’s van het bedrijf droegen. ‘Het bolletjeslogo van AT&T heeft op afstand iets weg van een schietschijf. De FBI wilde voorkomen dat in die bizarre en stressvolle situatie rond de Twin Towers een agent in verwarring zou raken en zou gaan schieten.’
Veldwerk
Inmiddels heeft AT&T een behoorlijke staat van dienst opgebouwd op het gebied van netwerkherstel. Al doende leert men, stelt Williams. Een logboek bijhouden en feedback geven zijn vereist bij alle grote herstelprojecten en rampenoefeningen. De orkaan Katrina bijvoorbeeld richtte in 2005 veel schade aan, onder meer aan telefoonlijnen, -masten en -cellen van AT&T. ‘Maar een heel gebied rondom New Orleans stond onder water. Onze medewerkers werden uiteindelijk met een eigen tent en een overlevingspakket met instant voedsel, water en sanitaire hulpmiddelen op pad gestuurd om vier dagen veldwerk te kunnen doen. Die uitrusting is standaard geworden voor netwerkhersteloperaties na overstromingen.’
Replica
Hij wijst ook op een ander voorbeeld: de aardbeving van Chili in 2010. AT&T verrichtte in het getroffen gebied herstelwerkzaamheden rond een ‘point of presence’, maar liet elders in het land een replica neerzetten van deze pop. ‘Van eerdere aardbevingen wisten we dat zo’n pop-site alsnog kan uitvallen, al dan niet door naschokken. In zulke situaties is het handig een backup achter de hand te hebben. Tijdens het werk mocht ons logo overigens nergens zichtbaar zijn. Dat vond het Chileense telecombedrijf gezichtsverlies tegenover zijn klanten: dat het de hulp van een Amerikaans bedrijf had moeten inroepen!’
Volgens Williams kosten logistieke hobbels doorgaans meer tijd dan de technische inrichting van een pop. AT&T is bijvoorbeeld veel tijd kwijt aan het invoeren van apparatuur in een land. ‘Dan krijg je te maken met allerlei douane-voorschriften rond import- en export van spullen. Gelukkig hebben we daarvoor een juridische afdeling die dit soort zaken voor ons afhandelt.’
TSF en ITU
Sinds 2003 is de Amerikaanse telecomreus partner van Télécoms Sans Frontières (TSF), een non-gouvernementele hulporganisatie die landen in nood helpt met het aanleggen van telecom- en netwerkvoorzieningen. Zo heeft TSF samen met AT&T dit jaar nog tijdelijke voorzieningen aangelegd in vluchtelingenkampen en ziekenhuizen in Syrië en Mali.
Naast TSF werkt AT&T soms samen met de International Telecommunication Union (ITU). Deze telecom-unie is een agentschap van de Verenigde Naties en staat overheden en VN-onderdelen bij in crisissituaties. Zo hielp de ITU Japan na de zeebeving in 2011 aan satellietapparatuur en leverde het recent apparatuur aan de vluchtelingenorganisatie Unhcr voor hulp in Mali. Dit soort VN-organisaties hebben vaak niet het geld om snel apparatuur aan te schaffen. De ITU schakelt daarbij gespecialiseerde partijen als AT&T in om ondersteunende ict-werkzaamheden te verrichten.
