De netwerkstoring bij telecomaanbieder Colt is veroorzaakt door foutieve routeringsverzoeken vanuit een van de netwerkgebruikers, vertelt de Britse voorlichtster Henny Valder. Daardoor zaten Nederlandse, Belgische en Franse gebruikers vanaf 8 april gedurende enkele uren zonder breedbandinternettoegang. Pas toen Colt en zijn hardwareleverancier de fout hadden opgemerkt, konden ze de netwerkinterface die de verzoeken verstuurde, stilleggen en de dienstverlening weer opstarten.
Nadat de bewuste Network-to-Network Interface (NNI) was stilgelegd, plaatste een technisch team een filter zodat geen onjuiste routeringsverzoeken meer werden verstuurd. Daarna kon de interface weer in gebruik worden gesteld, licht Valder toe. Ze vertelt dat alle event en alarm logs zijn behouden en gedeeld met de leverancier van de routers die de verzoeken verwerken. Colt wil niet bevestigen dat het om Cisco-routers gaat, zoals enkele media melden.
IP Access
Getroffen klanten nemen bij de telecomaanbieder het product IP Access af, waarmee ze toegang hebben tot Colts breedbandinternet. De voorlichtster wil niet zeggen om hoeveel gebruikers het gaat. Het telecombedrijf heeft in totaal 35.000 zakelijke klanten.
In september 2009 ging Colt gebukt onder een netwerkstoring die drie dagen duurde. Na onderzoek bleek dat overbelasting van het netwerk de oorzaak van de storing was. Dat zou het gevolg zijn van een zogeheten broadcast storm, een plotse toename van dataverkeer op het netwerk. Dat wordt vaak veroorzaakt door loops in de netwerkswitches, legde een woordvoerder destijds uit.
Broadcast stormen, eindgebruikers die een complete ISP plat kunnen leggen met een routeringsprotocol???
Dat klinkt als slecht netwerkbeheer. Verkeerde routeringsprotocol configuratie. Met een correct ingestelde BGP setup kunnen dit soort rampen nooit voorkomen.
Misschien maar eens een ervaren Cisco engineer voor een tijdje inhuren?
Deze soort van storing kan een mooie gelegenheid zijn om te gaan werken met ITIL procedures.
@RV
ITIL procedures lossen kennisgebrek niet op…..
Ook met ITIL kan ik een foute implementatie doen
Een security audit had dit probleem kunnen voorkomen.
Het zou nooit zo moeten zijn dat een netwerkgebruiker op welke manier dan ook invloed kan hebben op de configuratie van de provider.
Chris: het klinkt alsof men op die bewuste klant zijn interface geen route filtering had toegepast. Als die klant dan per ongeluk een default route annonceert, heeft dat soms als gevolg dat alle trafiek naar die klant zijn lijn wordt afgeleid. Met BGP kan dat even goed gebeuren als met eender welk ander routingprotocol. Either way, dynamische routing zonder route filtering configureren is doorgaans geen goed idee.
@PaVaKe:
Idd….Tegen menselijk falen en (structureel) kennis gebrek is bijna niets bestand 🙁