Update 2/11
Meteo-man Raymond Klaasen heeft wat cijfermateriaal vanuit de US in een mooie blogpost gegoten over de gevolgen van Sandy.

Update 1/11
Dat merken deze ramp nu ook als een kans zien, bewijst Duracell met hun powertrucks (Power Forward Community Center), die op weg zijn naar NYC. Hier kunnen mensen hun smartphones opladen en gebruik maken van free wifi.

Update 31/10:
Dat ook grote internet-ondernemers kunnen getroffen worden, bewijst onderstaande tweet van Gary Vaynerchuk (gekend van o.a. zijn boek Crush it!):

Nog een mooie online story over de Diesel bucket brigade van datacenter Peer 1 (zie hieronder). Met 25 man dragen ze nu de diesel in een ketting naar de generatoren van hun datacenter op de 17de verdieping.
Peer1 datacenter sandy

De orkaan Sandy mag dan wel met de noorderzon verdwenen zijn, de gevolgen van haar doortocht blijven natuurlijk nog even doorlopen.

1 van de gevolgen, die met als IT-nerd zeer fascineert is de impact op het internet. De oostkust van de USA is 1 van de regio’s met een super grote concentratie van datacenters. In mijn vorige job (als MS Sql Server consultant) kwam ik geregeld wel eens in een datacenter en was ik mee verantwoordelijk voor Disaster Recovery Strategieën. 1 van de projecten was bijvoorbeeld ervoor zorgen dat de databaseservers van 1 van de grote energiebedrijven in ons land binnen de minuut kan overswitchen naar een 2de locatie aan de andere kant van Brussel.

Vele datacenters in het centrum van NYC zijn de afgelopen dagen mee getroffen. Een datacenter gaat een korte stroomuitval meestal opvangen via zogenaamde UPS-batterijen. Dit gaat genoeg tijd geven voor het starten van dieselgeneratoren voor het leveren van de stroom (en vooral ook de koeling). Het probleem bij verschillende datacenters was echter dat alle dieselstocks in de kelder ontoegankelijk werden door overstroomde kelders. Nadat de normale dagtank van de dieselgeneratoren op was, kon de diesel dan ook niet meer aangevuld worden en viel het hele datacenter uit.

Op Tweakers.net hebben ze gisteren al een mooie blogpost online geplaatst met een overzichtje van enkele getroffen datacenters.

1 van de vele getroffen grote websites is bijvoorbeeld Gizmodo.com

Vooral het verhaal van datacenter Peer1 (1100m² groot datacenter geopend in 2004) is een mooi verhaal om verder te volgen. Zij zorgen voor zeer goede crisiscommunicatie met geregeld updates.

De laatste update laat mooi zien, hoe hard ze bezig zijn om alle in de lucht te houden:

Once the building fuel supply has been exhausted, we will be powering the generators through our day tank that has capacity to run between 60-90 minutes.

The fuel tank has arrived at our facility and due to flooding conditions in the basement caused by the weather, we are working on alternative methods of fuel delivery to the day tank located on the 17th floor. As of now, our datacenter team is carrying half-full 50 gallon barrels of diesel to our daily fuel reservoir on the 17th floor, until a more sustainable solution is reached.

While the fuel delivery system is being worked on, the PEER 1 datacenter team is manually carrying fuel loads to the day tank via stairs to ensure the day tank stays filled.

Het personeel zit dus nu continu halfvolle vaten diesel van enkele honderden kg’s via de trap naar het 17de verdiep te dragen om zo de generatoren draaiende te houden voor het hele datacenter! Hun noodvoorraad van 20.000liter Diesel zorgde ervoor dat ze 24uur konden overbruggen. Niemand had er echter bij stilgestaan, dat nadien de levering van nieuwe diesel, misschien wel niet ter plaatse kan geraken…

In de comments van de tweakers-post is een mooie discussie te vinden over hoe ver je alles kan beveiligen voor het halen van een uptime van 99.9999%. Zo verwijzen ze ook naar hoeveel Nederlandse datacenters onder het wateroppervlak (NAP) te vinden zijn, met vergelijkbare gevaren als wat ze nu in NYC meemaken.

Op datacenterknowledge.com hebben ze een overzicht van alle getroffen datacenters en de status bij elkaar gebracht.

Impact op New York Stock Exchange en High frequency trading?

Vandaag zal ook de beurs van New York terug open gaan en het wordt dus ook interessant, welke impact er gaat zijn op de zogenaamde high frequency trading. Het overgrote deel van beurstransacties op de beurs gebeurd al jaren door zogenaamde computeralgoritmen.

Hierbij gaan de algoritmen beslissen wat er gekocht en verkocht wordt aan welke prijs. Een belangrijk onderdeel hiervan is de snelheid, waarmee de informatie en transacties de beurs bereiken. Dit is 1 van de redenen van het grote aantal datacenters in het financiële hart van NYC, daar elke meter/elke milliseconde een impact heeft op de winst, die je kan halen met deze high-frequency trading. Geregeld slaan de algoritmen wel eens op hol, met zogenaamde flashcrashen tot gevolg op de beurs (zie beurshuis Knight Capital afgelopen augustus).

Ook waarschuwt the Huffington post er bijvoorbeeld ook voor, dat de IT ingenieurs achter de algoritmes speciale scenario’s hebben geschreven om in de chaos van het hernemen van de beursactiviteit gebruik te gaan maken van de eerste beurspaniek voor het halen van snelle winsten.

Wat kan je hiervan leren als simpele website eigenaar?

Belangrijk is om naast het vertrouwen op je hostingprovider & het datacenter ook eens je eigen noodscenario’s bekijkt voor je website/blog. Zelf ben ik ooit de eerste versie van dailybits.be verloren door het hosten van de website bij een éénmanszaak (die overkop ging, nadat de eigenaar in coma lag door een verkeersongeval en niemand anders iets van het bedrijf kende).

Ik maak zelf gebruik van de backupmogelijkheden van wordpress-dashboard service ManageWP en de wordpress plugin BackWPup. Zowel de belangrijkste files (themes en wpconfig-bestand) als de mysql databse worden zowel in cloud (dropbox met ondertussen 25GB aan free space) als op mijn eigen laptop opgeslagen, zodat ik een dubbel kopie heb van de laatste backups van al mijn websites.

Voor elke online-ondernemer kan je alleen maar aanrader stil te staan op welke manier je een eigen snelle crisiscommunicatie kan doen, zodat je klanten weten wat er aan de hand is.

Nog iemand andere raadgevingen?

blank

Marketing strateeg en docent (Thomas More/UHasselt). Sinds 2002 reeds techblogger. Marketing strateeg en privacy officer als freelancer en daarnaast ook gewoon papa thuis. Schrijf je in voor de Dailybits nieuwsbrief.

Abonneer
Abonneren op

Deze site gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.

6 Reacties
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
11 jaren geleden

Een leuke uitdaging kan de volgende zijn: hoe garandeer ik, als ‘bescheiden’ website-eigenaar, de uptime van mijn blog als ik zelf verhinderd ben ?
Want je hebt nu wel de backups in de cloud, en op je laptop, maar wat als je enkele dagen vast komt te zitten terwijl je hoster plat gaat ?

Zou cool zijn dat je blog zich zonder manuele tussenkomst weet te manifesteren op een backup-locatie en een dns-redirect uit z’n mouw tovert.

Overkill sowieso, maar een leuke denkoefening of dit binnen een klein budget haalbaar zou zijn.

Reply to  Filip
11 jaren geleden

Hmm inderdaad. Ik heb nog een testdomeinnaam liggen momenteel en kan wel eens kijken of ik een dergelijke opzet kan opzetten om eenvoudig een procedure te maken om backup/restore/dns-switch in een zo kort mogelijke periode uit te voeren (met zo min mogelijk manuele taken, al zal dat wel niet helemaal te vermijden zijn).

11 jaren geleden

’t Is overal wel wat. Mijn eigen datacenter staat in de westkust. Als daar een serieuze quake is kan ik het ook wel vergeten.

11 jaren geleden

Mooi artikel van Hubspot over hoe je vanuit marketing-oogpunt moet op letten, wanneer je website down gaat:
http://blog.hubspot.com/blog/tabid/6307/bid/33763/Internet-Outage-Crash-Your-Website-The-Marketer-s-Response-Plan.aspx

11 jaren geleden

De Duracell-teams in actie met het uitdelen van batterijen voor zaklampen in het donkere NYC

http://www.youtube.com/watch?v=X3Z66fgSq1A

11 jaren geleden

Time-lapse van Internet outages bij het aan land gaan van Sandy :
http://www.engadget.com/2012/11/01/time-lapse-hurricane-sandy-internet-outages/