En toen gingen alle Dailybits websites eruit door een diskcrash

In het verleden heb ik met mijn vorige blog (namreh.be) al eens volledig verloren in 2004 door een webhosting bedrijf, die de stekker, volledig onverwacht, uittrok (zaakvoerder lag in coma na ongeval en bleek een one-man-shop te zijn) en in 2008 verloor ik weer een deel van dailybits.be.

Wijze lessen hieruit geleerd en ook vorig jaar met veel aandacht het hele verhaal van online ondernemer Pat Flynn omtrent zijn servercrash gevolgd. Deze downtime had voor hem een persoonlijk financieel verlies van een goede 12.000$ aan inkomsten, dus was best een zuur moment voor Pat.

En daar zit je dan op een avondsessie van de werkgever door wat bitcoins mining freaks en je ziet zulke berichten op je smartphone binnenkomen via sms en mail… Owoowwwhhhhh!

sms diskcrash
mail diskcrash

In Google analytics ziet het er dan zo uit. Tussen 18u en 19u. was er geen enkele trafiek op dailybits.be… :-/
trafiek

Fuck! paniek…

De hostingmannen hadden via hun monitoring gezien dat de vdisk (Onapp Sanity met SSD-disks), waarop mijn dailybits netwerk nu op een cloudserver staat, corrupt was en een repair hiervan heeft geen soelaas gebracht, waardoor er terug van scratch diende gestart te worden met alle restoren.

Ikzelf zat de hele avond zonder laptop, maar gelukkig had ik mijn mobile blogger battlestation met de dropbox-app en een FTP-app, zodat ik hiermee mee alles kon opvolgen.

De hostingguys zijn dan ook direct gestart met een restore van mijn in totaal 14 websites, waarbij we door de wet van Murphy er al snel achterkwamen dat de laatste diskdumps ook corrupt waren.

Zorg voor je eigen backups

Een wijze les, die ik ondertussen geleerd heb, is dat je als blogger ook moet instaan voor je eigen backups. Via de wordpress-plugin BACKWPUP laat ik (normaal gezien) wekelijks een backup van de belangrijkste bestanden en de mysql database van al mijn wordpress websites wegschrijven naar mijn dropbox-account. Via mijn smartphone dus ook snel die bewuste dropboxmap geshared met de hostingguys.

Natuurlijk was er weer Murphy en bleek dat niet elke job meer wekelijks liep (na wat updates van de plugin). Van dailybits.be had ik gelukkig wel een backup van een paar dagen geleden, van andere websites was de meest recente backup ergens begin mei gemaakt. FUCK! Wat is de impact hiervan?
backwpup

De schade inschatten

Terwijl de laatste restores werden uitgevoerd met mijn backups heb ik dan de schade kunnen gaan inschatten. Gelukkig heb ik het automatisme om elke blogpost die ik post, direct in een blogpostkalendertje bij te houden per website & per week. Dit was dan ook de situatie, toen ik vannacht toch maar het licht uitdeed.
blogposts

Feedburner mails als backup

In totaal ontvangen een 90tal lezers steeds alle blogposten van dailybits.be in hun mailbox (je kan je er hier voor abonneren). Ook ik zelf sta in dat lijstje, dus de dailybits blogposten had ik mooi in mijn mailbox staan om direct terug over te zetten.

Een kleine en handige backuptip dus. Misschien moet ik maar een nieuw mailadres opzetten en van al mijn sites de blogposten daarin laten aankomen als extra backup?

Bring on the Google army

Vannacht en deze morgen zijn we dan gezamenlijk gestart met het recoveren van de blogposts van alle andere websites, die verloren waren gegaan door deze diskcrash, via de pure kracht van Google.

1. Site:www.dailybits.be
Via het “site:” commando en de inperking van de datums hebben we alle geplaatste blogposts kunnen terugvinden, die reeds door Google waren opgeslagen.
site google

2. cache:www.dailybits.be/item/not-all-boards-were-meant-to-ride-waves/
Via het cache-statement kregen we dan de gecachte inhoud van de blogposten terug te zien en was het mogelijk om die blogposten snel manueel terug aan te maken met de juiste url en alle andere metadata. Opmerkelijk is toch wel dat deze blogpost amper 1u. voor de fatale diskcrash online was geplaatst en toch al in de caching terug te vinden was!
cache google

Via dit eenvoudige truukje heb ik ondertussen alle verloren gegane blogposten kunnen redden. De volgende dagen is het nu via de webmaster tools van google en via analytics zien welke 404-fouten er nog verschijnen om deze op te lossen.

Lessons learned?

Zowel bij mij als bij de hostingguys hebben we weer de nodige lessen geleerd.

  • Zo verhuist mijn dailybits-netwerk volgende week naar een ander cloudplatform (met DX80 SANS), zodat dit niet meer zal voorvallen.
  • Ondertussen is de BackWPUp plugin op al mijn sites nagekeken en terug ingesteld en heb ik deze een backupjob laten doen, zodat ik nu weet dat elke zondag er terug backups worden aangemaakt.
  • Mijn eenvoudig excel bestandje met blogpostkalender is van goudwaarde gebleken om in te schatten wat de impact was en hoeveel blogposts er nog dienden terug gezocht worden.
  • Zulke situaties gebeuren altijd op het slechtste moment. Pat Flynn was bvb. op businesstrip. Ikzelf zat zonder laptop en zit met mijn tourdefrance-website net in de meest cruciale periode en net van die site waren we initieel het meeste data kwijt.
  • Update 10/07/13: Via de opensource app Synobox wordt mijn dropbox account nu ook op mijn eigen NAS-server gesynchronizeerd.

Even een woordje van dank voor de hostingguys voor de continue communicatie (met ook de info die ze kregen van de OnApp support over de bug in de drivers) en dan vooral @stoneisstein, die zijn vakantie is gestart met een 8uur lang restoren van mijn websites. Dit was puur een geval van een combinatie van een hardware-bug van de vendor en bad luck. Gelukkig is er niets verloren gegaan van blogposten.

Dus aan alle bloggers/webmasters hier: Ga NU kijken naar hoe oud de laatste backups van jou websites zijn, die je ZELF ergens in the cloud of offline hebt staan?

In dit licht een zeer actuele webmaster video van Matt Cutts (hoofd google webspam team) over wat de gevolgen kunnen zijn als je website langer down is.


Gerelateerde berichten

Herman Maes

Online marketeer en (tech)blogger sinds 2002. Zelfstandige in bijberoep met Daily Bits sinds 2012. Bij Intracto de SEO/Hubspot/Marketing Technology Teamlead en thuis de papa van een zoon en een dochter.

8 comments

  • backups zijn idd achillespees van je online netwerkje. Ik heb als extra veiligheid 2 systemen die automatisch backups nemen van mijn websites en daarnaast neem ik ook 1x per maand manueel een backup.

    Op deze manier ben je wel zeker dat je “een” backup hebt maar pas op het moment dat je de backup nodig hebt weet je ook of deze werkt. Aan dit pijnpunt ben ik nog aan het werken.

    Maar goed je bent back in business 🙂

    • Ja ik was er ook van overtuigd dat ik wekelijkse backups had, maar dat was dus maar bij 3 van de 14 websites.

      Hier dus beter opletten.

      Ook van dropbox heb ik alles nog eens gekopieerd naar mijn eigen NAS, eens kijken of ik daar een wekelijkse job voor kan inplannen op de NAS-server.

  • Ik maak backup van mysql db, themefiles en nog wat belangrijke bestanden (zoals de config). Bij dailybits is dat een bestand van 50-60MB, bij mijn kleine WP-sites is dat amper 4-5MB.

    De compressie van het mysqlbestand is echt groot, want uitgepakt is dit 420MB groot!

  • Back-uppen deed ik regelmatig maar niet geautomatiseerd. Heb alvast de plug-in geïnstalleerd die hier werd gebruikt. De update kalender van de websites is alvast iets wat ik vanaf nu ook ga bijhouden met upload op de cloud natuurlijk. Bedankt voor de tips 🙂

  • En neem geen backup van je backups, maar maak een extra, volledig op zichzelf staande backup. Zo heb je twee systemen. Meestal zelfs geen kwestie van kost, maar van configuratiemoeite.

  • Video’tje van Matt Cutts (hoofd google webspam team) toegevoegd omtrent de mogelijke gevolgen voor een website, die langere tijd onbereikbaar is.

Submit a comment

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *