Een website draait op de server van een webhostingbedrijf, waarbij dat webhostingbedrijf zijn servers onderbrengt in een gespecialiseerd datacenter. Dit datacenter heeft dan connecties via verschillende carriers naar de grote internet knooppunten (IX = Internet Exchanges).
In de zomer van 2005 ben ik ooit beginnen werken als MS SQL server consultant. 1 van mijn eerste externe projecten was begin oktober 2005 om mee een rack van een klant te gaan opbouwen in hetvoormalige Scarlet datacenter in Vilvoorde (dat bekend/berucht werd door hun elektriciteitsproblemen rond 2009).
2 dagen in deze luidruchtige en koude omgeving om mee te passen, meten, kabeltjes zo mooi mogelijk aan te sluiten,… deden me direct veel respect geven voor wie hier dagelijks moet rondlopen.
Het heeft me wat tijd gekost, maar ik heb ter zelfs nog een foto van terug gevonden (gemaakt met mijn toenmalige Sony Ericsson K750i). Je moet vooral eens zien wat voor bakken van servers er toen gebruikt werden (tov. de huidige pizzadozen).
Combell datacenter tour
Zoveel jaren later ben ik niet meer bezig met datacenters, netwerktechnologie,… maar fascineert het me nog steeds super hard. Ik maakte dan ook snel mijn agenda vrij, toen de vaste webhoster van deze blog (sinds mei 2008 ben ik klant bij Stone-IS, wat nu bij Combell hoort) me de vraag stelde om eens mee achter de schermen te gaan. Om zo dus te ontdekken waar Dailybits nu ergens op een cloudserver draait.
Een weetje dat velen niet weten is dat de regio rond onze luchthaven de meeste van de Belgische datacenters herbergt. Onze luchthaven heeft namelijk een speciale status op ons elektriciteitsnetwerk en daarnaast komen daar de verschillende backbones van het internet samen (via zogenaamde glasvezelkabels).
Budget versus premium datacenter?
Combell is de grootste webhostinggroep van ons land en heeft daarnaast enkele submerken. Ik kreeg dan ook eerst een kijkje binnen bij het Brussels DC datacenter. Dit kleinere datacenter (anoniem in een typisch Vlaams industrieterrein in Zaventem) wordt door Combell enkel gebruikt voor het budgetmerk Easyhost.
Zelf raad ik de budget webhosting van Easyhost geregeld aan voor eenvoudige persoonlijke websites (door de lage kostprijs) en krijg ik dan ook geregeld de vraag waarom deze webhosting zoveel goedkoper is dan premium webhosting.
1 van de redenen is het datacenter goedkoper is uitgevoerd van infrastructuur, redundantie van stroom en koeling, blusinstallatie, geen permanente bewaking, minder aansluitingen op dataverbindingen,…
Dit datacenter voldoet aan de zogenaamde TIER 3 kenmerken en gaat daardoor een uptime van 99,982% voorzien, wat overeenkomt met maximaal 1,6uur/jaar dat er geen stroom of voeding zou mogen zijn door incidenten.
Interxion datacenter
Een heel ander verhaal is het dan weer bij Interxion Brussel, wat deel uitmaakt van de Nederlandse groep Interxion. Interxion heeft 55 premium datacenters over heel Europa staan (en heeft momenteel een overnamebod van een Amerikaanse concurrent liggen van 8,5 miljard dollar!).
Je bent er waarschijnlijk al eens voorbijgereden, daar het net naast de aansluiting van de E40 naar de Brusselse ring ligt (iets voorbij de Ikea van Zaventem).
Hier staan de meeste servers van Combell en ook Dailybits.be (en mijn andere websites) draaien in dit datacenter op een (virtuele VMWare) Linux cloudserver.
Vanaf de aankomst bij Interxion is het duidelijk dat we hier over een ander niveau spreken met overal camera’s, toegangspoort voor de parking, permanente bewaking, mijn bezoek dat 24u op voorhand diende aangegeven te worden, 1-persoons toegangssluizen,…
* Het is dan ook streng verboden om een gsm of fototoestel te gebruiken in het gebouwen, dus de volgende foto’s komen van een goedgekeurde Combell fotoset.
Interxion heeft de kenmerken van een TIER4 datacenter wat overeenkomt met een maximale SLA downtime maximale stroom/koeling van amper 5 minuten per jaar (uptime van 99,999%). MAAR een echt TIER4 datacenter kunnen ze niet zijn, doordat ze hiervoor ook 2 onafhankelijke stroomleveranciers moeten hebben en dit is in ons landje niet mogelijk (Fluvius is de enige nutsbeheerder), ze noemen het dus zelf een TIER3+.
Achter de schermen
Servers vreten stroom en zonder stroom zijn ze niets, dus het hele gebouw (eigenlijk 4 aparte datacenters aan elkaar gekoppeld) heeft 2 gescheiden stroomnetten (feed A en feed B).
Elk aparte stroomfeed heeft 2 UPS-installaties waar de stroom continu doorloopt. Ja, je leest het goed we zitten dus met 4 UPS-installaties met elk een grote batterijzaal vol met doodgewone autobatterijen. De stroom loopt dus steeds door deze batterijen en indien er iets voorvalt kunnen deze 2+2 batterijzalen bij vol vermogen alle servers het nog 10 minuten laten uitzingen.
Elke 5 jaar dienen deze autobatterijen trouwens vervangen te worden.
Deze 2+2 batterijzalen kunnen het dus maximaal 10min volhouden onder volle load bij een stroompanne. Dit geeft genoeg tijd voor het automatisch starten van 5 grote dieselgeneratoren (2+2 met 1 reserve). Deze hebben elk een vermogen van 2MW en staan steeds warm om snel te kunnen opstarten (maandelijks is er een test en elk jaar een grote volledige blackouttest).
Met de 110.000L diesel die ze in tanks hebben klaarstaan kunnen ze het zo 48uur uitzingen zonder externe stroom. Indien deze generatoren opstarten, dan zijn er verschillende leveranciers met strenge leveringsafspraken met bijvoorbeeld de verplichting steeds 2 tankwagens te sturen met elk een andere route. 😱
Je merkt het al, niets wordt aan het toeval overgelaten. Je hebt niet 1 dak, neen je hebt nog een 2de dak (met vijverfolie) boven de serverruimtes, zodat zelfs het dak redundant is.
De rode flessen die je ziet staan is trouwens het blussysteem. Met water blussen is geen oplossing, dus wordt er geblust door onder hoge druk argongas in de serverruimtes te spuiten en zo alle zuurstof weg te nemen (in dat geval kan je maar beter maken dat je zelf zo snel mogelijk de ruimte kan verlaten… ).
Onder dit dak zitten dus de 4 daadwerkelijke serverruimtes, die onderverdeeld zijn in zogenaamde afgesloten cages. Het is dus dat wat Interxion levert aan Combell: een lege oppervlakte in een serverruimte met stroom en koeling. Al de rest wordt dus door Combell voorzien en opgebouwd in hun eigen cage.
Op onderstaande foto zie je duidelijk het corridor-principe: de koude lucht komt vanuit de verhoogde vloer naar boven, stroomt door de servers naar de achterkant van de server-racks, om daar afgevoerd te worden. Door de schuifdeur en het dak wordt de koude lucht mooi bij de servers gehouden.
Combell werkt voor de opbouw steeds met gestandaardiseerde hardware van hun huismerken: Dell servers (momenteel de R640 servers), Netapp storage en Juniper netwerkrouters. Op deze manier hebben ze steeds reserveonderdelen ter plaatse aanwezig. Al die apparatuur heeft 2 stroomvoedingen en die worden gevoed door die 2 aparte stroomfeeds in het gebouw (met dus de aparte UPS, batterijzalen, generatoren,…).
Wat nog indrukwekkender is, zijn de kabelconnecties tussen de apparatuur en ook de centrale switching-kamers van het datacenter (verboden terrein voor klanten en hier legt Interxion de connecties tussen klanten en de carriers naar de buitenwereld). Op deze foto zie je trouwens ook die dunne groene kabels liggen, dit zijn de fiber/glasvezelkabels die aan lichtsnelheid doorsturen.
2 weken geleden was ik op bedrijfsbezoek (met mijn studenten) bij Telenet en zagen we daar live in hun SOC (Services Operations Center) hoe ze een directe 10Gbps fiberconnectie hebben met het Combell netwerk.
De kleurencombinatie die Combell trouwens gebruikt:
- rode kabels zijn de access links
- gele kabels gaan naar de storage systemen (server en storage zijn gescheiden)
- blauwe kabels zijn er voor remote management
- oranje kabels zijn dan weer de uplink connecties
Waarmee stapte ik buiten?
Het internet is 1 van onze nutsvoorzieningen geworden van onze maatschappij. Het is er en we denken er niet meer bij na. Schakel dit bewuste datacenter uit en je zal zien dat ons Belgisch weblandschap een zware impact zal voelen.
Waar ik nu veel beter een idee van heb gekregen zijn de hoge eisen (en bijhorende kostprijs), die er is om tot die hoge niveau’s van beschikbaarheid te komen. Combell voorziet SLA’s met een uptime garantie van 99,999% en reactietijden binnen 15min.
Wil je trouwens nog meer zekerheid, dan kan je voor een multi-datacenter constructie kiezen, waarbij alles real-time in sync gespiegeld draait in 2 afzonderlijke datacenters.
Het verschil met het kleinere datacenter enkele kilometer verderop was zeer treffend. Daar draaien de servers ook perfect en ga je normaal gezien nooit problemen meemaken. Maar heb je een kritische webapplicatie of webshop, dan moet je zelf de berekening maken wat eventuele downtime je zou kosten.
Disclosure
Deze blogpost is onderdeel van een samenwerking, waarbij Dailybits een vorm van vergoeding heeft verkregen als #advertentie of #sponsored. De inhoudelijke uitwerking is nog steeds de verantwoordelijkheid van Dailybits. Meer informatie in de disclaimer (artikel 8).
