Belgisch datacenter van Google verliest gegevens door blikseminslagen

Google heeft blijkbaar iets gedaan wat de goden niet zint, want het datacenter van Bergen in België heeft op 17 augustus niet één, niet twee, maar vier blikseminslagen moeten incasseren.  Het incident was ernstig genoeg dat er effectief data verloren is gegaan. Dat is iets wat je nooit wil meemaken als datacenter.

Het incident gebeurde op de europe-west1-b dataserver in Bergen. Het datacenter is verantwoordelijk voor een heleboel content, maar de beschadigde hardware was verantwoordelijk voor Google Compute Engine (GCE) Instances. De GCE-service zorgt ervoor dat bedrijven data en virtuele computers in de cloud kunnen gebruiken. Op het hoogtepunt van de ramp ervaarden ongeveer 5 procent van de schijven in de datacenters I/O-errors.

Verloren data

Google heeft zijn uiterste best gedaan om alle defecte schijven opnieuw operationeel te krijgen om data te recupereren, maar 0,000001% van de data in europe-west1-b is voor goed verloren.

Grote datacenters hebben systemen geïnstalleerd om elektrische situaties aan te kunnen, zoals een plotse stroomuitval of een blikseminslag, en Google is daarin natuurlijk geen uitzondering. Vermoedelijk heeft het systeem gefaald na de opeenvolging van blikseminslagen, waardoor het datacenter op zijn limiet werd gedreven. De servers hebben batterij backups en het gebouw zelf heeft een eigen energievoorziening.

Google zegt dat beide systemen werden ingeschakeld tijdens het voorval. Aangezien sommige recent geschreven data op systemen werden bewaard die meer vatbaar was voor elektriciteitsproblemen, is er schade gedetecteerd op 5 procent van de opslag.

Getroffen klanten

Google zegt dat het onmiddellijk is gestart met alle data van de gefaalde unit naar andere units te pompen, en het meeste daarvan draait nu al op nieuwe systemen. Daarom dat er maar een bijzonder kleine fractie van de GCE instanties werden aangetast. Ergens toch wel geruststellend dat zelfs na vier blikseminslagen, Google nog steeds bijna alle controle heeft over zijn datacenter.

Voor de enkele gebruikers wereldwijd die een deel van hun data permanent zijn verloren, is er natuurlijk minder goed nieuws. Hoewel Google de volle verantwoordelijkheid neemt voor dit probleem, duidt het ook aan dat GCE omwille van zijn configuratie gebonden is aan één enkel datacenter. Klanten die nu bezorgd zijn rond GCE kunnen snapshots nemen en Google Cloud Storage overwegen voor geografisch onafhankelijke systemen.