Google Cloud een uur lang onbereikbaar
Vorige week was het tijdelijk voor bepaalde klanten niet mogelijk om de Google Cloud te bereiken. De Google Compute Engine van het Europe-West1-datacenter was namelijk voor 70 minuten niet bereikbaar van verschillende locaties, waaronder Oost-Europa en het Midden-Oosten. Het probleem deed zich enkel voor op het niveau van het netwerk, waardoor het interne verkeer op het Google-netwerk zelf wel zonder problemen verliep.
De oorzaak van het probleem was te wijten aan een menselijke fout. Ingenieurs wilden namelijk manueel een nieuwe link toevoegen naar een global peer waarmee al een connectie bestond. Hierdoor werd het verkeer automatisch naar de nieuwe link geleid, aangezien het netwerksysteem dit als een link met hoge capaciteit aanzag. Doordat zoveel verkeer over één connectie werd gestuurd, raakte de link echter al snel verzadigd, waarna het verkeer werd lamgelegd.
Het proces werd manueel uitgevoerd, aangezien de automatische methode die dag niet werkte. Deze automatische werkwijze maakt normaal gezien dergelijke linken aan en overloopt eerst verschillende veiligheidschecks. Bijkomend werd het probleem pas na 61 minuten ontdekt, aangezien de postactivatiechecks, welke inbegrepen zijn bij het automatische proces, ook niet werkten.
Om dergelijke problemen in de toekomst te vermijden, heeft Google zijn richtlijnen al aangepast. Indien het automatische proces niet werkt, zal het voortaan verboden zijn voor ingenieurs om connecties handmatig aan te maken.
