Datacenterproblemen Mediahuis: volledige herstelprocedure was nodig (en faalde) (update)

 
Mediahuis is uitgever van diverse kranten en bijbehorende websites, en bedient zo miljoenen lezers. Van donderdagnamiddag tot zondagochtend ondervond de uitgever problemen op zowat alle digitale platformen, gaande van krantenwebsites en apps tot zelfs de e-mailsystemen.
 
De problemen manifesteerden zich volgens een woordvoerder van Mediahuis op het technische niveau van het datacenter, al is op dit moment onduidelijk wat er precies aan de hand was. In maart van dit jaar verplaatste Mediahuis nog één datacenter van Groot-Bijgaarden naar dat van LCL in Diegem. Het is niet geweten in welke locatie de problemen van afgelopen week zich manifesteerden.
 
Update 25-10-2016: LCL laat ons weten dat de problemen bij Mediahuis hun oorzaak niet vinden in de datacenterdiensten die het levert aan de uitgeverij. Qua stroomvoorziening en andere datacenterdiensten was er geen onderbreking, en dus moet de oorzaak bij de klant zelf gezocht worden, aldus LCL.
 
Hoe dan ook raakten de IT-problemen het hart van de organisatie waardoor zowel websites, apps als abonnee- en advertentiesystemen gedurende langere tijd niet of moeilijk beschikbaar waren.
 
Uit interne mails kon de redactie van Smart Business de gebeurtenissen van de afgelopen dagen reconstrueren. Zodra we een reactie krijgen van de IT-verantwoordelijken van Mediahuis, vullen we dit stuk verder aan.

Donderdag 20 oktober

De problemen begonnen rond 15u in de namiddag. Vooral de website van de krant Het Nieuwsblad blijkt slecht tot niet bereikbaar. Maar ook de websites van De Limburger, Gazet Van Antwerpen, Het Belang Van Limburg en De Standaard ondervinden hinder. De oorzaak hiervan is niet duidelijk.
 
Vrij snel blijkt dat de problemen langer zullen duren dan verhoopt. Niet alleen de krantenwebsites en digitale platformen zijn geïmpacteerd. Zelfs de productie van de gedrukte kranten komt in het gedrang omdat heel wat achterliggende systemen niet meer werken. De redacties worden op de hoogte gebracht van de gevolgen voor de productie. Later die avond wordt duidelijk dat DS Avond niet gepubliceerd kan worden, en dat ook de app van De Standaard niet goed werkt. Ook andere tablet-gerichte publicaties zullen niet kunnen doorgaan.
 
Ondertussen staat de eigen IT-afdeling van het Mediahuis in contact met specialisten om verder te zoeken naar de oorzaak. Later zal blijken dat het om specialisten van HP gaat.
 
Voor de website van Het Nieuwsblad wordt een noodscenario op poten gezet dat, indien succesvol, ook wordt doorgezet naar de andere websites.
 
Tegen 22u zijn alle websites terug online, echter “wel maar met de helft van de normaal beschikbare middelen”, wordt gesteld in een interne mail. “Dit zou echter qua prestaties geen probleem mogen zijn”, klinkt het in dezelfde mail.

Vrijdag 21 oktober

‘s Ochtends is bijna alles terug functioneel, met uitzondering van enkele aanmeldsystemen voor eindgebruikers, o.a. voor het lezen van artikels achter een ‘tolpoort’ en toegang tot de aboshop.
 
In de interne communicatie wordt echter ook gewaarschuwd: “Op infrastructuurvlak is de bron van het probleem nog niet verholpen, dus mogelijk hebben we nog de ganse dag gevolgen.”
 
Tegen de middag wordt duidelijk dat de problemen nog niet volledig van de baan zijn. Er wordt beslist om de tolpoorten volledig open te zetten omwille van problemen met het inloggen. Ook het advertentieplatform van Adhese kent een beperkte werking: nieuwe boekingen en updates zijn dan niet mogelijk.
 
Om 15.54u volgt dan het bericht dat er opnieuw problemen zijn op alle sites.
 

Zaterdag 22 oktober

Vanaf 09.00u worden er tijdelijke websites opgezet met daarop minimale berichtgeving. Deze noodsites worden extern gehost, dus buiten de eigen datacenterinfrastructuur van Mediahuis.
 
De maatregel werd genomen nadat die nacht een hersteloperatie van de Mediahuis-datacenters mislukte. Daardoor waren sinds 03.00u ‘s nachts alle websites van de uitgever volledig offline.
 

Zondag 23 oktober

Pas op zondagochtend lijkt het ergste achter de rug, en komen de websites van het Mediahuis terug online in hun originele vorm.
 
Uit de communicatie van die dag valt verder op te maken dat ook de e-mailsystemen van Mediahuis getroffen werden door de IT-storing. Ook die werken op zondag terug normaal.