Den 26:e november hade vi en driftstörning på våra servrar som befinner sig i Stockholm. Det gäller VPN02, VPN03 och VPN04.
Grundanledningen till att driftstörningen skedde är att transformatorn i UPS:n i datahallen gick sönder. Datahallen förlorade då 80% av elen, vilket gjorde att majoriteten av servrarna i datahallen stängdes av. Detta orsakade då oss, och samtliga servrar stängdes av.
Eftersom det inte var vår hårdvara som gick sönder, så kunde inte vi göra något för att få upp tjänsterna, utan det var ISP:n som behövde åtgärda detta. De arbetade fort, och fick tillbaka strömmen till hallen inom en timma.
När strömmen kom tillbaka, startades VPN03 & VPN04 av sig själv och blev tillgängliga att använda. VPN02 var däremot fortfarande onårbar.
Det verkar som att VPN02 blev offer för någon slags kernel bugg, vilket gjorde att hela systemet hängde sig - samt startade de vanliga debian kernels istället för de som använder Tresor. Vi fick därför arbeta med att återställa servern, och säkerställa att det är rätt kernels som används. Den totala nedtiden för VPN02 var cirka 6 timmar.
Hela vår infrastruktur är tillbaka i vanlig drift, och vi ber djupt om ursäkt för det inträffade. Om det visar sig att vi inte lyckas hålla vår upptidsgaranti på 99.5% i november, får samtliga användare med ett aktiv abonnemang två minuter gratis för varje minut som passerar vår upptidsgaranti.