Därför kraschade e-postservrarna på Göteborgs universitet

2021-01-26 15:24  
Foto: Björn Larsson Rosvall/TT

Ingen säkerhetskopiering, bristande internkommunikation och serviceavtal som gick ut. Det är några av förklaringarna till det omfattande e-posthaveri på Göteborgs universitet i höstas, då tusentals e-postkonton påverkades. 

I början av hösten slogs 5000 e-postkonton vid universitetet ut av ett omfattande it-haveri och hälften av personalen blev utan e-post. Än i dag är det ett hundratal e-postkonton som ännu inte fungerar. 

Nu har internrevisionen vid universitet tagit fram en rapport över it-händelserna som skakade om den akademiska världen i Västsverige. De tre främsta faktorerna som ledde till e-posthaveriet är:

  • De hårddiskar som användes av Göteborgs universitet för att lagra e-post hade ett fabrikationsfel som innebar att de slutade fungera efter att de använts under en fördefinierad tidsperiod om 40 000 timmar. Fabrikationsfelet går under namnet ”40k-buggen” och kunde ha åtgärdats genom en mjukvaruuppdatering från tillverkaren Dell.
  • Varken it-enheten vid Göteborgs universitet eller underleverantören Atea uppmärksammade fabrikationsfelet i hårddiskarna från Dell, vilket leder till att den mjukvaruuppdatering som omhändertar mjukvarufelet i hårddiskarna inte installeras.
  • Efter att hårddiskar i det första datacentret slutat fungera så fanns kunskap om fabrikationsfelet och tillgång till mjukvaruuppdatering för att åtgärda felet. Mjukvaruuppdateringen genomfördes dock inte med lyckat resultat så felet kvarstod och medförde att det andra datacentret slutade fungera innan det första datacentret var fullt återställt.

Internrevisionen har i sin utredning tagit hjälp av Transcendent Group och konstaterar att en ordning med säkerhetskopiering sannolikt hade reducerat dataförlusten och stilleståndstiden till en marginell nivå och föreslår för framtiden att universitetet kartlägger behovet av säkerhetskopiering inom it-miljön, tydliggör hur informationssäkerhetsincidenter ska hanteras och analyserar behovet av en förstärkt förvaltande funktion för licenser och serviceavtal.

I rapporten finns även en tidslinje över alla händelser som internrevisionen konstaterar till slut ledde fram till haveriet: 

2014-2015: En teknisk lösning för hantering av mail anskaffas och installeras. Atea, Microsoft och Truesec bistår i detta. Lösningen som enligt Microsoft utgick ifrån "bästa praxis" baserades på redundans, genom två geografiskt skilda kluster av hårddiskar som speglas mot varandra. Det skulle med denna lösning, enligt Microsoft, inte finnas behov av någon säkerhetskopiering i traditionell bemärkelse. 

2017: Avtal tecknas med Atea avseende drift av e-postfunktionen. 

2019: En inventering och uppdatering av serviceavtalen för bland annat e-postfunktionen utförs av Atea på uppdrag av IT-enheten. Avtalen förnyas i enlighet med lämnat förslag, dock sker inte detta för de hårddiskar och kabinett som nyttjas för lagring av e-post. Detta sannolikt på grund av att avtalen ifråga var gällande vid inventeringstidpunkten men löpte ut månaden efter, alltså i januari 2020. 

2020 februari: Hårdvaruleverantören Dell konstaterar felaktigheter i mjukvaran för vissa av deras hårddiskar, den så kallade 40k-buggen. Dell tar fram en uppdatering. Universitetet informeras dock ej, sannolikt eftersom serviceavtal saknas. Informationen förefaller heller inte nå fram på andra vägar. It-enheten och Atea förblir därför ovetande om bristerna. 

11 augusti: Ett stort antal hårddiskar i serverhall-Vasaparken slutar att fungera. Fyra av totalt åtta noder tappar sin funktionalitet. Hårddiskarna i serverhall­Medicinareberget 7 träder in eftersom informationen även finns lagrad där, dock saknas nu redundans. En felanmälan skickas till Dell och det konstateras att felet är kopplat till "40k-buggen". Atea meddelar att de vidtagit åtgärder. 

21 augusti: Universitetet uppmärksammas nu via ärendehanteringssystemet om "40k­buggen". Hårddiskarna i Serverhall-Vasaparken byts ut. Mjukvaran uppges även vara uppgraderad i serverhall-Medicinareberget 7 och hårddiskarna där sägs nu "vara utom fara". En överföring av data/information från Serverhall­Medicinareberget 7 till serverhall-Vasaparken påbörjas för att återställa redundansen. 

18 september: Hårddiskarna i serverhall-Medicinareberget 7 drabbas av 40k-buggen och innan överföringen av information/data till Serverhall- Vasaparken är slutförd. Maillösningen upphör att fungera. Ett arbete inleds för att återskapa data i största möjliga utsträckning. 

Oktober-november: Hårddiskarna från Serverhall-Medicinareberget 7 skickas till utländska specialister i ett försök att återskapa data. Besked erhålls om att mjukvaran i hårddiskarna ej uppdaterats, såsom tidigare hävdats. 

Källa: Revisionsrapport från internrevisionen vid Göteborgs universitet. 

Fotnot: Ny Teknik söker underleverantören Atea för att få svar på frågan varför Göteborgs universitet inte erbjöds förnyade serviceavtal för hårddiskarna i samband med att övriga avtal förnyades. 

Anders Frick

Kommentarer

Välkommen att säga din mening på Ny Teknik.

Principen för våra regler är enkel: visa respekt för de personer vi skriver om och andra läsare som kommenterar artiklarna. Alla kommentarer modereras efter publiceringen av Ny Teknik eller av oss anlitad personal.

  Kommentarer

Debatt