Microsoft publicerar en preliminär rotorsaksanalys för gårdagens stora Microsoft 365-avbrott

I går Microsofts molntjänster drabbades av ett stort avbrott som Microsoft tillskrev oförmågan att utföra autentiseringsåtgärder på alla Microsoft- och tredjepartsprogram som är beroende av Azure Active Directory (Azure AD) för autentisering.

Frågan varade totalt i 14 timmar utan motstycke och innebar att arbetsdagen var förstörd för många företag.

Idag publicerade Microsoft en preliminär Root Cause Analysis som skyllde på ett fel som inträffade i rotationen av nycklar som används för att stödja Azure AD:s användning av OpenID och andra Identity-standardprotokoll för kryptografiska signeringsoperationer.

Microsoft säger att som en del av standardsäkerhetshygienen tar ett automatiserat system, på ett tidsbaserat schema, bort nycklar som inte längre används. Under de senaste veckorna har en särskild nyckel markerats som "behåll" längre än normalt för att stödja en komplex migrering mellan moln. Detta avslöjade en bugg där automatiseringen felaktigt ignorerade det "behålla" tillståndet, vilket ledde till att den tog bort just den nyckeln.

Metadata om signeringsnycklarna publiceras av Azure AD till en global plats i linje med Internet Identity-standardprotokoll. När den offentliga metadatan ändrades kl. 19:00 UTC, började applikationer som använder dessa protokoll med Azure AD att plocka upp den nya metadatan och slutade lita på tokens/påståenden signerade med nyckeln som togs bort. Vid den tidpunkten kunde slutanvändare inte längre komma åt dessa applikationer.

Lösningen var enkel. Åtgärden för borttagning av nyckel identifierades som orsaken och nyckelmetadata rullades tillbaka till sitt tidigare tillstånd kl. 21:05 UTC. Tyvärr upplevde en delmängd av Storage-resurser en återstående påverkan på grund av cachad metadata, och Microsoft behövde pusha en uppdatering för att ogiltigförklara dessa poster och tvinga fram en uppdatering. Denna process slutfördes och begränsningen för de återstående påverkade kunderna deklarerades kl. 09:25 UTC.

Microsoft säger att de har processer på plats för att förhindra denna klass av risker, men även om det redan ger skydd för att lägga till en ny nyckel, är komponenten för borttagning av nyckel först planerad att vara klar i mitten av året.

Microsoft bad om ursäkt för problemet och säger att de kontinuerligt vidtar åtgärder för att förbättra Microsoft Azure Platform och deras processer för att säkerställa att sådana incidenter inte inträffar i framtiden.

En fullständig undersökning av grundorsaksanalys relaterad till denna incident pågår fortfarande och kommer att publiceras när den är slutförd eller om någon annan väsentlig information framkommer under tiden.

Läs alla detaljer hos Microsoft här..

via ZDNet