Microsoft sender en foreløbig rodårsagsanalyse for gårsdagens store Microsoft 365-udfald

I går Microsofts cloud-tjenester led et stort udfald som Microsoft tilskrev manglende evne til at udføre godkendelseshandlinger på Microsoft- og tredjepartsapplikationer, der er afhængige af Azure Active Directory (Azure AD) til godkendelse.

Problemet varede i alt i hidtil usete 14 timer og betød, at arbejdsdagen blev forkælet for mange virksomheder.

I dag udsendte Microsoft en foreløbig Root Cause Analysis, som skyldte en fejl, der opstod i rotationen af ​​nøgler, der blev brugt til at understøtte Azure AD's brug af OpenID og andre Identity-standardprotokoller til kryptografiske signeringsoperationer.

Microsoft siger som en del af standard sikkerhedshygiejne, at et automatiseret system, på en tidsbaseret tidsplan, fjerner nøgler, der ikke længere er i brug. I løbet af de sidste par uger blev en bestemt nøgle markeret som "retain" i længere tid end normalt for at understøtte en kompleks migrering på tværs af skyer. Dette afslørede en fejl, hvor automatiseringen fejlagtigt ignorerede denne "retain"-tilstand, hvilket førte til at den fjernede den pågældende nøgle.

Metadata om signeringsnøglerne udgives af Azure AD til en global placering i overensstemmelse med Internet Identity-standardprotokoller. Da de offentlige metadata blev ændret kl. 19:00 UTC, begyndte applikationer, der brugte disse protokoller med Azure AD, at hente de nye metadata og holdt op med at stole på tokens/påstande, der var signeret med den nøgle, der blev fjernet. På det tidspunkt var slutbrugere ikke længere i stand til at få adgang til disse applikationer.

Løsningen var enkel. Nøglefjernelseshandlingen blev identificeret som årsagen, og nøglemetadataene blev rullet tilbage til sin tidligere tilstand kl. 21:05 UTC. Desværre oplevede en undergruppe af Storage-ressourcer en resterende påvirkning på grund af cachelagrede metadata, og Microsoft var nødt til at skubbe en opdatering for at ugyldiggøre disse poster og gennemtvinge en opdatering. Denne proces blev afsluttet, og afhjælpning for de resterende berørte kunder blev erklæret kl. 09:25 UTC.

Microsoft siger, at de har processer på plads for at forhindre denne klasse af risici, men selvom det allerede giver beskyttelse for tilføjelse af en ny nøgle, er fjernnøglekomponenten først planlagt til at være færdig i midten af ​​året.

Microsoft undskyldte for problemet og siger, at de løbende tager skridt til at forbedre Microsoft Azure-platformen og deres processer for at sikre, at sådanne hændelser ikke opstår i fremtiden.

En fuldstændig Root Cause Analysis-undersøgelse vedrørende denne hændelse er stadig i gang og vil blive offentliggjort, når den er afsluttet, eller hvis andre væsentlige detaljer dukker op i mellemtiden.

Læs alle detaljerne hos Microsoft link..

via ZDNet