Du er ikke alene, Azure Multi-Factor Authentication er nede igjen

Microsofts Multi-Factor Authentication er nede igjen for noen kunder. Microsoft bekreftet problemet på sin Status side og nevnte at berørte kunder kan oppleve tidsavbruddsfeil. Azure Engineers er klar over dette problemet og undersøker aktivt avbøtende alternativer.

Det er viktig å merke seg at bare forrige uke gikk Microsofts Multi-Factor Authentication-tjeneste ned i flere timer og blokkerte millioner av brukere fra å få tilgang til forskjellige tjenester, inkludert Office 365, Azure, Dynamics og andre tjenester som bruker Azure Active Directory for autentisering. Microsoft la nylig ut rotårsaksanalysen nedenfor for dette strømbruddet.

Det ble oppdaget tre uavhengige grunnårsaker. I tillegg forsinket hull i telemetri og overvåking for MFA-tjenestene identifiseringen og forståelsen av disse grunnleggende årsakene, noe som førte til forlenget avbøtende tid. De to første grunnårsakene ble identifisert som problemer på MFA-grensesnittserveren, begge introdusert i en utrulling av en kodeoppdatering som startet i noen datasentre (DC) tirsdag 13. november 2018 og fullført i alle DC-er innen fredag ​​16. november 2018. Problemene ble senere fastslått å bli aktivert når en viss trafikkterskel ble overskredet, noe som skjedde for første gang tidlig mandag (UTC) i Azure West Europe (EU) DC. Trafikkkarakteristika for morgentopp i de vestlige EU-landene var de første som krysset terskelen som utløste feilen. Den tredje grunnårsaken ble ikke introdusert i denne utrullingen og ble funnet som en del av etterforskningen av denne hendelsen.

1. Den første grunnårsaken manifesterte seg som latensproblem i MFA-grensesnittets kommunikasjon til buffertjenestene. Dette problemet startet under høy belastning når en viss trafikkterskel ble nådd. Så snart UD-tjenestene opplevde dette første problemet, ble det mer sannsynlig at de utløste den andre grunnårsaken.
2. Den andre grunnårsaken er en rasebetingelse i behandling av svar fra MFA-backend-serveren som førte til resirkulering av MFA-frontend-serverprosessene som kan utløse ytterligere latens og den tredje rotårsaken (nedenfor) på MFA-backend.
3. Den tredje identifiserte rotårsaken var et tidligere uoppdaget problem i backend MFA-serveren som ble utløst av den andre rotårsaken. Dette problemet forårsaker akkumulering av prosesser på MFA-støtten, noe som fører til ressursbruk på backend, og da var den ikke i stand til å behandle ytterligere forespørsler fra MFA-grensesnittet mens den ellers virket sunn i vår overvåking.

Microsoft nevnte også at de kommer til å ta følgende skritt for å unngå slike problemer i fremtiden.

• Gå gjennom prosedyrene våre for oppdateringsdistribusjon for å bedre identifisere lignende problemer under utviklings- og testsyklusene våre (fullført innen desember 2018)
• Gjennomgå overvåkingstjenestene for å identifisere måter å redusere deteksjonstiden og raskt gjenopprette tjenesten (fullført innen desember 2018)
• Se gjennom inneslutningsprosessen vår for å unngå å spre et problem til andre datasentre (fullført innen januar 2019)
• Oppdater kommunikasjonsprosessen til Service Health Dashboard og overvåkingsverktøy for å oppdage publiseringsproblemer umiddelbart under hendelser (fullført innen desember 2018)

Vi vil oppdatere innlegget med den nyeste informasjonen om dagens strømbrudd når Microsoft gir det.

Oppdatering fra Microsoft:

NÅVÆRENDE BEGRENSNING: Ingeniører er for tiden i ferd med å sykle backend-tjenester som er ansvarlige for å behandle MFA-forespørsler. Dette avbøtende trinnet rulles ut region for region med en rekke regioner som allerede er fullført. Ingeniører vurderer effekten på nytt etter at hver region er fullført. Ingeniører har også fastslått at et DNS-problem (Domain Name System) forårsaket at påloggingsforespørsler mislyktes, men dette problemet er redusert og ingeniører starter autentiseringsinfrastrukturen på nytt.