U bent niet de enige, Azure Multi-Factor Authentication is weer uit

Microsoft's Multi-Factor Authentication is voor sommige klanten weer uit de lucht. Microsoft bevestigde het probleem op zijn statuspagina en vermeldde dat getroffen klanten time-outfouten kunnen tegenkomen. Azure-ingenieurs zijn op de hoogte van dit probleem en onderzoeken actief de risicobeperkingsopties.

Het is belangrijk op te merken dat vorige week de Multi-Factor Authentication-service van Microsoft enkele uren uitviel, waardoor miljoenen gebruikers geen toegang hadden tot verschillende services, waaronder Office 365, Azure, Dynamics en andere services die Azure Active Directory gebruiken voor authenticatie. Microsoft heeft onlangs de onderstaande analyse van de oorzaak van deze storing gepost.

Er werden drie onafhankelijke onderliggende oorzaken ontdekt. Bovendien vertraagden hiaten in telemetrie en monitoring voor de MFA-services de identificatie en het begrip van deze hoofdoorzaken, wat een langere bestrijdingstijd veroorzaakte. De eerste twee hoofdoorzaken werden geïdentificeerd als problemen op de MFA-frontendserver, beide geïntroduceerd in een uitrol van een code-update die begon in sommige datacenters (DC's) op dinsdag 13 november 2018 en voltooid in alle DC's op vrijdag 16 november 2018. Later werd vastgesteld dat de problemen werden geactiveerd zodra een bepaalde verkeersdrempel werd overschreden, die voor het eerst begin maandag (UTC) plaatsvond in de Azure West Europe (EU) DC's. De kenmerken van het ochtendspitsverkeer in de West-Europese DC's waren de eersten die de drempel overschreden die de bug veroorzaakte. De derde hoofdoorzaak is niet geïntroduceerd in deze uitrol en is gevonden als onderdeel van het onderzoek naar deze gebeurtenis.

1. De eerste hoofdoorzaak manifesteerde zich als een latentieprobleem in de communicatie van de MFA-frontend met zijn cacheservices. Dit probleem begon onder hoge belasting zodra een bepaalde verkeersdrempel was bereikt. Zodra de MFA-services dit eerste probleem ondervonden, werd de kans groter dat ze de tweede hoofdoorzaak veroorzaakten.
2. De tweede hoofdoorzaak is een raceconditie bij het verwerken van reacties van de MFA-backendserver die heeft geleid tot hergebruik van de MFA-frontendserverprocessen die extra latentie kunnen veroorzaken en de derde hoofdoorzaak (hieronder) op de MFA-backend.
3. De derde geïdentificeerde hoofdoorzaak was een eerder onopgemerkt probleem in de backend MFA-server dat werd geactiveerd door de tweede hoofdoorzaak. Dit probleem veroorzaakt accumulatie van processen op de MFA-backend, wat leidt tot uitputting van bronnen op de backend, waarna het geen verdere verzoeken van de MFA-frontend kon verwerken terwijl het verder in orde leek in onze controle.

Microsoft zei ook dat ze de volgende stappen zullen nemen om dergelijke problemen in de toekomst te voorkomen.

• Bekijk onze update-implementatieprocedures om soortgelijke problemen beter te identificeren tijdens onze ontwikkelings- en testcycli (voltooid tegen december 2018)
• Bekijk de bewakingsservices om manieren te vinden om de detectietijd te verkorten en de service snel te herstellen (voltooiing tegen december 2018)
• Bekijk ons ​​inperkingsproces om te voorkomen dat een probleem naar andere datacenters wordt verspreid (voltooid tegen januari 2019)
• Update het communicatieproces naar het Service Health Dashboard en monitoringtools om publicatieproblemen onmiddellijk tijdens incidenten te detecteren (voltooid tegen december 2018)

We zullen het bericht bijwerken met de laatste informatie over de storing van vandaag zodra Microsoft deze heeft verstrekt.

Update van Microsoft:

HUIDIGE BEPERKING: Ingenieurs zijn momenteel bezig met het fietsen van backend-services die verantwoordelijk zijn voor het verwerken van MFA-verzoeken. Deze mitigatiestap wordt regio per regio uitgerold, waarbij een aantal regio's al is voltooid. Ingenieurs evalueren de impact opnieuw nadat elke regio is voltooid. Technici hebben ook vastgesteld dat een DNS-probleem (Domain Name System) ertoe heeft geleid dat aanmeldingsverzoeken zijn mislukt, maar dit probleem is verholpen en technici starten de authenticatie-infrastructuur opnieuw op.