Nejste sami, Azure Multi-Factor Authentication opět nefunguje

Multi-Factor Authentication společnosti Microsoft je pro některé zákazníky opět mimo provoz. Microsoft potvrdil problém na svém Stavová stránka a uvedl, že dotčení zákazníci mohou narazit na chyby vypršení časového limitu. Inženýři Azure jsou si tohoto problému vědomi a aktivně zkoumají možnosti zmírnění.

Je důležité poznamenat, že právě minulý týden na několik hodin nefungovala služba Microsoft Multi-Factor Authentication, která milionům uživatelů zablokovala přístup k různým službám včetně Office 365, Azure, Dynamics a dalších služeb, které k ověřování využívají Azure Active Directory. Microsoft nedávno zveřejnil níže uvedenou analýzu hlavních příčin tohoto výpadku.

Byly objeveny tři nezávislé základní příčiny. Kromě toho mezery v telemetrii a monitorování pro služby MFA zpozdily identifikaci a pochopení těchto základních příčin, což způsobilo delší dobu zmírňování. První dvě hlavní příčiny byly identifikovány jako problémy na frontend serveru MFA, obě byly představeny v rámci zavádění aktualizace kódu, která začala v některých datových centrech (DC) v úterý 13. listopadu 2018 a dokončena ve všech DC do pátku 16. listopadu. 2018. Později bylo zjištěno, že problémy budou aktivovány, jakmile bude překročena určitá prahová hodnota provozu, k čemuž došlo poprvé v pondělí brzy (UTC) v Azure West Europe (EU) DC. Charakteristiky ranní špičky v DC v západní EU byly první, kdo překročil práh, který spustil chybu. Třetí hlavní příčina nebyla v tomto zavedení uvedena a byla nalezena v rámci vyšetřování této události.

1. První hlavní příčina se projevila jako problém s latencí v komunikaci frontendu MFA s jeho službami mezipaměti. Tento problém začal při vysokém zatížení, jakmile bylo dosaženo určitého prahu provozu. Jakmile služby MFA zaznamenaly tento první problém, byla pravděpodobnější, že spustí druhou hlavní příčinu.
2. Druhou hlavní příčinou je spor při zpracování odpovědí z backendového serveru MFA, který vedl k recyklaci procesů frontendového serveru MFA, což může spustit další latenci, a třetí hlavní příčina (níže) na backendu MFA.
3. Třetí identifikovaná hlavní příčina byla dříve nezjištěným problémem na backendovém serveru MFA, který byl spuštěn druhou hlavní příčinou. Tento problém způsobuje hromadění procesů na backendu MFA, což vede k vyčerpání zdrojů na backendu, kdy nebylo možné zpracovat žádné další požadavky z frontendu MFA, i když se jinak v našem monitorování jevilo v pořádku.

Microsoft také uvedl, že se chystají podniknout následující kroky, aby se takovým problémům v budoucnu vyhnul.

• Přečtěte si naše postupy nasazení aktualizací, abyste mohli lépe identifikovat podobné problémy během našich vývojových a testovacích cyklů (dokončení do prosince 2018)
• Projděte si monitorovací služby a najděte způsoby, jak zkrátit dobu detekce a rychle obnovit službu (dokončení do prosince 2018)
• Přečtěte si náš proces omezování, abyste předešli šíření problému do jiných datových center (dokončení do ledna 2019)
• Aktualizujte komunikační proces na Service Health Dashboard a monitorovací nástroje, aby bylo možné okamžitě detekovat problémy s publikováním během incidentů (dokončení do prosince 2018)

Jakmile je Microsoft poskytne, aktualizujeme příspěvek nejnovějšími informacemi o dnešním výpadku.

Aktualizace od společnosti Microsoft:

AKTUÁLNÍ ZMÍRNĚNÍ: Inženýři jsou v současné době v procesu cyklování backendových služeb odpovědných za zpracování žádostí o makrofinanční pomoc. Tento krok zmírnění je zaváděn region po regionu, přičemž řada regionů již byla dokončena. Inženýři přehodnocují dopad po dokončení každé oblasti. Technici také zjistili, že problém se systémem DNS (Domain Name System) způsobil selhání požadavků na přihlášení, ale tento problém je zmírněn a inženýři restartují infrastrukturu ověřování.