Nie jesteś sam, usługa Azure Multi-Factor Authentication znów nie działa

U niektórych klientów usługa Multi-Factor Authentication firmy Microsoft ponownie nie działa. Microsoft potwierdził problem na swoim strona statusu i wspomniał, że klienci, których to dotyczy, mogą napotkać błędy przekroczenia limitu czasu. Inżynierowie platformy Azure są świadomi tego problemu i aktywnie badają opcje łagodzenia.

Należy zauważyć, że w zeszłym tygodniu usługa Multi-Factor Authentication firmy Microsoft nie działała na kilka godzin, blokując milionom użytkowników dostęp do różnych usług, w tym Office 365, Azure, Dynamics i innych usług, które wykorzystują Azure Active Directory do uwierzytelniania. Firma Microsoft opublikowała niedawno poniższą analizę głównych przyczyn tej awarii.

Odkryto trzy niezależne przyczyny. Ponadto luki w telemetrii i monitorowaniu usług MFA opóźniły identyfikację i zrozumienie tych podstawowych przyczyn, co spowodowało wydłużony czas łagodzenia skutków. Pierwsze dwie główne przyczyny zostały zidentyfikowane jako problemy na serwerze frontendu usługi MFA, które zostały wprowadzone podczas wdrażania aktualizacji kodu, która rozpoczęła się w niektórych centrach danych (DC) we wtorek 13 listopada 2018 r. i została zakończona we wszystkich centrach danych do piątku 16 listopada 2018. Później ustalono, że problemy zostaną aktywowane po przekroczeniu określonego progu ruchu, co wystąpiło po raz pierwszy we wczesnych godzinach poniedziałkowych (UTC) w kontrolerach domeny Azure West Europe (UE). Charakterystyki ruchu w porannym szczycie w zachodnioeuropejskich centrach dystrybucji były pierwszymi, które przekroczyły próg, który wywołał błąd. Trzecia główna przyczyna nie została wprowadzona podczas tego wdrożenia i została znaleziona w ramach dochodzenia w sprawie tego zdarzenia.

1. Pierwsza główna przyczyna objawiająca się problemem z opóźnieniem w komunikacji frontendu usługi MFA z usługami pamięci podręcznej. Ten problem zaczął się pod dużym obciążeniem po osiągnięciu pewnego progu ruchu. Gdy usługi MFA napotkały ten pierwszy problem, z większym prawdopodobieństwem wywołały drugą główną przyczynę.
2. Druga główna przyczyna to wyścig w przetwarzaniu odpowiedzi z serwera zaplecza usługi MFA, który doprowadził do ponownego uruchomienia procesów serwera frontendu usługi MFA, co może wywołać dodatkowe opóźnienia, a trzecia główna przyczyna (poniżej) na zapleczu usługi MFA.
3. Trzecią zidentyfikowaną główną przyczyną był wcześniej niewykryty problem na serwerze MFA zaplecza, który został wywołany przez drugą główną przyczynę. Ten problem powoduje nagromadzenie procesów w zapleczu usługi MFA, co prowadzi do wyczerpania zasobów w zapleczu, w którym to momencie nie można przetworzyć żadnych dalszych żądań z interfejsu usługi MFA, mimo że nasze monitorowanie wydaje się być prawidłowe.

Microsoft wspomniał również, że zamierza podjąć następujące kroki, aby uniknąć takich problemów w przyszłości.

• Przejrzyj nasze procedury wdrażania aktualizacji, aby lepiej identyfikować podobne problemy podczas naszych cykli opracowywania i testowania (zakończenie do grudnia 2018 r.)
• Przejrzyj usługi monitorowania, aby zidentyfikować sposoby skrócenia czasu wykrywania i szybkiego przywrócenia usługi (zakończenie do grudnia 2018 r.)
• Przejrzyj nasz proces zabezpieczania, aby uniknąć rozprzestrzeniania się problemu do innych centrów danych (zakończenie do stycznia 2019 r.)
• Aktualizacja procesu komunikacji do pulpitu nawigacyjnego kondycji usług i narzędzi monitorujących w celu wykrywania problemów z publikowaniem natychmiast podczas incydentów (zakończenie do grudnia 2018 r.)

Zaktualizujemy post o najnowsze informacje dotyczące dzisiejszej awarii, gdy Microsoft je udostępni.

Aktualizacja od Microsoft:

OBECNE ŁAGODZENIE: Inżynierowie są obecnie w trakcie cyklicznego uruchamiania usług zaplecza odpowiedzialnych za przetwarzanie żądań MFA. Ten krok łagodzący jest wdrażany region po regionie, a wiele regionów zostało już ukończonych. Inżynierowie ponownie oceniają wpływ po ukończeniu każdego regionu. Inżynierowie ustalili również, że problem z systemem nazw domen (DNS) powodował niepowodzenie żądań logowania, ale ten problem został złagodzony i inżynierowie ponownie uruchamiają infrastrukturę uwierzytelniania.