Et ole yksin, Azure Multi-Factor Authentication on jälleen poissa käytöstä

Microsoftin monitekijätodennus on jälleen poissa joillakin asiakkailla. Microsoft vahvisti ongelman Tilasivulla ja mainitsi, että asiakkaat voivat kohdata aikakatkaisuvirheitä. Azure-insinöörit ovat tietoisia tästä ongelmasta ja tutkivat aktiivisesti lievennysvaihtoehtoja.

On tärkeää huomata, että juuri viime viikolla Microsoftin Multi-Factor Authentication -palvelu lakkasi useaksi tunniksi estäen miljoonien käyttäjien pääsyn eri palveluihin, mukaan lukien Office 365, Azure, Dynamics ja muut palvelut, jotka käyttävät Azure Active Directory -todennusta. Microsoft julkaisi äskettäin alla olevan syyanalyysin tälle katkolle.

Kolme riippumatonta perussyytä löydettiin. Lisäksi UM-palvelujen telemetrian ja valvonnan puutteet viivästyttivät näiden perimmäisten syiden tunnistamista ja ymmärtämistä, mikä pidensi lieventämisaikaa. Kaksi ensimmäistä perimmäistä syytä tunnistettiin ongelmiksi MFA-etupalvelinpalvelimessa. Molemmat otettiin käyttöön koodipäivityksen yhteydessä, joka alkoi joissakin datakeskuksissa tiistaina 13. marraskuuta 2018 ja saatiin päätökseen kaikissa DC:issä perjantaihin 16. marraskuuta mennessä. 2018. Ongelmat päätettiin myöhemmin aktivoitua, kun tietty liikennekynnys ylittyi, mikä tapahtui ensimmäistä kertaa aikaisin maanantaina (UTC) Azure West Europen (EU) DC:issä. Länsi-EU:n DC-maiden aamuhuippujen ominaisuudet ylittivät ensimmäisenä vian laukaisevan kynnyksen. Kolmatta perimmäistä syytä ei esitelty tässä julkaisussa, ja se löydettiin osana tämän tapahtuman tutkintaa.

1. Ensimmäinen perimmäinen syy ilmeni latenssiongelmana MFA-käyttöliittymän tiedonsiirrossa välimuistipalveluihin. Tämä ongelma alkoi suurella kuormituksella, kun tietty liikennekynnys saavutettiin. Kun MFA-palvelut havaitsivat tämän ensimmäisen ongelman, ne aiheuttivat todennäköisemmin toisen perussyyn.
2. Toinen perimmäinen syy on kilpailutilanne MFA-taustapalvelimen vastausten käsittelyssä, mikä johti MFA-etupalvelimen prosessien kierrättämiseen, mikä voi laukaista lisäviivettä ja kolmannen (alla) syyn MFA-taustajärjestelmässä.
3. Kolmas tunnistettu perimmäinen syy oli aiemmin havaitsematon MFA-taustapalvelimen ongelma, jonka toinen perimmäinen syy laukaisi. Tämä ongelma aiheuttaa prosessien kerääntymisen MFA-taustajärjestelmään, mikä johtaa taustan resurssien loppumiseen, jolloin se ei pystynyt käsittelemään muita MFA-käyttöliittymän pyyntöjä, mutta muuten se vaikutti valvonnassamme terveeltä.

Microsoft mainitsi myös, että he aikovat toteuttaa seuraavat toimet välttääkseen tällaiset ongelmat tulevaisuudessa.

• Tarkista päivitysten käyttöönottomenettelymme, jotta voit tunnistaa samankaltaiset ongelmat paremmin kehitys- ja testausjaksojemme aikana (valtuutettu joulukuuhun 2018 mennessä)
• Tarkista valvontapalvelut löytääksesi tapoja lyhentää havaitsemisaikaa ja palauttaa palvelu nopeasti (valmistui joulukuuhun 2018 mennessä)
• Tarkista suojausprosessimme välttääksesi ongelman leviämisen muihin palvelinkeskuksiin (valmistui tammikuussa 2019)
• Päivitä viestintäprosessi Service Health Dashboardiin ja seurantatyökaluihin julkaisuongelmien havaitsemiseksi välittömästi tapahtumien aikana (valtuutettu joulukuuhun 2018 mennessä)

Päivitämme viestiin uusimmat tiedot tämän päivän katkosta, kun Microsoft toimittaa ne.

Päivitys Microsoftilta:

NYKYINEN LEVENTÄMINEN: Insinöörit ovat parhaillaan kierrättämässä MFA-pyyntöjen käsittelystä vastaavia taustapalveluita. Tämä lievennysvaihe otetaan käyttöön alueittain, ja monet alueet on jo saatu päätökseen. Insinöörit arvioivat vaikutusta uudelleen kunkin alueen valmistuttua. Suunnittelijat ovat myös määrittäneet DNS-ongelman, joka aiheutti kirjautumispyyntöjen epäonnistumisen, mutta tämä ongelma on lieventynyt ja suunnittelijat käynnistävät todennusinfrastruktuurin uudelleen.