คุณไม่ได้อยู่คนเดียว Azure Multi-Factor Authentication หยุดทำงานอีกครั้ง

Multi-Factor Authentication ของ Microsoft หยุดให้บริการอีกครั้งสำหรับลูกค้าบางราย Microsoft ยืนยันปัญหาใน หน้าสถานะ และกล่าวว่าลูกค้าที่ได้รับผลกระทบอาจพบข้อผิดพลาดการหมดเวลา วิศวกรของ Azure ตระหนักถึงปัญหานี้และกำลังตรวจสอบตัวเลือกการบรรเทาผลกระทบอย่างจริงจัง

สิ่งสำคัญที่ควรทราบคือเมื่อสัปดาห์ที่แล้ว บริการ Multi-Factor Authentication ของ Microsoft หยุดทำงานหลายชั่วโมง ทำให้ผู้ใช้หลายล้านคนไม่สามารถเข้าถึงบริการต่างๆ รวมถึง Office 365, Azure, Dynamics และบริการอื่นๆ ที่ใช้ Azure Active Directory สำหรับการรับรองความถูกต้อง Microsoft เพิ่งโพสต์การวิเคราะห์สาเหตุหลักด้านล่างสำหรับการหยุดทำงานนี้

มีการค้นพบสาเหตุที่แท้จริงสามประการ นอกจากนี้ ช่องว่างในการวัดผลทางไกลและการตรวจสอบสำหรับบริการ MFA ทำให้การระบุและทำความเข้าใจสาเหตุหลักเหล่านี้ล่าช้า ซึ่งทำให้เวลาในการบรรเทาผลกระทบเพิ่มขึ้น สาเหตุหลักสองประการแรกถูกระบุว่าเป็นปัญหาบนเซิร์ฟเวอร์ฟรอนต์เอนด์ MFA ทั้งสองเปิดตัวในการเปิดตัวการอัปเดตโค้ดที่เริ่มขึ้นในศูนย์ข้อมูลบางแห่ง (DC) ในวันอังคารที่ 13 พฤศจิกายน 2018 และแล้วเสร็จใน DC ทั้งหมดภายในวันศุกร์ที่ 16 พฤศจิกายน 2018 ปัญหาถูกกำหนดให้เปิดใช้งานในภายหลังเมื่อเกินเกณฑ์การรับส่งข้อมูลซึ่งเกิดขึ้นเป็นครั้งแรกในต้นวันจันทร์ (UTC) ใน Azure West Europe (EU) DC ลักษณะการจราจรสูงสุดในตอนเช้าใน DC ของสหภาพยุโรปตะวันตกเป็นคนแรกที่ข้ามเกณฑ์ที่ก่อให้เกิดข้อผิดพลาด สาเหตุหลักที่สามไม่ได้นำมาใช้ในการเปิดตัวครั้งนี้ และพบว่าเป็นส่วนหนึ่งของการตรวจสอบเหตุการณ์นี้

1. สาเหตุหลักแรกที่แสดงว่าเป็นปัญหาเวลาแฝงในการสื่อสารของฟรอนท์เอนด์ MFA ไปยังบริการแคช ปัญหานี้เริ่มต้นภายใต้การโหลดสูงเมื่อถึงเกณฑ์การรับส่งข้อมูลที่กำหนด เมื่อบริการ MFA ประสบปัญหาแรกนี้ พวกเขาก็มีแนวโน้มที่จะทริกเกอร์สาเหตุที่สองมากขึ้น
2. สาเหตุรากที่สองคือสภาวะการแข่งขันในการประมวลผลการตอบสนองจากเซิร์ฟเวอร์แบ็กเอนด์ MFA ที่นำไปสู่การรีไซเคิลกระบวนการเซิร์ฟเวอร์ส่วนหน้าของ MFA ซึ่งสามารถกระตุ้นเวลาแฝงเพิ่มเติมและสาเหตุรากที่สาม (ด้านล่าง) บนแบ็กเอนด์ MFA
3. สาเหตุหลักที่สามที่ระบุ ก่อนหน้านี้มีปัญหาที่ตรวจไม่พบในเซิร์ฟเวอร์ MFA แบ็กเอนด์ที่ถูกทริกเกอร์โดยสาเหตุหลักที่สอง ปัญหานี้ทำให้เกิดการสะสมของกระบวนการในแบ็กเอนด์ MFA ซึ่งทำให้ทรัพยากรหมดในแบ็กเอนด์ ณ จุดนี้จึงไม่สามารถดำเนินการตามคำขอเพิ่มเติมจากฟรอนต์เอนด์ MFA ได้ในขณะที่ไม่เป็นเช่นนั้นในการตรวจสอบของเรา

Microsoft ยังกล่าวด้วยว่าพวกเขาจะทำตามขั้นตอนต่อไปนี้เพื่อหลีกเลี่ยงปัญหาดังกล่าวในอนาคต

• ตรวจสอบขั้นตอนการปรับใช้การอัปเดตของเราเพื่อระบุปัญหาที่คล้ายกันได้ดีขึ้นในระหว่างรอบการพัฒนาและการทดสอบของเรา (เสร็จสิ้นภายในเดือนธันวาคม 2018)
• ตรวจสอบบริการตรวจสอบเพื่อระบุวิธีลดเวลาการตรวจจับและกู้คืนบริการอย่างรวดเร็ว (เสร็จสิ้นภายในเดือนธันวาคม 2018)
• ตรวจสอบกระบวนการกักกันของเราเพื่อหลีกเลี่ยงการเผยแพร่ปัญหาไปยังศูนย์ข้อมูลอื่น (เสร็จสิ้นภายในม.ค. 2019)
• อัปเดตกระบวนการสื่อสารไปยัง Service Health Dashboard และเครื่องมือตรวจสอบเพื่อตรวจจับปัญหาการเผยแพร่ทันทีระหว่างที่เกิดเหตุการณ์ (เสร็จสิ้นภายในเดือนธันวาคม 2018)

เราจะอัปเดตโพสต์ด้วยข้อมูลล่าสุดเกี่ยวกับการหยุดทำงานของวันนี้เมื่อ Microsoft จัดเตรียมให้

อัปเดตจาก Microsoft:

การบรรเทาทุกข์ในปัจจุบัน: วิศวกรกำลังอยู่ในกระบวนการของบริการแบ็กเอนด์การปั่นจักรยานที่รับผิดชอบในการประมวลผลคำขอ MFA ขั้นตอนการบรรเทาผลกระทบนี้กำลังเปิดตัวตามภูมิภาคโดยมีจำนวนภูมิภาคที่เสร็จสมบูรณ์แล้ว วิศวกรกำลังประเมินผลกระทบใหม่หลังจากแต่ละภูมิภาคเสร็จสิ้น วิศวกรยังได้ระบุปัญหาของระบบชื่อโดเมน (DNS) ที่ทำให้คำขอลงชื่อเข้าใช้ล้มเหลว แต่ปัญหานี้ได้รับการแก้ไขแล้วและวิศวกรกำลังรีสตาร์ทโครงสร้างพื้นฐานการตรวจสอบสิทธิ์