Bạn không đơn độc, Xác thực đa yếu tố Azure lại bị lỗi

Xác thực đa yếu tố của Microsoft lại ngừng hoạt động đối với một số khách hàng. Microsoft đã xác nhận sự cố trên trang trạng thái và đã đề cập rằng những khách hàng bị ảnh hưởng có thể gặp phải lỗi hết thời gian chờ. Các kỹ sư Azure đã biết về vấn đề này và đang tích cực điều tra các phương án giảm thiểu.

Điều quan trọng cần lưu ý là mới tuần trước, dịch vụ Xác thực Đa yếu tố của Microsoft đã ngừng hoạt động trong vài giờ, chặn hàng triệu người dùng truy cập vào các dịch vụ khác nhau bao gồm Office 365, Azure, Dynamics và các dịch vụ khác sử dụng Azure Active Directory để xác thực. Microsoft gần đây đã đăng bản phân tích nguyên nhân gốc rễ dưới đây cho sự cố ngừng hoạt động này.

Có ba nguyên nhân gốc rễ độc lập được phát hiện. Ngoài ra, những lỗ hổng trong đo lường và giám sát từ xa đối với các dịch vụ MFA đã làm trì hoãn việc xác định và hiểu các nguyên nhân gốc rễ này, dẫn đến kéo dài thời gian giảm thiểu. Hai nguyên nhân gốc đầu tiên được xác định là sự cố trên máy chủ giao diện người dùng MFA, cả hai đều được giới thiệu trong đợt triển khai bản cập nhật mã bắt đầu trong một số trung tâm dữ liệu (DC) vào thứ Ba, ngày 13 tháng 2018 năm 16 và hoàn tất ở tất cả các DC trước thứ Sáu, ngày 2018 tháng XNUMX. XNUMX. Các vấn đề sau đó được xác định là có thể được kích hoạt sau khi vượt quá ngưỡng lưu lượng truy cập nhất định, lần đầu tiên xảy ra vào đầu Thứ Hai (UTC) ở các nước Azure Tây Âu (EU). Đặc điểm giao thông vào giờ cao điểm buổi sáng ở các nước DC thuộc Tây EU là đặc điểm đầu tiên vượt qua ngưỡng gây ra lỗi. Nguyên nhân gốc rễ thứ ba không được đưa ra trong bản giới thiệu này và được tìm thấy như một phần của cuộc điều tra về sự kiện này.

1. Nguyên nhân gốc đầu tiên được biểu hiện dưới dạng vấn đề độ trễ trong giao tiếp của giao diện người dùng MFA với các dịch vụ bộ nhớ cache của nó. Sự cố này bắt đầu xảy ra khi tải cao sau khi đạt đến một ngưỡng lưu lượng nhất định. Khi các dịch vụ MFA gặp sự cố đầu tiên này, chúng có nhiều khả năng gây ra nguyên nhân gốc rễ thứ hai.
2. Nguyên nhân gốc thứ hai là tình trạng chạy đua trong xử lý phản hồi từ máy chủ phụ trợ MFA dẫn đến việc tái chế các quy trình của máy chủ giao diện người dùng MFA có thể gây ra độ trễ bổ sung và nguyên nhân gốc thứ ba (bên dưới) trên phụ trợ MFA.
3. Nguyên nhân gốc thứ ba được xác định, trước đây là vấn đề chưa được phát hiện trong máy chủ MFA phụ trợ được kích hoạt bởi nguyên nhân gốc thứ hai. Sự cố này gây ra sự tích tụ các quy trình trên phần phụ trợ MFA dẫn đến cạn kiệt tài nguyên trên phần phụ trợ, tại thời điểm đó, nó không thể xử lý thêm bất kỳ yêu cầu nào từ giao diện người dùng MFA trong khi vẫn có vẻ lành mạnh trong quá trình theo dõi của chúng tôi.

Microsoft cũng đề cập rằng họ sẽ thực hiện các bước sau để tránh những vấn đề như vậy trong tương lai.

• Xem lại quy trình triển khai cập nhật của chúng tôi để xác định rõ hơn các vấn đề tương tự trong chu kỳ phát triển và thử nghiệm của chúng tôi (hoàn thành trước tháng 2018 năm XNUMX)
• Xem xét các dịch vụ giám sát để xác định các cách giảm thời gian phát hiện và nhanh chóng khôi phục dịch vụ (hoàn thành trước tháng 2018 năm XNUMX)
• Xem lại quy trình ngăn chặn của chúng tôi để tránh lan truyền sự cố đến các trung tâm dữ liệu khác (hoàn thành trước tháng 2019 năm XNUMX)
• Cập nhật quy trình liên lạc lên Bảng điều khiển tình trạng dịch vụ và các công cụ giám sát để phát hiện các vấn đề xuất bản ngay lập tức khi có sự cố (hoàn thành trước tháng 2018 năm XNUMX)

Chúng tôi sẽ cập nhật bài đăng với thông tin mới nhất về sự cố ngừng hoạt động hôm nay khi Microsoft cung cấp.

Cập nhật từ Microsoft:

GIẢM THIỂU HIỆN TẠI: Các kỹ sư hiện đang trong quá trình quay vòng các dịch vụ phụ trợ chịu trách nhiệm xử lý các yêu cầu MFA. Bước giảm thiểu này đang được triển khai theo khu vực với một số khu vực đã được hoàn thành. Các kỹ sư đang đánh giá lại tác động sau khi từng khu vực hoàn thành. Các kỹ sư cũng đã xác định sự cố Hệ thống tên miền (DNS) khiến yêu cầu đăng nhập không thành công, nhưng vấn đề này đã được giảm nhẹ và các kỹ sư đang khởi động lại cơ sở hạ tầng xác thực.