No está solo, Azure Multi-Factor Authentication está inactivo nuevamente

La autenticación multifactor de Microsoft está inactiva nuevamente para algunos clientes. Microsoft confirmó el problema en su página de estado y mencionó que los clientes afectados pueden encontrar errores de tiempo de espera. Los ingenieros de Azure son conscientes de este problema y están investigando activamente las opciones de mitigación.

Es importante tener en cuenta que la semana pasada, el servicio de autenticación multifactor de Microsoft dejó de funcionar durante varias horas y bloqueó el acceso de millones de usuarios a varios servicios, incluidos Office 365, Azure, Dynamics y otros servicios que usan Azure Active Directory para la autenticación. Microsoft publicó recientemente el siguiente análisis de la causa raíz de esta interrupción.

Se descubrieron tres causas raíz independientes. Además, las brechas en la telemetría y el monitoreo de los servicios de MFA retrasaron la identificación y la comprensión de estas causas fundamentales, lo que provocó un tiempo de mitigación prolongado. Las dos primeras causas raíz se identificaron como problemas en el servidor front-end de MFA, ambas introducidas en una implementación de una actualización de código que comenzó en algunos centros de datos (DC) el martes 13 de noviembre de 2018 y se completó en todos los DC el viernes 16 de noviembre. 2018. Posteriormente se determinó que los problemas se activarían una vez que se excediera un determinado umbral de tráfico, lo que ocurrió por primera vez el lunes temprano (UTC) en los DC de Azure West Europe (EU). Las características del tráfico pico de la mañana en los DC del oeste de la UE fueron las primeras en cruzar el umbral que desencadenó el error. La tercera causa raíz no se introdujo en este lanzamiento y se encontró como parte de la investigación de este evento.

1. La primera causa raíz se manifestó como un problema de latencia en la comunicación de la interfaz de MFA con sus servicios de caché. Este problema comenzó con una carga alta una vez que se alcanzó cierto umbral de tráfico. Una vez que los servicios de MFA experimentaron este primer problema, era más probable que desencadenaran una segunda causa raíz.
2. La segunda causa principal es una condición de carrera en el procesamiento de las respuestas del servidor de backend de MFA que condujo a reciclados de los procesos del servidor de frontend de MFA que pueden desencadenar una latencia adicional y la tercera causa principal (a continuación) en el backend de MFA.
3. La tercera causa raíz identificada fue un problema no detectado previamente en el servidor MFA backend que fue activado por la segunda causa raíz. Este problema provoca la acumulación de procesos en el backend de MFA, lo que lleva al agotamiento de los recursos en el backend, momento en el que no pudo procesar más solicitudes del frontend de MFA mientras que, por lo demás, aparecía en buen estado en nuestro monitoreo.

Microsoft también mencionó que tomarán los siguientes pasos para evitar tales problemas en el futuro.

• Revise nuestros procedimientos de implementación de actualizaciones para identificar mejor problemas similares durante nuestros ciclos de desarrollo y prueba (terminación para diciembre de 2018)
• Revisar los servicios de monitoreo para identificar formas de reducir el tiempo de detección y restaurar rápidamente el servicio (terminación para diciembre de 2018)
• Revise nuestro proceso de contención para evitar propagar un problema a otros centros de datos (finalización para enero de 2019)
• Actualice el proceso de comunicaciones al Panel de estado del servicio y las herramientas de monitoreo para detectar problemas de publicación inmediatamente durante los incidentes (terminación para diciembre de 2018)

Actualizaremos la publicación con la información más reciente sobre la interrupción de hoy una vez que Microsoft la proporcione.

Actualización de Microsoft:

MITIGACIÓN ACTUAL: Los ingenieros se encuentran actualmente en el proceso de ciclo de los servicios de back-end responsables de procesar las solicitudes de MFA. Este paso de mitigación se está implementando región por región con varias regiones ya completadas. Los ingenieros están reevaluando el impacto después de que se complete cada región. Los ingenieros también determinaron que un problema del sistema de nombres de dominio (DNS) provocó que fallaran las solicitudes de inicio de sesión, pero este problema se mitiga y los ingenieros están reiniciando la infraestructura de autenticación.