Vous n'êtes pas seul, Azure Multi-Factor Authentication est à nouveau en panne

L'authentification multifacteur de Microsoft est à nouveau en panne pour certains clients. Microsoft a confirmé le problème sur son Page d'état et mentionné que les clients concernés peuvent rencontrer des erreurs de délai d'attente. Les ingénieurs Azure sont conscients de ce problème et étudient activement les options d'atténuation.

Il est important de noter que la semaine dernière, le service d'authentification multifacteur de Microsoft a été interrompu pendant plusieurs heures, empêchant des millions d'utilisateurs d'accéder à divers services, notamment Office 365, Azure, Dynamics et d'autres services qui utilisent Azure Active Directory pour l'authentification. Microsoft a récemment publié l'analyse des causes profondes ci-dessous pour cette panne.

Trois causes profondes indépendantes ont été découvertes. En outre, des lacunes dans la télémétrie et la surveillance des services MFA ont retardé l'identification et la compréhension de ces causes profondes, ce qui a prolongé le temps d'atténuation. Les deux premières causes profondes ont été identifiées comme des problèmes sur le serveur frontal MFA, tous deux introduits dans le déploiement d'une mise à jour du code qui a commencé dans certains centres de données (DC) le mardi 13 novembre 2018 et s'est achevée dans tous les DC le vendredi 16 novembre. 2018. Les problèmes ont ensuite été déterminés comme étant activés une fois qu'un certain seuil de trafic a été dépassé, ce qui s'est produit pour la première fois tôt lundi (UTC) dans les DC Azure West Europe (EU). Les caractéristiques du trafic de pointe du matin dans les DC de l'ouest de l'UE ont été les premières à franchir le seuil qui a déclenché le bogue. La troisième cause fondamentale n'a pas été introduite dans ce déploiement et a été découverte dans le cadre de l'enquête sur cet événement.

1. La première cause première se manifeste par un problème de latence dans la communication de l'interface MFA avec ses services de cache. Ce problème a commencé sous une charge élevée une fois qu'un certain seuil de trafic a été atteint. Une fois que les services MFA ont rencontré ce premier problème, ils sont devenus plus susceptibles de déclencher une deuxième cause première.
2. La deuxième cause première est une condition de concurrence dans le traitement des réponses du serveur principal MFA qui a conduit à des recyclages des processus du serveur frontal MFA qui peuvent déclencher une latence supplémentaire et la troisième cause première (ci-dessous) sur le serveur principal MFA.
3. La troisième cause première identifiée était un problème précédemment non détecté dans le serveur MFA principal qui a été déclenché par la deuxième cause première. Ce problème provoque une accumulation de processus sur le backend MFA, entraînant un épuisement des ressources sur le backend, auquel cas il n'a pas été en mesure de traiter d'autres demandes du frontend MFA tout en semblant sain dans notre surveillance.

Microsoft a également mentionné qu'il allait prendre les mesures suivantes pour éviter de tels problèmes à l'avenir.

• Passez en revue nos procédures de déploiement de mise à jour pour mieux identifier les problèmes similaires au cours de nos cycles de développement et de test (achèvement d'ici décembre 2018)
• Examiner les services de surveillance pour identifier les moyens de réduire le temps de détection et de restaurer rapidement le service (achèvement d'ici décembre 2018)
• Examiner notre processus de confinement pour éviter de propager un problème à d'autres centres de données (achèvement d'ici janvier 2019)
• Mettre à jour le processus de communication vers le tableau de bord de l'état du service et les outils de surveillance pour détecter immédiatement les problèmes de publication lors d'incidents (achèvement d'ici décembre 2018)

Nous mettrons à jour le message avec les dernières informations concernant la panne d'aujourd'hui une fois que Microsoft les aura fournies.

Mise à jour de Microsoft :

ATTÉNUATION ACTUELLE : les ingénieurs sont actuellement en train de recycler les services backend responsables du traitement des demandes MFA. Cette étape d'atténuation est déployée région par région avec un certain nombre de régions déjà terminées. Les ingénieurs réévaluent l'impact après la fin de chaque région. Les ingénieurs ont également déterminé qu'un problème de système de noms de domaine (DNS) a provoqué l'échec des demandes de connexion, mais ce problème est atténué et les ingénieurs redémarrent l'infrastructure d'authentification.