Microsoftov težaven ponedeljek
Včeraj je imel Microsoft resne težave s svojo storitvijo Microsoft 365, z njim pa bržkone tudi pol sveta.
Microsoft je v ponedeljek zvečer odpravljal obsežnejše težave v okolju Microsoft 365, ki so najbolj prizadele Exchange Online in Outlook. Uporabniki so poročali o težavah pri prijavi, pošiljanju in prejemanju elektronske pošte ter dostopu do posameznih funkcij. Microsoft je incident vodil pod oznakama EX1464935 in MO1465074.
Vzrok težav je bil povezan z jedrno konfiguracijo avtentikacijskih komponent, ki jih uporablja več storitev Microsoft 365. Težave zato niso bile omejene zgolj na Exchange Online, temveč so vplivale tudi na OneDrive for Business, SharePoint Online, Teams, Purview in Defender XDR.
Microsoft je sprva poskušal ponovno namestiti oziroma obnoviti prizadete avtentikacijske komponente, vendar se te na delu infrastrukture niso pravilno nameščale. Pozneje so začeli popravek širše uvajati ter hkrati ponovno zaganjati posamezne dele infrastrukture. Storitev se je nato postopoma začela vzpostavljati, pri čemer nekatere posledice, denimo težave z iskanjem, še vedno vztrajajo (torek zjutraj), tudi po obnovitvi osnovnega pretoka elektronske pošte.
Uradni Microsoftov zapis dogajanja
Za dobro jutro še povzetek dogajanja, kot ga je zapisal – kdo drug kot ChatGPT:
Kratek časovni potek včerajšnjega Microsoftovega ponedeljka:
🕔 17:08 – Microsoft 365 začne razpadati. Najprej predvsem Exchange/Outlook. Microsoft: Hmm, zaznavamo nekaj nenavadnega.
🕠 17:30 – Aha, nekaj je narobe z avtentikacijo in povezovanjem. Preiskujemo.
🕗 20:25 – Po treh urah: Našli smo problem! Jedrna avtentikacijska konfiguracija, ki jo uporablja več storitev Microsoft 365. Imamo tudi možno rešitev. Samo še preizkusimo jo.
🕘 21:00 – Rešitev še malo »fine-tunamo«.
🕤 21:32 – Rešitev temeljito testiramo, da z njo ne bi slučajno pokvarili še česa drugega. Vzporedno iščemo tudi druge rešitve. 😁
🕥 22:36 – Hm. Avtentikacijske komponente se iz nekega razloga ne namestijo tako, kot bi se morale. Zdaj gledamo, kaj smo pred kratkim spreminjali. Razmišljamo tudi o rollbacku.
🕚 23:27 – Misconfiguration. Še vedno ne dela.
🕛 23:55 – Preizkušamo različne načine, kako komponento vendarle spraviti tja, kamor sodi. Nekateri testi so celo uspešni!
🕐 00:53 – Imamo popravek! Začeli smo ponovno nameščati ključne avtentikacijske komponente. Na delu infrastrukture je že bolje, zato gremo na veliko.
🕜 01:33 – Mail se počasi prebuja. Za vsak primer pa začenjamo še restartati posamezne dele infrastrukture.
🕝 02:37 – Restartamo vedno več infrastrukture, da bodo nove avtentikacijske komponente res prijele. Pošta, ki je medtem čakala v vrsti, bo prišla … nekoč.
🌅 zjutraj – Še vedno odpravljajo posledice, med drugim težave z iskanjem, in restartajo posamezne instance.
Povzetek:
17:08: »Nekaj ne dela.«
20:25: »Vemo, kaj ne dela.«
22:36: »Vemo, kaj bi moralo popraviti to, kar ne dela, ampak tudi to ne dela.«
00:53: »Zdaj pa mogoče dela.«
01:33: »Restartaj.«
02:37: »Restartaj še ostalo.« 😁
Mimogrede, da ne bo pomote - pri Monitorju resno sočustvujemo z vsemi tehniki pri Microsoftu, ki so preživljali ta(k) ponedeljek, medtem ko jim je nad glavo "visela" milijarda uporabnikov s celega sveta!
