ITNEWS.pro
…
2 часа назад
Подписаться
Ошибка из июля. Что признала Microsoft в отчете о сбое Microsoft 365

Глобальный сбой Microsoft 365, который оставил без почты, Teams и Copilot пользователей из 74 стран и территорий, запустило исправление, выпущенное еще в июле. Об этом Microsoft сообщила клиентам в предварительном отчете. Ошибка пролежала в коде больше трех месяцев и никто ее не заметил.

Исправление предназначалось для сетевых шлюзов Microsoft 365, то есть серверов, через которые сервисы принимают соединения. Дефект вызывал борьбу за блокировки (когда несколько потоков одновременно пытаются занять один ресурс) внутри системной службы Windows. В итоге серверу не хватало вычислительной мощности и памяти, и он переставал отвечать. Проверку нагрузкой июльское обновление прошло, поскольку тесты, как признала компания, шли в основном на слабых машинах с малым числом ядер. Между тем эта борьба обостряется на свежем оборудовании, где вычислительных блоков в процессоре больше.

Чтобы ловушка сработала, понадобились три обстоятельства сразу. Сначала примерно за 15 часов до первых симптомов Teams переключили на шлюз, который обслуживает еще и Exchange Online (облачную почту), и нагрузка выросла, хотя оставалась в обычных пределах. К этому времени около 14% его мощностей уже вышли из строя, но запас у сервиса был достаточный. Вместе с проблемой в коде он перестал выручать: упавший узел перекладывал трафик на соседа, тот упирался в ту же ловушку, и сбой пошел по цепочке. Тревогу первой подняла система мониторинга, а обращение в поддержку пришло через полчаса. На пике более 80% серверов не отвечали, а по словам руководителя направления Copilot Чарльза Ламанны, ошибка проявилась на всем парке меньше чем за два часа.

Починить сервис сразу не удалось. Обычный откат, поэтапное включение и флаги функций (переключатели, которыми новый код отключают на лету) изменение быстро отменить не смогли, признал Ламанна. По отчету, дефект был скрытым и появился давно. Автоматическое восстановление тоже не помогло, потому что его не рассчитывали на массовое зависание. Около 15 часов ушло на попытки, которые ничего не дали. Тогда инженеры написали другое обновление, которое вернуло код Windows к последнему заведомо рабочему состоянию, и стали применять его к серверам группами. В кризисном штабе работали более тысячи человек.

Раньше остальных вернулись Teams, OneDrive, SharePoint и приложения Office, потому что смогли уйти с неисправных шлюзов. Exchange Online по причине масштаба так сделать не может, поэтому Outlook остался без связи дольше всех. Восстановление шло поэтапно, и после каждой группы серверов инженеры проверяли стабильность, чтобы накопившийся трафик не повалил их снова.

Отчет оставляет вопросы. Microsoft не объяснила, почему тестовые стенды обошлись без современных мощных машин и как ошибка молчала три месяца. Не названо и число пострадавших организаций, а о компенсациях речь не идет вовсе. Размер скидки по договору об уровне обслуживания мы разбирали в прошлом материале. Журналист The Register Ричард Спид считает, что процессы, пропустившие скрытый дефект в рабочую среду, придется серьезно пересматривать.

Конгрессмен Эндрю Гарбарино из комитета палаты представителей по внутренней безопасности уже запросил объяснения у Microsoft и у CISA (американского агентства кибербезопасности). Полный отчет компания обещает 20 ноября.

Подписывайся на наш Telegram и не пропусти главные новости!