В последний месяц химкинские электросети частенько радовали инженеров ДЦ штатными отключениями и авариями, но, благодаря резервированию каналов электропитания, наши клиенты этого даже не замечали.
Сегодня, по иронии судьбы в пятницу 13, во время очередного отключения электропитания вышла из строя автоматика дизельной группы (3:55 МСК).
К решению проблемы приступили оперативно — за 2 часа починили автоматику и запустили питание (к 5:55 по МСК). Большая часть серверов запустилась в автоматическом режиме без ошибок и потерь данных до 6:30 МСК. Остальным нодам потребовалась 15-минутная перезагрузка сети (7:30 по МСК). После неё еще несколько сотен серверов загрузились автоматически. Начиная с 6:30 МСК по текущее время администраторы запускают остальные ноды в ручном режиме.
С 10:30 МСК ограничим доступ к личному кабинету и звонкам на пару часов — биллинговая система не справляется с количеством запросов. Ожидаем, что до 13:00 по МСК восстановим работу 99% серверов и снимем ограничения доступа к ЛК.
В понедельник выложим официальное заявление на сайте.