17 октября злоумышленники получили доступ к части нашей инфраструктуры через уязвимость в системе управления виртуализацией VMmanager 6.
Всем, чьи серверы были затронуты, мы уже отправили уведомление в личный кабинет и на почту со списком серверов и инструкцией. Если вы такого уведомления не получили, это значит что на ваших узлах следов атаки мы не нашли.
Расследование продолжается, если что-то обнаружим, сразу напишем владельцам серверов, которых это касается.
Что произошло:
Злоумышленники запустили на части серверов нашей инфраструктуры программу для кражи данных. Она подключала диски клиентских виртуальных серверов в режиме только для чтения и копировала с них:
- пароли, ключи доступа (SSH, API, облачные сервисы) и токены;
- конфигурационные файлы и историю команд;
- криптокошельки;
- пользовательские файлы.
Собранные данные отправлялись на сервер злоумышленников.
Атака затронула не всю инфраструктуру, а только часть узлов виртуализации. Пострадали клиентские серверы, которые на них работали. Программа ничего не меняла на дисках виртуальных серверов и не запускалась внутри них. Поэтому на самом сервере следов атаки нет, и он работает как обычно. Если вы получили уведомление в личном кабинете, считайте, что данные с сервера были скопированы.
Что уже сделали:
Сразу после обнаружения атаки мы отключили внешний доступ к системе управления виртуализацией, через которую она была проведена. Именно это сейчас защищает инфраструктуру от повторной атаки тем же способом. Мы также заблокировали в нашей сети адрес сервера злоумышленников.
На текущий момент вендор выпустил промежуточный патч и работает над окончательным исправлением, мы на связи с ним. Пока уязвимость не будет полностью устранена, доступ к системе останется закрытым.
Что нужно сделать вам, если вы получили уведомление в личном кабинете:
Главный риск в том, что злоумышленники воспользуются украденными паролями и ключами. Поэтому важно сменить их как можно скорее.
1. Криптокошельки: в первую очередь переведите средства на новые кошельки, созданные на другом, чистом устройстве.
2. Пароли и ключи: смените все пароли, SSH-ключи, API-ключи и токены, которые хранились на сервере: root и пользователей, базы данных, панели управления сайтами, почту, облачные сервисы, CI/CD, платёжные системы.
3. Отзовите старые ключи, а не просто создайте новые: в облачных консолях, GitHub/GitLab, у платёжных провайдеров.
4. Проверьте журналы входов на самом сервере и в сервисах, ключи от которых на нём лежали: не было ли входов с незнакомых адресов после 17 октября. Если злоумышленник успел войти до смены паролей, проверьте ~/.ssh/authorized_keys, новых пользователей, задания cron и службы systemd.
5. Если на сервере были персональные данные ваших клиентов, проконсультируйтесь с юристом об обязанности уведомить Роскомнадзор.
Постмортем будет опубликован после закрытия инцидента и завершения расследования. Будем обновлять данную новость, по мере появления информации.
UPD. 18.10, 15:25 МСК: отправили дополнительные уведомления владельцам серверов, на нодах которых нашли признаки возможной компрометации. Если вам пришло письмо, действуйте по инструкции из него.
UPD 19.10, 7:20 МСК Ночью вендор выпустил ещё одно исправление, оно уже установлено. Уязвимость пока закрыта не полностью: вендор не рекомендует открывать доступ к панели и готовит следующие патчи. До их выхода доступ остаётся закрытым. Сообщим, как только будут новости.
UPD 20.10, 9:35 МСК
1. Работа вендора над устранением уязвимости всё еще продолжается.
2. Доступ к панели виртуализации для клиентов пока останется закрытым, и, скорее всего, надолго. Основные функции управления серверами мы переносим в личный кабинет, работа уже идёт. Не исключаем, что в дальнейшем так и оставим: всё управление будет в личном кабинете.
3. Параллельно отдел эксплуатации пересматривает политики безопасности внутренней инфраструктуры с учётом новых угроз и готовит доработки внутренней сети и систем обслуживания серверов.
4. Заказ виртуальных серверов доступен. Обработка и выдача серверов пока может занимать больше времени, чем обычно.
5. Поддержка работает в обычном режиме, создавать обращения снова можно. Если нагрузка резко вырастет, мы можем на время приостановить приём новых обращений, чтобы быстрее ответить на уже поступившие. В это время общие вопросы по инциденту можно задать в нашем Telegram-чате. Вопросы по конкретным услугам решаем только через обращения.
На серверах по умолчанию размещается SSH-ключ нашей поддержки. Ключи не скомпрометированы, так как они находятся на отдельном выделенном сервере, где подключена система шифрования. IP адреса 85.198.118.171, 85.198.75.83 в этом ключе - служебные, с ограниченным доступом.
UPD 21.10, 15:00 МСК
Коротко, с тем, что появилось за сутки.
- Мы завершили собственный технический разбор инцидента, не дожидаясь результатов расследования вендора. Это позволило уточнить масштаб инцидента и действия злоумышленников. Клиентам, чьи виртуальные машины были определены как затронутые в ходе дополнительной проверки, мы направили уведомления. Уведомления отправлялись в три этапа: на разных узлах вредоносное ПО находилось в разном состоянии и оставило разные следы, поэтому выявить весь охват одновременно не удалось. Дополнительная проверка завершена; по её результатам выявления новых затронутых узлов не ожидаем.
- В ходе разбора мы нашли на части узлов следы закрепления — скрытые сервисы, замаскированные под служебные процессы, которые могли вернуть злоумышленнику доступ. Мы устраняем закрепление и проверяем каждый затронутый узел, возвращая его в работу только после подтверждения, что следов злоумышленника на нём не осталось.
- Доступ к панели виртуализации и другим панелям останется закрытым — возможно насовсем или как минимум пока мы не восстановим все затронутые узлы. Управление серверами переносим в личный кабинет. Сроки переноса функций пока уточняются. То, чего ещё нет в личном кабинете, временно решаем через обращения в техподдержку.
- Полный объём выгруженных данных подтвердить мы не можем, поэтому исходим из худшего: если вы получили уведомление — считайте скопированными все данные с сервера и меняйте доступы, если ещё не сделали. Сейчас это главное, что вас защищает.
- За последние сутки вендор активно работал с инфраструктурой и сообщил, что уязвимость закрыта. Несмотря на это, открывать доступ мы пока не будем: до полного восстановления и проверки затронутых узлов инфраструктура остаётся в изоляции.
Отдельно про заказ: обновления вендора также позволили нам возобновить выдачу новых серверов. Поэтому заказ работает, хотя обработка пока идёт медленнее обычного.
Поддержка перегружена из-за большого числа обращений: общие вопросы по инциденту — в нашем Telegram-чате; через тикеты пишите только по конкретным услугам и не дублируйте уже созданные.
UPD 23.10
Что сейчас с серверами и панелями
Серверы клиентов работают. Но всё, что связано с управлением, может проворачиваться медленнее чем обычно: выдача новых серверов, перезагрузка, смена тарифа и другие действия из личного кабинета.
Причин три:
— после обновлений безопасности системе виртуализации нужно больше времени на каждую операцию;
— после закрытия доступа к панелям, накопилась большая очередь задач, и мы её разгребаем;
— мы дополнительно ограничили внутренние сетевые доступы между системами. Это тоже замедляет работу, но так безопаснее.
— пока что большинство операций с VMmanager и DNSmanager доступны только через поддержку.
Поддержка
Техническая поддержка работает 24/7. Обращения принимаются, смены усилены, блок на тикеты стараемся больше не вешать, но в очереди всё еще огромное количество обращений. Писать повторно в тот же тикет не нужно: каждый новый ответ поднимает тикет в очереди заново, и он ждёт дольше.
Что дальше
В начале следующей недели опубликуем совместный пресс-релиз с ISPsystem (понедельник) и подробный постмортем FirstVDS (вторник). Только после этого займёмся компенсациями и отдельно расскажем, что и как будем компенсировать.
