16 лет — такой возраст, когда уже скопилась куча зажигательных историй. И ты такой молодой, но уже столько всего повидал.
Мы уже рассказывали, как развивалась поддержка и как строили бизнес. А сегодня делимся самой личной нашей историей — железной.
Как мы выбирали и меняли оборудование с 2002 по 2018 гг., и как развивались в это время технологии — в нашей статье.
Эпоха HDD и Core
~2002 — 2013
Во времена, когда все диски были жёсткими, 3.5’’ и не отличались быстротой, единственным вариантом увеличить скорость было собрать аппаратный Raid. И для предоставления услуг VDS мы использовали Raid 10 из 4 SAS-дисков. Сначала это были SAS 150, потом 300 и 600 Гб.
150 SAS мы ставили Pentium II, III, чуть позже в Core 2 Duo 2х (серии уже никто не помнит). Потом 300 SAS — в Intel Core 2 Quad 2хQ6600 и Xeon 2xE56XX (20, 40...). 600 SAS — уже только в Xeon 2хE5645, тогда он был нашим основным процессором для VDS. А где-то с 2012-го им стал E2630.
Для этих машин использовали 1U (юнит) серверной платформы Intel. Сеть была 100 Мбит/с.
Смена процов объясняется просто: выходили железки нового поколения, мы подбирали их по соотношению цена-мощность. Смотрели на характеристики, делали тесты, прищуривали глаз и выбирали. Конечно, прикидывали, как они нам с точки зрения окупаемости — всегда важно было сохранить бюджетные цены. Потом наблюдали, как на них живётся клиентам. Тогда и дальше, когда выходили новинки — мы ориентировались на свои прошлые удачные решения. И никогда не брали оборудование б/у.
Время SSD и Flashcache
Времена шли, диски становились больше и быстрее. Появились SSD.
2014
Мы продолжали собирать Raid 10 SAS, в кластере было около 1 Тб. Но мир изменился — и людям нужно было больше места. Расширяться за счёт SAS было дорого (+8 000 руб. за 600 Гб) — пришлось бы поднимать цены на VDS. Изучили альтернативы и перешли на гибридную схему 2SATA HDD + SSD под flashcache. Увеличили место под VDS в 4 раза, снизили затраты тоже в 4 раза. Стали предоставлять людям больший объём диска без потерь по скорости. Подробнее об этом решении можно почитать в нашем блоге на Хабре.
Одновременно стали оптимизировать место в стойках и использовать платформу повышенной плотности от Intel. В 2U (юнитах) 4 двухпроцессорных E5, на каждый из них можно ставить до 3 дисков. Думали, что сэкономим место в стойке, но упёрлись в ограничение по току. В одной розетке 6 кВт, и охлаждение рассчитано только на них — промышленный стандарт.
Тогда же обновили сетевую инфраструктуру, и каждый сервер получил 2 порта по 1Гбит. Мир поменялся — скорости увеличились, и 100 Мбит стало недостаточно. А одним скачком перейти на 10 Гбит дорого и больно.
2015
Flashcache оказался более дешёвым и быстрым, чем Raid 10 SAS, но потенциально менее надёжным — подробности на Хабре. Поэтому мы ввели тарифы с SSD в качестве основного носителя — для клиентов, которым принципиально важна надёжность и нужно ещё больше скорости. Для чистых SSD используем аналогичную платформу (2U, 4 2хE5, 2 SSD).
С внедрением flashcache, мы отказались от Raid 10 на SAS. Но по-прежнему используем на всех машинах Raid1 — полное зеркало из двух дисков. Он уменьшает для нас место в кластере в 2 раза, но даёт надёжность хранения данных. При выходе из строя одного из дисков, данные сохраняются на втором. Ещё один плюс — высокая скорость чтения, скорость записи — как на обычном жёстком диске.
Эра NVMe и Scalable
2017—2018
В июле прошлого года наступила новая эра Scalable. В августе новые процессоры дошли до России, и мы начали закупки.
Причины
С точки зрения технологий, Xeon Scalable — это новое поколение. В 1,5 раза быстрее процов предыдущего: вычисления быстрее, скорость работы с оперативной памятью увеличена. Плюс полноценная поддержка скоростных NVMe-дисков, про которые чуть позже.
С экономической точки зрения, покупать новинки всегда дешевле: когда выходят новые процессоры, производитель перестаёт продавать старые. Но спрос не уменьшается — консерваторов полно. Таким поставщики продают старые процы втридорога. Но мы не такие.
Наш выбор — использовать новинки. Предпочитаем делать хорошо за имеющиеся деньги. С дешёвым и старым оборудованием мы сильно не сэкономим, а услуги будут хуже. Поэтому как только новое железо приходит в Россию — берём на тесты. Примерно через месяц уже готовы взлетать. Приятно быть первыми, кто даёт людям «потрогать» новые технологии.
Серии
Ставим процессоры Gold 5115 и Silver 4114. Выбрали их опять же по цене-мощности, как крепких середнячков. Здесь также 2U (юнита), в них 4 ноды. Каждой ноде полагается по 2SSD или по 2NVME в 2.5’. Сеть стала уже 2 порта по 10Гбит.
Обновление парка
За эти полтора года собрали 182 ноды на Xeon Scalable. Сначала мы ставили новые процы в SSD-кластеры с более дорогими услугами: собрали на них новый кластер Атланта, обновили треть нод в кластере с KVM-SSD серверами и поставили несколько на Битриксы.
Таким образом высвободили серверы с процессорами предыдущего поколения (E5645 и E2630), они перешли в кластеры с услугами подешевле. А потом, в феврале 2018 у Intel вышли новые NVMe-диски....
NVMe — не такая уж новая технология, существует с середины 2000-х. С момента промышленного запуска прошло около 4 лет. Мы следили за NVMe и ждали, когда появятся серверы со встроенным аппаратным контроллером для NVMe и за разумные деньги. Время пришло.
Сейчас NVMe — это новый интерфейс подключения вместо SATA, свой протокол вместо AHCI, и скорость в 2-3 раза выше, чем на привычных SSD. Конечно, мы взялись их внедрять. Сначала тестировать, а потом и внедрять: в марте добавили на гибкий Форсаж 2.0, в апреле на готовые KVM-ные конфигурации, а в мае на Битрикс.
Scalable+NVMe
Xeon Scalable полноценно поддерживают SSD, а для работы с NVMe — просто созданы, поэтому мы ставим их в связке:
- Сначала запустили на Форсажах 2.0 и отказались там от flashcache — оставили самые быстрые и надёжные решения.
- Потом запилили более бюджетный вариант в линейке готовых серверов, только для KVM. OVZ тарифы дешевле — предположили, что там NVMe не будет пользоваться спросом.
- Конечно, добавили NVMe на Битрикс-тарифы.
- А на Атланте есть Xeon Scalable, но нет NVMe — к моменту, когда решили, что готовы эксплуатировать NVMe, кластер уже был собран.
Лимит
При запуске NVMe у нас был лимит 500 Гб. Пользователи просили больше, и когда диски большего размера подешевели — увеличили лимит до 1 Тб с возможностью взять ещё больше, по запросу. На дедиках стали продавать NVMe по 1, 2 и 4Тб.
Серия
Сначала мы брали 4Тб NVMe серии P4501, а потом перешли на P4510. Они почти на 200$ дороже, но и быстрее по скорости чтения/записи, iops’ам. Бюджет позволял — почему бы не взять лучше? Есть серии ещё быстрее, но сильно дороже, а мы не хотим поднимать цены.
Планы
Сейчас мы продолжаем изучать NVMe, на предмет, как выжать из них больше скорости. А ещё тестируем одну интересную процессорную новинку. Смотрим, в каком кластере она будет эффективнее. Но пока не будем раскрывать секрет.
Возможно, вам будет интересно
Было интересно?
