Дуров продает серверы «В контакте» за полмиллиарда рублей
Павел Дуров продает новому руководству «В контакте» компанию ООО «ИЦВА», которой принадлежат 7 зданий общей площадью 15 000 квадратных метров, где находятся серверы, хранящие информацию о всех пользователях соцсети.
Соцсеть Дурова с первых дней зависела от своих инвесторов — владельцев провайдера «Селектел», в дата-центрах которого хранились все данные пользователей. Но другой инвестор, фонд DST, считал неправильным зависеть от чужих дата-центров, так как владельцы в любой момент могли повысить арендную оплату. Тогда Дуров начал вести переговоры по приобретению ООО «ИЦВА», которое владело землей и промышленными зданиями под Санкт-Петербургом. После заключения сделки «ИЦВА» была переоформлена на офшорную компанию, которая на 100% принадлежит Дурову.
Ремонт зданий для дата-центра создатель «В контакте» производил на собственные средства, поэтому стоимость аренды помещений была сильно завышена, чтобы таким образом покрыть расходы на дальнейшие работы. Новые акционеры обвинили Дурова в растрате средств и попытались через суд вернуть переплату. Общий ущерб истцы оценили в 500 миллионов рублей. В ответ создатель «В контакте» подал иск в суд штата Нью-Йорк, обвинив бывших партнеров в сговоре с целью отобрать у него мессенджер Telegram. Взаимные претензии были сняты после продажи акций соцсети компании «Мэйл.ру».
Дата-центры — это последнее, что связывало Павла Дурова с «В контакте». Чтобы не заниматься переоформлением всех документов на землю и здания, новое руководство соцсети решило выкупить акции ООО «ИЦВА». Сделка будет заключена сразу после получения разрешения от Федеральной антимонопольной службы.
VK не может купить серверы, потому что на рынке их просто нет
VK (ранее известная как Mail.ru Group) просит Минцифры помочь в закупке серверного оборудования. Письмо с просьбой о помощи компания направила в министерство на прошлой неделе. Об этом сообщает «Коммерсант» со ссылкой на источник в Правительстве.
По словам источника, VK не может закупить «десятки тысяч серверов», необходимых как для обеспечения текущей работы сервисов компании, так и для масштабирования ИТ-инфраструктуры. Представители VK сообщили редакции, что наблюдают увеличение нагрузки на инфраструктуру, но заверили, что обладают необходимым резервом мощностей «для обеспечения бесперебойной работы сервисов на продолжительный период».
В Минцифры подтвердили получение письма. Представители министерства отметили, что совместно с Минпромторгом принимают меры «по обеспечению госсектора и коммерческих компаний достаточным объемом российской вычислительной техники, которая отвечает самым высоким требованиям». В Минпромторге сообщили редакции, что «не видят причин для нагнетания обстановки». По их словам, компании работают в штатном режиме и проблем с наличием продукции на складах не выявлено.
Затруднения с закупками «железа» испытывают и в «Яндексе», пишет «Коммерсант». Компания приостановила многие из запланированных инвестиций в новые и экспериментальные сервисы внутри страны и за рубежом на фоне санкций из-за ситуации на Украине. В «Яндексе» заверили, что «на текущий момент обладают необходимыми технологическими ресурсами и запасами для работы сервисов».
Миссия невыполнима
На данный момент купить коммерческие партии нового оборудования в России фактически нельзя, заверяет источник «Коммерсанта» на рынке операторов центров обработки данных. «Серверы купить невозможно даже на вторичном рынке, подержанная техника разлетелась в начале марта, несмотря на заоблачные цены», — отмечает собеседник редакции.
То, что приобрести технику иностранного производства невозможно, подтверждает и глава направления «Инфраструктурные решения» компании «Крок» Александр Сысоев. По его мнению, потребность большинства клиентов могут удовлетворить решения российских производителей, которые продолжают осуществлять сборку и поставку серверов из собственных компонентов.
Таких поставщиков, по словам Сысоева, в России не меньше десяти. Но участники рынка, опрошенные «Коммерсантом» утверждают, что запасы российских производителей вычислительной техники тоже на исходе.
Ситуация на российском рынке
По словам директора «Промобита» Максима Копосова, сейчас на складах его компании находится запас комплектующих только на несколько сотен серверов. «Мы пошли по пути производства серверов на российских процессорах, но и с ними сейчас туго, — говорит он. — У нас есть запас в несколько сотен «Эльбрусов», и еще мы заказали порядка тысячи «Байкалов»».
В МЦСТ (производитель «Эльбрусов») и «Байкал Электроникс» на запросы «Коммерсанта» не ответили. По словам собеседника редакции, у МЦСТ уже практически исчерпаны запасы процессора «Эльбрус 8С». Однако, по его словам, достаточно большая партия процессоров «Эльбрус 8СВ» есть у производителя серверов «Норси-Транс».
Гендиректор «Норси-Транса» Сергей Овчинников не сообщил, сколько конкретно серверов и процессоров находится на складах компании. Он лишь отметил, что их хватит до 2023 г. Овчинников также рассказал, что его компания уже подняла цены на свое оборудование в 2–2,5 раза. «Но к нам особо никто не обращается», — подчеркнул он.
Дата-центр ВКонтакте
Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.
Как построить дата-центр?
ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.
Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:
- Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.
- Система охлаждения. Даже игровая видеокарта в продвинутом компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.
- Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.
Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:
- Система пожаротушения. Важно позаботиться о том, чтобы случайная искра не превратила Ваш новенький ЦОД в руины.
- Система мониторинга. Вы должны вовремя узнать, если что-то пошло не так.
- Система контроля и управления доступом (СКУД). Не стоит оставлять двери открытыми для всех желающих.
- Охранная сигнализация. На случай, если вместо пропуска кто-то решит использовать лом.
- Система видеонаблюдения.
Мы верим, что у Вас получится отличный дата-центр. А пока посмотрим, как выглядит наш.
Добро пожаловать в ИЦВА
Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.
В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.
В пике дата-центр генерирует более 1 Тбит/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.
Электроснабжение
Все элементы системы электроснабжения резервируются как минимум N+1.
Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):
Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:
Если всё совсем плохо и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.
Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.
Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:
Система охлаждения
Для комфортной жизни оборудования в машинных залах нужно поддерживать определённый температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).
У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.
Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.
Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:
С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.
Структурированная кабельная система
Километры бережно уложенных проводов. Здесь не нужны слова.
Система пожаротушения
В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.
Мониторинг
Все показатели здоровья дата-центра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).
Система контроля доступа и охрана
На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.
Подведём итоги
ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.
Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но мы планомерно работаем над снижением этого показателя.
Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы Вы каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.
Если Вы — первоклассный специалист, у Вас есть шанс познакомиться с нашим дата-центром поближе, став частью команды. Мы приглашаем на работу руководителя тестовой лаборатории ЦОД и системных администраторов.
Есть вопросы?
Вопросы автору статьи можно задать в официальном сообществе нашего технического блога.