Pavel Lunin · Про пожар в OVH расскажу, чего знаю

don_katalan — 13.03.2021
Pavel Lunin
11 березня о 00:48 ·
Про пожар в OVH расскажу, чего знаю.
Для контекста поясню, что у меня в команде и вообще у нас в компании много бывших OVH-вцев, в том числе людей, хорошо знающих этот ДЦ, и, понятно, в контакте с бывшими коллегами. Постараюсь без оценок и сплетен в виду некоторых профессиональных обязательств.
Сгоревший ДЦ SBG2 — часть их большого кластера модульных ДЦ на берегу Рейна, в промышленном пригороде Страсбурга, через речку уже Германия. Там у них одна из крупнейших площадок во Франции. На фоточке видна группа зданий, каждое — отдельный ДЦ (у них есть еще SBG1, SBG3 и т. д.)
Кроме серверов конкретно этот ДЦ был крупным сетевым узлом, обслуживающим весь этот кластер, через него также проходит большая часть линков в Германию до других площадок, зданий плюс, как я понимаю, трансформаторная подстанция кластера, плюс в нем же базировалась дежурная служба.
Полностью потеряли они только это здание, но сетевую связность и электропитание — во всем кластере. Соседние здания вроде целы, но обесточены, и непонятно, насколько сильно их залило водой при тушении.
OVH традиционно строит свои контейнерные ДЦ по всему миру специально для себя. За редким исключением клиентов на колокейшене у них нету. В этом ДЦ вроде как точно не было. Основное наполнение — выделенные сервера, сданные клиентам в аренду. По некоторым данным в SBG2 таковых было примерно 25-30 тысяч (UPD: видимо не в SBG2, а всего в кластере SBG, то есть на данный момент либо сгоревших либо просто отключенных от питания и сети)
Наш с ними трафик (которого много) упал где-то на 20% сегодня. Некоторая грубая оценка извне на основе имеющихся данных говорит, что на данный момент потеряли они примерно 20% своего парка во Франции. Но это с учетом полностью обесточенного и изолированного от сети страсбургского кластера вокруг сгоревшего SBG2.
OVH исповедует водяное охлаждение серверов, поэтому дизайн датацентров у них специфический, «под себя». Плюс это дешевые модульные конструкции быстрой сборки. Т. н. «контейнерный ДЦ». Я не буду спекулировать, но скажем так, этот подход сильно критикуем некоторыми местными специалистами по дизайну ДЦ, в том числе с точки зрения пожарной безопасности.
Одна фоточка (вид с воздуха) из твиттера местного пожарного департамента, другая (вид с немецкой стороны) откуда-то из твиттера, но не знаю какого-именно, да простит меня автор.
На удивление в целом французский публичный интернет большого видимого ущерба не понес. Утром, не работало несколько сайтов, вроде бы как пострадал правительственный сайт открытых данных дата-гоув-фр, сайт центра Помпиду не работает до сих пор, видимо с концами, lichess, хостящийся в OVH пишет, что понес какие-то минимальные потери, ну и прочее по мелочи, но видимого серьезного ущерба пока незаметно. Хотя корпоративные клиенты, которые держали там свои внутренние ресурсы должны был пострадать как следует.
Еще об интересных фактах: два дня назад OVH объявило о выходе на IPO.


=====
Станислав Кукарека
Из жанра ненаучной фантастики.
- Господа офицеры, прошу садиться.
В связи с событиями в Страссбурге жопа подгорела у очень у многих. И следует ожидать массовых движений. Которые по большей части будут носить совершенно броуновский характер. И это таки наш час. Специалисты будут действовать в режиме крайней перегрузки и хронического переутомления. По сути в состоянии паники. Еще и под значительным давлением сверху, где тоже паника. А значит - будут ошибаться. Более того, в ход в пойдут говно и палки, в полный рост, как каппелевцы в атаку в фильме "Чапаев". Большинство бестпрактиксов и даже фундаментальных концепций будут забыты и заброшены, или как минимум - сознательно принесены в жертву тезису "давайте шо то делать", и "это надо срочно". И это наш час, господа. Господа офицеры, все свободны. Идите работайте...
===
Serhii Fomin
Вообще странная история, интересно бы посмотреть на отчеты пожарников...
Где были системы пожаротушения? Они там по-идее дублированные.
Пишут, вроде один из упсов загорелся. Потятно, что в аккумах там припасено много мегаджоулей в ожидании КЗ, но предохранители на стелажах должны были отработать.
Да и вообще пожары в щитовых не особо буйные - кабеля, особенно правильные, горят не очень, больше ущерба от дыма (гарь окисляет все что непокрашено за часы), но для этого есть безгалогеновый кабель.
Разве что аккумуляторы у них там литиевые, вот они покруче бензина будут...
---
Станислав Кукарека
Судя по фоткам снаружи - внутри там уже делать нечего даже фейсбучным экспердам. По идее там должна была быть углекислотная система (что дешево и эффективно) это же безлюдная по сути зона. И почему она не потушила (если была) мне непонятно. А если ее небыло - то мне еще менее понятно....
---
Станислав Кукарека
С третьей стороны должен заметить что стандартные пожарные датчики в датацентрах, серверных и прочих таких местах как правило нормально не работают. И потому обычно их там режут, глушат и т.д. Там кусок железяки +- 100 градусников это нормальный радиатор, а не "очаг возгорания". А датчик дыма не работает патаму шо даже сисадминам вентилятор маринарку с жопы на бошку завертае. Там есть своя специфика.
---
Serhii Fomin
Станислав Кукарека Углекислотная в ЦОДах не применяется, (по крайней мере не видел даже на картинках) ибо последствия для электроники не сильно отличаются от пожара.
А вот с газовой системой, ага - ложные сработки очень нежелательны, пару лет назад два бездыханных инженера в наушниках где-то в Киеве так получились...
Но если отвлечся от деталей, то эпичность этого действа (не щитовая закоптилась, а два отдельных здания в труху, с пожаротушением, 24х7 на вышках с пулеметами и всей мощью французской пожарной охраны) наводит на мысль, что в стандартизированном по самым жестким анальным нормам ПУЕ, IEC и STANAG, современном мире шото сильно прогнило...
===
Дмитрий Мищенко
Стас, а кто "сидел" на том датацентре? А то ведь "скинут" на такой центр наши пидарасы электронные трудовые книжки ("о чем всё время говорили большевики" (с)...) и ... пиздец.
---
Станислав Кукарека
Там дохуя кто сидел. Москальская фискальна служба до сих пор лежит, и половина сбербанка...
===
Пост спочатку надрукований тут: https://don-katalan.dreamwidth.org/2859349.html.

Оставить комментарий

Популярные посты:

• Ранее
• Архив