К размышлению и предупреждение. Потеря данных на виртуальных дисках.

ru_sysadmins — 11.02.2015 Коллеги, спешу поделиться проблемкой, которая, полагаю, может накрыть не только нашу многострадальную контору.

В общем история такая: у нас крутиться три ESXi-гипервизора, на которых в свою очередь запущенно некоторое количество серверов.

В частности там есть один сервер БД и один терминальник.

В свое время, данные сервера поднимал... Скажем так, админ со своими взглядами на жизнь, в итоге сделали их однодисковыми ("Все на Ц"), и при этом с довольно небольшим объемом свободного места.

В итоге, в какой-то момент пришлось диски у них расширять. Опять же - не хочу сейчас вдаваться в подробности, но диски были расширены штатными средствами Windows Server 2012 (ненавижу эту ОС. Ненавижу пидорасов, которые делали к ней интерфейс. Ненавижу тех ушлепков, которые подписали ЭТО в печать - холивар в камментах приветствуется :-) ).

Это все преамбула.


А теперь история.

Вчера, поздно вечером - заббикс выслал мне сообщение что у нас все плохо с терминалкой. Память забита наглухо.

Подключился к серверу, погасил, добавил памяти, запустил... И увидел циклическую перезагрузку.

В ходе разбора полетов обнаружил, что на логическом диске Ц, который расширяли - данные пережеваны в равномерный RAW.

Ладно, с матом и красными глазами, ибо спать-то хочется - я сервер в рекордные сроки перезалил, передал своим хлопцам на "оформление" клиентским софтом, и отправился на боковую, в рассчете половину рабочего дня проспать.

Если бы!

В 9 утра меня разбудили, обрадовав, что после перезагрузки перестал работать сервер БД. Я уже заранее предчувствуя, что там увижу - подключился к ЦОД... И разумеется увидел точно такой же набитый мусором раздел.

Сервер подняли из бэкапов, все более-менее ок, но....

Но возникает вопрос - что это было, Бэрримор?

У меня острое подозрение, что накатились какие-то пакеты обновления, которые убили правила работы с расширенными жесткими дисками, что, в свою очередь, привело к расколбашиванию NTFS. Почему? Ну, во первых сбой близок по времени. Во вторых - перезагрузка служит спусковым крючком (данные с диска не читаются не только другими виндовыми машинами, если к ним диск замонтировать, но и даже пингвинами, так что это сбой именно в хранении данных, а не в способности машины их читать). В третьих - обновления как раз накануне накатывались. Причем пакет там шел аж 50 минорных обновлений, которые боец заапрувил, бегло пробежавшись по списку.

В общем так просто не бывает, что бы у двух машин, на двух РАЗНЫХ гипервизорах, в течении буквально 8 часов, осыпались файловые системы - и при этом не было никакой взаимосвязи.

В связи с этим заранее предупреждаю коллег: есть высокая доля вероятности, что глюк может затронуть и ваши машины, на которых вы расширяли диски.

А вообще, если у кого-то недавно происходило что-то подобное, или кто-то в курсе что это было - был бы очень признателен за информацию. Мне генеральному еще отчет писать :-)

PS

На вирусы экстренно прогнал весь парк, при том что у нас и без того корпоративный "ПаукЪ". Нифига. Чисто.

Ну и потом главная взаимосвязь между машинами это именно факт расширения их дисков ранее.

Оставить комментарий

Популярные посты: