чудеса небесной экономии или чёрная магия виртуализации

gbook96 — 01.12.2023 Дрюня переслал нам с Джони письмо. Наши финансисты рекомендуют последовать совету Амазона и понизить мощность и цену наших машин.
Основная выгода использования облачных сервисов для нас это коротко-живущие, "эфемерные" виртуальные машины (ВМ). Когда разрабочики движка запускают тестирование релиза они сразу хотят несколько сотен ВМ. Но на короткое время - часы. Держать своё собственное такое стадо - весьма накладно. А в облаке они - хопа и появились. Отработали - до свиданья. Заплатили скоко-то там и все дела.
Но нам ещё нужны немного постоянных машин. Например сервера Перфорса, Дженкинса. Ну и ещё туды-сюды. В частности я лично для себя пользую станцию на юбунте. Не работать-же с виндвозного лэптопа? (что охраняешь - то имеешь, да :)
В общем Амазон рыкомендуе понизить типы машин. Перфорс использует тип t3.xlarge $114 в месяц, надо понимать. Предлагают перейти на новый тип r5a.large $77, итого ажник $37 экономии - шамашэдшии деньги. Нуу, хз, скоко таких машин в "нашей" корпорации. Курочка по зёрнышку клюёт - глядишь и хоть как-то покрасившеет годовой отчёт в графе расходы.
Амазон ышо настоятельно рекомендовал поменять типы дисков с gp2 на gp3.
Ну диски это стрёмно, а тип машины вродеж как 2 байта переслать. Загасил сервис, на консоли машину остановил, поменял тип и всё поднял-запустил. Делов-то. Ну да, разработчиков предупредил что мэйнтэнанс, сервис будет недоступен, бла-бла-бла, звыняйте за беспокойство.

Четверг, 6 часов вечера, пора делать ротацию журнала и чек-пойнт, но сначала поменям тип машины на главном серваке. Он действительно недогружен. "Крайний" сервак в основном недогружен, но периодически "взрывается" на массовое тестирование - пусть будет.
Проклацал по кнопкам, проверил отзыв - всё путём, проверил синхронизацию серверов - норм. Проверять реальный запрос - а на фига? Ничёж не поменялось. Запустил ротацию журналов и создание "точки восстановления". Сижу-курю, читаю жж.
Тимсы: дзынь! Мэтью: У меня ошибка на Перфорсе - файл недосупен.
- ааа?! шооо??? С дорогой нахомутал?
Тимсы: дзынь! Роберт: и у меня такая-же ошибка: файл недоступен.
Whiskey-Tango-Foxtrot! what the fuck!?
Быстренько на свою линукс-машинку, p4 sync //...file - no file. Обана...
Иду на сервер. По рыкомендациям перфорсу там всё распределено на 3-х отдельных томах-дисках: база данных, журналы-логи и собственно репозитории. Идём в депоты, корень на месте, 1-й уровень директории - норм, 2-й норм, 3-й и последний - норм. И там должны быть версии файла. А нифига. Ни одного.
Ето как? Фолдеры-директории есть, а файлов нет! Это моего проверочного нет, на 3-м уровне. У мужиков там дороги - нуегонафиг ходить проверять. Понятно что таже хрень.
И чо? и как? ну да, есть ежедневные снапшоты на каждый том. журналы может быть на месте тоже. Может быть. Вона чекпойнт создаётся и не матерится, хотя должен был-бы если-бы файлов там тоже не было. Чекпойнт депотов не касается, он только по базе-данных и журналам шарится.
Чё делать? Дожидаться создания чекпойнта? Запускать восстановление томов со вчерашних снэпшотов? Разработчики дышут в затылок - им работать надо. И индусы скоро подвалят.
Блин. Для начала, откручу-ка я взад тип виртуальной машины. На всяк случай. А вдруг? В тимсах базар, Роб мне в личку стукнул - сочувствует. Оюъявляю стоп сервера.
Откатываю тип взад, запускаю. "sync //...file" - "file in sync"
Тимс: дзынь! Мэтью: о! а у меня ошибка исчезла!
Роб: и у меня тоже.

блядь. И шо это было?
- Сынку! Дывысь - цэ морэ!
...
- Батьку! Шо цэ було!!!

Надо будет к отчёту подготовиться, скрин-шоты сделать. Нунах. Завтра, на сегодня хватит.
А ночью прошел апдэйт от Ай-Ти и все машины перегрузились. Блин, скриношоты - тю-тю. Пришлось рассказывать на словах-пальцах.
Джони будет писать в Амазон-поддержку. Проверил типы дисков - джип-3, как Амазон рыкомендовал. Куда девались файлы и откуда они вдруг взад появились - чёрная магия виртуализации в Амазоновских небесах.
Как это может быть связано с типом машины - в голове не укладывается. И что такое ихние диски джип-2, джип-3? Всё блин хитро-сделанное виртуальное - хренразберёшь.
ну его нахрен такую экономию. Стока "радости" за $37 для копрорации...

ЗЫ: Вот ещё репу чешу. Чекпойнт это апдэйт резервной базы даныых по журналу. Если шо позже можно всё восстановить до самого последнего момента аварии. Какда-нибудь потом. Но сегодняшнее состояние базы данных вызывает сомнение. Сообщений об ошибках не было, но... Долбаться с восстановлением резервной базы на всяк случай или хрен с ним? В конце концов снапшоты Амазон-то делает. Ну на крайняк потеряются пару-тройку десятков часов работы, теоретически, хрен знает когда в будущем. может быть. Блин...

Оставить комментарий

Популярные посты:

• Ранее
• Архив