Переупаковка логов

klink0v — 14.12.2021

Задача.

Есть K сервисов, которые генерируют M гигабайт текстовых логов в сутки. Эти логи по регламенту требуется хранить три года.

Дискового места под это дело, конечно же, жалко. Поэтому хочется запаковать всё это безобразие архиватором "XZ", который уменьшает объем текстовых файлов в разы. Но есть проблема. Чтобы упаковывать логи быстрее, чем они генерируются, требуется около 100 процессорных ядер (выведено эмпирическим путём).

С одной стороны, у нас есть N физических серверов с 40ка ядрами в каждом, многие из которых недогружены. То есть, вполне реально отдать какую-то часть вычислительных мощностей под переупаковку логов. С другой стороны, если вдруг случится пиковая загрузка, хочется так же оперативно уметь эти мощности отбирать взад. Потому что логи спокойно подождут, это не есть какой-то сильно критичный бизнес-процесс.

Тут мы плавно подходим ко всяким облакам, кубернетесам, оркестраторам и прочей [censored]. Но вот беда. Нет в конторе столько инженеров, чтобы админить всё это безобразие. А поднимать Google-sized solution ради какой-то перепаковки логов чё-то как-то совсем не хочется.

Собственно, вопрос. Может быть, уже есть какой-то готовый велосипед для решения подобных задач, чтобы не изобретать свой собственный? Ну и желательно, чтобы это был не монстр, требующий 100500 человеко-часов для своего развёртывания и поддержки.

Оставить комментарий

Популярные посты:

papai

Критерии выбора интернет-провайдера: сравнение тарифов, технологий и уровня сервиса ведущих компаний

morena_morana

Содержанка по имени Олег

jjnatt

Открывай! Медведь пришёл

matsam

Особое мнение. Сыродел

id77

Классные животинки :-)

ur_2222

Кот, делающий Британию следующими штатами США...

colonelcassad

Надо было начать раньше, а не ждать

odynokiy

Осень Кодара... Средний Сакукан.

e_kaspersky

Двузначный декабрь: Новогодний дурдом в нашей маленькой компании - всё как мы

• Ранее
• Архив