Как изменился культовый онлайн-шутер и что осталось прежним
11.12.2021 —
CVE-2021-44228
Переупаковка логов
klink0v — 14.12.2021
Задача.
Есть K сервисов, которые генерируют M гигабайт текстовых логов в сутки. Эти логи по регламенту требуется хранить три года.
Дискового места под это дело, конечно же, жалко. Поэтому хочется запаковать всё это безобразие архиватором "XZ", который уменьшает объем текстовых файлов в разы. Но есть проблема. Чтобы упаковывать логи быстрее, чем они генерируются, требуется около 100 процессорных ядер (выведено эмпирическим путём).
С одной стороны, у нас есть N физических серверов с 40ка ядрами в каждом, многие из которых недогружены. То есть, вполне реально отдать какую-то часть вычислительных мощностей под переупаковку логов. С другой стороны, если вдруг случится пиковая загрузка, хочется так же оперативно уметь эти мощности отбирать взад. Потому что логи спокойно подождут, это не есть какой-то сильно критичный бизнес-процесс.
Тут мы плавно подходим ко всяким облакам, кубернетесам, оркестраторам и прочей [censored]. Но вот беда. Нет в конторе столько инженеров, чтобы админить всё это безобразие. А поднимать Google-sized solution ради какой-то перепаковки логов чё-то как-то совсем не хочется.
Собственно, вопрос. Может быть, уже есть какой-то готовый велосипед для решения подобных задач, чтобы не изобретать свой собственный? Ну и желательно, чтобы это был не монстр, требующий 100500 человеко-часов для своего развёртывания и поддержки.
Сохранено
|
|
</> |
Переупаковка логов
Оставить комментарий
Популярные посты:
Предыдущие записи блогера :
Архив записей в блогах:
В последнее время популярностью пользуются молокоподобные напитки, изготовленные из растительного сырья — зерновых, семян, бобовых или орехов. Некоторые считают их полезнее для здоровья, чем обычное коровье молоко. ( Read more ... ...
"МУР!ЗИЛ!КА!" - вот кто это. Сегодня мы говорим о журнале для детей, которому в следующем году исполняется век. Чуть меньше лет исполнилось жёлтому человечку, именем которого и назван журнал, ведь свой привычный нам облик он принял только в 1937 году, благодаря художнику Аминадаву ...
Начало дискуссии: 1-1. прот. Вс. Чаплин: "Если общество живет в условиях относительного мира, спокойствия, сытости, какое-то количество десятилетий — пару, троечку — оно может прожить в условиях светскости. Мир долгим не бывает. Мир сейчас, слава Богу, долгим тоже не будет. Почему я говорю ...
Сторонникам единой Украины почему-то не приходит в голову сходить в ближайший магазин, чтобы прикупить автоматов. И лица ни от кого не ...
Путину и Шойгу понравилось работать в сети, на удалёнке. Быстро, дёшево, эффективно. Наконец-то они начали осваивать интернет. Уже вникли в мемы, сейчас изучают коммуникационное. Сами читают блоги, особенно опозиционные. У Путина например - четыре ника, все четыре - весёлые. ...
