Штрафные санкции для компаний и ИП за отчетность в 2024 году 
Доброе утро! 
Один пост про песню в день! Добавьте мой журнал в 
Мимоходом 
В Зеленодольске заложены еще два противодиверсионных катера проекта 21980 
Банки требуют приводить родственников для разблокировки счетов 
Про лазер - вторая серия 
Новый спутник гоняет супердорогой американский аппарат 
Сказочные звезды
11.12.2021 —
CVE-2021-44228
Переупаковка логов
klink0v — 14.12.2021
Задача.
Есть K сервисов, которые генерируют M гигабайт текстовых логов в сутки. Эти логи по регламенту требуется хранить три года.
Дискового места под это дело, конечно же, жалко. Поэтому хочется запаковать всё это безобразие архиватором "XZ", который уменьшает объем текстовых файлов в разы. Но есть проблема. Чтобы упаковывать логи быстрее, чем они генерируются, требуется около 100 процессорных ядер (выведено эмпирическим путём).
С одной стороны, у нас есть N физических серверов с 40ка ядрами в каждом, многие из которых недогружены. То есть, вполне реально отдать какую-то часть вычислительных мощностей под переупаковку логов. С другой стороны, если вдруг случится пиковая загрузка, хочется так же оперативно уметь эти мощности отбирать взад. Потому что логи спокойно подождут, это не есть какой-то сильно критичный бизнес-процесс.
Тут мы плавно подходим ко всяким облакам, кубернетесам, оркестраторам и прочей [censored]. Но вот беда. Нет в конторе столько инженеров, чтобы админить всё это безобразие. А поднимать Google-sized solution ради какой-то перепаковки логов чё-то как-то совсем не хочется.
Собственно, вопрос. Может быть, уже есть какой-то готовый велосипед для решения подобных задач, чтобы не изобретать свой собственный? Ну и желательно, чтобы это был не монстр, требующий 100500 человеко-часов для своего развёртывания и поддержки.
Сохранено
|
|
</> |
Переупаковка логов
Оставить комментарий
Популярные посты:
Предыдущие записи блогера :
Архив записей в блогах:
Смотрим ? ...
Дед мороз подарил старшей дочери коньки. Это дедуля, конечно, умом от холода тронулся, не иначе - такое подарить в нашей семье. Но мадемуазель Зизи имеет прямо таки гипнотическое воздействие на живую и неживую природу, нежно парализуя всякую ...
«Не хочу учиться» – с этим живёт большинство людей, напоминая того Митрофанушку. Не учатся добру, верным поступкам, безукоризненному поведению, и при движении по жизни напоминают слепых, которые идут, спотыкаясь о пеньки, натыкаясь на столбы, падая в грязь и канавы. Куда они плетутся, ...
Аналитическая справка: 70% украинского риса выращивалось в Крыму. Основным потребителем крымского риса была опять же континентальная Украина. В связи с перекрытием Северо-Крымского канала в 2014 году урожай риса в Крыму минимален. Экспорта риса из российского Крыма в 404 не было и не будет ...
Как мне в ней было хорошо этот месяц! Наелся молчанием досыта, но тем не менее очень понравилось здесь жить! Холоднейшие мартовские ночи постепенно сменились апрельской жарой. Надувной матрас удобной кроватью. Я освоил дрель - это вообще выдающееся достижение при моей рукожопности. Н ...
