Корпоративное обучение персонала: тренды и лучшие практики московского рынка 
Совершенно восхитительная шиза! Чувак сделал дом на колесах... 
Репортаж из Венесуэлы 
"Автомобили, автомобили буквально все заполонили" 
Про книги, которые как коньяк 
Что делать когда лекарства для похудения не работают? 
Когда говорят, что надо прощать... 
Как мой блог описала ии 
Китайский контракт на строительство Панамского канала признан неконституционным
11.12.2021 —
CVE-2021-44228
Переупаковка логов
klink0v — 14.12.2021
Задача.
Есть K сервисов, которые генерируют M гигабайт текстовых логов в сутки. Эти логи по регламенту требуется хранить три года.
Дискового места под это дело, конечно же, жалко. Поэтому хочется запаковать всё это безобразие архиватором "XZ", который уменьшает объем текстовых файлов в разы. Но есть проблема. Чтобы упаковывать логи быстрее, чем они генерируются, требуется около 100 процессорных ядер (выведено эмпирическим путём).
С одной стороны, у нас есть N физических серверов с 40ка ядрами в каждом, многие из которых недогружены. То есть, вполне реально отдать какую-то часть вычислительных мощностей под переупаковку логов. С другой стороны, если вдруг случится пиковая загрузка, хочется так же оперативно уметь эти мощности отбирать взад. Потому что логи спокойно подождут, это не есть какой-то сильно критичный бизнес-процесс.
Тут мы плавно подходим ко всяким облакам, кубернетесам, оркестраторам и прочей [censored]. Но вот беда. Нет в конторе столько инженеров, чтобы админить всё это безобразие. А поднимать Google-sized solution ради какой-то перепаковки логов чё-то как-то совсем не хочется.
Собственно, вопрос. Может быть, уже есть какой-то готовый велосипед для решения подобных задач, чтобы не изобретать свой собственный? Ну и желательно, чтобы это был не монстр, требующий 100500 человеко-часов для своего развёртывания и поддержки.
Сохранено
|
|
</> |
Переупаковка логов
Оставить комментарий
Популярные посты:
Предыдущие записи блогера :
Архив записей в блогах:
Кому уж очень не терпится. Patch 0.7.1.1 -> 0.7.2 Ссылка Torrent Полный клиент 0.7.2 Ссылка Torrent Для параноиков: 1. Смотрим адрес, откуда качаем. 2. Если п.1 не помог - ждем завтрашнего дня и качаем все с любимого белорусского официального ...
Как прекрасно жить без фэйсбука, без этой карусели детского-юношеского абсурда без задора с проставлением значков на каждую заметку или фотку. — А ведь это тяжёлый труд. И никто тебе не указывает, что ты нарушил и за что несёшь якобы наказание с отлучением от не понятно ...
Кадыров потребовал чтобы Дерипаска извинился перед Настей Рыбкой. Милонов от имени депутатов выразил уверенность, что Приходько и Дерипаска взяли девочек на яхту, чтобы рассказать им, что проституция - это плохо! Настя Рыбка отметила, что если бы не Дерипаска, она бы уже давно была ...
В какой-то момент у многих ютуб-комиков начала появляться реклама авиасейлз. Причём интеграции всё нелепее и смешнее. Такое ощущение, что начали соревноваться, кто максимально нелепо интегрирует. В интервью один комик рассказывал, как они обсуждали рекламу с заказчиком: Мол, вы ведь ...
На днях, в комментариях к статье "Тактический союз с американским империализмом приводит к поражению" http://colonelcassad.livejournal.com/2927395.html , некоторые высказывали сомнения в том, что заявленная позиция генерал-майора Херци Ха-Леви является отражением широко распространных ...
