Эффективные занятия в автошколе: особенности теоретической и практической подготовки будущих водителей 
Весна в Петергофе. 
Пятиминутка ненависти к космонавтике: идея "отмены космоса" (лозунг "No Planet 
Дефицит, талоны, очереди... 
Первая и последняя роли великих советских актеров - VIII 
Знаете, что бы я чисто гипотетически сделал, будь я на месте китайского 
вот вам сирень сорта Радж Капур к празднику. Вживую она 
2025. Дайвинг на севере Приморья. Бухта Рудная. Апрель. Завершение. 
27 апреля ● "День рождения вселенной", "День парламентаризма" и не только...
11.12.2021 —
CVE-2021-44228
Переупаковка логов
klink0v — 14.12.2021
Задача.
Есть K сервисов, которые генерируют M гигабайт текстовых логов в сутки. Эти логи по регламенту требуется хранить три года.
Дискового места под это дело, конечно же, жалко. Поэтому хочется запаковать всё это безобразие архиватором "XZ", который уменьшает объем текстовых файлов в разы. Но есть проблема. Чтобы упаковывать логи быстрее, чем они генерируются, требуется около 100 процессорных ядер (выведено эмпирическим путём).
С одной стороны, у нас есть N физических серверов с 40ка ядрами в каждом, многие из которых недогружены. То есть, вполне реально отдать какую-то часть вычислительных мощностей под переупаковку логов. С другой стороны, если вдруг случится пиковая загрузка, хочется так же оперативно уметь эти мощности отбирать взад. Потому что логи спокойно подождут, это не есть какой-то сильно критичный бизнес-процесс.
Тут мы плавно подходим ко всяким облакам, кубернетесам, оркестраторам и прочей [censored]. Но вот беда. Нет в конторе столько инженеров, чтобы админить всё это безобразие. А поднимать Google-sized solution ради какой-то перепаковки логов чё-то как-то совсем не хочется.
Собственно, вопрос. Может быть, уже есть какой-то готовый велосипед для решения подобных задач, чтобы не изобретать свой собственный? Ну и желательно, чтобы это был не монстр, требующий 100500 человеко-часов для своего развёртывания и поддержки.
Сохранено
|
|
</> |
Переупаковка логов
Оставить комментарий
Популярные посты:
Предыдущие записи блогера :
Архив записей в блогах:
Что вообще подразумевается под эмоциональным интеллектом? Как он реализуется на практике. Это в первую очередь само-осведомленность о своих эмоциях, о том, что мы чувствуем и что происходит в нашей душе. Это явление имеет под ...
Если говорить о человеке «интересный», то чаще всего это человек, который сам испытывает огромный интерес к миру. Как красиво сказали вот в этом комменте , «не нахлобучивает свои ожидания» на окружающих, а изучает, спрашивает, дает живую реакцию на происходящее. И человек, у которого ...
начну издалека...
человеку для ощущения энергии/жизни/сил нужно:
— чтобы тело было в сытости, отдыхе, здоровье и т.д.
но этого мало.
думаю, много кто ощущал «усталость» от отдыха...
это потому происходит, что для ощущения энергии/жизни/сил еще необходимо, на мой ...
Намедни праздновали ДР старшего сына, 17 лет стукнуло юноше. После всяких увеселительных мероприятий сходили семьей в ресторан. Поскольку торт и сладкое ждали нас дома, то заказали только нЕсладкое. Порции, все же, совершенно конские у нас подают. Мужчины со своими тазиками порциями, ...
Новых читателей очень волнует вопрос, а куда его править, локус контроля? Что значит - внутрь? Внутрь - это в какое место? И как он выглядит - локус этот? Многие его в виде палки представляют, так чего доброго перепутают с чем-то другим, и окажется, что у женщин вообще локуса нет или ...
