DPI

gbook96 — 20.05.2023 security - туды его в качель...
Значится Perforce мне уже достался в виде commit-edge и на виндах. Уже я перетаскивал всё на VM-ки на наш blade-server. 4-5 интеловских сервера, 4 маковских бочёнка и ещё пара AIX + Sparc здесь и в Сиэтле - всё наше хозяйство. На этом построены пара Бамбуков и под 3 сотни агентов, + бэкэнды, + чо остаётся - для девелоперов погулять.
Барахло наше всё старое ржавое, на ладан дышит, VM-ки падают, да и сервера тоже - народ страдает и жмётся. Когда сдали старый офис, то стойки перетащили в co-location, где-то в районе Баундери и 12-й. Грят охраняется пуще кгбэшного объекта. Фиг просто так зайдёшь чтоб завасший сервак передёрнуть. В общем не жисть, а страдания-кручения.
Дрюня давно рвался в небо, по партизански начал туда пробираться больше года назад. А потом наших хозяев купили и бОльшая крыша почти вся на небе. Прям на том же Амазоновском облаке. Так что партизанство кончилось и запустили паровоз. Вчерашний студент Джони расковырял всё что надо и слепил нам "state-of-the-art" cloud formation. Потом уже с помощью Роберта и Лея туды налепили дженкинс-серверов, настрогали докеризованых линуксов, настроили образов виндовозов и погнали строгать трубы-пайпы. У Роберта глаза разгорелись - наконец-то они настроят-натестируют что давно не могли. А не тут-то было. Всё это небесное щастье было подключено к edge на грешной земле. Через гигабитную трубочку, которую сосали все кому не лень, начиная с Сиэтла и ещё какие-то команды. В общем perforce тормозил. Мне поставили на вид и я впопыхах выкатил второй edge на облако. Скоростуха - лети не хочу. Вот она щастя!?
авотхрен. Начали сыпаться полки - операция unshelve либо тормозила-падала, либо вообще наглухо зависала на часы. Причём одна работает, а другая нифига. Через время неработающая могла заработать. Или если взять файлы и переложить на другую полочку. В общем муть какая-то. Пока на дженкинсах пионерили было ещё ничё. Потом Роберт связал таки свою систему и разгонял на серваке под тыщу работ на сотнях агентов. Девелоперы подтянулись и полки затрещали не на шутку.
Я есесно нифига там не пойму. На серваках в логах дофига ошибок траспорта "TCP connection broken", а чего-куда - фиг знает. Айтишник-сетевик Вильямс божится что всё там должно быть пучком. Поддержка перфорса всё валит на сеть.
Пока только полки перекладывались ещё наши терпели, а потом лэйбл застрял у Роберта и Ианом и они подняли крик. Дрюня затребовал у Перфорса стрелку. На стрелке суппортник пытался увернуться, потом вытащил своего начальника - не помогло. Ничего хорошего они нам не предложили и пришлось мне edge на облаке перестраивать. Неожиданно управился часа за 3, лэйбл восстановился. но полки продолжали сыпаться. Дальше хуже. Всё больше народу подтягивалось на дженкинсы и плохие полки вообще переставали восстанавливаться. Я смастырил forward-replica. На ней все полки работают, но... Оказалось он их с мастера-coomit тащит, через ту дырочку. И когда Роберт спустит всех своих собак, то дырочка опять всех будет душить. Переделал новый в ещё один edge, сранял конфигурацию как мог с работающим на земле. Теперь и версия и билд теже, и ничего не фильтруется, тащит наверх всё дерьмо (через трубочку, ага) и всё равно тоже самое - плохие полки не работают на обоих облачных эджах. Их всё больше и они не восстанавливаются. И даже наеборот - портятся ранее работавшие. Народ, задолбавшись перекладывать, начал пихать код в перфорс напрямик - менять процесс и привычки.
Я бьюсь башкой об стенку с полками, об поддержку перфорса - нифига. Нарыл примеров, опять забили стрелку с поддержкой. Слава богу, вынырнул старый знакомец Альбертик - бывший нашенскй. Трындеть на родном языке куда сподручнее, да ещё сильно проще с нормальным своим мужиком. На троих с Дрюней "соображали", но бутылки не было и опять нифига не вышло. Альберт выдавал особые отладочные ключи, кой-чего выцепили, но не разобрались. Альберт пообещался вытащить ихнего эксперта, Карла из офиса в Англии. В четверг наш день начался в 7:30 утра, с Карлом. У мужика умеренный британский акцент, но я регулярно мазал. Зато он тоже знал алфавит (альфа, браво, чарли...танго...зулу) и таки всё получалось. Прицепили на коммит и эдж по вайр-шарку и пошарились. По ходу я нечайно мастера перегрузил, блин. Скоко-то там работ слетели с катушек. Зато Карл надыбал пропадающий пакет. "О как интересно - я такого не видел. Вот запрос, вот посылает подверждение, а оно не приходит!" Пропадает в трубе. Недавно Вильямс по просьбе Роберта и Джони смастырил для нас тунель с резервированием. И пакет пропадал где-то в этом тунеле. Дрюня прям по ходу митинга подтащил Джони - чтоб учился с проволочной акулой управляться, и выдернул на связь сетевика Вильямса. Карл успел сунуть Вильямса носом в пропадающий пакет и отвалил - у него рабочий день уже закончился, он и так с нами пересидел. Альберт поздновато включил запись, самое начало пропало, но основное кино должно было поспеть через какое-то время. Без Карла мы слепыми щенками потупили с акулой ещё с часок и разошлись пить кофе, писать-какать и ждать кино, чтоб разобраться. Потом Альберт скинул нам линк на киношку, Джони чот посмотрел, я тоже и опять собрались втроём пытаться повторить процедуру. Получилось. Вызвали на ковёр Вильямса, тот начал рыть у себя в потрохах. Он с вайр-шарк типа на ты, подтвердил - да пакет в тонель заходит. И не выходит. И тут Альбертик намылил "мне колега сказал что может быть DPI - Deep Package Inspection, Palo-Alto его использует. И тутже Вильямс проскрипел: "да, DPI включен. Выключаю - пробуйте" Тюкаем unshelve - работает бля!
VPN использует DPI чтоб блокировать вирусы. Оно на ходу проверяет пакеты на подозрительные паттерны и грохает не понравившиеся. А у перфорса именно для полок специальный протокол обмена. Стандартный механизм синхронизации серверов по коммандам pull работает норм. Если они перетащили полку на эдж, то сервак берёт её со своего диска без проблем. Unshelve работает. А вот если на эдже полки нет, то включается этот особый протокол обмена с коммитом для передачи полки. И какой-то протокольный пакет совпадает с вирусным паттерном DPI. Есесно никакого внятного сообщения в логах не появляется. Соединение разорвано и всего делов. Поди пойми чего.
нуу, полочки заработали. Но какого хрена они так долго на эдж не затаскиваатся - это вопрос. Это ещё тоже может укусить-выстрелить. Но пока - гуляем! Месяца два почти эта канитель тянулась. Работать не давала нормально.

Ось так хуйня видбулася, любы малюкы.
Блядь...

Оставить комментарий

Популярные посты:

• Ранее
• Архив