Один день с пейджером в кармане

odin_moy_den — 14.11.2014

Привет!
Меня зовут Ольга и я живу в Сиэтле.
Это не первый день в сообществе а третий, если уж быть точной, предыдущие рассказывали про выходные. В этот раз будет описание рабочего дня. Правда, не совсем обычного рабочего дня 6-го ноября в четверг.

В качестве предисловия: я работаю программистом не системным инженером и не в тех поддержке в наиболее ориентированной на клиентов компании официально признается таковой девять лет подряд в ForeSee Experience Index.

Под катом 38 фото. И много текста. Очень много текста.

1. Первый раз я проснулась под звуки пиликающего пейджера. За окном темнота, на часах почти час ночи. Быстро выключаю пейджер, удаляю сообщение и иду в соседнюю комнату, где стоит рабочий ноутбук.

На этой неделе я "ночной дежурный", а это значит, что с 6 вечера до 9 утра в рабочие дни и 24 часа в сутки в выходные я отвечаю за всю систему целиком. Слежу за исправностью всех модулей, поддерживаю, если надо - чиню, разрешаю/запрещаю остальным разработчикам нововведения и т.д.
Подобные дежурства случаются приблизительно раз в полгода. Еще раз в полгода выпадает дневное дежурство - все то же самое, только дежурить надо с 9 утра до 6 вечера в будни.
Чтобы следить за системой было удобней (а она огромна и используется во всем мире), у нас повсюду настроены сигналы тревоги, если вдруг системы слежения или метрики показывают отклонения от нормы, "дежурный" тут же получает сообщение на пейджер, проверяет отклонение и принимает решение, что с ним делать.
Именно такое сообщение я и получила.



2. Проверяю, что случилось. Каждый пейдж содержит номер сообщения в системе тревоги (далее тикет). В общем-то, ничего страшного не случилось, пишу причины, закрываю тикет и ложусь спать дальше.



3. Второй раз пейджер прозвинел через три часа - на часах почти четыре утра. Ухожу в кабинет, логинюсь в систему. Симптомы те же, что и при первой тревоге. Внимательно изучаю графики и вижу, что все серьезнее: один из модулей не хочет взаимодействовать с другими. Прежде чем разбираться, что случилось, помечаю модуль как мертвый и запускаю механизм оповещения всех других модулей, мол, сюда не ходить, здесь ничего нет. Время синхронизации может занимать до 20 минут, но я начинаю подозревать неладное уже после 10. Для верности все же жду положенных 20 минут, параллельно "тыкая палкой" мертвый модуль. А мертвый модуль совсем не ведет себя как мертвый - вполне отвечает палке, но почему-то только палке, а не другим системам.
И тут происходит забавная вещь: система синхронихации замыкается сама на себя. Становится понятно, что нужна помощь.



4. Отправляю сигнал тревоги своему secondary - это дежурный прошлой недели, на этой неделе он "на подхвате" в экстренных случаях. Мне повезло - у меня очень хороший помощник и мне не хочется будить его в 4 утра. И все же отправляю ему на пейджер сообщение. Но secondary не отвечает.
Перекрываю физически все пути доступа к мертвому модулю, и звоню в тех поддержку, чтобы создать конференцию. Их же прошу еще раз пнуть помощника. Кладу трубку и перезваниваю на другой номер, чтобы присоединиться к конференции поэтому в телефоне 2 звонка. Человек из тех поддержки тоже присоединяется. Вместе ждем secondary. 2 минуты, 3, 5, 10... Тишина.
Начинаю процесс эскалации (такое слово есть в русском языке, жаль глагола эскалировать нет :)). Помимо дежурного и его помощника в каждое дежурство обязательно есть дежурный менеджер масло масляное, человек, который будет согласовывать действия всех ликвидаторов нехороших ситуаций и принимать решения в совсем сложных случаях.
Мереджер присоединятеся почти сразу. Рассказываю, что случилось и в чем в данный момент проблема. К конференции присоединятся пару инженеров из Дублина, системные инженеры и networking инженеры. И наконец подтягивается помощник - у него были проблемы с VPN, не мог подключиться к корпоративной сети.
Окончательно изолируем проблемный участок, там самым оберегая пользователей от потерь и начинаем расследовать причины. Через час все становится более-менее понятным. Договариваемся утром еще раз все обсудить и расходимся спать. Я после всего еще обновляю тикет.



5. Я долго не могла заснуть - адреналин очень мешает этому, и мысли сами собой скатились до участников звонка. Я всех их представляю себе только в рабочей обстановке, а на самом деле... Лично я, в пижаме с совами, разговаривала по телефону, находясь на полу (стол занят) в коленно-локтевой позе. Почти наверняка помощник, коренной англичанин, отвечал на звонок в полосатой пижиме и колпаке на голове. Менеджер, русский по происхождению, был в майке алкоголичке и трусах, хорошо, если успел набросить халат. :)
Подобные фантазии меня развеселили и позволили уснуть. Часы показывали почти 6 утра.



6. В третий (и последний) на сегдня раз я проснулась в 8:36. Глаза закрываются и дико хочется спать: 5 часов сна для меня слишком мало.
Заставляю себя подняться и пойти в душ. Пейджер всегда со мной, даже в душе (и, кстати, дважды за неделю он там таки прозвинел).
Муж, тем временем, тоже поднялся и ушел в душ, он, конечно, не вскакивает при каждом сообщении, но сон все равно прерывается, поэтому сегодня муж решил работать из дома. А еще грозится в следущее мое дежурство уйти спать в гостевую спальню на нижнем этаже, но это, конечно, под вопросом, ибо пейджер - это, понятно, не весело, но и без меня спать тоже не сахар :)



7. В 9 утра я должна отправить отчет о событиях ночи для дневного дежурного. Отправляю и иду завткакать.



8. Завтрак мой и мужа. Угадаете где чей? :)



9. Аааа! Какой солнечный день! Прекрасная погода! Завожу машину и отправляюсь на работу.



10. Но сначала заезжаю за коллегой. Я не езжу на работу по хайвеям - они слишком перегружены утром, да и вечером тоже. Самый быстрый путь - четырехполосная улица вдоль залива Puget Sound. И вдоль этой же улицы живет коллега. Создаем carpool, тем самым внося свой вклад в экологию. :)
А в Сиэтле яркая осень.



11. Время в пути  - 35 минут. Оставляем машину на стоянке и идем в офис. Судя по времени, вполне успеваем на утреннее собрание. МакДональдс по пути от стоянки до офиса.



12. Это вход в здание, где я работаю. Мне нужен 15-й этаж. Однако в офисе фотографировать запрещено. Вернее фотографировать то можно, а вот фотки выкладывать как раз таки запрещено :)



13. Прихожу, когда митинг уже начался. Слушаю новости коллег, рассказываю свои, обсуждаем открытые вопросы и расходимся по местам. На часах 10:09.



14. Дежурные освобождаются от своих обычных обязанностей: они не берут на себя задачи из списка, и приостанавливают работу над всем, что было в списке до дежурства. Наша задача - следить за системой и делать ее лучше.
Поэтому на сегодня у меня два задания:
1) реанимировать модуль, который был изолирован ночью, и ввести его в строй
2) написать нормальную инструкицию для всех, кто сталкнется с подобным в будущем.
Начинаю с первого и для начала пишу письмо, что начинаю проверку модуля. На что мне вежливо намекают, мол, иди поспи, ты и так ночью работала, а если дословно, то "don’t think the night time should be trying to do this during the day - you got paged a bunch and have the weekend long stretch to go, need to pace yourself :)" Ну и ладно, буду писать инструкцию.
А на улице тем временем начался дождь. Вот он, Сиэтл: то дождь и ливень, то яркое солнце. И Space Needle, конечно :)



15. Туалетолук :)



16. Время обеда. От недосыпа болит голова, поэтому делаю кружок по кварталу. Березки, старбакс (их в Сиэтле больше 4-х сотен), кафе, где я куплю себе еды, и еще один старбакс.



17. На обед салат с ягненком: трава, помидоры, оливки, кукуруза, ягненок и греческий соус дзадзики.



18. После обеда мне на проверку присылают конфигурацию новой части системы. Вообще, я дежурю и не должна ничего проверять. Но так как подбных модулей у нас немного и первый вводила в строй я, то сажусь и внимательно все проверяю. И пишу комментарии, что нужно поправить.
А на улице снова солнце :)



19. Конфигурацию проверила, инструкцию дописала и отправила всем ссылку. Можно идти домой. Но сначала купить кофе.



20. За что люблю старбакс напротив работы, так это за огромный морской аквариум и упоротых рыб в нем. Кофе здесь не очень вкусный. Обычный, как в любом старбаксе.



21. Парковка находится в трех кварталах от работы. Время 16:14.



22. Небо прекрасно.



23. Я вот помню в Беларуси народ всегда возмущался, что в общественном транспорте или киосках при покупке билетов или чего-то мелкого им не могли дать с утра сдачу с крупной купюры. В Америке это почти что закреплено на уровке закона :)



24. На светофоре передо мной останавливается велосипедист. Привычная картина, здесь нет велодорожек и на полосах нарисован знак велосипеда - дорога делится между автомобилями и велосипедами поровну. Но это не очень безопасно.
Власти города уже разработали проект по переделке центра: велосипедистам выделят отдельную полосу, отгороженную от основного движения и первая полоса будет полностью отдана под парковку. Таким нововведениям уже подверглись некоторые улицы и выглядит все в законченном виде очень даже неплохо. И безопасно.



25. Наконец дОма :) В гостинной меня встречает посылка. Вообще, в посылке обувь мужу, но так как я не предупреждала мужа об этом, а на посылке мое имя, муж решил не открывать.



26. А это мой рабочий стол. Вчера я решила испытать свои швейные таланты. Именно поэтому ночью пришлось работать на полу. Итог: швейных талантов у меня нет :) А машинка швейная была куплена в Икее, чтобы подложить слишком длинные шторы (это единственное что у меня получается :))
Собираю все творчество у мусорный пакет и иду выкидывать.



27. И заодно мою пол - слишком много ниток валяется. Сначала пол в кабинете, потом в спальне и обоих ванных, потом решаю вымыть лестницу на первый этаж, а там и кухню с гостинной. На этом желание мыть пол закончилось и нижний с верхним этажом остались невымытые. Но мы туда ходим реже, будем думать пыли там меньше :)



28. Вот так выглядит рабочее место после того, как его прибрали. До начала дежурства осталось 20 минут.



29. В фотоаппарате почти разрядился аккумулятор. Я никак не могу вспомнить куда положила зарядку. Беглый осмотр кабинета ничего не дал. Спускаюсь на нижний этаж, а оттуда иду в гараж. В гараже зарядки тоже нет...
В конце-концов я все же нашла ее в кабинете. :)



30. Вообще, я люблю мой нынешний уклад жизни: несмотря на восьмичасовой рабочий день у меня есть время на себя, при этом я успеваю развить те области, которые мне интересны. Конкретно в четверг, я обычно улучшаю свой итальянский.
Дежурство вносит свои изменения, поэтому в планах на этот вечер вместо итальянского было сделать растяжку и начать картину для первого этажа. Но даже этим планам сбыться было не суждено.
С началом дежурства посмотрела почту и прочитала отчет от дневного дежурного, переоделась для растяжки и даже дастала коврик, но в 6:57 на пейджер пришло сразу 13 сообщений. Все однотипные. И причина простая: одна из программ затупила, вторая, которая с ней общалась, ничего не получила и ушла в себя, модули, видя, что от второй программы ни ответа ни привета и данных нет, пожаловались выше, а тот кто выше подождал для приличия чуть-чуть и пнул меня.



31. Пока распутала цепочку и проследила, что все получили все, что хотели, прошло полтора часа. И есть охота. Тут уже не до спорта.



32. Зову мужа ужинать. У мужа на ужин суши. А я мало сплю, организм замедляет процессы и начинает накапливать все что съедено, поэтому у меня заменитель еды. Полезных элементов для поддержания нормальной жизнедеятельности достаточно, при этом минимум каллорий. И есть не хочется. На данный момент это то, что надо.



33. За ужином включаем "Анатомию страсти". Ненавижу сериалы. С момента как мы переехали в Сиэтл нам все уши прожужжали про этот сериал. Мы долго держались, но пару недель назад таки включили первый сезон. Забавно, оказывается, смотреть фильм, где место действия - знакомый тебе город (пусть даже сериал здесь и не снимался). Втянулись и теперь смотрим регулярно. Вот за это я и не любою сериалы - съедают все свободное время, но и досмотреть при этом любопытно.



34. Во время ужина приходит еще одно сообщение на пейджер. Один из заказчиков значительно хочет превысить рекоммендуемые показатели по использованию системы а именно в 35 раз. Нужно изучить нагрузку на данный регион, проверить показатели и решить, справиться система сама или нужна помощь.
Вообще все выглядит неплохо и система должна справиться без постороннего вмешательства. Но! подобные вопросы должны решаться днем и менеджерами, а не ночью и дежурным. Однако дело срочное, поэтому саппорт поднял приоритет, что привело к тому, что мне упало сообщение. И все же этот вопрос не в моей компетенции. Отправляю сообщение на пейджер мереджеру. После беседы с менеджером приходим к тому же выводу - все нормально, можно одобрить запрос.
На всякий случай проговариваем план Б, если вдруг что-то пойдет не так. Заранее пишу скрипты (нагрузка начнется в 4 утра по моему времени, что-то мне не хочется в 4 утра тратить на это время).
На часах 12:04, но они еще не переведены. На самом деле время - 11:04.



35. В голову приходит гениальная идея испечь кекс. На завтрак. Вкусный шоколадный кекс с творожной начинкой. На следующий день было ооочень вкусно :)



36. Но спокойно испечь кекс мне, конечно, нельзя. В полдвенадцатого постучали в коммуникатор и сказали, что роутер в таком-то регионе готов (днем были работы по его замене), и надо ввести этот регион обратно в эксплуатацию. Тут же появятся новые данные, анализатор навреняка где-то не возьмет в расчет, что регион был на починке и посчитает, что отсутствие данных - это проблема. То есть теоретически этого не будет. Но почти 100%, что хотя бы один сигнал тревоги придет. И обязательно тогда, когда я буду спать.
Нет уж. Все работы по введению региона в систему будут утром, ничего я на ночь менять не буду. Перевожу тикет в состояние ожидания и продолжаю печь кекс.



37. Кекс в духовке, кухня прибрана, на часах начало первого (часы все еще не преведены). Вообще, я не любитель прибирать вечером, мне проще поставить все в раковину и прибраться утром, но сегодня, на удивление, хватает сил на полную уборку и запуск посудомойки.

38. 12:29 - можно идти в душ и спать. На скриншоте телефона переписка с коллегой :) попы - это от английской аббревиатуры pop :)
Пейджер кладу на полку рядом с кроватью, телефон на зарядку. Сегодня был относительно спокойный день, посмотрим что будет завтра.



ЗЫ. Завтра началось в 4 утра, когда прозвинел тикет о пользователе с увеличением трафика в 35 раз - я забыла превести его в статус ожидания... :)

Сохранено

</>

Один день с пейджером в кармане

Привет! Меня зовут Ольга и я живу в Сиэтле. Это не первый день в сообществе а третий, если уж быть точной , предыдущие рассказывали про выходные. В этот раз будет описание рабочего дня. Правда, не совсем обычного рабочего дня 6-го ноября в четверг. В качестве предисловия: я работа ...

Читать полностью

Источник

Оставить комментарий

Популярные посты:

andrei_bt

24 марта 1962 года на вооружение принят "Эльбрус"

aniskin1968

Борзый ёжик

pro100_mica

Будни Второй мировой, 9 апреля 1944 года

coombaya

Покажите дверь

peremogi

Эпичная база от бывшего либера и русофоба: украины быть не должно!

ru_auto

Давайте будем гордиться отечественным производителем

matsam

Домой в Россию

shatff

В этот день 10 апреля – 2

• Ранее
• Архив