Вчера на работе произошёл неприятный случай, в котором я в

old_world_blues — 27.05.2022 Вчера на работе произошёл неприятный случай, в котором я в некоторой степени виновата.

Поскольку наша команда отвечает за важную часть инфраструктуры, мы дежурим по очереди, каждый человек - где-то по неделе в месяц. На этой неделе дежурю я.
Дежурство (on-call duty) подразумевает, что человек постоянно носит с собой телефон и ноут, чтобы в случае возникновения проблем узнать об этом и среагировать за несколько минут.

Для оповещений мы используем приложение Opsgenie. Когда пользователи (в нашем случае это разработчики приложений) замечают проблему, они должны отправить имейл на определённый адрес, в Opsgenie автоматически создастся инцидент, и приложение тут же позвонит дежурящему человеку. Звонок этот всегда из США и, кажется, всегда из Алабамы.

И вот вечером, часов в 8, на мой телефон кто-то позвонил с номера в Индии. Я не ответила, потому что решила, что это спам. Я вообще никогда не отвечаю на звонки с незнакомых номеров, тем более из других стран. Позвонили три раза, после третьего раза я просто этот номер заблокировала.
На всякий случай я всё-таки открыла рабочий ноут и проверила Opsgenie, почту и личные сообщения в чате. Всё было тихо, мне никто не писал. После чего я осталась полностью убеждена, что звонки были просто спамом.
Через час я получила сообщение в вотсаппе от начальника, где он спрашивал, работаю ли я над инцидентом в Индии. Я, конечно, этого тоже не увидела, потому что редко проверяю сообщения на телефоне.
Ещё через полчаса начальник мне позвонил. Тут я, конечно, ответила. Оказалось, что уже два часа лежат несколько приложений, и начальник попросил присоединиться к видеоконференции, где на тот момент 15 человек всё это время безуспешно пытались решить проблему.

Проблема была на нашей стороне, я сразу поняла, что не так, решила её за 10 минут, и всё заработало.

Оказалось, что разработчики вместо создания инцидента в Opsgenie просто нашли там телефон дежурящей и решили позвонить ей (то есть мне) лично. А я не ответила, потому что реагирую только на звонки от Opsgenie, которые, как я писала выше, всегда с американских номеров.
После чего они позвонили моему коллеге, который не ответил по той же причине, что и я, и нашему начальнику, который ответил.

В итоге приложения не работали на полтора часа дольше, чем могли бы, и компания потеряла дофига денег.

Формально я не виновата, потому что не обязана отвечать на звонки с непонятных номеров, и разработчики должны были следовать инструкции и создать инцидент в Opsgenie. Меня никто и не обвиняет.
Но всё равно неприятно, потому что, если бы я ответила, то починила бы всё очень быстро.

Оставить комментарий

Популярные посты:

• Ранее
• Архив