"Магазин в водонапорной башне на центральной площади во дворе завода"
fixik_papus — 12.06.2017 Очередной кусочек из повседневной-фабричной жизни.Такие кусочки - самые веселые - всегда случаются при тестовых запусках оборудования после завершения ППР. Два раза в год, то бишь.
Потому что тут поковырялись, тут добавили, тут убавили - и понеслось...
Итак, при попытке тестового запуска цеха вылезла проблема, какой раньше ни разу за много лет не было:
Не запускается в работу осушитель второго холодильного туннеля формовки.
Контроллер его не воспринимает сигналы управления по Profinet (суть специфический протокол поверх обычного Ethernet) с главного контроллера, не ставит сигнал готовности, и так далее...
При этом контроллер выдает про осушитель какие-то странные цифры вместо параметров. И какой-то код ошибки, какого раньше никто не видел и в мануале не описан.
Без осушителя работать нельзя: печенюшки в тоннеле покроются сперва конденсатом, а потом плесенью.
На устранение проблемы осталось несколько минут.
Была пара часов... но предыдущая смена все их уже бездарно потратила.
Если не запустить сегодня тест - сорвем график запуска производства.
Потому что необходимость теста все понимают и время для него в план-графике отводят. Но при этом все считают, что тест всегда должен быть сразу успешным, и на повторный тест времени - не отводят.
Задачи:
1) БЫСТРО устранить проблему и запустить линию
2) (можно уже не так быстро) понять причины возникновения проблемы и дать рекомендации по ее недопущению в следующий раз.
Куда полезем? Что делать будем?
Чтобы дать намек на тему "куда копать" - предлагаю ознакомиться с прекрасным, но почему-то малоизвестным текстом на похожую тему от krylov
Поскольку блог тот объявлен закрытым и может пропасть - скопирую сюда целиком.
//repost begin
Соответственно, я знал, насколько важен индекс, что номера домов бывают невероятно причудливыми, что р-н указывать ну очень желательно, а также в чём разница между с., д., п. и п.г.т. (не удивляйтесь, из этих мест в некоторых случаях можно было выписать обратно в Москву довольно редкие книжки).
Так что тот факт, что номер дома – это ни в коем случае не число, а текстовая строчка, мне было понятно с самого начала. Правда, я-то знал, что бывают номера домов через дефис (типа д. 1-3), о чём авторы статьи на хабрахабре, похоже, не ведают. Равно как и о том, что адрес типа д. 11/1 может означать очень разные вещи – например, что это дом 11 строение 1, или что это корпус 1, или что это дом на пересечении улиц, и по одной из них он 11, а по другой – первый, а также и то, что этот дом ПРОСТО имеет номер 11/1, вот так его назвали он один как перст, а почему так называется – лишь один Бог ведает.
Равно как и то, что адрес типа 5-я ул. 70-летия Октября д. 13А корп. 5/1 стр. 7 кв. 12Б – это не бред сумасшедшего, а нормальный такой адрес. Как и тот факт, что физически этот дом может находиться совсем даже не на 5-й улице 70-летия Октября (так его нет, сколько по этой улице не бегай), а где-то в районе 2-го Старомаломолозивного переулка, который не дай бог перепутать со 2-м Старомаломолозивным проездом, который вообще на другом конце города. Этим меня уже удивить было сложно.
Как и тем, что бывают дома без улиц, например. Или что, пишучи в какую-нибудь отдалённое село, в некоторых случаях совершенно бессмысленно указывать дом (хотя формально он есть), а надо писать «село Верхняя Щельга, Кузьмичёву Василию Петровичу (агроному)». Потому что бывшего агронома, а ныне продавца в книжно-газетном ларьке при станции Василь-Петровича все знают, а то, что он проживает в доме 10, не помнит никто. Включая, может быть, и самого Василь-Петровича.
//repost end
Смею заверить, что если ограничиться только формальными почтовыми адресами (куда может доставить Почта России) - ситуация сильно легче не станет.
Если интересно кому - могу еще написать, и своих материалов "на тему", и переводных.
Но вернемся на производство, к неработающему осушителю. Полагаю, все уже поняли, что осушитель ни в чем не виноват? Как это "не поняли"?
У всяких-разных железяк на фабрике полным-полно адресов. В смысле, IP адресов.
Количество их на фабрике, наверно, больше 10000 (точно никто не считал, да оно еще и меняется). IP адреса есть у серверов, контроллеров, панелей, компьютеров в операторских и офисе, разнообразного железа от сервоприводов до особо умных датчиков, виртуальных машин для телесервиса, трубок внутренней WiFi телефонии, многих выключателей освещения (они у нас чипом в пропуске управляются), станков с ЧПУ в мехмастерской и так далее до касс в столовой и шлагбаума на проходной. Все это раскидано по сотням разнообразных подсетей (несколько из них класса B) с хитрозамороченной маршрутизацией и разнообразными правами доступа.
Как ни странно, в целом все это вполне хорошо и надежно работает.
Заведают всем этим хозяйством айтишники. Внутренняя структура и адресация сети относится к "красному уровню" промбезопасности и направо-налево не раздается.
Но в ППР подрядчики ставили в конце линии новый паллетайзер (раньше руками складывали).
У паллетайзера есть свой контроллер, однотипный с контроллером осушителя. (зачем однотипный? а затем, чтобы зоопарк контроллеров на складе и софта на программаторах не плодить)
Для интеграции в линию подрядчики, недолго думая, нашли первый попавшийся свободный IP адрес в подсети линии.
Как определили, что свободный? Не пингуется - значит, свободный.
Вот только осушитель во время "процедуры поиска свободного адреса" был физически обесточен, потому что там цеолитовый барабан меняли.
Паллетайзер получил тот же IP адрес, что и осушитель.
При включении питания линии он установил соединение быстрее (ну так вот получилось) и "забрал себе" адрес осушителя.
Осушитель, соответственно, отвалился от сетки.
Наладчик с программатором подцепился к сетке через коммутатор в главном шкафу управления.
Что видим? У главного контроллера все хорошо, с данным адресом он связывается.
У контроллера паллетайзера тоже все хорошо.
У контроллера осушителя все плохо, но чтобы это увидеть - нужно физически залезть с программатором по трапу на чердак, где живет осушитель, и подключиться там к контроллеру мимо коммутатора.
Контроллер линии считает сетевые телеграммы от паллетайзера - телеграммами от осушителя - и, разумеется, выдает про осушитель полный бред.
А про паллетайзер контроллер вообще не знает, потому что общение с паллетайзером по сети в него еще не прописали, не успели и отложили "на потом"...
На самом деле это все дольше писАть, чем делать.
Выдергиваем сетевой хвост из паллетайзера. Дергаем в распредщите питание осушителя (это не очень хорошо, зато быстрее, чем лезть на чердак с программатором и перезагружать оттуда), связь с ним восстанавливается, все ошибки исчезают и линию можно запускать.
Теперь, пока продукт не доехал до паллетайзера, есть полчаса чтобы связаться с айтишниками и получить от них РЕАЛЬНО свободный IP адрес (да, я в курсе что ты в столовой. Но мне надо вот прям сейчаc. Сильно надо, очень сильно.). Прописать его в настройки контроллера паллетайзера и перезагрузить контроллер его. Все, инцидент исчерпан.
А на будущее - во все шаблоны договоров подряда и техзаданий с подачи технической службы внесли пункт "категорически запрещается подключение каких-либо устройств любыми способами к фабричной сети без письменного согласования со службой IT".
Посему - в точности такой проблемы больше не будет. Что никак не исключает проблем других, не менее "веселых"...
|
</> |