S7 400 H система: один из PLC ушёл в STOP

[tem87]

У нас на объекте система управления построена на H-system из двух PLC S7 400 - Master и Standby.

Один из PLC ушёл в STOP. Запускаться в RUN не хочет. Redundant система теперь работает в "Solo Mode". Тот PLC который в норме теперь Master.

- Захожу в Hardware Configuration. Пытаюсь делать Download to PLC в режиме RUN. Загрузка срывается следующим сообщением:

Spoiler

Show

Как видно из картинки срывается Warm Restart ПЛК который в STOP'е.

- Пробую другое:
В Hardware Configuration пробую перейти в режим Online, когда пишет что офлайн и онлайн отличается выбираю Download from PLC to PG. Всё грузится, онлайн запускается. Пытаюсь открыть Module Information стопанутого PLC. Выдает такое окно:

Spoiler

Show

По железу первое что проявилось: это ошибки BUSF на модулях CP.

Где искать ошибку? Полез в Diagnsotic Buffer.
Ошибки следующие:

Spoiler

Show

Diagnostic buffer of module CPU 417-4 H

Order No./ Description Component Version
6ES7 417-4HT14-0AB0 Hardware 1
- - - Firmware V 4.5.2

Rack: ---
Slot: ---


Settings:
Time including CPU/local time difference (+6 h)


Event 1 of 120: Event ID 16# 530D
New startup information in STOP mode
Startup prevented by:
User program invalid
- Module or submodule assignment not evaluated or evaluation aborted with errors (SDB 1,3,5,2X,9X)
- STOP request exists
- Cold restart or warm restart necessary
Startup information:
- Time for time stamp at the last backed up power on
- Single processor operation
Current/last startup type:
- Warm restart triggered via MPI
Permissibility of certain startup types:
- Manual startup not permitted, corrections in parameter assignment, submodule, etc. necessary
Last valid operation or setting of automatic startup type at power on:
- No startup type/following memory reset
Operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Incoming event
02:53:43.024 PM 06/19/2015


Event 2 of 120: Event ID 16# 4542
STOP caused by object management system
Previous operating mode: STOP (internal)
Requested operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Internal error, Incoming event
02:53:43.020 PM 06/19/2015


Event 3 of 120: Event ID 16# 530D
New startup information in STOP mode
Startup prevented by:
Loading user program or internal inconsistency detected
(SDBs less than 200 incomplete, superfluous, or incorrect)
User program invalid
- Module or submodule assignment not evaluated or evaluation aborted with errors (SDB 1,3,5,2X,9X)
- STOP request exists
- Cold restart or warm restart necessary
Startup information:
- Time for time stamp at the last backed up power on
- Single processor operation
Current/last startup type:
- Warm restart triggered via MPI
Permissibility of certain startup types:
- Manual startup not permitted, corrections in parameter assignment, submodule, etc. necessary
Last valid operation or setting of automatic startup type at power on:
- No startup type/following memory reset
Operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Incoming event
02:53:42.723 PM 06/19/2015


Event 4 of 120: Event ID 16# 6550
Error in test value (CRC) of a block
FC number: 3040
No relevance for user : 0xd235
No relevance for user : 0x0000
Operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Internal error, Incoming event
02:53:41.373 PM 06/19/2015


Event 5 of 120: Event ID 16# 6550
Error in test value (CRC) of a block
FC number: 2752
No relevance for user : 0xd235
No relevance for user : 0x0000
Operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Internal error, Incoming event
02:53:41.287 PM 06/19/2015


Event 6 of 120: Event ID 16# 6550
Error in test value (CRC) of a block
DB number: 3478
No relevance for user : 0xd235
No relevance for user : 0x0000
Operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Internal error, Incoming event
02:53:40.662 PM 06/19/2015


Event 7 of 120: Event ID 16# 6550
Error in test value (CRC) of a block
DB number: 3371
No relevance for user : 0xd235
No relevance for user : 0x0000
Operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Internal error, Incoming event
02:53:40.626 PM 06/19/2015


Event 8 of 120: Event ID 16# 530D
New startup information in STOP mode
Startup prevented by:
User program invalid
- Parameter assignment for MPI or DP interfaces not evaluated or inconsistent
(SDB1XXX incomplete, superfluous, or incorrect)
- Module or submodule assignment not evaluated or evaluation aborted with errors (SDB 1,3,5,2X,9X)
- STOP request exists
- Cold restart or warm restart necessary
Startup information:
- Time for time stamp at the last backed up power on
- Single processor operation
Current/last startup type:
- Warm restart triggered via MPI
Permissibility of certain startup types:
- Manual startup not permitted, corrections in parameter assignment, submodule, etc. necessary
Last valid operation or setting of automatic startup type at power on:
- No startup type/following memory reset
Operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Incoming event
02:53:39.668 PM 06/19/2015


Event 9 of 120: Event ID 16# 49D1
LINK-UP/UPDATE aborted
No relevance for user (Z1): 8ff9
No relevance for user (Z2): 80ff (Z3): 0035

Previous operating mode: LINK-UPRequested operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
External error, Incoming event
02:53:39.666 PM 06/19/2015


Event 10 of 120: Event ID 16# 43E6
Master CPU: Link-up/update by standby CPU aborted
Trigger event: LINK-UP/UPDATE aborted
Previous operating mode: LINK-UP
Requested operating mode: RUN
Event occurred in the master CPU in rack 0
Incoming event
02:53:39.666 PM 06/19/2015


Event 11 of 120: Event ID 16# 49A4
STOP: inconsistency in the configuration data
occurred when checking Parameters for local consistency
No consistency entries assignable
Error type: The time stamp delivered by the PROFIBUS DP or PROFINET IO interfaces does not correspond with the configured CPU data
Previous operating mode: LINK-UP
Requested operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
External error, Incoming event
02:53:39.666 PM 06/19/2015


Event 12 of 120: Event ID 16# 43E0
Change from STOP (internal) to link-up mode
STOP due to: STOP caused by object management system
Startup information:
- Time for time stamp at the last backed up power on
- Single processor operation
Current/last startup type:
- Warm restart triggered via MPI
Permissibility of certain startup types:
- Manual startup not permitted, corrections in parameter assignment, submodule, etc. necessary
Last valid operation or setting of the automatic startup type at power on:
- Warm restart triggered via MPI
Previous operating mode: STOP (internal)
Requested operating mode: LINK-UP
Event occurred in the standby CPU in rack 1
Incoming event
02:52:28.096 PM 06/19/2015


Event 13 of 120: Event ID 16# 43E0
Change from RUN to link-up mode
Previous operating mode: RUN
Requested operating mode: LINK-UP
Event occurred in the master CPU in rack 0
Incoming event
02:52:28.096 PM 06/19/2015


Event 14 of 120: Event ID 16# 43E0
Change from STOP (internal) to link-up mode
STOP due to: STOP caused by object management system
Startup information:
- Time for time stamp at the last backed up power on
- Single processor operation
Current/last startup type:
- Warm restart triggered via MPI
Permissibility of certain startup types:
- Manual startup not permitted, corrections in parameter assignment, submodule, etc. necessary
Last valid operation or setting of the automatic startup type at power on:
- Warm restart triggered via MPI
Previous operating mode: STOP (internal)
Requested operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Incoming event
02:52:27.970 PM 06/19/2015


Event 15 of 120: Event ID 16# 530D
New startup information in STOP mode
Startup prevented by:
User program invalid
- Module or submodule assignment not evaluated or evaluation aborted with errors (SDB 1,3,5,2X,9X)
- Cold restart or warm restart necessary
Startup information:
- Time for time stamp at the last backed up power on
- Single processor operation
Current/last startup type:
- Warm restart triggered by switch setting
Permissibility of certain startup types:
- Manual startup not permitted, corrections in parameter assignment, submodule, etc. necessary
Last valid operation or setting of automatic startup type at power on:
- Warm restart triggered via MPI
Operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
Incoming event
02:52:27.970 PM 06/19/2015

Есть мысль что в СТОП уходит из за этого event'а:

Event 11 of 120: Event ID 16# 49A4
STOP: inconsistency in the configuration data
occurred when checking Parameters for local consistency
No consistency entries assignable
Error type: The time stamp delivered by the PROFIBUS DP or PROFINET IO interfaces does not correspond with the configured CPU data
Previous operating mode: LINK-UP
Requested operating mode: STOP (internal)
Event occurred in the standby CPU in rack 1
External error, Incoming event
02:53:39.666 PM 06/19/2015

Что ещё можно сделать?
- Сделать загрузку Hardware Configuration в режиме STOP? Пока нет возможности остановить тех. процесс. Поможет ли?
- В режиме Online Hardware Config заходил в Operating Mode. Там жал кнопку Switch To. Доступен только один вариант - Switch to Altered configuration. Что произойдёт, если сделать это переключение?

По предоставленной информации понятно ли в чём проблема?

[CoMod]

Программа хранится на карте памяти или батарейке ?
Светодиоды на сбойном как светятся ?
Откуда там Профинет ?
Фотку HWConfig

[tem87]

Программа хранится на карте памяти или батарейке ?
Светодиоды на сбойном как светятся ?
Откуда там Профинет ?
Фотку HWConfig

Место хранения программы где посмотреть? Завтра посмотрю, скажу.
И всё остальное на работе посмотрю, выложу.
Чуть более информации:

Spoiler

Show

Была газовка. Отвалился 300-й контроллер на локальной установке, с H-системой работал по Profibus. Такой же модели ПЛК не было, поставили другой. По Profibus связь пропала. Не видит.

- Раз другая модель ПЛК, значит для связи по Profibus нужно пролить H-систему с соответствующими измененими конфиги, правильно?
Изменили, пролился нормально, H система в работе. По profibus связь не вернулась.

- Далее на том конце Profibus воткнули Profibus Terminator. Если конец Profibus не терминирован, он обычно SF или BF возвращает, правильно?
Втыкали терминатор, изменений не было, по Profibus не видит по прежнему, H система в работе.

- Затем обратил внимание, что когда удалили старый плк, и добавили новый - изменился Diagnostic Address(был 16270, стал 16276). Забил старый 16270. Проливаемся.
Вот тут-то всё и случилось: проливка зависает. Оператору начинает лезть постоянно ошибка "Такой-то Y Link отвалился". BF вылазит на том, который был Master. Master'а переводим в STOP, резервный подхватывает. Ошибка оператора больше не беспокоит. Бывший Master в Run не переходит. Ну и всё что дальше я уже описал.

Вот и гадаем теперь: виноват Profibus Terminator или проливка последняя?
Именно поэтому в первом посте я выделил тот event. Может там проблема?

- По выложенному Diagnostic Buffer ничего нельзя сказать? А по выделенному event'у?

[tem87]

Программа хранится на карте памяти или батарейке ?
Светодиоды на сбойном как светятся ?
Откуда там Профинет ?
Фотку HWConfig

Такие диоды горят:


Сейчас на CPU ещё горят RACK1, REDF, INTF, EXTF

HWConfig вот такой:


Ещё из HWConfig:




По поводу Switch To подскажите: чем чревато Switch To altered conf-n? И остальные опции?

[CoMod]

Программа хранится на карте памяти - торчит из ЦПУ.
Процедура заливки программы на карту памяти в резервированной системе производится по своему алгоритму (описан в документации на русском) - в другой ЦПУ изменения надо заливать на карту памяти также "вручную" через меню.
Программы в картах памяти должны быть идентичны - иначе резервирования не будет и второй процессор будет в СТОПе.
Бывали с некоторыми сериями ЦПУ глюки и иногда приходилось заливать программу в щели программатора PowerPG/FieldPG, иначе ЦПУ висели в ошибке нерезервирования.

[tem87]

Программа хранится на карте памяти - торчит из ЦПУ.
Процедура заливки программы на карту памяти в резервированной системе производится по своему алгоритму (описан в документации на русском) - в другой ЦПУ изменения надо заливать на карту памяти также "вручную" через меню.
Программы в картах памяти должны быть идентичны - иначе резервирования не будет и второй процессор будет в СТОПе.
Бывали с некоторыми сериями ЦПУ глюки и иногда приходилось заливать программу в щели программатора PowerPG/FieldPG, иначе ЦПУ висели в ошибке нерезервирования.

Сегодня на работе переключал по разному СТОПы, RUNы, отключение питания и тому подобное.

Как результат, оба ПЛК в RUN:

Spoiler

Show

Из диодов на Mastere красным горят REDF и EXTF на ЦПУ, на нём же мигает INTF, и на CP модулях крайних горят EXTF

Наш же пациент стоит в резерве, горит вот так:

INTF на ЦПУ тоже мигает, на крайнем CP мигает BUSF

Думаю, вся проблема в крайнем CP с мигающей BUSF. Как думаете?

Из особенностей:
- После возвращения в RUN пробовал делать Download в HWConfig, очень медленно грузится, зависает на первой палке, скрин выложу
- Переход в ONline в HWConfig тоже оооочень медленный. Но таки переходит.
- Выложу Diagnostic Buffer
- В HWConfig в Operating Mode режим теперь Redundant. Скрин выложу.

Что скажете? Откуда такие лаги в работе HWConfig?
Резервирование можно считать восстановеленым?

[tem87]

Короче говоря, Online режим в HWConfig можно сказать что "не запускается". Жмёшь кнопку - и через пару секунд всё, полный висяк!
С чем это может быть связано?

[tem87]

Слава нашим технологам!
Ночью сотворили останов процесса.
Приезжаю, захожу в HWConfig, запускаю Download Config в RUN режиме, и вуаля, грузится без проблем.
Запускаю Online в HWConfig - запускается.
И ни лагов, ни тормозов.

Единственно что осталось - это BUSF.