通訊故障處置不當,網絡阻塞全廠停電
2013年12月4日,某燃機電廠西門子監控系統網絡故障導致單臺機組跳閘,在網絡恢復過程中產生網絡阻塞引發另外兩臺機組同時跳閘,造成全廠對外全停的電力安全事件。
【事故經過】
該電廠裝有3臺400MWF級的燃氣一蒸汽聯合循環機組,各臺機組監控系統均采用西門子TELEPERMXP系統(簡稱“TXP系統”)。此外,三臺機組共設有公用系統一套。各機組TXP系統間數據通訊是由SINECNET總線承擔,其中SINECNET總線系統分為工廠總線和終端總線兩部分。各機組TXP系統的工廠總線、終端總線分別與公用系統公用總線、終端總線連接。各機組TXP系統工廠總線共有9個網絡交換器(ESM),由光纖或電纜串接,正常運行狀態下呈“C”型網運行狀態。其中任一網絡交換器(ESM)具有冗余配置功能,通過相應配置可以具有網絡斷點監測功能。即當網絡交換器(ESM)人工設置冗余配置功能后,如“C"型網中出現一個斷點時,則冗余配置功能生效,以保證網絡始終保持“C”型網運行;如“C”型網中出現兩個及以上斷點時,則網絡將會異常。
2013年12月4日14時25分,#3機組跳閘,廠方工作人員通過查看SOE事件記錄,查明機組跳閘原因是工廠總線通訊故障。經廠方工作人員對機組監控系統的網絡及通訊設備檢查發現,其中一個網絡交換器(ESM,編號為5P)故障報警,隨即廠方工作人員對其進行了復位重置,但是故障未消除,報警仍然存在。經廠方內部協商后,對該網絡交換器利用廠內備品備件進行了在線更換,更換后,報警消失。在對#3機組監控系統中網絡交換器(ESM,編號為5P)更換后數分鐘內,15時36分,#1、#2機組同時跳閘,相關監視界面也同時異常。
三臺機組跳閘后,按照SPPA工程師建議,將#3機組TXP系統與公用系統之間網絡斷開后,隨后#1、#2機組監控界面及監控系統通訊網絡恢復正常。廠方工作人員在對該機組TXP系統所屬網絡交換器、連接線等逐一排查后,發現其中一個網絡交換器(ESM,編號為4P)所連接的連接線接頭(RJ45接頭)有松動現象;同時廠方工作人員通過查閱歷年維護記錄并根據SPPA工程師建議,利用備件網絡交換器(ESM,原編號為5P,前日更換下來的)對網絡交換器(ESM,編號為7P)進行了更替,經測試后,網絡恢復正常。并于2013年12月5日申請依次并網。
【原因分析】
1、西門子監控系統的網絡設備故障導致單臺機組跳閘。#3機組TXP監控系統網絡交換器(ESM,編號為4P)的連接接口(RJ45接頭)松動,同時由于網絡交換器(ESM,編號為7P)設備故障,造成兩個斷點,破壞了“C”型網運行結構,造成#3機組TXP系統通訊中斷,引發#3機組工廠總線通訊故障保護跳閘。
2、更換功能相異的網絡設備導致其他兩臺機組跳閘。在#3機組TXP監控系統網絡交換器(ESM)存在異常信號下,廠方工作人員采取了更換措施。由于日常維護均由其生產廠商西門子承擔,而西門子對電廠工作人員并未進行相關設備技術交底,致使廠方工作人員更換#3機組網絡交換器時,由于外觀相同難以辨別功能差異,使#3機組TXP系統網絡形成“O"型,導致通訊網絡阻塞,進而引發#1、#2機組因通訊故障保護跳閘。
3、西門子機組監控系統網絡設備重要故障告警功能不足。西門子機組監控系統對#3機組網絡交換器連接接口(RJ45接頭)松動和另一網絡交換器未能及時有效地告警提示運行人員,導致設備異常同時出現時,#3機組通訊網絡形成斷點,監控系統故障,致使#3機組保護跳閘。
4、西門子機組監控系統對網絡通訊故障隔離措施不到位。西門子機組監控系統對網絡通訊故障缺乏有效防護手段和隔離措施,由于#3機組與#1、#2機組網絡相連接,在對#3機組更換網絡交換器不當致使機組通訊網絡阻塞后,引發#1、#2機組通訊網絡阻塞,進而導致兩臺機組保護跳閘。
【防范措施】
1、重視生產監控系統廠商技術交底。要求機組監控系統制造廠商對系統原理、網絡設計、通訊原理、設備配置等方面進行詳細徹底的技術交底,做好相關技術培訓。
2、提高機組監控系統自主運行維護能力,減少對制造廠商的依賴,使運行管理人員逐步全面了解掌握機組運行狀況。
3、增強電廠網絡與信息安全專業技術力量。對相關崗位維護人員進行專業能力培訓考核,增強其對網絡設備配置、系統網絡原理、網絡與信息安全等專業技術水平。
4、對機組生產監控系統進行排查,對國外電力生產監控系統信息安全狀況開展專題研究,提出切實可行的風險防控及安全防護措施,避免類似事件(事故)的發生。
5、強化電力二次系統安全防護和等級保護相關工作。按照電力二次系統安全防護規定及相關網絡安全管理要求,對監控系統開展安全評估及等保測評工作,切實保證機組監控網絡與信息系統的安全穩定運行。
6、加強網絡與信息安全管理。提高網絡與信息安全認識,加強組織領導,完善相關工作制度、流程,增強信息安全防范意識,派送技術人員參加相關信息安全培訓,切實提高網絡與信息安全管理水平。
7、完善網絡與信息安全應急預案。規范編制應急預案,并及時進行應急演練并對發現的問題進行整改,提高網絡與信息安全應急管理水平。
?