某年3月16日，某廠因DCS公用交換機(jī)故障，全部監(jiān)測(cè)參數(shù)、設(shè)備運(yùn)行狀態(tài)無法顯示監(jiān)控，兩臺(tái)機(jī)組被迫相繼停運(yùn)，造成全廠對(duì)外停電。
【事故經(jīng)過】
3月16日07:16:24，某廠#1、#2機(jī)組及輔機(jī)公用系統(tǒng)DCS系統(tǒng)通訊失靈，全部監(jiān)測(cè)參數(shù)、設(shè)備運(yùn)行狀態(tài)無法顯示監(jiān)控。
故障發(fā)生后熱控專業(yè)人員立即進(jìn)入現(xiàn)場(chǎng)查找原因，檢查發(fā)現(xiàn)冗余控制器中的一塊CP故障，在線復(fù)位CP后故障依然存在，通訊未連接，全部監(jiān)測(cè)參數(shù)、設(shè)備運(yùn)行狀態(tài)無法顯示監(jiān)控。所有交換機(jī)本體狀態(tài)指示燈無異常，工程師站計(jì)算機(jī)也已離線，無法從DCS系統(tǒng)管理軟件查看交換機(jī)工作狀態(tài)。
熱控人員首先切除#2機(jī)組A、B網(wǎng)絡(luò)交換機(jī)電源后故障未消除。
8:24分#1機(jī)組手動(dòng)打閘安全停機(jī)，輔控設(shè)備就地檢查無異常。
8:40左右斷開#1、2機(jī)組（#2機(jī)與公用系統(tǒng)一根光纖接口牢固未徹底斷開）與公用系統(tǒng)、數(shù)字化電廠網(wǎng)絡(luò)連接光纖，故障并未消除，隨后恢復(fù)#1、2機(jī)組與公用系統(tǒng)的網(wǎng)絡(luò)連接。
故障檢查期間，就地檢查主輔設(shè)備未異常。10:10分#2機(jī)手動(dòng)打閘安全停機(jī)。
10:15分切除公用系統(tǒng)A網(wǎng)絡(luò)交換機(jī)電源，切除公用系統(tǒng)B網(wǎng)絡(luò)交換機(jī)電源，恢復(fù)公用系統(tǒng)A網(wǎng)絡(luò)交換機(jī)電源后，#1、2機(jī)組及公用系統(tǒng)DCS通訊恢復(fù)正常。恢復(fù)公用系統(tǒng)B網(wǎng)絡(luò)交換機(jī)電源后故障再次出現(xiàn)，再次斷開公用系統(tǒng)B網(wǎng)絡(luò)交換機(jī)電源后，DCS通訊恢復(fù)正常。判斷確認(rèn)網(wǎng)絡(luò)通訊異常由公用系統(tǒng)B網(wǎng)絡(luò)交換機(jī)引起。
13:20分就近廠家技術(shù)人員到達(dá)現(xiàn)場(chǎng)，對(duì)更換后的公用系統(tǒng)B網(wǎng)絡(luò)交換機(jī)程序安裝，DCS網(wǎng)絡(luò)系統(tǒng)運(yùn)行正常。#1機(jī)16:57分、#2 機(jī)16:53順利并網(wǎng)。

【原因分析】
1、經(jīng)技術(shù)人員現(xiàn)場(chǎng)檢查和發(fā)回廠家的數(shù)據(jù)分析，由于運(yùn)行中的公用DCS網(wǎng)絡(luò)交換機(jī)SW001B異常故障，直接導(dǎo)致該交換機(jī)上RSTP協(xié)議（快速生成樹協(xié)議）正常關(guān)閉的端口被非正常的啟用。正常運(yùn)行中RSTP協(xié)議在CP及工作站與交換機(jī)的連接是打開的，但在交換機(jī)與交換機(jī)之間的連接是關(guān)閉的。由于該交換機(jī)工作，RSTP協(xié)議關(guān)閉的端口被非正常開啟，在網(wǎng)絡(luò)中產(chǎn)生了數(shù)據(jù)回路，大量的數(shù)據(jù)包通過這個(gè)回路被不斷地轉(zhuǎn)發(fā)。
2、由于DCS廠家在出廠組態(tài)時(shí)沒有對(duì)該交換機(jī)的端口進(jìn)行正確的配置，缺少了應(yīng)該在交換機(jī)端口上配置Broadcast的數(shù)據(jù)流量限制功能，該功能在數(shù)據(jù)包大流量轉(zhuǎn)發(fā)時(shí)能及時(shí)限制。由于設(shè)置錯(cuò)誤，致使大量的數(shù)據(jù)包被發(fā)至整個(gè)控制網(wǎng)絡(luò)中，數(shù)據(jù)包積累，最終導(dǎo)致整個(gè)網(wǎng)絡(luò)的癱瘓。
【防范措施】
1、進(jìn)行#1、#2機(jī)組、公用系統(tǒng)網(wǎng)絡(luò)交換機(jī)組態(tài)配置信息數(shù)據(jù)收集、備份工作。
2、做好DCS系統(tǒng)設(shè)備日常巡檢、維護(hù)，并認(rèn)真做好記錄和備份存檔工作，對(duì)DPU控制柜交換機(jī)板件、風(fēng)扇、濾網(wǎng)積灰徹底清理。
3、已經(jīng)與DCS廠家簽訂DCS年檢維護(hù)合同，在機(jī)組檢修期間，由廠家專業(yè)技術(shù)人員對(duì)DCS系統(tǒng)進(jìn)行軟、硬件，網(wǎng)絡(luò)通訊、交換機(jī)測(cè)試檢測(cè)、升級(jí)工作。
4、建立健全DCS系統(tǒng)軟件和應(yīng)用軟件的管理制度(特別是要加強(qiáng)系統(tǒng)升級(jí)、組態(tài)修改等重要工作中的軟件管理)，注意主控制器與冗余控制器控制組態(tài)軟件的一致性、應(yīng)用軟件和數(shù)據(jù)的備份、系統(tǒng)防病毒工作。
5、加強(qiáng)交換機(jī)及網(wǎng)絡(luò)通訊知識(shí)的學(xué)習(xí)，熟知DCS系統(tǒng)通訊方式和控制理論，提高缺陷判斷方向感和處理故障的能力。
6、核對(duì)通訊網(wǎng)絡(luò)設(shè)備、光纖的圖紙、名稱標(biāo)識(shí)牌。
7、DCS監(jiān)控畫面發(fā)生系統(tǒng)報(bào)警時(shí)，查看報(bào)警信息及時(shí)檢查處理，并做好記錄。
8、加強(qiáng)對(duì)獨(dú)立于DCS系統(tǒng)的后備緊急停機(jī)停爐按鈕硬操作回路的檢查維護(hù)工作，確保后備保護(hù)回路的可靠。
9、加強(qiáng)汽輪機(jī)緊急跳閘系統(tǒng)(ETS)、汽輪機(jī)安全監(jiān)視保護(hù)系統(tǒng)(TS1)、汽輪機(jī)控制系統(tǒng)（DEH、MEH）定期巡視檢查工作。
10、完善DCS系統(tǒng)保護(hù)。機(jī)組大、小修或機(jī)組停備7天以上必須進(jìn)行邏輯保護(hù)傳動(dòng)試驗(yàn)，確保DCS系統(tǒng)保護(hù)投入、可靠、正確無拒動(dòng)。對(duì)傳動(dòng)試驗(yàn)卡和備份邏輯專人妥善保管。做好重要備品備件的配置管理。
11、將#2機(jī)組與公用系統(tǒng)網(wǎng)絡(luò)連接斷開隔離，分散網(wǎng)絡(luò)系統(tǒng)故障范圍。
12、制定方案將#1、2機(jī)組、公用系統(tǒng)網(wǎng)絡(luò)完全隔離單獨(dú)監(jiān)控，減少網(wǎng)絡(luò)故障影響范圍。
13、完善網(wǎng)絡(luò)交換機(jī)系統(tǒng)在線監(jiān)測(cè)報(bào)警功能軟件，發(fā)現(xiàn)問題及時(shí)處理，防止事故擴(kuò)大。
14、盡快會(huì)同廠家技術(shù)人員查找出此次交換機(jī)出現(xiàn)故障的根本原因，杜絕此類事故再次發(fā)生。

?