魏永斌

（中核龍安有限公司，浙江 臺州 317100）

0 引言

近幾年來，國內(nèi)多個核電廠發(fā)生了運行期間主控室突發(fā)全部“黑屏”，即主控室內(nèi)所有操縱員站同時不可用的異常事件。在國內(nèi)目前已經(jīng)應用了數(shù)字化儀控系統(tǒng)的核電廠，一般將此類事件歸結(jié)為電廠計算機信息和控制系統(tǒng)不可用事件。一旦電廠所有操縱員站同時“黑屏”，電廠將短時進入類似“盲運”的狀態(tài)，此時核電廠需要按照其特定的事件響應規(guī)程迅速做出響應，并采取措施進行快速修復。

考慮到核設施控制室在安全性和穩(wěn)定性方面的特殊要求，針對所有核設施，包括核電廠、后處理廠等，在其控制系統(tǒng)設計及開發(fā)階段就需考慮防范控制室發(fā)生同時“黑屏”事件的措施。本文將參考國內(nèi)核電廠近期發(fā)生的主控室同時“黑屏”事件經(jīng)驗反饋，結(jié)合三代核電機組控制系統(tǒng)設計、調(diào)試和運行經(jīng)驗，從控制系統(tǒng)結(jié)構(gòu)特點出發(fā)，分析控制室發(fā)生同時“黑屏”事件的情況，并給出建議措施，以用于后續(xù)國內(nèi)核設施控制系統(tǒng)及控制室設計參考。

1 國內(nèi)核電廠近期主控室“黑屏”事件總結(jié)分析

在國家核安全局2015年組織編制的《運行核電廠數(shù)字化儀控系統(tǒng)（DCS）異常專題報告》[1]選取了22起相對重要的電廠計算機信息和控制系統(tǒng)（一般稱KIC系統(tǒng)）典型異常進行了分析?？偨Y(jié)近幾年幾起典型的核電廠主控室“黑屏”事件如下：

1）2014年12月，國內(nèi)某核電廠2號機組由于冗余歷史數(shù)據(jù)服務器數(shù)據(jù)同步過程與中央數(shù)據(jù)服務器數(shù)據(jù)交換過程疊加，SAR插入操作時因同步數(shù)據(jù)量大而使CCT超負荷停運，導致主控室操縱員站不可用32min。

2）2015年9月，國內(nèi)某核電廠CN3 進程使SAR7-STR7-GTW1 服務器CPU消耗過高，導致CCT服務器運行變慢。在重啟電廠計算機信息和控制系統(tǒng)（KIC）備用的中央數(shù)據(jù)處理服務器CCT1過程中，出現(xiàn)了主控4臺操縱員站同時不可用的事件。

3）2016年5月，國內(nèi)某核電廠由于DCS時鐘系統(tǒng)中一級母鐘提供的時鐘源信號跳變故障，導致DCS2層與1層的接口服務器離線，進而導致兩臺機組主控突發(fā)黑屏事件。

上述電廠的DCS監(jiān)控層（一般稱KIC系統(tǒng)）基本運行流程如下：來自儀控1層的數(shù)據(jù)首先進入KIC系統(tǒng)前端處理服務器（CFR），然后傳輸?shù)街醒霐?shù)據(jù)處理服務器（CCT）進行處理，處理結(jié)果再分別傳輸?shù)綄崟r數(shù)據(jù)處理服務器（STR）和歷史數(shù)據(jù)存檔服務器（SAR），操縱員工作站（OWP）則調(diào)用實時數(shù)據(jù)處理服務器（STR）和歷史數(shù)據(jù)存檔服務器（SAR）中的數(shù)據(jù)實現(xiàn)電廠監(jiān)控。KIC系統(tǒng)中的前端處理服務器（CFR）負責連接DCS1層和2層子系統(tǒng)，是1層和2層數(shù)據(jù)的接口服務器；中央數(shù)據(jù)處理服務器（CCT）負責所有電廠計算機信息和控制系統(tǒng)（KIC）的數(shù)據(jù)處理；實時數(shù)據(jù)處理服務器（STR）負責電廠計算機信息和控制系統(tǒng)（KIC）實時數(shù)據(jù)處理和儲存；歷史數(shù)據(jù)存檔服務器（SAR）負責電廠計算機信息和控制系統(tǒng)（KIC）的歷史數(shù)據(jù)處理和儲存。

分析一些典型事件及KIC系統(tǒng)結(jié)構(gòu)后，總結(jié)出了以下幾個可能導致其主控“黑屏”的風險點：

◆ DCS 2層與1層由不同的DCS平臺構(gòu)建，接口非常關(guān)鍵，由于兩層軟硬件由不同的廠家設計和供貨，所以兩層系統(tǒng)之間需要建立數(shù)據(jù)接口服務器（如CFR）進行數(shù)據(jù)交互，該數(shù)據(jù)接口服務器的可靠性直接影響2層系統(tǒng)監(jiān)控功能的可靠性。

◆ DCS監(jiān)控層數(shù)據(jù)處理量大，進程復雜，2層在收到1層數(shù)據(jù)后，需要通過各種專用服務器對所有數(shù)據(jù)進行二次運算和處理，各專用服務器運算數(shù)據(jù)量大，服務器之間的任何數(shù)據(jù)、進程沖突或異常等都有可能導致2層監(jiān)控功能喪失。

◆ DCS時鐘系統(tǒng)結(jié)構(gòu)復雜，故障點多，DCS的1層、2層設備分別要與其接口的時鐘服務器對時，同時接口服務器又要逐級與二級母鐘、一級母鐘進行對時，一旦上游時鐘故障，很容易導致兩層系統(tǒng)時鐘混亂并出現(xiàn)服務停運。

2 新型核電機組控制系統(tǒng)結(jié)構(gòu)特點及其控制室發(fā)生“黑屏”事件的可能性分析

目前，國內(nèi)已經(jīng)建成或正在新建的新型三代核電機組包括采用美國技術(shù)的AP1000、采用法國技術(shù)的EPR以及中國自主設計研發(fā)的華龍一號等，其中AP1000國內(nèi)首批建設的4臺機組均已陸續(xù)商運，研究分析AP1000機組的控制系統(tǒng)結(jié)構(gòu)特點[2]，可以發(fā)現(xiàn)：

1）其控制系統(tǒng)2層與1層基于同一個軟硬件平臺構(gòu)建，故不存在兩層之間設置專用接口的問題。

非安全級控制系統(tǒng)整體基于一個平臺構(gòu)建，這個平臺覆蓋了控制系統(tǒng)1層（控制與數(shù)據(jù)處理層）和2層（監(jiān)控層）所有功能。在該平臺上，所有的電廠人機接口，包括主控區(qū)的操縱員站、高級操縱員站、墻面大屏以及主控區(qū)以外的工程師站、就地控制站等均作為一個個標準的控制站點，同時“懸掛”在控制系統(tǒng)的高速以太網(wǎng)上。上述這種控制系統(tǒng)1層、2層“渾然一體”的結(jié)構(gòu)，不需要中間數(shù)據(jù)處理服務器等專用接口設備。因此，不存在由于中間數(shù)據(jù)接口設備故障而導致主控室操縱員站全部“黑屏”的可能性。

2）其控制系統(tǒng)網(wǎng)絡采用標準的開放式實時數(shù)據(jù)傳輸網(wǎng)絡，網(wǎng)絡上的所有站點地位平等，獨立工作，單一站點故障并不影響其他站點的正常運行。

非安全級控制系統(tǒng)采用標準的開放式實時數(shù)據(jù)傳輸網(wǎng)絡，整個網(wǎng)絡為雙層分布式結(jié)構(gòu)，通過一組根交換機（ROOT級）將下層多組擴展交換機（FAN-OUT級）連接從而構(gòu)成網(wǎng)絡干線，F(xiàn)AN-OUT級則由8組24口的網(wǎng)絡交換機組成，以提供足夠的網(wǎng)絡節(jié)點端口。對整個控制系統(tǒng)網(wǎng)絡而言，每個交換機端口對應一個站點，整個控制系統(tǒng)網(wǎng)絡中的所有站點處于同一網(wǎng)段，在該網(wǎng)段內(nèi)，所有站點端口地位平等，獨立工作，網(wǎng)絡數(shù)據(jù)可以被任何站點調(diào)用，任意某個或幾個站點故障并不影響其他站點的正常工作。因此，不存在一些站點故障進而導致整個主控室操縱員站全部“黑屏”的可能。

3）其控制系統(tǒng)網(wǎng)絡由成熟的商業(yè)化的高速以太網(wǎng)設備構(gòu)建，網(wǎng)絡性能穩(wěn)定可靠。

控制系統(tǒng)網(wǎng)絡采用標準的基于交換機的快速以太網(wǎng)，優(yōu)化了網(wǎng)絡負荷，避免出現(xiàn)網(wǎng)絡風暴，整個網(wǎng)絡帶寬達到100MB，可以支持每秒20萬點的實時刷新速度，最大可以支持1000個網(wǎng)絡節(jié)點（站點），遠高于電站的實際應用，同時在控制系統(tǒng)軟件設計和開發(fā)過程中，設計方針對控制系統(tǒng)網(wǎng)絡實際負荷進行了嚴格限制和工廠測試，保證了控制系統(tǒng)周期性的網(wǎng)絡數(shù)據(jù)廣播不能超過總帶寬的40%，75%的主控室操縱員站對同一歷史數(shù)據(jù)的同時請求不能導致系統(tǒng)故障或重啟?？刂葡到y(tǒng)網(wǎng)絡穩(wěn)定可靠，由于網(wǎng)絡故障導致主控室全部“黑屏”的概率極低。

4）其控制系統(tǒng)全網(wǎng)采用同一套GPS時鐘系統(tǒng)，通過NTP網(wǎng)絡協(xié)議自動對時。

控制系統(tǒng)全網(wǎng)所有站點使用唯一的一套GPS時鐘系統(tǒng)，兩臺冗余的GPS時鐘服務器通過各自的天線獲取GPS衛(wèi)星標準時間，之后通過DCS網(wǎng)絡外部IP交換機接入DCS網(wǎng)絡，作為外部NTP時間服務器向DCS網(wǎng)內(nèi)所有用戶授時（包括所有DCS網(wǎng)絡站點和交換機），GPS時間服務器與DCS用戶之間不存在其他層級的中間接口，所有站點的對時基準唯一，不存在控制系統(tǒng)1、2層之間由于采用不同的對時服務器而可能導致時間偏差，進而導致系統(tǒng)癱瘓，主控全部“黑屏”的情況。

5）其主控室操縱員站后臺多重冗余設計，可有效避免同時故障。

主控室所有工作站的后臺設備，包括主控室操縱員站、墻面大屏的主機設備，均為數(shù)據(jù)處理與顯示系統(tǒng)設備，這些設備和其他數(shù)據(jù)處理與顯示系統(tǒng)設備一起布置在遠離主控室的另外兩個房間。設計上為了避免這些主控室后臺設備同時失效，采取了多重冗余設計，包括：

◆ 物理冗余

主控室所有工作站的后臺主機設備被分為兩組編入了數(shù)據(jù)處理與顯示系統(tǒng)的兩個冗余序列中，這兩個序列分別布置在兩個計算機房間，設備布置在不同的機柜中，兩個序列的房間僅可以通過一道防火門互通，兩個序列的位置分布有效實現(xiàn)了冗余序列間的物理隔離。

◆ 電源冗余

主控室所有工作站的后臺設備按兩組分布于兩個序列，序列A的電源取自電廠非1E級直流和不間斷電源序列1和4，序列B的電源取自電廠非1E級直流和不間斷電源序列2和3；系統(tǒng)大部分設備采用冗余電源供電的工作模式，包括網(wǎng)絡交換機、服務器等，這些設備同時使用所屬序列的上述兩路電源，主電源使用具有兩小時電池后備能力的UPS電源，次電源使用正常調(diào)壓后的電源，兩路電源互為熱備，主次之間可以實現(xiàn)無擾切換，主控室的后臺設備雖然不支持上述冗余電源工作模式，只使用所屬序列的UPS電源一路電源進行工作。

◆ 網(wǎng)絡冗余

如前所述，控制系統(tǒng)網(wǎng)絡采用標準的高速以太網(wǎng)體系，通過冗余網(wǎng)絡配置的方式最大限度地保證了運行期間整個網(wǎng)絡的可靠性。所有網(wǎng)絡設備同樣隸屬于數(shù)據(jù)處理與顯示系統(tǒng)，并按兩個冗余序列進行冗余網(wǎng)絡硬件配置和冗余電源配置等，主控室后臺設備作為一個個標準工作站，均地位對等地接入控制系統(tǒng)高速網(wǎng)絡中，每個設備具有多個網(wǎng)絡接口，其中配置1個設備網(wǎng)口接入網(wǎng)絡序列A，另一個設備網(wǎng)口接入網(wǎng)絡序列B，并且接入端口分布在不同組的網(wǎng)絡交換機上。

6）其主控室人機接口設備多重冗余設計，可有效避免同時故障。

除了上述主控室后臺設備的多重冗余設計外，對于主控室內(nèi)的人機接口設備，包括大屏幕、KVM（鼠標顯示器鍵盤）接收器、顯示器鼠標鍵盤等外設，在設計上也同樣采用了多重冗余設計的理念。

◆ 硬件冗余

主控區(qū)內(nèi)布置有3個操縱員臺和1個高級操縱員臺，每個操縱員臺則分別配備了兩套非安全級控制系統(tǒng)人機接口，分別對應控制系統(tǒng)網(wǎng)絡上的兩個工作站，同一個操縱員臺上的兩個工作站的主機在控制系統(tǒng)中分屬兩個序列；主控室內(nèi)的14塊墻面大屏對應的14臺工作站也同樣分兩組隸屬兩個序列，設備同時失效的可能性極低。

◆ 電源冗余

主控室內(nèi)的所有人機接口設備按位置分布分為兩個序列，同時這兩個序列設備的工作電源也取自不同的電廠電源序列，其中一組取自電廠非1E級直流和不間斷電源序列1的不間斷電源；另一組取自序列2的不間斷電源，從而有效避免了電廠正常運行甚至電廠短時失電期間，主控室所有人機接口設備同時意外失電進而導致主控室操縱員站全部“黑屏”的發(fā)生。

3 問題及建議措施

通過以上分析可見，新型核電機組的控制系統(tǒng)在設計上具有諸多顯著特點，采取了多項措施從而降低了主控室操縱員站同時“黑屏”的可能性，但即使設計再完備，也并不能完全避免運行期間發(fā)生類似極端事件。結(jié)合項目經(jīng)驗，對于后續(xù)采用類似新型控制系統(tǒng)結(jié)構(gòu)的核設施，還需關(guān)注一些薄弱點并注意通過長期的技術(shù)維護手段來盡量避免發(fā)生控制室操縱員站全部“黑屏”或部分功能喪失的事件。

1）關(guān)注“咽喉”設備，進行重點監(jiān)視維護

對于幾處位于系統(tǒng)“咽喉”位置的關(guān)鍵設備，保守起見則要同時考慮防止其冗余序列同時失效的措施。包括：①負責整個控制系統(tǒng)網(wǎng)絡主干的根交換機（ROOT級交換機）。

②負責主控人機接口與其后臺主機之間物理連接的KVM路由器。

對于上述設備，建議運行期間，首先要加強設備巡檢頻度，對設備運行狀態(tài)進行重點監(jiān)視；同時在發(fā)現(xiàn)單側(cè)設備故障后要以最高優(yōu)先級安排進行糾正性維修以盡快恢復故障序列，確保冗余序列同時正常運行。

2）提前做好籌劃，開展設備日常維護改造

控制系統(tǒng)設備采用了成熟的商業(yè)化設備構(gòu)建，一方面，一旦某些環(huán)境條件持續(xù)接近或超過設備耐受限值，設備故障率會明顯提高；另一方面，設備本身可靠性[3]會隨著設備壽期逐漸下降，同時要注意部分現(xiàn)場設備型號目前已經(jīng)停產(chǎn)。

對此建議首先對控制系統(tǒng)設備機房環(huán)境進行高標準管控和保守管控；其次要合理規(guī)劃預防性維修和維護頻度，對控制系統(tǒng)設備定期檢查和清灰保養(yǎng)；對于廠家已停產(chǎn)或更新的設備，建議在設備故障率達到一定程度后，即考慮提前進行整體升級改造。

3）做好系統(tǒng)維護，加強系統(tǒng)整體安全管理。

控制系統(tǒng)設計上高度集成和統(tǒng)一，一旦出現(xiàn)系統(tǒng)共性軟件缺陷或漏洞，影響面非常廣；同時控制系統(tǒng)存在大量對外接口，這些接口的安全可靠程度也會影響整個控制系統(tǒng)的安全穩(wěn)定性；整個控制系統(tǒng)以域的形式進行統(tǒng)一的安全管理，在對域的管理操作過程中一旦出現(xiàn)失誤，則很有可能導致整個系統(tǒng)不可用或者可靠性降低。

對此建議采取措施，一是要對系統(tǒng)軟件和病毒防護系統(tǒng)隨時進行補丁升級，提高系統(tǒng)自身“免疫性”；二是對控制系統(tǒng)對外接口進行定期巡檢，嚴格管控端口操作；三是對控制系統(tǒng)域的管理要嚴格謹慎，對全域策略變更前要做好充足的影響評估，保持域的穩(wěn)定。

4 總結(jié)

通過本文分析可見，國內(nèi)某些核電廠控制系統(tǒng)的結(jié)構(gòu)特點導致其主控室發(fā)生同時“黑屏”事件的可能性增加，而新型核電機組的控制系統(tǒng)的結(jié)構(gòu)設計和軟硬件配置可以有效降低其主控室發(fā)生同時“黑屏”事件的可能性。為了進一步提高核設施控制室的安全性和可靠性，以保證控制系統(tǒng)正常運行期間，盡量避免發(fā)生控制室工作站同時“黑屏”或部分喪失功能的事件，除了設計采用先進的控制系統(tǒng)結(jié)構(gòu)之外，還需要重點關(guān)注控制系統(tǒng)結(jié)構(gòu)和軟硬件體系中存在的薄弱點，并通過日常管理和技術(shù)維護手段補足短板。