蔣煜卿 陳樹明
DOI:10.16660/j.cnki.1674-098X.2101-5640-0498
摘? 要:將人工神經網絡的方法引入中國實驗快堆傳感器數據分析,通過機器學習的方式,建立出入口鈉溫作為輸出、堆功率等多個變量為輸入的模型。通過比較不同優(yōu)化算法下測試集的預測值和實際值之間誤差,進行模型的調整。在最優(yōu)算法下,判斷最終模型的泛用性。實驗結果表明,通過人工神經網絡方式建立的出入口鈉溫模型,擬合結果較好,可以實現通過其余冗余傳感器間接得到目標傳感器數據大致區(qū)間范圍,實現非冗余傳感器故障有效監(jiān)測。
關鍵詞:人工神經網絡模型? 中國實驗快堆? 傳感器? 模型調試
中圖分類號:TP212 ? ? ? ? ?文獻標識碼:A? ? ? ? ? ? ? ? ? ?文章編號:1674-098X(2021)03(c)-0123-06
Research on the Effectiveness of Sensor Data Mining of China Experimental Fast Reactor
JIANG Yuqing? CHEN Shuming*
(China Academy of Atomic Energy, Beijing, 102413 China)
Abstract: The artificial neural network method is introduced into the data analysis of the China experimental fast reactor sensor, and a model is established based on machine learning. The output of the model is the inlet and outlet temperature of sodium, while the input of the model includes reactor power and other variables. Through comparing the error between the predicted value and the actual value of the test group under different optimization algorithms, the model parameters are adjusted and optimized. Under the optimal algorithm, the universality of the final model is judged. The final result shows that the inlet and outlet sodium temperature model established by artificial neural network has a good fitting result, which can achieve the approximate interval range of the target sensor data indirectly through other redundant sensors, and realize the effective monitoring of non-redundant sensor faults.
Key Words: Artificial neural network model; China experimental fast reactor; Sensor model debugging
在中國實驗快堆運行過程中,傳感器作為其控制和監(jiān)測系統的重要環(huán)節(jié),對于快堆的安全性有著舉足輕重的地位。在快堆中設置大量冗余儀表,以防止單一儀表損壞后影響操縱員判斷。對于儀表狀態(tài)的監(jiān)測,多采用周期性的儀表檢測方法,經濟性不高,并且伴隨拆卸損壞的風險。至于傳感器產生的大量數據,使用程度較低。
傳感器狀態(tài)監(jiān)測方法包含兩類,一類是采用冗余傳感器進行直接對比驗證,另一類是使用解析方法進行間接對比驗證。這種解析冗余主要包含基于解析模型、基于知識和基于數據驅動的方法。其中數據挖掘方法是目前最為熱門的一種數據處理方法,通過訓練集得到不同時間序列數據的相互關系后,在測試集進行驗證。因此,可以把快堆多組傳感器當作多組時間序列數據挖掘問題來研究。
1? 傳感器狀態(tài)監(jiān)測的常用方法
傳感器狀態(tài)監(jiān)測通常使用設置大量冗余儀表的方式,通過對同一測量不同儀表數據之間的對比,實現最為簡單的傳感器狀態(tài)判斷。但這種物理冗余的方式,一是會帶來經濟成本的增加,二是難以避免共同失效,三是堆內無法滿足全部設置冗余儀表的條件。因此,引入了基于解析冗余的方法,從而達到與基于物理冗余的方法相互補充的目的?;诮馕鋈哂嗟姆椒?,主要分為三類,分別是基于解析模型的方法、基于知識的方法和基于數據驅動的方法[1]。
基于解析模型的方法,重點是需要精確的模型對狀態(tài)參數進行估計,進而對實際值和估計值形成的殘差進行統計分析,主要包括參數估計法、等價空間法和狀態(tài)估計法。對于快堆而言,其設計復雜,參數之間存在大量的相互關聯性,因此難以推導出精確的傳感器數學模型。
基于知識的方法,重點是需要定性模型和專家知識的結合,要通過因果分析的手段評估系統狀態(tài),主要包括專家系統推理法、模糊推理法、故障樹分析法和符號有向圖。對于快堆而言,其因果關系較為復雜,難以準確通過分散表征進行判斷。
基于數據驅動的方法,和前兩種方法相比,專注于傳感器輸出數據的具體分析,主要包括直接處理方法、信號融合方法以及統計方法。直接處理方法主要是通過傅立葉變化發(fā)現信號在頻域的異常情況;信號融合方法是通過多個關聯傳感器數據變化來映射某個傳感器的狀態(tài),但這種方法通常會與其他方法組合使用,使得對于狀態(tài)的判斷更為全面和準確;統計方法應用范圍最廣,包括人工神經網絡、主元分析法、多元狀態(tài)估計等。
本文主要采用機器學習中反向傳播的人工神經網絡方法,基于快堆傳感器數據進行學習,并形成針對傳感器數據預測的模型。
2? 基于人工神經網絡方法的傳感器狀態(tài)監(jiān)測
人工神經網絡方法是一種廣泛使用的數據多元統計分析方法?;谏窠浘W絡的深度學習算法參考了人類大腦接觸并學習新事物的步驟,它使用拓撲方式將眾多處理元進行連接,每個處理元之間通過賦權和函數進行并行信息處理。一般來說,人工神經網絡方法有兩個階段,分別是學習訓練和驗證測試階段。學習訓練階段就是對神經網絡進行教學和調試,在這個過程中,需要選擇合適的網絡結構、層數、算法,以匹配不同規(guī)模和復雜度的系統;驗證階段就是對學習階段產生的模型加以驗證,以判斷模型的精確程度。
神經網絡中最基本的成分是神經元,每一個神經元都有多個輸入,對每一個輸入都會分配一個權重,在測試的過程中,每個連接上的權重都不會發(fā)生改變,但是在訓練過程中,必須改變這些權重值來使結果最優(yōu)化。神經元的數學表達式如下式所示。
式中,y代表神經元的輸出值,wn代表神經元的輸入權重值,m代表常數項,f(x)為變化函數,其中輸入權重值和常數項是通過機器學習計算當前神經元節(jié)點誤差項后,通過反向傳播的方式計算獲得。
神經網絡雖然是一種非常復雜的網絡結構,但是它的排列非常規(guī)整,呈層狀排布,從細節(jié)看,是大量簡單神經元的集合體。神經網絡的輸入層,輸入擬合模型的自變量;它的輸出層,輸出擬合模型的結果。輸入層與輸出層神經元個數一般對應于輸入和輸出的數據序列量。因此,神經網絡的核心是隱藏層,隱藏層會完成數據的分析與擬合。神經網絡的每一層隱藏層,其內部神經元的結構都保持高度一致,并且彼此之間并不直接相連,也不跨層相連。圖1就是一個非常簡單的神經網絡構造圖,圖中包含三層隱藏層。圖中每個神經元的中樞都有一個變化函數,如果沒有變化函數f(x),該網絡只是多個線性方程的疊加,輸出結果依然為線性結果。因此神經網絡需要加入變化函數f(x),從而使得模型能夠學習非線性數據并加以分析。
變化函數一般為階躍函數,但也有一些是線性函數,需要視具體應用場景而定。常用變化函數包括Sigmoid、Tanh、ReLU等。
Sigmoid函數公式如下式所示,它將輸出值歸一化到(0,1)。在一些誤差反向傳播的場景下,需要反向調整權重時,一般會率先計算出輸出層的損失值,然后將該損失值向上傳遞,進行模型中參數的逐級優(yōu)化,但因為Sigmoid函數在求導后會使得損失值導數逐漸向0接近,出現梯度消失的情況,也就是說不能再對權重進行優(yōu)化[2]。
Tanh函數公式如下式所示,它是在Sigmoid函數上做了一些優(yōu)化,解決了Sigmoid始終為正的問題,其取值范圍為(-1,1),但依然存在Sigmoid函數無法繼續(xù)優(yōu)化權重的問題。
ReLU函數公式如下式所示,它存在一個最小值0,因此相比于Sigmoid函數和Tanh函數更為簡單,后兩者都需要計算指數,一旦數據量很大,就會帶來巨額的計算量。但ReLU函數的局限性在于,負輸入在經過該ReLU單元時被永遠置為0,因此無法參與后續(xù)的數據更迭。在使用中,一旦學習率超過模型能夠承受的范圍,就會導致超量神經元失去響應,參數無法更新,模型無法繼續(xù)學習,進而導致訓練失敗[3];但如果學習率處于模型能夠承受的范圍內,這種變化函數可以降低神經網絡的復雜性,進而減小過度擬合的可能性,使得模型相對更為精巧。
本項目中采用拉直層方式,即變化函數為f(x)=x,類似于ReLU函數。在神經網絡中,隱藏層作為主要學習層,隱藏層的層數越多,該網絡結構可學習的規(guī)則越復雜,但是一味增加網絡深度會造成前端隱藏層獲得學習規(guī)則,可是經過多層傳遞后被遺忘。因此網絡結構并非越多越好,需要根據數據情況進行調試。
在將數據帶入模型之前,還需要進行預處理,通常都采用歸一化的方式。在機器學習中,不同的輸入數據序列的范圍和大小都有非常大的區(qū)別,如果直接把數據帶入算法,會導致個別序列對整體計算結果的變化遠超其他序列。這種僅僅因為數值較大而判斷其對整體計算結果有很大影響的情況,顯而易見是不合理的,會影響數據預測的結果,為了消除輸入數據序列之間的范圍和大小影響,需要進行歸一化。初始數據經過預處理后,各輸入數據序列處于同一數量級。歸一化方法如下式所示。
深度神經網絡的優(yōu)勢在于,它可以在沒有預先假設的前提下,找到一種映射關系,這種關系中最重要的兩個參數,就是上文中提到的權重值和偏置項。這兩個參數都是通過損失函數確定。但是,損失函數并不是越小越好,如果只是單純追求損失函數最小化,就很可能會出現過度擬合的問題。過度擬合在數據上的表現為,這種擬合關系能非常好地預測訓練模型的結果,但是由于缺乏普適性,在應用于測試數據時,預測誤差會很大。
3? 人工神經網絡模型調試
在本項目中,首先將初始數據序列按時間點重新劃分,將同一時刻采集到的各傳感器數據值作為一個單組,形成一個全新的時間序列,而后隨機抽取該時間序列的80%用于神經網絡的學習訓練階段,再將剩余的20%用于驗證測試階段。通過訓練數據集得到的擬合關系,將其應用于驗證數據集,通過擬合結果和真實結果的差異性判斷該模型的泛化能力。本次項目中間熱交換器出入口鈉溫的神經網絡模型中,主要采用堆核功率、堆頂防護罩內腔壓力、入口蒸餾水流量、出入口鈉流量、蒸發(fā)器給水流量、鈉泵流量、過熱器入口鈉溫、堆芯出口鈉溫、蒸汽發(fā)生器出口鈉溫作為輸入,中間熱交換器出口鈉溫、中間熱交換器入口鈉溫作為輸出。
首先將隱藏網絡層設置為兩層,使用L2型正則化方法優(yōu)化梯度下降公式,用于防止神經網絡模型出現過度擬合的情況[4],正則化后梯度下降公式如下式所示。
式中,m為當前層的數據個數,yi代表第i個真實值,代表第i個預測值,代表第j個權重項,λ是模型復雜度的懲罰項,可以通過調整λ大小改變模型復雜度,用以提高模型泛化預測的精度。
項目首先采用自適應梯度下降(Adam)優(yōu)化算法,該算法可以提升神經網絡模型的訓練速度,使模型在短時間內收斂。在設定隱藏層為兩層、初步迭代次數為1000次后,模型均方誤差如圖2所示。
從圖2中可以看出,當訓練迭代次數達到200次左右時,模型在驗證測試數據集中的均方誤差已經漸平不再繼續(xù)下降,這時如果不停止繼續(xù)訓練,模型后續(xù)學到的規(guī)則為冗余的無用規(guī)則。因此在迭代200次后停止訓練,此時學習訓練集和測試驗證集的均方誤差分別為5.57和5.35。
在模型訓練結束之后,將訓練數據和測試數據批量帶入模型,查看模型訓練集和測試集分別對應的進出口溫度真實值與預測值的誤差分布情況。
由圖3和圖4可以看出,模型在隱藏層設置為兩層、迭代次數設置為200次時,部分情況下預測誤差相差較大。因此該模型結構仍需調整以提高模型的預測準確度,通過增加網絡隱藏層至三層后,模型針對訓練集均方誤差縮減至2.04,測試集均方誤差縮減至1.92,進出口溫度真實值與預測值的誤差分布情況如圖5和圖6所示。
此時模型預測在訓練集和測試集表現均較好。為了判斷模型是否可以具備更好的效果,基于當前的模型訓練結果,通過隨機梯度下降(sgd)優(yōu)化算法驗證模型是否處于全局最優(yōu)解。隨機梯度下降算法是為了防止模型陷入局部最優(yōu)點而設計的,該算法通過加入隨機梯度使模型可以跳出鞍點和局部最優(yōu)點,但同時該算法也增加了大量的計算過程,因此需要更多的學習步驟去優(yōu)化模型[5-6]。圖7是模型經過1000次迭代后的均方誤差。
由圖7所示,模型分別在迭代180次、210次、320次、400次、500次、580次等位置附近多次出現極值點,但是在這些極值點對應的最低均方誤差也高達10.9,測試集中最低的均方誤差則更高,達到11.06。隨機梯度下降算法下最低的兩種誤差均大于Adam算法迭代后的均方誤差值,因此經過Adam算法訓練后的模型為當前最優(yōu)模型。
4? 結語
本文采用基于人工神經網絡的方法對快堆傳感器數據進行分析,使用中國實驗快堆開堆實際數據建立了關于中間熱交換器出入口鈉溫的神經網絡模型。就模型結果而言,通過堆芯出口鈉溫、堆核功率、堆頂防護罩內腔壓力等參數,擬合出的中間熱交換器出入口鈉溫模型,具有較好的泛用性。對于快堆非冗余傳感器,可以通過類似方式,通過其余冗余傳感器的擬合關系,得到目標傳感器數據的大致區(qū)間范圍,實現非冗余傳感器故障有效監(jiān)測。因為這種監(jiān)測方式不需要進行物理拆卸和停堆,所以具有很好的經濟性。
參考文獻
[1] 李偉.核電廠傳感器狀態(tài)監(jiān)測方法研究[D].哈爾濱:哈爾濱工程大學,2018.
[2] 黃毅,段修生,孫世宇,等.基于改進sigmoid激活函數的深度神經網絡訓練算法研究[J].計算機測量與控制,2017,25(2):126-129.
[3] 蔣昂波,王維維.ReLU激活函數優(yōu)化研究[J].傳感器與微系統,2018,37(2):50-52.
[4] 張欣怡,袁宏俊.正則化和交叉驗證在組合預測模型中的應用[J].計算機系統應用,2020,29(4):18-23.
[5] 譚濤.基于卷積神經網絡的隨機梯度下降優(yōu)化算法研究[D].重慶:西南大學,2020.
[6] 張晉晶.基于隨機梯度下降的神經網絡權重優(yōu)化算法[D].重慶:西南大學,2018.