唐 琳 周 爽 李 勇 廖先莉 李躍鵬4,

1（成都大學(xué) 電子信息與電氣工程學(xué)院 成都 610106）

2（安徽大學(xué)農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用國家工程研究中心 合肥 230039）

3（南洋理工大學(xué) 電氣與電子工程學(xué)院 新加坡 639798）

4（成都理工大學(xué) 核技術(shù)與自動化工程學(xué)院 成都 610059）

在核輻射測量中，感興趣區(qū)域（Region of Interest，ROI）的計(jì)數(shù)率是非常重要的測量指標(biāo)，在進(jìn)行元素含量分析時，計(jì)數(shù)率的精度決定了元素含量分析的準(zhǔn)確度［1-2］。因此，要得到準(zhǔn)確的元素含量，每一個核脈沖信號都是至關(guān)重要的。近年來，許多學(xué)者在脈沖處理領(lǐng)域發(fā)表了相應(yīng)的研究成果，包括采用遺傳算法合成具有任意噪聲的最優(yōu)數(shù)字成形器［3］、基于雙極性尖頂成形的基線恢復(fù)［4］、對堆積脈沖的測量和補(bǔ)償技術(shù)等［5-6］。在前期研究中，筆者針對脈沖寬度不夠的畸形脈沖提出了脈沖甄別［7］和脈沖修復(fù)［8］兩種算法，有效降低了測量結(jié)果中計(jì)數(shù)率的統(tǒng)計(jì)漲落。上述成果都是采用傳統(tǒng)的分析手段對核脈沖進(jìn)行了分析和處理，在某些領(lǐng)域中也取得了較好的應(yīng)用效果。但在實(shí)際應(yīng)用中，對于那些嚴(yán)重堆積的脈沖，采用傳統(tǒng)的脈沖處理技術(shù)難以實(shí)現(xiàn)較好的脈沖分離以及脈沖幅度估計(jì)，從而導(dǎo)致測量結(jié)果中計(jì)數(shù)率的準(zhǔn)確性和穩(wěn)定性較差。

人工智能的發(fā)展為X 射線熒光光譜（X-ray Fluorescence，XRF）分析帶來了新的發(fā)展空間，國內(nèi)外學(xué)者在該領(lǐng)域都發(fā)表了不少研究成果。文獻(xiàn)［9］使用U-Net 網(wǎng)絡(luò)作為脈沖整形器，對脈沖進(jìn)行濾波并使其展開，在一定程度上解決了脈沖堆積問題；文獻(xiàn)［10］基于神經(jīng)網(wǎng)絡(luò)和集成學(xué)習(xí)對核探測器信號的廣義不確定性進(jìn)行了準(zhǔn)確估計(jì)；筆者所在的團(tuán)隊(duì)在前期研究中也已提出基于深度學(xué)習(xí)的遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）模型［11］對堆積脈沖進(jìn)行參數(shù)估計(jì)，但該模型對數(shù)據(jù)集的要求較高，需要大量的數(shù)據(jù)樣本和較長的訓(xùn)練時間?？紤]到深度學(xué)習(xí)技術(shù)已經(jīng)被廣泛應(yīng)用到生物［12］、控制［13］、醫(yī)學(xué)［14-16］、通信［17］等多個領(lǐng)域，在核脈沖參數(shù)識別領(lǐng)域，深度學(xué)習(xí)的相關(guān)應(yīng)用仍處于初步探索階段，本文將Vaswani等［18］提出的Transformer模型結(jié)構(gòu)進(jìn)行優(yōu)化，并將其應(yīng)用于核輻射測量的堆積脈沖幅度識別領(lǐng)域，通過嵌入位置編碼、執(zhí)行多頭注意力機(jī)制來對堆積脈沖的幅度進(jìn)行準(zhǔn)確估計(jì)。在堆積脈沖識別領(lǐng)域中，多頭注意力機(jī)制可以幫助識別并分類不同的脈沖，從而提高堆積脈沖的分析準(zhǔn)確性和魯棒性。

1 原理及方法

X 熒光能譜多采用數(shù)字多道譜進(jìn)行分析，在能譜圖中，每一個脈沖幅度估計(jì)值都對應(yīng)著相應(yīng)道址上的一次計(jì)數(shù)事件，因此，幅度估計(jì)值的準(zhǔn)確性就決定了XRF分析的準(zhǔn)確率。當(dāng)脈沖發(fā)生堆積時，要得到精確的譜圖，堆積分離以及準(zhǔn)確的幅值估計(jì)就異常重要了。本文提出一種深度學(xué)習(xí)模型實(shí)現(xiàn)堆積脈沖分離及其幅度估計(jì)，其原理如圖1 所示。輸入事件經(jīng)積分器輸出一個堆積上升的階躍脈沖信號，然后再由CR微分整形器濾除直流成分并將階躍脈沖整形為如圖1所示的負(fù)指數(shù)脈沖。數(shù)字化的負(fù)指數(shù)脈沖序列作為深度學(xué)習(xí)模型的輸入，經(jīng)學(xué)習(xí)模型最終輸出為與輸入事件對應(yīng)的脈沖幅度估計(jì)事件。

圖1 堆積脈沖分離及脈沖幅度估計(jì)原理Fig.1 Principle of stacking pulse separation and pulse amplitude estimation

如果測量系統(tǒng)得到的堆積脈沖幅度沒能被準(zhǔn)確估計(jì)，那么在最終獲取的X 熒光能譜ROI 中的有效計(jì)數(shù)就會降低。因此，堆積脈沖幅度的準(zhǔn)確估計(jì)對X熒光能譜的精細(xì)分析是非常重要的。采用基于深度學(xué)習(xí)模型對堆積脈沖幅值進(jìn)行估計(jì)的第一步就是數(shù)據(jù)集的制作。

1.1 數(shù)據(jù)集制作

數(shù)據(jù)集的來源包括成形后的脈沖幅度采樣值以及每個脈沖樣本的參數(shù)，為了對本文提出的嵌入位置編碼的Transformer模型進(jìn)行訓(xùn)練，定義了負(fù)指數(shù)堆積脈沖的數(shù)學(xué)模型如式（1）所示：

式中：u(t)表示階躍脈沖；Ai為第i個核脈沖的幅值系數(shù)；Ti表示第i個核脈沖的發(fā)生時間；τ為時間常數(shù)；ν(t)表示噪聲。以采樣周期Tclk對其進(jìn)行離散化且Tclk為50 ns，則離散化后的脈沖序列如式（2）所示：

負(fù)指數(shù)脈沖序列Ve（kTclk）經(jīng)過數(shù)字成形后將會得到一個新的脈沖幅度序列Vo（nTclk）。常用的數(shù)字成形方法包括三角成形、梯形成形、高斯成形，這里以三角成形為例，其數(shù)學(xué)模型如式（3）所示：

其中：na=tup/Tclk。

本文建立的數(shù)據(jù)集由脈沖幅度采樣值以及成形前負(fù)指數(shù)脈沖的真實(shí)幅值A(chǔ)構(gòu)成。根據(jù)需要，在對堆積脈沖的三角成形結(jié)果進(jìn)行采樣時，采樣點(diǎn)數(shù)是可以調(diào)整的，為了實(shí)現(xiàn)快速譜分析，減小數(shù)據(jù)集規(guī)模，本文選擇的是64 點(diǎn)采樣，其中包括63 個成形結(jié)果的幅值采樣點(diǎn)以及一個脈沖真實(shí)幅值的采樣點(diǎn)。數(shù)據(jù)集的矩陣表示形式如式（4）所示：

式（4）中的數(shù)據(jù)集包含m個成形后的脈沖幅度序列，每個脈沖幅度序列對應(yīng)矩陣中的一行；每一行中包含的前63 列代表堆積脈沖三角成形結(jié)果的幅度采樣值，第64列代表該脈沖的真實(shí)幅值。本文按照7∶2∶1 的比例把數(shù)據(jù)集分割為訓(xùn)練集、測試集和驗(yàn)證集。

1.2 Transformer建模

1.2.1 編碼器-解碼器框架

基于深度學(xué)習(xí)的Transformer 模型其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，該模型是一個基于編碼器（Encoder）-解碼器（Decoder）框架的模型，不使用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）結(jié)構(gòu)，完全基于注意力（Attention）機(jī)制［18］，使得并行性更好。在采用Transformer 模型對堆積脈沖進(jìn)行參數(shù)估計(jì)時，為了把位置編碼信息傳輸?shù)骄幋a器，在編碼器和解碼器的輸入中嵌入了位置編碼（Positional Encoding）來對脈沖序列中樣本的位置進(jìn)行標(biāo)記。

圖2 Transformer模型結(jié)構(gòu)圖Fig.2 Structure diagram of the transformer model

如圖2 所示，編碼器的輸入是一個嵌入了位置編碼的脈沖幅度序列，內(nèi)部由6 個相同的編碼器層組成，每個層的內(nèi)部結(jié)構(gòu)如圖3所示，包括一個多頭自注意力層（Multi-Head Self-Attention）和一個前饋層（Feed Forward），每一個層產(chǎn)生的輸出都傳遞給解碼器對應(yīng)的層。為了讓不同的層之間便于連接，輸入嵌入層、位置編碼層以及編碼器層、解碼器層都保持著相同的維度64。

圖3 編碼器和解碼器內(nèi)部結(jié)構(gòu)圖Fig.3 Internal structures of the encoder and decoder

解碼器將訓(xùn)練集中的脈沖參數(shù)集A作為輸入，其內(nèi)部結(jié)構(gòu)與編碼器類似，也是由6 個相同的層構(gòu)成，如圖3 所示。它區(qū)別于編碼器的地方在于每個解碼器有三個子層，除了一個帶掩碼的多頭自注意力層、一個前饋層，還有一個多頭注意力層。在訓(xùn)練時將脈沖參數(shù)集A輸入到解碼器中，對于一個序列，在時間為t的時刻，解碼輸出應(yīng)該只能依賴于t時刻之前的輸出，而不能依賴t之后的輸出，因此需要一個掩碼把t之后的輸出隱藏起來。掩碼的實(shí)質(zhì)是一個下三角矩陣，即上三角的值全為0，把這個矩陣作用在每一個序列上，就可以達(dá)到把t之后的輸出隱藏起來的目的。這種掩碼的設(shè)置，加上輸出嵌入位置偏移的事實(shí)，確保了位置i的預(yù)測只能依賴于小于i的位置處的已知輸出。

1.2.2 位置編碼

常見的位置編碼包括可學(xué)習(xí)的編碼和固定位置編碼［19］。文獻(xiàn)［18］證明了可學(xué)習(xí)編碼與固定編碼得到的結(jié)果相差不大，而最簡單的固定編碼莫過于二進(jìn)制位置編碼，其編碼原理如圖4（a）所示。為了對序列中的數(shù)據(jù)進(jìn)行排序，給每個數(shù)據(jù)嵌入一個二進(jìn)制的位置編碼，如果有16個數(shù)據(jù)需要編碼，那么從0開始，編碼到15 結(jié)束，可以發(fā)現(xiàn)0～15 的不同比特之間的變化率是不同的，最低位在每個數(shù)字上都會發(fā)生交替，次低位則在每兩個數(shù)字上發(fā)生一次交替，依此類推。但是當(dāng)所需的位置編碼位數(shù)非常大時，使用二進(jìn)制值就會浪費(fèi)空間，占用內(nèi)存。因此，本文考慮使用它們的浮點(diǎn)連續(xù)對應(yīng)函數(shù)-正弦函數(shù)來進(jìn)行位置編碼。從本質(zhì)上來說，正弦函數(shù)也相當(dāng)于一種交替變化的比特流，y2所在的編碼曲線中，1 000 個采樣點(diǎn)內(nèi)每個比特出現(xiàn)了6次，而通過調(diào)整頻率后，y1所在的編碼曲線中，1 000個采樣點(diǎn)內(nèi)每個比特僅出現(xiàn)了1 次。從而可以得出，通過調(diào)整頻率能夠?qū)崿F(xiàn)類似于二進(jìn)制編碼中從紅色比特變?yōu)槌壬忍氐木幋a效果，如圖4（b）所示。

圖4 位置編碼原理（彩圖見網(wǎng)絡(luò)版）(a) 二進(jìn)制編碼，(b) 正弦函數(shù)編碼Fig.4 Principle of positional encoding (color online) (a) Binary encoding, (b) Sine function encoding

本文使用正弦函數(shù)來進(jìn)行位置編碼，為了與輸入數(shù)據(jù)進(jìn)行匹配，編碼維度為64，輸入矩陣嵌入64維的位置編碼后得到新的編碼矩陣如式（5）所示：

1.2.3 多頭注意力機(jī)制

注意力函數(shù)本質(zhì)上可以被描述為將查詢向量（query）、鍵向量（key）、值向量（value）映射到一個輸出向量的過程，輸出向量是value 的加權(quán)和，其中分配給每個value 的權(quán)重由query 與對應(yīng)key 的兼容性

函數(shù)計(jì)算，其計(jì)算公式如式（6）所示：

式中：dk為鍵向量的維度。

多頭注意力的計(jì)算涉及多個模塊，在圖5中以6個不同的Block進(jìn)行呈現(xiàn)。Block A中脈沖幅度形成的數(shù)據(jù)集嵌入64 個維度的正弦位置編碼后得到編碼器的輸入矩陣S，Block B 中展示了8 個權(quán)重矩陣W Q、W K、W V的組合，輸入矩陣S與權(quán)重矩陣W Q、W K、W V進(jìn)行點(diǎn)積得到Block C所示的8組Q、K、V矩陣，然后將8 組變換后的Q、K、V進(jìn)行注意力池化輸出Block D中的8個注意力頭Z0～Z7，將8個注意力頭拼接在一起并通過與Block E 中的另一個可學(xué)習(xí)的權(quán)重矩陣進(jìn)行變換，以產(chǎn)生Block F 中的輸出矩陣Z。在圖5 所示的多頭注意力計(jì)算過程示意圖中每個Block的內(nèi)容以及矩陣計(jì)算過程如表1所示。

表1 Block的具體特征Table 1 Specific characteristics of the blocks

圖5 多頭注意力計(jì)算過程Fig.5 Calculation process of Multi-head attention

2 仿真與實(shí)驗(yàn)

2.1 模型訓(xùn)練

在定義Transformer 時，三個矩陣W Q、W K、W V的初值是隨機(jī)的，為了得到最優(yōu)的權(quán)重參數(shù)矩陣，驗(yàn)證模型對堆積脈沖進(jìn)行參數(shù)估計(jì)的效果，以前文所述的堆積脈沖數(shù)學(xué)模型產(chǎn)生一系列堆積的負(fù)指數(shù)脈沖序列制作數(shù)據(jù)集。應(yīng)用反向傳播算法將LMSE與損失函數(shù)的梯度一起反饋給網(wǎng)絡(luò)來更新權(quán)重，實(shí)現(xiàn)減少后續(xù)迭代誤差的目的。單次前向傳播迭代輸出的預(yù)測脈沖參數(shù)集A'i與訓(xùn)練集中的實(shí)際脈沖參數(shù)集Ai的誤差則可以通過損失函數(shù)來計(jì)算。對于有N個樣本的訓(xùn)練集，將參數(shù)集Ai的平均絕對誤差值作為損失函數(shù)的函數(shù)值LMSE，即損失函數(shù)的計(jì)算式為：

模型在訓(xùn)練集和驗(yàn)證集上得到的損失值的迭代變化過程如圖6所示，不管是訓(xùn)練集還是驗(yàn)證集，損失值在第25 個epoch 之后就幾乎趨近于零，并未出現(xiàn)過擬合現(xiàn)象，因此也無須再添加drop out層，在訓(xùn)練集和驗(yàn)證集上得到的準(zhǔn)確率都趨近于100%。

圖6 模型訓(xùn)練過程中在訓(xùn)練集和驗(yàn)證集上的損失值的迭代圖Fig.6 Iterative graph of the loss and accuracy for the training and validation sets during model training

2.2 實(shí)驗(yàn)驗(yàn)證

本文訓(xùn)練的深度學(xué)習(xí)模型在測試集和驗(yàn)證集都取得了較好的效果，為了進(jìn)一步驗(yàn)證模型的泛化能力并對模型進(jìn)行進(jìn)一步評估，在測量過程中激發(fā)源采用的是上?？祁U維2000A 型X 光管（額定管壓50 kV、額定管流為0～1 mA），樣品使用的是粉末鐵礦樣品（主要元素成為鐵、鍶、錫等），測量采用的探測器為AMPTEK 公司的高性能硅漂移探測器（FAST Silicon Drift Detector，F(xiàn)AST-SDD），其有效探測面積為25 mm2，探測器厚度為500 μm。取測量得到的堆積脈沖序列作為分析對象，驗(yàn)證模型對隨機(jī)截取的脈沖序列幅度值的估計(jì)效果，如圖7所示。

圖7 (a) 實(shí)測脈沖序列圖，(b) 三角成形結(jié)果，(c) 隨機(jī)脈沖幅度估計(jì)值對照圖（彩圖見網(wǎng)絡(luò)版）Fig.7 (a) Measured pulse sequence diagram, (b) Triangulation results for the pulse sequence, (c) Comparison chart of the estimated random pulse amplitude (color online)

圖7（a）所示的隨機(jī)脈沖序列中包含多個堆積脈沖，在采用三角成形對堆積脈沖序列進(jìn)行脈沖分離及幅度估計(jì)時，堆積脈沖的分離效果較差，成形結(jié)果的幅度也存在較大的損失，如圖7（b）所示。對該脈沖序列調(diào)用深度學(xué)習(xí)模型進(jìn)行參數(shù)估計(jì)，將模型輸出結(jié)果與傳統(tǒng)的成形方法得到的幅度估計(jì)值進(jìn)行對比，得到如圖7（c）所示的隨機(jī)脈沖幅度估計(jì)值對照圖，實(shí)測脈沖幅度的真實(shí)值（黑色），采用三角成形得到的脈沖幅度（紅色），采用深度學(xué)習(xí)模型獲得的脈沖幅度（藍(lán)色）。由圖7（c）所示的隨機(jī)脈沖幅度估計(jì)值對照圖中可以看出，對于那些沒有堆積或者堆積不太嚴(yán)重的脈沖，不管是傳統(tǒng)的三角成形方式還是深度學(xué)習(xí)模型都能夠比較準(zhǔn)確地估計(jì)出脈沖幅度。為了量化幅值估計(jì)效果，用Δ表示絕對誤差，δ表示相對誤差，A表示脈沖幅度，從而得出三角成形以及多頭注意力估計(jì)模型對堆積脈沖幅值估計(jì)的絕對誤差和相對誤差的計(jì)算公式分別如式（8）和式（9）所示：

實(shí)驗(yàn)采用的實(shí)測脈沖序列如圖7（a）所示，該序列包含15個脈沖，其中堆積率為66%且堆積類型為雙脈沖堆積。對圖7（a）所示的15 個脈沖采用不同方式計(jì)算得到的幅度值進(jìn)行對比分析，結(jié)果如表2所示。

表2 深度學(xué)習(xí)模型對堆積脈沖的估計(jì)值與真實(shí)值的對比（堆積率為66%）Table 2 Comparison of estimated and real values of overlapping pulses in the deep learning model

沒有發(fā)生明顯堆積的脈沖包括P1、P8、P9、P14以及P15，這些脈沖采用三角成形進(jìn)行幅度計(jì)算得到的相對誤差約在10%以內(nèi)；而對于發(fā)生了堆積的脈沖，如圖7中標(biāo)注的P2和P3，類似的還有P4和P5、P6和P7、P10和P11以及P12和P13，對于這種發(fā)生了雙脈沖堆積的堆積脈沖三角成形，通常第一個脈沖的幅度不會受到較大影響，而堆積上去的第二個脈沖則無法得出準(zhǔn)確的成形結(jié)果，如P3、P5、P7、P11以及P13，這些脈沖采用三角成形進(jìn)行幅度計(jì)算得到的相對誤差成倍增長，最大相對誤差高達(dá)47%，嚴(yán)重影響了脈沖幅度的估計(jì)。采用嵌入位置編碼的多頭注意力模型對幅值進(jìn)行估計(jì)時，估計(jì)結(jié)果并不會受到脈沖堆積程度的影響，平均相對誤差約為0.55%。

為了進(jìn)一步驗(yàn)證本文訓(xùn)練的模型在相同樣品不同堆積程度的脈沖序列以及不同樣品相同堆積程度的脈沖序列中的參數(shù)估計(jì)效果，在實(shí)驗(yàn)環(huán)節(jié)中截取堆積率為10%、30%、60%和90%，堆積類型為雙脈沖堆積的粉末巖石樣品和粉末鐵礦樣品的實(shí)測脈沖序列進(jìn)行分析，分析結(jié)果如表3 所示。從兩種樣品不同堆積程度得到的平均相對誤差來看，深度學(xué)習(xí)模型對脈沖幅度估計(jì)的相對誤差與樣品類型并無直接關(guān)聯(lián)，但與脈沖堆積程度卻有一定的相關(guān)性，可以粗略估計(jì)隨著堆積程度加深，模型對脈沖幅度估計(jì)的相對誤差也會略有上升。表3 所示的8 組脈沖序列中，比較明顯的一個“異常點(diǎn)”是第三組，該脈沖序列包含10個脈沖，其中雙脈沖堆積的數(shù)量為6個，堆積程度為60%，按照理論分析深度學(xué)習(xí)模型對該序列進(jìn)行幅度估計(jì)的相對誤差應(yīng)低于1%，但模型測試結(jié)果的相對誤差高達(dá)3.42%。通過對堆積脈沖進(jìn)一步分析發(fā)現(xiàn)，雖然該序列僅包含6個堆積脈沖，但其中兩個脈沖發(fā)生了嚴(yán)重堆積，導(dǎo)致模型對堆積上去的第二個脈沖的幅度估計(jì)產(chǎn)生了較大誤差。即便是這種極端情況下，本文訓(xùn)練的深度學(xué)習(xí)模型依然獲得了遠(yuǎn)優(yōu)于傳統(tǒng)脈沖估計(jì)方法的性能，在兩種樣品、8組離線脈沖序列的幅度估計(jì)中得到的平均相對誤差為0.89%。

表3 深度學(xué)習(xí)模型的參數(shù)估計(jì)效果對照Table 3 Comparison table of parameter estimation effects of the deep learning model

3 結(jié)語

本文提出了一種嵌入位置編碼的多頭注意力Transformer 神經(jīng)網(wǎng)絡(luò)模型，并將其應(yīng)用于堆積脈沖的幅度估計(jì)。該模型是一個基于Encoder-Decoder框架的模型，采用多頭注意力機(jī)制，以預(yù)定義的數(shù)學(xué)模型產(chǎn)生負(fù)指數(shù)脈沖序列以及三角成形后的幅值序列來制作數(shù)據(jù)集進(jìn)行訓(xùn)練，模擬和實(shí)驗(yàn)結(jié)果驗(yàn)證了所提模型的脈沖幅度估計(jì)性能。采用相對誤差作為堆積脈沖幅度估計(jì)精度的指標(biāo)，得出在粉末鐵礦樣品和粉末巖石樣品的8組離線脈沖序列中得到的平均相對誤差為0.89%。結(jié)果表明：采用嵌入位置編碼的多頭注意力模型成功地從具有堆積效應(yīng)的脈沖序列中估計(jì)出了脈沖幅度，且估計(jì)結(jié)果并不受脈沖堆積程度的影響。未來對深度學(xué)習(xí)模型在核輻射測量中的應(yīng)用研究將旨在優(yōu)化學(xué)習(xí)模型和數(shù)據(jù)集，此外，作者所在團(tuán)隊(duì)正在對HPGe和LaBr3（Ce）探測器應(yīng)用類似方法進(jìn)行研究，希望推廣本模型在X 射線熒光光譜學(xué)中的應(yīng)用。

作者貢獻(xiàn)聲明唐琳直接參與論文研究，負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)模擬搭建并撰寫論文；周爽負(fù)責(zé)實(shí)驗(yàn)測試結(jié)果分析；李勇負(fù)責(zé)模型訓(xùn)練；廖先莉負(fù)責(zé)資料的收集及整理；李躍鵬負(fù)責(zé)實(shí)驗(yàn)測試。