劉 昉，陳浩東，梁 超，龐博慧

（1.天津大學(xué)水利工程仿真與安全國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300354；2.華能瀾滄江水電股份有限公司，云南 昆明 650214）

1 引 言

近年來(lái)一系列300 m 高壩大庫(kù)相繼建設(shè)完成，這些工程身處高山峽谷之中，在巨大的水頭落差作用下，泄洪建筑物內(nèi)的高速水流可達(dá)50 m／s，內(nèi)部結(jié)構(gòu)極易發(fā)生破壞。 內(nèi)部結(jié)構(gòu)破壞后若繼續(xù)承受水流的沖擊荷載，會(huì)引發(fā)嚴(yán)重的安全事故，如美國(guó)胡佛拱壩泄洪洞內(nèi)發(fā)生的空蝕破壞，最終導(dǎo)致了超過(guò)5 000 m3的混凝土及巖體破壞。 因此，為保障水利樞紐的泄洪安全，有效識(shí)別泄洪建筑物的結(jié)構(gòu)安全狀態(tài)十分必要。 楊弘等［1］、練繼建［2］研究指出泄洪建筑物的結(jié)構(gòu)安全狀態(tài)與結(jié)構(gòu)振動(dòng)位移相關(guān)，并提出通過(guò)振動(dòng)信號(hào)判斷結(jié)構(gòu)安全狀態(tài)的理論，但缺少具體的計(jì)算方法，實(shí)際使用中存在較大困難。 傳統(tǒng)的識(shí)別方法通常需要通過(guò)先驗(yàn)知識(shí)，人工選擇判斷指標(biāo)，因此人的因素決定了方法的優(yōu)劣，存在明顯的局限性。

隨著深度學(xué)習(xí)的發(fā)展，智能識(shí)別在各個(gè)領(lǐng)域逐漸得到廣泛應(yīng)用。 深度神經(jīng)網(wǎng)絡(luò)能夠通過(guò)多次非線性變化，自適應(yīng)地從數(shù)據(jù)中提取特征。 智能識(shí)別就是運(yùn)用這種特征提取能力，在大量的已識(shí)別數(shù)據(jù)中自主學(xué)習(xí)最佳的識(shí)別特征，進(jìn)而識(shí)別目標(biāo)數(shù)據(jù)的所屬類別。 黎陽(yáng)羊等［3］提出了一維卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)相結(jié)合的混合模型，能夠通過(guò)齒輪箱振動(dòng)信號(hào)有效識(shí)別齒輪箱故障類型。 李大柱等［4］結(jié)合車輛車輪振動(dòng)信號(hào)的特征，提出了基于多尺度時(shí)頻圖與卷積網(wǎng)絡(luò)的車輪故障智能診斷方法，準(zhǔn)確率高達(dá)97%。 周謙等［5］將力和振動(dòng)信號(hào)轉(zhuǎn)化為二維頻譜圖，輸入VGG13卷積神經(jīng)網(wǎng)絡(luò)，成功實(shí)現(xiàn)了對(duì)生產(chǎn)刀具磨損狀態(tài)的監(jiān)測(cè)。 然而，這些識(shí)別方法是針對(duì)單點(diǎn)振動(dòng)數(shù)據(jù)提出的，泄洪建筑物結(jié)構(gòu)安全狀態(tài)識(shí)別的輸入信號(hào)卻是多測(cè)點(diǎn)振動(dòng)數(shù)據(jù)，因此方法和數(shù)據(jù)之間不能很好地匹配。 本文以Inception 模塊為主體結(jié)構(gòu)，結(jié)合門控循環(huán)單元（GRU）和高效通道注意力（ECA）機(jī)制，提出了一種Inception-GRU 深度神經(jīng)網(wǎng)絡(luò)模型，其能夠通過(guò)多測(cè)點(diǎn)泄洪振動(dòng)數(shù)據(jù)，對(duì)泄洪建筑物的結(jié)構(gòu)安全狀態(tài)進(jìn)行智能識(shí)別，并通過(guò)實(shí)測(cè)振動(dòng)數(shù)據(jù)進(jìn)行測(cè)試，驗(yàn)證該模型的識(shí)別效果。

2 相關(guān)理論簡(jiǎn)介

2.1 Inception 模塊

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是針對(duì)圖像任務(wù)提出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在許多領(lǐng)域得到了廣泛應(yīng)用，通過(guò)卷積核在特征圖上的滑移操作，能夠逐層提取深層特征。 增大網(wǎng)絡(luò)的深度和寬度是提高網(wǎng)絡(luò)性能的主要方式，但會(huì)導(dǎo)致過(guò)擬合和網(wǎng)絡(luò)難以訓(xùn)練的問(wèn)題［6］。 Inception 模塊是解決這些問(wèn)題的有效方法（基本結(jié)構(gòu)見圖1），它對(duì)同一層特征圖使用不同尺寸的卷積核進(jìn)行特征提取，然后通過(guò)1×1 卷積核進(jìn)行通道降維，最后對(duì)通道拼接匯總提取特征信息［7］。 基于 Inception 模塊的結(jié)構(gòu)，使得在擴(kuò)展網(wǎng)絡(luò)寬度的同時(shí)，參數(shù)量保持相對(duì)不變。

圖1 Inception 模塊基本結(jié)構(gòu)

批標(biāo)準(zhǔn)化（BN）一般在卷積層和激活函數(shù)之間使用，它在通道維度上對(duì)數(shù)據(jù)進(jìn)行歸一化處理，能夠有效地解決梯度消失問(wèn)題，減少過(guò)擬合現(xiàn)象，提高訓(xùn)練速度［8］。 批標(biāo)準(zhǔn)化公式如下：

式中：μB為訓(xùn)練批次的平均值為訓(xùn)練批次的方差；m為訓(xùn)練批次單通道的數(shù)據(jù)量分別為標(biāo)準(zhǔn)化前、標(biāo)準(zhǔn)化后、縮放平移后特征圖上的第i個(gè)數(shù)據(jù)；γ、β分別為空間縮放、空間平移的控制因子；ε為保證方差為0 時(shí)計(jì)算可正常進(jìn)行的常數(shù)。

2.2 門控循環(huán)單元（GRU）

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是針對(duì)時(shí)序信號(hào)提出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠存儲(chǔ)和分享不同時(shí)刻的信息，并共享權(quán)重因子，進(jìn)而學(xué)習(xí)不同時(shí)刻輸入間的隱藏信息，被廣泛應(yīng)用于自然語(yǔ)言處理（NLP）領(lǐng)域。 GRU 是基于RNN 的一種優(yōu)化模型（單元內(nèi)部結(jié)構(gòu)見圖2），解決了傳統(tǒng)循環(huán)網(wǎng)絡(luò)反向傳播過(guò)程中出現(xiàn)的梯度消失問(wèn)題，能自適應(yīng)地學(xué)習(xí)不同時(shí)間尺度間的依賴關(guān)系［9］。

圖2 GRU 單元內(nèi)部結(jié)構(gòu)

GRU 單元使用重置門和更新門控制單元的信息流動(dòng)，重置門用于控制記憶信息的保留程度，更新門用于控制輸入信息和記憶信息的結(jié)合程度。 GRU 單元結(jié)構(gòu)相對(duì)簡(jiǎn)單，參數(shù)量約為長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）的3／4，性能表現(xiàn)基本相當(dāng)，適用于構(gòu)建較大的網(wǎng)絡(luò)模型。 GRU 單元內(nèi)信息更新公式如下：

式中：zt、rt分別為更新門、遺忘門；σ為 Sigmoid 函數(shù)；為Hadamard 乘法；xt為當(dāng)前時(shí)刻的輸入為當(dāng)前時(shí)刻 GRU 單元內(nèi)的隱藏信息；ht-1、ht分別為t-1 時(shí)刻、t時(shí)刻 GRU 單元內(nèi)的記憶信息；Wxu、Wxr、Wxh、Whu、Whr、Whh為權(quán)重矩陣；bu、br、bh為偏置矩陣。

2.3 高效通道注意力（ECA）

通道注意力機(jī)制能夠計(jì)算特征的重要程度，賦予特征不同權(quán)重，進(jìn)而提升網(wǎng)絡(luò)對(duì)主要特征的敏感程度。ECA 機(jī)制是一種超輕量注意力模塊（內(nèi)部結(jié)構(gòu)見圖3），避免了SENet 中的通道降維操作及可能帶來(lái)的負(fù)面影響，能以較小的參數(shù)量獲取網(wǎng)絡(luò)性能的顯著提升［10］。

圖3 ECA 內(nèi)部結(jié)構(gòu)示意

ECA 機(jī)制首先對(duì)輸入的特征圖進(jìn)行全局平均池化（GAP），然后對(duì)得到的向量進(jìn)行快速一維卷積，在使用sigmoid 函數(shù)激活后獲取通道的權(quán)重，最后將通道權(quán)重和輸入特征圖相乘就能得到具有通道注意力的特征圖。 一維卷積尺寸k決定著跨通道信息交互的覆蓋范圍，可以通過(guò)下式進(jìn)行計(jì)算：

式中：C為特征圖的通道數(shù)；｜·｜odd為距離“·”最近的偶數(shù)；γ、b分別為 2、1。

3 模型構(gòu)建

3.1 模型結(jié)構(gòu)

Inception-GRU 模型的結(jié)構(gòu)如圖4 所示，大致分為3 部分，分別為 CNN 模塊、Inception 模塊、GRU 模塊。模型的輸入為三維特征矩陣，尺寸為4 × 8 × 10，首先通過(guò)2 個(gè)二維卷積層組成的CNN 模塊初步提取淺層特征，然后通過(guò)Inception A、Inception B、Inception C 3 個(gè)子模塊逐步提取深層特征，接著再以時(shí)序的方式輸入GRU 模塊，匯總子時(shí)間段內(nèi)的切片信息，最后通過(guò)Softmax 激活函數(shù)輸出識(shí)別結(jié)果。

圖4 Inception-GRU 模型結(jié)構(gòu)示意

InceptionA、Inception B、Inception C 是 Inception基本結(jié)構(gòu)進(jìn)行卷積核分解后得到的3 種優(yōu)化結(jié)構(gòu)（內(nèi)部結(jié)構(gòu)見圖5），它們?cè)诒３指惺芤安蛔兊那闆r下，提升了網(wǎng)絡(luò)的非線性表達(dá)能力［11-12］。 3 種優(yōu)化結(jié)構(gòu)分別適用于不同尺寸和通道數(shù)的特征圖，Inception A、Inception B結(jié)構(gòu)在網(wǎng)絡(luò)前期表現(xiàn)較好，Inception C 結(jié)構(gòu)則適用于網(wǎng)絡(luò)后期。

圖5 Inception 優(yōu)化結(jié)構(gòu)示意

Inception-GRU 模型的具體參數(shù)見表1。 Inception結(jié)構(gòu)由左至右為分支1、分支2、分支3、分支4，表1 中相關(guān)參數(shù)為對(duì)應(yīng)分支的卷積核數(shù)量和池化類型。

表1 Inception-GRU 模型結(jié)構(gòu)參數(shù)

3.2 數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)

模型識(shí)別的輸入信號(hào)為泄洪建筑物受水流脈動(dòng)影響的振動(dòng)信號(hào)，該信號(hào)的時(shí)域、頻域統(tǒng)計(jì)量對(duì)結(jié)構(gòu)變化敏感，具有良好的表征能力。 因此，對(duì)于原始的振動(dòng)信號(hào)，進(jìn)行數(shù)據(jù)預(yù)處理時(shí)，選取7 個(gè)時(shí)域統(tǒng)計(jì)量和3 個(gè)優(yōu)勢(shì)頻率形成特征矩陣作為模型的輸入。

數(shù)據(jù)增強(qiáng)是指通過(guò)增加數(shù)據(jù)的多樣性，來(lái)增強(qiáng)模型的泛化能力，以在測(cè)試集和實(shí)際應(yīng)用中取得更好的表現(xiàn)。 本試驗(yàn)通過(guò)在固定時(shí)長(zhǎng)內(nèi)隨機(jī)抓取振動(dòng)片段的方式，增加單條數(shù)據(jù)的隨機(jī)性，實(shí)現(xiàn)對(duì)振動(dòng)信號(hào)的數(shù)據(jù)增強(qiáng)操作。

4 模型測(cè)試及評(píng)價(jià)

4.1 試驗(yàn)數(shù)據(jù)

本試驗(yàn)采用某水電站的8 個(gè)測(cè)點(diǎn)振動(dòng)數(shù)據(jù)來(lái)測(cè)試模型的性能，振動(dòng)數(shù)據(jù)共5 704 條，標(biāo)簽類別為正常狀態(tài)、異常狀態(tài)A、異常狀態(tài)B 和傳感器故障4 類，每一類各1 426 條數(shù)據(jù)。 在數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)后，數(shù)據(jù)以三維特征矩陣的形式輸入模型（見圖6）。

圖6 數(shù)據(jù)輸入模型示意

為進(jìn)一步驗(yàn)證模型的識(shí)別能力，應(yīng)對(duì)異常狀態(tài)和傳感器故障類別的數(shù)據(jù)進(jìn)行矩陣隨機(jī)行變換，從而增強(qiáng)數(shù)據(jù)的隨機(jī)性和模型的泛化能力。 試驗(yàn)中訓(xùn)練集、驗(yàn)證集、測(cè)試集的數(shù)據(jù)比例為8 ∶1 ∶1，用隨機(jī)分層抽樣的方式進(jìn)行劃分，以確保樣本集之間數(shù)據(jù)分布的均勻和相似。

4.2 設(shè)置訓(xùn)練參數(shù)及評(píng)價(jià)指標(biāo)

模型訓(xùn)練時(shí)使用SGDM 優(yōu)化器，動(dòng)量因子為0.9，使用L2 正則化選項(xiàng)；學(xué)習(xí)速率為0.01，使用余弦退火算法進(jìn)行衰減；批數(shù)據(jù)量為128，訓(xùn)練次數(shù)為100 次，損失函數(shù)使用交叉熵?fù)p失函數(shù)。 在模型評(píng)價(jià)時(shí)，選用準(zhǔn)確率作為主要評(píng)價(jià)指標(biāo)，以精準(zhǔn)度、召回率和F1 分?jǐn)?shù)作為輔助評(píng)價(jià)指標(biāo)。

4.3 測(cè)試結(jié)果和模型評(píng)價(jià)

為更好地評(píng)估模型的性能，同時(shí)引入其他模型作為對(duì)照，分別為Inception 模型、CNN-GRU 模型和 Inception-LSTM 模型，模型訓(xùn)練過(guò)程和測(cè)試結(jié)果分別見圖7、表2。 從圖7 中可以看出，在100 次更新優(yōu)化中，4 個(gè)模型都能完成訓(xùn)練，達(dá)到相對(duì)最優(yōu)狀態(tài)。 從表2可以看出，本文提出的Inception-GRU 模型識(shí)別效果最佳，在測(cè)試集上的準(zhǔn)確率可達(dá)97.15%，能夠通過(guò)多測(cè)點(diǎn)振動(dòng)數(shù)據(jù)高效地識(shí)別泄洪建筑物的結(jié)構(gòu)安全狀態(tài)；Inception-LSTM 模型識(shí)別效果略差，準(zhǔn)確率為95.12%，基本能夠完成識(shí)別任務(wù)；相比之下CNN-GRU 模型和Inception 模型效果較差，但準(zhǔn)確率也超過(guò)了90%。 4個(gè)模型結(jié)構(gòu)依次從簡(jiǎn)單到復(fù)雜，模型參數(shù)逐漸增加，分類的準(zhǔn)確率在90%～98%范圍內(nèi)波動(dòng)，說(shuō)明對(duì)于泄洪振動(dòng)數(shù)據(jù)來(lái)說(shuō)，時(shí)域、頻域統(tǒng)計(jì)量能夠較好地代表原信號(hào)，轉(zhuǎn)換過(guò)程中信息丟失較少，適合作為模型輸入進(jìn)行識(shí)別，能簡(jiǎn)化模型結(jié)構(gòu)，減少參數(shù)量，加快訓(xùn)練和識(shí)別速度。

圖7 模型訓(xùn)練過(guò)程

表2 模型測(cè)試結(jié)果 %

此外，具有循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的CNN-GRU 模型、Inception-GRU 模型和Inception-LSTM 模型對(duì)時(shí)序信息敏感、收斂更快，準(zhǔn)確率較Inception 模型均有所提升。 而Inception 模型沒有進(jìn)行數(shù)據(jù)增強(qiáng)，對(duì)于特征的提取能力較差，延后約20 次訓(xùn)練才達(dá)到最優(yōu)狀態(tài)，同時(shí)識(shí)別表現(xiàn)也最差。 CNN-GRU 模型和Inception-GRU模型準(zhǔn)確率相差5.69 個(gè)百分點(diǎn)的原因在于卷積部分的性能差異，能夠看出對(duì)于規(guī)模較小的矩陣來(lái)說(shuō)，Inception 模塊的分支卷積結(jié)構(gòu)能夠更加有效地進(jìn)行深層特征提取。 Inception-LSTM 模型的參數(shù)量較Inception-GRU 模型更多，但進(jìn)行訓(xùn)練的數(shù)據(jù)量較少，導(dǎo)致其在訓(xùn)練過(guò)程中出現(xiàn)了過(guò)擬合的現(xiàn)象，盡管理論性能更好，實(shí)際準(zhǔn)確率卻低了2.03 個(gè)百分點(diǎn)。 在未來(lái)數(shù)據(jù)量更多的情況下，可考慮使用Inception-LSTM 模型，以期獲得更好的識(shí)別效果。

圖8 為Inception-GRU 模型在識(shí)別測(cè)試集數(shù)據(jù)后繪制的混淆矩陣，主對(duì)角線為正確識(shí)別的樣本數(shù)量，其余位置為錯(cuò)誤識(shí)別的樣本數(shù)量，可以看出Inception-GRU 模型對(duì)4 類數(shù)據(jù)都能有效識(shí)別。 傳感器故障類別的數(shù)據(jù)與其他3 個(gè)類別的數(shù)據(jù)相比特征更加明顯，在本次試驗(yàn)中能夠全部正確識(shí)別，而正常狀態(tài)、異常狀態(tài)的數(shù)據(jù)均存在錯(cuò)誤識(shí)別的情況。

圖8 Inception-GRU 模型混淆矩陣

為研究模型提取特征的性能，將CNN 模塊、Inception 模塊和GRU 模塊的輸出分別取出，使用t-SNE 算法［13］將多維特征降維到二維，繪圖實(shí)現(xiàn)可視化，如圖9 所示。 從圖9 可以看出，CNN 模塊提取了淺層特征，基本能夠判斷傳感器故障類別，但此時(shí)在高維空間內(nèi)其他3 類數(shù)據(jù)的特征向量仍十分混亂，無(wú)法有效區(qū)分；Inception 模塊進(jìn)一步提取深層特征，正常狀態(tài)和異常狀態(tài)的數(shù)據(jù)點(diǎn)在高維空間中逐漸分離，但仍有少許交叉，此時(shí)已能夠基本識(shí)別；GRU 模塊較好地處理了Inception 模塊輸入的時(shí)序信號(hào)，進(jìn)一步優(yōu)化了提取特征，使4 類數(shù)據(jù)進(jìn)一步分離。 總的來(lái)說(shuō)，Inception-GRU模型提取的特征逐漸變強(qiáng)，混亂的輸入數(shù)據(jù)在高維數(shù)據(jù)空間內(nèi)逐漸分離，最終達(dá)到距離較遠(yuǎn)、區(qū)分度較高的空間位置，實(shí)現(xiàn)了對(duì)泄洪建筑物結(jié)構(gòu)安全狀態(tài)的有效識(shí)別。

圖9 模塊輸出特征t-SNE 可視化

5 結(jié) 論

鑒于識(shí)別泄洪建筑物結(jié)構(gòu)安全狀態(tài)的必要性和傳統(tǒng)識(shí)別方法的局限性，提出一種Inception-GRU 深度神經(jīng)網(wǎng)絡(luò)模型，智能化地實(shí)現(xiàn)泄洪建筑物結(jié)構(gòu)安全狀態(tài)的識(shí)別，進(jìn)而確保水利樞紐泄洪過(guò)程中的運(yùn)行安全。主要結(jié)論如下。

（1）提出的Inception-GRU 混合網(wǎng)絡(luò)模型，經(jīng)測(cè)試以97.15 %的準(zhǔn)確率高效地識(shí)別泄洪建筑物的結(jié)構(gòu)安全狀態(tài)。 該模型比 Inception 模型、CNN-GRU 模型、Inception-LSTM 模型識(shí)別效果更好，原因在于Inception結(jié)構(gòu)對(duì)小尺寸輸入的特征提取能力更強(qiáng)，而門控循環(huán)單元（GRU）在較好地處理時(shí)序信息的同時(shí)沒有產(chǎn)生過(guò)擬合現(xiàn)象。

（2）對(duì)于泄洪振動(dòng)信號(hào)來(lái)說(shuō)，提取時(shí)域、頻域統(tǒng)計(jì)量作為模型的輸入，能較好地保持原始振動(dòng)數(shù)據(jù)的信息完整，在減少參數(shù)量的同時(shí)，具有較高的準(zhǔn)確率；使用隨機(jī)抓取振動(dòng)片段進(jìn)行時(shí)序堆疊的數(shù)據(jù)增強(qiáng)方法，模型能夠獲取更多信息，識(shí)別能力得到顯著增強(qiáng)。