黃振寧，趙永貴，許志亮，溫飛，張成

（1.國網(wǎng)山東省電力公司，山東濟(jì)南 250000；2.國網(wǎng)山東省電力公司臨沂供電公司，山東臨沂 276000；3.國網(wǎng)山東省電力公司青島供電公司，山東青島 266000；4.山東科華電力技術(shù)有限公司，山東濟(jì)南 250101）

隨著我國經(jīng)濟(jì)的快速發(fā)展，電力網(wǎng)絡(luò)也在不斷完善。由于電力資源分布與經(jīng)濟(jì)發(fā)展水平的不平衡，遠(yuǎn)程電力運(yùn)輸也成為了一個必然選擇[1]。近年來，電纜隧道化布局作為新的發(fā)展趨勢，其能夠適應(yīng)大容量、長距離密集輸電的要求，但也給電纜檢測帶來了一系列困難。因此，智能電纜隧道缺陷檢測也成為了一個新的研究方向[2-3]。

針對電纜隧道缺陷特性，文獻(xiàn)[4]提出了基于巡檢圖像的電纜缺陷檢測方法；文獻(xiàn)[5]基于機(jī)器視覺算法對結(jié)構(gòu)表面的缺陷進(jìn)行檢測；文獻(xiàn)[6]提出利用深度學(xué)習(xí)進(jìn)行表面缺陷檢測。上述方法均在一定程度上利用圖像信息來進(jìn)行缺陷檢測，然而在對檢測準(zhǔn)確率的提高以及缺陷種類的判別等方面仍存在較多不足。

為了進(jìn)一步提高缺陷檢測準(zhǔn)確率，文獻(xiàn)[7-10]提出利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而有效識別物體表面缺陷；文獻(xiàn)[11-12]利用拓展支持向量機(jī)實(shí)現(xiàn)網(wǎng)絡(luò)訓(xùn)練與缺陷判別；文獻(xiàn)[13-15]采用判別式深度置信網(wǎng)絡(luò)方法進(jìn)行心電圖異常判別。此外，文獻(xiàn)[16]也將判別式深度置信網(wǎng)絡(luò)方法用于醫(yī)學(xué)診斷領(lǐng)域，并取得了一定的研究成果。但該研究領(lǐng)域較為局限，且效果也有待提高。

針對研究現(xiàn)狀與電纜隧道缺陷檢測的實(shí)際需求，該文提出了基于判別式深度置信網(wǎng)絡(luò)的缺陷檢測技術(shù)。通過提取電纜隧道圖像并進(jìn)行子塊分割，將其作為深度置信網(wǎng)絡(luò)的訓(xùn)練集。然后以三層深度的神經(jīng)網(wǎng)絡(luò)為模型，并利用貪婪算法進(jìn)行無監(jiān)督判別。采用梯度下降法對網(wǎng)絡(luò)進(jìn)行反向監(jiān)督訓(xùn)練提高了判別精度，文中仿真結(jié)果表明，所提算法的電纜缺陷檢測能力優(yōu)于現(xiàn)有算法，且對于多類別缺陷均有較好的適用性。

1 算法框架

該文提出基于判別式深度置信網(wǎng)絡(luò)的智能電力隧道缺陷檢測技術(shù)，其通過智能設(shè)備采集電纜隧道圖形，并進(jìn)行特征訓(xùn)練匹配。該算法的流程框圖如圖1 所示。

圖1 判別式深度置信網(wǎng)絡(luò)缺陷檢測流程框圖

基于判別式深度置信網(wǎng)絡(luò)的缺陷檢測技術(shù)主要包括兩個部分，即模型訓(xùn)練和特征匹配。

其中，模型訓(xùn)練包括采集訓(xùn)練圖像、建立DDBNs模型、特征提取與訓(xùn)練等步驟。其通過智能設(shè)備采集電纜隧道圖像，建立各類電纜隧道缺陷數(shù)據(jù)庫，并利用DDBNs 網(wǎng)絡(luò)進(jìn)行特征提取與訓(xùn)練，從而完成缺陷模型庫的構(gòu)建。

而特征匹配是在完成缺陷模型庫訓(xùn)練之后，通過采集電纜隧道待檢測圖像并進(jìn)行子塊分割以適應(yīng)于算法模型要求。然后將圖像子塊與模型庫進(jìn)行特征匹配，并通過最優(yōu)模型判別以實(shí)現(xiàn)缺陷檢測。

該算法框架中，最核心的部分為深度置信網(wǎng)絡(luò)的構(gòu)建，DDBNs 網(wǎng)絡(luò)訓(xùn)練的結(jié)果將直接影響最終的缺陷檢測效果。

2 網(wǎng)絡(luò)模型構(gòu)建

該文采用的深度置信網(wǎng)絡(luò)的深度為三層，前兩層采用受限波爾茲曼機(jī)GRBM 模型，后一層采用判別式受限波爾茲曼機(jī)DRBM 模型。該文構(gòu)建的模型示意圖如圖2 所示。此外，可見層輸入子塊維度以及判別的類別標(biāo)簽數(shù)量可根據(jù)需求調(diào)整。

圖2 判別式深度置信網(wǎng)絡(luò)模型構(gòu)建示意圖

GRBM 模型屬于隨機(jī)生成神經(jīng)網(wǎng)絡(luò)的一種，可用于提取樣本特征。該模型采用無監(jiān)督學(xué)習(xí)方法，并獲得深度置信網(wǎng)絡(luò)的形態(tài)特征。深度置信網(wǎng)絡(luò)中包含隱藏層與可見層，任意一層中不同神經(jīng)元之間無連接。同時，GRBM 模型又分為二元輸入和實(shí)值輸入兩種：第一層為實(shí)值輸入，第二層為二元輸入。

第一層與第二層GRBM 模型的能量函數(shù)定義分別為：

其中，wij表示可見層與隱藏層之間的權(quán)值參數(shù)；bi、cj分別表示可見層和隱藏層的神經(jīng)元偏置量；σi表示vi的標(biāo)準(zhǔn)差；n和m分別表示可見層與隱藏層的單元數(shù)量；vi表示可見層神經(jīng)元，hj表示隱藏層神經(jīng)元。

對于第一層GRBM 模型，可見層和隱藏層的條件概率如下所示：

式中，δ表示Logistics 函數(shù)，其定義為：

第二層GRBM 模型的可見層和隱藏層條件概率如下所示：

不同于GRBM 模型，DRBM 模型主要是對數(shù)據(jù)進(jìn)行特征提取及分類。相較于傳統(tǒng)深度學(xué)習(xí)算法，其在最后一層加上了分類器，從而有效提升算法的效率與分類準(zhǔn)確度。DRBM 模型如圖3 所示。

圖3 DRBM模型

3 網(wǎng)絡(luò)模型訓(xùn)練

DDBNs 網(wǎng)絡(luò)模型訓(xùn)練主要包括預(yù)訓(xùn)練與反向監(jiān)督微調(diào)。預(yù)訓(xùn)練采用對比散度算法，通過最大化訓(xùn)練樣本的似然度：

其中，θ1,2表示樣本的似然度。

DDBNs 網(wǎng)絡(luò)模型訓(xùn)練采用貪婪分層算法逐層進(jìn)行無監(jiān)督訓(xùn)練，并將每層訓(xùn)練的結(jié)果作為后一層的輸入，以此獲得樣本特征。而最后一層通過有監(jiān)督學(xué)習(xí)，利用后驗(yàn)概率判別樣本的分類。

為了提高網(wǎng)絡(luò)模型訓(xùn)練的精度，在預(yù)訓(xùn)練完成后將DDBNs 網(wǎng)絡(luò)與Softmax 回歸層相結(jié)合，構(gòu)成DNN 網(wǎng)絡(luò)再執(zhí)行判別，并進(jìn)行反向訓(xùn)練直至收斂。其結(jié)構(gòu)示意圖如圖4 所示。

圖4 DNN模型結(jié)構(gòu)示意圖

圖中的Softmax單元是一種適合于多類別分類的回歸模型，通常將其放于置信網(wǎng)絡(luò)的最后一層以提高網(wǎng)絡(luò)分類精度。該回歸模型的結(jié)構(gòu)如圖5所示。

圖5 Softmax層模型的結(jié)構(gòu)

圖5 中，fm表示由DDBNs 網(wǎng)絡(luò)最后一層訓(xùn)練的特征向量，yk表示第k個類別樣本。特征向量與類別樣本可組合為m個訓(xùn)練樣本，定義函數(shù)gj()fi表示特征向量fi屬于類別j的概率，則有：

式（9）中，θk表示深度置信網(wǎng)絡(luò)模型參數(shù)。將式（9）中的θk更新為θk-φ，則假設(shè)函數(shù)可更新為：

由式（10）可得，當(dāng)深度置信網(wǎng)絡(luò)模型參數(shù)變化時，其定義的損失函數(shù)不變，說明該網(wǎng)絡(luò)模型存在冗余。為了去除模型冗余度，通過定義懲罰函數(shù)來進(jìn)行訓(xùn)練：

式中，m表示訓(xùn)練樣本數(shù)量，k表示樣本類別數(shù)量，ζ(yi=j)為指示函數(shù)。

為了最小化損失函數(shù)，使用梯度下降法進(jìn)行求解。對損失函數(shù)進(jìn)行梯度求導(dǎo)：

式中，ψ(yi,j,fi,θ)定義為：

利用梯度求解計(jì)算懲罰函數(shù)的最小值，并迭代直至收斂。

信號正向傳播中第l層的第j個神經(jīng)元的激活函數(shù)為：

假設(shè)網(wǎng)絡(luò)輸出判別結(jié)果為Oj(n)，則判別誤差可表示為：

在反向傳播過程中，輸出層與隱藏層之間的參數(shù)梯度為：

隱藏層與其他隱藏層或輸入層之間的參數(shù)梯度為：

則權(quán)值更新為：

在網(wǎng)絡(luò)模型訓(xùn)練過程中，計(jì)算置信網(wǎng)絡(luò)判別結(jié)果與真實(shí)類別的誤差并進(jìn)行反向傳導(dǎo)，且利用梯度下降算法修改網(wǎng)絡(luò)模型參數(shù)。網(wǎng)絡(luò)訓(xùn)練算法的具體步驟如下：

輸入：神經(jīng)元激活值xi；樣本標(biāo)簽yj；權(quán)值wij；層數(shù)L；訓(xùn)練迭代次數(shù)N；判別結(jié)果Oj(n)。

1）根據(jù)式（14）計(jì)算激活函數(shù)；

2）根據(jù)式（15）計(jì)算標(biāo)簽判別誤差；

3）根據(jù)式（16）和式（17）計(jì)算參數(shù)梯度；

4）根據(jù)式（18）更新權(quán)值；

5）若n=N，則結(jié)束；否則轉(zhuǎn)到1），n=n+1；

輸出：網(wǎng)絡(luò)權(quán)值wij。

4 仿真驗(yàn)證與數(shù)據(jù)分析

為了評估文中提出的基于判別式置信網(wǎng)絡(luò)的智能電纜軌道缺陷檢測技術(shù)，通過對比所提算法與現(xiàn)有算法的檢測正確率，同時分析多類型缺陷檢測概率來說明所提算法的有效性。

從表1 中可以看出，組合分類和自適應(yīng)閾值算法缺陷檢測正確率較低；SVM 和神經(jīng)網(wǎng)絡(luò)算法通過學(xué)習(xí)與訓(xùn)練可在一定程度上提高檢測正確率，但其漏檢率較高；而所提算法在大幅提高缺陷檢測正確率的基礎(chǔ)上，同時還保證了誤檢率和漏檢率均處于較低水平，驗(yàn)證了其具有更優(yōu)的性能。

表1 不同算法電纜軌道缺陷檢測率對比

如表2 所示，對于不同類型的電纜缺陷，該文算法均能進(jìn)行有效檢測，且誤檢率與漏檢率滿足常規(guī)的工程應(yīng)用要求，同時針對劃傷等具有重要隱患的缺陷檢測率有進(jìn)一步提高。對于多種缺陷類型的檢測性能，說明所提算法具有較強(qiáng)的魯棒性與適用性。

表2 不同缺陷類型下算法性能對比

5 結(jié)束語

該文提出了一種基于判別式深度置信網(wǎng)絡(luò)的缺陷檢測技術(shù)，以解決智能電纜軌道缺陷檢測的實(shí)際需求。其通過構(gòu)建多層深度置信網(wǎng)絡(luò)來進(jìn)行無監(jiān)督訓(xùn)練，可有效實(shí)現(xiàn)多類型缺陷檢測。相對于現(xiàn)有算法，該算法通過梯度下降法對網(wǎng)絡(luò)模型參數(shù)進(jìn)行反向監(jiān)督訓(xùn)練，更快速地實(shí)現(xiàn)了網(wǎng)絡(luò)收斂，且在較小樣本的情況下仍具有更優(yōu)的訓(xùn)練效果與較強(qiáng)的適用性。而通過改變網(wǎng)絡(luò)深度和參數(shù)配置可進(jìn)一步提高算法性能，這將有待后續(xù)的深入研究。