曹 輝, 楊理踐, 楊文俊, 邵一川, 劉 斌

(1. 沈陽工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 沈陽 110870; 2. 沈陽大學(xué) 信息工程學(xué)院, 遼寧 沈陽 110044;3. 華盛頓大學(xué) 工程與技術(shù)學(xué)院, 華盛頓州 西雅圖 98195)

石油作為重要的能源材料越來越受到國家戰(zhàn)略安全的重視, 管道的運(yùn)行安全極其重要. 長輸管道是石油運(yùn)輸?shù)闹饕绞? 輸油管道長期使用受到腐蝕容易引起變形、裂紋等缺陷,造成能源泄露, 對財產(chǎn)和環(huán)境安全造成威脅, 所以對管道進(jìn)行定期檢測意義重大. 目前漏磁內(nèi)檢測技術(shù)是最常用的管道檢測方法, 通過對檢測到的漏磁數(shù)據(jù)進(jìn)行處理, 可以得到漏磁圖像, 對漏磁圖像中的異常進(jìn)行檢測,可以確保管道安全. 其中,異常檢測作為識別之前的重要環(huán)節(jié), 其重要性不容忽視. 異常檢測準(zhǔn)確性關(guān)系到后續(xù)異常識別尺寸反演以及評估的精度. 由于環(huán)境噪聲的存在, 使得微小異常信號容易被忽略掉. 一旦小缺陷被漏檢,管道發(fā)生泄漏, 經(jīng)濟(jì)損失將不可估量. 因此,提升異常區(qū)域特別是微小異常區(qū)域檢測的精度極其重要.

圖像異常檢測的傳統(tǒng)方法主要包括像素鄰近距離和基于梯度的邊緣檢測方法[1-2].邊緣檢測只是針對紋理進(jìn)行分類,而無法理解圖像上下文語意.像素鄰近距離需要針對具體的圖像來手動設(shè)置閾值,由于閾值無法廣泛地應(yīng)用于所有圖像,所以不具有普適性.在漏磁數(shù)據(jù)異常檢測研究中,大都基于閾值法或者邊緣檢測算子法進(jìn)行檢測[3-5].以上方法對噪聲的魯棒性不高,邊緣檢測精度有限,特別是微小異常容易發(fā)生漏檢.

1 漏磁檢測原理

漏磁檢測由于其檢測環(huán)境要求較低、操作簡單及靈敏度高被廣泛用于長輸油管道的內(nèi)檢測中,該方法在國內(nèi)外得到了廣泛的應(yīng)用.漏磁檢測通過磁敏傳感器檢測被測件周圍產(chǎn)生的漏磁,漏磁量的大小與缺陷真實(shí)尺寸大小之間存在一定的非線性映射關(guān)系.通過分析這種非線性映射,最終對管道進(jìn)行無損檢測評估.

管道漏磁內(nèi)檢測的主要原理是:通過霍爾傳感器檢測出缺陷處被磁化材料表面泄漏出來的漏磁通量,如圖1所示.

圖1 漏磁檢測原理Fig.1 Principle of MFL detection

通?？梢詫⒋磐ǚ譃?個部分:一部分直接穿過缺陷;一部分在管壁內(nèi)部迂回,通過缺陷周圍的鐵磁材料繞過缺陷;還有一部分磁通則會脫離管壁表面,通過空氣繞過缺陷再次進(jìn)入管壁.當(dāng)管壁沒有缺陷時,磁場均勻分布,管壁中若存在異常,就會存在漏磁通,漏磁通被磁敏傳感器捕獲后形成漏磁信號,即缺陷漏磁報警信號,通過對漏磁信號進(jìn)行分析,推斷出缺陷尺寸等各項參數(shù)信息.所以對缺陷參數(shù)精確量化的關(guān)鍵是盡可能全面準(zhǔn)確獲取缺陷漏磁場的大小及其分布特征.

2 網(wǎng)絡(luò)模型

2.1 U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)是一種改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)模型,網(wǎng)絡(luò)沒有全連接層,可以實(shí)現(xiàn)任意尺寸圖像的檢測,該方法由一個捕獲上下文信息的收縮路徑和一個可用于精準(zhǔn)定位的對稱擴(kuò)展路徑組成,訓(xùn)練策略基于對數(shù)據(jù)增強(qiáng)方法的使用,可以對有限的標(biāo)記樣本進(jìn)行充分利用.U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

一般的分割網(wǎng)絡(luò)的結(jié)構(gòu)是編碼器-解碼器架構(gòu). 編碼器(Encoder)通常是一個預(yù)訓(xùn)練的分類網(wǎng)絡(luò), 主要完成特征的下采樣,比如 Xnception、ResNet等等.解碼器(Dencoder)的任務(wù)是將編碼器學(xué)習(xí)到的可判別特征從語義上投影到像素空間, 以獲得像素級預(yù)測. 目前流行的解碼器通常有U-Net結(jié)構(gòu)和空間金字塔池化[6-7]兩種,U-Net網(wǎng)絡(luò)是U型結(jié)構(gòu), 左邊Encode可以看作先下采樣, 經(jīng)過不同程度的卷積, 學(xué)習(xí)了深層次的特征,右邊Decoder在經(jīng)過上采樣回復(fù)為原圖大小, 上采樣用反卷積實(shí)現(xiàn). 此網(wǎng)絡(luò)輸入和輸出都是圖像, 沒有全連接層. 較淺的高分辨率層用來解決像素定位的問題, 較深的層用來解決像素分類的問題.

2.2 ResNet網(wǎng)絡(luò)

原始的U-Net的下采樣部分的網(wǎng)絡(luò)結(jié)構(gòu)對梯度的回傳不是十分友好,容易發(fā)生梯度消失問題[8-9].采用ResNet結(jié)構(gòu)可以解決這個問題.ResNet的結(jié)構(gòu)[10]可以極快地加速超深神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,模型的準(zhǔn)確率也有非常大的提升.ResNet的學(xué)習(xí)目標(biāo)可以保證經(jīng)過該恒等層的輸入和輸出完全相同.在使用了ResNet的結(jié)構(gòu)后,可以發(fā)現(xiàn)層數(shù)不斷加深導(dǎo)致的訓(xùn)練集上誤差增大的現(xiàn)象被消除了,ResNet網(wǎng)絡(luò)的訓(xùn)練誤差會隨著層數(shù)增加而逐漸減少,并且在測試集上的表現(xiàn)也會變好.

2.3 對抗網(wǎng)絡(luò)

對抗網(wǎng)絡(luò)[11]是一種深度學(xué)習(xí)模型,是近年來復(fù)雜分布上無監(jiān)督學(xué)習(xí)最具前景的方法之一.模型通過框架中(至少)2個模塊:生成模型和判別模型,生成模型是給定某種隱含信息,來隨機(jī)產(chǎn)生觀測數(shù)據(jù).判別模型需要輸入變量,通過某種模型來預(yù)測.對抗網(wǎng)絡(luò)可以通過兩個模型的互相博弈學(xué)習(xí)產(chǎn)生相當(dāng)好的輸出.

3 基于U-Net網(wǎng)絡(luò)模型的管道漏磁異常檢測

3.1 改進(jìn)的U-Net網(wǎng)絡(luò)模型和算法

使用U-Net的變體作為解碼器. 這種解碼器利用深層網(wǎng)絡(luò)獲得抽象特征, 利用淺層網(wǎng)絡(luò)獲得上下文特征, 并采用復(fù)制疊加方式進(jìn)行特征融合.

所設(shè)計的的網(wǎng)絡(luò)模型分成2個部分,分別是編碼(Encoder)和解碼(Decoder).由于原始的U-Net的Encoder下采樣部分的網(wǎng)絡(luò)結(jié)構(gòu)容易發(fā)生梯度消失問題,因此采用改進(jìn)的ResNet結(jié)構(gòu)來替代.是ResNet V2結(jié)構(gòu)如圖3所示.

圖3 ResNet V2結(jié)構(gòu)Fig.3 ResNet V2 structure

圖3的結(jié)構(gòu)稱作ResNet V2,網(wǎng)絡(luò)結(jié)構(gòu)中BN層指批量歸一化層,作為預(yù)激活,起到了正則化的作用;其中Conv層為卷積層,ReLU指激活層,Addition為相加.式(1)表示ResNet任何第L層(深層)與第l層(淺層)之間關(guān)系.

式(2)為反向傳播公式,Lo為損失函數(shù),這個反向傳播公式中兩層之間梯度信息無障礙傳遞,有效的防止了當(dāng)權(quán)重很小時,梯度消失的問題.

Encoder部分如圖4所示,是基于ResNet的改進(jìn).

圖4對ResNet結(jié)構(gòu)作了如下改進(jìn):

圖4 改進(jìn)的ResNet V2結(jié)構(gòu)Fig.4 Improved ResNet V2 structure

1) 用深度可分離卷積代替原始的卷積部分.文中所述的深度可分離卷積就是降低卷積運(yùn)算參數(shù)量的一種典型方法.目前以大網(wǎng)絡(luò)為趨勢的Xception和以移動端為目的的Mobilenet,都使用深度可分離卷積.它的核心思想是將一個完整的卷積運(yùn)算分解為兩步進(jìn)行,分別為Depthwise Convolution與Pointwise Convolution.深度可分離卷積比普通卷積大大減少了所需要的參數(shù)和計算量.

2) 引入空洞卷積.空洞卷積是在標(biāo)準(zhǔn)的卷積圖里注入空洞,以此來增加感受域.好處是在不做池化損失信息的情況下,加大了感受視野,讓每個卷積輸出都包含較大范圍的信息. 空洞卷積滿足式(3).

Mi=maxMi+1-2riMi+1-2(Mi+1-ri)ri.(3)

式中,ri是i層的擴(kuò)張率(dilation rate),Mi是指在i層的最大擴(kuò)張率,如果總共有n層,則默認(rèn)Mn=rn.如果應(yīng)用于kernel為k×k,目標(biāo)則是Mi≤k,這樣可以用dilation rate1即standard convolution的方式來覆蓋掉所有洞.

本文對于網(wǎng)絡(luò)的最后一個下采樣,使用dilation rate為2的空洞卷積,這樣在不改變后續(xù)節(jié)點(diǎn)的感受野的情況下,增加了特征的分辨率,使得特征有更細(xì)致的空間信息.

圖4針對Encoder的架構(gòu)進(jìn)行說明,圖5針對Encoder算法流程進(jìn)行說明,其中每個Resblock結(jié)構(gòu)如圖4,圖4和圖5共同對Encoder進(jìn)行了說明.

圖5 算法流程圖Fig.5 Flow chart of algorithm

Decoder部分仍然采用和原始U-Net相同的結(jié)構(gòu),在文中不做詳細(xì)描述.在算法中參考了目前分割網(wǎng)絡(luò)的趨勢,把上層由卷積層改成了雙線性插值,把雙線性插值封裝成層,這樣做雖然犧牲了一點(diǎn)網(wǎng)絡(luò)的非線性復(fù)雜度,但對梯度回傳非常友好.另外雙線性插值比傳統(tǒng)的反卷積更能保持特征的空間信息.

3.2 對抗網(wǎng)絡(luò)架構(gòu)的優(yōu)化

根據(jù)人工專家的標(biāo)注,輸油管道缺陷的邊緣是工整和平滑的,在傳統(tǒng)的圖像分割中,神經(jīng)網(wǎng)絡(luò)通常通過周圍的語境特征來判斷當(dāng)前像素為目標(biāo)的概率,但這種方式會帶來小的毛刺狀的圖像邊緣,生成式對抗網(wǎng)絡(luò)(generative adversarial networks, GAN)可以讓神經(jīng)網(wǎng)絡(luò)產(chǎn)生非常像專家標(biāo)注的真實(shí)輸出.GAN網(wǎng)絡(luò)包含2部分,分別是生成器和判別器.判別器來判斷,試圖區(qū)分判別器和標(biāo)注的輸出,而生成器試圖生成盡可能真實(shí)的分割結(jié)果,來混淆判別器.

GAN對于管道分割的目標(biāo)函數(shù)表達(dá)為

G是從管道圖像到缺陷圖像的映射,G:x→y.判別器D把{x,y}映射成像素級二元分類{0,1}.

GAN網(wǎng)絡(luò)架構(gòu)的優(yōu)化解如下:

Ex～Pdata(x)[lb(1-D(x,G(x)))]}.

(5)

式中,G是生成器,G(x)是生成器生成的分割結(jié)果.

在實(shí)際應(yīng)用中,基于GAN的分割網(wǎng)絡(luò)可以通過最小化標(biāo)簽圖像和生成器的輸出圖像,來直接利用標(biāo)注.

基于GAN的分割網(wǎng)絡(luò)損失函數(shù)為

4 實(shí)驗、結(jié)果與討論

本文實(shí)驗管道數(shù)據(jù)來源于實(shí)驗場地, 管道內(nèi)檢測實(shí)驗場地如圖6所示, 圖6為牽拉實(shí)驗場地.

圖6 管道內(nèi)檢測實(shí)驗場地Fig.6 Experimental field of pipeline inner inspection

4.1 準(zhǔn)備

對數(shù)據(jù)集的準(zhǔn)備如下.

1) 將漏磁數(shù)據(jù)轉(zhuǎn)變?yōu)榛叶葓D像

在MATLAB中可直接用函數(shù)將漏磁信號轉(zhuǎn)化成漏磁圖像進(jìn)行處理,管道微小缺陷部分的漏磁曲線和對應(yīng)的漏磁圖像對應(yīng)關(guān)系如圖 7所示.圖中框出部分為管道缺陷,本實(shí)驗的異常區(qū)域以微小缺陷圖像為例進(jìn)行驗證.

(a) 漏滋數(shù)據(jù)曲線(b) 灰度圖

2) 獲得訓(xùn)練樣本集和測試樣本集.

選擇100張不同異常缺陷的圖像,在專業(yè)人員指導(dǎo)下,手工標(biāo)記出圖像中的缺陷;通過這種方式,生成100張300×10 000的圖像.

3) 數(shù)據(jù)預(yù)處理.

隨機(jī)地在原始圖像中抽取100張300×300的圖像,經(jīng)過隨機(jī)的加入噪聲、角度偏轉(zhuǎn)、縮放、上下角度翻轉(zhuǎn)來增加數(shù)據(jù)的多樣性.最后取256×256的數(shù)據(jù)為最終的訓(xùn)練數(shù)據(jù).然后對數(shù)據(jù)進(jìn)行歸一化處理,使得所有輸入數(shù)據(jù)的“像素”值在-1和1之間.

4.2 方法

在實(shí)驗過程中使用2種方式來訓(xùn)練網(wǎng)絡(luò),并將它們的結(jié)果進(jìn)行對比.

4.2.1 基于U-Net網(wǎng)絡(luò)模型的漏磁圖像異常檢測

第1種方式通過U-Net網(wǎng)絡(luò)模型對漏磁圖像進(jìn)行異常檢測.采用網(wǎng)絡(luò)常見的監(jiān)督式學(xué)習(xí),使用常見的交叉熵?fù)p失函數(shù)和Dice混合損失函數(shù).

其中Dice損失函數(shù)的引用是用來平衡類不平衡問題的,用TP(true positive)、FP(false positive)、FN(false negative)來計算.另外,使用正則化和批量歸一化層來解決過擬合問題.其中正則化重量衰減的參數(shù)是0.000 04.使用momentum為0.9的SGD作為學(xué)習(xí)策略,其中學(xué)習(xí)速率是通過超參數(shù)搜索獲得,對于目前的實(shí)驗數(shù)據(jù)集,學(xué)習(xí)速率為0.000 7.實(shí)驗過程中在超參數(shù)搜索中還引用了其他變量,比如對深度可分離卷積是否設(shè)置正則化參數(shù),學(xué)習(xí)速率衰減的策略和速度,網(wǎng)絡(luò)參數(shù)初始化的策略等.

4.2.2 加入對抗網(wǎng)絡(luò)的的漏磁圖像異常修正

第2種方式在改進(jìn)的U-Net網(wǎng)絡(luò)模型基礎(chǔ)上加入對抗網(wǎng)絡(luò)(GAN).漏磁圖像經(jīng)改進(jìn)的 U-Net網(wǎng)絡(luò)進(jìn)行異常檢測的輸出作為GAN的假圖輸入,與標(biāo)注進(jìn)行比較,如果檢測出的圖像跟標(biāo)注產(chǎn)生很大不同,則循環(huán)修正,直到產(chǎn)生非常像專家標(biāo)注的真實(shí)輸出.基于對抗網(wǎng)絡(luò)GAN的訓(xùn)練圖示見圖8.

圖8 GAN網(wǎng)絡(luò)的訓(xùn)練圖示Fig.8 Training diagram of GAN network

與傳統(tǒng)的對抗網(wǎng)絡(luò)不同,這里x是輸入的管道圖像而不是隨機(jī)噪聲. 其中0表示由生成器生成,1表示由管道專家打成的標(biāo)注.G是生成器.G(x)是生成器生成的分割結(jié)果.D是判別器. 通過式(5)GAN網(wǎng)絡(luò)架構(gòu)的優(yōu)化解,為了訓(xùn)練判別器D,D(x,y)需要最大化而D(x,G(x))需要最小化.也就是說,生成器需要生成盡可能接近真實(shí)的結(jié)果來干擾判別器做出正確的判斷.因為最終目標(biāo)是讓生成器生成和管道專家標(biāo)注等價的結(jié)果,目標(biāo)函數(shù)需要迭代式的進(jìn)行min、max交替.先固定生成器G,讓判別器D最小化目標(biāo)函數(shù).之后判別器D,讓生成器G最大化目標(biāo)函數(shù).訓(xùn)練過程是這兩個過程的循環(huán).

4.3 結(jié)果

圖9是本文基于改進(jìn)的U-Net算法并加入對抗網(wǎng)絡(luò)的對圖像異常檢測結(jié)果圖.從圖9可以看出,檢測出的缺陷圖像中缺陷細(xì)節(jié)完整、輪廓清晰.本文基于U-Net模型的檢測算法能夠準(zhǔn)確實(shí)現(xiàn)對缺陷及其細(xì)節(jié)的檢測.

(a) 原始圖像(b) 標(biāo)簽圖像(c) U-Net模型方法圖9 基于改進(jìn)的U-Net模型的檢測結(jié)果圖Fig.9 Test result based on improved U-Net model

4.4 討論

4.4.1 評價指標(biāo)

本實(shí)驗中使用的分割網(wǎng)絡(luò)評價指標(biāo)是像素交并比(IoU)來評價算法的性能.公式如下:

式中,I表示交并比(IoU);t表示target;p表示prediction.

由于缺陷檢測是典型的二元分類場景,因此,實(shí)驗中依然可以使用操作特征曲線(receiver operating characteristic, ROC),精確率和召回率作為評價指標(biāo).最終的評價指標(biāo)有3種,分別是IoU,ROC AVC基于ROC的(area under curve),以及基于Precision and Recall的AUC(PR AVC).

4.4.2 預(yù)測結(jié)果后處理

對于模型的預(yù)測部分,對于每一張圖像,使用了雙線性插值方法對原始圖像進(jìn)行縮放,縮放比率分別為0.5,0,75,1.0,1.25,1.5.模型分別對這5張縮放圖進(jìn)行預(yù)測.最后在把預(yù)測結(jié)果縮放到原始圖片大小,取平均值,來得到最終的結(jié)果值.

4.4.3 實(shí)驗結(jié)果對比

表1對文中方法和其他傳統(tǒng)方法進(jìn)行了比較.

表1 本文方法和其他方法的性能比較Table 1 Performance comparison between the proposed method and other methods

表1比較了不同邊緣檢測和使用本文算法的性能,相比于基于傳統(tǒng)機(jī)器視覺方法的梯度邊緣檢測,基于U-Net深度神經(jīng)網(wǎng)絡(luò)的方法有明顯的性能優(yōu)勢.這說明在大量圖片數(shù)據(jù)的場景下,擁有百萬級參數(shù)的神經(jīng)網(wǎng)絡(luò)對圖像語義的理解能力超越了傳統(tǒng)的圖像處理方法.不同模型的性能比較結(jié)果如表2所示.

表2 不同模型的性能比較Table 2 Performance comparison of different models

表2對基于原始U-Net網(wǎng)絡(luò)和引入可分離卷積U-Net、引入空洞可分離卷積U-Net以及引入GAN網(wǎng)絡(luò)的實(shí)驗結(jié)果進(jìn)行了對比.

不同的方法表明使用對抗網(wǎng)絡(luò)訓(xùn)練的生成器比直接使用交叉熵目標(biāo)函數(shù)的U-Net網(wǎng)絡(luò)性能上更有優(yōu)勢,說明對抗網(wǎng)絡(luò)確實(shí)提高了分割的質(zhì)量.進(jìn)一步地研究表明,判別器的表達(dá)能力越強(qiáng),訓(xùn)練結(jié)果越好,這說明判別器的深度是訓(xùn)練基于對抗的分割網(wǎng)絡(luò)的關(guān)鍵.

5 結(jié) 語

本文針對傳統(tǒng)管道漏磁圖像異常檢測效率不高、丟失細(xì)節(jié)信息等問題,提出一種基于 U-Net的卷積神經(jīng)網(wǎng)絡(luò)的漏磁圖像異常檢測方法.本文所設(shè)計的基于 U-Net的卷積神經(jīng)網(wǎng)絡(luò)模型分成兩個部分,分別是Encoder和Decoder.其中Encoder是基于Resnet的改進(jìn)網(wǎng)絡(luò),Decoder是基于U-Net的網(wǎng)絡(luò).本文對Resnet的改進(jìn)如下:用深度可分離卷積代替原始的卷積部分并引入空洞卷積.該方法可以實(shí)現(xiàn)像素級的圖像分割,最大程度地保留了原始圖像的諸多細(xì)節(jié)信息;另外,為了提升檢測準(zhǔn)確性,本文還提出一個基于對抗網(wǎng)絡(luò)的訓(xùn)練方法,經(jīng)實(shí)驗驗證所提方法能夠準(zhǔn)確檢測管道漏磁圖像異常,在真實(shí)管道數(shù)據(jù)集上的IoU達(dá)到了0.983,漏檢率、誤檢率低,具有較強(qiáng)的魯棒性.