郭民揚，鐘羽中，趙 濤，佃松宜

(四川大學電氣工程學院，成都 610065)

0 引言

氣體絕緣金屬封閉開關設備(gas insulated switchgear)由斷路器、隔離開關、接地開關、變壓器、避雷器、母線、連接器和出線終端等組成[1]。GIS設備因結(jié)構(gòu)緊湊、占地面積小、安全性高等特點，在電力行業(yè)得到廣泛應用，對于維持電力系統(tǒng)的正常運行起著重要作用。隨著GIS設備用量的增長，GIS設備的故障率也在逐年增加。據(jù)統(tǒng)計，GIS設備最大故障比例是由電氣設備制造、組裝和運輸過程中產(chǎn)生的異物引起的，甚至在檢修過程中也會產(chǎn)生異物遺落[2]。GIS中遺留下來的異物如果不及時清理，會對GIS設備安全運行造成影響，尤其是異物放電引起絕緣擊穿，嚴重時會影響到整個電力系統(tǒng)行業(yè)。傳統(tǒng)GIS設備異物檢測方法，主要有超聲波檢測法[3]、X射線檢測法[4]等。機器視覺具有廉價、快速、高精度特點，采用視覺技術進行電氣設備維修檢測已經(jīng)成為非常重要的發(fā)展方向。

隨著深度學習和計算機視覺技術發(fā)展，出現(xiàn)了很多深度學習圖像分割算法，如FCN[5]、U-Net[6]、SegNet[7]、PSPNet[8]、DeepLab[10-13]系列等。同時也有不少研究將語義分割用于異物缺陷檢測中。如楊永嬌等[14]通過改進FCN用于絕緣子缺陷檢測，張宏偉等[15]將U-Net網(wǎng)絡用于襯衫缺陷檢測。此外，趙鶴等[16]針對金屬表面缺陷噪聲大、對比度低以及缺陷尺寸差別大問題，設計一種注意力機制網(wǎng)絡，下采樣融合殘差塊構(gòu)成全卷積網(wǎng)絡；上采樣利用位置注意力將權(quán)重圖與特征圖融合進行結(jié)果預測，提高了檢測精度。然而傳統(tǒng)的卷積操作在彩色圖像處理中很少關注像素通道之間關系，它們更傾向于對彩色圖像分通道處理，從而忽略了顏色通道之間色彩相關性。同時，在GIS腔體中，內(nèi)部環(huán)境封閉，存在光照不均勻和光照強反射現(xiàn)象，容易造成算法對異物的檢測精度下降。

針對傳統(tǒng)卷積忽略像素通道之間空間關系、GIS腔體強反射造成的異物輪廓分割不準確、網(wǎng)絡參數(shù)量大問題，為了實現(xiàn)輕量、準確的異物輪廓分割，本文提出一種融合四元數(shù)、Gabor濾波的改進DeepLabV3+網(wǎng)絡進行GIS腔體異物檢測，該算法有效保留了像素色彩通道間相關獨立性，通過Gabor濾波器從圖像上提取到了多方向、多尺度的特征以及Gabor濾波對光的不敏感性[17]，有效地緩解了GIS腔體環(huán)境光照不均勻造成的異物強反射現(xiàn)象。

1 算法的理論基礎

1.1 四元數(shù)

HAMILTON[18]提出的四元數(shù)，作為一種超復數(shù)，相對于復數(shù)集合組成二維空間，四元數(shù)集合組成四維空間。因此，四元數(shù)可以形象直觀地描述三維空間中的旋轉(zhuǎn)。由于四元數(shù)的這種性質(zhì)，它被廣泛應用在計算機圖形學、信號處理與機器人等領域中[19]。

四元數(shù)定義如下，它由1個實部以及3個虛部組成：

q=r+xi+yj+zk

(1)

式中，r、x、y、z是實數(shù)；i、j、k是滿足下列關系的虛數(shù)運算符：

i2=j2=k2=ijk=-1

(2)

式(2)又可以寫成：

(3)

RGB彩色圖像可以看作一個實部為0的純四元數(shù)矩陣。

Q=0+Ri+Gj+Bk

(4)

彩色圖像通過四元數(shù)表示，在對四元數(shù)整體處理時，避免分通道處理，保留原圖像的顏色信息和各顏色通道的相關性。

1.2 四元數(shù)卷積神經(jīng)網(wǎng)絡

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡通過正向卷積計算預測輸出，利用反向傳播調(diào)整卷積核，使得預測輸出接近真實目標。但是，傳統(tǒng)的實值卷積神經(jīng)網(wǎng)絡采用獨立卷積核分通道卷積。一個好的模型，應該有效地編碼輸入特征的局部關系與結(jié)構(gòu)關系。以四元數(shù)形式存在的特征，四元數(shù)卷積保持了顏色空間的獨立性，并自然地處理通道之間的耦合。

兩個四元數(shù)的乘法采取哈密頓積的形式：

Q1?Q2=(r1r2-x1x2-y1y2-z1z2)+
(r1x2+x1r2+y1z2-z1y2)i+
(r1y2-x1z2+y1r2+z1x2)j+
(r1z2+x1y2-y1x2+z1r2)k

(5)

因此，將哈密頓積計算式(5)嵌入到卷積計算中，即可得到四元數(shù)卷積過程：

(6)

為了便于計算，以矩陣計算的方式來表達式(5)、式(6)組成的卷積操作，其中Y、W、X分別為輸出矩陣、權(quán)重矩陣和輸入矩陣：

(7)

此外，相比于實值卷積神經(jīng)網(wǎng)絡，四元數(shù)卷積神經(jīng)網(wǎng)絡需要的網(wǎng)絡參數(shù)更少[20]，圖1表明實值神經(jīng)網(wǎng)絡與四元數(shù)神經(jīng)網(wǎng)絡的計算不同。

圖1 兩種神經(jīng)網(wǎng)絡計算過程

在實值神經(jīng)網(wǎng)絡中，4個輸入神經(jīng)元生成4個輸出神經(jīng)元，需要4×4=16個權(quán)重參數(shù)；而在四元數(shù)神經(jīng)網(wǎng)絡中，1個四元數(shù)輸入神經(jīng)元與1個四元數(shù)權(quán)重通過哈密頓積在輸出神經(jīng)元中每個分量都有權(quán)重的4個分量參與，所以僅僅需要4個參數(shù)。因此相比實值神經(jīng)網(wǎng)絡，在不改變神經(jīng)網(wǎng)絡規(guī)模(網(wǎng)絡層數(shù)、神經(jīng)元數(shù)量)情況下，四元數(shù)神經(jīng)網(wǎng)絡的參數(shù)規(guī)模是實值神經(jīng)網(wǎng)絡的1/4。

1.3 四元數(shù)Gabor卷積濾波器

Gabor濾波器是一個經(jīng)典的特征描述符[21]。作為一種可調(diào)制濾波器，它可以提取多尺度、多方向的紋理特征，Gabor由于這種可調(diào)制屬性以及對光的不敏感性，廣泛用于人臉識別中。但是傳統(tǒng)Gabor濾波器仍然是在圖像上進行分通道處理。結(jié)合四元數(shù)表征的Gabor濾波器綜合了四元數(shù)處理彩色圖像的特點，又具有提取多尺度多方向特征的優(yōu)勢[22]。四元數(shù)Gabor濾波器[23]的形式如下：

(8)

式中，θ為方向參數(shù)；λ和γ為尺度參數(shù)，通過設置不同參數(shù)可以提取不同方向、尺度特征圖。

2 QG-QDeepLabV3+

針對GIS腔體異物分割，基于DeepLabV3+算法，本文提出QG-QDeepLabV3+算法。DeepLabV3+中的空洞卷積和空間金字塔池化層，以不同擴張率空洞卷積得到不同感受野的特征圖，對小目標識別效果好，適合用來分割GIS腔體中的金屬等其他異物。

QG-QDeepLabV3+網(wǎng)絡由兩部分組成，圖2為網(wǎng)絡結(jié)構(gòu)圖。第1部分是在DeepLabv3+上引入四元數(shù)改進編解碼結(jié)構(gòu)QDeepLabV3+，用于彩色圖像處理，保留色彩通道間相關性；第2部分是結(jié)合四元數(shù)Gabor濾波器引入的Quaternion Gabor Attention機制，通過Gabor對光不敏感特性，在原圖上提取多方向、多尺度的特征來增強腔體異物邊緣的分割效果。

圖2 QG-QDeepLabV3+網(wǎng)絡結(jié)構(gòu)

2.1 QDeepLabV3+

由于MobileNet-V2[24]不僅采用深度可分離卷積策略，同時MobileNet-V2作為主干網(wǎng)絡具有更少的參數(shù)量，更高的計算速度，在異物分割實時性上更有優(yōu)勢。所以本文選取MobileNet-V2當做算法的主干網(wǎng)絡。MobileNet-V2在原始圖像上進行低層和深層特征提取，對深層特征使用空間金字塔池化模塊(atrous spatial pyramid pooling，ASPP)提取4個不同膨脹率特征和一個池化特征，對5個特征圖進行融合，使用一個1×1的卷積調(diào)整通道。深層特征有強大的語義信息，淺層特征擁有豐富的細節(jié)信息。低層特征經(jīng)1×1卷積通道調(diào)整與處理過的深層特征進行堆疊，利用3×3卷積進行融合，最后采用雙線性插值方法進行四倍上采樣得到與原圖大小相同的預測結(jié)果。

將DeepLabV3+中的卷積操作與四元數(shù)結(jié)合，卷積采用式(7)計算。在不改變網(wǎng)絡規(guī)模(網(wǎng)絡層數(shù)、神經(jīng)元數(shù)量)情況下最大程度保留圖像色彩通道間相關性，進一步減少網(wǎng)絡參數(shù)，減緩內(nèi)存壓力。

2.2 深度可分離四元數(shù)卷積

在DeepLabV3+中采用深度可分離卷積策略，可以減少計算量和參數(shù)量。對于提出的QDeepLabV3+，特征是以四元數(shù)形式存在，無限制分離會破壞四元數(shù)數(shù)據(jù)之間的相關性，因此引入了深度可分離四元數(shù)卷積(depthwise separable quaternion convolution)策略。與深度可分離卷積策略一樣包括逐通道卷積和逐點卷積兩部分，不同的是一個分離是以通道為單位，一個是以4個通道組成的四元數(shù)神經(jīng)元為單位。圖3和圖4為深度可分離四元數(shù)卷積的計算過程。

圖3 四元數(shù)逐通道卷積 圖4 四元數(shù)逐點卷積

在逐通道卷積中，一個四通道組成的四元數(shù)輸入被一個四元數(shù)濾波器卷積操作，生成中間四元數(shù)特征；逐點卷積與常規(guī)卷積類似，它的卷積核通道數(shù)等于中間四元數(shù)特征數(shù)量，將四元數(shù)中間特征轉(zhuǎn)換成四元數(shù)輸出神經(jīng)元。

2.3 QG-Attention機制

Gabor濾波器作為一種可調(diào)制濾波器，可以從圖像上提取多方向、多尺度的特征圖，從而改善模型泛化能力[25]通過可視化說明卷積是冗余學習的，且深度卷積提取的特征與Gabor濾波提取的特征是類似的。但是，定向?qū)W習方向和尺寸能力是卷積所沒有的，深度卷積神經(jīng)網(wǎng)絡需要通過復雜網(wǎng)絡結(jié)構(gòu)與大量數(shù)據(jù)才能具有較好的魯棒性。此外，由于Gabor小波對光不敏感特性，使得對于GIS腔體內(nèi)部光照變化、不均勻現(xiàn)象呈現(xiàn)出一定的魯棒性。將四元數(shù)與Gabor濾波器融合可以使Gabor濾波器保留色彩、特征空間的相關性。因此，本文選擇四元數(shù)Gabor濾波作為注意力機制。

圖5為不同θ與λ的四元數(shù)Gabor卷積濾波器，將濾波器與原圖像卷積后的結(jié)果堆積在一起，就可以得到圖像多尺度、多方向特征圖。

圖5 四元數(shù)Gabor濾波提取特征圖

之后提取出的多方向多尺度特征，經(jīng)兩次3×3大小的四元數(shù)卷積做兩次2倍下采樣，再經(jīng)過1×1大小的四元數(shù)卷積做特征融合。設T(x)為QDeepLabV3+提取融合出來的深層和淺層特征，M(x)為四元數(shù)Gabor濾波卷積、融合之后的多方向、多尺度特征，G(x)為語義特征與紋理特征融合后的特征，則有：

G(x)=(1+M(x))?(T(x))

(9)

式中，?代表通道之間對應元素相乘，對得到的最終融合特征G(x)再做插值和預測。

3 實驗

本文實驗操作系統(tǒng)為Windows10，計算機有關參數(shù)CPU：Intel(R) Core(TM) i7-10700k；GPU：NVIDIA GeForce RTX 3070；顯存大小為8 G。模型基于Pytorch深度學習框架搭建神經(jīng)網(wǎng)絡，安裝了CUDA V11.1版本用于GPU加速。

3.1 實驗建立

本實驗所有數(shù)據(jù)來源于電氣設備GIS腔體模擬環(huán)境中。通過操作GIS機器人在GIS環(huán)境中運動以及調(diào)整機器人本體上的光源強度，增加異物樣本的多樣性，從而得到不同光照下的異物圖。經(jīng)過采集之后，共有752個異物圖片目標，異物以及背景一共被分為了4個類別。部分數(shù)據(jù)如圖6所示，可以看到，GIS環(huán)境中存在光照不均勻現(xiàn)象，距離光源近的金屬異物存在強反射現(xiàn)象，距離光源遠的異物存在模糊現(xiàn)象。本實驗將所有的異物圖片按照7:1.5:1.5的比例隨即劃分為訓練集、驗證集和測試集，3個數(shù)據(jù)集中的數(shù)據(jù)相互獨立。

(a) 低光照 (b) 強反射圖6 部分數(shù)據(jù)集展示

3.2 評價指標

為了證明本實驗采用的方法，采用mIoU、mPA、F1-Score、Weights等4個評價指標。

(1)mIoU是平均交并比，它是平均每一類預測值、實際值之間交集和并集的占比，一定程度上反映分割的輪廓效果，計算式(10)～式(11)。

(10)

(11)

(2)mPA為平均像素準確率，分別計算每個像素被正確分類比例，然后再求平均，它一定程度上可以反映分割準確率。公式為：

(12)

(13)

(3)F1-Score是綜合精確率(Precision)和召回率(Recall)的一個指標，是精確率和召回率的調(diào)和平均數(shù)。它反映了分類準確率，具體如式(14)和式(15)所示。

(14)

(15)

(4)Params是整個網(wǎng)絡模型參數(shù)的數(shù)量，它反映了網(wǎng)絡模型的參數(shù)規(guī)模以及空間復雜度。

3.3 實驗結(jié)果

3.3.1 消融實驗

為了證明本文的算法，表1進行了4次消融實驗。

表1 QG-QDeepLabV3+消融實驗

表1顯示，在將四元數(shù)與DeepLabV3+融合之后，mIoU和mPA有了較小提升，原因是在彩色圖像上四元數(shù)卷積相比于實值卷積更好的保留了像素色彩通道間相關獨立性，但是引入四元數(shù)并沒有從根本上解決GIS腔體光照強反射問題，所以提升是微小的。同時四元數(shù)卷積使得模型權(quán)重大小由22.4 MB下降到了6.2 MB，顯著降低了模型復雜度。然后在QDeepLabV3+基礎上，我們將四元數(shù)Gabor注意力機制引入到網(wǎng)絡中，mIoU提升了1.43%，mPA提升了0.92%，有了明顯提升，表明了四元數(shù)Gabor對光照不敏感特性可以改善GIS腔體內(nèi)部光照強反射現(xiàn)象，提取多方向、多尺度特征也提升了網(wǎng)絡在異物識別上的泛化能力。最后，將Gabor注意力機制直接加入到原DeepLabV3+網(wǎng)絡中，實驗結(jié)果提升也表明Gabor濾波在GIS腔體中的有效性。Gabor濾波器中提取方向尺度數(shù)量為128，同時所有網(wǎng)絡都采用了深度可分離四元數(shù)卷積策略來減少網(wǎng)絡參數(shù)量與計算量。

3.3.2 方向尺度特征數(shù)量選取實驗

為了選取合適的方向尺度特征數(shù)量，本文通過調(diào)整Gabor濾波器不同方向參數(shù)、尺度參數(shù)的值以及數(shù)量，來得到不同數(shù)量以及不同效果的方向尺度特征，融入QDeepLabV3+網(wǎng)絡中進行實驗。

表2取了不同數(shù)量和不同參數(shù)的方向尺度作為實驗觀察結(jié)果，可以看到具有128個四元數(shù)Gabor特征圖的算法精度取得了最高值。同時我們觀察到，進一步取256個特征圖時，算法的性能出現(xiàn)下降趨勢，原因是方向、尺度數(shù)量過多，造成了特征冗余，出現(xiàn)過擬合。因此，我們?nèi)×艘粋€特征數(shù)量的較優(yōu)值128進行對比實驗。

表2 方向尺度特征的數(shù)量

3.3.3 與現(xiàn)有先進算法的比較

為進一步證明本文算法，表3與現(xiàn)有幾種先進算法進行比較。我們的算法在mIoU上比PSPNET提升12.03%，比U-Net提升2.94%，較DeepLabV3+提升1.80%。在mPA和F1-Score上也有明顯提升，同時我們的算法權(quán)重只有6.5 MB，大大降低了網(wǎng)絡參數(shù)，減緩顯存壓力。表4為本文算法對不同類別分割的結(jié)果。

表3 與現(xiàn)有算法對比

表4 不同類別分割結(jié)果

圖7是算法的部分異物分割效果展示。從圖7可以看出， PSPNET出現(xiàn)分割不完整、輪廓過于尖銳現(xiàn)象，原因是PSPNET在金字塔池化模塊使用卷積最后一層來做多尺度融合，丟失了底層邊緣輪廓信息。U-Net的跳躍連接以及DeepLabV3+的ASPP金字塔融合深層特征與底層特征模塊，在一定程度上緩解了分割不完整現(xiàn)象。但是受光照不均勻和強反射影響，光照反射強烈的金屬異物會出現(xiàn)分割不完全以及將反射影子誤分割的現(xiàn)象，同時3種算法對于分布密集異物出現(xiàn)了分割連續(xù)現(xiàn)象，無法將密集異物單獨分開出來。本文算法基于DeepLabV3+的網(wǎng)絡框架，不僅融合了深層特征與底層特征，并且通過引入了QG-Attention機制，充分利用了語義特征與紋理特征，使得分割出來的異物輪廓邊緣更為清晰準確，同時Gabor小波對光照變化的不敏感性，使得本文算法在GIS封閉腔體中對于光照強反射現(xiàn)象具有較好的魯棒性。

圖7 部分異物分割展示

4 結(jié)束語

針對GIS腔體內(nèi)部光照不均勻、嵌入式平臺計算資源有限等問題，本文提出了用于GIS腔體內(nèi)部異物分割的QG-QDeepLabV3+算法。該算法通過融合四元數(shù)，使網(wǎng)絡最大程度保留了色彩通道間相關獨立性；Gabor濾波器對光不敏感特性，也使得算法可以有效緩解GIS腔體內(nèi)部光照不均勻現(xiàn)象，增強異物邊緣輪廓分割效果。同時該算法有著更低的模型復雜度，緩解了嵌入式平臺計算資源不足問題。通過在GIS腔體里面實驗表明該算法的有效性，相比于其他先進算法，該算法有更好的分割效果和精度。Gabor算子提取的多方向、多尺度特征過多會存在冗余特征，通過改善參數(shù)和優(yōu)化網(wǎng)絡結(jié)構(gòu)來提取更有效特征，是下一步研究方向。