周云浩,郭達(dá)奇,周 鑫,王 楠,周 迎
(國(guó)網(wǎng)北京市電力公司電力建設(shè)工程咨詢分公司,北京 100021)
隨著人們生活水平的提高以及人工智能技術(shù)的不斷改進(jìn),輸電工程質(zhì)量檢測(cè)手段越發(fā)豐富。而工程質(zhì)量的優(yōu)劣,將直接影響項(xiàng)目投產(chǎn)的進(jìn)度與輸電的安全性。當(dāng)前針對(duì)輸電工程質(zhì)量的檢測(cè)大多依賴于人工經(jīng)驗(yàn),存在人工成本高且效率較低的問(wèn)題[1-4]。近年來(lái)隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的持續(xù)改進(jìn),利用深度學(xué)習(xí)(Deep Learning,DL)進(jìn)行目標(biāo)檢測(cè)的方法取得了良好的應(yīng)用效果。文獻(xiàn)[5]采用YOLO 識(shí)別算法對(duì)目標(biāo)進(jìn)行檢測(cè)和分析,使得該算法的應(yīng)用成為可能。文獻(xiàn)[6]基于Faster-RCNN(Faster-Regions Convolutional Neural Networks)算法進(jìn)行輸電線路防震錘識(shí)別檢測(cè),改善了傳統(tǒng)方法識(shí)別精度差的問(wèn)題。但在上述研究中,大部分集中于對(duì)輸電線路缺陷的識(shí)別和分析,而識(shí)別精度仍有待進(jìn)一步提高[7-11]。綜上所述,文中基于YOLOv3 開(kāi)展了輸電工程質(zhì)量智能檢測(cè)與分析技術(shù)研究。
在不同的環(huán)境下,利用高清攝像頭或人工拍攝的方法采集輸電工程的現(xiàn)場(chǎng)圖片,進(jìn)而增加數(shù)據(jù)集的多樣性[12-14]。通常需要采用隨機(jī)旋轉(zhuǎn)的方式進(jìn)行翻轉(zhuǎn),以得到擴(kuò)展的數(shù)據(jù)集,并增加數(shù)據(jù)樣本的多樣性,從而提高檢測(cè)模型的泛化能力。隨后,用矩形框標(biāo)注樣本數(shù)據(jù)的質(zhì)量問(wèn)題,并在圖片左上角注釋問(wèn)題的類別,以形成標(biāo)準(zhǔn)的測(cè)試集。其中,訓(xùn)練集與測(cè)試集的比例通常為7∶3。最終將整個(gè)圖片作為輸入數(shù)據(jù),并在坐標(biāo)系內(nèi)注明所屬類別。
在輸電工程質(zhì)量檢測(cè)過(guò)程中,當(dāng)發(fā)生數(shù)據(jù)樣本采集與檢測(cè)異常時(shí),就會(huì)出現(xiàn)異常數(shù)據(jù),而處理該數(shù)據(jù)是提高檢測(cè)精度的重要手段。其基本思路是在檢測(cè)到圖像區(qū)域內(nèi)存在拐點(diǎn)數(shù)據(jù)時(shí),就對(duì)此處的數(shù)據(jù)進(jìn)行多次迭代計(jì)算,直至刪除凸包拐點(diǎn)數(shù)據(jù)。假設(shè)為三組輸入數(shù)據(jù)樣本,當(dāng)檢測(cè)到中存在異常數(shù)據(jù)時(shí),若向量之間的向量角偏小時(shí),加權(quán)余弦值可表示為:
式中,‖ ‖·2表示L2 范數(shù)的內(nèi)積,Wcos(·)表示加權(quán)余弦。
YOLOv3[15-16]由YOLO 算法改進(jìn)而來(lái),其通過(guò)不斷優(yōu)化自身及其他模型的優(yōu)點(diǎn),將回歸思想輸入整張圖像以得到目標(biāo)的位置與類別,進(jìn)而實(shí)現(xiàn)端對(duì)端的目標(biāo)檢測(cè)。該算法將輸入信息分成s×s的網(wǎng)格,利用網(wǎng)格中目標(biāo)的坐標(biāo)來(lái)實(shí)現(xiàn)檢測(cè)。這一過(guò)程會(huì)形成B個(gè)邊界框,其預(yù)測(cè)位置信息與準(zhǔn)確度的乘積即為置信度,可表征如下:
式中,con 表示置信度;P(object)表示目標(biāo)可能性,若網(wǎng)格中包含該目標(biāo),其值為1,否則為0;為邊框準(zhǔn)確度,當(dāng)該值為1 時(shí),表示真實(shí)標(biāo)注框與預(yù)測(cè)框?yàn)橹睾蠣顟B(tài)。
設(shè)P(class)為網(wǎng)格預(yù)測(cè)類別class 的概率,為了得到邊界分類信息,計(jì)算出置信度評(píng)分的概率如下:
在模型訓(xùn)練的過(guò)程中,按照高低順序?qū)χ眯哦冗M(jìn)行評(píng)分,將小于閾值的得分設(shè)置為0,應(yīng)用非極大值置信度刪除重復(fù)度較高的數(shù)據(jù),并保留評(píng)分大于0的數(shù)據(jù)。再采用多尺度融合方法進(jìn)行目標(biāo)檢測(cè),對(duì)輸電工程的位置和類別加以預(yù)測(cè),從而提高檢測(cè)準(zhǔn)確度。
在對(duì)輸電工程質(zhì)量進(jìn)行檢測(cè)時(shí),使用目標(biāo)檢測(cè)技術(shù)識(shí)別工程的優(yōu)劣,保證多尺度目標(biāo)檢測(cè)準(zhǔn)確率。檢測(cè)的算法流程,如圖1 所示。采集輸電工程的實(shí)時(shí)檢測(cè)圖片并提取單幀圖像,且將其輸入至目標(biāo)識(shí)別模型中,統(tǒng)計(jì)檢測(cè)到的目標(biāo)數(shù)量,進(jìn)而實(shí)現(xiàn)工程質(zhì)量的檢測(cè)與分析。
圖1 輸電工程質(zhì)量檢測(cè)算法流程
當(dāng)輸入的數(shù)據(jù)數(shù)量越多時(shí),訓(xùn)練過(guò)程中將出現(xiàn)梯度消失等問(wèn)題,此時(shí)可利用殘差網(wǎng)絡(luò)進(jìn)行調(diào)和,并通過(guò)對(duì)比殘差和前后的特征,提取到圖片的特征信息。YOLOv3 使用多尺度融合方法可提高圖片的檢測(cè)效率。在進(jìn)行輸電工程質(zhì)量檢測(cè)的過(guò)程中,采用K-means 算法聚類分析時(shí)存在目標(biāo)普遍較小的問(wèn)題。因此為了提高檢測(cè)的實(shí)時(shí)性,在目標(biāo)檢測(cè)模型中加入了輸電工程的位置及類別,以使其適應(yīng)檢測(cè)。
在采集輸電工程圖像時(shí),圖像質(zhì)量會(huì)受到雨雪、大霧等天氣的影響,造成其灰度值偏低和有效信息丟失等情況。針對(duì)上述情況,需進(jìn)行非線性自適應(yīng)增強(qiáng)處理以提高圖像的質(zhì)量,該處理流程如圖2所示。
圖2 非線性自適應(yīng)增強(qiáng)算法流程
為提高圖像的對(duì)比度,則采用指數(shù)增強(qiáng)函數(shù)對(duì)圖像進(jìn)行處理,該函數(shù)可表示為:
式中,Iin表示歸一化灰度值,其值在0~1 之間;T(·)表示圖像灰度函數(shù);p表示灰度常數(shù),其定義如下:
其中,c1、c2為常數(shù),可根據(jù)實(shí)驗(yàn)測(cè)試得到;ε表示誤差常數(shù);Iave是邊框準(zhǔn)確度的均值。
為了提升輸電工程圖像的質(zhì)量,基于圖像的位置領(lǐng)域信息,選取高斯雙邊函數(shù)計(jì)算其均值信息。再利用卷積算法對(duì)輸電工程驗(yàn)收?qǐng)D片進(jìn)行濾波處理,并保留在濾波過(guò)程中殘留的邊緣信息。
為提高算法的實(shí)用性,對(duì)傳統(tǒng)的Faster-RCNN算法進(jìn)行改進(jìn),即在特征層中添加高層語(yǔ)義,將FPFRCNN(Feature Pyramid-Faster Regions Convolutional Neural Networks)模型嵌入至密集連接結(jié)構(gòu)內(nèi)代替?zhèn)鹘y(tǒng)的感興趣區(qū)域(Region of Interest,ROI)池化,以建立輸電工程質(zhì)量檢測(cè)算法,并擴(kuò)展算法的適用性。該算法的關(guān)鍵點(diǎn)在于特征金字塔的有效連接,可體現(xiàn)各數(shù)據(jù)層之間的空間特征;而對(duì)于池化層而言,則需連接ROI Align 層與預(yù)測(cè)層。算法需要通過(guò)壓縮金字塔結(jié)構(gòu)以及修改Dense Net 的網(wǎng)絡(luò)結(jié)構(gòu),進(jìn)而壓縮兩個(gè)神經(jīng)元之間的間隙,并對(duì)相鄰神經(jīng)元的精度進(jìn)行重新校核,再建立特征塔網(wǎng)絡(luò)結(jié)構(gòu),從而完成數(shù)據(jù)的采樣分析。該結(jié)構(gòu)建立流程如圖3 所示。
圖3 金字塔網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建流程
對(duì)于輸入且存在瑕疵的輸電工程質(zhì)量圖片,首先需利用卷積算法識(shí)別該工程中質(zhì)量不佳的特征塊;并采用Softmax 激活函數(shù)計(jì)算出該特征點(diǎn)屬于低質(zhì)量特征的概率;然后確定候選區(qū)域,剩下的區(qū)域則傳遞至目標(biāo)建議區(qū)域,以此進(jìn)行初步分類和定位;接著將目標(biāo)數(shù)據(jù)傳入到池化層,獲得目標(biāo)建議塊后再輸入后續(xù)邊框區(qū)域;最終,利用邊框回歸函數(shù)達(dá)到識(shí)別低質(zhì)量特征的目的。
在測(cè)試實(shí)驗(yàn)中,從不同的位置搜集輸電工程的驗(yàn)收?qǐng)D片作為數(shù)據(jù)樣本集。經(jīng)過(guò)顏色空間轉(zhuǎn)換,去除復(fù)雜背景且僅保留存在質(zhì)量不佳特征的有效圖片。將圖像尺寸歸一化為600×500 像素,為了便于卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖片中含銹蝕的特征塊進(jìn)行提取,需對(duì)經(jīng)過(guò)數(shù)字圖像處理的所有圖片實(shí)現(xiàn)人工標(biāo)注。標(biāo)注采用了LabelImg 作為一個(gè)可視化的圖像標(biāo)定工具。對(duì)目標(biāo)圖像進(jìn)行標(biāo)注后會(huì)生成相應(yīng)帶標(biāo)簽的xml 文件,且遵循PASCAL VOC 的格式。標(biāo)注的形式為采用矩形框?qū)D像中所有含銹蝕區(qū)域的部分進(jìn)行標(biāo)注。數(shù)據(jù)集則使用VOC2007 的制作格式,其包含圖片、標(biāo)簽、集合共三個(gè)文件夾,最終得到部分?jǐn)?shù)據(jù)集。
算例分析在硬件環(huán)境為Ubuntu16.04 64 位操作系 統(tǒng)、i5 處理器、主 頻2.8 GHz、8 GB RAM 內(nèi) 存、RTX2060 顯卡、6 GB 獨(dú)顯的環(huán)境下測(cè)試完成,開(kāi)發(fā)環(huán)境為Tensorflow1.12.0+OpenCV3。同時(shí),經(jīng)測(cè)試將迭代次數(shù)根據(jù)實(shí)際情況設(shè)置為50 000 次;圖片大小統(tǒng)一設(shè)置為20 像素,即每20 次輸出一次Loss 值;學(xué)習(xí)率為0.000 1,權(quán)重衰減率是0.000 5,非極大值抑制前后候選區(qū)域的個(gè)數(shù)分別是6 000 個(gè)和300 個(gè),處理時(shí)間則為3.5 h。
該次測(cè)試將圖片分為四類:輸電工程質(zhì)量極好、較好、一般及較差像素的數(shù)目。由于在電力輸電工程行業(yè)中,項(xiàng)目類型與質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)、方向不一,且無(wú)人機(jī)在巡檢過(guò)程中所拍攝的圖像呈現(xiàn)多角度、多方向的特點(diǎn),其遠(yuǎn)近程度也各不相同。由此得到的目標(biāo)檢測(cè)模型具有對(duì)真實(shí)場(chǎng)景下質(zhì)量工程的識(shí)別能力,故可用來(lái)檢測(cè)模型在該環(huán)境下的適用性與實(shí)時(shí)性。然而不同的銹蝕部分拍攝的角度及所攝背景也存在較大差異,進(jìn)而可分別檢測(cè)輸電工程的主要類別和工程施工難度,最后再統(tǒng)計(jì)檢測(cè)效果。根據(jù)測(cè)試結(jié)果評(píng)價(jià)檢測(cè)效果,評(píng)判標(biāo)準(zhǔn)采用正確率、錯(cuò)誤率、召回率以及部分漏識(shí)別率(圖片中存在銹蝕區(qū)域未識(shí)別的部分也記為漏識(shí))。統(tǒng)計(jì)結(jié)果如表1所示。
表1 銹蝕圖像的檢測(cè)結(jié)果
從表1 可以看出,經(jīng)過(guò)檢測(cè)得到的目標(biāo)網(wǎng)絡(luò)對(duì)于實(shí)際巡檢過(guò)程中所獲得的輸電工程質(zhì)量極好的圖片正確率高達(dá)84.19%,錯(cuò)誤率為10.08%,其漏識(shí)別率為5.73%。由此說(shuō)明,目標(biāo)檢測(cè)模型在一定程度上具有較優(yōu)的檢測(cè)效果。
為驗(yàn)證所述方法的有效性,在不同的算法框架下對(duì)該數(shù)據(jù)樣本進(jìn)行測(cè)試,通過(guò)更改損失函數(shù)的種類定位目標(biāo)數(shù)據(jù)的位置。不同類別下的測(cè)試結(jié)果,如表2 所示。由表2 可知,在Logistic 情形下L1 損失函數(shù)的AP 值最高,且高達(dá)98.78%
表2 損失函數(shù)驗(yàn)證
在Logistic 情形下利用平滑L1 損失函數(shù)進(jìn)行交叉驗(yàn)證,且設(shè)置多組樣本數(shù)據(jù)來(lái)進(jìn)行驗(yàn)證,進(jìn)而檢測(cè)輸電工程質(zhì)量的優(yōu)劣,并進(jìn)行精確度對(duì)比?;赮OLOv3 的輸電工程質(zhì)量檢測(cè)對(duì)比結(jié)果,如表3 所示。從表中可看出,所提方法的輸電工程質(zhì)量檢測(cè)在目標(biāo)檢測(cè)與識(shí)別精確度方面均展現(xiàn)了更優(yōu)的性能,且實(shí)時(shí)處理時(shí)間最短,目標(biāo)識(shí)別精度高達(dá)99.35%。
表3 故障缺陷識(shí)別精度對(duì)比
該文研究了基于YOLOv3 的輸電工程質(zhì)量智能檢測(cè)與分析技術(shù),通過(guò)監(jiān)控到的輸電工程現(xiàn)場(chǎng)圖片實(shí)現(xiàn)工程質(zhì)量的檢測(cè)與分析。此外,該方法還縮短了處理速度并且提升了檢測(cè)精度。算例分析表明,與Xception 等方法相比,YOLOv3 算法具有更優(yōu)的檢測(cè)速度及精度。但針對(duì)于極端惡劣天氣環(huán)境,該算法仍存在檢測(cè)效果不佳的現(xiàn)象,故還需進(jìn)一步完善數(shù)據(jù)處理和改進(jìn)算法,以提高其普適性與實(shí)用性。