吳亮，謝予星，鄒鵬飛

（1.武漢大學(xué)遙感信息工程學(xué)院，湖北武漢430079；2.克萊姆森大學(xué)計(jì)算學(xué)院，美國(guó)克萊姆森29634）

近年來(lái)，隨著電力線(xiàn)路智能巡檢的發(fā)展，采用直升機(jī)、無(wú)人機(jī)等收集影像越來(lái)越多的代替了人工攀塔勘察，因此相應(yīng)的關(guān)于電力設(shè)備的圖像數(shù)據(jù)量也越來(lái)越大。同時(shí)，通過(guò)使用基于機(jī)器學(xué)習(xí)的方法來(lái)自動(dòng)總結(jié)歸納特征，目標(biāo)檢測(cè)問(wèn)題越來(lái)受益于日漸豐富的圖像數(shù)據(jù)。但是由于電力方面的應(yīng)用專(zhuān)業(yè)性強(qiáng)、使用范圍窄而沒(méi)有公開(kāi)的相對(duì)完善標(biāo)注的電力設(shè)備影像數(shù)據(jù)集，因此在影像目標(biāo)檢測(cè)越來(lái)越受到數(shù)據(jù)驅(qū)動(dòng)的今天，電力設(shè)備的檢測(cè)一直受數(shù)據(jù)不足或者標(biāo)記數(shù)據(jù)質(zhì)量不高的制約而發(fā)展較為緩慢。虛擬數(shù)據(jù)具有獲取相對(duì)方便，可自動(dòng)生成標(biāo)注等的優(yōu)點(diǎn)，研究虛擬數(shù)據(jù)的生成、虛擬數(shù)據(jù)在機(jī)器學(xué)習(xí)中的使用對(duì)解決上述問(wèn)題具有重要意義。

在前人研究的基礎(chǔ)上，本文旨在解決在電力設(shè)備實(shí)拍數(shù)據(jù)以及相應(yīng)標(biāo)注信息數(shù)量較少或沒(méi)有的情況下，得到相對(duì)準(zhǔn)確的檢測(cè)結(jié)果的問(wèn)題。因此本文先通過(guò)通用虛擬場(chǎng)景生成引擎，模擬出防振錘可能存在的場(chǎng)景以及電塔等容易對(duì)防振錘造成遮擋的物體，再將防振錘虛擬模型放入場(chǎng)景中通過(guò)一定的策略獲取虛擬樣本集，并以該虛擬樣本集作為訓(xùn)練樣本，實(shí)驗(yàn)了HOG[7]特征、類(lèi)Haar特征[8]與卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[10]，并通過(guò)對(duì)實(shí)驗(yàn)結(jié)果以及理論進(jìn)行分析，得出比較可靠的防振錘檢測(cè)結(jié)果，以作為之后深度學(xué)習(xí)的初始標(biāo)注，或者在不能得到實(shí)拍訓(xùn)練數(shù)據(jù)的特殊情況下的使用。

1 虛擬數(shù)據(jù)集構(gòu)建

1.1 利用虛擬引擎構(gòu)建目標(biāo)和場(chǎng)景模型

在本文實(shí)驗(yàn)中，待訓(xùn)練和識(shí)別的目標(biāo)以防振錘為例，配套設(shè)備主要包括高壓電塔和電線(xiàn)。這類(lèi)設(shè)備均是按照實(shí)物的相關(guān)參數(shù)和剖面圖在3DS Max軟件中人工建模而成。其尺寸可人為根據(jù)所處的虛擬場(chǎng)景進(jìn)行參數(shù)上的調(diào)整和控制，以保證虛擬物件與虛擬場(chǎng)景具有合適的比例關(guān)系。本文實(shí)驗(yàn)所選用的防振錘是最常見(jiàn)的兩種型號(hào)——FD型和FR型，如圖1所示。

圖1 防振錘模型

1.2 虛擬樣本數(shù)據(jù)生成

虛擬影像數(shù)據(jù)的獲取，是借助游戲引擎中的相機(jī)（Camera）功能，對(duì)待獲取目標(biāo)（本實(shí)驗(yàn)中為防振錘）進(jìn)行模擬拍照并將拍照結(jié)果實(shí)時(shí)渲染輸出成通用的圖片影像格式。其主要流程如圖2所示，其中N表示拍攝的影像張數(shù)，n表示當(dāng)前已拍攝影像數(shù)目，W表示影像的寬度（像素為單位），H表示影像的高度（像素為單位），Xmax表示待攝目標(biāo)在影像水平方向上的最大像素坐標(biāo)，Xmin表示待攝目標(biāo)在影像水平方向上的最小像素坐標(biāo)，Ymax表示待攝目標(biāo)在影像豎直方向上的最大像素坐標(biāo)，Ymin表示待攝目標(biāo)在影像豎直方向上的最小像素坐標(biāo)。

在獲取虛擬影像的過(guò)程中，還需要考慮如下幾個(gè)方面：

1）保證訓(xùn)練的有效性，虛擬數(shù)據(jù)集應(yīng)避免相機(jī)位置、攝影姿態(tài)、拍攝視場(chǎng)角等攝影要素過(guò)于單一。本文設(shè)置了兩個(gè)矩形區(qū)域作為相機(jī)的隨機(jī)運(yùn)動(dòng)區(qū)域。

2）保證目標(biāo)樣本影像成像角度的多樣性，可以目標(biāo)為中心設(shè)置一長(zhǎng)方體或立方體區(qū)域并隨機(jī)運(yùn)動(dòng)。

圖2 虛擬樣本生成流程

3）減少人工標(biāo)注的工作量，在虛擬場(chǎng)景中可以對(duì)興趣結(jié)構(gòu)預(yù)設(shè)最小外接長(zhǎng)方體。本文的防振錘3個(gè)部分的外包圍盒。

4）進(jìn)行拍照之前，還應(yīng)判斷待拍攝目標(biāo)是否完整位于影像中。

5）在游戲3D虛擬引擎中，事件的進(jìn)行通常以幀為單位。因此在完成1）-3）所述準(zhǔn)備工作后，按幀執(zhí)行相應(yīng)的函數(shù)功能，每一幀獲取一張影像并輸出。

按照本節(jié)所闡述方法，本文實(shí)驗(yàn)共產(chǎn)生了7 062張防振錘目標(biāo)樣本，其中FD型3 529張，F(xiàn)R型3 533張，如圖3所示為5種典型的防振錘及其背景。

圖3 虛擬樣本示例

2 基于機(jī)器學(xué)習(xí)的目標(biāo)檢測(cè)

在本文實(shí)驗(yàn)中，采用的是Faster R-CNN、DPM以及組合類(lèi)Haar級(jí)聯(lián)分類(lèi)器3種方法進(jìn)行檢測(cè)試驗(yàn)。Faster R-CNN[10]是一種用于目標(biāo)檢測(cè)的多層深度網(wǎng)絡(luò)，由共享權(quán)值層以及其后連接的兩個(gè)并行網(wǎng)絡(luò)——區(qū)域提取網(wǎng)絡(luò)（Region proposal network，RPN）和目標(biāo)檢測(cè)網(wǎng)絡(luò)（Fast R-CNN）所組成。其中RPN向Fast R-CNN網(wǎng)絡(luò)提供候選區(qū)以供目標(biāo)檢測(cè)，F(xiàn)ast RCNN又可以分為兩個(gè)并行的外接框回歸網(wǎng)絡(luò)和目標(biāo)類(lèi)別分值網(wǎng)絡(luò)，因此網(wǎng)絡(luò)輸出是被檢測(cè)圖像中可能含有防振錘的區(qū)域位置坐標(biāo)和可能性得分值。

DPM[9]通過(guò)提取HOG特征得到目標(biāo)的輪廓信息，建立目標(biāo)整體與各部件間在一定程度上可變的相對(duì)位置關(guān)系來(lái)檢測(cè)目標(biāo)物體。DPM可以在沒(méi)有使用防振錘部件標(biāo)注的情況下，分別使用大小兩個(gè)分辨率的圖像來(lái)獲得防振錘整體和部分的HOG特征，用多模型來(lái)表達(dá)防振錘的不同視角，最后通過(guò)latent-svm方法學(xué)習(xí)得到防振錘各個(gè)模型、子模型以及模型和子模型之前的位置關(guān)系。在檢測(cè)的階段，則通過(guò)與訓(xùn)練得到的模型、子模型以及相互之前的位置關(guān)系來(lái)判斷一個(gè)區(qū)域是否是防振錘，給出可能性分值以及防振錘的外接矩形。

虛擬仿真場(chǎng)景在拍攝時(shí)可以精確的知道目標(biāo)物體及其各部件的位置，在訓(xùn)練類(lèi)haar特征的級(jí)聯(lián)分類(lèi)器時(shí)可以分別對(duì)防振錘整體、連接器與兩邊的錘體建立3個(gè)級(jí)聯(lián)分類(lèi)器。在用adaboost計(jì)算訓(xùn)練分類(lèi)器時(shí)都是用統(tǒng)一大小的正方形樣本作為輸入數(shù)據(jù)集以及級(jí)聯(lián)分類(lèi)器的特性，類(lèi)haar特征的級(jí)聯(lián)分類(lèi)器的輸出結(jié)果分別是防振錘整體、連接器與錘體的外接正方形。但是這些分類(lèi)器單獨(dú)使用由于特征較少而不能產(chǎn)生很好的分類(lèi)效果，本文采用將整體與部件分類(lèi)器根據(jù)其幾何位置組合起來(lái)的方法進(jìn)行實(shí)驗(yàn)。

3 檢測(cè)實(shí)驗(yàn)與分析

文中針對(duì)實(shí)際拍攝的防振錘影像用第二章所提到的方法對(duì)訓(xùn)練得到的分類(lèi)器進(jìn)行結(jié)合，來(lái)得到最終的檢測(cè)結(jié)果。

3.1 分類(lèi)器的訓(xùn)練

本文實(shí)驗(yàn)了3種分類(lèi)器，分別為Faster R-CNN分類(lèi)器、DPM分類(lèi)器以及基于類(lèi)Haar特征的級(jí)聯(lián)分類(lèi)器。其中，基于類(lèi)haar特征的級(jí)聯(lián)分類(lèi)器又分別由防振錘整體、連接器以及錘體分類(lèi)器所組成。

對(duì)于Faster R-CNN分類(lèi)器，本文采用了兩種CNN網(wǎng)絡(luò)結(jié)構(gòu)作為對(duì)比試驗(yàn)，第一種是在論文[11]中所提出較淺的ZF網(wǎng)絡(luò)，除了輸入輸出層共有5層共享權(quán)值層；另一種是論文[12]中提出的VGG16網(wǎng)絡(luò)，共有13層共享權(quán)值層。由于Faster R-CNN自動(dòng)選擇候選區(qū)域作為負(fù)樣本，因此其所有樣本均是用第1節(jié)方法生成的虛擬樣本，為7062張?zhí)摂M影像樣本。

DPM分類(lèi)器中，對(duì)于訓(xùn)練用的正樣本與上述相同，使用虛擬影像。負(fù)樣本不需要進(jìn)行標(biāo)注，本實(shí)驗(yàn)使用了50幅從1 500萬(wàn)像素到2 400萬(wàn)像素不等的負(fù)樣本。本實(shí)驗(yàn)采用的模型數(shù)為3，同時(shí)訓(xùn)練了兩種子模型數(shù)分別為3個(gè)與8個(gè)的分類(lèi)器來(lái)做比較。

類(lèi)haar級(jí)聯(lián)分類(lèi)器的訓(xùn)練使用的是OpenCV中所提供的Adaboost級(jí)聯(lián)分類(lèi)器的訓(xùn)練方法。虛擬影像可以提供包括防振錘整體和其各部件在圖像上的精確位置，對(duì)于防振錘整體與連接器的訓(xùn)練，其樣本與DPM分類(lèi)器相同。最終，防振錘整體分類(lèi)器共使用了2 064個(gè)特征；連接器分類(lèi)器共用了1 181個(gè)特征；錘體分類(lèi)器共包含1 623個(gè)特征。

3.2 檢測(cè)及結(jié)果分析

本文的檢測(cè)實(shí)驗(yàn)是在19幅沒(méi)有參與訓(xùn)練的含有防振錘的實(shí)拍電力場(chǎng)景影像上進(jìn)行，影像中總共包含有88個(gè)人眼可辨別或者人工可根據(jù)場(chǎng)景上下文推斷出的防振錘。在本文的檢測(cè)實(shí)驗(yàn)中，本文將與圖像上的真實(shí)防振錘矩形區(qū)域交集與并集之比大于0.5的檢測(cè)矩形框視為正確的檢測(cè)結(jié)果。

表1為使用3種方法所得的實(shí)驗(yàn)結(jié)果，檢測(cè)精度使用的是平均精度，表中加粗的部分是最好結(jié)果項(xiàng)。圖4是與表1相對(duì)應(yīng)的接收者操作特征（Receiver Operating Characteristic，ROC）曲線(xiàn)。其中，組合Haar指的是將防振錘整體與連接器、錘體分類(lèi)器根據(jù)幾何位置組合起來(lái)的檢測(cè)器。從表中與圖中可以看出，DPM取得了最好的結(jié)果，其次是Faster R-CNN，而組合Haar檢測(cè)器則得到了較差的檢測(cè)結(jié)果。

雖然Faster R-CNN具有檢測(cè)速度快，準(zhǔn)確率高等的優(yōu)點(diǎn)，但是虛擬防振錘與真實(shí)拍攝的防振錘在特征表達(dá)上還具有一定的差異性。因此只用虛擬仿真模型生成的圖像樣本訓(xùn)練得到的深度模型對(duì)實(shí)際目標(biāo)物體的預(yù)測(cè)能力并不十分理想。而DPM由于其主要代表的是梯度也即目標(biāo)的輪廓特征，從而避免了虛擬數(shù)據(jù)對(duì)顏色、紋理等特征模擬的不足，因而能夠得到最好的效果。組合類(lèi)Haar檢測(cè)器則因?yàn)槟M數(shù)據(jù)中的矩形類(lèi)Haar特征并不能很好的代表真實(shí)世界中防振錘與背景環(huán)境的復(fù)雜相對(duì)關(guān)系，所以即使采用組合的分類(lèi)器也不能得到很好的效果。

圖4 檢測(cè)結(jié)果ROC曲線(xiàn)

表1 檢測(cè)結(jié)果

如圖5所示為DPM所學(xué)習(xí)到的防振錘特征圖，可以看出DPM特征與防振錘內(nèi)部紋理相關(guān)性較小，體現(xiàn)的主要是其輪廓信息。從表1檢測(cè)結(jié)果可以看出，具有3個(gè)子模型的分類(lèi)器比有8個(gè)子模型的分類(lèi)器有著更好的表現(xiàn)，這表明了在訓(xùn)練DPM時(shí)，根據(jù)目標(biāo)物體本身的特征先驗(yàn)知識(shí)選擇模型數(shù)與子模型數(shù)是非常必要的，而不是模型數(shù)越多越好。如圖5（a）與圖5（b）所示，防振錘可分解為三個(gè)部分，那么3個(gè)子模型已經(jīng)可以較好的表達(dá)出防振錘的各部件特征關(guān)系，而且與我們對(duì)防振錘的先驗(yàn)知識(shí)相近，但8個(gè)子模型則略顯冗余。另外，3個(gè)子模型的DPM也具有較為明顯的速度優(yōu)勢(shì)，相比于8個(gè)子模型的DPM可節(jié)省近40%的檢測(cè)時(shí)間。

圖5 防振錘DPM特征圖

根據(jù)Faster R-CNN檢測(cè)器的結(jié)果可以看出，雖然有著更深層網(wǎng)絡(luò)的VGG16在訓(xùn)練時(shí)有更低的損失值，但是在檢測(cè)時(shí)相對(duì)于ZF網(wǎng)絡(luò)不論對(duì)前景防振錘還是對(duì)背景防振錘都只得到了較低的AP。同時(shí)基于ZF網(wǎng)絡(luò)的Faster R-CNN分類(lèi)器檢測(cè)出了更多的防振錘，這是因?yàn)閂GG16網(wǎng)絡(luò)雖然有著更為強(qiáng)大的擬合能力，可對(duì)訓(xùn)練集進(jìn)行更精確的學(xué)習(xí)和描述，但是作為訓(xùn)練集的虛擬樣本與真實(shí)樣本還存在一定的數(shù)據(jù)域偏置，而對(duì)訓(xùn)練域出現(xiàn)了一定程度的過(guò)擬合，導(dǎo)致檢測(cè)效果不如ZF網(wǎng)絡(luò)。另外可以看到使用了VGG16網(wǎng)絡(luò)的雖然AP較低，但這主要是由于VGG16檢測(cè)出的防振錘較少造成的，由ROC曲線(xiàn)可以看到，基于VGG16的Faster R-CNN在得分較高的區(qū)域具有較好的精度，也即對(duì)與訓(xùn)練集更相像的目標(biāo)有著更好的表現(xiàn)。這也說(shuō)明了如果在后續(xù)訓(xùn)練中如果能夠加入實(shí)拍數(shù)據(jù)集，如利用DPM在實(shí)拍數(shù)據(jù)集上檢測(cè)結(jié)果再加上少量的人工篩選，那么更深的網(wǎng)絡(luò)就會(huì)得到更好的表現(xiàn)。

4 結(jié)束語(yǔ)

文中針對(duì)電力設(shè)備影像及可靠標(biāo)記數(shù)據(jù)缺乏的問(wèn)題，提出了一種電力設(shè)備虛擬場(chǎng)景生成、虛擬影像及標(biāo)記的獲取方法，并基于虛擬樣本集在沒(méi)有遷移學(xué)習(xí)的情況下實(shí)驗(yàn)了一系列不同的目標(biāo)檢測(cè)方法，并以防振錘為對(duì)象證明了DPM在虛擬數(shù)據(jù)集上有著最好的效果。通過(guò)實(shí)驗(yàn)，本文還得到以下兩個(gè)結(jié)論：

由于虛擬樣本的數(shù)據(jù)域偏置，較淺的ZF網(wǎng)絡(luò)相對(duì)于較深VGG16取得了更好的效果。但是VGG16由于有較強(qiáng)的擬合能力，在對(duì)防振錘成像質(zhì)量較好的部分可以得到更高的分值，因此當(dāng)通過(guò)本文的方法在實(shí)拍影像上進(jìn)行檢測(cè)，并以檢測(cè)結(jié)果作為補(bǔ)充樣本對(duì)基于更深層網(wǎng)絡(luò)的Faster R-CNN進(jìn)行遷移學(xué)習(xí)時(shí)，將會(huì)得到更好的表現(xiàn)。

通過(guò)防振錘的檢測(cè)說(shuō)明，基于先驗(yàn)知識(shí)選擇DPM分類(lèi)器的模型數(shù)與子模型數(shù)可以得到更好的效果。因此在訓(xùn)練其他電力設(shè)備分類(lèi)器時(shí)，要合理利用相應(yīng)電力設(shè)備的先驗(yàn)拍攝與結(jié)構(gòu)知識(shí)，并對(duì)復(fù)雜結(jié)構(gòu)的電力設(shè)備進(jìn)行適當(dāng)?shù)姆纸?，才?huì)在DPM分類(lèi)器上得到較好的結(jié)果。

[1]于旭，楊靜，謝志強(qiáng).虛擬樣本生成技術(shù)研究[J].計(jì)算機(jī)科學(xué)，2011，38（3）：16-19.

[2]Pishchulin L，Jain A，Andriluka M，et al.Articulated people detection and pose estimation：Reshaping the future[C]//Computer Vision and Pattern Recognition （CVPR） ，2012 IEEE Conference on.IEEE，2012：3178-3185.

[3]余萍，董保國(guó).基于SIFT特征匹配的電力設(shè)備圖像變化參數(shù)識(shí)別[J].中國(guó)電力，2012，45（11）：60-64.

[4]張宏釗，黃榮輝，姚森敬，等.對(duì)嵌入式系統(tǒng)的電力設(shè)備紫外監(jiān)測(cè)系統(tǒng)設(shè)計(jì)的分析[J].電子設(shè)計(jì)工程，2016，24（11）：112-114.

[5]翟永杰，伍洋.基于3D模型和AdaBoost算法的絕緣子檢測(cè)[J].傳感器世界，2014（10）：11-14.

[6]翟荔婷，張冰怡，馮志勇，等.基于3D塔架配準(zhǔn)的絕緣子自爆缺陷檢測(cè)[J].計(jì)算機(jī)工程與科學(xué)，2016，38（8）：1688-1694.

[7]Dalal N，Triggs B.Histograms of oriented gradients forhuman detection[C]//2005 IEEE Computer Society Conference on ComputerVision and Pattern Recognition（CVPR'05）.IEEE，2005，1：886-893.

[8]Viola P，Jones M.Rapid object detection using a boosted cascade of simple features[C]//International Conference on Computer Vision and Pattern Recognition，Kauai，USA：IEEE，2001：511-518.

[9]Felzenszwalb P F，Girshick R B，Mcallester D，et al.Object detection with discriminatively trained part-based models[J].IEEE Transactionson Pattern Analysis and Machine Intelligence，2010，32（9）：1627-1645.

[10]Ren S，He K，Girshick R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems.2015：91-99.

[11]Zeiler M D，F(xiàn)ergus R.Visualizing and understandingconvolutionalnetworks[C]//EuropeanConference on Computer Vision.Springer International Publishing，2014：818-833.

[12]Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[J].arXiv preprint arXiv：1409.1556，2014.

[13]Marin J，VáZquez D，GeróNimo D，et al.Learning appearance in virtual scenarios for pedestrian detection[C]//Computer Vision and Pattern Recognition（CVPR），2010 IEEE Conference on.IEEE，2010：137-144.

[14]Aubry M，Maturana D，Efros A A，et al.Seeing 3d chairs：exemplar part-based 2d-3d alignment using a large dataset of cad models[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014：3762-3769.

[15]Girshick r，Donahue j，Darrell T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2014：580-587.

[16]Girshick R.Fast r-cnn[C]//Proceedings of the IEEE International Conference on Computer Vision，2015：1440-1448.