吳 鵬 姜海波 王永強(qiáng) 高 超 孫凌卿 張永澤 王敏鑒 李淵博

（江蘇電力信息技術(shù)有限公司 南京 210000）

1 引言

輸電線(xiàn)路作為電力系統(tǒng)輸電模塊的載體，是供電、用電之間的橋梁［1］，其運(yùn)轉(zhuǎn)的高效、安全與否直接決定著電力系統(tǒng)是否能夠穩(wěn)定運(yùn)行［2］。隨著生態(tài)環(huán)境的不斷改善以及人們對(duì)野生動(dòng)物保護(hù)意識(shí)的增強(qiáng)，鳥(niǎo)類(lèi)數(shù)量逐漸增加，鳥(niǎo)類(lèi)活動(dòng)也更加頻繁，而且輸電線(xiàn)路大部分架設(shè)在野外環(huán)境，因此由鳥(niǎo)類(lèi)引發(fā)的輸電線(xiàn)路跳閘事故也在不斷增加［3～4］。據(jù)統(tǒng)計(jì)資料表明，由于鳥(niǎo)類(lèi)活動(dòng)引起的線(xiàn)路故障僅次于雷害和外力破壞，占線(xiàn)路故障總數(shù)的第三位，已經(jīng)嚴(yán)重危害了輸電線(xiàn)路的安全運(yùn)行［5～6］。因此，輸電線(xiàn)路鳥(niǎo)害問(wèn)題亟待解決。

傳統(tǒng)的驅(qū)鳥(niǎo)方式多采用安裝防鳥(niǎo)刺、防鳥(niǎo)擋板，使用驅(qū)鳥(niǎo)劑等方法［7～8］，這些方法不僅需要大量的人力物力，而且效果并不是很好。隨著深度學(xué)習(xí)的興起，研究人員將其思想應(yīng)用于目標(biāo)檢測(cè)，由于深度學(xué)習(xí)提取的深度特征更加準(zhǔn)確并且表達(dá)能力更強(qiáng)，因而取得了很好的檢測(cè)效果［9］。因此，采用深度學(xué)習(xí)的方法對(duì)輸電線(xiàn)路鳥(niǎo)類(lèi)進(jìn)行檢測(cè)，根據(jù)檢測(cè)結(jié)果啟動(dòng)驅(qū)鳥(niǎo)器，在節(jié)省人力成本的同時(shí)又能精準(zhǔn)、高效地解決輸電線(xiàn)路的鳥(niǎo)害問(wèn)題。

但是輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)是一個(gè)典型的實(shí)時(shí)小目標(biāo)檢測(cè)任務(wù)，為了減少圖像傳輸?shù)街醒敕?wù)器過(guò)程中因網(wǎng)絡(luò)問(wèn)題帶來(lái)的不可靠性和時(shí)延性，本文的鳥(niǎo)類(lèi)檢測(cè)任務(wù)在移動(dòng)終端內(nèi)實(shí)現(xiàn)。目前針對(duì)小目標(biāo)檢測(cè)問(wèn)題，深度學(xué)習(xí)大多是通過(guò)結(jié)合不同層級(jí)特征的方式來(lái)實(shí)現(xiàn)［10～11］，但是該方法會(huì)額外增加大量的計(jì)算資源，與任務(wù)的實(shí)時(shí)檢測(cè)目的相違背，此外，目標(biāo)檢測(cè)任務(wù)包括檢測(cè)框預(yù)測(cè)和檢測(cè)框分類(lèi)，其深度學(xué)習(xí)模型結(jié)構(gòu)較大，需要大量的計(jì)算資源，很難在移動(dòng)端進(jìn)行應(yīng)用［12～13］。然而對(duì)于輸電線(xiàn)路驅(qū)鳥(niǎo)任務(wù)來(lái)說(shuō)，任務(wù)的關(guān)鍵是檢測(cè)輸電線(xiàn)路是否存在鳥(niǎo)，并根據(jù)檢測(cè)結(jié)果啟動(dòng)驅(qū)鳥(niǎo)器。因此，本文將輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)任務(wù)轉(zhuǎn)化為分類(lèi)任務(wù)，減少模型計(jì)算量，從而可將其應(yīng)用于移動(dòng)端。基于此，本文提出了一種基于圖像切片的移動(dòng)端輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)算法，該算法首先對(duì)采集到的輸電線(xiàn)路圖像進(jìn)行切片，然后采用ResNet18識(shí)別每張切片是否有鳥(niǎo)，并根據(jù)檢測(cè)結(jié)果啟動(dòng)驅(qū)鳥(niǎo)器。與直接采用原圖進(jìn)行ResNet18識(shí)別相比，切片會(huì)增加小目標(biāo)即鳥(niǎo)類(lèi)的語(yǔ)義信息，可以有效提高識(shí)別的精度。本算法可實(shí)現(xiàn)在檢測(cè)到有一定數(shù)目鳥(niǎo)類(lèi)活動(dòng)時(shí)啟動(dòng)驅(qū)鳥(niǎo)器對(duì)輸電線(xiàn)路上的鳥(niǎo)進(jìn)行驅(qū)趕，節(jié)約能源的同時(shí)實(shí)時(shí)、高效地解決了輸電線(xiàn)路的鳥(niǎo)害問(wèn)題，具有良好的應(yīng)用前景。

2 研究?jī)?nèi)容

2.1 基于圖像切片的移動(dòng)端鳥(niǎo)類(lèi)檢測(cè)模型介紹

本文提出的基于圖像切片的移動(dòng)端輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)模型的總體流程如圖1所示。

由圖1可看出，本算法的具體步驟如下：

圖1 鳥(niǎo)類(lèi)檢測(cè)模型總體流程圖

1）建立比對(duì)模板庫(kù)。比對(duì)模板庫(kù)是特定場(chǎng)景特定時(shí)間不存在鳥(niǎo)的現(xiàn)場(chǎng)圖片，因?yàn)橛糜诒O(jiān)控鳥(niǎo)類(lèi)的攝像頭是安裝在不同線(xiàn)路桿塔上的，因此每個(gè)攝像頭都需要維護(hù)一套獨(dú)立的模板庫(kù)。此外，由于從早晨到晚上的光照變化，反映在圖像上是圖像色彩、亮度的變化，因此需要在不同的時(shí)間段設(shè)置不同的對(duì)比模板。同時(shí)，由于本算法的主要思想是對(duì)圖片進(jìn)行切片，然后針對(duì)切片進(jìn)行鳥(niǎo)類(lèi)識(shí)別，因此不僅原圖需要對(duì)比模板，而且切片也應(yīng)該設(shè)置對(duì)應(yīng)的對(duì)比模板。綜上所述，比對(duì)模板庫(kù)包括兩類(lèi)模板：原圖比對(duì)模版和切片比對(duì)模版，每類(lèi)模板還應(yīng)根據(jù)光照變化設(shè)置不同的模板圖片。

2）圖像采集。由安裝在不同桿塔的固定位置的攝像頭以固定時(shí)間間隔拍攝現(xiàn)場(chǎng)圖像，每次采集的圖像作為鳥(niǎo)類(lèi)檢測(cè)算法的輸入信息，以判斷該圖像中是否存在鳥(niǎo)。

3）原圖對(duì)比。圖像采集完成后，為了加快鳥(niǎo)類(lèi)檢測(cè)中無(wú)鳥(niǎo)的識(shí)別效率，首先通過(guò)編碼標(biāo)識(shí)在比對(duì)模板庫(kù)中查詢(xún)到該時(shí)段的模板原圖，將采集到的實(shí)時(shí)圖像與模板原圖進(jìn)行對(duì)比，兩張圖像差值計(jì)算的方法是計(jì)算所有像素點(diǎn)的像素值差值的均值，經(jīng)實(shí)驗(yàn)得出，差值閾值為0.1時(shí)效果最好，如果兩者的差值大于閾值0.1，則進(jìn)行步驟4），否則，認(rèn)為該時(shí)間段輸電線(xiàn)路上沒(méi)有鳥(niǎo)，不啟動(dòng)驅(qū)鳥(niǎo)器。

4）原圖切片。由于移動(dòng)端計(jì)算資源較少，因此本文采用對(duì)切片進(jìn)行圖像分類(lèi)代替對(duì)原圖的目標(biāo)檢測(cè)，因此該步驟需要對(duì)圖像進(jìn)行切片，即把原圖劃分成更小的區(qū)域。當(dāng)原圖和模板的差值小于閾值時(shí)，則可認(rèn)為原圖中可能存在鳥(niǎo)，為了定位引起相似度變化的區(qū)域，將實(shí)時(shí)圖像按n×n等分進(jìn)行切片處理。經(jīng)實(shí)驗(yàn)驗(yàn)證，將實(shí)時(shí)圖像按6×6等分進(jìn)行切片處理時(shí)，實(shí)驗(yàn)效果最好。輸電線(xiàn)路實(shí)時(shí)圖像切片處理的結(jié)果如圖2所示。

圖2 經(jīng)切片處理的輸電線(xiàn)路實(shí)時(shí)圖像

5）選擇分塊。用滑動(dòng)窗口的方式，以切片為單位，逐個(gè)選取每個(gè)切片進(jìn)行步驟6）的處理。如果所有切片都已選擇完成，則認(rèn)為該圖像沒(méi)有鳥(niǎo)，不啟動(dòng)驅(qū)鳥(niǎo)器。

6）分塊對(duì)比。以切片為單位，查詢(xún)對(duì)應(yīng)的模板原圖切片，進(jìn)行切片之間的差值計(jì)算，計(jì)算方式和步驟3）保持一致，如果兩者的差值大于閾值0.1，則認(rèn)為該切片變化明顯，進(jìn)行步驟7），反之進(jìn)行步驟5）。

7）鳥(niǎo)類(lèi)識(shí)別。若切片與模板的差值大于閾值，則該切片中包含鳥(niǎo)類(lèi)的可能性很高，需要采用深度學(xué)習(xí)算法對(duì)該切片進(jìn)一步識(shí)別。本文采用輕量級(jí)的訓(xùn)練好的深度學(xué)習(xí)分類(lèi)模型ResNet18對(duì)該切片進(jìn)行類(lèi)別預(yù)測(cè)，如果分類(lèi)結(jié)果為存在鳥(niǎo)類(lèi)，則啟動(dòng)驅(qū)鳥(niǎo)器，如果分類(lèi)結(jié)果為沒(méi)鳥(niǎo)，則進(jìn)行步驟5）。

2.2 輕量級(jí)分類(lèi)模型ResNet18介紹

ResNet分類(lèi)網(wǎng)絡(luò)始提于2015年，是當(dāng)前應(yīng)用最為廣泛的CNN特征提取網(wǎng)絡(luò)，其主要思想是在網(wǎng)絡(luò)中增加了直連通道，即Highway Network的思想［14］。此前的網(wǎng)絡(luò)結(jié)構(gòu)是對(duì)輸入直接進(jìn)行非線(xiàn)性變換，而Highway Network則允許保留之前網(wǎng)絡(luò)層的一定比例的輸出［15］。

ResNet又稱(chēng)為“殘差網(wǎng)絡(luò)”，其主要是在網(wǎng)絡(luò)中使用了大量的殘差模塊作為網(wǎng)絡(luò)的基本組成部分，殘差模塊如圖3所示。

圖3 ResNet的殘差學(xué)習(xí)模塊

由圖3可以看到，殘差網(wǎng)絡(luò)與傳統(tǒng)的網(wǎng)絡(luò)相比，最大的變化是加入了一個(gè)恒等映射層y=x層，其最主要的作用是使得網(wǎng)絡(luò)隨著深度的增加不會(huì)產(chǎn)生權(quán)重衰減和梯度衰減或者消失這些問(wèn)題。上圖中，F(xiàn)(x)表示的是殘差，F(xiàn)(x)+x是最終的映射輸出，設(shè)深度網(wǎng)絡(luò)中某隱含層為H(x)-x→F(x)，如果假設(shè)多個(gè)非線(xiàn)性組合可以近似于一個(gè)復(fù)雜函數(shù)，那么也同樣可以假設(shè)隱含層的殘差近似于某個(gè)復(fù)雜函數(shù)。因此可以得到網(wǎng)絡(luò)的最終輸出為H(x)=F(x)+x，而由于網(wǎng)絡(luò)框架中有兩個(gè)卷積層和兩個(gè)ReLU函數(shù)，因此最終的輸出結(jié)果可以表示為

其中H1(x)是第一層的輸出，H2(x)是第二層的輸出。

ResNet網(wǎng)絡(luò)一經(jīng)提出，就因其巧妙的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)以及極高的識(shí)別精度吸引了眾多學(xué)者的注意，因此很多實(shí)驗(yàn)都開(kāi)始采用ResNet作為backbone network，例如Faster rcnn［16］、Mask rcnn［17］等，其已成為在高性能服務(wù)器上進(jìn)行特征提取的標(biāo)桿網(wǎng)絡(luò)。但是，由于ResNet的網(wǎng)絡(luò)層數(shù)很深，計(jì)算量很大，因此無(wú)法在移動(dòng)端直接使用。不過(guò)ResNet論文也提出了一種輕量級(jí)的模型ResNet18，其有自己獨(dú)特的殘差結(jié)構(gòu)，可以在損失一定精度的情況下運(yùn)行在移動(dòng)端，因此本文使用訓(xùn)練好的深度學(xué)習(xí)分類(lèi)模型ResNet18對(duì)輸電線(xiàn)路圖像的切片進(jìn)行類(lèi)別預(yù)測(cè)，其具體的殘差學(xué)習(xí)模塊如圖4所示。

圖4 ResNet18的殘差學(xué)習(xí)模塊

ResNet18的結(jié)構(gòu)組成如表1所示。

表1 ResNet18結(jié)構(gòu)組成

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

本文采用的數(shù)據(jù)集由安裝在江蘇地區(qū)輸電線(xiàn)路桿塔上固定位置的攝像頭進(jìn)行采集，共8000張來(lái)自8個(gè)不同位置的攝像頭采集的圖像，圖像分辨率為1920×1080像素。在實(shí)際場(chǎng)景中雨天、霧天、雪天等特殊天氣、太陽(yáng)日照情況及四季變化等自然因素會(huì)對(duì)模型訓(xùn)練和檢測(cè)效果產(chǎn)生一定影響，因此在制作數(shù)據(jù)集時(shí)，需要考慮上述自然條件的變化，因此按照不同時(shí)間段、不同季節(jié)、不同天氣情況以及不同地點(diǎn)合理地制作數(shù)據(jù)集，同時(shí)為了訓(xùn)練模型具有較好的魯棒性，在數(shù)據(jù)集中加入一些來(lái)自網(wǎng)絡(luò)的鳥(niǎo)類(lèi)圖像。

實(shí)驗(yàn)所使用的硬件環(huán)境如表2所示，此外軟件環(huán)境為Ubuntu16.04、Python、TensorFlow、TFrecords等。

表2 實(shí)驗(yàn)硬件環(huán)境配置

3.2 模型訓(xùn)練

在進(jìn)行模型訓(xùn)練前，需要對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，在模型中進(jìn)行識(shí)別圖像為切片后圖像，因此將每張1920×1080像素的圖像用6×6的網(wǎng)格劃分為36張像素為320×180像素的圖像，共得到288000張圖像，再?gòu)闹须S機(jī)等比例的選出正負(fù)樣本圖片8000張，按7∶1的比例劃分為訓(xùn)練集和測(cè)試集，即7000張訓(xùn)練集，1000張測(cè)試集，同時(shí)對(duì)圖片進(jìn)行標(biāo)注。

在模型訓(xùn)練中，超參數(shù)的設(shè)置對(duì)模型效果有著很大的影響，在經(jīng)過(guò)多次調(diào)整后，設(shè)置批次大小為64，初始學(xué)習(xí)率為0.001，為了防止網(wǎng)絡(luò)陷入局部最小，學(xué)習(xí)率隨著訓(xùn)練逐步減少，學(xué)習(xí)率最終值是0.0001，迭代次數(shù)為10000次，訓(xùn)練過(guò)程中l(wèi)oss值的變化如圖5所示。

圖5 loss值變化曲線(xiàn)圖

由圖5可知，模型迭代到4000次時(shí)開(kāi)始收斂，在6000次左右loss值穩(wěn)定在0.3左右，不再有明顯的變化，所以本實(shí)驗(yàn)選取迭代次數(shù)為6000次的模型進(jìn)行測(cè)試。

3.3 模型測(cè)試及效果

為了進(jìn)一步驗(yàn)證模型的性能，本實(shí)驗(yàn)中用精確率（Precision）和召回率（Recall）作為模型評(píng)價(jià)指標(biāo)。從測(cè)試集中隨機(jī)抽取500張圖片進(jìn)行10次測(cè)試，并計(jì)算精確率和召回率，結(jié)果如表3所示。

表3 測(cè)試實(shí)驗(yàn)結(jié)果

從測(cè)試結(jié)果可知，該模型具有較好的穩(wěn)定性、實(shí)時(shí)性及準(zhǔn)確性，精確率在97%左右小幅波動(dòng)，綜上所述該模型達(dá)到了應(yīng)用于輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)任務(wù)的準(zhǔn)確性要求。

最后，對(duì)輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)模型進(jìn)行測(cè)試，該模型部署在驅(qū)鳥(niǎo)器嵌入式主板上，硬件參數(shù)為CPU：聯(lián)發(fā)科MT6750CT 8核心ARM A53 1.5Hz，內(nèi)存：4GB LPDDR3 667MHz，存儲(chǔ)：16GB eMMC5.1，操作系統(tǒng)：Android 7.0。在實(shí)驗(yàn)中，采用來(lái)自8個(gè)不同位置的攝像頭在實(shí)際場(chǎng)景中采集的視頻數(shù)據(jù)進(jìn)行測(cè)試，圖像抽取間隔為2min，經(jīng)測(cè)試模型平均精度達(dá)到85%，一張分辨率為1920×1080像素的圖片的平均檢測(cè)時(shí)間為9.7s，其中精度降低主要是由于數(shù)據(jù)集的內(nèi)容及圖像差值計(jì)算算法的影響。由實(shí)驗(yàn)可知，本文提出的輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)模型，可以滿(mǎn)足輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)任務(wù)所需的準(zhǔn)確性和實(shí)時(shí)性要求。

4 結(jié)語(yǔ)

針對(duì)輸電線(xiàn)路的鳥(niǎo)害問(wèn)題，本文提出了一種基于圖像切片的移動(dòng)端鳥(niǎo)類(lèi)檢測(cè)算法。為了實(shí)現(xiàn)移動(dòng)端的鳥(niǎo)類(lèi)識(shí)別，首先采用對(duì)比算法篩選出可能包含鳥(niǎo)的圖像，然后對(duì)這些圖像進(jìn)行切片，對(duì)切片先采用對(duì)比算法篩選可能有鳥(niǎo)的切片，然后再對(duì)這些切片采用ResNet18進(jìn)行識(shí)別，降低了檢測(cè)時(shí)間，提高了檢測(cè)精度，從實(shí)驗(yàn)結(jié)果可知，ResNet18分類(lèi)模型在輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)任務(wù)中有著較好的準(zhǔn)確性和穩(wěn)定性。同時(shí)，本文提出的輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)模型可運(yùn)行在移動(dòng)端嵌入式主板中，實(shí)現(xiàn)了鳥(niǎo)的實(shí)時(shí)檢測(cè)，避免了數(shù)據(jù)傳輸帶來(lái)的時(shí)延影響，具有較好的準(zhǔn)確性和實(shí)時(shí)性，滿(mǎn)足輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)任務(wù)所需的基本要求。