摘 要：針對(duì)分布式光伏電站周界入侵檢測(cè)數(shù)據(jù)不足、精度低、檢測(cè)異物不完全等問(wèn)題，在雙模態(tài)特征融合基礎(chǔ)上提出一種改進(jìn)式的周界入侵目標(biāo)檢測(cè)算法（VT-DETR）。首先，將單通道網(wǎng)絡(luò)拓展為雙通道網(wǎng)絡(luò)，以同時(shí)提取可見(jiàn)光與紅外圖像的多維特征；其次，引入軟權(quán)重分配策略，以彌補(bǔ)可見(jiàn)光與紅外圖像融合時(shí)熱輻射信息的缺失；最后，改善損失函數(shù)的計(jì)算方式，提升注意力機(jī)制訓(xùn)練效率。另外，構(gòu)建面向分布式光伏電站的周界入侵圖像數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后算法的平均檢測(cè)精度達(dá)到92.08%，驗(yàn)證了該方法在分布式光伏電站周界入侵檢測(cè)上的有效性。

關(guān)鍵詞：深度學(xué)習(xí)；目標(biāo)檢測(cè)；圖像融合；分布式光伏電站；周界入侵

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A

0 引 言

太陽(yáng)能是綠色能源的重要組成部分，保證光伏電站的穩(wěn)定運(yùn)行對(duì)國(guó)家能源發(fā)展至關(guān)重要［1］。在中國(guó)大規(guī)模建設(shè)光伏電站的過(guò)程中，光伏電站受到大量異物的入侵，尤其是分布式光伏電站，承受了巨大的破壞。為消除此類安全隱患，采用智能圖像處理算法對(duì)分布式光伏電站周界進(jìn)行自動(dòng)檢測(cè)勢(shì)在必行［2］。目前，傳統(tǒng)的光伏電站周界檢測(cè)方式主要包括人工巡檢和視頻檢測(cè)法［3］。人工巡檢依靠運(yùn)維人員定期進(jìn)入電站進(jìn)行檢查，而視頻檢測(cè)法則是運(yùn)維人員通過(guò)查看攝像頭所拍攝的監(jiān)控視頻檢測(cè)運(yùn)動(dòng)目標(biāo)。這兩種方法不僅費(fèi)時(shí)費(fèi)力，而且檢測(cè)效率低下，準(zhǔn)確性較差。因此，迫切需一種更高效、準(zhǔn)確的檢測(cè)方法來(lái)保證光伏電站的安全運(yùn)行。

隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，智能檢測(cè)逐漸代替人為檢測(cè)成為周界入侵檢測(cè)的主流。管嶺等［4］提出注意力機(jī)制與輕量級(jí)網(wǎng)絡(luò)相結(jié)合的異物檢測(cè)算法；王瑞峰等［5］基于CLAHE算法和CIOU損失函數(shù)，提高了小目標(biāo)和被遮擋入侵異物的檢測(cè)精度；肖曾翔等［6］提出基于K-均值和深度可分離卷積相結(jié)合的異物檢測(cè)算法。與此同時(shí)，為應(yīng)對(duì)光伏電站監(jiān)控拍攝時(shí)由于低照度和惡劣天氣所造成的圖像可見(jiàn)度低的情況，引進(jìn)紅外圖像來(lái)增加信息的獲?。?］，以實(shí)現(xiàn)在各種復(fù)雜環(huán)境下的實(shí)時(shí)檢測(cè)；文獻(xiàn)［8］引入了一個(gè)卷積層、池化層和全連接層組成的網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)對(duì)比輸出的置信度權(quán)重來(lái)決定紅外以及可見(jiàn)光圖像的融合權(quán)重；Devaguptapu等［9］則根據(jù)紅外數(shù)據(jù)集引入CycleGAN來(lái)生成偽可見(jiàn)光數(shù)據(jù)，再將提取到的圖像特征圖進(jìn)行融合，以提高對(duì)紅外目標(biāo)的檢測(cè)精度。然而，基于上述神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法檢測(cè)精度低、圖像融合效果不佳，無(wú)法實(shí)現(xiàn)全天候的檢測(cè)，復(fù)雜的環(huán)境限制了其在分布式光伏電站場(chǎng)景的應(yīng)用。

針對(duì)分布式光伏電站周界入侵問(wèn)題，本文構(gòu)建真實(shí)的光伏電站入侵異物數(shù)據(jù)集，并基于DETR（detection transformer）檢測(cè)算法做出改進(jìn)［10］。將紅外圖像與可見(jiàn)光圖像進(jìn)行特征融合，并結(jié)合軟權(quán)重分配策略以及損失函數(shù)的優(yōu)化，構(gòu)建分布式光伏電站檢測(cè)模型以解決人為檢測(cè)對(duì)人以及動(dòng)物的入侵檢測(cè)能力不足的問(wèn)題。

1 相關(guān)工作介紹

國(guó)家工信部最新出臺(tái)的智能光伏產(chǎn)業(yè)創(chuàng)新發(fā)展行動(dòng)計(jì)劃指出，為降低光伏電站的運(yùn)維成本并提升服務(wù)效率，需建設(shè)智能光伏系統(tǒng)，包括建立智能區(qū)域集控運(yùn)維中心和運(yùn)維平臺(tái)。近年來(lái)，國(guó)家對(duì)太陽(yáng)能的重視不斷增加，分布式光伏電站的規(guī)模不斷擴(kuò)大，隨之也出現(xiàn)了一系列對(duì)光伏電站造成損害的問(wèn)題：

1）人為盜竊破壞將影響正常發(fā)電秩序；

2）鳥類糞便和鳥窩對(duì)光伏組件的破壞將降低發(fā)電效率；

3）鼠類對(duì)光伏電纜的撕咬將會(huì)造成安全隱患。

這些問(wèn)題若不能及時(shí)發(fā)現(xiàn)并修復(fù)，將對(duì)光伏電站的運(yùn)行造成巨大影響，嚴(yán)重?fù)p害發(fā)電效益。

基于深度學(xué)習(xí)的周界入侵檢測(cè)方法采用監(jiān)控相機(jī)拍攝圖像，結(jié)合相關(guān)計(jì)算設(shè)備，可實(shí)現(xiàn)自動(dòng)檢測(cè)，且具有低成本、高檢測(cè)精度和強(qiáng)魯棒性的優(yōu)點(diǎn)。近年來(lái)，基于Transformer神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法正成為一個(gè)新的研究方向［11］，它能很好地理解整個(gè)圖像的語(yǔ)義和語(yǔ)境。DETR是一種基于Transformer的目標(biāo)檢測(cè)模型，它采用端到端的結(jié)構(gòu)，消除了訓(xùn)練過(guò)程中的錨框計(jì)算，能直接輸出預(yù)測(cè)結(jié)果，具有良好的檢測(cè)精度。

目前，國(guó)內(nèi)對(duì)分布式光伏電站周界入侵的智能檢測(cè)研究較少，本文基于DETR提出一種周界入侵檢測(cè)算法VT-DETR，以實(shí)現(xiàn)分布式光伏電站周界的自動(dòng)檢測(cè)，提高檢測(cè)效率，提升惡劣環(huán)境下的檢測(cè)能力，降低人工運(yùn)維成本，可更好地保證光伏電站的安全運(yùn)行。

2 融合可見(jiàn)光與紅外圖像的周界入侵算法研究（Visual-Thermal DETR）

2.1 周界入侵算法概述

針對(duì)傳統(tǒng)人工檢測(cè)效率低、準(zhǔn)確性差的問(wèn)題，本文提出一種基于深度學(xué)習(xí)的分布式光伏電站周界入侵檢測(cè)算法，算法流程如圖1所示。

首先對(duì)采集到的異物圖片進(jìn)行圖像預(yù)處理，通過(guò)旋轉(zhuǎn)、裁剪、變換飽和度等方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，之后用LabelImg對(duì)擴(kuò)充后的數(shù)據(jù)集進(jìn)行標(biāo)注，將標(biāo)注后的數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集；將得到的訓(xùn)練集輸送進(jìn)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，對(duì)比驗(yàn)證集，比較訓(xùn)練得到的檢測(cè)結(jié)果是否符合要求；根據(jù)檢測(cè)效果修改參數(shù)，最終得到最優(yōu)檢測(cè)結(jié)果。

2.2 DETR模型

原始的DETR模型是由Facebook于2020年提出的基于Transformer的端到端的目標(biāo)檢測(cè)模型［12］，主要由3部分組成，即主干網(wǎng)絡(luò)（ResNet）、Transformer和預(yù)測(cè)層（feed forward network，F(xiàn)FN）。圖像先經(jīng)過(guò)ResNet進(jìn)行特征的提取，再將提取的特征與位置編碼一同輸入到Transformer的編碼器（Encoder）部分，編碼器的最后一層會(huì)輸出一定量的對(duì)象查詢，將其作為輸入傳輸進(jìn)Transformer的解碼器（Decoder）部分，解碼器的輸出會(huì)傳遞給一個(gè)前饋網(wǎng)絡(luò)，進(jìn)行類別、位置或無(wú)目標(biāo)類的檢測(cè)。最后將檢測(cè)結(jié)果與真實(shí)值通過(guò)匈牙利算法進(jìn)行二分圖匹配，即對(duì)預(yù)測(cè)集合和真實(shí)集合的元素進(jìn)行一一對(duì)應(yīng)，使匹配損失最小。

DETR的核心在于將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為直接集合預(yù)測(cè)問(wèn)題，并利用Transformer的自注意力機(jī)制根據(jù)目標(biāo)和全局上下文的關(guān)系，得出檢測(cè)區(qū)域。

2.3 VT-DETR算法原理

如圖2所示，基于DETR的改進(jìn)式光伏電站周界入侵檢測(cè)的深度網(wǎng)絡(luò)框架主要由4部分組成，依次為：以殘差網(wǎng)絡(luò)resnet50為主干提取網(wǎng)絡(luò)的雙通道融合模塊［13］、軟權(quán)重分配策略、基于Transformer的Encoder-Decoder模塊、前饋神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模塊，從而有效融合紅外信息與可見(jiàn)光信息，獲取更全面的圖像特征。

首先，將可見(jiàn)光圖像與紅外圖像分別輸入ResNet提取圖像特征，將二者特征圖融合，得到新的特征圖。隨后將所得特征圖轉(zhuǎn)換成一一對(duì)應(yīng)的序列，并編碼為向量序列。對(duì)每個(gè)新生成的序列，使用位置編碼器進(jìn)行編碼，根據(jù)賦予的編碼順序?qū)⑺行蛄羞B接成一個(gè)整體序列，作為Encoder的輸入。與此同時(shí)，構(gòu)建軟權(quán)重策略，將提取特征后的紅外特征圖與隨機(jī)的對(duì)象查詢分配權(quán)重后輸入進(jìn)Decoder部分，以動(dòng)態(tài)的方式彌補(bǔ)紅外與可見(jiàn)光融合后造成的信息損失。最后將Decoder的輸出傳輸至前饋神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模塊以獲取目標(biāo)的類別與預(yù)測(cè)框信息。

2.3.1 雙通道融合網(wǎng)絡(luò)

本文將DETR原有的單通道網(wǎng)絡(luò)擴(kuò)展成雙通道網(wǎng)絡(luò)，即可見(jiàn)光通道和紅外通道，二者均采用Resnet50作為特征提取網(wǎng)絡(luò)。如圖3所示，首先，通過(guò)卷積提取可見(jiàn)光圖像的特征，然后對(duì)所得特征圖進(jìn)行歸一化操作。接著，通過(guò)應(yīng)用ReLu激活函數(shù)，得到4層殘差塊，分別標(biāo)記為[B1、B2、B3]和[B4]。其中，[B4]層隨卷積層數(shù)量的增加，包含了最豐富的語(yǔ)義信息。類似地，對(duì)紅外圖像進(jìn)行處理，其中[C4]層包含了最豐富的語(yǔ)義信息。將[B4]和[C4]兩層殘差塊中的特征圖進(jìn)行堆疊，并使用連接（Concat）函數(shù)將二者在通道維度上實(shí)現(xiàn)融合［14］，得到最終的特征圖，表示為［[C]，[H]，[W]］的矩陣，其中[C]表示為通道數(shù)，[H]、[W]分別表示為高度和寬度。將該矩陣通道數(shù)通過(guò)卷積降維到固定值[D]，再使用拉直（Flatten）函數(shù)將[HW]維度拉平得到矩陣［[D]，[HW]］，最后轉(zhuǎn)置得到序列［[HW]，[D]］。

在將該序列輸入進(jìn)編碼器前，需先將序列中每個(gè)最小的獨(dú)立單元通過(guò)詞嵌入轉(zhuǎn)換為向量表示，同時(shí)為引入序列中的位置信息，使用正弦和余弦函數(shù)生成固定的位置編碼向量，表示為式（1）和式（2），將其與輸入的詞向量相加，以提供每個(gè)詞向量的位置信息，從而識(shí)別出語(yǔ)言中的順序關(guān)系。

[PE（pos，2i）=sin（rpos/100002i/d）] （1）

[PE（pos，2i+1）=cos（rpos/100002i/d）] （2）

式中：[rpos]——詞向量位置；[d]——詞向量維度；[i]——詞嵌入維度。

2.3.2 軟權(quán)重分配策略

考慮到紅外圖像與可見(jiàn)光圖像融合的過(guò)程中勢(shì)必會(huì)造成信息的損失，為彌補(bǔ)紅外信息的丟失，本文提出軟權(quán)重分配策略［15］。其主要由雙線性插值模塊、多頭注意力模塊與軟權(quán)重分配模塊3部分構(gòu)成。雙線性插值法利用原圖像目標(biāo)點(diǎn)附近4個(gè)最近鄰的像素點(diǎn)，計(jì)算出目標(biāo)點(diǎn)的像素值，從而將特征圖恢復(fù)到高分辨率，如圖4所示。該方法在4個(gè)像素點(diǎn)的行和列兩個(gè)方向上各進(jìn)行一次插值運(yùn)算，表示為：

[f（i+u，j+v）=（1-u）（1-v）f（i，j）+（1-u）vf（i+1，j）+u（1-u）f（i，j+1）+uvf（i+1，j+1）] （3）

式中：[i]——[x]軸整數(shù)值；[j]——[y]軸整數(shù)值；[u]——[x]軸小數(shù)增量；[v]——[y]軸小數(shù)增量。

多頭注意力模塊如圖5所示［16］。新生成的圖像通過(guò)線性變換得到與多頭注意力模塊輸入相匹配的查詢（query、[Q]）、鍵（key、[K]）和值（value、[V]）表示，將[Q]與所有[K]計(jì)算相似度，得到每個(gè)[K]對(duì)應(yīng)的[V]的權(quán)重系數(shù)，再經(jīng)過(guò)softmax激活函數(shù)計(jì)算得到權(quán)重，將該權(quán)重與對(duì)應(yīng)的[V]加權(quán)求和得到各個(gè)注意力頭的輸出。使用Concat函數(shù)連接所有注意力頭的結(jié)果，最后通過(guò)線性變換將其映射到最終的輸出空間中，具體計(jì)算方法表示為：

[Attention（Q，K，V）=SoftmaxQKTdKV] （4）

[hi=Attention（QMQi，KMKi，VMVi）] （5）

[MultiHead（Q，K，V）=Concat（head1，…，headh）MO] （6）

式中：[dK]——[K]的維度；[M]——變換權(quán)重矩陣；[headi]——第[i]個(gè)注意力頭；[h]——注意力頭的總數(shù)量。

多頭注意力模塊的優(yōu)勢(shì)在于提取圖像特征時(shí)能關(guān)注不同區(qū)域尺度的特征，有效捕捉不同尺度的特征信息；同時(shí)，可根據(jù)不同的場(chǎng)景自適應(yīng)地選擇重要信息，盡可能地保留紅外圖像的熱輻射特征，以彌補(bǔ)可見(jiàn)光與紅外圖像融合時(shí)紅外信息的損失。在多頭注意力模塊提取紅外圖像特征后，把所得特征圖與隨機(jī)的定量查詢共同輸入進(jìn)軟權(quán)重模塊分配權(quán)重。軟權(quán)重模塊將紅外特征圖與定量查詢的模型參數(shù)組合成一個(gè)共享的參數(shù)矩陣，在訓(xùn)練過(guò)程中根據(jù)不同的輸入數(shù)據(jù)來(lái)調(diào)整該參數(shù)矩陣，以適應(yīng)不同的需求，通過(guò)將矩陣的參數(shù)共享，從而減少參數(shù)數(shù)量，降低過(guò)擬合的風(fēng)險(xiǎn)，加快模型訓(xùn)練速度，提高泛化能力。

2.3.3 損失函數(shù)優(yōu)化

DETR的邊界框損失由GIoU損失函數(shù)和L1損失函數(shù)構(gòu)成，GIoU損失函數(shù)表示為：

[βGIoU=A?BA?B-C＼（A?B）C] （7）

[LGIoU=1-βGIoU] （8）

式中：[A]——預(yù)測(cè)框面積；[B]——真實(shí)框面積；[C]——能包住[A]和B的最小封閉面積；[LGIoU]——GIoU損失函數(shù)。

在實(shí)際的訓(xùn)練過(guò)程中，離群值和噪聲的出現(xiàn)會(huì)嚴(yán)重影響模型的訓(xùn)練性能和泛化能力，為獲得更穩(wěn)定的梯度信息，采用梯度更加平緩的Smooth-L1損失函數(shù)來(lái)代替L1損失函數(shù)［17］可有效提高模型的魯棒性，其計(jì)算式為：

[LsmoothL1=0.5x2，" xlt;1x-0.5，" 其他] （9）

式中：[x]——預(yù)測(cè)框和真實(shí)框之間的數(shù)值差異。

在計(jì)算邊界框損失時(shí)，Smooth-L1損失函數(shù)計(jì)算了預(yù)測(cè)框與真實(shí)框橫縱坐標(biāo)值及長(zhǎng)寬數(shù)值，GIoU損失函數(shù)計(jì)算了預(yù)測(cè)框與真實(shí)框之間的重疊損失，將以上兩種損失函數(shù)融合作為本文的邊界框損失，可表示為：

[Lbox（bi，bs（i））=λGIoULGIoU（bi，bs（i））+λSmooth-L1LSmooth-L1（bi，bs（i））] （10）

式中：[Lbox]——由GIoU和Smooth-L1損失函數(shù)構(gòu)成；[bi]——第[i]個(gè)目標(biāo)的真實(shí)框坐標(biāo)；[bs（i）]——第[s（i）]個(gè)目標(biāo)的預(yù)測(cè)框坐標(biāo)；[λGIoU]——GIoU損失函數(shù)的權(quán)重系數(shù)；[λSmooth-L1]——Smooth-L1損失函數(shù)的權(quán)重系數(shù)；[LSmooth-L1]——Smooth-L1損失函數(shù)。

在訓(xùn)練過(guò)程中，Smooth-L1完美結(jié)合了L1和L2損失函數(shù)的優(yōu)點(diǎn)，當(dāng)預(yù)測(cè)框與真實(shí)框的數(shù)值相差較大時(shí)，可有效抑制反向梯度，避免梯度爆炸；當(dāng)預(yù)測(cè)框與真實(shí)框數(shù)值相差較小時(shí)，也可使模型更快得收斂。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集及預(yù)處理

本文數(shù)據(jù)集通過(guò)可見(jiàn)光、紅外雙光攝像頭拍攝獲得，共得到1184張圖像對(duì)（可見(jiàn)光與紅外圖像一一對(duì)應(yīng)），重點(diǎn)對(duì)鳥、松鼠、人3類目標(biāo)進(jìn)行研究，如圖6所示。由于數(shù)據(jù)集數(shù)量偏少易造成訓(xùn)練模型的過(guò)擬合，因此對(duì)所得數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，采用裁剪、旋轉(zhuǎn)和亮度變換等操作，將圖像總量擴(kuò)充至3698張圖像對(duì)。將擴(kuò)充后的數(shù)據(jù)集按8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，共得到訓(xùn)練集2958張圖像對(duì)，驗(yàn)證集370張圖像對(duì)，測(cè)試集370張圖像對(duì)，最后使用LabelImg對(duì)所有樣本進(jìn)行標(biāo)注。

3.2 性能評(píng)價(jià)指標(biāo)

本文選用平均準(zhǔn)確率（average percision，AP）、平均精度（mean average percision，mAP）以及檢測(cè)速度（franes per second，F(xiàn)PS）來(lái)對(duì)模型的性能進(jìn)行評(píng)價(jià)。[AP]由準(zhǔn)確率[P]（percision）與召回率[R]（recall）計(jì)算得出，[mAP]即對(duì)所有的[AP]求平均值。式（11）和式（12）為準(zhǔn)確率與召回率的計(jì)算公式，式（13）和式（14）為平均準(zhǔn)確率與平均精度的計(jì)算公式。

[δP=δTPδTP+δFP] （11）

[R=δTPδTP+δFN] （12）

[δAP=01P（R）dR] （13）

[δmAP=1Ni=1N01PidR] （14）

式中：[δTP]——正確檢測(cè)數(shù)量；[δFP]——錯(cuò)誤檢測(cè)數(shù)量；[δFN]——漏檢數(shù)量；[N]——目標(biāo)檢測(cè)類別數(shù)量；[δAP]——以[P-R]為橫縱坐標(biāo)構(gòu)成的曲線所包圍的面積；[δmAP]——各類別[AP]的均值。

3.3 模型訓(xùn)練策略

實(shí)驗(yàn)環(huán)境：深度學(xué)習(xí)框架為Pytorch，GPU型號(hào)為NVIDIA GeForce RTX 3090 Ti，24 GB顯存；CPU型號(hào)為Intel Xeon E5-2680 V4@2.40 GHz，14核，125 GB內(nèi)存；操作系統(tǒng)為Ubantu-18.04，CUDA版本為11.4，Python版本為3.9.7。

實(shí)驗(yàn)參數(shù)：優(yōu)化器為AdamW，batch_size設(shè)為8，訓(xùn)練輪次設(shè)為300，其中骨干網(wǎng)絡(luò)初始學(xué)習(xí)率為0.00001，其他部分初始學(xué)習(xí)率為0.0001，權(quán)重衰減率為0.0001。

如圖7所示為算法在驗(yàn)證集上訓(xùn)練過(guò)后所得的平均精度曲線。最終準(zhǔn)確率低的為原始DETR算法，最終準(zhǔn)確率高的為本文改進(jìn)后的DETR檢測(cè)算法。從圖7可看出，原始的DETR算法在約210輪次時(shí)收斂于mAP（IOU=0.5）=0.88附近，而改進(jìn)后的本文算法在220輪次時(shí)收斂于mAP（IOU=0.5）=0.92附近。這證明改進(jìn)后的算法可更準(zhǔn)確地識(shí)別目標(biāo)。

圖8所示為損失函數(shù)的迭代圖。從圖8可知，原始的DETR算法在第200輪次時(shí)逐漸收斂，最終穩(wěn)定在約2.21處；在換成Smooth-L1損失函數(shù)后，初始損失值約為9.5，最終穩(wěn)定在約2.10處，這證明改進(jìn)后的預(yù)測(cè)框可更加逼近真實(shí)框。

3.4 消融實(shí)驗(yàn)

為驗(yàn)證本文算法改進(jìn)的有效性，將DETR作為基線模型，以mAP為性能評(píng)估指標(biāo)，加入不同改進(jìn)策略后的實(shí)驗(yàn)結(jié)果如表1所示。表1中第一行為原始的DETR算法，mAP值為88.51%；實(shí)驗(yàn)A加入了紅外圖像通道，實(shí)現(xiàn)可見(jiàn)光與紅外雙通道的融合，其mAP值達(dá)到89.93%，提升了1.42個(gè)百分點(diǎn)；實(shí)驗(yàn)B加入軟權(quán)重分配策略，mAP值為91.24%，提升了1.31個(gè)百分點(diǎn)；實(shí)驗(yàn)C優(yōu)化了損失函數(shù)，mAP值為92.08%，提升了0.84個(gè)百分點(diǎn)，所有的改進(jìn)策略使mAP值提升了3.57個(gè)百分點(diǎn)，證明本文算法的改進(jìn)可有效提升檢測(cè)的精度。

3.5 橫向?qū)Ρ葘?shí)驗(yàn)

為更全面地評(píng)估本文算法的有效性，將本文算法與當(dāng)前主流的目標(biāo)檢測(cè)算法SSD、Centernet、Faster-RCNN以及YOLOv5進(jìn)行比較，以mAP和FPS作為模型檢測(cè)精度和工程化的評(píng)價(jià)指標(biāo)。在同等實(shí)驗(yàn)條件下，結(jié)果如表2所示。由表2可知，SSD和CenterNet精度較低，F(xiàn)aster-RCNN的檢測(cè)精度可達(dá)到85%以上，但是檢測(cè)速度較慢，相比之下DETR的檢測(cè)精度更高，本文在DETR的基礎(chǔ)上進(jìn)行改進(jìn)，檢測(cè)精度超過(guò)了90%，達(dá)到92.08%，提升3.57個(gè)百分點(diǎn)。

為更加直觀地感受改進(jìn)前后算法的檢測(cè)效果，選用訓(xùn)練后的最佳權(quán)重對(duì)同一張圖像進(jìn)行測(cè)試，并將測(cè)試結(jié)果顯示在可見(jiàn)光圖像上。圖9中第一行為DETR算法的檢測(cè)結(jié)果，第二行為改進(jìn)后的DETR算法檢測(cè)結(jié)果。在白天的檢測(cè)中，改進(jìn)后的算法在置信度上有明顯提高，提升了5～9個(gè)百分點(diǎn)，更加精準(zhǔn)地檢測(cè)出入侵電站的目標(biāo)；在霧天和夜晚的惡劣環(huán)境下，原始的DETR算法未將目標(biāo)全部框出，出現(xiàn)了漏檢，而改進(jìn)后的算法可在霧天以及夜晚環(huán)境下將目標(biāo)以較高的置信度檢測(cè)出。

4 結(jié) 論

1） 針對(duì)現(xiàn)有的人工檢測(cè)和傳統(tǒng)目標(biāo)檢測(cè)算法對(duì)分布式光伏電站的周界入侵檢測(cè)效率低且容易造成漏檢的現(xiàn)象，提出一種基于DETR的改進(jìn)檢測(cè)算法VT-DETR，并構(gòu)建3698張包含鳥、松鼠和人的光伏電站異物數(shù)據(jù)集。

2） 通過(guò)加入紅外圖像進(jìn)行可見(jiàn)光與紅外圖像的特征融合、加入軟權(quán)重分配策略彌補(bǔ)融合過(guò)程中特征信息的損失以及利用Smooth-L1改進(jìn)損失函數(shù)提高模型的魯棒性，最終建立了光伏電站的周界入侵檢測(cè)模型。

3） 實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的DETR算法平均檢測(cè)精度達(dá)到92.08%，高于當(dāng)前的主流算法SSD、CerterNet、Faster-RCNN以及YOLOv5，在與原始的DETR算法進(jìn)行比較時(shí)，mAP提高了3.57個(gè)百分點(diǎn)，驗(yàn)證了本文方法在分布式光伏電站周界入侵檢測(cè)上的有效性。

［參考文獻(xiàn)］

［1］ 蔣興群， 劉波， 宋力， 等. 基于改進(jìn)YOLO-v3的風(fēng)力機(jī)葉片表面損傷檢測(cè)識(shí)別［J］. 太陽(yáng)能學(xué)報(bào)， 2023， 44（3）： 212-217.

JIANG X Q， LIU B， SONG L， et al. Surface damage detection and recognition of wind turbine blade based on improved YOLO-v3［J］. Acta energiae solaris sinica， 2023， 44（3）： 212-217.

［2］ 周穎， 王如意， 袁梓桐， 等. 一種高效雙路徑注意力太陽(yáng)電池缺陷檢測(cè)網(wǎng)絡(luò)［J］. 太陽(yáng)能學(xué)報(bào)， 2023， 44（4）： 407-413.

ZHOU Y， WANG R Y， YUAN Z T， et al. An efficient dual-path attention solar cell defect detection network［J］. Acta energiae solaris sinica， 2023， 44（4）： 407-413.

［3］ 郭保青， 楊柳旭， 史紅梅， 等. 基于快速背景差分的高速鐵路異物侵入檢測(cè)算法［J］. 儀器儀表學(xué)報(bào)， 2016， 37（6）： 1371-1378.

GUO B Q， YANG L X， SHI H M， et al. High-speed railway clearance intrusion detection algorithm with fast background subtraction［J］. Chinese journal of scientific instrument， 2016， 37（6）： 1371-1378.

［4］ 管嶺， 賈利民， 謝征宇. 融合注意力機(jī)制的軌道入侵異物檢測(cè)輕量級(jí)模型研究［J］. 鐵道學(xué)報(bào)， 2023， 45（5）： 72-81.

GUAN L， JIA L M， XIE Z Y. Research on lightweight model for railway intrusion detection integrating attention mechanism［J］. Journal of the China Railway Society， 2023， 45（5）： 72-81.

［5］ 王瑞峰， 陳小屹. 基于改進(jìn)YOLOv5的軌道異物入侵檢測(cè)算法研究［J］. 云南大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2023， 45（4）： 799-806.

WANG R F， CHEN X Y. Research on orbital foreign object intrusion detection algorithm based on improved YOLOv5［J］. Journal of Yunnan University （natural sciences edition）， 2023， 45（4）： 799-806.

［6］ 肖曾翔， 徐啟峰. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的變電站異物入侵識(shí)別［J］. 科學(xué)技術(shù)與工程， 2022， 22（4）： 1465-1471.

XIAO Z X， XU Q F. Recognition of foreign objects intrusion in substation based on improved convolutional neural network［J］. Science technology and engineering， 2022， 22（4）： 1465-1471.

［7］ 寧欣， 田偉娟， 于麗娜， 等. 面向小目標(biāo)和遮擋目標(biāo)檢測(cè)的腦啟發(fā)CIRA-DETR全推理方法［J］. 計(jì)算機(jī)學(xué)報(bào)， 2022， 45（10）： 2080-2092.

NING X， TIAN W J， YU L N， et al. Brain-inspired CIRA-DETR full inference model for small and occluded object detection［J］. Chinese journal of computers， 2022， 45（10）： 2080-2092.

［8］ YANG L， MA R， ZAKHOR A. Drone object detection using rgb/ir fusion［J］. arXiv preprint arXiv ： 2201.03786， 2022.

［9］ DEVAGUPTAPU C， AKOLEKAR N， SHARMA M M， et al. Borrow from anywhere： pseudo multi-modal object detection" "in" "thermal" "imagery［C］//2019" "IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Long Beach， CA， USA， 2019： 1029-1038.

［10］ GAO C Q， MENG D Y， YANG Y， et al. Infrared patch-image model for small target detection in a single image［J］. IEEE transactions on image processing， 2013， 22（12）： 4996-5009.

［11］ LI Y M， ZHANG W， LIU Y Y， et al. An efficient fire and smoke detection algorithm based on an end-to-end structured" " network［J］." " Engineering" " applications" " of artificial intelligence， 2022， 116： 105492.

［12］ CARION N， MASSA F， SYNNAEVE G， et al. End-to-end object detection with transformers［M］. Cham： Springer International Publishing， 2020： 213-229.

［13］ 徐碩， 鄧艾東， 楊宏強(qiáng)， 等. 基于改進(jìn)殘差網(wǎng)絡(luò)的旋轉(zhuǎn)機(jī)械故障診斷［J］. 太陽(yáng)能學(xué)報(bào)， 2023， 44（7）： 409-418.

XU S， DENG A D， YANG H Q， et al. Rotating machinery fault diagnosis method based on improved residual neural network［J］. Acta energiae solaris sinica， 2023， 44（7）： 409-418.

［14］ LEYKIN A， RAN Y， HAMMOUD R. Thermal-visible video fusion for moving target tracking and pedestrian classification［C］//2007" IEEE" Conference" on" Computer Vision and Pattern Recognition， Minneapolis， MN， USA， 2007： 1-8.

［15］ 趙明， 張浩然. 一種基于跨域融合網(wǎng)絡(luò)的紅外目標(biāo)檢測(cè)方法［J］. 光子學(xué)報(bào)， 2021， 50（11）： 339-349.

ZHAO M， ZHANG H R. An infrared object detection method based on cross-domain fusion network［J］. Acta photonica sinica， 2021， 50（11）： 339-349.

［16］ SHAW P， USZKOREIT J， VASWANI A. Self-attention with relative position representations［J］. arXiv preprint arXiv：1803. 02155，2018.

［17］ DAI Y N， YU J Y， ZHANG D A， et al. RODFormer： high-precision design for rotating object detection with transformers［J］. Sensors， 2022， 22（7）： 2633.

RESEARCH ON PERIMETER INTRUSION DETECTION OF PHOTOVOLTAIC POWER STATION BASED ON BIMODAL FUSION

Hou Beiping1，2，Chen Jiahao1，Zhu Yuzhen1，Zheng Yangbin1，Yu Aihua1，2

（1. School of Automation and Electrical Engineering， Zhejiang University of Science and Technology， Hangzhou 310023， China；

2. Zhejiang International Science and Technology Cooperation Base of Intelligent Robot Sensing and Control， Hangzhou 310023， China）

Abstract：An improved perimeter intrusion detection algorithm （visual thermal detection transformer， VT-DETR） is proposed based on bimodal feature fusion to solve the problems of insufficient perimeter intrusion detection data， low accuracy and incomplete detection of foreign objects in distributed photovoltaic power plants. Initially， the single-channel network is expanded into a dual-channel network， enabling simultaneous extraction of multidimensional features from visible light and infrared images. Subsequently， a strategy for soft weight allocation is introduced to compensate for the absence of thermal radiation information during the fusion of visible light and infrared images. Finally， the loss function calculation method is enhanced to improve the training efficiency of the attention mechanism. Additionally， a dedicated perimeter intrusion image dataset is built for the context of distributed photovoltaic power plants. Experimental results show the efficiency of the enhanced algorithm， achieving an average detection accuracy of 92.08% and thus validating its effectiveness to perimeter intrusion detection in distributed photovoltaic power plants.

Keywords：deep learning； object detection； image fusion； distributed photovoltaic power station； perimeter intrusion