摘 要：針對(duì)航拍光伏紅外圖像熱斑檢測(cè)方法中小目標(biāo)特征易丟失問題，提出一種光伏熱斑故障分類檢測(cè)方法。首先將多頭自注意力機(jī)制結(jié)合CSPNet結(jié)構(gòu)進(jìn)行改進(jìn)，提出CSPMAT網(wǎng)絡(luò)，再將其引入New CSP-Darknet網(wǎng)絡(luò)，構(gòu)建CSPMAT-Darknet模型，實(shí)現(xiàn)了光伏組件熱斑定位及分類。實(shí)驗(yàn)結(jié)果表明：該模型在小目標(biāo)檢測(cè)任務(wù)中的性能顯著提升，且在目標(biāo)尺寸差異較大的故障分類檢測(cè)任務(wù)中，均值平均精度達(dá)到82.92%，提高了13.97個(gè)百分點(diǎn)，具有良好的檢測(cè)精度和泛化能力。

關(guān)鍵詞：紅外熱圖像；圖像識(shí)別；特征提?。籆SPNet；多頭自注意力機(jī)制；分類檢測(cè)

中國(guó)分類號(hào)：TP18；TM615 文獻(xiàn)標(biāo)志碼：A

0 引 言

隨著太陽(yáng)能技術(shù)的不斷發(fā)展，太陽(yáng)能能源的使用率不斷提高。同時(shí)，光伏設(shè)備的建設(shè)也在逐漸擴(kuò)張［1］。光伏組件長(zhǎng)期在復(fù)雜的環(huán)境下運(yùn)行，很容易出現(xiàn)故障［2］，當(dāng)光伏組件出現(xiàn)故障后，相應(yīng)位置的太陽(yáng)電池流過的電流變小，在其他串聯(lián)太陽(yáng)電池的影響下成為負(fù)載［3］，并將其他太陽(yáng)電池產(chǎn)生的能量以熱量的形式消耗掉，導(dǎo)致出現(xiàn)故障的光伏組件溫度升高而產(chǎn)生熱斑效應(yīng)［4］。熱斑的存在會(huì)使得光伏組件的發(fā)電能力大打折扣，若不及時(shí)進(jìn)行維護(hù)，會(huì)導(dǎo)致整個(gè)光伏組件損壞，甚至引起火災(zāi)［5］。因此，光伏組件的故障檢測(cè)對(duì)于太陽(yáng)能發(fā)電行業(yè)來說具有重要的研究?jī)r(jià)值與意義［6］。

紅外圖像可很直觀地顯示太陽(yáng)電池工作時(shí)的溫度分布情況，利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)基于紅外圖像的熱斑檢測(cè)已成為當(dāng)前研究熱點(diǎn)。王道累等［7］通過將多尺度特征學(xué)習(xí)模塊應(yīng)用到Faster R-CNN二階段目標(biāo)檢測(cè)網(wǎng)絡(luò)來提高紅外圖像熱斑識(shí)別精確度；孫海蓉等［8］在Inception-v3模型的基礎(chǔ)上構(gòu)建深度遷移學(xué)習(xí)模型，在小樣本熱斑數(shù)據(jù)集上完成訓(xùn)練，得到可用于熱斑識(shí)別的網(wǎng)絡(luò)模型；蔣琳等［9］基于灰度直方圖的B樣條最小二乘擬合的處理方法抑制紅外圖像噪聲來檢測(cè)熱斑；柳揚(yáng)等［10］將原始紅外圖像進(jìn)行灰度化處理，并將灰度圖像進(jìn)行K均值聚類，再通過線性增強(qiáng)、閾值分割等處理，根據(jù)數(shù)據(jù)與圖形結(jié)合來檢測(cè)熱斑。以上方法主要基于手持設(shè)備拍攝的紅外圖像進(jìn)行研究，隨著無人機(jī)技術(shù)的不斷發(fā)展，獲取紅外圖像的方式由手持拍攝逐漸轉(zhuǎn)變?yōu)楹脚?，而無人機(jī)航拍圖像由于拍攝高度和方位的原因，其圖像呈現(xiàn)背景噪聲大、目標(biāo)尺寸差異大、故障熱斑小等特點(diǎn)，用已有方法對(duì)航拍紅外圖像進(jìn)行熱斑檢測(cè)，易發(fā)生小目標(biāo)漏檢的情況。本文提出一種針對(duì)航拍紅外圖像的光伏熱斑故障分類檢測(cè)方法，將改進(jìn)的多頭自注意力機(jī)制CSPMAT引入到New CSP-Darknet網(wǎng)絡(luò)中，構(gòu)建CSPMAT-Darknet模型，以改善訓(xùn)練過程中小目標(biāo)特征丟失的情況，提高模型檢測(cè)精度以及泛化能力，實(shí)現(xiàn)熱斑故障分類檢測(cè)任務(wù)。

1 紅外數(shù)據(jù)集

1.1 航拍紅外圖像的特點(diǎn)

本文采用內(nèi)蒙古某光伏電站利用紅外相機(jī)航拍所得到的紅外圖像，如圖1所示，可明顯看出，所拍攝的紅外圖像背景噪聲較大，且熱斑故障的形狀和大小各異，在學(xué)習(xí)過程中，一些小目標(biāo)易丟失其特征，識(shí)別難度較高。

1.2 熱斑故障類型

故障類型可視化圖如圖2所示，分為太陽(yáng)電池故障、二極管故障、遮擋故障以及其他類型。太陽(yáng)電池故障表現(xiàn)為光伏組件產(chǎn)生的熱斑亮度和溫度較高，造成太陽(yáng)電池故障的原因有裂痕、碎裂、破損等情況，如圖2a所示。二極管故障表現(xiàn)為光伏組件某一電池板上出現(xiàn)規(guī)則矩形熱斑，其故障原因?yàn)榻M件背面接線盒中的二極管出現(xiàn)被擊穿，導(dǎo)致其所控制的這一組太陽(yáng)電池?zé)o法轉(zhuǎn)換為電能，如圖2b所示。遮擋故障表現(xiàn)為光伏板上顯然有不規(guī)則形狀異物，此種情況多為鳥糞、灌叢樹木、垃圾等引起的，不僅要考慮光伏板本身的維護(hù)處理，還要將遮擋物及時(shí)移除，避免造成后續(xù)的問題，如圖2c所示。還有一類圖像特點(diǎn)呈現(xiàn)為光伏陣列某一側(cè)發(fā)亮狀態(tài)成漸進(jìn)式，多數(shù)由于地勢(shì)起伏、溝壑等地理位置因素導(dǎo)致，這部分區(qū)域雖未形成故障，但仍需工作人員提起注意，這類圖像歸為其他類型，如圖2d所示。

由可視化圖像可知，各類故障熱斑形狀及大小不規(guī)則，尤其在太陽(yáng)電池故障和遮擋故障中，這種現(xiàn)象更明顯。本文將利用所提出的檢測(cè)方法對(duì)具有此類特點(diǎn)的數(shù)據(jù)集進(jìn)行故障分類檢測(cè)。

2 CSPMAT-Darknet模型

2.1 CSPNet網(wǎng)絡(luò)

為使網(wǎng)絡(luò)結(jié)構(gòu)能實(shí)現(xiàn)豐富的梯度組合，增強(qiáng)學(xué)習(xí)能力，Wang等［11］提出一種新型的CSPNet（cross stage partial network）網(wǎng)絡(luò)結(jié)構(gòu)。

CSPNet本質(zhì)上是一種優(yōu)化思想，它可很方便地應(yīng)用于其他不同的網(wǎng)絡(luò)結(jié)構(gòu)來提高模型的性能，比如DenseNet［12］、ResNet［13］等，其結(jié)構(gòu)如圖3所示。其核心內(nèi)容為將網(wǎng)絡(luò)輸入特征分成第一部分、第二部分兩個(gè)部分，第一部分為CSPNet Neck，第二部分為CSPNet Backbone，提取圖像特征得到第三部分，第一部分通過簡(jiǎn)單而有效的跨階段連接來實(shí)現(xiàn)與第三部分部分精細(xì)的特征融合，提高模型的表達(dá)能力，這種設(shè)計(jì)可有效提高圖像分割的準(zhǔn)確性和效率［14］。

2.2 基于CSPNet改進(jìn)的多頭自注意力機(jī)制

雙向編碼器表征法（bidirectional encoder representations from transformers，BERT）是一類預(yù)訓(xùn)練的深度學(xué)習(xí)結(jié)構(gòu)，多頭自注意力機(jī)制（multi-head self-attention）是此模型中非常關(guān)鍵的角色［15］。

多頭自注意力機(jī)制基于深度學(xué)習(xí)的思想，可權(quán)衡序列中的重要程度，篩選重要程度高的信息進(jìn)行加權(quán)聚合。此機(jī)制的思想可用人的注意力來比擬，當(dāng)人眼觀察一片區(qū)域時(shí)，能捕捉到該區(qū)域的各部分，并有一個(gè)全面感知，但由于每個(gè)部分所占有的權(quán)重并不相同，人眼總是先注意到較吸引目光的物體。而多頭自注意力機(jī)制能使此區(qū)域各部分的信息進(jìn)行融合，以做進(jìn)一步處理。其本質(zhì)為對(duì)多個(gè)獨(dú)立的Attention計(jì)算進(jìn)行集成，防止過擬合［16］。

本文結(jié)合CSPNet網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，對(duì)多頭自注意力機(jī)制進(jìn)行改進(jìn)，提出CSPMAT網(wǎng)絡(luò)模型。首先將輸入的特征劃分為兩部分，一部分輸入到CBS模塊中，通過卷積層和激活函數(shù)前的BN（batch normalization）層以減弱由于數(shù)據(jù)偏移或增大造成的負(fù)面影響；另一部分通過線性變換映射到多個(gè)子空間中，在對(duì)應(yīng)的子空間內(nèi)計(jì)算注意力權(quán)重，并將所有子空間的注意力權(quán)重進(jìn)行加權(quán)求和處理，得到最終注意力權(quán)重，然后將注意力權(quán)重與對(duì)應(yīng)的值向量相乘，得到每個(gè)子空間的注意力表示，將所有子空間的注意力表示進(jìn)行拼接，得到多頭自注意力輸出，將其與第一部分輸出進(jìn)行特征融合得到CSPMAT網(wǎng)絡(luò)輸出。該模型能實(shí)現(xiàn)更豐富的梯度組合，提高推理的精度。CSPMAT網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4中，[Wq、Wk]和[Wv]為權(quán)重矩陣，需要在學(xué)習(xí)過程中更新，將輸入[X]分別與權(quán)重矩陣[Wq、Wk]、[Wv]相乘，得到相應(yīng)向量[Q、K、V]。其矩陣的形式為：

[Q=Wq×XK=Wk×XV=Wv×X]""""""" （1）

將向量[Q、K、V]經(jīng)過線性變換環(huán)節(jié)形成多頭結(jié)構(gòu)，每一個(gè)頭都有其獨(dú)立的向量[Q′、K′、V′]，利用每個(gè)頭的[Q′]和[K′]通過點(diǎn)乘計(jì)算方式得到每?jī)蓚€(gè)輸入向量之間的相關(guān)性，即計(jì)算每個(gè)Attention的值，其矩陣形式為：

[A=K′T?Q′]" （2）

將得到的[A]經(jīng)歸一化處理后，得到[A′]，其表達(dá)式為：

[A′=softMax（A）]""" （3）

將[A′]與[V′]相乘得到每個(gè)頭的輸出[B′]。其表達(dá)式為：

[B′=V′?A′]"""""""" （4）

將[n]個(gè)頭各自的輸出[B′]通過Concat環(huán)節(jié)拼接成矩陣[B]。其表達(dá)式為：

[MultiHead（Q、K、V）=Concat（B′1，…，B′n）]""""" （5）

最后通過CBS模塊得到多頭注意力輸出，并與CSPNet網(wǎng)絡(luò)結(jié)構(gòu)的第一部分進(jìn)行特征融合，得到CSPMAT輸出。

2.3 CSPMAT-Darknet網(wǎng)絡(luò)搭建

紅外圖像背景噪聲較大，需檢測(cè)的目標(biāo)極易與復(fù)雜的背景混淆，由于one-stage算法直接回歸目標(biāo)位置和類別，可更好地處理小目標(biāo)的檢測(cè)問題，故本文采用one-stage目標(biāo)檢測(cè)算法。同時(shí)為獲取更高的檢測(cè)精度，在選取檢測(cè)器時(shí)要選擇一個(gè)圖像特征提取能力突出且結(jié)構(gòu)及參數(shù)適當(dāng)?shù)闹鞲删W(wǎng)絡(luò)，例如ResNeXt［17］、Inception［18］等網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜或參數(shù)量較大，會(huì)使得檢測(cè)效率過低，而像AlexNet［19］、MobileNetV2［20］等結(jié)構(gòu)簡(jiǎn)單的網(wǎng)絡(luò)對(duì)目標(biāo)特征的提取能力不足。經(jīng)過比較，本文將選擇YOLOv5的主干網(wǎng)絡(luò)New CSP-Darknet，并利用所提出的CSPMAT對(duì)其進(jìn)行改進(jìn)，構(gòu)建CSPMAT-Darknet模型，結(jié)合FPN+PAN網(wǎng)絡(luò)結(jié)構(gòu)對(duì)不同層結(jié)構(gòu)之間的特征進(jìn)行多尺度融合?；贑SPMAT-Darknet的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文方法的有效性，利用同樣的紅外圖像數(shù)據(jù)集在不同的網(wǎng)絡(luò)下進(jìn)行檢測(cè)并比較，對(duì)改進(jìn)模型的性能進(jìn)行驗(yàn)證。

3.1 實(shí)驗(yàn)準(zhǔn)備

本實(shí)驗(yàn)所運(yùn)行的硬件環(huán)境為Intel CPU i7-11800H和NVIDIA GeForce GTX 3060 GPU，顯存12 G。代碼由python編寫，Pytorch搭建模型結(jié)構(gòu)。由于服務(wù)器配置有限，批處理大?。╞atch_size）設(shè)置為8，迭代周期（epoch）設(shè)置為200。

3.2 數(shù)據(jù)集準(zhǔn)備

實(shí)驗(yàn)中使用的數(shù)據(jù)集來源于內(nèi)蒙古赤峰某分布式光伏電站，在天氣狀況良好的情況下采用裝載紅外相機(jī)的無人機(jī)拍攝光伏組件。將所采集的紅外圖像中選擇2121張存在熱斑故障的圖像作為數(shù)據(jù)集，分辨率為640×512。

將數(shù)據(jù)集按照8∶1∶1劃分為訓(xùn)練集、驗(yàn)證集及測(cè)試集，并通過VOC2012格式的數(shù)據(jù)集標(biāo)注軟件（LabelImg）來標(biāo)注熱斑故障的實(shí)際位置（Ground truth），在標(biāo)注過程中，不僅標(biāo)定光斑的位置，且對(duì)故障進(jìn)行分類標(biāo)定，將故障分為太陽(yáng)電池故障（CellFailure），二極管故障（DiodaFailure）、遮擋故障（Occlude）、其他類型（Other）這4種主要類型。其中太陽(yáng)電池故障3045處，二極管故障568處，遮擋故障682處，其他類型1544處。

3.3 評(píng)價(jià)指標(biāo)

為驗(yàn)證本文方法較其他方法的優(yōu)越性，對(duì)目標(biāo)檢測(cè)方法做出定量評(píng)價(jià)。通過均值平均精度（mean average precision，[mAP]）、精確率（precision，[P]）、召回率（recall，[R]）、[F1]值（F-measure）等評(píng)價(jià)指標(biāo)來評(píng)價(jià)各方法的分類性能。在本文所涉及實(shí)驗(yàn)中，存在故障的光伏組件紅外圖像為正例，正常工況下的太陽(yáng)電池紅外圖像為負(fù)例，精確率即被準(zhǔn)確檢出的正例和負(fù)例與樣本總數(shù)量的比值。對(duì)于正負(fù)樣本數(shù)量不平衡的樣本，僅通過精確率無法合理評(píng)價(jià)模型性能，因此通過精確率、召回率等指標(biāo)進(jìn)行評(píng)價(jià)，上述相關(guān)評(píng)價(jià)指標(biāo)公式為：

[P=NTPNTP+NFP]"""" （6）

[R=NTPNTP+NFN]""" （7）

[F1=2×P×RP+R]""" （8）

式中：[NTP]——正確檢測(cè)到故障的樣本數(shù)量；[NFP]——錯(cuò)誤檢測(cè)到故障的樣本數(shù)；[NFN]——有故障的樣本未被檢測(cè)出，即漏檢數(shù)量。

3.4 模型評(píng)估

在本節(jié)中，對(duì)于不同的目標(biāo)檢測(cè)方法，將通過可視化結(jié)果展示和定量實(shí)驗(yàn)分析兩方面來評(píng)估本文所提出算法的優(yōu)質(zhì)性能。本文將與two-stage目標(biāo)檢測(cè)算法Faster R-CNN和one-stage目標(biāo)檢測(cè)算法SSD、YOLOv5以及其他yolo系列模型進(jìn)行比較，通過不同網(wǎng)絡(luò)不同角度的對(duì)比來說明所提出模型的有效性。將相同的數(shù)據(jù)集分別用上述的目標(biāo)檢測(cè)算法進(jìn)行訓(xùn)練，模型結(jié)果均已達(dá)到最佳狀態(tài)。

3.4.1 檢測(cè)結(jié)果可視化效果分析

為驗(yàn)證各模型的檢測(cè)效果，在本文數(shù)據(jù)集的測(cè)試集中選取含有太陽(yáng)電池故障、遮擋故障、二極管故障的4張較有代表的光伏組件紅外圖像，并將這4張圖片拼在一起進(jìn)行檢測(cè)，圖6a為待檢測(cè)的紅外圖像，圖6b為待檢測(cè)紅外圖像的各故障的真實(shí)位置。

將上述待檢測(cè)圖像輸入到各模型中，可視化檢測(cè)結(jié)果如圖7所示。檢測(cè)結(jié)果包括缺陷范圍框、缺陷類別、缺陷置信度。除了本文模型，其他模型檢測(cè)結(jié)果均未檢測(cè)出太陽(yáng)電池故障，其原因?yàn)殡S著網(wǎng)絡(luò)的深入，小熱點(diǎn)缺陷特征會(huì)被卷積和下采樣操作削弱，甚至消失，特征消失則導(dǎo)致小熱點(diǎn)缺陷無法檢測(cè)。由圖7a可知，SSD算法僅檢測(cè)出了一處遮擋故障，其他故障均漏檢；由圖7b可知，F(xiàn)aster R-CNN算法檢測(cè)存在二極管故障重復(fù)檢測(cè)、太陽(yáng)電池故障和遮擋故障漏檢現(xiàn)象。由圖7c～圖7e可知，分析YOLO系列算法檢測(cè)均存在不同程度的漏檢。通過圖7c與圖7f，觀察本文模型對(duì)YOLOv5的改進(jìn)效果，可明顯看出，本文模型能實(shí)現(xiàn)對(duì)小目標(biāo)精準(zhǔn)的位置檢測(cè)并能正確分類。可視化結(jié)果表明，本文所提出的CSPMAT-Darknet網(wǎng)絡(luò)模型能明顯改善航拍光伏紅外圖像缺陷檢測(cè)中的小目標(biāo)特征丟失情況。

3.4.2 消融實(shí)驗(yàn)

將改進(jìn)后的模型與YOLOv5進(jìn)行比較來驗(yàn)證改進(jìn)模型效果，P-R對(duì)比曲線如圖8所示，圖中A、B點(diǎn)分別為兩模型[P]、[R]相等時(shí)的取值。

如果一個(gè)模型的P-R曲線被另一個(gè)模型的P-R曲線完全包覆，則后者的識(shí)別性能將顯著優(yōu)于前者。由圖8可知，經(jīng)過改進(jìn)后的模型，與原模型的P-R曲線出現(xiàn)交點(diǎn)，此時(shí)，通過兩種方法去評(píng)判模型性能。通過P-R曲線下方面積或平衡點(diǎn)（break-event point，BEP，P=R時(shí)取值）判定，可看出，本文模型P-R曲線與軸的封閉區(qū)域面積明顯大于YOLOv5，且點(diǎn)B對(duì)應(yīng)的P與R取值大于點(diǎn)A。由此得出結(jié)論，改進(jìn)后的網(wǎng)絡(luò)對(duì)整體的故障識(shí)別起到了正向的作用，提高了識(shí)別精度。

為了檢驗(yàn)本文模型在分類和檢測(cè)方面的表現(xiàn)，將4種故障類別的檢測(cè)精度進(jìn)行比較，對(duì)比結(jié)果如表1所示?？煽闯觯^YOLOv5模型，mAP提高了13.97個(gè)百分點(diǎn)，優(yōu)化了模型的故障分類效果。尤其對(duì)于檢測(cè)目標(biāo)較小的太陽(yáng)電池故障和檢測(cè)目標(biāo)差異較大的遮擋類故障，平均精度（average precision，AP）分別提高了18.3和30.1個(gè)百分點(diǎn)，且其他兩種故障類型AP也有一定的提升。說明本文所提出的CSPMAT-Darknet網(wǎng)絡(luò)可明顯提高模型在復(fù)雜背景干擾下對(duì)小目標(biāo)特征提取的能力，提高檢測(cè)精度，且泛化能力增強(qiáng)。

3.4.3 與其他模型對(duì)比

如表2所示，給出了two-stage目標(biāo)檢測(cè)算法以及one-stage目標(biāo)檢測(cè)算法模型在相同數(shù)據(jù)集上對(duì)不同故障類型預(yù)測(cè)AP對(duì)比結(jié)果。實(shí)驗(yàn)結(jié)果顯示，本文所提模型網(wǎng)絡(luò)效果最佳，所識(shí)別故障類型的精度均優(yōu)于其他模型，其中太陽(yáng)電池故障與遮擋故障的識(shí)別精度遠(yuǎn)高于其他模型。說明對(duì)于尺寸差異較大的目標(biāo)圖像級(jí)分類任務(wù)，CSPMAT可用于融合多尺度特征，使得網(wǎng)絡(luò)性能得到明顯提升。

表3為不同類型模型識(shí)別精確率[P]、召回率[R、F1]值與mAP對(duì)比。通過實(shí)驗(yàn)結(jié)果可看出，本文所提出的模型與其他4種模型相比其故障類型檢測(cè)的精確度、召回率、[F1]、mAP均最高，有較理想的故障分類以及定位能力，且泛化能力較高。

4 結(jié) 論

本文將多頭自注意力機(jī)制結(jié)合CSPNet網(wǎng)絡(luò)結(jié)構(gòu)做出改進(jìn)，并將改進(jìn)后的網(wǎng)絡(luò)引入到New CSP-Darknet網(wǎng)絡(luò)中，提出CSPMAT-Darknet模型，該模型能很好地適應(yīng)背景擾動(dòng)較大、檢測(cè)目標(biāo)尺寸差異較大的航拍紅外數(shù)據(jù)集。改進(jìn)的網(wǎng)絡(luò)可顯著提升小目標(biāo)檢測(cè)任務(wù)中的性能，提高小目標(biāo)檢測(cè)精度。通過對(duì)比實(shí)驗(yàn)分析可知，本文模型在光伏組件故障檢測(cè)任務(wù)中，mAP達(dá)到82.92%，相較于其他模型的檢測(cè)精度和泛化能力均具有優(yōu)勢(shì)。

［參考文獻(xiàn)］

［1］"""""" 王道累， 姚勇， 張世恒， 等. 基于紅外熱圖像的光伏組件熱斑深度學(xué)習(xí)檢測(cè)方法［J］. 中國(guó)電機(jī)工程學(xué)報(bào)， 2023， 43（24）： 9608-9616.

WANG D L， YAO Y， ZHANG S H， et al. Deep learning detection method of photovoltaic module hot spot based on infrared thermal image［J］. Proceedings of the CSEE， 2023， 43（24）： 9608-9616.

［2］"""""" 魏卓航， 林培杰， 陳志聰， 等. 改進(jìn)YOLOv5的光伏組件熱斑及遮擋物檢測(cè)［J］. 福州大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2023， 51（1）： 33-40.

WEI Z H， LIN P J， CHEN Z C， et al. Detection of photovoltaic module hot spots and shelters on improved YOLOv5［J］. Journal of Fuzhou University （natural science edition）， 2023， 51（1）： 33-40.

［3］"""""" 蔣琳， 蘇建徽， 李欣， 等. 基于可見光和紅外熱圖像融合的光伏陣列熱斑檢測(cè)方法［J］. 太陽(yáng)能學(xué)報(bào)， 2022， 43（1）： 393-397.

JIANG L， SU J H， LI X， et al. Hot spot detection of photovoltaic array based on fusion of visible and infrared thermal images［J］. Acta energiae solaris sinica， 2022， 43（1）： 393-397.

［4］"""""" 蔡潔聰， 呂洪坤， 朱凌云， 等. 光伏發(fā)電站熱斑檢測(cè)技術(shù)綜述［J］. 電源技術(shù)， 2021， 45（5）： 683-685.

CAI J C， LYU H K， ZHU L Y， et al. Review of hot spot detection technology in photovoltaic power station［J］. Chinese journal of power sources， 2021， 45（5）： 683-685.

［5］"""""" 陳功， 蔡磊， 張琳， 等. 光伏熱斑模擬建模及熱成像分析［J］. 電子測(cè)量與儀器學(xué)報(bào)， 2021， 35（8）： 191-197.

CHEN G， CAI L， ZHANG L， et al. Photovoltaic hotspot simulation modeling and thermal imaging analysis［J］. Journal of electronic measurement and instrumentation， 2021， 35（8）： 191-197.

［6］"""""" 管寬岐， 藺雨桐， 趙雨薇， 等. 基于深度學(xué)習(xí)的航拍光伏板紅外圖像熱斑檢測(cè)方法研究［J］. 電子測(cè)量技術(shù)， 2022， 45（22）： 75-81.

GUAN K Q， LIN Y T， ZHAO Y W， et al. Photovoltaic hot spot detection of aerial infrared image based on deep learning［J］. Electronic measurement technology， 2022， 45（22）： 75-81.

［7］"""""" 王道累， 李超， 李明山， 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的光伏組件熱斑檢測(cè)［J］. 太陽(yáng)能學(xué)報(bào)， 2022， 43（1）： 412-417.

WANG D L， LI C， LI M S， et al. Solar photovoltaic modules hot spot detection based on deep convolutional neural networks［J］. Acta energiae solaris sinica， 2022， 43（1）： 412-417.

［8］"""""" 孫海蓉， 李號(hào). 基于深度遷移學(xué)習(xí)的小樣本光伏熱斑識(shí)別方法［J］. 太陽(yáng)能學(xué)報(bào)， 2022， 43（1）： 406-411.

SUN H R， LI H. Photovoltaic hot spot identification method for small sample based on deep transfer learning［J］. Acta energiae solaris sinica， 2022， 43（1）： 406-411.

［9］"""""" 蔣琳， 蘇建徽， 施永， 等. 基于紅外熱圖像處理的光伏陣列熱斑檢測(cè)方法［J］. 太陽(yáng)能學(xué)報(bào)， 2020， 41（8）： 180-184.

JIANG L， SU J H， SHI Y， et al. Hot spots detection of operating PV arrays through IR thermal image［J］. Acta energiae solaris sinica， 2020， 41（8）： 180-184.

［10］"""" 柳揚(yáng)， 陳美珍， 徐勝彬， 等. 基于熱成像與灰度轉(zhuǎn)換技術(shù)的光伏陣列缺陷檢測(cè)方法［J］. 電子測(cè)量技術(shù)， 2021， 44（11）： 96-102.

LIU Y， CHEN M Z， XU S B， et al. Defect detection method for photovoltaic arrays based on thermal imaging and gray conversion technology［J］. Electronic measurement technology， 2021， 44（11）： 96-102.

［11］"""" WANG C Y， MARK LIAO H Y， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Seattle， WA， USA， 2020： 1571-1580.

［12］"""" HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA， 2017： 2261-2269.

［13］"""" HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA， 2016： 770-778.

［14］"""" JU C， GUAN C T. Tensor-CSPNet： a novel geometric deep learning framework for motor imagery classification［J］. IEEE transactions on neural networks and learning systems， 2023， 34（12）： 10955-10969.

［15］"""" THANGO B A， JORDAAN J A， NNACHI A F. On the impact of solar photovoltaic generation on the thermal ageing of transformers［C］//2020 6th IEEE International Energy Conference （ENERGYCon）. Gammarth， Tunisia， 2020： 356-359.

［16］"""" LI Z T， CHEN G K， ZHANG T X. A CNN-transformer hybrid approach for crop classification using multitemporal multisensor images［J］. IEEE journal of selected topics in applied earth observations and remote sensing， 2020， 13： 847-858.

［17］"""" XIE S N， GIRSHICK R， DOLLáR P， et al. Aggregated residual transformations for deep neural networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA， 2017： 5987-5995.

［18］"""" SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston， MA， USA， 2015： 1-9.

［19］"""" KRIZHEVSKY A ， SUTSKEVER I ， HINTON G. ImageNet classification with deep convolutional neural Networks［J］. Advances in neural information processing systems， 2012， 25（2）： 84-90.

［20］"""" SANDLER M， HOWARD A， ZHU M， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA， 2018： 4510-4520.

CLASSIFICATION DETECTION METHOD OF PHOTOVOLTAIC THERMAL

SPOT IN AERIAL INFRARED IMAGE

Zhang Yan1，2，Pei Xinghao1，2，Li Bing1，Zhang Xiong1

（1. Department of Automation， North China Electric Power University， Baoding 071003， China；

2. Hebei Technology Innovation Center of Simulation ＆ Optimized Control for Power Generation，

North China Electric Power University， Baoding 071003， China）

Abstract：A photovoltaic thermal spot fault classification detection method is proposed to resolve the issue of small target feature loss in the thermal spot detection method for aerial photovoltaic infrared images. Firstly， the multi-head self-attention mechanism is integrated with the CSPNet structure for improvement， resulting in the proposed CSPMAT network. Subsequently， this network is introduced into the New CSP-Darknet architecture， leading to the construction of the CSPMAT-Darknet model， achieving both localization and classification of photovoltaic component thermal spots. Experimental results demonstrate that the model enhances performance in small target detection tasks significantly. Moreover， in fault classification detection tasks with substantial target size variations， the achieved mean average precision （mAP） reaches 82.92%， an increase of 13.97 percentage points， thereby showcasing commendable detection accuracy and generalization capability.

Keywords：infrared imaging； image recognition； feature extraction； CSPNet； bullish self-attention mechanism； classification detection