王 浩，閆 號(hào)，葉海瑞，柏 嵩，李藝達(dá)

〈紅外應(yīng)用〉

基于無人機(jī)的光伏電站智能巡檢

王 浩1，閆 號(hào)2，葉海瑞3，柏 嵩3，李藝達(dá)2

（1. 國(guó)家電投集團(tuán)江蘇電力有限公司，江蘇 南京 210000；2. 南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210000； 3. 國(guó)家電投集團(tuán)江蘇新能源有限公司，江蘇 鹽城 224000）

太陽能光伏發(fā)電是國(guó)家能源結(jié)構(gòu)性調(diào)整的重要組成部分，近幾年隨著光伏發(fā)電產(chǎn)業(yè)規(guī)模迅速擴(kuò)張，光伏電站的日常運(yùn)維壓力日益增加。針對(duì)光伏電站面積大、人工檢測(cè)效率低等問題，文章對(duì)基于無人機(jī)的光伏電站智能巡檢技術(shù)進(jìn)行研究，提出了一個(gè)基于無人機(jī)的光伏電站智能巡檢完整技術(shù)路線，實(shí)現(xiàn)了光伏面板圖像數(shù)據(jù)自動(dòng)化采集與分析，并對(duì)基于計(jì)算機(jī)視覺的缺陷檢測(cè)方法進(jìn)行研究，采用自適應(yīng)動(dòng)態(tài)閾值法并結(jié)合圖像增強(qiáng)技術(shù)，基于紅外圖像實(shí)現(xiàn)了魯棒的光伏面板缺陷檢測(cè)，結(jié)合可見光數(shù)據(jù)實(shí)現(xiàn)缺陷類型判別，進(jìn)一步根據(jù)相機(jī)POS數(shù)據(jù)及相機(jī)模型解算缺陷坐標(biāo)，實(shí)現(xiàn)缺陷定位，并在實(shí)際場(chǎng)景中驗(yàn)證了所提出技術(shù)路線的有效性。

無人機(jī)；光伏電站；缺陷檢測(cè)；智能巡檢

0 引言

太陽能作為一種來源廣泛的清潔能源，近年來在國(guó)內(nèi)得到了充分的重視，光伏發(fā)電產(chǎn)業(yè)已經(jīng)達(dá)到了一定的規(guī)模[1-2]。巨大的光伏發(fā)電面積對(duì)光伏面板的日常巡檢工作提出了很大的挑戰(zhàn)。光伏面板作為光伏發(fā)電系統(tǒng)的核心組成部分，在日常的運(yùn)行中長(zhǎng)期暴露在自然環(huán)境下，不可避免會(huì)產(chǎn)生各種缺陷，如隱裂、遮擋、碎裂等等，及時(shí)發(fā)現(xiàn)面板缺陷并進(jìn)行人工干預(yù)對(duì)保障電站的發(fā)電效率有重要意義[3]。

傳統(tǒng)的方法主要是對(duì)面板的發(fā)電電流進(jìn)行監(jiān)測(cè)[4]，當(dāng)發(fā)電功率異常則可能存在面板缺陷。由于成本的限制，這種方法只能將故障限定在一定范圍內(nèi)，準(zhǔn)確的故障定位還需要依賴人工排查，檢測(cè)效率低，勞動(dòng)量大。尤其針對(duì)漁光互補(bǔ)光伏電站，電站和魚塘的結(jié)合有效提高了空間的利用率，但同時(shí)也對(duì)光伏面板的巡檢造成了更大的困難。

為了解決上述問題，國(guó)內(nèi)外學(xué)者進(jìn)行了廣泛研究。陸成龍[5]等進(jìn)行無人機(jī)智能巡檢系統(tǒng)硬件以及軟件平臺(tái)設(shè)計(jì)，根據(jù)損傷尺寸理論實(shí)現(xiàn)了對(duì)風(fēng)電光伏的檢測(cè)；王栓虎[6]等分析了無人機(jī)相對(duì)于傳統(tǒng)光伏電站運(yùn)維模式的優(yōu)勢(shì)；但他們僅僅提供了關(guān)于應(yīng)用研究，并未給出具體缺陷檢測(cè)方法。趙玲玲[7]等提出了一種基于HSV空間模型的圖像分割及檢測(cè)的光伏面板缺陷檢測(cè)技術(shù)，能有效地對(duì)復(fù)雜背景下的光伏圖像進(jìn)行區(qū)域分割與檢測(cè)；李香凡[8]等提出了一種基于金字塔圖像序列的數(shù)據(jù)增強(qiáng)方法，該方法可以在不增加噪聲的情況下最大程度地增加小目標(biāo)的訓(xùn)練樣本；Gabriele Roggi[9]等提出了一種基于視覺的引導(dǎo)光伏電站分析測(cè)試自動(dòng)檢測(cè)方法，并通過測(cè)驗(yàn)證明了其有效性；但他們所提出的方法存在對(duì)光照變化魯棒性不強(qiáng)，檢測(cè)效率低，不能滿足實(shí)時(shí)性要求的問題。

本文提出一種基于無人機(jī)的光伏電站智能巡檢方法，巡檢方法首先利用無人機(jī)搭載多光譜相機(jī)進(jìn)行高效的數(shù)據(jù)采集，然后對(duì)采集到的紅外圖像數(shù)據(jù)進(jìn)行自動(dòng)化分析處理，快速檢出并定位缺陷，再結(jié)合可見光圖像對(duì)缺陷類型進(jìn)行判別，指導(dǎo)電站運(yùn)維人員對(duì)缺陷面板采取適當(dāng)?shù)氖侄芜M(jìn)行修復(fù)。

1 無人機(jī)智能巡檢技術(shù)路線

基于無人機(jī)的光伏面板智能巡檢系統(tǒng)包含軟、硬件模塊，其中，由無人機(jī)飛行平臺(tái)及云臺(tái)相機(jī)共同構(gòu)成了數(shù)據(jù)采集硬件平臺(tái)，結(jié)合航線自動(dòng)規(guī)劃技術(shù)組成了數(shù)據(jù)采集子系統(tǒng)；缺陷識(shí)別與缺陷定位模塊組成了數(shù)據(jù)分析子系統(tǒng)。

如圖1，使用大疆經(jīng)緯M300RTK作為無人機(jī)飛行平臺(tái)，該飛行平臺(tái)基于實(shí)時(shí)動(dòng)態(tài)測(cè)量（Real Time Kinematic，RTK）技術(shù)可實(shí)現(xiàn)厘米級(jí)精確定位，單架次續(xù)航時(shí)間超過45min，為任務(wù)高效可靠執(zhí)行提供了有效保障。平臺(tái)搭載大疆禪思H20T云臺(tái)相機(jī)，該云臺(tái)相機(jī)由一個(gè)廣角相機(jī)、一個(gè)變焦相機(jī)、一個(gè)紅外相機(jī)和一個(gè)激光測(cè)距傳感器組成，其中可見光變焦相機(jī)有效分辨率為2000萬像素，可實(shí)現(xiàn)23倍光學(xué)混合變焦，紅外成像相機(jī)分辨率640×512像素，熱靈敏度＜50mK，可以較好滿足任務(wù)對(duì)圖像質(zhì)量的要求。利用該云臺(tái)相機(jī)可同時(shí)獲取視場(chǎng)相似的紅外和可見光圖像，為缺陷檢測(cè)與缺陷類型判別提供了很大的便利。

如圖2(a)所示為無人機(jī)執(zhí)行自動(dòng)化數(shù)據(jù)采集任務(wù)，圖2(b)、(c)分別為采集到的紅外和可見光正射圖像。

圖1 數(shù)據(jù)采集硬件平臺(tái)

圖2 無人機(jī)數(shù)據(jù)采集

智能巡檢流程如圖3所示：首先劃定光伏面板區(qū)域，根據(jù)鏡頭參數(shù)、設(shè)定的飛行高度、畫面重疊率等參數(shù)，由算法自動(dòng)生成任務(wù)航線，然后由無人機(jī)搭載紅外熱成像相機(jī)和可見光相機(jī)進(jìn)行自主數(shù)據(jù)采集；對(duì)采集到的圖像數(shù)據(jù)進(jìn)行分析處理，基于紅外圖像進(jìn)行面板熱斑的檢測(cè)與分割，然后結(jié)合可見光圖像對(duì)造成熱斑區(qū)域進(jìn)行缺陷判別，最后根據(jù)照片位置與姿態(tài)系統(tǒng)（position and orientation system，POS）數(shù)據(jù)與相機(jī)成像模型實(shí)現(xiàn)缺陷定位。

圖3 巡檢系統(tǒng)工作流程圖

2 缺陷檢測(cè)與定位

2.1 缺陷檢測(cè)

從紅外圖像中識(shí)別出熱斑區(qū)域可以劃歸為計(jì)算機(jī)視覺中的目標(biāo)檢測(cè)任務(wù)。近年來隨著人工智能的快速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)已經(jīng)在各行業(yè)領(lǐng)域得到廣泛的應(yīng)用[10]。但是基于深度學(xué)習(xí)的方法依賴于大量人工標(biāo)注的數(shù)據(jù)，數(shù)據(jù)準(zhǔn)備工作量大，且算法執(zhí)行效率較低。因此，本文提出一種自適應(yīng)動(dòng)態(tài)閾值分割的方法進(jìn)行缺陷檢測(cè)。算法主要分為3步，分別是預(yù)處理、熱斑分割提取以及異常原因判斷。算法流程如圖4。

由于基于無人機(jī)的缺陷采集單元是無人機(jī)在航線飛行過程中等時(shí)間或者等間距進(jìn)行拍照，采集到的數(shù)據(jù)會(huì)存在較多的背景，背景的存在會(huì)對(duì)缺陷檢測(cè)的效率和識(shí)別率帶來一定的影響，因此，首先通過大津法[11]對(duì)圖像進(jìn)行前景分割提取。如圖5，可以看出光伏面板的灰度值與水面等背景的灰度值相差較大，按照大津法求得的分割閾值可以使前景與背景圖像的類間方差最大，類間方差可表示為：

＝0(0－)2＋1(1－)2(1)

式中：0，1分別為前景像素點(diǎn)數(shù)和背景像素點(diǎn)數(shù)占整幅圖像的比例；0和1分別為前景像素和背景像素的平均灰度；為整幅圖像的平均灰度，可表示為：

＝00＋11(2)

將式(2)代入式(1)可得：

＝01(0－1)2(3)

采用遍歷的方法得到使最大的閾值即為所求。大津法分割結(jié)果如圖6(b)，圖6(a)是其對(duì)應(yīng)的紅外圖像。

圖4 缺陷檢測(cè)算法流程

圖5 紅外數(shù)據(jù)的灰度圖及灰度直方圖

通過圖6(b)可以看出，分割后的二值圖像存在斑點(diǎn)噪聲、邊界不平滑等問題，因此需要進(jìn)一步地開運(yùn)算、閉運(yùn)算處理[12]得到完整的前景和背景區(qū)域。開運(yùn)算是先腐蝕后膨脹的操作，可以平滑邊界，去除背景區(qū)域的噪聲；閉運(yùn)算可以填補(bǔ)前景區(qū)域的孔洞，如圖6(c)所示。

在前處理結(jié)束后，為了提高缺陷識(shí)別率，需要對(duì)原圖像進(jìn)行圖像增強(qiáng)，達(dá)到凸顯缺陷并抑制噪聲的目的，具體地，包括以下步驟：

1）選用3像素×3像素的結(jié)構(gòu)元作為計(jì)算增強(qiáng)系數(shù)的局部窗口。

2）計(jì)算窗口內(nèi)中心點(diǎn)周圍8個(gè)像素點(diǎn)的均值（mean）和標(biāo)準(zhǔn)差（dev），如下式：

式中：X代表中心像素點(diǎn)的8鄰域。

3）計(jì)算窗口增強(qiáng)系數(shù)F。作為中心像素點(diǎn)的新像素。

圖像增強(qiáng)處理后，采用一種自適應(yīng)動(dòng)態(tài)閾值的方法完成紅外圖像熱斑的分割提取。該方法為每個(gè)像素點(diǎn)計(jì)算一個(gè)閾值，首先在15×15的局部窗口進(jìn)行運(yùn)算，計(jì)算每個(gè)窗口中像素的高斯加權(quán)和，然后減去動(dòng)態(tài)閾值即得到該點(diǎn)的閾值。動(dòng)態(tài)閾值(i,j)確定方法如下：

(i,j)＝max(dev(i,j),) (7)

式中：dev為標(biāo)準(zhǔn)差因子用于調(diào)整標(biāo)準(zhǔn)差對(duì)局部噪聲的靈敏度，不能較高或較低，否則會(huì)導(dǎo)致不能提取缺陷或提取整張圖片為缺陷，一般?。?至1；為絕對(duì)動(dòng)態(tài)閾值，在灰度值均勻區(qū)域，局部標(biāo)準(zhǔn)差較低，為了降低單個(gè)灰度值影響，可調(diào)整的值從而忽略均勻環(huán)境的灰度值。則缺陷區(qū)域分割可表示為：

式中：(i,j)為該像素點(diǎn)的高斯加權(quán)和，自適應(yīng)動(dòng)態(tài)閾值分割效果如圖6(d)，進(jìn)行閉運(yùn)算處理得到如圖6(e)。將圖6(c)與圖6(e)進(jìn)行數(shù)學(xué)運(yùn)算，計(jì)算方式為將圖6(c)中像素為0的區(qū)域賦值為1，像素為1的區(qū)域與圖6(e)相乘。得到結(jié)果如圖6(f)，檢測(cè)黑色像素標(biāo)出并映射到原圖上，效果如圖6(g)，即為識(shí)別的熱斑位置。

與前景提取所采用的大津法關(guān)注全局灰度值不同，自適應(yīng)動(dòng)態(tài)閾值分割只關(guān)注局部灰度差異，為每個(gè)像素點(diǎn)計(jì)算單獨(dú)的閾值，可以降低光強(qiáng)隨天氣變化導(dǎo)致成像差異帶來的影響，提高缺陷識(shí)別率。

在紅外圖像中檢測(cè)出熱斑區(qū)域后，根據(jù)紅外圖像和可見光圖像的對(duì)應(yīng)關(guān)系，結(jié)合可見光圖像對(duì)熱斑區(qū)域的缺陷類型進(jìn)行判別，包括內(nèi)部缺陷、碎裂或者異物遮擋，幫助運(yùn)維人員快速確定維修方案，包括清洗、維修和更換。

圖6 檢測(cè)算法處理過程

2.2 缺陷定位

為了將圖像中檢出的缺陷定位到真實(shí)地理坐標(biāo)系中，需要實(shí)現(xiàn)缺陷區(qū)域從圖像坐標(biāo)系到地理坐標(biāo)系的映射。如圖7所示，缺陷在圖像坐標(biāo)系中的坐標(biāo)為(,)，在地心地固坐標(biāo)系ECEF中的坐標(biāo)為E(E,E,E)，存在如下變換關(guān)系：

圖7 缺陷定位坐標(biāo)關(guān)系示意

式中：和分別是地心地固坐標(biāo)系坐標(biāo)系ECEF到相機(jī)坐標(biāo)系C的旋轉(zhuǎn)和平移，可將E(E,E,E)從ECEF坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系C，和可由拍攝照片時(shí)相機(jī)的POS數(shù)據(jù)求解得到；矩陣為相機(jī)的內(nèi)參矩陣，通過矩陣可將相機(jī)坐標(biāo)系下的空間點(diǎn)投影到像素坐標(biāo)系上，可以通過相機(jī)標(biāo)定得到。因此通過公式(3)～(11)逆映射即可將圖像中檢測(cè)出的缺陷轉(zhuǎn)換到地理坐標(biāo)系下，實(shí)現(xiàn)缺陷定位。

3 試驗(yàn)結(jié)果

本文提出的智能巡檢技術(shù)路線試驗(yàn)在建湖漁光互補(bǔ)光伏電站進(jìn)行。漁光互補(bǔ)光伏發(fā)電技術(shù)作為一種把光伏面板建在池塘上的技術(shù)手段[13]，通過池塘養(yǎng)魚、光伏面板發(fā)電達(dá)到資源的更充分利用，但同時(shí)也對(duì)傳統(tǒng)運(yùn)維手段提出了很大的挑戰(zhàn)，因此基于無人機(jī)的智能巡檢技術(shù)具有很大的發(fā)展空間。

如圖8為部分航線示意圖，其中劃定的巡檢區(qū)域面積接近200000m2，規(guī)劃航線總長(zhǎng)度超過10000m，預(yù)計(jì)任務(wù)總時(shí)長(zhǎng)約1h，可在兩個(gè)架次內(nèi)完成數(shù)據(jù)采集任務(wù)。

使用所提出的方法可在3min內(nèi)完成對(duì)采集到的1200余張照片進(jìn)行分析處理，如圖9為部分處理結(jié)果。

圖9 部分缺陷檢測(cè)結(jié)果

對(duì)檢測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)，如表1所示。可以看出，本文方法對(duì)熱斑區(qū)域的檢出率高于95%，滿足實(shí)際工程應(yīng)用需求，且效率遠(yuǎn)遠(yuǎn)超過傳統(tǒng)巡檢方式。

表1 缺陷檢測(cè)統(tǒng)計(jì)結(jié)果

4 結(jié)論

本文提出了一種完整的基于無人機(jī)的光伏電站智能巡檢技術(shù)路線，所述方法是完整地，可直接用于光伏電站運(yùn)維管理；搭建了無人機(jī)圖像數(shù)據(jù)采集平臺(tái)，利用機(jī)器視覺技術(shù)實(shí)現(xiàn)光伏面板缺陷檢測(cè)與定位。文章將基于圖像處理的方法應(yīng)用到光伏面板缺陷檢測(cè)中，能夠有效檢出、定位和分類缺陷，相比深度學(xué)習(xí)的方法更加高效、貼合實(shí)際運(yùn)維場(chǎng)景要求。并在實(shí)踐中從巡檢效率和精度方面對(duì)所提出的技術(shù)路線及方法進(jìn)行了試驗(yàn)，驗(yàn)證了方法在實(shí)際應(yīng)用場(chǎng)景中的有效性。

[1] 彭向陽, 錢金菊, 吳功平, 等. 架空輸電線路機(jī)器人全自主巡檢系統(tǒng)及示范應(yīng)用[J]. 高電壓技術(shù), 2017, 43(8): 2582-2591.

PENG Xiangyang, QIAN Jinju, WU Gongping, et al. Full automatic inspection system and its demonstration application based on robot for overhead transmission lines[J]., 2017, 43(8): 2582-2591.

[2] 黃山, 吳振升, 任志剛, 等. 電力智能巡檢機(jī)器人研究綜述[J]. 電測(cè)與儀表, 2020, 57(2): 26-38.

HUANG Shan, WU Zhensheng, REN Zhigang, et al. Review of electric power intelligent inspection robot[J]., 2020, 57(2): 26-38.

[3] 王培珍, 鄭詩程. 基于紅外圖像的太陽能光伏陣列故障分析[J]. 太陽能學(xué)報(bào), 2010, 31(2): 197–202.

WANG Peizhen, ZHENG Shicheng. Fault analysis of photovoltaic array based on infrared image[J]., 2010, 31(2): 197-202.

[4] 閆萍, 王趕強(qiáng). 電致發(fā)光成像測(cè)試晶體硅光伏組件缺陷的方法標(biāo)準(zhǔn)解讀[J]. 標(biāo)準(zhǔn)化研究, 2020(9): 29-31.

YAN Ping, WANG Ganqiang. Interpretation of standard for test method for cell defects in crystalline silicon photovoltaic modules by electroluminescence (EL) imaging[J]., 2020(9): 29-31.

[5] 陸成龍, 劉忠德, 張皖軍, 等. 無人機(jī)智能巡檢在檢測(cè)風(fēng)電光伏故障中的應(yīng)用研究[J]. 電子設(shè)計(jì)工程, 2021, 29(6): 130-134.

LU Chenglong, LIU Zhongde, ZHANG Wanjun, et al. Research on the application of UAV intelligent inspection in the detection of wind power photovoltaic fault[J]., 2021, 29(6): 130-134.

[6] 王栓虎, 溫向煒. 無人機(jī)在光伏組件巡視檢查中的應(yīng)用分析[J]. 太陽能, 2021(1): 51-54.

WANG Shuanhu, WEN Xiangwei. Application analysis of unmanned aerial vehicle in pv modules inspection[J]., 2021(1): 51-54.

[7] 趙玲玲, 汪燁, 劉俊. 基于無人機(jī)與HSV空間的光伏電池板檢測(cè)分析[J]. 紅外技術(shù), 2020, 42(10): 978-982.

ZHAO Lingling, WANG Ye, LIU Jun. Detection and analysis of photovoltaic panels based on UAV and HSV space[J]., 2020, 42(10): 978-982.

[8] 李香凡, 唐志偉, 胡家龍, 等. 無人機(jī)光伏巡檢的圖像目標(biāo)檢測(cè)算法[J]. 電子世界, 2020(11): 7-8.

LI Xiangfan, TANG Zhiwei, HU Jialong, et al. Image target detection algorithm of UAV photovoltaic inspection[J]., 2020(11): 7-8.

[9] Roggi G , Niccolai A , Grimaccia F , et al. A computer vision line-tracking algorithm for automatic UAV photovoltaic plants monitoring applications[J]., 2020, 13(4): 1-15.

[10] 金映谷, 張濤, 楊亞寧, 等. 基于深度學(xué)習(xí)的產(chǎn)品缺陷檢測(cè)方法綜述[J]. 大連民族大學(xué)學(xué)報(bào), 2020, 22(5): 420-427.

JIN Yinggu, ZHANG Tao, YANG Yaning, et al. Review of product defect detection methods based on deep learning[J]., 2020, 22(5): 420-427.

[11] Otsu N. A threshold selection method from gray-level histograms[J]., 2007, 9(1): 62-66

[12] Natale F, Boato G. Detecting morphological filtering of binary images[J]., 2017, 12(5): 1207-1217.

[13] 徐立波. 漁光互補(bǔ)光伏發(fā)電系統(tǒng)設(shè)計(jì)[J]. 科技風(fēng), 2020(33): 3-4.

XU Libo. Design of fishing light complementary photovoltaic power generation system[J]., 2020(33): 3-4.

Intelligent Patrol Inspection of Photovoltaic Power Station Based on UAVs

WANG Hao1，YAN Hao2，YE Hairui3，BAI Song3，LI Yida2

(1.,,21000,;2.,,21000,;3.,,21000,)

Solar photovoltaic power generation is an important component of a country's energy structural adjustment. With the rapid expansion of the scale of the photovoltaic power generation industry in recent years, the need for an automated daily maintenance of photovoltaic power stations has increased. Traditional manual detection methods are inefficient because photovoltaic power stations are spread over a large area. In this study, we investigate the intelligent inspection technology of a photovoltaic power station based on an unmanned aerial vehicle (UAV). A technical route for an intelligent inspection of a UAV-based photovoltaic power station is proposed. We achieve the automation of photovoltaic panel image data acquisition and analysis and investigate defect detection based on computer vision. We realize photovoltaic panel defect detection based on infrared images using an adaptive dynamic threshold method combined with image enhancement technology, facilitating the classification of defects to be determined by using visible light images. The defect locations are further calculated by combining the POS data and the camera model. Finally, we verify the effectiveness of the proposed technical route in an actual scenario.

UAV, photovoltaic power station, defect detection, intelligent patrol inspection

TN219

A

1001-8891(2022)05-0537-06

2021-07-19；

2021-10-12.

王浩（1986-），男，江蘇徐州人，碩士，工程師，主要研究方向：網(wǎng)絡(luò)通信及信息化。E-mail: wanghao05@spic.com.cn