張 靜,張 潔,燕正亮,張 增,王利偉,閆皓煒

(天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司,天津 300450)

風(fēng)能是清潔能源,受到各國的廣泛關(guān)注.我國風(fēng)能資源豐富,修建了大量的風(fēng)場及風(fēng)機,但風(fēng)機所處的環(huán)境通常比較惡劣,受到雨雪、雷電等自然因素的影響,風(fēng)機葉片容易出現(xiàn)腐蝕、裂紋、磨損和斷裂等缺陷,日常的巡檢維護是必不可少的.傳統(tǒng)的人工巡檢采用吊籃、回形平臺等方式進行,工作量較大且巡檢效率低.隨著無人機在各行各業(yè)的廣泛應(yīng)用,基于無人機的風(fēng)機巡檢[1–3]已成為主流趨勢.而基于無人機的風(fēng)機自主巡檢以其無人工干預(yù)、高效化地巡檢模式受到了極大的關(guān)注,風(fēng)機自主巡檢是預(yù)先根據(jù)風(fēng)機的形態(tài)進行無人機航跡[4,5]和載荷姿態(tài)[6]的規(guī)劃,在作業(yè)中,無人機自主飛行,載荷自主動作,對各葉片部位進行高質(zhì)量成像,以便后續(xù)分析葉片是否存在缺陷.

在巡檢時,風(fēng)機可能朝向任何方向,而各葉片相對塔筒的相位也是不同的,若光照條件不合適,如產(chǎn)生逆光拍攝,則葉片整體過暗,無法清晰分辨葉片出現(xiàn)的裂紋等缺陷,因此風(fēng)機巡檢過程中的光照分析是必不可少的.光照分析在圖像層面可以理解為曝光度分析,目前的曝光度分析大多基于灰度直方圖.趙芳等[7]以圖像的灰度直方圖為基礎(chǔ),計算平均灰度,依據(jù)峰值灰度和灰度圖像兩側(cè)是否存在零像素區(qū)域,估計圖像曝光量效果是否恰當.尹傳海[8]采用0和255 區(qū)域分析,像素加權(quán)和、兩端溢出等特性對曝光程度進行分析.由于風(fēng)機一般呈白色,葉片等部位的像素值在正常光照下基本處于255 一側(cè),通常的灰度直方圖分析算法[9–11]難以適用.且基于圖像的光照分析算法只能在無人機起飛到達每個葉片部位拍攝后進行判定,并在完成巡檢流程后進行整體評估,此時若多個拍攝點出現(xiàn)光照異常情況,只能重新飛行,極大的影響作業(yè)的效率.本文提出一套從起飛前到作業(yè)中的光照分析算法,全面保證葉片巡檢中拍攝圖像的質(zhì)量.在巡檢前,基于規(guī)劃的航跡和載荷姿態(tài)及太陽方位[12,13]進行光照條件預(yù)判,以便對各拍照點的光照情況進行綜合分析,對是否開展飛行作業(yè)進行指導(dǎo);在巡檢中,對風(fēng)機葉片、塔筒進行分割得到關(guān)鍵部位區(qū)域,對關(guān)鍵區(qū)域的圖像進行灰度分析,從而判定光照是否合適,同時,本文引入基于加權(quán)均值的整幅圖像光照分析算法,以便全面覆蓋巡檢的各個時刻.

1 基于航跡規(guī)劃點的光照分析

基于航跡規(guī)劃點的光照分析是在起飛前,根據(jù)預(yù)先規(guī)劃的航點及載荷的姿態(tài),對載荷是否存在正對陽光拍攝的情況進行分析.在該情況下,拍攝出現(xiàn)逆光,風(fēng)機葉片在圖像中過暗,極大的影響后續(xù)的缺陷分析.

本文首先根據(jù)巡檢時間、當?shù)鼐暥?、無人機姿態(tài)及載荷姿態(tài),對相機朝向和太陽的方位進行分析,判斷每個拍照點是否發(fā)生逆光,然后,對航跡中所有可能的逆光點進行統(tǒng)計,計算其在整個航跡中所占的比重,進而完成當前巡檢光照是否合適的預(yù)判.

1.1 太陽方位計算

太陽的方位包括高度角和方位角.本文的太陽方位計算,參考李志明等在文獻[12]提出的方法.

太陽高度角指太陽光的入射方向和地平面之間的夾角.當日出或日落時,太陽高度角為0 度(0 rad),當正午時刻時,太陽高度角最大,計算公式如下:

其中,h是高度角,?表示當?shù)鼐暥?δ 表示太陽赤緯角.t表示太陽時角.

太陽赤緯角 δ指地球赤道平面與太陽和地球中心的連線之間的夾角,計算公式如式(2).其中N表示天數(shù).

太陽時角指地球自轉(zhuǎn)的角度.當中午12 點時,太陽時角為0;上午時,太陽時角為負值;下午時,太陽時角為正值.計算公式如下,其中T表示24 小時制的時間.

太陽方位角指太陽光線在地平面的投影與當?shù)刈游缇€的夾角.當太陽在正南方時,太陽方位角為0;當太陽向西運動時,太陽方位角增大;當太陽向東運動時,太陽方位角減小.計算公式如式(4),其中A表示方位角.

1.2 相機拍攝朝向計算

相機的拍攝朝向與飛機和載荷的姿態(tài)角相關(guān),分為俯仰角與方位角.一般,飛機和載荷的俯仰角PitchLoad0、PitchPlane均上正下負,飛機方位角HeadingPlane真北為0,順時針為正.載荷方位角HeadingLoad0是相對值,與機頭指向一致為0,逆時針為正.因此,相機朝向的絕對方位角HeadingLoad和絕對俯仰角為PitchLoad的計算公式如下:

1.3 光照分析

太陽的方位角以正南方為0,相機朝向以真北為0,順時針為正.將太陽方位角轉(zhuǎn)換為與相機朝向同樣的坐標系,轉(zhuǎn)換后的方位角A_h=A+180.單個航跡點,若太陽方位角A_h與相機朝向絕對方位角HeadingLoad相差小于閾值Thheading,且太陽高度角與相機朝向俯仰角差值小于閾值Thpitch,則認為相機可能指向太陽,即產(chǎn)生逆光,當前航跡點的光照不合適.對當前規(guī)劃的所有葉片拍攝航跡點的光照進行分析,統(tǒng)計出現(xiàn)光照不合適的航跡點的數(shù)量,若大于所有航跡點的50%,則判定此次規(guī)劃的航跡在作業(yè)中光照可能不合適,建議暫時不進行巡檢.

基于航跡規(guī)劃點的光照分析方法適用于晴天或者薄云場景,在云層非常厚的嚴重陰天情況下,由于陽光較弱,逆光拍攝狀況減輕,會對本文的預(yù)判準確性產(chǎn)生一定影響.但對于無人機的風(fēng)機巡檢任務(wù)來說,其作業(yè)通常會選擇天氣狀況較好的條件進行,盡可能避免對巡檢圖像產(chǎn)生較大范圍的影響,出現(xiàn)葉片裂紋[14–16]無法分辨的情況,因此,本文方法適用于通常條件的無人機風(fēng)機巡檢.

2 基于圖像的光照分析

基于圖像的光照分析是在巡檢過程中,基于視頻圖像對當前風(fēng)機影像的光照情況進行分析,以便在出現(xiàn)光照過暗或者過亮?xí)r給出提示,及時調(diào)整曝光量,保證葉片拍攝的質(zhì)量.在風(fēng)機巡檢全流程中,基于圖像的光照分析主要分為兩種情況,一是圖像中無風(fēng)機關(guān)鍵部位或占比較小,與自然圖像類似,在光照正常時,灰度直方圖的0 及255 端無顯著溢出.二是圖像中風(fēng)機關(guān)鍵部位占比較大,在光照正常時,灰度直方圖在255 端呈溢出狀態(tài).

本文基于圖像的光照分析方法的流程圖如圖1.

圖1 基于圖像的光照分析流程圖

首先基于無人機巡檢視頻對風(fēng)機的葉片和塔筒關(guān)鍵部位進行分割,若關(guān)鍵部位在視頻圖像中占比較小,則采用加權(quán)均值方法對當前整幅圖像的光照情況進行判別,若關(guān)鍵部位的占比較大,則對關(guān)鍵部位的灰度均值進行分析得到光照判別的結(jié)果.

2.1 葉片及塔筒分割

本文采用Mobilnetv2 作為基礎(chǔ)網(wǎng)絡(luò)進行葉片和塔筒的分割.MobilNet[17]是Google 針對手機等嵌入式設(shè)備提出的一種輕量級的深層卷積神經(jīng)網(wǎng)絡(luò),利用通道可分離的卷積有效減少網(wǎng)絡(luò)參數(shù),提高運算速度.Mobile-Net v2[18]則引入Linear Bottleneck和Inverted Residuals增強網(wǎng)絡(luò)的表達能力.具體地,本文的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示,其中,n表示模塊的重復(fù)數(shù)量,c表示通道數(shù),s表示stride,t表示中間卷積層通道的擴增倍數(shù).bottleneck的連接方式如圖2所示,在stride為1 時,采用殘差連接方式,即將bottleneck 的輸入連接到輸出,在s為2時,采用普通的順序連接.同時,本文在原始MobileNet v2網(wǎng)絡(luò)的基礎(chǔ)上進一步減少了通道數(shù),提高了葉片和塔筒的分割效率.

圖2 bottleneck 結(jié)構(gòu)

表1 分割的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)

參考DeepLab[19–21]語義分割算法,在網(wǎng)絡(luò)輸出部分,本文將第1 個和第13 個bottleneck 的特征作為低維度特征,最后一個bottleneck 的輸出作為高維度特征.對高維度特征分別進行Ratio為8,16,24 的空洞卷積得到多感受野組合特征.將多感受野組合特征與兩個低緯度特征進行采樣及聯(lián)合后經(jīng)卷積解碼得到分割結(jié)果,即mask 圖像,葉片和塔筒關(guān)鍵部位目標點為1,非目標點為0.

2.2 關(guān)鍵部位光照分析

若mask 圖像中關(guān)鍵部位像素點與整幅圖像像素點的比例大于Tharea,則進行關(guān)鍵部位的光照分析,即計算關(guān)鍵部位區(qū)域圖像的灰度均值,若均值小于Thlow或者大于Thhigh,則認為存在光照過度或者光照不足的異常情況.

2.3 整幅圖像光照分析

若mask 圖像中關(guān)鍵部位不存在或者關(guān)鍵部位像素點極少,則上述關(guān)鍵部位光照分析方法無法適用.本文采用加權(quán)均值的方法對整幅圖像進行光照分析.一般,自然圖像的灰度直方圖,在光照異常的情況下,0 或者255 端可能存在溢出,那么灰度直方圖中間區(qū)域?qū)庹赵u判結(jié)果影響較小,兩側(cè)對評判結(jié)果影響較大.本文分別給像素值0–128 賦予遞減的權(quán)重值,給129–255賦予遞增的權(quán)重值,采用下式方法求加權(quán)均值Sum,加權(quán)均值越大則光照異常的可能性越高.其中,weight(i)表示像素值i的權(quán)重,p(i)表示像素i在灰度直方圖中的歸一化值.

各像素值的權(quán)重采用高斯分布進行賦值.其中μ 取128,σ 取30.

3 試驗結(jié)果

3.1 基于航跡規(guī)劃點的光照分析

本文對一段包含277 個點的航跡在不同日期不同時刻進行光照預(yù)判斷,并對各航跡規(guī)劃點的光照分析結(jié)果進行統(tǒng)計.圖3展示了部分航跡規(guī)劃點,其中l(wèi)oadHeadingPitchRoll 表示載荷的方位角、俯仰角和橫滾角;planeHeadingPitchRoll 表示無人機的方位角、俯仰角和橫滾角.pos 表示經(jīng)緯高信息.在巡檢過程中,無人機的方位角進行變化,以便輔助調(diào)整載荷指向,俯仰角和橫滾角保持為0;載荷的方位角和俯仰角進行變化,以便調(diào)整相機的方位拍攝指向和俯仰拍攝指向,來覆蓋葉片的各個部位.

圖3 部分航跡規(guī)劃點

表2展示了其中第1、147、264 個點在2020年1月1日8:00、14:00、17:00 的檢核結(jié)果,1 表示出現(xiàn)光照異常,0 表示光照正常.

表2 基于航跡規(guī)劃的光照分析結(jié)果

不同日期不同時刻航跡規(guī)劃點的光照異常統(tǒng)計結(jié)果如表3所示.20200101,8:00,出現(xiàn)光照不合格的航跡點的比例為42.6%,14:00 的比例為26.7%,18:00 的比例為52.7%.20200623,8:00 出現(xiàn)光照不合格的航跡點的比例為3.6%,14:00為0,18:00為6.4%,可以看出,本文算法符合北半球光照可能異常的規(guī)律,具有較好的光照異常推斷效果.

表3 航跡規(guī)劃點光照異常統(tǒng)計結(jié)果

為了進一步評價光照條件分析的準確性,本文分別對3 個不同時刻的風(fēng)機巡檢情況進行分析,在巡檢中,相機采用固定參數(shù)拍攝模式.將巡檢航跡點與拍攝圖像進行一一對應(yīng),共形成669 條數(shù)據(jù),對圖像采用目視判斷,得到光照正常圖像653 幅,光照異常圖像16幅.基于航跡規(guī)劃點采用本文方法進行光照分析,結(jié)果統(tǒng)計如表4所示,正確判別光照正常點514 個,正確判別光照異常點14 個.

表4 基于航跡規(guī)劃點的光照分析準確率統(tǒng)計

由于本文算法旨在對光照異常情況進行分析,在此,以光照異常作為正樣本,光照正常為負樣本,召回率為87.5%,F1 值為0.1657,準確率為78.92%.

3.2 基于圖像的光照分析

對于葉片和塔筒分割網(wǎng)絡(luò)的訓(xùn)練,輸入數(shù)據(jù)共包含6 種風(fēng)機類型,多種場景、多種拍攝距離、不同焦距的圖像1287 幅,并采用鏡像、光照變換、多尺度等數(shù)據(jù)增強策略.初始learning rate為0.007,采用多項式梯度下降法,迭代200 epoches,測試準確率為0.976,處理效率為28 fps.光照異常判斷閾值Thlow和Thhigh分別為90和130.圖4展示了巡檢視頻圖像的葉片和塔筒分割效果及光照分析結(jié)果,其中圖4(a)為巡檢視頻圖像、圖4(b)為葉片和塔筒分割效果,圖4(c)為光照分析結(jié)果,其中右下角數(shù)字0 表示光照正常,1 表示光照異常.

圖4 基于圖像的光照分析結(jié)果

本文對312 幅圖像進行光照分析算法的測試,經(jīng)過人眼目視判別光照正常的圖像為283 幅,光照異常的圖像為29 幅,如表5所示,算法正確判別光照正常圖像269 幅,正確判別光照異常圖像26 幅.

表5 基于圖像的光照分析結(jié)果統(tǒng)計

以光照異常作為正樣本,光照正常為負樣本,召回率為89.66%,F1 值為0.7536,準確率為94.55%.

4 結(jié)論

本文面向無人機風(fēng)機自主巡檢,在巡檢前,基于規(guī)劃的航跡和載荷姿態(tài)及太陽方位進行光照條件預(yù)判,以便對各拍照點的光照情況進行綜合分析,對是否開展飛行作業(yè)進行指導(dǎo);在巡檢中,基于視頻圖像對風(fēng)機葉片、塔筒進行分割得到關(guān)鍵部位區(qū)域,對關(guān)鍵區(qū)域的圖像進行灰度分析,從而判定光照是否合適.同時,本文引入基于加權(quán)均值的整幅圖像光照分析算法,以便全面覆蓋巡檢的各個時刻.

試驗表明,本文基于規(guī)劃航跡點的光照分析符合自然規(guī)律,預(yù)判分析準確率為78.92%,基于圖像的光照分析準確率達到了94.55%.實現(xiàn)了從巡檢前到巡檢中全方位高準確性的光照檢核,可以有效地指導(dǎo)風(fēng)機巡檢作業(yè),保證拍攝圖像的質(zhì)量.