程勇策,李 楠,喬宇晨,朱向前
(中國電子科技集團公司第三研究所,北京 100015)
在光電偵察中,由于視場角和作用距離之間的矛盾,常常需要調(diào)整相機的焦距。同時,不同距離的目標(biāo)成像后需要調(diào)節(jié)聚焦,以便使圖像更加清晰。由于觀測目標(biāo)的隨機性和人的視覺感受差異,尚沒有一個準(zhǔn)確的聚變焦方法能夠滿足所有的應(yīng)用。
目前針對性的研究中,杜平等[1]實現(xiàn)了50~ 200 mm范圍內(nèi)紅外4倍連續(xù)變焦,完成了對特定景物的放大縮小,且切換過程中不會造成目標(biāo)丟失;潘雪娟等[2]使用了圖像熵作為圖像清晰度的判別函數(shù),對紅外圖像的聚焦效果進行了驗證;周麗平等[3]針對顯微視覺系統(tǒng)小視場的特點,使用了頻域聚焦和時域聚焦相結(jié)合的方法,提高了顯微成像的聚焦正確性和穩(wěn)定性;張耀軍等[4]使用基于非下采樣剪切波變換(Non Subsampled Shearlet Transform,NSST)圖像特征實現(xiàn)了多個不同聚焦圖像的融合,獲得了結(jié)果圖像,擁有更清晰的視覺效果。
本文主要針對工程中遇到的目標(biāo)聚變焦問題,使用深度學(xué)習(xí)和梯度算子相結(jié)合的方法,實現(xiàn)光電偵察系統(tǒng)快速變化焦距且快速完成對焦,為光電偵察的無人化值守提供技術(shù)支撐。
在光電系統(tǒng)中,通常需要根據(jù)目標(biāo)在視場中的大小來判斷焦距是否合適。其中,最重要的環(huán)節(jié)是檢測出圖像中的目標(biāo),并確定其范圍。
隨著相關(guān)器具性能的提高,基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法突破了傳統(tǒng)目標(biāo)檢測的瓶頸,成為當(dāng)前目標(biāo)檢測的主流算法之一。李旭冬等[5]描述了當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)的研究進展及常用的卷積神經(jīng)網(wǎng)絡(luò);Lin T Y等[6]提出基于特征金字塔的FPN算法,在增加極小計算量的情況下,處理物體檢測中的多尺度變化問題;Ren S等[7]提出基于R-CNN的目標(biāo)檢測算法,實現(xiàn)了準(zhǔn)確的實時目標(biāo)檢測。Redmon J等[8]提出的YOLOv3算法具有小而精的特點,在保證算法準(zhǔn)確性不變的基礎(chǔ)上,通過減少算法輸出張量的尺度,可以有效減小算法的運算量,提高算法的運行速度。本文基于YOLOv3算法,能準(zhǔn)確識別實時視頻中的目標(biāo),并對目標(biāo)的尺寸與視場范圍角度進行對比,對視頻的焦距變化提出變焦建議,使目標(biāo)在視場中保持一定尺寸,便于觀察。
YOLOv3使用ResNet的殘差思想和多尺度預(yù)測,使其在一定程度上可以進行不同尺度的目標(biāo)識別。原始圖片在預(yù)處理階段被填充縮放至416×416的大小,作為網(wǎng)絡(luò)輸入。YOLOv3的特征提取網(wǎng)絡(luò)結(jié)構(gòu)為DarkNet53,輸入圖片經(jīng)過DarkNet53網(wǎng)絡(luò)降采樣5次,每次產(chǎn)生不同尺度的特征圖。YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。
圖1 YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)
目標(biāo)檢測階段采用多尺度融合的方式,在最后3個尺度(13×13、26×26、52×52)的特征圖上分別檢測。每個尺度上有3個錨點框(anchor boxes)用于檢測不同規(guī)格的目標(biāo)。算法按照特征圖的大?。⊿×S)將416×416的圖片劃分為S×S個等大柵格(grid cell),每個柵格根據(jù)錨點框預(yù)測3個邊界框(bounding boxes)。每個邊界框返回兩類參數(shù):第一類為目標(biāo)框信息,即目標(biāo)框的中心位置與目標(biāo)框的寬和高;第二類為目標(biāo)的置信度,取值范圍為[0,1]。 具體檢測方法為:先對13×13的特征圖進行卷積預(yù)測,得到第1個尺度下的檢測結(jié)果;之后將13×13的特征圖上采樣得到26×26特征圖,與網(wǎng)絡(luò)降采樣生成的26×26特征圖進行特征融合后進行卷積預(yù)測,得到第2個尺度下的結(jié)果;同理得到第3個尺度下的結(jié)果。將3次檢測結(jié)果進行非極大值抑制(Non-Maximum Suppression,NMS),得到最終 結(jié)果。
YOLOV3采用logistic方式,邊框預(yù)測公式為:
式中:cx、cy是網(wǎng)格的坐標(biāo)偏移量;pw、ph是預(yù)設(shè)的anchor box的邊長。最終得到的邊框坐標(biāo)值是bx、by、bw、bh,網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)是tx、ty、tw、th。
本算法對輸入視頻進行逐幀檢測,獲取檢測目標(biāo)的邊界框,得到檢測目標(biāo)的寬、高數(shù)值。分別計算檢測目標(biāo)的寬、高與原始視頻寬、高的比值,取兩者較小值為檢測目標(biāo)的尺寸特征變量。若其數(shù)值小于0.6,檢測目標(biāo)尺寸較小,建議增大焦距,放大目標(biāo)在視場中所占比例;若其數(shù)值大于0.4,檢測目標(biāo)尺寸較大,建議減小焦距,減小目標(biāo)在視場中所占比例。
自動聚焦主要包括圖像清晰度評價函數(shù)、基于評價函數(shù)的圖像清晰度計算方法以及自動聚焦策略3個環(huán)節(jié)。
張宏飛等[9]提出了以圖像的灰度梯度和閾值計數(shù)為基礎(chǔ)的清晰度評價方法。在視場不變的情況下,圖像清晰度最高的聚焦位置為對比度高、邊緣清晰的情況。這種情況下,對應(yīng)圖像的邊緣高頻分量的信息較高。為了兼顧效率,本文使用了空域的梯度作為圖像清晰度的評價標(biāo)準(zhǔn),用來檢測圖像的邊緣高頻信息。使用拉普拉斯算子進行梯度計算,考慮X、Y兩維方向:
式中:f()為像素的數(shù)值。
在實際計算圖像清晰度時,需要進行條件約束,來降低噪聲及干擾的影響,具體采用3個步驟進行處理:
(1)將彩色RGB圖像變換為灰度圖,以提高計算效率;
(2)對圖像進行高斯濾波,消除圖像中的椒鹽噪聲,降低噪聲對梯度的影響,提高魯棒性;
(3)選擇計算窗口,為了避免圖像成像畸變對計算的影響,本文并不進行全圖像的梯度計算,而是在圖像中心窗口進行計算。根據(jù)上述自動變焦的結(jié)果,目標(biāo)在視場內(nèi)的范圍約為0.5,考慮到目標(biāo)不一定在圖像中心位置,因此選擇0.8(w)×0.8(h)的窗口來進行梯度計算(w和h分別為圖像的寬 和高)。
自動聚焦過程即是求取變化過程中圖像梯度最大點的過程。通過折半查找策略,獲取梯度最大點。聚焦調(diào)節(jié)過程如圖2所示。
圖2 聚焦調(diào)節(jié)過程示意圖
其過程如下:
(1)計算當(dāng)前窗口梯度數(shù)值;
(2)按照步長L1調(diào)節(jié)聚焦,重新計算窗口梯度數(shù)值;
(3)如果梯度增加,則繼續(xù)調(diào)節(jié)焦距,直至梯度減小;
(4)若梯度減小,步長減半,反向調(diào)節(jié)焦距,直至梯度增加;
(5)反復(fù)迭代,直至步長小于閾值。
針對飛機目標(biāo)進行自動變焦試驗。當(dāng)目標(biāo)在視場中較小時,提示增大焦距,放大目標(biāo)在視場中的占屏比。如圖3所示。
圖3 檢測目標(biāo)較小時提示增加焦距
目標(biāo)在視場中較大時,提示減小焦距,縮小目標(biāo)在視場中的占屏比。如圖4所示。
圖4 檢測目標(biāo)較大時提示減小焦距
目標(biāo)占屏比適中時,提示占屏比合適。如圖5所示。
圖5 檢測目標(biāo)占屏比合適
對圖像進行自動聚焦試驗,結(jié)果如圖6和圖7所示。從兩組圖可以看到,圖像邊緣逐漸清晰,符合人的視覺觀察情況。
圖6 自動聚焦試驗1
圖7 自動聚焦試驗2
本文針對工程中目標(biāo)焦距不易調(diào)節(jié)和圖像不清晰等問題,使用深度學(xué)習(xí)和梯度算子相結(jié)合的方法,實現(xiàn)了焦距自動調(diào)節(jié)和自動聚焦。通過試驗結(jié)果可以看出,焦距自動調(diào)節(jié)后,目標(biāo)比例合適,符合人的視覺觀察;圖像清晰,細(xì)節(jié)準(zhǔn)確,可直接用于工 程實踐。