楊博雄 黃鑫 周波 李社蕾 楊婷婷 梁志勇

(1.三亞學(xué)院信息與智能工程學(xué)院,海南三亞 572022;2.三亞學(xué)院陳國(guó)良院士工作站,海南三亞 572022)

0 引言

無(wú)人機(jī)傾斜攝影測(cè)量進(jìn)行地面和空間信息采集時(shí),野外像控點(diǎn)目標(biāo)選擇的好壞和指示點(diǎn)位的準(zhǔn)確度直接影響測(cè)圖成果的精度[1-2]。像控點(diǎn)首先需要包圍測(cè)區(qū)邊緣以控制測(cè)區(qū)范圍內(nèi)的位置精度,需要在傾斜攝影測(cè)量前按無(wú)人機(jī)飛行航線統(tǒng)一提前布設(shè),以提高刺點(diǎn)精度,增強(qiáng)外業(yè)控制點(diǎn)的可靠性[3-4]。在實(shí)際中,航攝區(qū)域未必都有合適的像控點(diǎn),為保證成圖精度,一般會(huì)在航攝前采用紅色油性噴漆在地面敷設(shè)人工標(biāo)志或者木板、硬紙板等制作標(biāo)靶板來(lái)提前布置像控點(diǎn)。當(dāng)?shù)孛嫦窨攸c(diǎn)標(biāo)志設(shè)置成功以及無(wú)人機(jī)傾斜攝影測(cè)量外業(yè)采集完成之后,測(cè)圖任務(wù)進(jìn)入內(nèi)業(yè)數(shù)據(jù)處理時(shí),對(duì)像控點(diǎn)進(jìn)行刺點(diǎn)是一項(xiàng)重要的工作[5-6]。在空三計(jì)算加密過(guò)程中,像控點(diǎn)的刺點(diǎn)誤差需控制在一個(gè)像元內(nèi)才能進(jìn)行下一步的處理[7-8]。但是目前內(nèi)業(yè)刺像控點(diǎn)還主要停留在人工作業(yè)層次,需要從大量的傾斜影像中逐點(diǎn)去找,極大地降低了實(shí)景三維建模和測(cè)圖的工作效率。

1 YOLO目標(biāo)檢測(cè)及優(yōu)化

在傾斜攝影測(cè)量相機(jī)拍攝的高清影像數(shù)據(jù)中,地面像控點(diǎn)目標(biāo)在整個(gè)圖像中很小,如圖1,像控點(diǎn)目標(biāo)相對(duì)于整張影像的尺寸及其微小,要想利用圖像識(shí)別算法自動(dòng)從海量?jī)A斜影像中找到包含有像控點(diǎn)的圖像十分困難。

圖1 傾斜影像中的地面像控點(diǎn)Fig.1 Ground image control points in tilted images

1.1 基于滑動(dòng)窗口的YOLO目標(biāo)檢測(cè)算法

YOLO(You Only Look Once)是一種采用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)端到端目標(biāo)檢測(cè)的方法[9]。由于YOLO的目標(biāo)檢測(cè)網(wǎng)絡(luò)僅支持處理1024×1024像素大小的三通道圖像,而當(dāng)前傾斜攝影測(cè)量拍攝的高清影像達(dá)5000×5000像素以上,因此YOLO目標(biāo)檢測(cè)算法對(duì)于輸入圖像的尺寸有局限性,超過(guò)規(guī)定尺寸的圖像不可直接應(yīng)用于高清航攝的圖像處理中[10]。

為此,本文對(duì)傾斜攝影測(cè)量原始影像進(jìn)行處理,將整張圖像轉(zhuǎn)換為多張1024×1024像素的分割子圖像,將分割后的圖片放入內(nèi)存中,作為能夠輸入到Y(jié)OLO檢測(cè)框架進(jìn)行預(yù)測(cè)的子圖。然后利用滑動(dòng)窗口循環(huán)調(diào)用YOLO目標(biāo)檢測(cè)框架進(jìn)行目標(biāo)檢測(cè)。檢測(cè)后框信息也存在內(nèi)存的特定數(shù)據(jù)結(jié)構(gòu)中,同時(shí)重寫檢測(cè)框的繪制機(jī)制,將存于數(shù)據(jù)結(jié)構(gòu)的目標(biāo)框數(shù)組中每一個(gè)預(yù)測(cè)框的位置、大小信息讀取后統(tǒng)一繪制檢測(cè)框[11]。

如圖2。首先給定滑動(dòng)窗口的長(zhǎng)寬、正交方向步進(jìn)值,通過(guò)簡(jiǎn)單的數(shù)學(xué)計(jì)算可以獲取每一次滑動(dòng)窗口截取到的圖像像素位置。遍歷順序?yàn)橄缺闅v行,再遍歷列。其遞歸終止條件是每一次遍歷到行尾后判斷是否還有下一行以及每一次換行需判斷是否為最后一行。1、2、3分別代表同一個(gè)滑動(dòng)窗口的不同時(shí)刻,從圖中可以看出,當(dāng)進(jìn)行到2階段時(shí)滑動(dòng)窗口可以檢測(cè)到目標(biāo),此時(shí)對(duì)此滑動(dòng)窗口中的像素值進(jìn)行灰色覆蓋,保證滑動(dòng)窗口在3階段時(shí)不會(huì)重復(fù)檢測(cè)目標(biāo)。

圖2 基于滑動(dòng)窗口的像控點(diǎn)搜索Fig.2 Image control point search based on sliding window

對(duì)于切割出來(lái)的每一個(gè)小圖,使用YOLOv3 模型進(jìn)行預(yù)測(cè)。通過(guò)重寫YOLO 框架的代碼獲得目標(biāo)檢測(cè)框的坐標(biāo)、長(zhǎng)寬、置信度信息,將此信息存于內(nèi)存中,待所有小圖檢測(cè)完畢后,開(kāi)始循環(huán)遍歷內(nèi)存中的信息,獲取信息后調(diào)用繪制代碼進(jìn)行目標(biāo)檢測(cè)框的繪制。

1.2 傾斜攝影測(cè)量影像的像控點(diǎn)自動(dòng)檢測(cè)

1.2.1 數(shù)據(jù)集

本文選取傾斜影像數(shù)據(jù)共5826張圖片,其中無(wú)像控點(diǎn)圖片和有像控點(diǎn)圖片均存放于同一目錄,并存在多張圖片指向同一個(gè)L型像控點(diǎn)圖片的情況。訓(xùn)練集來(lái)自對(duì)5826張圖片中包含像控點(diǎn)目標(biāo)圖片的裁剪(416×416像素),共75張,部分圖片如圖3。

圖3 目標(biāo)圖片裁剪Fig.3 Target image crop

1.2.2 檢測(cè)過(guò)程

實(shí)驗(yàn)采用64位Windows10 Pro操作系統(tǒng),利用NVIDIA GeForce GTX 1060加速,整個(gè)實(shí)驗(yàn)過(guò)程分4步。

(1)數(shù)據(jù)標(biāo)注:基于Pascal VOC 2007數(shù)據(jù)集格式,使用416×416三通道的圖片,共計(jì)75張,作為訓(xùn)練數(shù)據(jù)集,并通過(guò)LabelImage軟件對(duì)所有數(shù)據(jù)集中的像控點(diǎn)目標(biāo)進(jìn)行標(biāo)注,標(biāo)注類別僅包含“L”類。

(2)模型訓(xùn)練:將標(biāo)注好的數(shù)據(jù)用于模型訓(xùn)練,等待模型訓(xùn)練完成,訓(xùn)練過(guò)程中將會(huì)生成多個(gè)模型文件,擇優(yōu)選擇靠后訓(xùn)練出的最優(yōu)模型作為預(yù)測(cè)模型。

(3)模型預(yù)測(cè):將訓(xùn)練好的最優(yōu)模型放到指定的文件目錄,并運(yùn)行代碼進(jìn)行預(yù)測(cè)。代碼的入口函數(shù)傳入滑動(dòng)窗口的相關(guān)配置參數(shù)如表1。

表1 滑動(dòng)窗口配置參數(shù)Tab.1 Sliding window configuration parameters

本文使用x=208,y=208,sw=416,sh=416 的滑動(dòng)窗口配置參數(shù),運(yùn)行入口函數(shù)開(kāi)始自動(dòng)預(yù)測(cè)。預(yù)測(cè)完畢后封裝有效、完整的round_list數(shù)據(jù)結(jié)構(gòu),其長(zhǎng)度代表所有滑動(dòng)窗口切割圖片的數(shù)量。

(4)鼠標(biāo)刺點(diǎn):當(dāng)程序的圖片預(yù)測(cè)運(yùn)行完畢后,會(huì)自動(dòng)彈出刺點(diǎn)操作界面來(lái)供用戶手動(dòng)點(diǎn)擊鼠標(biāo)進(jìn)行精確的像控點(diǎn)刺點(diǎn)。刺點(diǎn)操作界面顯示的是滑動(dòng)窗口所截取的圖片,該滑動(dòng)窗口圖片成功檢測(cè)到了像控點(diǎn)目標(biāo),包含了完整的像控點(diǎn)圖像。程序彈出多次操作界面,數(shù)量取決于整張預(yù)測(cè)大圖包含的像控點(diǎn)數(shù)量。

1.3 實(shí)驗(yàn)結(jié)果及分析

1.3.1 實(shí)驗(yàn)結(jié)果

本文使用416×416像素大小滑動(dòng)窗口,正交方向步進(jìn)值為208像素,對(duì)一張745×479大小的三通道圖片進(jìn)行預(yù)測(cè),并完成鼠標(biāo)刺點(diǎn)操作。算法自動(dòng)標(biāo)注出檢測(cè)框,并顯示出精確的刺點(diǎn)圖片坐標(biāo),如圖4。

圖4 像控點(diǎn)搜索與自動(dòng)標(biāo)注Fig.4 Image control point search and automatic labeling

實(shí)驗(yàn)相關(guān)耗時(shí)數(shù)據(jù)如表2、表3、表4所示。

表3 模型預(yù)測(cè)耗時(shí)(CPU)Tab.3 Model prediction time (CPU)

表4 模型預(yù)測(cè)耗時(shí)(GPU)Tab.4 Model prediction time (GPU)

1.3.2 實(shí)驗(yàn)分析

當(dāng)前傾斜攝影測(cè)量相片較大,本文中所用實(shí)驗(yàn)相片高達(dá)6000×6000。而一個(gè)標(biāo)準(zhǔn)的像控點(diǎn)僅僅只占100×100左右的像素,占整個(gè)像面篇幅的1%左右,而且隨機(jī)分布在5826張相片中,通過(guò)人眼尋找像控點(diǎn)極其繁瑣,操作人員需要不停地放大、縮小圖片來(lái)搜尋像控點(diǎn)。使用本文所述方法,經(jīng)過(guò)前述目標(biāo)搜索和查找后,自動(dòng)將包含有像控點(diǎn)的圖像通過(guò)數(shù)據(jù)結(jié)構(gòu)集中起來(lái),程序可直接顯示出像控點(diǎn)所在位置的圖片,用戶通過(guò)刺點(diǎn)程序,循環(huán)在刺點(diǎn)界面手動(dòng)點(diǎn)擊鼠標(biāo)進(jìn)行精確刺點(diǎn),刺點(diǎn)操作的重復(fù)次數(shù)僅取決于像控點(diǎn)數(shù)量,省去了人工尋找像控點(diǎn)和人工縮放打點(diǎn)標(biāo)注的繁瑣流程。

2 結(jié)語(yǔ)

本文巧妙利用YOLO 算法進(jìn)行目標(biāo)檢測(cè),并使用滑動(dòng)窗口法進(jìn)行像控點(diǎn)目標(biāo)的搜索。同時(shí)設(shè)計(jì)像控點(diǎn)自動(dòng)刺點(diǎn)程序進(jìn)行自動(dòng)刺點(diǎn)和像素坐標(biāo)記錄與標(biāo)注。實(shí)驗(yàn)結(jié)果顯示,通過(guò)本文所提出的方法可以完成圖像群搜索,并能迅速找到像控點(diǎn)圖像以及自動(dòng)識(shí)別像控點(diǎn),大大提高了傾斜攝影測(cè)量的建模效率。