李梓豪，唐 超，郭文遠(yuǎn)

(北京城建勘測(cè)設(shè)計(jì)研究院有限責(zé)任公司，北京 100101)

在疫情特殊時(shí)期，為響應(yīng)國(guó)家及防疫部門(mén)減少人員聚集的號(hào)召，無(wú)法通過(guò)現(xiàn)場(chǎng)巡視的方式了解現(xiàn)場(chǎng)情況以開(kāi)展工作。復(fù)工情況緊迫，施工進(jìn)度壓力大。雄安高鐵站總建筑面積為47.2萬(wàn)m2。針對(duì)如此巨大的工程場(chǎng)地及緊張的施工進(jìn)度，如何快速掌握現(xiàn)場(chǎng)施工情況并作出施工工作部署是保障高鐵站建設(shè)的前提。

無(wú)人機(jī)技術(shù)是近年興起并具有低成本、快速響應(yīng)、靈活、分辨率高等特點(diǎn)的新型遙感技術(shù)，主要用于大場(chǎng)景高分辨率需求的正射影像與三維建模[1]。但是在數(shù)據(jù)采集過(guò)程中，無(wú)人機(jī)影像數(shù)據(jù)量巨大，且影像特征點(diǎn)快速提取與影像拼接是其中的關(guān)鍵步驟，若使用傳統(tǒng)遙感影像處理方式進(jìn)行處理則耗時(shí)長(zhǎng)，影像匹配速度慢，對(duì)于新冠疫情背景下復(fù)工復(fù)產(chǎn)的快速響應(yīng)需求難以發(fā)揮良好作用。

為解決無(wú)人機(jī)影像在特征點(diǎn)快速提取與影像匹配關(guān)鍵步驟影像匹配耗時(shí)長(zhǎng)的問(wèn)題，國(guó)內(nèi)外學(xué)者已經(jīng)作了大量研究。針對(duì)尺度不變的特征變化文獻(xiàn)[2]提出了SIFT(scale invariant feature transform)算法。該算法在匹配時(shí)與影像的旋轉(zhuǎn)角度和尺度無(wú)關(guān)，且對(duì)光線變化較大、噪聲點(diǎn)、小窗視角上有較好的容忍度，因此對(duì)工程施工場(chǎng)地中地物反射光線變化較大的區(qū)域有較好的提取優(yōu)勢(shì)。但是對(duì)可見(jiàn)光邊緣較為光滑、特征點(diǎn)呈非均勻分布的條件下地物識(shí)別提取能力較弱，因此針對(duì)這些缺點(diǎn)，文獻(xiàn)[3]對(duì)其進(jìn)行了改進(jìn)，使用無(wú)人機(jī)的pos信息建立三角網(wǎng)，并在相鄰的兩幅影像上進(jìn)行SIFT算法匹配，從而在時(shí)間上有一定程度的節(jié)約。針對(duì)無(wú)人機(jī)在外業(yè)采集數(shù)據(jù)時(shí)，相鄰航帶之間重疊率較高，導(dǎo)致可能存在過(guò)度匹配的情況，文獻(xiàn)[4]在影像匹配過(guò)程中減少了過(guò)度匹配的情況下使用SIFT算法，一定程度上解決了提取特征點(diǎn)效率的問(wèn)題，但是未從根源上解決無(wú)人機(jī)影像特征提取數(shù)據(jù)量大、處理時(shí)間長(zhǎng)、效率低的問(wèn)題。2006年文獻(xiàn)[5]在借鑒SIFT算法的基礎(chǔ)上提出了SURF(speeded up robust features)算法。該算法在微分模板上進(jìn)行了簡(jiǎn)化處理，在進(jìn)行影像的特征點(diǎn)提取，使得算法的運(yùn)行速度得到了一定的提高。方法提出后，文獻(xiàn)[6]提出了一種新的無(wú)人機(jī)影像拼接方法，首先對(duì)影像的原始數(shù)據(jù)進(jìn)行采樣，然后在采樣的基礎(chǔ)上進(jìn)行SURF特征提取。該方法同樣使無(wú)人機(jī)影像數(shù)據(jù)處理的速度上得到了提升，但是仍存在影像拼接質(zhì)量和精度降低的問(wèn)題。在快速提取特征點(diǎn)的算法中，文獻(xiàn)[7]采用ORB[8](oriented fast and rotated brief)算法對(duì)無(wú)人機(jī)影像進(jìn)行拼接處理，同時(shí)采用降低迭代次數(shù)的方法提高了無(wú)人機(jī)影像的拼接速度。綜上所述，SURF算法的計(jì)算速度之所以比SIFT算法快，一部分原因是SURF算法對(duì)高斯二階濾波器進(jìn)行了簡(jiǎn)化，因此SURF特征提取算法在無(wú)人機(jī)影像的處理的應(yīng)用上效率高、速度快。

相比傳統(tǒng)測(cè)繪，無(wú)人機(jī)作業(yè)效率高，作業(yè)面積大，作業(yè)成果具備高時(shí)效性，無(wú)須多人作業(yè)，且可以通過(guò)改進(jìn)的SURF算法加速影像處理。一方面可以快速得到施工現(xiàn)場(chǎng)正射影像，滿(mǎn)足了管理者對(duì)施工現(xiàn)場(chǎng)進(jìn)度的掌握；另一方面可以識(shí)別出現(xiàn)場(chǎng)施工作業(yè)機(jī)械設(shè)備情況；同時(shí)也做到了不到現(xiàn)場(chǎng)的工作巡檢方式，減少了聚集，從而可以在做好防護(hù)的前提下做好復(fù)工復(fù)產(chǎn)工作，保障雄安高鐵站建設(shè)的質(zhì)量與進(jìn)度。因此本文針對(duì)雄安高鐵站建設(shè)需要快速獲取影像并估算復(fù)工復(fù)產(chǎn)情況的需求，提出了使用基于SURF算法與工程目標(biāo)識(shí)別相融合的無(wú)人機(jī)影像拼接識(shí)別技術(shù)。

1 基于改進(jìn)的SURF算法對(duì)無(wú)人機(jī)影像快速處理

1.1 Harris-laplace無(wú)人機(jī)影像特征提取

在無(wú)人機(jī)影像處理過(guò)程中，自相關(guān)函數(shù)能夠較好地展現(xiàn)出影像中特征點(diǎn)的不同尺度信息[9-10]。若以任意像素N為中心，向任意方向作一定偏移都會(huì)引起灰度值明顯波動(dòng)，就能說(shuō)明這個(gè)點(diǎn)是算子在尋找的角點(diǎn)。假設(shè)自相關(guān)矩陣為M，其特征值可以用自相關(guān)函數(shù)的一階曲率表示。若一個(gè)像素點(diǎn)的兩個(gè)自相關(guān)矩陣M具有較大值,則其像素點(diǎn)為特征點(diǎn)[11]。定義自相關(guān)矩陣M為

(1)

式中，L(x,y)為輸入的原始影像；X為高斯平滑影像上對(duì)應(yīng)的像點(diǎn)(x,y)；Lx、Ly分別為高斯平滑影像在x、y方向上的梯度值；g(σ1)為高斯函數(shù)；σ1為積分尺度；σD為微分尺度。

其特征點(diǎn)相應(yīng)函數(shù)如下

Coner=det(u(X,σ1,σD))-α·trace2(u(X,σ1,σD))>threshood

(2)

式中，corner為像素點(diǎn)的響應(yīng)函數(shù)值；X為高斯平滑影像上對(duì)應(yīng)的像點(diǎn)(x,y)；det(μ(X,σ1,σD))為對(duì)矩陣μ(X,σ1,σD)進(jìn)行行列式值運(yùn)算；trace(μ(X,σ1,σD))為對(duì)矩陣μ(X,σ1,σD)進(jìn)行跡運(yùn)算；α為常數(shù)。當(dāng)最終得到的響應(yīng)值corner大于閾值且為影像空間中的極值，則得到特征點(diǎn)。

Harris-laplace特征點(diǎn)檢測(cè)步驟可以分為3個(gè)部分：①利用和函數(shù)與原始影像進(jìn)行卷積運(yùn)算，在影像中每個(gè)尺度上篩選出候選點(diǎn)P。②對(duì)候選特征點(diǎn)P使用迭代法進(jìn)行檢驗(yàn)，檢查運(yùn)算值是否為極值點(diǎn)。若P是極大值則保留，若不是則舍去。③在P的鄰域內(nèi)求能夠使corner大于閾值的特征點(diǎn)Q，如果存在則替換Q，不斷重復(fù)以上步驟，直到Q不再有新值出現(xiàn)為止。

1.2 Hessian矩陣無(wú)人機(jī)影像特征提取

SURF算法中主要利用Hessian矩陣對(duì)影像中的特征點(diǎn)進(jìn)行提取并進(jìn)行變換操作，此處將任意點(diǎn)X=(x,y)所在位置的積分影像定義為

(3)

對(duì)于無(wú)人機(jī)影像中的任意點(diǎn)X=(x,y),它在σ空間尺度上的Hessian矩陣可以定義為

(4)

式中，Lxx(X,σ)、Lxy(X,σ)和Lyy(X,σ)為高斯二階偏導(dǎo)數(shù)在該無(wú)人機(jī)影像上點(diǎn)X處的卷積。若使用Dxx、Dyy和Dxy表示模板與無(wú)人機(jī)影像卷積的最終結(jié)果，那么可以得到矩陣行列式為

Det(Happrox)=DxxDyy-(0.9Dxy)2

(5)

如圖1所示，在簡(jiǎn)化模板中，白色區(qū)域、黑色區(qū)域、灰色區(qū)域的值分別為1、-2、0。使用濾波器σ=1.2對(duì)最小尺度空間值對(duì)圖像進(jìn)行濾波及特征點(diǎn)檢測(cè)，然后在響應(yīng)的無(wú)人機(jī)影像上對(duì)采樣點(diǎn)進(jìn)行非極大抑制，最終特征點(diǎn)就能夠被確定。

圖1 SURF簡(jiǎn)化計(jì)算模板

1.3 本文算法快速處理步驟

本文使用改進(jìn)SURF算法意在加快無(wú)人機(jī)影像的處理速度，能夠?qū)崿F(xiàn)特殊環(huán)境下高時(shí)效性的要求，快速得到無(wú)人機(jī)正射影像?？紤]到雄安高鐵站主要為建筑工地，具有建筑物輪廓明顯，可見(jiàn)光反射變化清晰等特點(diǎn)，如圖2所示，因此使用Harris-laplace算子、Hessian矩陣同時(shí)對(duì)無(wú)人機(jī)影像中建筑工地的特征點(diǎn)進(jìn)行提取。在特征影像處理加速環(huán)節(jié)，本文主要分為3大步驟：①結(jié)合Harris-laplace算子、Hessian矩陣各自?xún)?yōu)勢(shì)在多尺度空間下對(duì)無(wú)人機(jī)高分辨率影像同時(shí)進(jìn)行特征點(diǎn)檢測(cè)；②根據(jù)采樣點(diǎn)數(shù)建立索引表，提高計(jì)算速度；③使用SURF算法中非極大抑制的方式找到局部的極值點(diǎn)，并通過(guò)閾值對(duì)極值點(diǎn)進(jìn)行篩選，提取特征點(diǎn)；④選取特征點(diǎn)鄰域，將鄰域內(nèi)的灰度值排列順序并進(jìn)行等分處理；⑤在上一步中等分的像素點(diǎn)鄰域內(nèi)進(jìn)行采樣排序，得到像素點(diǎn)描述算子；⑥對(duì)描述算子進(jìn)行累加處理，確定特征點(diǎn)的描述符；⑦計(jì)算特征描述符之間的歐氏距離[12]，完成特征點(diǎn)的配對(duì)。

圖2 無(wú)人機(jī)原始數(shù)據(jù)

1.4 快速正射影像處理

1.4.1 外業(yè)無(wú)人機(jī)影像采集情況

考慮到雄安建設(shè)對(duì)本次工作任務(wù)有較高的時(shí)效性要求，傳統(tǒng)旋翼無(wú)人機(jī)受電池續(xù)航、作業(yè)速度等因素影響，外業(yè)無(wú)人機(jī)影像采集效率低，因此本次任務(wù)采用固定翼無(wú)人機(jī)對(duì)高鐵站片區(qū)進(jìn)行影像采集工作。其具有巡航作業(yè)時(shí)間長(zhǎng)，機(jī)身穩(wěn)定，控制半徑大等特點(diǎn)，可以滿(mǎn)足本次工作需求，無(wú)人機(jī)參數(shù)見(jiàn)表1。

表1 無(wú)人機(jī)參數(shù)

本次作業(yè)無(wú)人機(jī)共飛行4個(gè)架次，作業(yè)面積11.1 km2，總航程185.674 km，總飛行時(shí)間183 min，飛行高度200 m，飛行速度17 m/s，飛機(jī)航向、旁向重疊率高達(dá)80%，照片分辨率3 cm，拍照間距32 m。航線規(guī)劃如圖3所示。

圖3 航線任務(wù)規(guī)劃

1.4.2 內(nèi)業(yè)數(shù)據(jù)情況

本次內(nèi)業(yè)處理涉及文件5370個(gè)，總大小為74.7 GB，由于作業(yè)面積大，任務(wù)時(shí)間緊，因此本文使用基于Harris-laplace算子的SURF算法加速影像拼接。采用6臺(tái)工作站集群方式對(duì)數(shù)據(jù)進(jìn)行處理，配置為：cpu i7；內(nèi)存64 GB;顯卡1080 ti。內(nèi)業(yè)處理耗時(shí)6.5 h。

1.4.3 影像成果情況

本文采用固定翼無(wú)人機(jī)在施工場(chǎng)地外圍對(duì)雄安新區(qū)高鐵站施工情況進(jìn)行數(shù)據(jù)采集，避免了人員聚集與接觸。通過(guò)高效的外業(yè)無(wú)人機(jī)影像采集與內(nèi)業(yè)數(shù)據(jù)聯(lián)動(dòng)，待外業(yè)數(shù)據(jù)采集完成后通過(guò)移動(dòng)端實(shí)時(shí)上傳至云端工作站進(jìn)行處理，降低了時(shí)間損耗。通過(guò)183 min的外業(yè)數(shù)據(jù)采集和390 min的內(nèi)業(yè)數(shù)據(jù)處理，在短時(shí)間內(nèi)完成了正射影像的出圖，效果如圖4、圖5所示。

圖4 測(cè)控區(qū)域三角網(wǎng)與灰度影像

圖5 成果展示

2 現(xiàn)場(chǎng)設(shè)備識(shí)別

2.1 設(shè)備識(shí)別思路

大型鐵路建設(shè)項(xiàng)目施工現(xiàn)場(chǎng)存在大量機(jī)械設(shè)備，通過(guò)對(duì)大型施工設(shè)備的識(shí)別可以間接推測(cè)出施工現(xiàn)場(chǎng)的復(fù)工情況，因此本次應(yīng)用主要針對(duì)大型機(jī)械設(shè)備進(jìn)行識(shí)別。

首先，對(duì)已經(jīng)生產(chǎn)完成的正射影像進(jìn)行興趣區(qū)域(ROI)劃分。由于整幅影像為11 km2的巨大畫(huà)幅，其中存在較多的非興趣區(qū)域(NROI)，如果直接使用整幅正射影像進(jìn)行目標(biāo)檢測(cè)，將造成巨大的時(shí)間浪費(fèi)，因此對(duì)已經(jīng)獲取的無(wú)人機(jī)高分辨率影像進(jìn)行興趣區(qū)域劃分，設(shè)定以高鐵站主體100 m范圍內(nèi)為興趣區(qū)域，剔除非興趣區(qū)域。

其次輸入建立目標(biāo)樣本庫(kù)，對(duì)挖掘機(jī)、渣土運(yùn)輸車(chē)等重點(diǎn)目標(biāo)建立樣本，采用卷積神經(jīng)網(wǎng)絡(luò)Fast-R-CNN[13-15]進(jìn)行目標(biāo)學(xué)習(xí)檢測(cè)。對(duì)已經(jīng)識(shí)別的目標(biāo)進(jìn)行監(jiān)督分類(lèi)得到新的訓(xùn)練樣本，然后將該訓(xùn)練樣本再次注入樣本庫(kù)進(jìn)行學(xué)習(xí)，提高檢測(cè)能力。最終搜索完成整個(gè)ROI區(qū)域后完成對(duì)目標(biāo)設(shè)備的識(shí)別。

2.2 Fast R-CNN網(wǎng)絡(luò)識(shí)別原理概述

Fast R-CNN是結(jié)構(gòu)中隊(duì)整個(gè)預(yù)測(cè)礦篩選、回歸和分類(lèi)的重要階段，網(wǎng)絡(luò)結(jié)構(gòu)圖以及其中的關(guān)鍵參數(shù)如圖6所示。本節(jié)將以ROI pooling、分類(lèi)層和回歸層、Fast R-CNN后處理模塊等方面進(jìn)行闡述。

圖6 結(jié)構(gòu)

2.2.1 興趣區(qū)域池化(ROI-Pooling)層

在樣本選取中，本文采用512×512像素大小的影像切片，初期訓(xùn)練樣本以監(jiān)督方式從原始影像中切取，如圖7所示為部分訓(xùn)練樣本。在篩選過(guò)程中僅留存包含目標(biāo)的影像并進(jìn)行統(tǒng)一編碼標(biāo)注屬性。本文基于輕量級(jí)標(biāo)注工具進(jìn)行快速標(biāo)注，生成每個(gè)訓(xùn)練樣本的信息。

圖7 機(jī)械設(shè)備(挖掘機(jī))訓(xùn)練樣本

在Fast R-CNN中，卷積層和全連接層兩部分被分開(kāi)來(lái)，通過(guò)特征共享樣本進(jìn)行輸入，進(jìn)入第一階段的預(yù)測(cè)框。在全連接層之前，ROI pooling必須把位置、尺寸不一致的預(yù)測(cè)框反映到共享特征圖才能得到預(yù)測(cè)框內(nèi)的特征圖區(qū)域。映射的規(guī)則是無(wú)人機(jī)正射影像與特征圖的尺寸比值。

ROI pooling的執(zhí)行中有效減少了計(jì)算量，通過(guò)將樣本池得到的特征進(jìn)行聚合，使用全局平均池層而非全部連接層來(lái)融合特征圖并降維，提高了計(jì)算速度與網(wǎng)絡(luò)性能。

2.2.2 分類(lèi)、回歸層

分類(lèi)和回歸都采用全連接層，不同之處是分為水平和傾斜兩個(gè)分支。對(duì)于一張輸入圖片，當(dāng)分類(lèi)分支輸出維度為[512,(class_num+1)]，水平預(yù)測(cè)回歸系數(shù)維度為[512,4×(class_num+1)]，傾斜預(yù)測(cè)回歸系數(shù)維度為[512,5×(class_num+1)]時(shí)，F(xiàn)ast R-CNN部分結(jié)束。

2.2.3 后處理模塊

通過(guò)Fast R-CNN預(yù)識(shí)別得到的結(jié)果還需要進(jìn)入目標(biāo)層進(jìn)行最后一次篩選：①進(jìn)行月結(jié)提出；②對(duì)所有預(yù)測(cè)框進(jìn)行非極大抑制從而充分避免預(yù)先檢測(cè)結(jié)果有大量重疊的情況。至此，整個(gè)檢測(cè)過(guò)程結(jié)束，檢測(cè)識(shí)別樣例如圖8所示。

圖8 機(jī)械設(shè)備(挖掘機(jī))識(shí)別樣例

3 總 結(jié)

本文運(yùn)用基于Harris-laplace算子的SURF算法與工程目標(biāo)識(shí)別相融合的無(wú)人機(jī)影像拼接識(shí)別技術(shù)，在573 min內(nèi)快速實(shí)現(xiàn)了雄安高鐵站周邊約11 km2面積的正射影像，并且在此基礎(chǔ)上運(yùn)用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)了機(jī)械設(shè)備(挖掘機(jī))的識(shí)別。一方面滿(mǎn)足了新冠疫情期間對(duì)人員聚集情況的需求，另一方面快速地獲取了施工現(xiàn)場(chǎng)的復(fù)工情況。通過(guò)施工現(xiàn)場(chǎng)正射影像能夠直觀了解施工進(jìn)度、施工人員進(jìn)場(chǎng)情況，同時(shí)避免了現(xiàn)場(chǎng)巡查人員的密集接觸。

由于本文算法注重實(shí)效性，強(qiáng)調(diào)無(wú)人機(jī)影像處理速度以及識(shí)別速度，舍棄了部分影像的拼接質(zhì)量，后期的工作中需考慮保證速度的同時(shí)提升無(wú)人機(jī)影像拼接質(zhì)量。將考慮運(yùn)用云端處理以及5G技術(shù)加快運(yùn)算以及等待時(shí)間損耗，同時(shí)考慮更具穩(wěn)健性的無(wú)人機(jī)影像拼接算法。