韓 健，艾小童，溫旭昶，蔣江俊男

（1.武漢大學(xué)資源與環(huán)境科學(xué)學(xué)院，湖北 武漢 430079；2.廣西華遙空間信息科技有限公司，廣西 南寧 530031；3.自然資源部數(shù)字制圖與國(guó)土信息應(yīng)用重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079）

傾斜攝影測(cè)量技術(shù)是測(cè)繪領(lǐng)域近年來(lái)新興的一項(xiàng)高新技術(shù)，其通過(guò)在航測(cè)平臺(tái)上搭載多臺(tái)傳感器的方式，從多個(gè)角度對(duì)地物進(jìn)行采集，得到大量被采集對(duì)象的高分辨率紋理數(shù)據(jù)[1]。由于傾斜攝影測(cè)量技術(shù)具有采集范圍大、采集面廣等優(yōu)點(diǎn)，在三維城市等大區(qū)域的建模應(yīng)用中，其效率遠(yuǎn)高于傳統(tǒng)的人工建模，故其在基礎(chǔ)測(cè)繪和城市管理中有著廣泛的應(yīng)用前景[2-3]。

傾斜攝影過(guò)程中常常會(huì)出現(xiàn)因?yàn)橄鄼C(jī)傾角較大，導(dǎo)致得到的影像出現(xiàn)陰影、薄霧等問(wèn)題，對(duì)影像的清晰度產(chǎn)生了影響，從而無(wú)法保證后期建模的精度和模型的真實(shí)效果，難以滿足基礎(chǔ)測(cè)繪的要求[4-5]。目前已有多篇論文針對(duì)正射影像的質(zhì)量改善提出了解決方案，而鮮有研究進(jìn)行過(guò)傾斜攝影影像的質(zhì)量改善[6-7]。本文以生成式對(duì)抗網(wǎng)絡(luò)為機(jī)器學(xué)習(xí)的訓(xùn)練模型，從影像的顏色、紋理、內(nèi)容3個(gè)方面建立損失函數(shù)，來(lái)實(shí)現(xiàn)對(duì)傾斜攝影影像的質(zhì)量改善?；诖?，本文以廣西某地采集得到的傾斜攝影影像作為研究對(duì)象，用本文提出的基于機(jī)器學(xué)習(xí)的傾斜影像質(zhì)量改善的方法進(jìn)行測(cè)試，并對(duì)測(cè)試結(jié)果進(jìn)行對(duì)比分析。

1 方法

1.1 訓(xùn)練樣本

為了得到對(duì)多種不同場(chǎng)景的訓(xùn)練結(jié)果，本文訓(xùn)練樣本為無(wú)人機(jī)在廣西某地獲取的傾斜攝影影像，樣本類型包括建筑類、植被類、其他類。

通過(guò)航測(cè)攝影設(shè)備采集這三類樣本，并定義采集到的影像為原始影像（Is）。然后用相應(yīng)軟件人為地對(duì)原始影像的質(zhì)量進(jìn)行改善，將修改結(jié)果作為目標(biāo)影像（It），每張?jiān)加跋窈推鋵?duì)應(yīng)的目標(biāo)影像的集合為一組樣本。

1.2 訓(xùn)練方法

本文用生成式對(duì)抗網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)傾斜攝影影像的質(zhì)量改善，生成式對(duì)抗網(wǎng)絡(luò)是一種深度學(xué)習(xí)模型，主要用于機(jī)器學(xué)習(xí)的無(wú)監(jiān)督學(xué)習(xí)中。生成式對(duì)抗網(wǎng)絡(luò)由生成模型（G）和判別模型（D）組成。生成模型是對(duì)聯(lián)合概率進(jìn)行建模，從統(tǒng)計(jì)的角度表示數(shù)據(jù)的分布；判別模型是對(duì)條件概率進(jìn)行建模，尋找不同類別之間的最優(yōu)分類面[8]。本文所使用的生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練的具體流程如圖1所示。

圖1 生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練方式示意圖

每次訓(xùn)練都會(huì)先將原始影像和訓(xùn)練噪聲（第一次訓(xùn)練的訓(xùn)練噪聲為隨機(jī)噪聲）輸入到生成模型中，生成模型通過(guò)前面訓(xùn)練得到的結(jié)果改善原始影像的質(zhì)量，將處理后的影像輸入到判別模型中，再由判別模型判斷輸入的影像是否為目標(biāo)影像。如果判別模型判斷出輸入的影像不為目標(biāo)影像，則繼續(xù)訓(xùn)練；如果判別模型將輸入的影像判斷為目標(biāo)影像，則結(jié)束訓(xùn)練[9]。

1.3 預(yù)訓(xùn)練方法

本文通過(guò)預(yù)訓(xùn)練構(gòu)造生成模型和判別模型，并且通過(guò)預(yù)訓(xùn)練計(jì)算生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練后影像的損失[10]。因?yàn)閂GG卷積神經(jīng)網(wǎng)絡(luò)層數(shù)深，適合于處理大量的數(shù)據(jù)集，故本文用該網(wǎng)絡(luò)作為預(yù)訓(xùn)練模型。該模型通過(guò)小核的卷積核構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以提高神經(jīng)網(wǎng)絡(luò)的計(jì)算量，其主要的網(wǎng)絡(luò)深度分別為16層和19層的VGG16和VGG19兩種結(jié)構(gòu)。本文使用的是VGG19的網(wǎng)絡(luò)結(jié)構(gòu)，圖2中直觀展示了VGG19的結(jié)構(gòu)，其結(jié)構(gòu)中包括了16個(gè)卷積層和3個(gè)全連接層。

圖2 VGG19網(wǎng)絡(luò)結(jié)構(gòu)示意圖

分別將生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練后增強(qiáng)的影像和目標(biāo)影像輸入到VGG19網(wǎng)絡(luò)中，該網(wǎng)絡(luò)會(huì)對(duì)輸入的影像進(jìn)行特征提取，然后將兩幅影像間的特征進(jìn)行對(duì)比來(lái)計(jì)算增強(qiáng)后影像的損失。

1.4 損失函數(shù)

損失函數(shù)是機(jī)器學(xué)習(xí)中的一個(gè)關(guān)鍵要素，其作用在于通過(guò)對(duì)機(jī)器學(xué)習(xí)模型訓(xùn)練結(jié)果好壞的衡量來(lái)提升該模型的訓(xùn)練質(zhì)量。傾斜攝影影像往往會(huì)因?yàn)橄鄼C(jī)傾角較大導(dǎo)致影像的質(zhì)量不高，主要體現(xiàn)在影像的顏色、紋理和內(nèi)容3個(gè)方面。因此，本文從處理影像的顏色質(zhì)量、紋理質(zhì)量和內(nèi)容質(zhì)量3個(gè)方面建立損失函數(shù)，以確保影像的每個(gè)部分都能得到優(yōu)化[11]。

1.4.1 顏色損失

為計(jì)算顏色損失，本文分別對(duì)生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練后質(zhì)量改善的影像（改善影像）和目標(biāo)影像進(jìn)行高斯模糊處理，以降低影像的細(xì)節(jié)層次，消除影像的紋理部分和內(nèi)容部分，將影像的顏色部分提取出來(lái)進(jìn)行對(duì)比。高斯模糊算子為：

式中，σ是正態(tài)分布的標(biāo)準(zhǔn)偏差；k和l分別是高斯模糊的長(zhǎng)和寬。

通過(guò)高斯模糊算子得到經(jīng)過(guò)高斯模糊后的改善影像和目標(biāo)影像：

式中，X、Y分別為生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練后質(zhì)量改善的影像和目標(biāo)影像；Xb、Yb分別為經(jīng)過(guò)高斯模糊處理后的改善影像和目標(biāo)影像；i、j分別為影像中每一像素的橫坐標(biāo)和縱坐標(biāo)。

最后，計(jì)算高斯模糊后2個(gè)影像之間的歐氏距離作為改善影像的顏色損失。

顏色損失模型在不用對(duì)同組兩張影像之間的紋理和內(nèi)容進(jìn)行比較的情況下，可以估計(jì)出影像之間的亮度、對(duì)比度和主要顏色的差異。因此，我們可以將正態(tài)分布的標(biāo)準(zhǔn)偏差σ固定為最小值（3），來(lái)確保影像的紋理和內(nèi)容不會(huì)出現(xiàn)丟失。同時(shí)，高斯模糊能夠減少影像中的噪聲，故該顏色損失模型不會(huì)因?yàn)橛跋裰猩倭康氖д娑苡绊?，確保質(zhì)量改善后的影像具有與目標(biāo)影像一樣的顏色分布。

1.4.2 紋理?yè)p失

紋理?yè)p失是對(duì)感知損失的改進(jìn)，適用于捕獲影像的風(fēng)格特征。本文中的紋理?yè)p失函數(shù)未進(jìn)行預(yù)定義，而是利用生成式對(duì)抗網(wǎng)絡(luò)，直接通過(guò)機(jī)器學(xué)習(xí)的方法來(lái)評(píng)估影像紋理的質(zhì)量指標(biāo)。紋理?yè)p失是位移不變的，所以在生成式對(duì)抗網(wǎng)絡(luò)中不需要進(jìn)行對(duì)準(zhǔn)。

本文的紋理?yè)p失函數(shù)設(shè)計(jì)為最小化交叉熵?fù)p失函數(shù):

式中，Is為原始影像；It為目標(biāo)影像；G(Is)為生成模型將原始影像增強(qiáng)后的影像；D(G(Is)，It)為判別模型判斷出的增強(qiáng)影像與目標(biāo)影像的相似度；Ltexture為紋理?yè)p失。當(dāng)判別函數(shù)D將增強(qiáng)影像評(píng)價(jià)為和目標(biāo)影像一樣時(shí)，D(G(Is)，It)=1，則Ltexture=0，此時(shí)，經(jīng)過(guò)生成式對(duì)抗網(wǎng)絡(luò)增強(qiáng)后的影像沒(méi)有紋理?yè)p失。

1.4.3 內(nèi)容損失

內(nèi)容損失用于計(jì)算質(zhì)量改善后的影像與目標(biāo)影像的內(nèi)容和感知質(zhì)量等各個(gè)方面的相似度，本文通過(guò)VGG19網(wǎng)絡(luò)分別將經(jīng)過(guò)生成式對(duì)抗網(wǎng)絡(luò)質(zhì)量改善后的影像與目標(biāo)影像的特征進(jìn)行提取。在本文中，內(nèi)容損失用于保存其他損失并未考慮的影像語(yǔ)義，并用改善影像和目標(biāo)影像內(nèi)容特征之間的歐氏距離來(lái)定義內(nèi)容損失:

式中，Is為原始影像；It為目標(biāo)影像；G(Is)為生成模型將原始影像質(zhì)量改善后的影像；Ψj是通過(guò)VGG19網(wǎng)絡(luò)的第j個(gè)卷積層特征提取后的影像；Cj、Hj、Wj分別表示第j個(gè)卷積層特征提取后影像要素的數(shù)量、高度和寬度。

1.4.4 梯度損失

梯度損失是在VGG19網(wǎng)絡(luò)中影像在相鄰兩層導(dǎo)數(shù)之間傳導(dǎo)造成，其在總損失中占比相對(duì)較低，故其不會(huì)對(duì)高頻特征的優(yōu)化產(chǎn)生影響。計(jì)算梯度損失是為了從整體上對(duì)影像進(jìn)行微小的平滑處理，并去除影像中的椒鹽噪聲，梯度損失函數(shù)為：

式中，Is為原始影像；G(Is)為生成模型將原始影像質(zhì)量改善后的影像；C、H和W分別是改善影像要素的數(shù)量、高度和寬度；?x、?y分別是改善影像在橫坐標(biāo)和縱坐標(biāo)下的梯度。

1.4.5 總損失

總損失用于對(duì)生成式對(duì)抗網(wǎng)絡(luò)進(jìn)行約束，以保證改善后影像的質(zhì)量。將上述損失進(jìn)行加權(quán)后相加得到總損失。

式中，Ltotal為總損失；Lcontent為內(nèi)容損失；Ltexture為紋理?yè)p失；Lcolor為顏色損失；Ltv為梯度損失。

然后將由N個(gè)影像對(duì)（每個(gè)影像對(duì)由一個(gè)增強(qiáng)影像和一個(gè)目標(biāo)影像組成）組成訓(xùn)練集加入到VGG19網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，以將損失最小化。

式中，L為訓(xùn)練后的損失；是第j個(gè)影像對(duì)中原始影像質(zhì)量改善后的影像；是第j個(gè)影像對(duì)中的目標(biāo)影像。

2 應(yīng)用實(shí)例

2.1 影像處理效果

2.1.1 去霧處理

圖3是在林地上空采集的原始傾斜攝影影像，以及基于機(jī)器學(xué)習(xí)的影像質(zhì)量改善方法處理后的影像?？梢钥闯鲈加跋耢F化比較嚴(yán)重，清晰度不高，地物界線不明顯，經(jīng)基于機(jī)器學(xué)習(xí)的影像質(zhì)量改善方法處理影像后，影像清晰度顯著提高，對(duì)比度明顯， 能清楚地分辨出各類地物。

圖3 霧化處理對(duì)比圖

2.1.2 去陰影處理

圖4是在城市上空采集的原始傾斜攝影影像，基于機(jī)器學(xué)習(xí)的影像質(zhì)量改善方法處理后的影像。原始影像中的低矮地物被高樓陰影遮擋，難以看清地物特征，不利于后續(xù)三維建模。而經(jīng)基于機(jī)器學(xué)習(xí)的影像質(zhì)量改善方法處理后，陰影部分的亮度得到明顯的提升，而沒(méi)有陰影的區(qū)域變化不太明顯，被遮擋地物的亮度被提升到和無(wú)陰影區(qū)相當(dāng)?？梢缘贸鼋Y(jié)論，基于機(jī)器學(xué)習(xí)的影像質(zhì)量改善方法針對(duì)影像的不同特征進(jìn)行了差異化的處理。

2.1.3 色彩增強(qiáng)處理

圖5是在農(nóng)村上空采集的原始傾斜攝影影像和基于機(jī)器學(xué)習(xí)的影像質(zhì)量改善方法處理后的影像。不同于圖3～4所示的原始影像，這里的原始影像較為清晰明亮。經(jīng)過(guò)基于機(jī)器學(xué)習(xí)的影像質(zhì)量改善方法處理后，該影像中藍(lán)色、綠色等特征性較強(qiáng)的色彩效果顯著增強(qiáng)，不同顏色的分界線也更為明顯。顏色對(duì)比增強(qiáng)，圖片中的地物特征也變得更為明顯。

2.2 對(duì)比分析與討論

通過(guò)對(duì)圖6中四張圖片對(duì)比（a為原始傾斜攝影影像；b為PS參數(shù)處理影像；c為勻色模板處理影像；d為基于機(jī)器學(xué)習(xí)的影像質(zhì)量改善方法處理影像）可見(jiàn)原圖較為模糊，PS處理后的影像清晰度仍然不高，勻色處理后的影像則噪聲點(diǎn)較多，出現(xiàn)了顏色失真。經(jīng)過(guò)基于機(jī)器學(xué)習(xí)的影像質(zhì)量改善方法處理后的影像兼顧了清晰度和對(duì)比度，并保證了原始影像中的地物特征沒(méi)有丟失。通過(guò)對(duì)比分析，傳統(tǒng)模式和機(jī)器學(xué)習(xí)模式進(jìn)行影像質(zhì)量改善的優(yōu)缺點(diǎn)如表1所示。

表1 傳統(tǒng)模式和機(jī)器學(xué)習(xí)模式優(yōu)缺點(diǎn)對(duì)比表

圖6 效果對(duì)比圖

基于機(jī)器學(xué)習(xí)的傾斜攝影影像質(zhì)量改善結(jié)果對(duì)獨(dú)立地物的特征更為突出，滿足了大多數(shù)客戶對(duì)影像處理結(jié)果的要求。對(duì)于傾斜攝影測(cè)量這類影像數(shù)據(jù)較多的工程而言，可以獲得足夠的原始影像供機(jī)器學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練，以提高機(jī)器學(xué)習(xí)對(duì)傾斜攝影影像進(jìn)行增強(qiáng)處理的效率。雖然該方法對(duì)硬件的要求較高，但是隨著當(dāng)前云計(jì)算、大數(shù)據(jù)和硬件質(zhì)量的發(fā)展，該方法會(huì)得到越來(lái)越廣泛的應(yīng)用。

3 結(jié)語(yǔ)

本文研究分析了機(jī)器學(xué)習(xí)在傾斜攝影影像質(zhì)量改善的方法與應(yīng)用，并對(duì)廣西某地的傾斜攝影影像進(jìn)行了質(zhì)量改善處理。歸納整理了基于機(jī)器學(xué)習(xí)的傾斜攝影影像質(zhì)量改善的技術(shù)要點(diǎn)，分析了處理后的影像效果，驗(yàn)證了其在對(duì)傾斜攝影影像處理中具有很好的可行性和應(yīng)用價(jià)值。在當(dāng)前傾斜攝影測(cè)量技術(shù)在智慧城市、道路檢測(cè)等領(lǐng)域的需求快速增長(zhǎng)之際，機(jī)器學(xué)習(xí)對(duì)傾斜攝影影像質(zhì)量改善的方法會(huì)進(jìn)一步得到規(guī)范和優(yōu)化，逐步滿足社會(huì)各界對(duì)傾斜攝影影像精度和數(shù)據(jù)量的要求，基本解決了傾斜攝影影像成千上萬(wàn)根節(jié)點(diǎn)加載速度卡頓的問(wèn)題，從而為社會(huì)各界提供應(yīng)用場(chǎng)景更廣、更新周期更短、數(shù)據(jù)精度更高的基礎(chǔ)測(cè)繪產(chǎn)品和服務(wù)[12]。