唐昊，馮德俊，曹文峰，德云樂(lè)強(qiáng)，王淳

(1.中國(guó)工程物理研究院計(jì)算機(jī)應(yīng)用研究所，四川 綿陽(yáng) 621900；2.西南交通大學(xué) 地球科學(xué)與環(huán)境工程學(xué)院，成都 610097)

0 引言

對(duì)于基本測(cè)繪數(shù)據(jù)匱乏地區(qū)(如國(guó)外某區(qū)域、貧困落后地區(qū))進(jìn)行大區(qū)域建筑物三維建模時(shí)，獲取建筑物高度信息是該工作的關(guān)鍵。當(dāng)前獲取建筑物高度信息的方法可分為三類(lèi)。一是利用影像的立體像對(duì)，根據(jù)空中三角測(cè)量原理計(jì)算建筑物高度，該方法理論精度較高，但需要具有一定重疊度的兩幅或多幅影像。二是獲取建筑物的陰影信息，計(jì)算陰影長(zhǎng)度，然后根據(jù)太陽(yáng)高度角和方位角，模擬陰影與建筑物之間的空間幾何關(guān)系估算建筑物高度，該方法只需要一幅影像，成本相對(duì)較低，但當(dāng)建筑物比較密集，或地面地物復(fù)雜時(shí)，無(wú)法獲取建筑物完整的陰影信息。三是利用LiDAR數(shù)據(jù)獲取建筑物的高度信息，該方法適用范圍較小[1-2]。

課題組做了多年的陰影反演建筑物高度的研究[3-6]，采用基于建筑物陰影圖像特征或者用深度學(xué)習(xí)方式提取建筑物陰影，去噪后再根據(jù)光照模型反演建筑物高度。研究發(fā)現(xiàn)，該方法有一定的局限性，如建筑物比較密集時(shí)，前排建筑物陰影可能會(huì)投影到后排建筑物上，導(dǎo)致提取的建筑物陰影不完整；或者相鄰建筑物的陰影粘連在一起；或者太陽(yáng)光照不強(qiáng)時(shí)，地面陰影不明顯；或者投影到地面的陰影受地面植被等物體較大的影響等，這些情況均會(huì)導(dǎo)致這部分建筑物的高度無(wú)法通過(guò)陰影信息進(jìn)行計(jì)算。

因此，論文試圖利用深度學(xué)習(xí)等方法獲取建筑物側(cè)面信息，計(jì)算其長(zhǎng)度，然后根據(jù)衛(wèi)星與建筑物之間的空間幾何關(guān)系，估算建筑物的高度，以彌補(bǔ)利用陰影信息計(jì)算建筑物高度方法的缺陷。國(guó)內(nèi)外已有部分文獻(xiàn)在研究該問(wèn)題[7]，但研究?jī)?nèi)容主要涉及的是較簡(jiǎn)單的場(chǎng)景，并且沒(méi)有和陰影提取方法進(jìn)行對(duì)比結(jié)合。

1 論文研究方法原理

論文方法研究需具備以下前提條件。

1)空間分辨率較高的遙感影像?？臻g分辨率較高的遙感影像才能得到像素較多的側(cè)面，如亞米級(jí)的QuickBird影像或分辨率更高的航空影像。

2)非正射投影成像。利用建筑物側(cè)面估算建筑物高度時(shí)，必然需要在遙感影像中可見(jiàn)建筑物的側(cè)面，而當(dāng)衛(wèi)星高度角為90°或接近90°時(shí)，遙感影像的側(cè)面顯示不明顯。因此，可見(jiàn)側(cè)面的長(zhǎng)度不能太短，否則無(wú)法識(shí)別出對(duì)應(yīng)建筑物的高度信息。

3)太陽(yáng)和衛(wèi)星處于建筑物的同側(cè)。當(dāng)太陽(yáng)和衛(wèi)星處于建筑物的同側(cè)時(shí)，建筑物側(cè)面的光譜特征比較明顯，結(jié)合形狀特征和紋理特征，有利于建筑物側(cè)面的提取。

4)建筑物外部結(jié)構(gòu)規(guī)則、整齊。如果建筑物外部結(jié)構(gòu)不規(guī)則，則需要使用更加復(fù)雜的物理模型對(duì)建筑物高度進(jìn)行計(jì)算。并且建筑物外部結(jié)構(gòu)不規(guī)則會(huì)影響建筑物側(cè)面的提取精度，也不利于建筑物高度的反演。

5)建筑物側(cè)面被遮擋少。當(dāng)建筑物比較密集時(shí)，相鄰建筑物之間會(huì)相互遮擋，或則相鄰建筑物的陰影會(huì)投影到另一棟建筑物側(cè)面上；如果地面植被較多時(shí)，也會(huì)對(duì)建筑物側(cè)面產(chǎn)生遮擋。

在滿(mǎn)足以上五個(gè)前提的情況下，衛(wèi)星和建筑物的空間位置如圖1所示。

圖1 衛(wèi)星與建筑物的空間位置關(guān)系示意圖

從圖1可以看出，建筑物的高度信息與衛(wèi)星的方位角和衛(wèi)星的高度角有著緊密聯(lián)系。因?yàn)檫b感影像是二維圖，需要將影像復(fù)原到三維圖才能計(jì)算，二維圖和三維圖的關(guān)系如圖2所示。從圖2可以看出，影像上的建筑側(cè)面呈現(xiàn)為B面，而真實(shí)的建筑物的側(cè)面為A面。建筑物的實(shí)際高度與建筑物側(cè)面長(zhǎng)度的關(guān)系如式(1)所示。

(1)

式中：H代表建筑物的實(shí)際高度；L代表建筑物側(cè)面在影像上的長(zhǎng)度；β代表衛(wèi)星的高度角。

圖2 建筑物側(cè)面三維和二維的關(guān)系圖

實(shí)際上，大部分情況下衛(wèi)星拍攝的平行視線(xiàn)與建筑物朝向并不垂直，實(shí)際的形狀如面C所示，這樣需要考慮衛(wèi)星方位角與建筑物的朝向關(guān)系，十分復(fù)雜。為了簡(jiǎn)化算法，只需要考慮建筑物的棱線(xiàn)方向，棱線(xiàn)即為建筑物側(cè)面的主方向，見(jiàn)圖3，確定棱線(xiàn)與屏幕Y方向的夾角，根據(jù)三角關(guān)系即可以計(jì)算出側(cè)面的實(shí)際長(zhǎng)度。

圖3 構(gòu)建建筑物的棱線(xiàn)

2 基于深度學(xué)習(xí)方法的側(cè)面信息提取

論文實(shí)驗(yàn)區(qū)是四川省成都市某區(qū)域，實(shí)驗(yàn)數(shù)據(jù)是融合后的QuickBird影像。建筑物側(cè)面提取方法有兩種。一是傳統(tǒng)的閾值分割(Otsu算法)[8]，并結(jié)合數(shù)學(xué)形態(tài)學(xué)進(jìn)行處理。二是利用深度學(xué)習(xí)方法LVQ(learning vector quantization)神經(jīng)網(wǎng)絡(luò)[9-10]提取建筑物側(cè)面信息。下面對(duì)第二種方法的處理過(guò)程進(jìn)行簡(jiǎn)單介紹。

本文使用的 LVQ神經(jīng)網(wǎng)絡(luò)，即學(xué)習(xí)矢量量化神經(jīng)網(wǎng)絡(luò)，這是一種前向神經(jīng)網(wǎng)絡(luò)，主要用于訓(xùn)練競(jìng)爭(zhēng)的神經(jīng)網(wǎng)絡(luò)，且其中包含有監(jiān)督學(xué)習(xí)的方法。因此LVQ神經(jīng)網(wǎng)絡(luò)可以像神經(jīng)元一樣進(jìn)行分類(lèi)，這樣就能克服無(wú)監(jiān)督學(xué)習(xí)算法對(duì)分類(lèi)產(chǎn)生的誤差及影響。根據(jù)LVQ神經(jīng)網(wǎng)絡(luò)能夠監(jiān)督學(xué)習(xí)這一特性，可利用LVQ神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行簡(jiǎn)單的二分類(lèi)。例如，輸入一幅影像，設(shè)定其判別條件為圖片中是否含有飛機(jī)，如果有飛機(jī)則可以將此圖片定義為1輸出，若圖片中沒(méi)有飛機(jī)，則將圖片定義為0輸出。本文便是利用這一特點(diǎn)將LVQ神經(jīng)網(wǎng)絡(luò)視為一個(gè)分類(lèi)器，將影像分為若干塊，影像特征滿(mǎn)足建筑物側(cè)面的影像塊定義為1，影像特征不滿(mǎn)足建筑物側(cè)面的影像塊定義為0，然后將定義為1的影像塊設(shè)為前景，定義為0的影像塊設(shè)為背景，這樣便能達(dá)到提取建筑物側(cè)面的目的。

1)選取訓(xùn)練樣本。從遙感影像上裁剪大量的大小為256像素×256像素的能夠清晰看到建筑物側(cè)面的圖片并進(jìn)行標(biāo)注，將圖片轉(zhuǎn)為灰度圖像，然后將圖片中建筑物側(cè)面設(shè)為前景，其他地方設(shè)為背景。將標(biāo)注好的圖片進(jìn)行不同角度的旋轉(zhuǎn)，使訓(xùn)練樣本數(shù)量翻倍。其中一張標(biāo)簽圖如圖4所示。

圖4 標(biāo)簽圖

2)設(shè)置采樣參數(shù)。確定取塊的像素間隔和窗口大小，循環(huán)輸入原圖片和標(biāo)簽圖片，按照取塊的像素間隔和窗口大小計(jì)算塊的數(shù)量，并以塊為單位，計(jì)算正負(fù)樣本量，并對(duì)樣本均勻采樣平衡正負(fù)樣本量。

3)設(shè)置輸入向量。對(duì)于大多數(shù)建筑物，側(cè)面與頂部的建筑材料相同，這可能造成建筑物側(cè)面與頂部的光譜特征相似，因此不能僅依靠光譜特征作為特征向量，還得加入建筑物側(cè)面的幾何特征和紋理特征一起構(gòu)成輸入向量。幾何特征主要由三個(gè)指標(biāo)組成，分別為：提取面積的平方根與周長(zhǎng)之比、周長(zhǎng)與端點(diǎn)個(gè)數(shù)之比、特征基元的面積與外界矩形面積之比，組成三維形狀特征向量。紋理特征能反映一幅圖像中某一個(gè)局部區(qū)域內(nèi)的排列規(guī)則，但紋理特征只能反映地物表面的某些特征，不能反映更高層次的信息。紋理的描述可利用直方圖和像素相對(duì)位置的二階灰度共生矩陣的四個(gè)特性描繪子作為輸入向量，這四個(gè)描繪子分別為：一致性、熵、對(duì)比度和自相關(guān)。

4)歸一化輸入。在訓(xùn)練一個(gè)模型時(shí)，為了加快學(xué)習(xí)過(guò)程，減少實(shí)驗(yàn)時(shí)間，歸一化輸入特征向量。歸一化輸入主要分為兩步。第一步為零值均衡化，即訓(xùn)練值與平均值之間的差的方差。第二步為根據(jù)上一步得到的方差歸一化數(shù)據(jù)集。

5)訓(xùn)練和測(cè)試。根據(jù)設(shè)定的學(xué)習(xí)效率、迭代次數(shù)、神經(jīng)元個(gè)數(shù)和連接權(quán)值等數(shù)據(jù)，得到神經(jīng)網(wǎng)絡(luò)中各參數(shù)的最或然值，然后進(jìn)行測(cè)試，得到實(shí)驗(yàn)區(qū)A和實(shí)驗(yàn)區(qū)B的提取結(jié)果，如圖5和圖6所示。

圖5 實(shí)驗(yàn)區(qū)A

圖6 實(shí)驗(yàn)區(qū)B

3 實(shí)驗(yàn)結(jié)果精度分析

對(duì)提取結(jié)果使用三個(gè)參數(shù)即側(cè)面漏檢率、側(cè)面誤檢率和側(cè)面總錯(cuò)誤率來(lái)評(píng)價(jià)提取精度，其計(jì)算表達(dá)分別如式(2)、式(3)和式(4)所示。

(2)

(3)

(4)

式中：FSOC表示側(cè)面漏檢率；FSCE表示側(cè)面誤檢率；FSTE表示側(cè)面總錯(cuò)誤率；FN表示建筑物側(cè)面未被檢測(cè)到的像素點(diǎn)的總數(shù)；FE表示非建筑物側(cè)面像素點(diǎn)被誤檢為建筑物側(cè)面像素點(diǎn)的總數(shù)；FY表示建筑物側(cè)面像素的真實(shí)總數(shù)。利用上述公式計(jì)算三個(gè)評(píng)定參數(shù)，其計(jì)算結(jié)果如表1和表2所示。

表1 傳統(tǒng)方法建筑物側(cè)面提取精度表

表2 深度學(xué)習(xí)方法建筑物側(cè)面提取精度表

從表1、表2可以看出，深度學(xué)習(xí)方法提取的結(jié)果比傳統(tǒng)方法(Otsu算法)的精度略高，而且方法更簡(jiǎn)便，說(shuō)明這種提取方法是可行的。

4 建筑物實(shí)際高度估算

建筑物實(shí)際高度估算分兩個(gè)步驟：計(jì)算提取的建筑物側(cè)面對(duì)應(yīng)建筑物高部分的長(zhǎng)度、利用式(1)所示方法計(jì)算建筑物實(shí)際高。

本文實(shí)驗(yàn)區(qū)內(nèi)的建筑物側(cè)面大多為平行四邊形，可以通過(guò)直接測(cè)量的方式得到建筑物側(cè)面的長(zhǎng)度。論文采用漁網(wǎng)法計(jì)算建筑物側(cè)面長(zhǎng)度。根據(jù)漁網(wǎng)法的思想，在二值圖像上生成網(wǎng)線(xiàn)，并進(jìn)行邏輯非運(yùn)算，得到裁剪的線(xiàn)，對(duì)裁剪出來(lái)的線(xiàn)通過(guò)連通分量的形式統(tǒng)計(jì)在一個(gè)數(shù)組內(nèi)，用拉依達(dá)規(guī)則進(jìn)行篩選，再計(jì)算剩余線(xiàn)的像元個(gè)數(shù)，求平均值，得到側(cè)面長(zhǎng)度的最終結(jié)果。

計(jì)算出側(cè)面長(zhǎng)度后，利用式(1)方法估算建筑物的高度。選取十棟建筑物的計(jì)算高度和實(shí)際高度進(jìn)行比較，結(jié)果如表3和表4所示。

表3 基于傳統(tǒng)方法提取建筑物側(cè)面的反演結(jié)果精度評(píng)定

表4 基于深度學(xué)習(xí)方法提取建筑物側(cè)面的反演結(jié)果精度評(píng)定

為了更直觀(guān)地對(duì)比兩種方法建筑物側(cè)面提取的誤差對(duì)比，構(gòu)建了兩種方法反演的建筑物絕對(duì)誤差對(duì)比折線(xiàn)圖，其結(jié)果如圖7所示。

圖7 絕對(duì)誤差對(duì)比圖

從圖7可以看出，兩種方法都存在著一定的誤差，還需要不斷的改進(jìn)。總體而言，深度學(xué)習(xí)方法的絕對(duì)精度略高于閾值分割方法。

5 結(jié)束語(yǔ)

實(shí)驗(yàn)發(fā)現(xiàn)以下情況會(huì)對(duì)本文方法的效果產(chǎn)生影響：建筑物底部植被過(guò)于茂盛，會(huì)導(dǎo)致建筑物與地面接觸的邊界線(xiàn)無(wú)法被直觀(guān)地選取出來(lái)；有的房屋的屋頂與側(cè)面的結(jié)構(gòu)和材質(zhì)比較一致，會(huì)干擾建筑物側(cè)面的提取；建筑物頂部結(jié)構(gòu)復(fù)雜，參差不齊，會(huì)導(dǎo)致側(cè)面不是一個(gè)規(guī)則的平行四邊形，影響側(cè)面長(zhǎng)度的計(jì)算；過(guò)密集的建筑物群，露出的建筑物側(cè)面較少。

通過(guò)實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，在高分辨率遙感影像中利用建筑物側(cè)面信息估算建筑物高是可行的，而且可以與陰影計(jì)算建筑物高的方法相互補(bǔ)充，可以彌補(bǔ)陰影計(jì)算的一些缺陷，如比較密集的建筑物群區(qū)域，仍然可以獲取建筑物側(cè)面信息的情況。同時(shí)，本文方法不易實(shí)現(xiàn)的某些情況在陰影方法中可以實(shí)現(xiàn)，如建筑物側(cè)面與頂部材質(zhì)比較一致時(shí)的情況。本文方法和陰影提取方法的互補(bǔ)性程度是后續(xù)研究需要進(jìn)一步深入驗(yàn)證的內(nèi)容。