劉卓亞

摘要：旅游資源和信息技術(shù)的有機(jī)結(jié)合能夠釋放巨大的商業(yè)潛力，具有重要的社會(huì)意義。從一個(gè)單一的二維圖像的旅游城市場(chǎng)景推斷建筑立面的三維布局。與現(xiàn)有的只產(chǎn)生粗方向標(biāo)簽或定性塊近似的方法不同，所提出的算法使用三維幾何約束相互關(guān)聯(lián)的一組平面定量地重建三維空間中的建筑立面。每個(gè)平面的特征是連續(xù)的方向矢量和深度分布。通過(guò)平面間的相互作用來(lái)達(dá)到最佳的解決方案，由于該算法幾何推理的定量和基于平面的性質(zhì)，所提出的算法模型比現(xiàn)有的方法更具表現(xiàn)力和更豐富的信息。實(shí)驗(yàn)結(jié)果表明，本文的方法與采用測(cè)量方法實(shí)現(xiàn)三維重構(gòu)方法相比，能夠更加逼真的重現(xiàn)三維場(chǎng)景。

關(guān)鍵字：三維重構(gòu);建筑立面;幾何建模;約束條件;圖像深度估算

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

給定一個(gè)城市場(chǎng)景的單一圖像，自動(dòng)推斷出場(chǎng)景中建筑的三維布局將有利于利用計(jì)算機(jī)技術(shù)構(gòu)建線上城市三維虛擬場(chǎng)景，能夠有助于實(shí)現(xiàn)旅游線路自主導(dǎo)航和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域的許多任務(wù)，方便游客更加深入感受旅游資源的魅力。

城市環(huán)境下的三維重建主要是建筑立面的三維布局的構(gòu)建。然而，基于二維圖像實(shí)現(xiàn)在城市建筑物立面的三維布局是一項(xiàng)特別具有挑戰(zhàn)性的任務(wù)。難點(diǎn)在于，建筑立面可以在三維空間中具有高度靈活的組合，并且具有明確的方位指向，難以通過(guò)單個(gè)圖像準(zhǔn)確獲取重建目標(biāo)的三維坐標(biāo)定位[1-2]。

盡管無(wú)法像定位物體一樣定位建筑立面，但與樹木或天空等其他區(qū)域不同，建筑物立面更加結(jié)構(gòu)化，可以分解為一組可以定量表示的平面[3]。這些平面的方位和位置都受到它們從物理合理性中導(dǎo)出的三維幾何關(guān)系的約束[4-5]。本文將建筑立面建模為一組具有連續(xù)方向的平面，然后使用平面內(nèi)幾何約束對(duì)其三維位置進(jìn)行定量推理。與現(xiàn)有的基于像素或者分段的方法相比，這種方法可以對(duì)立面場(chǎng)景產(chǎn)生更豐富的解釋和基于塊的方法[6-7]。更具體地說(shuō)，本文的方法能夠提供現(xiàn)有算法無(wú)法提供的關(guān)鍵場(chǎng)景理解信息（如定向、深度和立面平面關(guān)系等）[8]。文獻(xiàn)[9]提出將圖像像素分類為不同的方向標(biāo)簽的幾何背景建模思路。雖然這種方法直接實(shí)現(xiàn)更高維度的平面的幾何建模，但會(huì)生成較為粗糙的目標(biāo)表面方向的線索。使用這種線索從不同方向標(biāo)簽的兩個(gè)相鄰線段拼裝成目標(biāo)塊，并通過(guò)擬合地平線和天際線來(lái)定位這些目標(biāo)塊。這種方法對(duì)場(chǎng)景產(chǎn)生了豐富的高層次解釋，但解釋在立面方向和深度方面都是定性的。此外，通過(guò)目標(biāo)塊近似建筑物外立面不能模擬更復(fù)雜的情況。

文獻(xiàn)[10]由兩個(gè)正交消失方向的跨度對(duì)目標(biāo)表面進(jìn)行定量定向建模。雖然使用消失的方向來(lái)計(jì)算平面方向能夠開發(fā)室內(nèi)場(chǎng)景的建模，但是這種方法不能直接應(yīng)用于城市場(chǎng)景中的建筑立面分析。這是因?yàn)檫@些方法通常將房間簡(jiǎn)化為一個(gè)箱子，而所有其他垂直表面都局限于盒子和平行于盒子的墻壁。相比之下，城市場(chǎng)景中的建筑物外立面位于開放空間中，通常具有更靈活的結(jié)構(gòu)。盡管該算法并沒(méi)有將房間簡(jiǎn)化為一個(gè)箱子，但它很大程度上依賴于共同的天花板來(lái)定義垂直墻，這也不適用于戶外場(chǎng)景。

通過(guò)對(duì)上述文獻(xiàn)的研究，提出一個(gè)基于平面的全定量模型來(lái)推斷建筑立面的三維布局。每個(gè)平面都由一個(gè)連續(xù)的方向向量和一個(gè)深度值的分布來(lái)表示。在模型中，利用多個(gè)線索，如平面分割、表面布局、地面接觸線等，來(lái)探測(cè)和分解建筑區(qū)域，形成獨(dú)特的平面。單個(gè)候選平面確定是由其與圖像特征的二維證據(jù)和攝像機(jī)、建筑物高度等三維證據(jù)的兼容性決定的。對(duì)不同類型的三維幾何關(guān)系建模，并應(yīng)用條件隨機(jī)場(chǎng)算法（CRF）來(lái)確定它們的有效性，并推斷出它們的最優(yōu)深度。

1 基于平面的建筑立面三維建模

1.1 問(wèn)題表述

首先對(duì)涉及的幾何變量進(jìn)行定義。本研究使用

提出模型需要解決檢測(cè)一組與獨(dú)特立面平面的問(wèn)題，并在給定城市場(chǎng)景的單個(gè)二維圖像的情況下估算其三維定位和位置。在這里，一個(gè)方向不同于相鄰平面的建筑立面被定義為一個(gè)立面平面;否則，將會(huì)合并具有相同方向的兩個(gè)相鄰立面平面[10]。模型通過(guò)最大化以下目標(biāo)函數(shù)來(lái)推斷建筑立面的最佳三維布局：

式1中o、n、d_s和x_s是表征立面平面的變量。對(duì)于每個(gè)平面i，變量o、n、d_s和x_s分別表示其有效性（二進(jìn)制指示符）、方向（連續(xù)矢量）、距相機(jī)中心（連續(xù)標(biāo)量）的距離和空間范圍（指定圖像中平面的角的連續(xù)坐標(biāo)）。優(yōu)化問(wèn)題的參數(shù)包括圖像特征I，從相機(jī)中心距離地面高度h_g、距離相機(jī)水平方向距離n_g，焦距f和立面高度H_f。其中，H_f是由根據(jù)經(jīng)驗(yàn)值確定，而h_g被假定為1.6米。然后由垂直消失方向確定%，并通過(guò)最大化垂直和水平消失方向的正交性來(lái)估計(jì)f。

目標(biāo)函數(shù)中的第一項(xiàng)是每個(gè)單獨(dú)平面的一元?jiǎng)莺瘮?shù)，并且它是在所有候選平面P上求和的[11]。其余三項(xiàng)是具有相互約束的平面的成對(duì)勢(shì)函數(shù)，并且它們?cè)谝粋€(gè)子集（即P_v，P_o或P_a）參與這些約束的候選平面。

由于直接優(yōu)化方程1中的客觀函數(shù)是棘手的，本文首先使用基于四邊形的采樣算法生成一組候選立面平面，其中每個(gè)候選立面平面具有固定的正常信號(hào)n_si和邊界X_sj對(duì)于給定的n_si和X_si只需要優(yōu)化每個(gè)候選立面平面的有效性和深度ds。。在此過(guò)程中也將獲得有效立面平面的總數(shù)，而這些數(shù)據(jù)是未知的。

1.2 不同平面之間的互兼容

一元?jiǎng)莺瘮?shù)由兩個(gè)分?jǐn)?shù)的乘積組成。第一個(gè)分?jǐn)?shù)是圖像特征兼容性分?jǐn)?shù)，用于衡量圖像中立面平面的二維位置與圖像特征的一致性[12]。其計(jì)算公式為：

由方程2可知，如果一個(gè)圖像區(qū)域確實(shí)屬于建筑立面，那么它應(yīng)該是：1）支持的語(yǔ)義線索，它屬于“建筑”區(qū)域，2）在表面布局的支撐下，它的朝向與它的主導(dǎo)定位標(biāo)簽一致，3）在消失線的支持下，它的方向與在其內(nèi)部的主導(dǎo)水平消失方向一致。