單幅圖像中平行六面體建筑物三維參數(shù)自動提?。?/h1>
2012-01-05 08:19:04龔成龍魏志強
中國海洋大學(xué)學(xué)報(自然科學(xué)版) 2012年3期
楊 淼，龔成龍，魏志強
（1.淮海工學(xué)院電子工程學(xué)院，江蘇連云港222006；2.江南大學(xué)物聯(lián)網(wǎng)學(xué)院，江蘇無錫214122；3.中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東青島266100）
單幅圖像中平行六面體建筑物三維參數(shù)自動提?。?/p>
楊 淼1，2，龔成龍1，魏志強3
（1.淮海工學(xué)院電子工程學(xué)院，江蘇連云港222006；2.江南大學(xué)物聯(lián)網(wǎng)學(xué)院，江蘇無錫214122；3.中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東青島266100）
針對單幅平行六面體類建筑物圖像，提出1種從參數(shù)化建模角度解決城市建筑物重建的方法。結(jié)合多尺度分析，由貝葉斯概率模型對邊緣像素分類自動獲取建筑物輪廓，利用平行六面體幾何結(jié)構(gòu)與相機參數(shù)的對偶性，確定場景及建筑物目標參數(shù)。該方法可在不需要人工交互的情況下，由單幅圖像完成平行六面體類建筑物結(jié)構(gòu)參數(shù)的提取。通過模擬圖像和自然圖像的實驗，結(jié)果說明本文提出的方法簡單、有效。
三維建模；輪廓提?。幌鄼C標定；平行六面體
由圖像實現(xiàn)城市場景的3D建模是計算機視覺的熱門問題之一，而其中重要工作就是建筑物模型的三維重構(gòu)。實踐證明由單幅圖像恢復(fù)建筑物的3D結(jié)構(gòu)經(jīng)常由于缺乏足夠的約束而變得困難。若沒有任何關(guān)于相機或被恢復(fù)景物的先驗知識，實現(xiàn)歐式重建是不可能的［1］。目標形狀的幾何約束較多的被應(yīng)用于實現(xiàn)重建。特別地，平行六面體可以代表大多數(shù)建筑物的主體形狀，易于模型化，包含大量的平行性、正交性、等長線段比等約束，因此，很多基于單幅或多幅圖像的標定、重建方法都利用了平行六面體中包含的幾何約束［2－5］，但是這些方法都需要人工選擇相應(yīng)的參數(shù)化模型［5］、約束［2，4］或角點［3］等，無法滿足自動重建的需要。并且如果圖像中平行六面體受到了部分（如角點）遮擋，那么人工提取的方法則存在一定的風(fēng)險，只能依靠大概的估計進行判斷。另外，目前多數(shù)關(guān)于自動重建的研究都集中于由航空圖像完成的重建［6－8］，而由近景圖像實現(xiàn)的自動重建方法主要以圖像序列為基礎(chǔ)［9－10］，這些方法在只有一幅圖像的情況下就不能處理了，他們是完全基于多視圖的。
本文研究由單幅圖像完成平行六面體型建筑物模型建模的方法。在假設(shè)相機內(nèi)參已知的情況下，設(shè)計城市建筑物貝葉斯概率統(tǒng)計模型來模擬經(jīng)過小尺度形態(tài)篩處理的城市建筑物世界，使用圖像中少量邊緣像素通過最大化后驗概率（MAP，Maximum a Posterior）估計消隱點的投影。利用估計到的消隱點和大尺度形態(tài)篩對邊界像素進行分類并自動提取建筑物主體輪廓。由平行六面體幾何結(jié)構(gòu)與相機參數(shù)之間的關(guān)系，完成模型參數(shù)和相機參數(shù)的自動估計。這種模型化的方法比傳統(tǒng)的點云恢復(fù)法更易于操控和實現(xiàn)渲染，可移植性強。通過對模擬圖像和自然圖像的實驗說了由本文提出的方法可以實現(xiàn)快速的相機方向標定并自動估計建筑物的模型參數(shù)。
1 相機與平行六面體模型
假設(shè)多數(shù)城市場景是建立在笛卡爾坐標系內(nèi)，存在3個正交的消隱點方向［11－12］，如果觀察者能夠估計X，Y，Z的方向，那么就容易找到場景中那些重要的邊緣（如建筑物中的結(jié)構(gòu)形狀），因為他們往往是典型的X，Y，Z方向的直線。并假設(shè)相機在近似水平平面內(nèi)拍攝，對大量非刻意拍攝的圖像統(tǒng)計證明這一假設(shè)是合理的［13］，相機的方向?qū)⒅饕衫@Z軸的旋轉(zhuǎn)角（方向角）決定。相機的內(nèi)參已知，大多數(shù)數(shù)碼相機由相機自帶的軟件就可以獲得相機的焦距等內(nèi)部參數(shù)。
1.1 相機模型
在針孔相機模型中，投影關(guān)系可表示為：
圖1 坐標系的建立Fig.1 Construction of coordinate system
其中，空間點P（Xp，Yp，Zp，1）T和其投影點p（up，vp，1）T以齊次坐標表示，R為旋轉(zhuǎn)矩陣［14］，表示相機的方向，t為平移向量。對大多數(shù)標準相機來說，只有焦距f未知，內(nèi)參數(shù)矩陣K＝diag（f，f，1）。
世界坐標系（X，Y，Z）與相機坐標系（Xcam，Ycam，Zcam）通過旋轉(zhuǎn)和平移相聯(lián)系，如圖1所示。
設(shè)相機的方向ψ由相機坐標系繞Z、Y、X軸的3個旋轉(zhuǎn)角α，β，γ來決定，由式（1）可得X，Y，Z方向消隱點在圖像中的投影分別為：
其中，Xcamx為相機坐標軸Xcam的x分量，其他同理。在理想情況下，若圖像中點p＝（up，vp）位于空間的X方向直線上，則點p的梯度方向（cosθx，sinθx）與X方向消隱點垂直，滿足
上式只是對1個梯度方向的指向與X方向的消隱點完全垂直的理想化的邊緣才成立，事實上，邊緣像素真實的梯度方向?qū)诶硐氲倪吘壷赶蚋浇▌?，利用Bayesian概率統(tǒng)計模型來對這些波動建模。另外，上式對±π＋θx仍然成立，因此，與邊緣的極性無關(guān)。對Y，Z方向直線同理。
1.2 平行六面體的投影
圖2 參數(shù)化平行六面體模型Fig.2 Parametevization of Pavallelepiped
用12個參數(shù)定義1個平行六面體［2］，6個外參［R，t］描述它的方向和位置，6個內(nèi)參描述它的歐式形狀：3個尺寸參數(shù)（邊長：l1，l2，l3）和3個邊之間的角度參數(shù)（θ12，θ13，θ23），如圖2所示，平行六面體形狀可以用1個4×4的矩陣表示：
其中，cij＝cosθij，sij＝sinθij，θij∈（0，π），li＞0，不失一般性，將場景世界坐標系定義在平行六面體中，則平行六面體在圖像中的投影由相機相對于該平行六面體的位置［R，t］，相機的內(nèi)部參數(shù)矩陣K和平行六面體參數(shù)矩陣共同決定。1個單位立方體頂點（±1，±1，±1，1）T由映射為平行六面體的相應(yīng)頂點，類似于絕對二次曲線的像與相機內(nèi)參的表示法，定義：
2 平行六面體輪廓提取
2.1 形態(tài)篩
圖像中的邊緣像素帶有與相機方向相關(guān)的統(tǒng)計信息。通常，這些高梯度像素不僅包括了那些具有典型X，Y，Z方向的像素，也會因圖像的拍攝情況包含噪聲等。這些目標往往對應(yīng)著灰度極大值區(qū)域或極小值區(qū)域。區(qū)域操作算子具有根據(jù)局部明顯區(qū)域與周邊環(huán)境的相關(guān)性實現(xiàn)將細節(jié)逐步融入到大的背景環(huán)境中的能力，可有效的消除包括噪聲在內(nèi)的復(fù)雜細節(jié)的影響，生成與圖像中目標相對應(yīng)的區(qū)域［16］?；叶刃螒B(tài)篩（MS，Morphological Sieves）的步驟為：1、識別所有極值區(qū)域；2、將所有尺度為1的極大值（極小值）區(qū)域與鄰域融合；3、隨著不斷增加的尺度重復(fù)步驟2直到剩下一個區(qū)域。
假設(shè)尺度為s的尺度圖像為Xs，則灰度形態(tài)篩操作表示為：
這里，Gs為灰度形態(tài)篩遞歸操作算子，將尺度為s－1的圖像變換為尺度為s的圖像。Ks是遞歸算子的層疊調(diào)用，實現(xiàn)從X0到Xs的變換。
隨著尺度的增加，灰度形態(tài)篩操作將局部極值區(qū)域逐漸融入到周圍的環(huán)境中，因此大尺度灰度形態(tài)篩為建筑物輪廓的提取提供了有利條件。但增大尺度的區(qū)域融合操作會使具有典型消隱方向的小區(qū)域的邊緣消失，所以不宜在估計模型時選擇較大尺度的形態(tài)篩。
2.2 概率統(tǒng)計模型
選擇小尺度形態(tài)篩處理后灰度圖像中高梯度幅值像素的統(tǒng)計屬性建立貝葉斯概率模型。像素的梯度信息與相機的方向角之間由貝葉斯條件概率建立關(guān)系，設(shè)消隱點的集合為，梯度圖像為G，圖像梯度與相機方向角通過條件概率密度聯(lián)系在一起，方向角與消隱點之間的函數(shù)關(guān)系如1.1部分所述，通過最大化P求得的最大化后驗概率（MAP）估計值，即：
將梯度圖像G中被估計的像素p用5種邊緣模式mp中的1種去解釋，若mp＝1，2，3則意味著該像素源于場景中X，Y，Z方向的直線；mp＝4表示該像素為不屬于X，Y，Z方向的隨機邊緣像素；mp＝5表示此像素不是邊緣像素。
經(jīng)過灰度形態(tài)篩的處理，這些參與估計的像素大部分都是具有典型消隱方向的輪廓像素。因此，本文采用的邊緣像素模式先驗概率為：
像素p的5種邊緣模式混合概率為：
設(shè)圖像中邊緣像素梯度條件獨立，則整幅圖像的邊緣像素分類條件概率為：
其中，梯度幅值條件概率為：
這里使用高斯概率分布［17］，
梯度方向條件概率模擬了在給定邊緣模式m和消隱點集合V時像素邊緣方向的分布：
其中，vm為第m個消隱點，則模式為m時像素p的估計邊緣方向θ（vm，p）由計算后，θ＝arctan（y／x）求得。概率密度為0均值高斯函數(shù)，σ＝0.13。
圖3 建筑物圖像的輪廓提取Fig.3 Buildingcontouvs extvaction
2.3 輪廓提取策略
在獲得像素分類結(jié)果后，選擇大尺度形態(tài)篩對建筑物圖像進行處理，此時圖像中的高梯度值像素將主要為建筑物的輪廓。然后用2.2部分獲得的消隱點的投影對其中的很少部分高梯度像素（大約幾千個）進行分類，得到了典型X，Y，Z方向的建筑物輪廓像素，將X，Y，Z方向像素區(qū)域?qū)?yīng)的線段采用以下策略進行組合：選取X方向和Y方向行值最小的兩個線段組合形成建筑物上方的輪廓。同時利用上方邊界線段的交點、左右端點結(jié)合Z方向消隱點確定垂直方向輪廓。以檢測到的垂直線段的最大行值端點為指導(dǎo)，用估計到的X、Y方向消隱點確定平行六面體的底部邊界，實現(xiàn)平行六面體的自動提取。圖3（b）為大尺度形態(tài)篩處理后的結(jié)果，圖3（c～e）為利用2.2求得的相機方向角度選取部分高梯度像素進行像素分類的結(jié)果，圖3（f）為獲得的建筑物輪廓。對于底部遮擋嚴重的建筑物圖像，在獲得主體輪廓后，對受遮擋影響的建筑物底部部分，可進行其他角度的局部拍攝獲取底部平行六面體輪廓，然后由模型的拼接獲得整個建筑物的輪廓。
3 估計平行六面體及相機參數(shù)
其中，當(dāng)輸入正確的尺度因子λ時，X的秩為3，通過歸一化X的行列式可計算λ，X包含了所有平行六面體投影的相關(guān)信息。由上式可推出：
公式（18）描述了相機內(nèi)參與平行六面體內(nèi)參之間的對偶關(guān)系，也就是說如果已知六面體的形狀μ，則可標定相機，反之，已知相機內(nèi)參則可由標準投影矩陣X計算平行六面體的歐式形狀（在相差一個尺度因子的意義下）。首先由公式（5）通過齊次線性方程組解法（SVD法）由圖像中的平行六面體六個角點的坐標估計X，在內(nèi)參已知的情況下，根據(jù)公式（18）由Cholesky分解XTωX得到平行六面體的內(nèi)參矩陣L，假設(shè)X已完成歸一化使得子矩陣X的行列式為1，設(shè)珡K，珚L為歸一化到單位行列式后的矩陣。由公式（17）可計算R。設(shè)x為X的第4列。由公式（5）可知：
本文所述的算法的具體步驟為：（1）建立建筑物貝葉斯概率模型，完成邊緣像素分類和消隱點的估計；（2）根據(jù)第一步的估計結(jié)果結(jié)合大尺度形態(tài)篩完成平行六面體建筑物輪廓的自動提取，如2.3部分所述；（3）由SVD法估計標準投影矩陣X；（4）歸一化X到單位行列式；（5）由Cholesky分解XTωX得到平行六面體的內(nèi)參矩陣L；6.由歸一化的珡K，珚L計算旋轉(zhuǎn)R、平移t，在相差一個尺度因子意義下恢復(fù)相機及平行六面體的參數(shù)?？梢栽谟嬎愕倪^程中考慮結(jié)合非線性優(yōu)化算法，應(yīng)有更好的結(jié)果。
4 實驗
拍攝建筑物時，相機為近似水平拍攝但并非有意控制，且相機放置在自動模式，因此圖像存在過曝光或曝光不足的可能。假設(shè)相機在水平面內(nèi)的旋轉(zhuǎn)角在－45（°）～45（°）之間，繞y軸和x軸的旋轉(zhuǎn)角在－15（°）～10（°）。
4.1 模擬圖像
用3Dmax模擬長方體圖像用來對本文算法和文獻［2］的算法進行比較，測試圖像為640×480的模擬圖像，f＝35 mm。實驗測試了相機在不同旋轉(zhuǎn)角度，相對于世界坐標系不同位置拍攝的不同大小長方體圖像的重建結(jié)果，相機相對于Z軸的角度（主要旋轉(zhuǎn)角）在－45（°）～－5（°）之間每隔5（°）變化，相機的俯仰（繞Y軸的旋轉(zhuǎn)）在0～15（°）之內(nèi)變化，繞X軸的旋轉(zhuǎn)角為0（°）。圖4（a）為2種方法標定的相機位置的比較，圖4（b）為2種方法估計的長方體幾何參數(shù)矢量（長、寬、高）的差別比較。其中，誤差的值為各個分量絕對差的和。
圖4 2種算法模擬圖像重建結(jié)果的比較Fig.4 Comparation between two algorithms
可見，本文自動標定的結(jié)果與人工選擇角點的結(jié)果較為接近，模擬圖像為不存在建筑紋理，各方向邊緣像素分布影響了對相機方向角的估計。因此，跟許多自標定算法一樣，本文算法同樣易受到奇異點的影響。
4.2 建筑物圖像實驗
實驗中圖像為Canon Powershot A610數(shù)碼相機拍攝，分辨率為640×480的平頂建筑物圖像。相機的內(nèi)參由附帶軟件獲得。圖5所示為平頂建筑物圖像的自動重建過程，其中，按梯度幅值選取5%的邊緣像素參與2.2部分提出的概率模型進行消隱點估計。當(dāng)然，消隱點估計的準確性還與選擇像素的多少、內(nèi)參標定結(jié)果、拍攝圖像的復(fù)雜度、遮擋程度、分辨率等多種因素有關(guān)。圖5（b）為建筑物邊緣像素分類的結(jié)果，圖5（c）為根據(jù)分類的結(jié)果和消隱點在圖像中的投影提取的建筑物輪廓和對應(yīng)的6個角點。建筑物的結(jié)構(gòu)參數(shù)和相機的參數(shù)分別如表1和2中數(shù)據(jù)所示（在相差一個尺度因子意義下），圖5（d）為根據(jù)測量的參數(shù)對模型進行建模并紋理貼圖后的三維重建結(jié)果。
圖5 建筑物三維建模Fig.5 Building 3D modeling
5 結(jié)語
本文運用灰度形態(tài)篩，由城市建筑物場景的貝葉斯概率統(tǒng)計模型實現(xiàn)了建筑物輪廓提取，并利用場景和目標幾何結(jié)構(gòu)特征實現(xiàn)了相機和目標參數(shù)的同時恢復(fù)。對于建筑物比較復(fù)雜的情況，獲得目標的平行六面體包圍盒和相機的參數(shù)也會大大簡化后續(xù)的重建步驟和提高重建的精度。文中采用的是灰度形態(tài)篩，如能利用彩色形態(tài)篩，應(yīng)該有更好的結(jié)果。并且對網(wǎng)格估計的結(jié)果受拍攝圖像分辨率的影響，分辨率越高，估計的越準確，但算法執(zhí)行的時間較長。最后，算法只是對相機方向角度離散化分量進行窮盡搜索，在以后的工作中，將利用連續(xù)優(yōu)化函數(shù)實現(xiàn)包括相機內(nèi)參在內(nèi)的多參數(shù)估計，從更精確、更普遍的意義上提高本文的工作。
表1 建筑物幾何屬性表Table 1 Building geometrical properties／m
表2 相機參數(shù)表Table 2 Camera parameters
［1］ Faugeras O.What Can Be Seen in Three Dimensions with an Uncalibrated Stereo Rig？［C］.∥Proceedings of the Second European Conference on Computer Vision，Heidelberg：Springer Berlin，1992：563－578.
［2］ Wilczkowiak M，Sturm P，Boyer E.Using geometric constraints through parallelepipeds for calibration and 3D modeling［J］.IEEE Trans，Pattern Analysis and Machine Intelligence，2005，27（2）：194－207.
［3］ Chen C，Yu C，Hung Y，New Calibration－Free approach for augmented reality based on parameterized cuboid Structure［C］.∥Proceedings of Intl Conf Computer Vision，corfu：IEEECS，1999：30－37.
［4］ Jelinek D，Taylor C.Reconstruction of linearly parameterized models from single images with a camera of unknown focal length［J］.IEEE Trans，Pattern Analysis and Machine Intelligence，2000，23（7）：767－774.
［5］ Taylor C，Debevec P，Malik J.Reconstructing polyhedral models of architectural scenes from photographs［C］.∥Proceedings of 4th European Conference on Computer Vision，Cambridge：Springer－Verlag，1996.
［6］ Baillard C，Schmid C，Zisserman A，et al.Automatic line matching and 3D reconstruction of buildings from multiple views［C］.∥ISPRS Conference on Automatic Extraction of GIS Objects from Digital Imagery，Munich：IAPRS，1999：69－80.
［7］ Collins R T，Jaynes C O，Cheng Y，et al.The ascender system：Automated site modeling from multiple images［J］.Computer Vision and Image Understanding，1998，72（2）：143－162.
［8］ Moons T，F(xiàn)r｀ere D，Vandekerckhove J，et al.Automatic modeling and 3D reconstruction of urban house roofs from high resolution aerial imagery［C］.∥Proc 5th European Conference on Computer Vision，Germany：Freiburg，1998：410－425.
［9］ Dick A R，Torr P H S，Ruffle S J，et al.Combining single view recognition and multiple view stereo for architectural scenes［C］.∥Int Conf Computer Vision，IEEE Computer Society，Los Alamitosrs：IEEECS，2001：268－280.
［10］ Werner T，Zisserman A.New techniques for automated architecture reconstruction from photographs［C］.∥Proc ECCV，Cambridge：Springer－Verlag，2002：541－555.
［11］ Criminisi A，Reid I，Zisserman A.Single view metrology［J］.Intl J of Computer Vision，2000，40（2）：123－148.
［12］ Deutscher J，Isard M，MacCormick J.Automatic camera calibration from a single Manhattan image［C］.∥Eur Conf on Computer Vision（ECCV），Heidelberg：springer，2002：175－205.
［13］ Coughlan J，Yuille A.Manhattan world：compass direction from a single image by bayesian inference［C］.∥Intl Conf Computer Vision（ICCV），G：Corfu IEEECS，1999：941－947.
［14］ Mathews J，Walker R L.Mathematical methods of physics［M］.Sam Francise：The Benjamin／Cummings Publishing Co.，1970.
［15］ Tsai R.An efficient and accurate camera calibration technique for 3D machine vision［C］.∥Proc Conf Computer Vision and Pattern Recognition，F(xiàn)lorida：IEEECS，1986：364－374.
［16］ Gatica－Perez D，Gu C，Sun M T，et al.Extensive partition operators，gray－level connected operators，and region merging／classification segmentation algorithms：theoretical links［J］.IEEE Trans Image Processing，2001，10（9）：1332－1345.
The Automatic 3D Parameters Extraction of the Parallelepiped from Single Terrestrial Image
YANG Miao1，2，GONG Cheng－Long1，WEI Zhi－Qiang3
（1.College of Electronic Engineering，Huaihai Institute of Technology，Lianyungang 222006，China；2.School of Internet of Things Engineering，Jiangnan University，Wuxi 214122，China；3.The College of Information Science and Engeering，Ocean University of China，Qingdao 266100，China）
A novel automatic parameterized reconstruction method for single parallelepiped building is presented.It applies Bayesian model combined with muti－scale analysis to group the edge－pixels and extract the main building contour.Using the duality between parallelepiped and the camera，it determines the parameters of object－oriented parameterized building model.The experiments show the new method is simple and effective.Especially it is a totally automatic approach.
3D modeling；contour extraction；camera calibration；parallelepiped
TP391.4
A
1672－5174（2012）03－085－06
科技部國際合作重點項目（2008DFA11030）；江蘇省海洋資源開發(fā)研究院開放基金項目（JSIMR10D02）資助
2011－03－09；
2011－07－12
楊 淼（1978－），女，副教授，博士。E－mail：lemonmiao＠gmail.com
責(zé)任編輯 陳呈超
猜你喜歡
采用改進導(dǎo)重法的拓撲結(jié)構(gòu)灰度單元過濾技術(shù)北京航空航天大學(xué)學(xué)報(2022年6期)2022-07-02 02:00:02 基于灰度拉伸的圖像水位識別方法研究高技術(shù)通訊(2021年3期)2021-06-09 06:57:48 OPENCV輪廓識別研究與實踐裝備制造技術(shù)(2020年1期)2020-12-25 05:19:06 財產(chǎn)的五大尺度和五重應(yīng)對內(nèi)蒙古民族大學(xué)學(xué)報(社會科學(xué)版)(2020年2期)2020-11-06 09:08:52 基于實時輪廓誤差估算的數(shù)控系統(tǒng)輪廓控制制造技術(shù)與機床(2019年11期)2019-12-04 05:50:54 基于最大加權(quán)投影求解的彩色圖像灰度化對比度保留算法自動化學(xué)報(2017年5期)2017-05-14 06:20:56 基于灰度線性建模的亞像素圖像抖動量計算光學(xué)精密工程(2016年1期)2016-11-07 09:01:59 宇宙的尺度太空探索(2016年5期)2016-07-12 15:17:55 在線學(xué)習(xí)機制下的Snake輪廓跟蹤計算機工程(2015年4期)2015-07-05 08:27:39 9時代英語·高三(2014年5期)2014-08-26 17:01:17
楊 淼，龔成龍，魏志強
（1.淮海工學(xué)院電子工程學(xué)院，江蘇連云港222006；2.江南大學(xué)物聯(lián)網(wǎng)學(xué)院，江蘇無錫214122；3.中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東青島266100）
單幅圖像中平行六面體建筑物三維參數(shù)自動提?。?/p>
楊 淼1，2，龔成龍1，魏志強3
（1.淮海工學(xué)院電子工程學(xué)院，江蘇連云港222006；2.江南大學(xué)物聯(lián)網(wǎng)學(xué)院，江蘇無錫214122；3.中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東青島266100）
針對單幅平行六面體類建筑物圖像，提出1種從參數(shù)化建模角度解決城市建筑物重建的方法。結(jié)合多尺度分析，由貝葉斯概率模型對邊緣像素分類自動獲取建筑物輪廓，利用平行六面體幾何結(jié)構(gòu)與相機參數(shù)的對偶性，確定場景及建筑物目標參數(shù)。該方法可在不需要人工交互的情況下，由單幅圖像完成平行六面體類建筑物結(jié)構(gòu)參數(shù)的提取。通過模擬圖像和自然圖像的實驗，結(jié)果說明本文提出的方法簡單、有效。
三維建模；輪廓提?。幌鄼C標定；平行六面體
由圖像實現(xiàn)城市場景的3D建模是計算機視覺的熱門問題之一，而其中重要工作就是建筑物模型的三維重構(gòu)。實踐證明由單幅圖像恢復(fù)建筑物的3D結(jié)構(gòu)經(jīng)常由于缺乏足夠的約束而變得困難。若沒有任何關(guān)于相機或被恢復(fù)景物的先驗知識，實現(xiàn)歐式重建是不可能的［1］。目標形狀的幾何約束較多的被應(yīng)用于實現(xiàn)重建。特別地，平行六面體可以代表大多數(shù)建筑物的主體形狀，易于模型化，包含大量的平行性、正交性、等長線段比等約束，因此，很多基于單幅或多幅圖像的標定、重建方法都利用了平行六面體中包含的幾何約束［2－5］，但是這些方法都需要人工選擇相應(yīng)的參數(shù)化模型［5］、約束［2，4］或角點［3］等，無法滿足自動重建的需要。并且如果圖像中平行六面體受到了部分（如角點）遮擋，那么人工提取的方法則存在一定的風(fēng)險，只能依靠大概的估計進行判斷。另外，目前多數(shù)關(guān)于自動重建的研究都集中于由航空圖像完成的重建［6－8］，而由近景圖像實現(xiàn)的自動重建方法主要以圖像序列為基礎(chǔ)［9－10］，這些方法在只有一幅圖像的情況下就不能處理了，他們是完全基于多視圖的。
本文研究由單幅圖像完成平行六面體型建筑物模型建模的方法。在假設(shè)相機內(nèi)參已知的情況下，設(shè)計城市建筑物貝葉斯概率統(tǒng)計模型來模擬經(jīng)過小尺度形態(tài)篩處理的城市建筑物世界，使用圖像中少量邊緣像素通過最大化后驗概率（MAP，Maximum a Posterior）估計消隱點的投影。利用估計到的消隱點和大尺度形態(tài)篩對邊界像素進行分類并自動提取建筑物主體輪廓。由平行六面體幾何結(jié)構(gòu)與相機參數(shù)之間的關(guān)系，完成模型參數(shù)和相機參數(shù)的自動估計。這種模型化的方法比傳統(tǒng)的點云恢復(fù)法更易于操控和實現(xiàn)渲染，可移植性強。通過對模擬圖像和自然圖像的實驗說了由本文提出的方法可以實現(xiàn)快速的相機方向標定并自動估計建筑物的模型參數(shù)。
1 相機與平行六面體模型
假設(shè)多數(shù)城市場景是建立在笛卡爾坐標系內(nèi)，存在3個正交的消隱點方向［11－12］，如果觀察者能夠估計X，Y，Z的方向，那么就容易找到場景中那些重要的邊緣（如建筑物中的結(jié)構(gòu)形狀），因為他們往往是典型的X，Y，Z方向的直線。并假設(shè)相機在近似水平平面內(nèi)拍攝，對大量非刻意拍攝的圖像統(tǒng)計證明這一假設(shè)是合理的［13］，相機的方向?qū)⒅饕衫@Z軸的旋轉(zhuǎn)角（方向角）決定。相機的內(nèi)參已知，大多數(shù)數(shù)碼相機由相機自帶的軟件就可以獲得相機的焦距等內(nèi)部參數(shù)。
1.1 相機模型
在針孔相機模型中，投影關(guān)系可表示為：
圖1 坐標系的建立Fig.1 Construction of coordinate system
其中，空間點P（Xp，Yp，Zp，1）T和其投影點p（up，vp，1）T以齊次坐標表示，R為旋轉(zhuǎn)矩陣［14］，表示相機的方向，t為平移向量。對大多數(shù)標準相機來說，只有焦距f未知，內(nèi)參數(shù)矩陣K＝diag（f，f，1）。
世界坐標系（X，Y，Z）與相機坐標系（Xcam，Ycam，Zcam）通過旋轉(zhuǎn)和平移相聯(lián)系，如圖1所示。
設(shè)相機的方向ψ由相機坐標系繞Z、Y、X軸的3個旋轉(zhuǎn)角α，β，γ來決定，由式（1）可得X，Y，Z方向消隱點在圖像中的投影分別為：
其中，Xcamx為相機坐標軸Xcam的x分量，其他同理。在理想情況下，若圖像中點p＝（up，vp）位于空間的X方向直線上，則點p的梯度方向（cosθx，sinθx）與X方向消隱點垂直，滿足
上式只是對1個梯度方向的指向與X方向的消隱點完全垂直的理想化的邊緣才成立，事實上，邊緣像素真實的梯度方向?qū)诶硐氲倪吘壷赶蚋浇▌?，利用Bayesian概率統(tǒng)計模型來對這些波動建模。另外，上式對±π＋θx仍然成立，因此，與邊緣的極性無關(guān)。對Y，Z方向直線同理。
1.2 平行六面體的投影
圖2 參數(shù)化平行六面體模型Fig.2 Parametevization of Pavallelepiped
用12個參數(shù)定義1個平行六面體［2］，6個外參［R，t］描述它的方向和位置，6個內(nèi)參描述它的歐式形狀：3個尺寸參數(shù)（邊長：l1，l2，l3）和3個邊之間的角度參數(shù)（θ12，θ13，θ23），如圖2所示，平行六面體形狀可以用1個4×4的矩陣表示：
其中，cij＝cosθij，sij＝sinθij，θij∈（0，π），li＞0，不失一般性，將場景世界坐標系定義在平行六面體中，則平行六面體在圖像中的投影由相機相對于該平行六面體的位置［R，t］，相機的內(nèi)部參數(shù)矩陣K和平行六面體參數(shù)矩陣共同決定。1個單位立方體頂點（±1，±1，±1，1）T由映射為平行六面體的相應(yīng)頂點，類似于絕對二次曲線的像與相機內(nèi)參的表示法，定義：
2 平行六面體輪廓提取
2.1 形態(tài)篩
圖像中的邊緣像素帶有與相機方向相關(guān)的統(tǒng)計信息。通常，這些高梯度像素不僅包括了那些具有典型X，Y，Z方向的像素，也會因圖像的拍攝情況包含噪聲等。這些目標往往對應(yīng)著灰度極大值區(qū)域或極小值區(qū)域。區(qū)域操作算子具有根據(jù)局部明顯區(qū)域與周邊環(huán)境的相關(guān)性實現(xiàn)將細節(jié)逐步融入到大的背景環(huán)境中的能力，可有效的消除包括噪聲在內(nèi)的復(fù)雜細節(jié)的影響，生成與圖像中目標相對應(yīng)的區(qū)域［16］?；叶刃螒B(tài)篩（MS，Morphological Sieves）的步驟為：1、識別所有極值區(qū)域；2、將所有尺度為1的極大值（極小值）區(qū)域與鄰域融合；3、隨著不斷增加的尺度重復(fù)步驟2直到剩下一個區(qū)域。
假設(shè)尺度為s的尺度圖像為Xs，則灰度形態(tài)篩操作表示為：
這里，Gs為灰度形態(tài)篩遞歸操作算子，將尺度為s－1的圖像變換為尺度為s的圖像。Ks是遞歸算子的層疊調(diào)用，實現(xiàn)從X0到Xs的變換。
隨著尺度的增加，灰度形態(tài)篩操作將局部極值區(qū)域逐漸融入到周圍的環(huán)境中，因此大尺度灰度形態(tài)篩為建筑物輪廓的提取提供了有利條件。但增大尺度的區(qū)域融合操作會使具有典型消隱方向的小區(qū)域的邊緣消失，所以不宜在估計模型時選擇較大尺度的形態(tài)篩。
2.2 概率統(tǒng)計模型
選擇小尺度形態(tài)篩處理后灰度圖像中高梯度幅值像素的統(tǒng)計屬性建立貝葉斯概率模型。像素的梯度信息與相機的方向角之間由貝葉斯條件概率建立關(guān)系，設(shè)消隱點的集合為，梯度圖像為G，圖像梯度與相機方向角通過條件概率密度聯(lián)系在一起，方向角與消隱點之間的函數(shù)關(guān)系如1.1部分所述，通過最大化P求得的最大化后驗概率（MAP）估計值，即：
將梯度圖像G中被估計的像素p用5種邊緣模式mp中的1種去解釋，若mp＝1，2，3則意味著該像素源于場景中X，Y，Z方向的直線；mp＝4表示該像素為不屬于X，Y，Z方向的隨機邊緣像素；mp＝5表示此像素不是邊緣像素。
經(jīng)過灰度形態(tài)篩的處理，這些參與估計的像素大部分都是具有典型消隱方向的輪廓像素。因此，本文采用的邊緣像素模式先驗概率為：
像素p的5種邊緣模式混合概率為：
設(shè)圖像中邊緣像素梯度條件獨立，則整幅圖像的邊緣像素分類條件概率為：
其中，梯度幅值條件概率為：
這里使用高斯概率分布［17］，
梯度方向條件概率模擬了在給定邊緣模式m和消隱點集合V時像素邊緣方向的分布：
其中，vm為第m個消隱點，則模式為m時像素p的估計邊緣方向θ（vm，p）由計算后，θ＝arctan（y／x）求得。概率密度為0均值高斯函數(shù)，σ＝0.13。
圖3 建筑物圖像的輪廓提取Fig.3 Buildingcontouvs extvaction
2.3 輪廓提取策略
在獲得像素分類結(jié)果后，選擇大尺度形態(tài)篩對建筑物圖像進行處理，此時圖像中的高梯度值像素將主要為建筑物的輪廓。然后用2.2部分獲得的消隱點的投影對其中的很少部分高梯度像素（大約幾千個）進行分類，得到了典型X，Y，Z方向的建筑物輪廓像素，將X，Y，Z方向像素區(qū)域?qū)?yīng)的線段采用以下策略進行組合：選取X方向和Y方向行值最小的兩個線段組合形成建筑物上方的輪廓。同時利用上方邊界線段的交點、左右端點結(jié)合Z方向消隱點確定垂直方向輪廓。以檢測到的垂直線段的最大行值端點為指導(dǎo)，用估計到的X、Y方向消隱點確定平行六面體的底部邊界，實現(xiàn)平行六面體的自動提取。圖3（b）為大尺度形態(tài)篩處理后的結(jié)果，圖3（c～e）為利用2.2求得的相機方向角度選取部分高梯度像素進行像素分類的結(jié)果，圖3（f）為獲得的建筑物輪廓。對于底部遮擋嚴重的建筑物圖像，在獲得主體輪廓后，對受遮擋影響的建筑物底部部分，可進行其他角度的局部拍攝獲取底部平行六面體輪廓，然后由模型的拼接獲得整個建筑物的輪廓。
3 估計平行六面體及相機參數(shù)
其中，當(dāng)輸入正確的尺度因子λ時，X的秩為3，通過歸一化X的行列式可計算λ，X包含了所有平行六面體投影的相關(guān)信息。由上式可推出：
公式（18）描述了相機內(nèi)參與平行六面體內(nèi)參之間的對偶關(guān)系，也就是說如果已知六面體的形狀μ，則可標定相機，反之，已知相機內(nèi)參則可由標準投影矩陣X計算平行六面體的歐式形狀（在相差一個尺度因子的意義下）。首先由公式（5）通過齊次線性方程組解法（SVD法）由圖像中的平行六面體六個角點的坐標估計X，在內(nèi)參已知的情況下，根據(jù)公式（18）由Cholesky分解XTωX得到平行六面體的內(nèi)參矩陣L，假設(shè)X已完成歸一化使得子矩陣X的行列式為1，設(shè)珡K，珚L為歸一化到單位行列式后的矩陣。由公式（17）可計算R。設(shè)x為X的第4列。由公式（5）可知：
本文所述的算法的具體步驟為：（1）建立建筑物貝葉斯概率模型，完成邊緣像素分類和消隱點的估計；（2）根據(jù)第一步的估計結(jié)果結(jié)合大尺度形態(tài)篩完成平行六面體建筑物輪廓的自動提取，如2.3部分所述；（3）由SVD法估計標準投影矩陣X；（4）歸一化X到單位行列式；（5）由Cholesky分解XTωX得到平行六面體的內(nèi)參矩陣L；6.由歸一化的珡K，珚L計算旋轉(zhuǎn)R、平移t，在相差一個尺度因子意義下恢復(fù)相機及平行六面體的參數(shù)?？梢栽谟嬎愕倪^程中考慮結(jié)合非線性優(yōu)化算法，應(yīng)有更好的結(jié)果。
4 實驗
拍攝建筑物時，相機為近似水平拍攝但并非有意控制，且相機放置在自動模式，因此圖像存在過曝光或曝光不足的可能。假設(shè)相機在水平面內(nèi)的旋轉(zhuǎn)角在－45（°）～45（°）之間，繞y軸和x軸的旋轉(zhuǎn)角在－15（°）～10（°）。
4.1 模擬圖像
用3Dmax模擬長方體圖像用來對本文算法和文獻［2］的算法進行比較，測試圖像為640×480的模擬圖像，f＝35 mm。實驗測試了相機在不同旋轉(zhuǎn)角度，相對于世界坐標系不同位置拍攝的不同大小長方體圖像的重建結(jié)果，相機相對于Z軸的角度（主要旋轉(zhuǎn)角）在－45（°）～－5（°）之間每隔5（°）變化，相機的俯仰（繞Y軸的旋轉(zhuǎn)）在0～15（°）之內(nèi)變化，繞X軸的旋轉(zhuǎn)角為0（°）。圖4（a）為2種方法標定的相機位置的比較，圖4（b）為2種方法估計的長方體幾何參數(shù)矢量（長、寬、高）的差別比較。其中，誤差的值為各個分量絕對差的和。
圖4 2種算法模擬圖像重建結(jié)果的比較Fig.4 Comparation between two algorithms
可見，本文自動標定的結(jié)果與人工選擇角點的結(jié)果較為接近，模擬圖像為不存在建筑紋理，各方向邊緣像素分布影響了對相機方向角的估計。因此，跟許多自標定算法一樣，本文算法同樣易受到奇異點的影響。
4.2 建筑物圖像實驗
實驗中圖像為Canon Powershot A610數(shù)碼相機拍攝，分辨率為640×480的平頂建筑物圖像。相機的內(nèi)參由附帶軟件獲得。圖5所示為平頂建筑物圖像的自動重建過程，其中，按梯度幅值選取5%的邊緣像素參與2.2部分提出的概率模型進行消隱點估計。當(dāng)然，消隱點估計的準確性還與選擇像素的多少、內(nèi)參標定結(jié)果、拍攝圖像的復(fù)雜度、遮擋程度、分辨率等多種因素有關(guān)。圖5（b）為建筑物邊緣像素分類的結(jié)果，圖5（c）為根據(jù)分類的結(jié)果和消隱點在圖像中的投影提取的建筑物輪廓和對應(yīng)的6個角點。建筑物的結(jié)構(gòu)參數(shù)和相機的參數(shù)分別如表1和2中數(shù)據(jù)所示（在相差一個尺度因子意義下），圖5（d）為根據(jù)測量的參數(shù)對模型進行建模并紋理貼圖后的三維重建結(jié)果。
圖5 建筑物三維建模Fig.5 Building 3D modeling
5 結(jié)語
本文運用灰度形態(tài)篩，由城市建筑物場景的貝葉斯概率統(tǒng)計模型實現(xiàn)了建筑物輪廓提取，并利用場景和目標幾何結(jié)構(gòu)特征實現(xiàn)了相機和目標參數(shù)的同時恢復(fù)。對于建筑物比較復(fù)雜的情況，獲得目標的平行六面體包圍盒和相機的參數(shù)也會大大簡化后續(xù)的重建步驟和提高重建的精度。文中采用的是灰度形態(tài)篩，如能利用彩色形態(tài)篩，應(yīng)該有更好的結(jié)果。并且對網(wǎng)格估計的結(jié)果受拍攝圖像分辨率的影響，分辨率越高，估計的越準確，但算法執(zhí)行的時間較長。最后，算法只是對相機方向角度離散化分量進行窮盡搜索，在以后的工作中，將利用連續(xù)優(yōu)化函數(shù)實現(xiàn)包括相機內(nèi)參在內(nèi)的多參數(shù)估計，從更精確、更普遍的意義上提高本文的工作。
表1 建筑物幾何屬性表Table 1 Building geometrical properties／m
表2 相機參數(shù)表Table 2 Camera parameters
［1］ Faugeras O.What Can Be Seen in Three Dimensions with an Uncalibrated Stereo Rig？［C］.∥Proceedings of the Second European Conference on Computer Vision，Heidelberg：Springer Berlin，1992：563－578.
［2］ Wilczkowiak M，Sturm P，Boyer E.Using geometric constraints through parallelepipeds for calibration and 3D modeling［J］.IEEE Trans，Pattern Analysis and Machine Intelligence，2005，27（2）：194－207.
［3］ Chen C，Yu C，Hung Y，New Calibration－Free approach for augmented reality based on parameterized cuboid Structure［C］.∥Proceedings of Intl Conf Computer Vision，corfu：IEEECS，1999：30－37.
［4］ Jelinek D，Taylor C.Reconstruction of linearly parameterized models from single images with a camera of unknown focal length［J］.IEEE Trans，Pattern Analysis and Machine Intelligence，2000，23（7）：767－774.
［5］ Taylor C，Debevec P，Malik J.Reconstructing polyhedral models of architectural scenes from photographs［C］.∥Proceedings of 4th European Conference on Computer Vision，Cambridge：Springer－Verlag，1996.
［6］ Baillard C，Schmid C，Zisserman A，et al.Automatic line matching and 3D reconstruction of buildings from multiple views［C］.∥ISPRS Conference on Automatic Extraction of GIS Objects from Digital Imagery，Munich：IAPRS，1999：69－80.
［7］ Collins R T，Jaynes C O，Cheng Y，et al.The ascender system：Automated site modeling from multiple images［J］.Computer Vision and Image Understanding，1998，72（2）：143－162.
［8］ Moons T，F(xiàn)r｀ere D，Vandekerckhove J，et al.Automatic modeling and 3D reconstruction of urban house roofs from high resolution aerial imagery［C］.∥Proc 5th European Conference on Computer Vision，Germany：Freiburg，1998：410－425.
［9］ Dick A R，Torr P H S，Ruffle S J，et al.Combining single view recognition and multiple view stereo for architectural scenes［C］.∥Int Conf Computer Vision，IEEE Computer Society，Los Alamitosrs：IEEECS，2001：268－280.
［10］ Werner T，Zisserman A.New techniques for automated architecture reconstruction from photographs［C］.∥Proc ECCV，Cambridge：Springer－Verlag，2002：541－555.
［11］ Criminisi A，Reid I，Zisserman A.Single view metrology［J］.Intl J of Computer Vision，2000，40（2）：123－148.
［12］ Deutscher J，Isard M，MacCormick J.Automatic camera calibration from a single Manhattan image［C］.∥Eur Conf on Computer Vision（ECCV），Heidelberg：springer，2002：175－205.
［13］ Coughlan J，Yuille A.Manhattan world：compass direction from a single image by bayesian inference［C］.∥Intl Conf Computer Vision（ICCV），G：Corfu IEEECS，1999：941－947.
［14］ Mathews J，Walker R L.Mathematical methods of physics［M］.Sam Francise：The Benjamin／Cummings Publishing Co.，1970.
［15］ Tsai R.An efficient and accurate camera calibration technique for 3D machine vision［C］.∥Proc Conf Computer Vision and Pattern Recognition，F(xiàn)lorida：IEEECS，1986：364－374.
［16］ Gatica－Perez D，Gu C，Sun M T，et al.Extensive partition operators，gray－level connected operators，and region merging／classification segmentation algorithms：theoretical links［J］.IEEE Trans Image Processing，2001，10（9）：1332－1345.
The Automatic 3D Parameters Extraction of the Parallelepiped from Single Terrestrial Image
YANG Miao1，2，GONG Cheng－Long1，WEI Zhi－Qiang3
（1.College of Electronic Engineering，Huaihai Institute of Technology，Lianyungang 222006，China；2.School of Internet of Things Engineering，Jiangnan University，Wuxi 214122，China；3.The College of Information Science and Engeering，Ocean University of China，Qingdao 266100，China）
A novel automatic parameterized reconstruction method for single parallelepiped building is presented.It applies Bayesian model combined with muti－scale analysis to group the edge－pixels and extract the main building contour.Using the duality between parallelepiped and the camera，it determines the parameters of object－oriented parameterized building model.The experiments show the new method is simple and effective.Especially it is a totally automatic approach.
3D modeling；contour extraction；camera calibration；parallelepiped
TP391.4
A
1672－5174（2012）03－085－06
科技部國際合作重點項目（2008DFA11030）；江蘇省海洋資源開發(fā)研究院開放基金項目（JSIMR10D02）資助
2011－03－09；
2011－07－12
楊 淼（1978－），女，副教授，博士。E－mail：lemonmiao＠gmail.com
責(zé)任編輯 陳呈超
猜你喜歡
北京航空航天大學(xué)學(xué)報(2022年6期)2022-07-02 02:00:02
高技術(shù)通訊(2021年3期)2021-06-09 06:57:48
裝備制造技術(shù)(2020年1期)2020-12-25 05:19:06
內(nèi)蒙古民族大學(xué)學(xué)報(社會科學(xué)版)(2020年2期)2020-11-06 09:08:52
制造技術(shù)與機床(2019年11期)2019-12-04 05:50:54
自動化學(xué)報(2017年5期)2017-05-14 06:20:56
光學(xué)精密工程(2016年1期)2016-11-07 09:01:59
太空探索(2016年5期)2016-07-12 15:17:55
計算機工程(2015年4期)2015-07-05 08:27:39
時代英語·高三(2014年5期)2014-08-26 17:01:17
