趙曉瑩，劉艷麗

（1.四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065；2.四川大學(xué)視覺合成圖形圖像國家重點(diǎn)實(shí)驗(yàn)室，成都 610065）

0 引言

在真實(shí)的自然環(huán)境中，存在著豐富的平面結(jié)構(gòu)信息，尤其是在建筑物場(chǎng)景中。在透視投影下，物理世界中的平面在不同視點(diǎn)下的圖像可通過單應(yīng)性相互關(guān)聯(lián)。由于平面這種特殊的幾何性質(zhì)，平面檢測(cè)被廣泛應(yīng)用于圖像拼接、障礙物檢測(cè)、三維重建、場(chǎng)景分析及增強(qiáng)現(xiàn)實(shí)等領(lǐng)域中。

目前，在計(jì)算機(jī)視覺領(lǐng)域，已出現(xiàn)了一些平面檢測(cè)算法，但這些平面檢測(cè)算法都是基于兩張圖像間的對(duì)應(yīng)關(guān)系。到目前為止，平面檢測(cè)都是以標(biāo)識(shí)平面中的特征點(diǎn)[1]或部分區(qū)域[2-3]作為最終結(jié)果，而本文提出的平面檢測(cè)算法則標(biāo)識(shí)完整的平面區(qū)域。

1 相關(guān)工作

常見的平面檢測(cè)算法是類似隨機(jī)抽樣一致性（Random Sample Consensus，RANSAC）方法[4-6]，假設(shè)一個(gè)初始樣本模型，選擇原始數(shù)據(jù)中的一組特征點(diǎn)計(jì)算單應(yīng)性矩陣作為初始樣本模型，通過反復(fù)迭代測(cè)試，得到最優(yōu)的數(shù)據(jù)模型參數(shù)，但是該算法的精確度及魯棒性很大程度上依賴于匹配準(zhǔn)確度。Toldo等人[7]提出了一種基于隨機(jī)抽樣和概念數(shù)據(jù)表示的聚類算法J-link?age，用于將模型的多個(gè)實(shí)例擬合成受噪聲和異常值影響的數(shù)據(jù)，每個(gè)點(diǎn)用其偏好集的特征函數(shù)表示，多個(gè)模型在概念空間中顯示為群集。該方法不需要事先規(guī)定模型的數(shù)量，也不需要參數(shù)調(diào)整，在多平面檢測(cè)中有很好的應(yīng)用。曹芳等人[8]提出一種基于匹配點(diǎn)相似度引導(dǎo)采樣的分層多平面檢測(cè)算法，利用殘差信息的排序和加權(quán)分析選擇匹配的特征點(diǎn)采樣，將屬于同一平面結(jié)構(gòu)的匹配特征點(diǎn)加入采樣集合，提高了采樣點(diǎn)集合的全內(nèi)點(diǎn)概率，可快速得到最優(yōu)單應(yīng)性矩陣的參數(shù)模型。

上述算法都是基于兩張或多張圖像特征點(diǎn)匹配而檢測(cè)的平面。不同于傳統(tǒng)的平面檢測(cè)算法，本文提出了一種新穎的單張圖像平面檢測(cè)算法，利用Mean Shift圖像分割劃分平面區(qū)域后，結(jié)合消失點(diǎn)分類線段約束平面邊界從而檢測(cè)完整的平面區(qū)域。

2 算法實(shí)現(xiàn)

如圖1所示本文的算法流程主要分為三個(gè)部分，

圖1 算法流程圖

第一部分線段分類，通過檢測(cè)圖像中的線段得到圖像中的三個(gè)消失點(diǎn)。利用消失點(diǎn)將圖像檢測(cè)到的線段進(jìn)行分類，每一類線段在世界坐標(biāo)系中相互平行。由于建筑物平面由兩對(duì)平行線相交得到，因此對(duì)于完整平面區(qū)域的檢測(cè)可以通過當(dāng)前平面最外圍相互平行的兩對(duì)平行線來確定。

第二部分圖像分割，在已分類的線段中，由于窗戶邊緣以及平面外其他物體邊緣等干擾物對(duì)于線段造成誤判，使得無法通過兩組平行線來確定平面邊界。利用圖像分割對(duì)圖像像素值相似區(qū)域進(jìn)行分割，對(duì)于部分區(qū)域中的干擾通過像素替換法去除干擾。

第三部分圖像去噪，對(duì)于圖像分割后的圖像通過檢測(cè)兩組平行線交點(diǎn)來確定主平面顏色，找到圖像主顏色最大的平面區(qū)域，利用周邊相互平行的兩組平行線段確定該區(qū)域邊界，對(duì)于平面下邊界的一些干擾，如地面陰影、草地等，通過圖像去噪的方法消除干擾。

2.1 線段分類

Li等人[9]通過在圖像中線段交點(diǎn)的角度坐標(biāo)直方圖中尋找峰值的方法獲得消失點(diǎn)的角度坐標(biāo)，進(jìn)而求得消失點(diǎn)坐標(biāo)。消失點(diǎn)要滿足公式（1），其中點(diǎn)（x1,y1），（x2,y2），（x3,y3）分別代表三個(gè)消失點(diǎn)，f為焦距。

消失點(diǎn)確定后將圖像中的線段Li（i=0,1,2,3...）分類，直線表達(dá)式和距離條件表達(dá)式如公式（2）。通過消失點(diǎn)（xj,yj）到直線Li的距離dij滿足一定閾值a，判斷線段Li屬于消失點(diǎn)類Dj，本文中a的閾值設(shè)為30。若不存在消失點(diǎn)（xj,yj）到直線Li距離滿足閾值a，則拋棄線段Li。當(dāng)線段Li同時(shí)屬于兩個(gè)消失點(diǎn)類時(shí)，分別在這兩個(gè)消失點(diǎn)類中隨機(jī)選取兩條線段作為候選線段，計(jì)算候選線段與線段Li交點(diǎn)，若兩個(gè)交點(diǎn)都在當(dāng)前候選線段所在類的消失點(diǎn)附近，則判斷線段Li屬于當(dāng)前消失點(diǎn)類。分類結(jié)果如圖2所示，三組不同的消失點(diǎn)分別用紅綠藍(lán)顏色標(biāo)識(shí)。在該例子中我們檢測(cè)的主平面區(qū)域是選取藍(lán)色和綠色標(biāo)識(shí)的兩組平行線段相交而得。

圖2 線段分類結(jié)果

2.2 圖像分割

圖像分割，是將灰度圖或彩色圖像分解成同質(zhì)圖像塊，同質(zhì)性在像素值中通常被定義為相似性，即在圖像上執(zhí)行分段常數(shù)模型。Comaniciu等人[10]采用感知色差對(duì)應(yīng)顏色特征空間的歐幾里德距離思想，即一種新的感知均勻的顏色空間度量算法進(jìn)行平面分割。

上述思想分割圖像后存在許多小塊區(qū)域，例如建筑物一個(gè)平面中的小窗戶仍是獨(dú)立存在的一個(gè)分割結(jié)果，如圖3（a）。但我們的平面檢測(cè)結(jié)果，窗戶是屬于當(dāng)前平面的一部分，所以需要與周邊大塊分割結(jié)果融合。以像素坐標(biāo)為單位，當(dāng)小塊區(qū)域像素個(gè)數(shù)低于某一閾值，則查找周邊其他塊像素個(gè)數(shù)，若足夠大，則將小塊區(qū)域像素值（RGB）替換成周邊大塊區(qū)域像素值。最終分割結(jié)果如圖3（b）所示。

圖3

2.3 圖像去噪

圖2 中，我們計(jì)算藍(lán)色和綠色標(biāo)識(shí)的兩組平行線段交點(diǎn)，在這里需要對(duì)每條線段設(shè)置一個(gè)標(biāo)志位，當(dāng)遇到同類線段時(shí)不計(jì)算交點(diǎn)。利用這些交點(diǎn)的像素值計(jì)算主平面的顏色，像素值是主平面顏色的交點(diǎn)被保留下來計(jì)算凸包。我們將這些凸包外圍點(diǎn)分成四類，分別是上下左右四個(gè)方向，并且計(jì)算左上左下右上右下的四個(gè)頂點(diǎn)，左上頂點(diǎn)既屬于左方向又屬于上方向，其他三個(gè)頂點(diǎn)類似。在所有線段中選擇離左方向上的點(diǎn)最近的線段作為平面左邊界線段，其他三條線段都依此選擇，從而初步檢測(cè)到平面區(qū)域邊界線段，如圖4（a）。我們通過驗(yàn)證當(dāng)前線段過主平面的點(diǎn)個(gè)數(shù)比率來判斷檢測(cè)的平面邊界是否偏離真實(shí)平面邊界，若過主平面的點(diǎn)比率較小時(shí)排除該線段，重新計(jì)算離當(dāng)前方向上的點(diǎn)最近的線段作為邊界線段。

但是由于平面下邊界即與地面相連的邊界線段有諸多干擾，如草地、陰影及遮擋等都會(huì)造成干擾使其檢測(cè)的邊界線段不準(zhǔn)確，我們針對(duì)下邊界做額外的優(yōu)化使準(zhǔn)確檢測(cè)平面下邊界。在這里我們需要用到絕對(duì)二次曲線原理公式（3），d1，d2是兩條直線方向（三維矢量），x1，x2分別為 d1，d2方向上的兩個(gè)點(diǎn)，K 為相機(jī)內(nèi)參矩陣，由焦距f構(gòu)成的上三角矩陣，在歐式世界系中這兩條直線方向夾角為cosθ。由此我們推出公式（4），V1，V2為兩個(gè)消失點(diǎn)，而兩個(gè)消失點(diǎn)在歐氏世界系中的方向夾角為90度，即cosθ=0。由2.1計(jì)算的消失點(diǎn)存在誤差，而我們已有準(zhǔn)確的上左右三個(gè)方向線段，消失點(diǎn)V1可由左右方向線段交點(diǎn)而得，公式（3）中的焦距f已由2.1小節(jié)計(jì)算，且已知V2過上方向線段，則根據(jù)公式（3）計(jì)算V2。因此我們計(jì)算離下方向上的點(diǎn)較近的一組候選線段，使上方向線段分別與候選線段計(jì)算交點(diǎn)，選擇離消失點(diǎn)V2最近的交點(diǎn)，則下方向線段被確定出來。完整的平面區(qū)域結(jié)果如圖4（b）所示。

3 實(shí)驗(yàn)結(jié)果

通過對(duì)本文算法與RANSAC算法檢測(cè)平面結(jié)果進(jìn)行比較，運(yùn)行結(jié)果如圖5所示。圖5（a）是通過標(biāo)識(shí)特征點(diǎn)檢測(cè)平面，但偶有異常點(diǎn)出現(xiàn)是不可避免的；圖5（b）是盡可能排除異常點(diǎn)后由凸包畫出檢測(cè)的平面特征點(diǎn)；圖5（c）是本文算法檢測(cè)的平面。結(jié)果表明，利用圖像分割結(jié)果與消失點(diǎn)分類線段算法檢測(cè)到的平面區(qū)域更準(zhǔn)確。

4 結(jié)語

在平面結(jié)構(gòu)較為簡(jiǎn)單的建筑物場(chǎng)景中，本文提出的利用Mean Shift圖像分割劃分平面區(qū)域后，結(jié)合消失點(diǎn)分類線段約束平面邊界的平面檢測(cè)算法有效且準(zhǔn)確檢測(cè)完整的平面區(qū)域，為后續(xù)平面跟蹤及檢測(cè)新平面出現(xiàn)提供信息和幫助。但該算法受限于條件設(shè)置，若場(chǎng)景中干擾物較多，存在干擾線段使得線段分類不準(zhǔn)確，平面檢測(cè)結(jié)果則會(huì)不理想，這是下一步要解決的重點(diǎn)問題。

圖4

圖5