朱正偉 張 靜 饒 鵬 陳 忻

1(常州大學 江蘇 常州 213164)2(中國科學院上海技術物理研究所 上海 200083)

0 引 言

多視圖前景目標分割是指從來自不同視點的多個圖像中分割前景對象，其在計算機視覺中有著重要應用。在多視圖立體視覺中，為了減小時間成本，三維重建的第一步通常就是對前景目標進行精確提取。另外，前景目標分割也是目標跟蹤的重要步驟。

在多視圖中分割前景目標最簡單的方法是單獨處理每幅圖像，分別分割出前景目標。一般來講，這類方法[1-3]需要通過用戶交互來獲取如每個前景目標的邊界框或前、背景涂鴉等初始輸入。而基于圖像的三維重建往往需要大量的圖像，大量對圖像進行分割是對人力的浪費。

用于三維重建的多視圖圖像具有相同的前景對象，因此考慮利用不同輸入圖像之間顏色、紋理、形狀等外觀屬性的統(tǒng)計相似性，采用協(xié)同分割的思想進行多視圖圖像前景目標的分割[4]。Rother等[5]提出了一種基于馬爾科夫隨機場(MRF)的能量模型，并在模型中加入匹配公共部分的外觀直方圖的全局約束，通過TRGC優(yōu)化對模型近似求解來實現(xiàn)多圖像前景目標協(xié)同分割。Mukherjee等[6]建立了類似于文獻[4]的能量模型，但與其不同的是，Mukherjee等通過二范式來衡量前景直方圖之間的差異，并采用二次偽布爾優(yōu)化來近似求解分割結果。與文獻[5-6]的懲罰模型不同，Hochbaum等[7]建立了獎勵模型。Vicente等[8]將能量函數(shù)進行了優(yōu)化，優(yōu)化后的函數(shù)包含平滑項和全局約束，并提出了基于Boyov-Jolly模型的擴展模型。然而，這些方法僅在分辨率相對較低的圖像中進行粗略分割，且分割邊界也不夠精細，分割出的前景目標不能滿足三維重建的需求。此外，文獻[6-7]仍需根據(jù)用戶交互建立先驗模型。因此，本文在先前的方法基礎上進行了改進，實現(xiàn)多視圖前景目標自動分割。

前景目標分割及重建方法步驟如下：

Step1對輸入圖像進行顏色、幾何一致性測量；

Step2構建基于MRF的能量函數(shù)；

Step3利用Graph Cut迭代求解能量函數(shù)，得到第一次分割結果；

Step4KL散度檢測顏色混合區(qū)域；

Step5對顏色混合區(qū)域使用Matting細化邊界，得到第二次分割結果；

Step6將精細分割后的多視圖照片用于三維重建得到前景物體三維模型。

本文算法大致可分為三個階段，首先通過對圖像進行顏色、幾何一致性分析，確定前景目標所在區(qū)域。然后構建能量方程，方程的數(shù)據(jù)項使用多個輸入圖像上的顏色和幾何一致性來定義的似然相似度，平滑項使用在每個輸入圖像中單獨定義的圖像的局部結構。之后利用Graph Cut算法迭代地更新顏色和幾何測量值，初步實現(xiàn)前景目標分割。為了使分割更加貼近物體邊界，本文引入第二階段算法對分割結果進一步細化，通過評估局部像素帶內的顏色分步來確定前景背景顏色混合的未知區(qū)域，并使用Matting細化前景對象的分割邊界，得到高質量的分割結果。算法的第三階段將以上分割的結果用于三維物體重建，以此提高三維重建的速度。本文算法在多圖像分割上避免了大量的人工交互，能夠自動從多視圖圖像中分割出前景目標，即使對于高分辨率圖像，本文算法仍能獲得良好的分割邊緣。將該算法用于三維重建的前期圖像處理，可大大提高三維重建的速度。

1 多視圖對象分割

1.1 顏色模型

本文用高斯混合模型GMM為每個圖像的前景和背景顏色分布構建顏色模型，并根據(jù)顏色模型計算某像素點屬于前景和背景的可能性。此外，在構建GMM之前先使用雙邊濾波去除圖像噪聲及微小細節(jié)，避免顏色分布的過度擬合。本文的高斯混合模型包括前景GMM和背景GMM，定義如下：

(1)

1.2 幾何模型

為了實現(xiàn)所有視圖中一致前景目標的分割，本文假設在所有不同視點前景對象都完全位于攝像機視野范圍內。對于輸入的多視圖圖像的每個視點，通過檢查點在圖像上的投影是否在當前的前景二值分割范圍內，可以投票給假設點H(x)。為了測量前景的幾何一致性，本文使用S型函數(shù)(Sigmoid Function)定義如下所示的幾何模型：

(2)

式中：sk(x)=max(pk(H(x)))是投票最高得分，K是輸入圖像的數(shù)量，參數(shù)λ用于控制能量函數(shù)形狀，在本文中λ=20。若投票最高得分sk(x)小于K，則認為此像素幾何不一致。

1.3 MRF能量方程的構造與求解

1.3.1MRF能量方程的構造

第一階段的分割目標是在多視圖圖像I={I1,I2,…,In}中，估計前景目標的二值掩碼圖像X={X1,X2,…,Xn}，其中n表示輸入圖像的數(shù)量。在MRF框架中，此階段的分割可被表述為單一能量函數(shù)[9]。在先前研究的基礎上，本文構造了如下能量方程：

E=λEd+En

(3)

式中：Ed為能量方程的數(shù)據(jù)項，Ed=ρ(x)Ec+(1-ρ(x))·Eg。En為能量方程的平滑項，En=λnc·Enc+λng·Eng。與先前研究不同的是，本文能量方程的數(shù)據(jù)項包括顏色模型Ec和幾何模型Eg。對顏色模型中概率取負對數(shù)，可將最大后驗概率估計問題轉換為MRF框架中的能量最小化問題。

數(shù)據(jù)項中參數(shù)ρ表示權重，用來平衡顏色和幾何一致性。

(4)

像素顏色與前景GMM和背景GMM距離接近時，相應減小顏色模型的權重，同時增加幾何模型的權重。P(Ik(x)|Gf表示像素Ik(x)是前景Gf的概率。

平滑項用來主要體現(xiàn)相鄰像素之間不連續(xù)的懲罰，本文使用顏色能量Enc和幾何能量Eng定義兩個相鄰節(jié)點xp和xq的能量，如式(5)、式(6)所示：

Enc(xp,xq)=∑p,q|xp,xq|·exp[-β(Ip(x)-Iq(x))2]

(5)

(6)

式中：參數(shù)β由圖像的對比度決定，圖像本身對比度越低，β值越大，enb表示背景能量。

1.3.2MRF能量方程的求解

本文使用圖割(Graph Cut)算法對式(3)中的能量方程進行求解，以此得到第一階段二值分割的結果。在Graph Cut中，圖像的分割可以看作像素標記問題，本文將前景目標和背景的標簽分別設為1和0，將最小化圖割問題轉換為最小化能量方程問題，從而實現(xiàn)前景目標和背景的分割。

Graph Cut分割原理如圖1所示。首先使用無向圖表示要分割的圖像，Graph Cut圖包括普通頂點和兩個終端頂點，頂點具體對應輸入圖像的每個像素，圖中連接兩個相鄰頂點的線叫做邊，每條邊都有非負的權值，在圖割中可以權值可以理解為分割代價。圖割的目標就是求解令邊的權值之和最小時得最小割(min cut)。由于最小割等價與網(wǎng)絡的最大流，因此本文采用文獻[10]的方法最小化能量方程，迭代地對能量方程進行求解，直至E收斂。

圖1 Graph Cut分割示意圖

2 Matting邊緣優(yōu)化

第一階段通過使用Graph Cut迭代地求解能量函數(shù)，得到初步分割結果。若將分割結果直接用于三維重建，相對粗糙的邊緣會降低三維模型的完整度，因此引入第二階段過程，使用Matting[11]將部分前景目標分割邊緣進一步優(yōu)化。

2.1 模糊邊界檢測

首先檢測第一階段分割邊緣中模糊的邊界，也就是前景和背景不確定的區(qū)域。本文使用局部邊界區(qū)域中的KL散度(Kullback-Leibler divergence)衡量前景-背景的不確定程度。局部顏色混合的效果近似于兩種不同顏色的線性組合[12]，因此使用線性模型衡量局部顏色分步的KL散度，公式如下：

(7)

沿第一階段分割的邊界均勻地采樣種子點，并使用上述線性模型衡量每個種子點局部顏色分部的KL散度。邊界清晰附近的區(qū)域，顏色樣本集中在線性模型的兩端，而邊界模糊的區(qū)域，顏色樣本的分布會集中在線性模型的中間。通過找到投影顏色靠近局部線性模型中間的像素，可以檢測出第一階段分割結果中前景—背景不確定區(qū)域。

2.2 邊界優(yōu)化

為了能得到更精細的分割結果，同時提高計算效率，僅對第一階段分割結果中前景-背景不確定區(qū)域使用Matting進行邊緣優(yōu)化，求解alpha matte的目標函數(shù)：

a*=arg minααTLα+λ1(α-αg)T(α-αg)+

λ2(α-αb)TW(α-αb)

(8)

式中：L是Matting拉普拉斯矩陣；αg是第一階段分割結果；αb是邊界像素的約束；W是對角矩陣，如果像素是邊界像素，則其輸入等于1，否則為0；λ1、λ2是平衡兩個約束的權重。

3 三維重建

考慮到重建成本和通用性問題，本文選取更常見的普通相機，從多視圖圖像中恢復物體三維結構。三維重建方法步驟如下：

Step1SIFT算法進行特征點檢測；

Step2SIFT算法完成特征點之間的匹配；

Step3SFM技術得到稀疏點云；

Step4通過CMVS獲得稠密點云；

Step5MeshLab軟件生成物體三維模型。

將分割后的多視圖圖像序列作為三維重建的輸入，首先使用SIFT[13]檢測特征點，并在不同圖像之間進行特征點的匹配。然后利用SFM技術建立三維物體的稀疏點云，稠密點云則通過將稀疏點云輸入CMVS[14]獲得，最后使用MeshLab軟件生成物體三維模型。

4 結果及分析

為了驗證分割算法的有效性及其對重建結果的影響，本文首先進行了數(shù)據(jù)的采集。數(shù)據(jù)采集使用一臺相機環(huán)繞物體拍攝得到。本文所用相機的型號是(索尼ILCE-7RM2)，鏡頭型號SEL50F18，焦距50 mm，拍攝角度差值約20°。在無遮擋的情況下拍攝示意圖如圖2所示。每組數(shù)據(jù)由20張尺寸為1 200×800的圖像組成。

圖2 拍攝示意圖

為了說明分割算法的效果及不同分割算法對三維重建的影響，本文在采集的數(shù)據(jù)上進行了測試，并將無圖像分割、利用Grab Cut算法分割以及使用本文分割算法的多視圖圖像及三維重建結果進行了定性與定量的比較。其中，圖3、圖4是對室內物體和室外物體進行數(shù)據(jù)采集、自動分割的結果，從左到右分別為原圖、Grab Cut分割結果、本文分割結果。結果顯示，在前景后景顏色分布較為接近時，單純依靠Grab Cut算法難以得到良好的分割邊緣，而本文的分割算法能在無需人工交互的前提下自動分割得到完整的前景目標。

(a) 原圖 (b) Grab Cut分割 (c) 本文分割圖3 室內物體分割結果

(a) 原圖 (b) Grab Cut分割 (c) 本文分割圖4 室外物體分割結果

圖5展示了對無分割、Grab Cut方法分割、本文算法分割后的多視圖圖像進行三維重建的結果。由于Grab Cut算法在分割時損失了一部分的邊緣信息，導致三維重建結果不夠完整。

(a) 原圖 (b) Grab Cut分割 (c) 本文分割圖5 采用不同方法分割后三維重建結果

為了進一步評價本文算法，將一組照片不分割、Grab Cut算法、本文算法分割的分割和重建總時間進行了對比，對比結果如表1所示。對于單幅圖像分割，Grab Cut平均需要14.26 s，而本文算法平均需要12.00 s；不對圖像進行任何分割，直接進行三維重建需要耗時12 652.47 s，使用Grab Cut分割后再重建需4 915.59 s，本文算法分割后重建需5 568.76 s。本文算法分割后重建時間更長是由于其邊緣完整，保留了更多的特征點，在重建結果上也可清晰地看到本文算法分割后重建結果大幅度優(yōu)于Grab Cut分割再重建的結果。

表1 分割和重建消耗時間對比 s

5 結 語

圖像分割作為圖像處理的基礎，在計算機視覺領域有著不可忽視的作用。如仍采用人工交互方式進行多視圖圖像的前景目標分割，過程過于繁瑣且浪費人力。本文提出一種用于三維重建的前景目標自動分割算法，首先根據(jù)圖像序列的顏色一致性和幾何一致性，確定前景后景大致區(qū)域，并以此構建能量方程，用Graph Cut求解能量方程得到粗略分割結果；然后使用Matting細化分割邊界，得到高質量的分割結果；最后使用分割后圖片重建出物體三維模型。實驗表明，本文提出的分割算法速度快、分割質量高、無需人工交互，將本文分割算法用于三維重建前期圖像處理，可在大幅度縮短三維重建時間的同時，獲得與不分割時精度相當?shù)娜S模型。

今后的研究將考慮將多視圖圖像前景自動分割和物體三維重建集成在同一程序內，實現(xiàn)自動的基于序列圖像的物體三維重建。