茍洪山,楊 圓,張 遠(yuǎn),吳 磊,譚 棉
(1.貴州民族大學(xué) 數(shù)據(jù)科學(xué)與信息工程學(xué)院;2.貴州民族大學(xué) 貴州模式識(shí)別與智能系統(tǒng)重點(diǎn)實(shí)驗(yàn)室,貴州 貴陽 550025)
圖像摳圖技術(shù)致力于精確地估算圖像前景目標(biāo)的不透明遮罩[1],目前廣泛應(yīng)用于目標(biāo)識(shí)別[2]、虛擬現(xiàn)實(shí)[3]、影視特效[4]和圖像合成[5]等領(lǐng)域。盡管摳圖技術(shù)在工業(yè)上有了一定應(yīng)用,但自然場(chǎng)景下的圖像摳圖成果較少,其原因歸結(jié)于:①自然場(chǎng)景下圖像摳圖的精度達(dá)不到使用要求;②高質(zhì)量的自然圖像摳圖需花費(fèi)大量的計(jì)算資源[6-7]。因此,自然場(chǎng)景下的圖像摳圖方法一直是國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)[6]。
圖像摳圖由Porter 等[7]于1984 年首次提出,并將圖像的每一個(gè)像素點(diǎn)視作為所對(duì)應(yīng)的Alpha 透明度遮罩和前景背景像素的合成,其數(shù)學(xué)表達(dá)式為:
其中,Ic表示為圖像I在c處的像素值,F(xiàn)c和Bc分別表示c處像素點(diǎn)對(duì)應(yīng)的前景和背景像素值,α表示c處像素點(diǎn)對(duì)應(yīng)的透明度遮罩,α∈[0,1],其中α=0 表示像素點(diǎn)完全透明,其中α=1 表示像素點(diǎn)完全不透明。對(duì)于一幅自然圖像,其像素點(diǎn)的像素值由RGB 3 種顏色組合而成,則式(1)可描述為以下方程組:
其中,像素點(diǎn)c處像素值已知,但其剩余的7個(gè)變量未知。因此,圖像摳圖是一個(gè)欠定問題。為了降低方程組的求解難度,Rhemann 等[8]引入了自然圖像對(duì)應(yīng)的三分圖,將圖像劃分為已知的前景背景區(qū)域F、B和待求解的未知區(qū)域U。在此基礎(chǔ)上,可以將摳圖研究分為3 個(gè)方向:基于傳播的摳圖方法、基于像素對(duì)優(yōu)化的摳圖方法和基于深度學(xué)習(xí)的摳圖方法[6]。
基于傳播的摳圖方法是通過建立已知像素和未知像素之間的傳播關(guān)系,將透明度遮罩從已知區(qū)域傳播到未知區(qū)域。該方法針對(duì)平滑的前景目標(biāo)能展現(xiàn)出較好的摳圖性能,當(dāng)出現(xiàn)空洞時(shí),它就難以獲取高質(zhì)量的摳圖結(jié)果。基于像素對(duì)優(yōu)化的摳圖方法在解決空洞問題上展現(xiàn)了很好的性能。而基于采樣的摳圖方法是像素對(duì)優(yōu)化方法中比較經(jīng)典的摳圖方法,當(dāng)高質(zhì)量的像素對(duì)較少時(shí),基于采樣的摳圖方法難以獲取高質(zhì)量的像素對(duì)。
當(dāng)高質(zhì)量的像素對(duì)較少時(shí),易丟失高質(zhì)量的像素對(duì)。針對(duì)該問題,本文設(shè)計(jì)了基于像素對(duì)的多準(zhǔn)則采樣策略,該策略通過使用不同的采樣標(biāo)準(zhǔn)從全局到局部的采樣以獲取高質(zhì)量的候選子集。在此基礎(chǔ)上,設(shè)計(jì)多評(píng)價(jià)聯(lián)合的最優(yōu)像素對(duì)選取策略,該策略通過聯(lián)合多個(gè)像素對(duì)評(píng)價(jià)函數(shù),在高質(zhì)量的候選子集中獲取最優(yōu)樣本。在兩個(gè)策略的基礎(chǔ)上設(shè)計(jì)多準(zhǔn)則采樣摳圖算法,該算法在高質(zhì)量樣本較少時(shí),能獲取高質(zhì)量的像素對(duì)。實(shí)驗(yàn)結(jié)果表明,多準(zhǔn)則采樣摳圖算法與目前比較流行的算法相比,所提摳圖算法的摳圖結(jié)果都要優(yōu)于所對(duì)比的算法。
基于傳播的圖像摳圖方法利用圖像局部像素具有平滑性的假設(shè),構(gòu)建像素間的親密度,將透明度遮罩從已知區(qū)域傳播到未知區(qū)域,從而解決圖像摳圖問題[9]。針對(duì)構(gòu)建像素間的親密度,Levin 等[10]建立局部像素之間線性組合的親密度關(guān)系,利用代數(shù)的方法推導(dǎo)出圖像的透明度遮罩。Kim 等[11]將圖像每個(gè)像素的顏色、位置和紋理信息組成8 個(gè)通道,通過K-NN(k-Nearest Neighbour)聚類以細(xì)化前景透明度遮罩。Zhu 等[12]根據(jù)圖像的透明度類型提出一種自適應(yīng)透明傳播摳圖算法?;趥鞑サ膱D像摳圖方法在局部具有平滑特征的圖上能獲取高質(zhì)量的摳圖結(jié)果,然而在局部前景目標(biāo)不連續(xù)的圖像上就難以獲得令人滿意的透明度遮罩。
隨著對(duì)圖像摳圖問題的進(jìn)一步研究,基于像素對(duì)優(yōu)化的圖像摳圖方法被提出,并將其獲取像素對(duì)的方式細(xì)分為兩個(gè)方向:基于采樣的方法和基于演化優(yōu)化的方法[13]。基于采樣的方法是通過設(shè)計(jì)采樣策略以獲取像素對(duì),從而解決圖像摳圖問題。早期基于采樣的圖像摳圖方法利用像素顏色分布特征設(shè)計(jì)采樣策略。例如,Chuang 等[14]通過采樣得到空間變化的高斯集,以此對(duì)前景和背景顏色分布進(jìn)行建模,從而估計(jì)出前景的透明度遮罩。Sun 等[15]為每個(gè)未知像素選擇一些已知的前景和背景顏色作為候選子集,通過建立置信度函數(shù)篩選最佳樣本。Hong 等[16]將LBP 紋理代價(jià)函數(shù)應(yīng)用于采樣策略,以此達(dá)到收集最佳像素對(duì)目的。Feng 等[17]使用稀疏編碼建立像素對(duì)評(píng)價(jià)函數(shù),在K-means 聚類得到的候選集中選擇好的像素對(duì)。Karacan 等[18]通過KL 散度比較兩個(gè)樣本新的相異性度量,并在此基礎(chǔ)上建立像素評(píng)價(jià)函數(shù)以獲取最佳像素對(duì)。Huang 等[19]將每個(gè)未知像素的像素采樣建模為一個(gè)多目標(biāo)優(yōu)化問題,并選擇Pareto 最優(yōu)像素作為樣本,從而解決摳圖問題。Shahrian 等[20]通過對(duì)像素進(jìn)行分層聚類,同時(shí)選取聚類中心和已知區(qū)域邊界上的像素作為樣本,將局部采樣擴(kuò)展為全局采樣獲取最優(yōu)像素對(duì)。上述基于采樣的算法能快速解決圖像摳圖問題,但當(dāng)高質(zhì)量的樣本較少時(shí),易丟失高質(zhì)量的像素對(duì),導(dǎo)致圖像摳圖效果不佳。
針對(duì)高質(zhì)量的像素對(duì)丟失問題,基于演化優(yōu)化的圖像摳圖方法被提出,該方法能避免了在搜索空間中采樣,從而解決高質(zhì)量像素對(duì)丟失問題。例如,Liang 等[21]提出一種用于模糊多準(zhǔn)則評(píng)價(jià)和分解的多目標(biāo)進(jìn)化算法,提高了像素對(duì)評(píng)價(jià)的準(zhǔn)確性。Cai等[22]將圖像摳圖問題轉(zhuǎn)化為組合優(yōu)化問題,并通過設(shè)計(jì)離散蚯蚓優(yōu)化算法實(shí)現(xiàn)透明遮罩的精確提取。Mohapatra 等[23]提出一種新的競(jìng)爭(zhēng)群優(yōu)化算法,該算法是向贏家學(xué)習(xí)以更新迭代,而贏家粒子則直接傳遞給下一代,提高了解的優(yōu)越性。Huang 等[24]為了避免求解大規(guī)模優(yōu)化問題時(shí)存在過早收斂問題,設(shè)計(jì)一種收斂速度控制器,作為粒子群算法的附加算子。Liang 等[25]提出一種多尺度進(jìn)化演化的像素對(duì)優(yōu)化框架,該框架可適應(yīng)計(jì)算資源變化。上述方法能避免高質(zhì)量像素對(duì)丟失問題,但當(dāng)限制了其計(jì)算資源時(shí),它們便失去獲取最優(yōu)像素對(duì)的能力。綜上所述,當(dāng)高質(zhì)量的像素對(duì)較少時(shí),基于演化優(yōu)化的摳圖方法能夠在計(jì)算資源充足的情況下獲取高質(zhì)量的摳圖結(jié)果,但當(dāng)計(jì)算資源被限制時(shí),就難以求出高質(zhì)量的解。因此,對(duì)基于采樣的圖像摳圖方法的研究尤為必要。
在自然圖像摳圖中,當(dāng)高質(zhì)量的像素對(duì)較少時(shí),目前的采樣策略難以獲取高質(zhì)量的像素對(duì)問題,其過程如圖1所示。
Fig.1 Process of sampling pixel pairs圖1 像素對(duì)采樣流程
在自然圖像摳圖中,假設(shè)I是一幅圖像,F(xiàn)、B和U分別對(duì)應(yīng)三分圖的前景區(qū)域、背景區(qū)域以及待求解的未知區(qū)域,F(xiàn)和B構(gòu)成搜索空間S?;诓蓸拥姆椒ㄊ峭ㄟ^設(shè)計(jì)優(yōu)秀的采樣策略在S中獲取像素對(duì)樣本Sp集合,使用像素對(duì)評(píng)價(jià)函數(shù)得到高質(zhì)量的像素對(duì)xopt,其數(shù)學(xué)表達(dá)式為:
其中,f(*)表示前景背景像素對(duì)的評(píng)價(jià)函數(shù),x表示未知區(qū)域像素對(duì)應(yīng)的決策變量,(xf,xb)分別表示已知前景和背景區(qū)域像素對(duì)應(yīng)的決策變量,F(xiàn)×B表示前景像素和背景像素的笛卡爾乘積。
基于采樣的摳圖方法能在低計(jì)算資源的情況下獲取高質(zhì)量的樣本xopt,但其原理導(dǎo)致在采樣過程中,難以避免降低搜索空間帶來的樣本丟失[26-27],如圖1 所示,其中深色區(qū)域?yàn)閬G失的高質(zhì)量區(qū)域。當(dāng)高質(zhì)量的像素對(duì)較少時(shí),高質(zhì)量樣本丟失的機(jī)率就會(huì)增加,如圖2所示。
Fig.2 Cases with fewer high-quality pixels圖2 高質(zhì)量像素較少的情況
在GT16 這幅圖像中,其像素規(guī)模為800 × 536,對(duì)于未知區(qū)域中待求解的旗幟部分,高質(zhì)量的像素存在于一小塊區(qū)域當(dāng)中,該區(qū)域的像素?cái)?shù)量少于500,對(duì)于高質(zhì)量的像素被采的概率也要小于0.0034。因此,在自然圖像摳圖中,當(dāng)高質(zhì)量的像素對(duì)較少時(shí),采樣難以獲取到高質(zhì)量的像素對(duì)。為了獲取高質(zhì)量的像素樣本,下文將介紹多準(zhǔn)則的采樣摳圖算法。
3.2.1 多準(zhǔn)則采樣策略
為了解決當(dāng)高質(zhì)量的像素對(duì)較少時(shí),高質(zhì)量的像素難以獲取問題,本文假設(shè)高質(zhì)量的樣本存在于顏色相似的最佳局部區(qū)域,提出一種多準(zhǔn)則的像素對(duì)采樣策略。該策略使用像素的顏色距離和空間距離,從全局和局部角度考慮像素之間的相似性,再?gòu)念伾慕嵌瓤紤]像素的全局性和局部性,從而獲取高質(zhì)量的像素對(duì)。
對(duì)于像素對(duì)采樣策略,圖像像素顏色特征被視為是最重要的特征之一。為了更好地利用圖像的顏色特征,基于所提出的假設(shè),使用像素間的顏色距離衡量像素之間的相似性,其計(jì)算公式為:
其中,dc是像素間顏色距離,Ii是未知區(qū)域中像素i的顏色值,IS是已知像素的顏色值,S是F和B構(gòu)成搜索空間。當(dāng)前景和背景像素的顏色極其相似時(shí),顏色距離不能衡量前景像素和背景像素的差異性,因此使用像素的空間距離以增加前景像素和背景像素的差異性,其計(jì)算公式為:
其中,ds和db是像素的空間距離,Di是未知區(qū)域中邊界像素i的歐式空間坐標(biāo),Sj是已知區(qū)域中像素j的歐式空間坐標(biāo),Db是未知區(qū)域中邊界像素歐式空間坐標(biāo)。
其中,Xc是采樣獲取的樣本集合,Sp表示像素顏色相似的集合,ε是給定的顏色距離,則從空間距離角度考慮像素顏色的相似性采樣公式為:
其中,Xs是采樣獲取的樣本集合,Ss表示像素距離相近的集合,Xc和Xs樣本組合構(gòu)成了采樣集合X=Xc∪Xs。
3.2.2 多評(píng)價(jià)聯(lián)合的最優(yōu)像素對(duì)選取策略
在像素對(duì)評(píng)價(jià)過程中,像素對(duì)評(píng)價(jià)函數(shù)的評(píng)價(jià)能力直接影響摳圖算法獲取最優(yōu)像素的能力,為了使摳圖算法估計(jì)的解具有最優(yōu)性,本文聯(lián)合色差評(píng)價(jià)[19]和模糊評(píng)價(jià)[21]函數(shù)去評(píng)價(jià)獲取的樣本集合,從而獲取最優(yōu)樣本。
對(duì)于采樣本集X={x1,x2,...,xm},X對(duì)應(yīng)的色差評(píng)價(jià)和模糊函數(shù)值分布表示為fc(X)和ff(X),將fc(X)按升序重新排列得到fc(x(1)),fc(x(2)),...,fc(x(m)),聯(lián)合評(píng)價(jià)H(x)的計(jì)算公式為:
其中,So是高質(zhì)量像素對(duì)的適應(yīng)值。
采樣集合是一個(gè)高質(zhì)量的樣本集合,其樣本規(guī)模相比于整個(gè)搜索空間是非常小的,因而聯(lián)合評(píng)價(jià)函數(shù)的求解是一個(gè)比較簡(jiǎn)單的過程,只需計(jì)算采樣集合中每一個(gè)樣本的聯(lián)合評(píng)價(jià)函數(shù)值,取最優(yōu)值對(duì)應(yīng)的樣本即為最優(yōu)樣本xbest。
3.2.3 多準(zhǔn)則的采樣摳圖算法
考慮當(dāng)高質(zhì)量的像素對(duì)較少時(shí),摳圖算法難以獲取高質(zhì)量的摳圖結(jié)果。本文提出了基于多準(zhǔn)則的采樣摳圖算法。該算法主要包括兩部分:①多準(zhǔn)則的采樣策略,該策略從像素顏色的角度出發(fā)考慮像素局部和全局的相似性,再?gòu)目臻g距離的角度考慮像素顏色的相似性,依次配合獲取高質(zhì)量的樣本;②多評(píng)價(jià)聯(lián)合的最優(yōu)像素對(duì)選取策略,該部分主要通過聯(lián)合多個(gè)評(píng)價(jià)函數(shù)在樣本集合獲取最優(yōu)樣本。多準(zhǔn)則采樣摳圖算法流程如圖3所示。
采用SPSS 13.0統(tǒng)計(jì)學(xué)軟件的數(shù)據(jù)進(jìn)行處理。計(jì)量資料采用t檢驗(yàn),以“±s”表示;計(jì)數(shù)資料采用x2檢驗(yàn)。以P<0.05為差異有統(tǒng)計(jì)學(xué)意義。
Fig.3 Framework of sampling matting algorithm with multiple criteria圖3 多準(zhǔn)則的采樣摳圖算法框架
在多準(zhǔn)則的采樣摳圖算法框架中,根據(jù)圖像和對(duì)應(yīng)的三分圖劃分圖像已知區(qū)域的像素集合和未知區(qū)域的未知像素集合,通過多準(zhǔn)則的采樣策略和多評(píng)價(jià)聯(lián)合的最優(yōu)像素對(duì)選取策略獲取最優(yōu)樣本,解決當(dāng)高質(zhì)量的像素對(duì)較少時(shí),高質(zhì)量的像素對(duì)難以被采樣策略獲取的問題??紤]圖像局部平滑性的特征,在圖像透明度遮罩估計(jì)部分,所提算法采用了Liang 等[21]提出的領(lǐng)域分組策略以估計(jì)圖像透明度。
多準(zhǔn)則的采樣摳圖算法解決了當(dāng)高質(zhì)量的像素對(duì)較少時(shí),高質(zhì)量的像素對(duì)難以被采樣獲取所導(dǎo)致的摳圖精度問題。本文將通過Alpha Matting 基準(zhǔn)數(shù)據(jù)集對(duì)上述所提算法進(jìn)行驗(yàn)證分析。
本文所有實(shí)驗(yàn)都在Alpha Matting 基準(zhǔn)數(shù)據(jù)集上開展[8],該數(shù)據(jù)集包含27 幅測(cè)試集圖像、對(duì)應(yīng)的三分和8 幅測(cè)試集圖像以及對(duì)應(yīng)的三分圖。測(cè)試集圖像給出了每一幅圖的真實(shí)透明度遮罩以驗(yàn)證摳圖算法性能。所有實(shí)驗(yàn)均在Intel(R)Core(TM)i73.00GHz CPU,16G 內(nèi)存的服務(wù)器上運(yùn)行。在上述實(shí)驗(yàn)環(huán)境基礎(chǔ)上,本文分別設(shè)置了兩組實(shí)驗(yàn):①多準(zhǔn)則的采樣摳圖算法消融實(shí)驗(yàn)分析,該實(shí)驗(yàn)主要分析多準(zhǔn)則的采樣策略和多評(píng)價(jià)聯(lián)合的最優(yōu)像素對(duì)選取策略各自有效性;②多準(zhǔn)則的采樣摳圖算法與目前比較流行的圖像摳圖算法比較分析,本文所提算法與基于分組優(yōu)化的摳圖算法(DG)[27]、像素級(jí)采樣的多目標(biāo)離散摳圖(PMDS)[19]、Kullback-Leibler 散度摳圖(KL-D)[18]、金字塔摳圖框 架(PMF)[25]、多目標(biāo) 演化優(yōu) 化的圖 像摳圖(MOEAMCD)[21]等較為流行的摳圖算法進(jìn)行比較分析,以驗(yàn)證多準(zhǔn)則的采樣摳圖算法在高質(zhì)量像素對(duì)較少時(shí)的摳圖性能。
為了更好地展示摳圖算法性能,本文選用均方誤差作為圖像摳圖結(jié)果的定量評(píng)價(jià)指標(biāo),其計(jì)算公式為:
其中,αi表示未知區(qū)域中像素i的真實(shí)透明度遮罩,表示未知區(qū)域中像素i被估計(jì)出來的透明度遮罩,N是未知區(qū)域中像素的數(shù)量。
基于上述實(shí)驗(yàn)設(shè)置,給出多準(zhǔn)則的采樣摳圖算法的消融實(shí)驗(yàn)分析和與目前比較流行的圖像摳圖算法比較分析。
實(shí)驗(yàn)中使用Alpha Matting 數(shù)據(jù)中的27 幅圖像,對(duì)應(yīng)的三分圖和基準(zhǔn)的前景不透明遮罩作為實(shí)驗(yàn)原始數(shù)據(jù),并設(shè)多準(zhǔn)則的采樣策略中參數(shù)ε=50。為了驗(yàn)證所提策略的有效性,分別設(shè)置了3 種情況:①多準(zhǔn)則采樣策略下的色差評(píng)價(jià)函數(shù);②多準(zhǔn)則采樣策略下的模糊評(píng)價(jià)函數(shù);③多準(zhǔn)則采樣策略下的聯(lián)合評(píng)價(jià)函數(shù)。該實(shí)驗(yàn)分別在以上3種情況下與PMDS 摳圖算法進(jìn)行比較,以驗(yàn)證多準(zhǔn)則的采樣策略和多評(píng)價(jià)聯(lián)合的最優(yōu)像素對(duì)選取的有效性,實(shí)驗(yàn)結(jié)果如表1所示。
Table1 MSE of matting results of three cases PMDS表1 3種情況摳圖結(jié)果與PMDS摳圖結(jié)果的MSE
表1 給出了PMDS 摳圖、多準(zhǔn)則采樣策略下的色差評(píng)價(jià)函數(shù)摳圖、多準(zhǔn)則采樣策略下的模糊評(píng)價(jià)函數(shù)摳圖和多準(zhǔn)則采樣策略下的聯(lián)合評(píng)價(jià)函數(shù)摳圖在Alpha Matting 基準(zhǔn)數(shù)據(jù)集中27 幅圖的平均MSE 以及部分圖像的MSE。其中,3 種情況下?lián)笀D的MSE 均優(yōu)于PMDS 摳圖的MSE,并且在MSE 的數(shù)量級(jí)上,3 種情況下?lián)笀D的MSE 的數(shù)量級(jí)要比PMDS 摳圖的MSE 低一個(gè)數(shù)量級(jí)。因此,實(shí)驗(yàn)結(jié)果表明,多準(zhǔn)則的采樣策略能夠采樣到高質(zhì)量的像素對(duì)集合。通過比較多準(zhǔn)則采樣策略下色差評(píng)價(jià)函數(shù)摳圖,多準(zhǔn)則采樣策略下模糊評(píng)價(jià)函數(shù)摳圖和多準(zhǔn)則采樣策略下聯(lián)合評(píng)價(jià)函數(shù)摳圖的MSE,聯(lián)合評(píng)價(jià)函數(shù)策略在所有圖像上的平均MSE 不是最好的,但在高質(zhì)量像素少的圖像上,聯(lián)合評(píng)價(jià)策略的MSE 都是最好的,例如,表1 所示的圖GT10、GT16和GT23。實(shí)驗(yàn)數(shù)據(jù)進(jìn)一步說明,多準(zhǔn)則的采樣策略和多評(píng)價(jià)聯(lián)合的最優(yōu)像素對(duì)選取在高質(zhì)量像素少的圖像上是有效的,并且能提升圖像摳圖精度。
由實(shí)驗(yàn)結(jié)果可知,基于多準(zhǔn)則的采樣策略和多評(píng)價(jià)聯(lián)合的最優(yōu)像素對(duì)選取策略在高質(zhì)量像素少的圖像上,其摳圖效果更具有優(yōu)勢(shì)。
在本實(shí)驗(yàn)中,將本文所提算法與目前比較流行的圖像摳圖算法摳圖結(jié)果進(jìn)行比較,以驗(yàn)證多準(zhǔn)則的采樣摳圖算法優(yōu)越 性。將DG[27]、PMDS[19]、KL-D[18]、PMF[25]、MOEAMCD[21]和多準(zhǔn)則的采樣摳圖算法所求解的前景遮罩與標(biāo)準(zhǔn)前景遮罩的均方誤差進(jìn)行比較分析,實(shí)驗(yàn)結(jié)果如表2所示。
表2 展示了多準(zhǔn)則的采樣圖像摳圖算法、DG、PMDS、KL-D、PMF 和MOEAMCD 分別對(duì)Alpha Matting 基準(zhǔn)數(shù)據(jù)中27 幅圖像透明度遮罩估計(jì)的MSE。其中,多準(zhǔn)則的采樣圖像摳圖算法在大部分圖上估計(jì)的不透明度遮罩的MSE 都要優(yōu) 于所比較的DG、PMDS、KL-D、PMF 和MOEAMCD 摳圖算法,并且MSE 的差距較為明顯。數(shù)據(jù)結(jié)果說明,高質(zhì)量的像素對(duì)存在于顏色相似的最佳局部區(qū)域。因此,多準(zhǔn)則的采樣策略能采樣到高質(zhì)量的像素對(duì),所提采樣的摳圖算法估計(jì)出精度高的透明度遮罩。當(dāng)圖像出現(xiàn)前景背景像素極其相似的局部區(qū)域,多準(zhǔn)則的采樣圖像摳圖算法估計(jì)的透明度遮罩的MSE 高于MOEAMCD,但是MSE 的差距很小。實(shí)驗(yàn)結(jié)果進(jìn)一步展示了多準(zhǔn)則的采樣圖像摳圖算法優(yōu)于DG、PMDS、KL-D、PMF 和MOEAMCD 摳圖算法。
Table 2 Image matting algorithm based on multi-criterion sampling,DG,PMDS,KL-D,PMF and MOEAMCD estimate the MSE of 27 image transparency masks in Alpha Matting benchmark data,respectively表2 多準(zhǔn)則的采樣圖像摳圖算法、DG、PMDS、KL-D、PMF和MOEAMCD分別對(duì)Alpha Matting基準(zhǔn)數(shù)據(jù)中27幅圖像透明度遮罩估計(jì)的MSE
為了進(jìn)一步驗(yàn)證多準(zhǔn)則的采樣圖像摳圖算法,本文給出了多準(zhǔn)則的采樣圖像摳圖算法、KL-D、PMF 和MOEAMCD 分別估計(jì)的不透明遮罩的可視化比較,如圖4所示??梢钥闯觯鄿?zhǔn)則的采樣圖像摳圖算法在高質(zhì)量像素少的圖像上估計(jì)出了很好的透明度遮罩結(jié)果,例如旗子的透明度遮罩(圖4 第三行)和洋娃娃的頭發(fā)透明度遮罩(圖4第二行)都表現(xiàn)出了很好的摳圖結(jié)果。
實(shí)驗(yàn)結(jié)果顯示,多準(zhǔn)則采樣摳圖算法在高質(zhì)量的像素對(duì)較少時(shí),獲取了高質(zhì)量的像素對(duì),且與目前比較流行的算法進(jìn)行比較,所提算法的綜合摳圖結(jié)果都最好。
Fig.4 Visualization comparison of matting result圖4 摳圖結(jié)果比較可視化
針對(duì)圖像中高質(zhì)量像素對(duì)較少時(shí),難以獲取高質(zhì)量的像素對(duì)問題,本文提出了多準(zhǔn)則采樣摳圖算法,該算法通過像素對(duì)的多準(zhǔn)則采樣策略從全局相似性到局部相似性角度獲取高質(zhì)量的候選子集,從而解決了高質(zhì)量的像素對(duì)丟失問題。在此基礎(chǔ)上,設(shè)計(jì)多評(píng)價(jià)聯(lián)合的最優(yōu)像素對(duì)選取策略,該策略聯(lián)合了多個(gè)像素對(duì)評(píng)價(jià)函數(shù),避免了單一評(píng)價(jià)函數(shù)估計(jì)的解不是當(dāng)前最優(yōu)解。實(shí)驗(yàn)中,通過比較多準(zhǔn)則采樣摳圖算法與目前比較典型算法的摳圖結(jié)果,驗(yàn)證了多準(zhǔn)則采樣摳圖算法的優(yōu)越性,且在前景透明度遮罩和MSE 評(píng)價(jià)指標(biāo)上都要優(yōu)于目前比較典型的算法。
未來研究工作將主要集中在兩方面:①局部復(fù)雜區(qū)域(局部前景背景信息極其相似的區(qū)域)的前景遮罩提取算法;②研究透明物體的高分辨率圖形摳圖算法。