馮夫健 楊 圓 譚 棉 茍洪山 梁椅輝 王 林

摳圖作為圖像處理中的重要技術(shù)之一,廣泛應(yīng)用于圖像合成、視頻編輯、直播及影視特效等領(lǐng)域[1-3],并且隨著高分辨率以及超高分辨率圖像的應(yīng)用,自然場景下的高分辨率圖像摳圖技術(shù)成為目前研究的一個熱點問題[4].在圖像摳圖中,前景遮罩值的提取精度決定合成圖像質(zhì)量的優(yōu)劣.此外,高分辨率圖像局部區(qū)域中的顏色信息更細膩,像素的前景信息和背景信息更相似,這將導(dǎo)致前景遮罩提取過程中容易出現(xiàn)摳反的問題.前景遮罩值的摳反將直接影響摳圖的質(zhì)量.因此,高分辨率圖像前景遮罩提取過程中的摳反問題成為當(dāng)前亟待解決的一個關(guān)鍵問題.

自Porter等[5]提出圖像前景遮罩的概念后,引入alpha通道,構(gòu)造圖像前景遮罩提取模型.在該模型中,任意像素點p的顏色值Ip可以由原始圖像中的前景顏色Fp和背景顏色Bp線性表示,即

Ip=αpFp+(1-αp)Bp,

(1)

其中,αp表示像素點p的前景遮罩值,物理意義為像素點p的不透明程度,0≤αp≤1.當(dāng)αp=1時,像素點p為完全不透明的前景像素信息,當(dāng)αp=0時,像素點p為完全透明的背景像素信息,當(dāng)αp∈(0,1)時,像素點p為半透明的前景和背景的混合像素信息.

對于一幅具有RGB三通道的彩色圖像,Fp、Bp均為三維未知向量,αp為未知標量.因此,該摳圖模型是一個未知量個數(shù)大于方程數(shù)量的欠定問題[5].為了能精確求解α值,Rhemann等[6]在摳圖過程中引入三分圖的概念,將圖像劃分成已知前景F、已知背景B和未知區(qū)域U三個部分,其中F、B、U分別對應(yīng)α為0、1、未知的區(qū)域.

近年來,高分辨率圖像前景遮罩提取問題已經(jīng)引起計算機視覺領(lǐng)域研究人員的高度重視,針對摳圖問題已有一定的研究基礎(chǔ)[7-8].

在傳統(tǒng)圖像前景遮罩提取方面,基于傳播的方法[9]和基于采樣的方法[10]利用前景遮罩取得不少的研究成果.Huang等[11]設(shè)計PDMS(Pixel-Level Discrete Multiobjective Sampling Method),有效求解超像素采樣方法中存在的采樣空間不完整、最優(yōu)樣本丟失問題.在補丁圖像摳圖方法的基礎(chǔ)上,Cao等[12]采用綜合采樣和隨機游走算法以加速摳圖模型,提出基于補丁的高分辨率圖像和視頻自適應(yīng)摳圖算法,將自適應(yīng)框架擴展到視頻摳圖,減少計算機內(nèi)存的消耗.針對輸入圖像透明前景區(qū)域提取精度較低的問題,Zhu等[13]設(shè)計前景的透明度類型檢測策略,并根據(jù)其透明度類型提出ATPM(Adaptive Transparency-Based Propagation Matting).針對高分辨率圖像摳圖計算速度較慢的問題,Weng等[14]提出SSAM(Shared Sampling Alpha Matting),與OpenMP(Open Multi-processing)進行并行運算,在多核服務(wù)器平臺上加快高分辨率圖像摳圖的計算速度.Tang等[15]提出基于學(xué)習(xí)的采樣方法,利用深度神經(jīng)網(wǎng)絡(luò)估計前景層、背景層的顏色,進行分層采樣,從而提高前景遮罩值估計的性能.

此外,針對輸入圖像局部復(fù)雜區(qū)域前景遮罩提取精度較低的問題,Feng等[16]設(shè)計WMGA(Weight Map Generation Algorithm),測量輸入圖像與真實前景遮罩圖像之間的局部差異,提取局部復(fù)雜區(qū)域,從而提高前景遮罩的精度.Aksoy等[9]通過已知透明度區(qū)域到未知區(qū)域以及未知區(qū)域內(nèi)部的信息傳遞,提高局部復(fù)雜區(qū)域的前景遮罩提取精度.

上述研究主要分析像素之間的相關(guān)性以及前景背景像素對的采樣規(guī)則,實現(xiàn)前景遮罩的提取.相對而言,針對高分辨率圖像中存在的局部前景背景信息相似時出現(xiàn)的摳反問題研究較少.

基于優(yōu)化的前景遮罩提取方法將摳圖問題建模成像素對優(yōu)化問題,為未知區(qū)域中的每個未知像素搜索最優(yōu)的一組前景背景像素對.Liang等[17]將前景遮罩提取問題建模成基于前景、背景像素對的組合優(yōu)化問題,針對現(xiàn)有啟發(fā)式算法求解過程中的過早收斂問題,提出PSO-ACSC(Particle Swarm Optimi-zation-Adaptive Convergence Speed Controller).Liang等[18]針對計算資源和代價問題,提出PMF(Pyramid Matting Framework),利用圖像金字塔,將大規(guī)模像素對優(yōu)化問題轉(zhuǎn)化為多個不同尺度的子優(yōu)化問題,在不充足計算機資源情況下仍能提取較好的前景遮罩.針對大規(guī)模采樣摳圖的全局優(yōu)化問題,Mohapatra等[19]提出NCSO(Novel Competitive Swarm Optimizer),提高摳圖精度.針對基于采樣的摳圖方法的不確定多準則優(yōu)化問題,Liang等[20]提出FMCE(Fuzzy Multicriteria Evaluation)和MOEA-MCD(Multi-objective Evolutionary Algorithm Based on Multicriteria Decomposition).Wang等[21]針對人像摳圖問題,設(shè)計快速自動人像摳圖方法,利用多模型高斯過程回歸對人像邊緣區(qū)域進行檢測,提高人像摳圖的精度.此外,針對高清圖像規(guī)模較大難以直接求解的問題,馮夫健等[22]提出基于分組協(xié)同的群體競爭優(yōu)化算法(Competitive Swarm Optimization Algorithm Based on Group Collaboration, GC-CSO),對問題分解后同時估計每組的前景遮罩,實現(xiàn)前景遮罩的并行提取.

綜上所述,雖然基于優(yōu)化的前景遮罩提取方法在高清圖像前景遮罩提取問題上取得一定成果,但對于當(dāng)前景背景信息極相似時容易出現(xiàn)摳反(前景像素摳成背景像素或背景像素摳成前景像素)的問題關(guān)注較少.因此,針對高分辨率圖像這一大規(guī)模組合優(yōu)化問題中出現(xiàn)的摳反問題仍需要進一步的研究.

高分辨率圖像摳圖問題本質(zhì)上是一個大規(guī)模的組合優(yōu)化問題[17],但當(dāng)高分辨率圖像中存在局部前景背景信息極相似時,容易出現(xiàn)前景摳成背景、背景摳成前景的摳反問題.因此,本文設(shè)計決策集分解策略,將圖像摳圖這一大規(guī)模組合優(yōu)化問題轉(zhuǎn)化成多個小規(guī)模的子優(yōu)化問題. 此外,基于子問題之間的相似性,設(shè)計優(yōu)化信息傳遞策略,獲取子問題間的權(quán)重關(guān)系,建立圖像摳圖問題的優(yōu)化序列.受微尺度搜索思想[23]的啟發(fā),結(jié)合決策集分解策略和優(yōu)化信息傳遞策略,提出基于微搜索的前景遮罩提取算法(Alpha Matting Algorithm Based on Micro-scale Sear-ching, MS-AM),通過在有效決策子集中的搜索代替整個決策集的搜索,有效解決高分辨率圖像中局部前景背景信息摳反的問題,提高高分辨率圖像前景遮罩的提取精度.在alphamatting基準數(shù)據(jù)集[6]上進行實驗驗證,結(jié)果表明,MS-AM可以解決局部前景背景信息極相似時出現(xiàn)的前景遮罩摳反問題,并且在顯著降低問題維度的情況下提高前景遮罩的精度.

1 相關(guān)知識

針對高分辨率圖像的前景遮罩提取中局部前景背景信息極相似時容易出現(xiàn)的摳反問題,從問題分解優(yōu)化的思想出發(fā),引入均值偏移聚類算法的思想[24-26]作為高分辨率圖像前景遮罩提取問題的分解工具,將高分辨率大規(guī)模組合優(yōu)化問題分解成多個小規(guī)模的子優(yōu)化問題.

均值偏移聚類算法是一種常用的特征空間分析工具,將數(shù)據(jù)點移向最高密度的數(shù)據(jù)點(即群集質(zhì)心),迭代地將數(shù)據(jù)點分配給群集,從而實現(xiàn)群集數(shù)據(jù)的分類.本文采用均值偏移對高分辨率圖像進行聚類分解,根據(jù)像素點的空間位置和顏色信息計算同一帶寬中的像素點,并求取帶寬內(nèi)所有像素點的均值偏移向量mshift(pi),實現(xiàn)未知區(qū)域像素的分類.具體計算方法如下:

(2)

i=1,2,…,n,

其中

mshift(pi)表示以像素點pi為窗口中心進行聚類之后,同類中所有像素點的均值偏移向量,g(α)為一個以pi為窗口中心的單調(diào)遞增函數(shù),窗口大小由帶寬h決定,h>0.

根據(jù)式(2)計算帶寬h中所有像素點的均值偏移向量mshift(pi),直到所有像素點的5維特征向量(R,G,B,x,y)收斂.具體聚類步驟如下.

1)設(shè)未知區(qū)域U的未知像素點數(shù)量為n,其中,任意一個像素pi,i=1,2,…,n由5維特征向量(R,G,B,x,y)組成,前三維表示像素點pi在RGB空間上的顏色值,后兩維表示pi在圖像上的空間坐標.在未知區(qū)域中隨機選擇一個像素作為中心點.

2)記集合M為帶寬h內(nèi)所有像素點的信息.計算從中心像素點開始到集合M中每個元素的向量,對得到的向量求和,獲取最終的偏移向量mshift(pi).

3)中心像素點向偏移向量mshift(pi)的方向移動,設(shè)偏移向量的模長為像素點的移動步長.

4)重復(fù)上述操作,直到所有像素點都歸好類,像素點個數(shù)小于ε的類合并到相鄰的類中,最終產(chǎn)生η個類.

根據(jù)均值偏移聚類算法,高分辨率圖像摳圖這一大規(guī)模組合優(yōu)化問題可以分解為多個小規(guī)模的子優(yōu)化問題(高分辨率圖像的未知區(qū)域被劃分為多個子類).

2 問題描述與建模

高分辨率圖像前景遮罩提取問題本質(zhì)上是一個大規(guī)模組合優(yōu)化問題,當(dāng)高分辨率圖像中前景像素的顏色信息與背景像素的顏色信息極相似時,容易出現(xiàn)前景像素摳成背景像素或背景像素摳成前景像素的摳反現(xiàn)象.前景遮罩值的摳反將會直接導(dǎo)致提取的前景遮罩精度較低,影響摳圖質(zhì)量,致使技術(shù)人員難以保證高分辨率圖像摳圖的精度.這成為當(dāng)前亟需攻克的一個難點問題.

高分辨率圖像局部相似像素點的規(guī)模較大,相鄰像素點之間RGB顏色信息具有很高的相似性.如圖1所示,圖中綠色點表示摳反的像素點.(a)為具有前景背景交替的網(wǎng)狀結(jié)構(gòu),局部前景背景的顏色信息極相似,對于更小單位的像素點而言,顏色變化更加微小.因此,在前景和背景相鄰區(qū)域,容易出現(xiàn)較多的摳反像素點,大幅降低前景遮罩值的提取精度.

(a)原始圖像 (b)三分圖(a)original image (b)Trimap

(c)人工提取的真實前景 (d)前景遮罩摳反示意圖(c)Manually extracted real foreground(d)Sketch map of inverted alpha matte圖1 前景遮罩摳反的可視化結(jié)果Fig.1 Visualization of inverted alpha matte

為了有效提高前景遮罩值的提取精度,基于像素點之間的相似特性,本文采用問題分解的思想將高分辨率圖像摳圖這一大規(guī)模組合優(yōu)化問題進行降維.假設(shè)聚類后的同類像素之間可以共享像素點信息,基于該假設(shè),本文通過均值偏移聚類的思想對等同關(guān)系[27]進行延伸定義,具體如下.

(a-b)T(a-b)≤h2,

且

滿足

|mshift(a)-mshift(b)|→0,

根據(jù)定義1可知,當(dāng)未知區(qū)域像素點經(jīng)過聚類分解后,若像素點a、b間的歐氏距離滿足在以h為帶寬的圓內(nèi),則認為a、b像素滿足等同關(guān)系,即兩個像素點信息是相同的.因此,若像素點之間滿足等同關(guān)系,則同時滿足等價關(guān)系.下面給出等同關(guān)系是等價關(guān)系的定理.

由定理1可知,未知區(qū)域經(jīng)過聚類分解之后,若同類中任意兩個像素點a、b滿足等同關(guān)系,則a、b兩個像素點為等價關(guān)系,這為同類像素之間信息共享提供理論依據(jù).

在高分辨率圖像前景遮罩提取問題中,假設(shè)通過共享像素信息可以解決高分辨率圖像中前景與背景相似時出現(xiàn)的摳反問題.基于該假設(shè),本文設(shè)計前景區(qū)域像素信息共享的方法,通過前景區(qū)域像素的顏色和位置信息對整個區(qū)域進行分解,將高分辨率圖像前景遮罩提取這一大規(guī)模組合優(yōu)化問題劃分為多個子優(yōu)化問題,從而實現(xiàn)問題分解.高分辨率圖像前景遮罩提取問題可描述如下:

(3)

由式(3)可知,第k個未知像素對應(yīng)的前景背景像素對的目標函數(shù)為:

(4)

(5)

其中

(6)

(7)

通過式(4)給出的目標函數(shù)可以評估前景背景像素對的質(zhì)量.式(5)主要用于評估前景背景像素對的顏色失真程度,式(6)和式(7)分別用于評估前景背景像素與未知像素點的空間距離.

3 基于微搜索的前景遮罩提取

算法

3.1 有效決策子集

由式(3)可知,高分辨率圖像前景遮罩提取問題是一個大規(guī)模組合優(yōu)化問題.未知區(qū)域中的未知像素信息由前景背景組成的像素對信息決定,導(dǎo)致高分辨率圖像摳圖問題的決策集維度較高,直接求解計算復(fù)雜度較高.因此,為了提高前景遮罩值的搜索效率,假設(shè)未知區(qū)域的決策集可以分解為多個決策子集,并且存在一個維度遠小于決策集的有效決策子集(如圖2所示),那么通過對有效決策子集的搜索代替對決策集的搜索,可以在降低計算時間復(fù)雜度的前提下保證求解效率[23],解決高分辨率圖像前景遮罩提取問題中的摳反問題.

圖2 有效決策子集映射示意圖Fig.2 Sketch map of effective decision subset mapping

定義2決策子集 設(shè)ψ為高分辨率圖像前景遮罩提取問題P的決策集,對問題P進行分解后的可行解集稱為決策子集δ,δ?ψ.

由定義2可知,高分辨率圖像前景遮罩提取問題的決策集ψ可以分解為多個決策子集.假設(shè)在某個決策子集δ*中存在最優(yōu)解X*,且在該決策子集δ*中的搜索可以代替在決策集ψ中的搜索,則稱該決策子集為有效決策子集.

定義3有效決策子集 設(shè)δ*為決策集ψ的決策子集,即δ*?ψ.若存在最優(yōu)解X*,有X*∈δ*,則稱δ*為問題P的有效決策子集.

根據(jù)定義2和定義3可知,若決策子集δ*中存在最優(yōu)前景背景像素對,則決策子集δ*為有效決策子集.基于有效決策子集的概念,本文設(shè)計決策集分解策略,分解高分辨率圖像摳圖問題.

3.2 決策集分解策略

在定義有效決策子集的基礎(chǔ)上,假設(shè)根據(jù)圖像的顏色信息和空間信息可以實現(xiàn)對高分辨率圖像前景遮罩提取問題的分解(將決策集分解為多個決策子集).基于該假設(shè),本文設(shè)計決策集分解策略,利用均值偏移的思想對未知區(qū)域像素的顏色信息與空間位置信息進行聚類降維,從而將決策集分解為多個決策子集.

由式(3)可知,未知區(qū)域像素集合U=(p1,p2,…,pn)中的每個未知像素對應(yīng)決策集中一組前景背景像素對,因此,整個未知區(qū)域的決策集搜索維度為2n.在決策集分解策略的基礎(chǔ)上,假設(shè)高分辨率圖像前景遮罩提取問題被分解成η個子問題,即有S=(S1,S2,…,Sη),每個子問題的未知像素個數(shù)為|Si|,i=1,2,…,η,則此時每個子問題的決策子集維度為2|Si|?2n,搜索的空間維度遠小于整個決策集的維度.

因此,根據(jù)決策集分解策略,高分辨率圖像這一大規(guī)模組合優(yōu)化問題分解為多個小規(guī)模的子優(yōu)化問題,即決策集分解為多個決策子集,那么,通過對有效決策子集(分解的多個決策子集集合)的搜索代替對整個決策集的搜索,能夠求解每個子優(yōu)化問題.本文的有效決策子集是分解后的決策子集的集合,也是決策集的一個子集.設(shè)未知區(qū)域U中的像素點個數(shù)為n,U=(p1,p2,…,pn)為未知區(qū)域中未知像素點集合,η為分解后的子問題個數(shù),h表示帶寬,ε為每類中允許的最少像素點個數(shù),M為帶寬h內(nèi)所有像素點的信息,mshiftnew(pi)為根據(jù)式(2)計算所得的偏移向量,最優(yōu)解X*所在的決策子集被視為有效決策子集.決策集分解流程如算法1所示.

算法1決策集分解策略

輸入高分辨率圖像,三分圖

輸出S=(S1,S2,…,Sη)

1.從未知區(qū)域U中隨機選取一個像素點pi作為初始中心

2.//決策集分解過程

3.fori=1 tondo

4.while 未滿足終止條件do

5.Mj(p)={y|(p-pi)T(p-pi)≤h2}

6.S=Spi∈Mj∪{p}

7.利用式(2)計算偏移向量mshift(p)

8.pi=pi+mshift(p)

9.if|mshiftnew(p)-mshift(p)|→0 then

10.break

11. end if

12. end while

13. forj=1 to |S| do

14. ifSj中像素點個數(shù)小于εthen

15.Sj=Sj∪Sj+1

16.else

17.j=j+1

18.end if

19. end for

20.end for

在算法1中,高分辨率圖像前景遮罩提取問題被分解成多個小規(guī)模的子優(yōu)化問題.第4～6行計算中心像素點與其它像素點的距離,得到同一帶寬h中的像素點集合.第7～11行計算偏移向量之間的差值,獲取最終的偏移重心,確定第i類像素點信息.第13～19行用于判斷某一類中的像素點個數(shù)是否小于ε個像素點,若小于,將該類別合并到相鄰的類中,最終產(chǎn)生η個類,得到S=(S1,S2,…,Sη).

3.3 優(yōu)化信息傳遞策略

在決策集分解策略的基礎(chǔ)上,高分辨率圖像的前景遮罩提取問題分解為多個子優(yōu)化問題.根據(jù)像素之間的相關(guān)性,假設(shè)子問題(類)之間可以通過權(quán)重關(guān)系進行優(yōu)化信息的傳遞.基于該假設(shè),設(shè)計優(yōu)化信息傳遞策略,計算子問題間的權(quán)重關(guān)系,構(gòu)建圖像前景遮罩提取問題的優(yōu)化序列,將前一個類的最優(yōu)解作為啟發(fā)式信息傳遞到下一個類別中,作為該類的初始解,幫助該類搜尋到最優(yōu)解.

則第i個類與第j個類之間的權(quán)重為:

(8)

由定義4可知,計算每個類中心像素點之間的權(quán)重值,可以獲取類與類之間的權(quán)重關(guān)系.假設(shè)權(quán)重值越小,兩個類之間相似程度越高,在優(yōu)化信息傳遞過程中優(yōu)先進行傳遞.通過計算所有類別之間的權(quán)重值,并按照權(quán)重大小對各類別進行排序,從而獲取優(yōu)化信息的傳遞次序.設(shè)V=(V1,V2,…,Vη)表示對每個類進行排序之后的有序集合,W=(ω1,ω2,…,ωη)表示類之間的權(quán)重集合,η表示類別個數(shù).具體優(yōu)化信息傳遞策略如算法2所示.

算法2優(yōu)化信息傳遞策略

輸入子優(yōu)化問題S=(S1,S2,…,Sη)

輸出V=(V1,V2,…,Vη)

1.利用式(8)計算所有類(子優(yōu)化問題)之間的權(quán)重集合W=(ω1,ω2,…,ωη)

2.i=0

3.從集合S中隨機選擇第i個類Vi

4.while|V|≠|(zhì)S| do

5. fori=1 toηdo

6.從S和S-V中選擇最小的權(quán)重ωi

7.i=i+1

8.Vi=Si,其中Vi表示集合S中權(quán)重ωi對應(yīng)的類

9.end for

10.end while

在算法2中,針對高分辨率圖像前景遮罩提取問題分解的η個子優(yōu)化問題,首先根據(jù)式(8)計算所有類之間的權(quán)重集合.第5～11行對比類別之間的權(quán)重大小,對各類進行排序,得到最終的優(yōu)化信息傳遞次序V=(V1,V2,…,Vη).在決策集分解策略和優(yōu)化信息傳遞策略的基礎(chǔ)上,本文提出基于微搜索的前景遮罩提取算法.

3.4 算法步驟

在決策集分解策略與優(yōu)化信息傳遞策略的基礎(chǔ)上,針對高分辨率圖像中局部前景背景信息極相似時容易出現(xiàn)前景遮罩摳反的問題,本文提出基于微搜索的前景遮罩提取算法(MS-AM),求解高分辨率圖像中的摳反問題.MS-AM在決策集分解策略的基礎(chǔ)上能夠分解大規(guī)模問題,并通過優(yōu)化信息傳遞策略進行同類之間的信息共享.最后通過對有效決策子集(存在最優(yōu)解的決策子集)的搜索替代整個決策集的搜索以尋找最優(yōu)解,在有效降低計算時間復(fù)雜度的同時避免前景背景極相似區(qū)域的摳反情況.設(shè)it為迭代次數(shù),K為最大迭代次數(shù),PSO(·)為采用PSO(Particle Swarm Optimization)[28]作為優(yōu)化器搜尋最優(yōu)解的過程,X*為每個子問題優(yōu)化后搜尋的最優(yōu)解,Xmin為整個前景遮罩提取問題輸出的最終解. MS-AM流程如算法3所示.

算法3基于微搜索的前景遮罩提取算法

輸入高分辨率圖像,三分圖

輸出Xmin

1.//決策集分解策略部分

2.通過算法1,將高分辨率圖像摳圖問題分解為多個子優(yōu)化問題S=(S1,S2,…,Sη)

3.//優(yōu)化信息傳遞策略部分

4.通過算法2,利用類的權(quán)重關(guān)系對子優(yōu)化問題進行排序,獲取優(yōu)化信息傳遞次序V=(V1,V2,…,Vη)

5.//微搜索優(yōu)化部分

6.θ=Vi,i=1

7.whilei≤ηdo

8.//優(yōu)化子問題θ

9.if 存在候選解Cthen

10.PSO(X)更新最優(yōu)解X*

11.Xmin=Xmin∪X*

12.else

13.隨機初始化μ個候選解C={c1,c2,…,cμ}

14.whileit≤Kdo

15.利用式(5)～式(7)計算每個候選解cj(j=1,2,…,μ)的顏色和空間適應(yīng)值

16.利用式(4)評估每個候選解的適應(yīng)值

17.PSO(C)更新最優(yōu)解X*

18.ifX*不需要更新then

19.Count=Count+1

20.else

21.Count=0

22.end if

23. end while

24.Xmin=Xmin∪X*

25.θ=θ∪Vi

26.i=i+1

27.end if

28.end while

在算法3中,選用PSO作為本文的優(yōu)化器以求解優(yōu)化目標,在搜索最優(yōu)解的過程中鎖定有效決策子集的空間位置,從而通過在有效決策子集中的搜索代替整個決策集的搜索.算法中的第1～2行為決策集分解策略部分,實現(xiàn)高分辨圖像大規(guī)模組合優(yōu)化問題的有效分解.第3～4行為優(yōu)化信息傳遞策略部分,對子問題之間的權(quán)重大小進行排序,獲取優(yōu)化信息的傳遞次序.第6～27行為微搜索優(yōu)化部分,其中,第9～12行用于判斷是否有從上一個類中傳遞下來的初始解.第13～22行用于對第i個類的最優(yōu)解進行更新,第23～25行實現(xiàn)最優(yōu)解與問題的重組,第27行將上一個類的最優(yōu)解傳遞到下一個類別中作為初始解.

即

4 實驗及結(jié)果分析

為了驗證MS-AM在高分辨率圖像前景遮罩提取問題中解決摳反問題的性能,本節(jié)設(shè)置3組實驗,分別用于驗證兩個策略以及算法的有效性.

4.1 實驗設(shè)置

本文選用的實驗數(shù)據(jù)為Rhemann等[6]提出的alphamatting高分辨率基準數(shù)據(jù)集,提供27幅用于訓(xùn)練的彩色圖像及其對應(yīng)的真實前景遮罩結(jié)果與三分圖.

所有算法實現(xiàn)均在MATLAB 2018a環(huán)境下進行,實驗均使用Intel(R) Core(TM) i5-7500 3.4 GHz CPU及8 GB內(nèi)存的服務(wù)器運行.

本文分別設(shè)置3組實驗.

1)第1組實驗.決策集分解策略的有效性分析,主要驗證決策集分解策略可以顯著降低高分辨率圖像前景遮罩提取問題的維度.

2)第2組實驗.優(yōu)化信息傳遞策略的有效性分析,主要驗證基于優(yōu)化信息傳遞策略可以有助于MS-AM求解高分辨率圖像摳圖中的前景遮罩摳反問題.

3)第3組實驗.MS-AM與目前典型的摳圖優(yōu)化方法對比分析.對比算法如下:VS-CCPSO(Vari-able-Size Cooperative Coevolutionary PSO Algori-thm)[29]、CC-DE-S(Cooperative Coevolution Diffe-rential Evolution Algorithm with a Scattered Stra-tegy)[30]、GC-CSO[22]、MOEA-MCD[20]、OIT-GOA[31]、文獻[9]算法,驗證MS-AM在高分辨率圖像前景遮罩提取問題上的性能與計算時間復(fù)雜性.

為了保證實驗中不同算法實驗結(jié)果的可對比性,本文采用均方誤差(Mean Square Error, MSE)作為評價指標.所有算法在每幅圖像上分別運行30次,以便對其性能進行統(tǒng)計分析.

4.2 決策集分解策略的有效性分析

為了驗證決策集分解策略對高分辨率圖像前景遮罩提取問題分解的有效性,本文采用決策集分解策略對高分辨率圖像的未知區(qū)域進行分解,其中帶寬h及每個類中允許最少像素點個數(shù)ε的設(shè)置與文獻[25]一致.

表1給出alphamatting數(shù)據(jù)集上27幅高分辨率圖像降維前后的對比結(jié)果.在表中,X表示高分辨率圖像前景遮罩提取問題決策變量的原始維度,X′表示高分辨率圖像前景遮罩提取問題分解降維后的決策變量維度.在27幅圖像的原始決策變量中,維度均處于幾十萬維甚至上百萬維,由此可以看出,本文優(yōu)化的高分辨率圖像前景遮罩提取問題屬于超高維的優(yōu)化問題.

表1 Alpha matting基準數(shù)據(jù)集上高分辨率圖像降維前后的決策變量維度對比Table 1 Comparison of decision variable dimensions before and after dimension reduction of high-resolution images on alphamatting benchmark dataset

由表1的分解結(jié)果可以看出,除了決策變量原始維度均在百萬維以上的GT04、GT08、GT11、GT13、GT26、GT27降維后的維度在1萬維以上之外,其余原始維度在幾十萬維以上的圖像均降維到幾千維,降維效果十分明顯,因此該算法有效降低高分辨率圖像前景遮罩提取問題的維度.根據(jù)每幅圖像對應(yīng)的降維效果發(fā)現(xiàn),高分辨率圖像中相似區(qū)域越多,降維效果越明顯.

4.3 優(yōu)化信息傳遞策略的有效性分析

為了驗證優(yōu)化信息傳遞策略在求解高分辨率圖像中局部前景遮罩摳反問題的有效性,本節(jié)對比分析基于優(yōu)化信息傳遞策略的MS-AM與PSO,MS-AM的優(yōu)化器參數(shù)設(shè)置與文獻[28]一致.

實驗采用alphamatting基準數(shù)據(jù)集上27幅高分辨率彩色圖像及對應(yīng)的三分圖作為訓(xùn)練數(shù)據(jù),以其中提供的真實遮罩圖作為實驗結(jié)果的評價標準.根據(jù)文獻[20]、文獻[22]、文獻[29]～文獻[31]中設(shè)置的迭代次數(shù),本文將求解高分辨率圖像前景遮罩的最大評估次數(shù)設(shè)置為5×103.分別針對MS-AM和PSO求解的高分辨率圖像前景遮罩值計算各自的MSE,并給出27幅圖像的MSE對比,具體如表2所示,表中黑體數(shù)字表示最優(yōu)值.

表2 MS-AM和PSO的MSE對比結(jié)果Table 2 MSE comparison between MS-AM and PSO

由表2可知,MS-AM在27幅圖像中有23幅圖像的MSE值低于PSO,其余4幅圖像的MSE值略高于PSO.MSE值越低,表明前景遮罩的精度越高.實驗表明,在優(yōu)化信息傳遞策略的基礎(chǔ)上,MS-AM利用子問題之間的信息傳遞,可以解決高分辨率圖像前景遮罩提取問題中的摳反問題,提高高分辨率圖像的前景遮罩的提取精度.

為了進一步驗證MS-AM在求解摳反問題上的性能,MS-AM與PSO的摳反可視化對比結(jié)果如圖3所示,圖中綠色點為摳反像素點.由圖中摳反結(jié)果的局部放大圖可以看出,PSO的結(jié)果主要以局部區(qū)域前景遮罩摳反為主,而由MS-AM的結(jié)果可知,MS-AM求解的高分辨率圖像前景遮罩噪聲更小,前景物體的輪廓更清晰,具有更優(yōu)的視覺效果.

(a)原始圖像(a)Original images

(b)輸入的三分圖(b)Input trimaps

(c)人工提取的真實前景遮罩結(jié)果(c)Manually extracted real alpha matte results

(d)PSO提取的前景遮罩結(jié)果(d)Alpha matte extracted by MS-AM

(e)MS-AM提取的前景遮罩結(jié)果(e)Alpha matte extracted by PSO圖3 MS-AM和PSO提取的高分辨率圖像前景遮罩結(jié)果對比Fig.3 Alpha matting comparison between MS-AM and PSO

因此,相比PSO,基于優(yōu)化信息傳遞策略的MS-AM在解決高分辨率圖像摳圖中的摳反問題上更具有優(yōu)勢,有效提高前景遮罩的精度.因此,優(yōu)化信息傳遞策略有助于MS-AM的性能.這主要是由于優(yōu)化信息傳遞策略通過共享同類中的像素信息,有效求解前景遮罩值的摳反,其次通過將前一個類的最優(yōu)解作為下一個類的初始解,有效提高優(yōu)化器搜索最優(yōu)解的準確性.

表2和圖3的實驗結(jié)果表明,針對高分辨率圖像前景遮罩提取中由于局部前景遮罩摳反而導(dǎo)致的前景遮罩提取精度較低的問題,相比PSO,基于優(yōu)化信息傳遞策略的MS-AM具有明顯的優(yōu)勢,進一步驗證優(yōu)化信息傳遞策略通過子問題之間的優(yōu)化信息傳遞以及子問題內(nèi)部的信息共享,有助于MS-AM求解局部前景遮罩摳反問題,從而提高高分辨率圖像前景遮罩的提取精度.

4.4 對比實驗

MS-AM通過分解問題,將高分辨率圖像大規(guī)模的組合優(yōu)化問題轉(zhuǎn)化成多個小規(guī)模的子優(yōu)化問題.因此,為了驗證在高分辨率圖像前景遮罩提取問題上的性能,本節(jié)進行對比實驗.

為了保證實驗的公平性,每種算法在alpha-matting數(shù)據(jù)集上獨立運行30次,最大評估次數(shù)設(shè)置為5×103.為了便于分析,利用MSE作為各算法前景遮罩提取精度的評價指標.

MS-AM、MOEA-MCD、GC-CSO、文獻[9]算法、OIT-GOA、VS-CCPSO的MSE對比結(jié)果如表3所示,表中黑體數(shù)字表示最優(yōu)值.

表3 各算法的MSE值對比Table 3 MSE comparison of different algorithms

由表3可見,在27幅訓(xùn)練圖像中,MS-AM有22幅圖像的MSE值低于MEOA-MCD,24幅圖像的MSE值低于GC-CSO,20幅圖像的MSE值低于OIT-GOA,27幅圖像的MSE值低于IF、CC-DE-S、VS-CCPSO,即MS-AM的前景遮罩提取精度最優(yōu).對于MS-AM中提取精度略低的幾幅圖像,其主要原因在于MS-AM在對問題進行分解時,同一子問題中的像素信息為等價關(guān)系(即像素之間信息共享),未考慮像素點之間本身存在的細微變化,導(dǎo)致最終的MSE值略高于對比算法.

為了進一步驗證MS-AM的計算時間復(fù)雜性,統(tǒng)計MS-AM與VS-CCPSO、MOEA-MCD、GC-CSO、文獻[9]算法的計算時間,結(jié)果如表4所示,表中黑體數(shù)字表示最優(yōu)值.由表可見,MS-AM的計算時間明顯優(yōu)于VS-CCPSO、MOEA-MCD,與GC-CSO的計算時間差異較小,并且每幅圖像的計算時間相近.計算時間最短的為文獻[9]算法,時間分布較均勻,但該算法的前景遮罩提取精度明顯低于MS-AM.在記錄不同算法的計算時間過程中,由于CC-DE-S在計算超過24 h之后仍無法求解最終的前景遮罩值,因此結(jié)束算法計算.實驗結(jié)果表明,MS-AM通過對有效決策子集的搜索有效降低計算時間復(fù)雜度. 此外,實驗也進一步驗證決策集分解策略有助于MS-AM提升高分辨率圖像前景遮罩提取問題的求解速度.

表4 各算法的計算時間對比Table 4 Computational time comparison of different algorithms s

綜合分析進一步驗證MS-AM在對決策集分解的基礎(chǔ)上,通過對有效決策子集的搜索代替整個決策集的搜索,不僅降低算法的計算時間復(fù)雜度,同時提高前景遮罩的提取精度.因此,相比文獻[9]算法、VS-CCPSO、GC-CSO、CC-DE-S、MOEA-MCD,在高分辨率圖像前景遮罩摳反問題上,MS-AM更具優(yōu)勢.

5 結(jié) 束 語

本文針對高分辨率圖像中前景信息與背景信息極相似時容易出現(xiàn)前景遮罩摳反的問題,提出基于微搜索的前景遮罩提取算法(MS-AM).實驗表明,MS-AM能夠有效解決高分辨率圖像中的摳反問題.此外,設(shè)計決策集分解策略,將高分辨率圖像前景遮罩提取問題分解為多個獨立的子優(yōu)化問題,顯著降低問題的原始維度.基于子問題之間可以通過權(quán)重關(guān)系進行信息傳遞的假設(shè),設(shè)計優(yōu)化信息傳遞策略,獲取子問題間的權(quán)重關(guān)系,建立圖像摳圖問題的優(yōu)化信息傳遞序列.實驗表明,優(yōu)化信息傳遞策略有助于MS-AM求解高分辨率圖像前景遮罩提取問題中的摳反問題.在決策集分解策略和優(yōu)化信息傳遞策略的基礎(chǔ)上,本文提出MS-AM,通過對有效決策子集中的搜索代替整個決策集的搜索,在有效降低計算時間復(fù)雜度的同時提高前景遮罩的提取精度.實驗表明,通過典型摳圖優(yōu)化算法的對比分析,驗證MS-AM可以解決高分辨率圖像中局部前景背景信息極相似時的前景遮罩摳反問題,并且在高分辨率前景遮罩提取問題維度顯著降低的情況下,提高前景遮罩提取精度.

雖然MS-AM能有效解決高分辨率圖像中局部前景背景相似時出現(xiàn)的摳反問題,但在優(yōu)化過程中仍存在部分前景遮罩值摳反的現(xiàn)象.因此,后續(xù)的工作將集中在如下兩點:1)探索決策集與決策子集間的拓撲關(guān)系,設(shè)計更加高效的微搜索算法;2)從理論的角度證明MS-AM的有效性.