權(quán)巍，葛薇，張玉強(qiáng)，薛耀紅，韓成，蔣振剛，楊華民

（1.長(zhǎng)春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022；2.長(zhǎng)春理工大學(xué) 電子與信息工程學(xué)院，長(zhǎng)春 130022）

藍(lán)屏摳像是指從具有已知的單色背景的圖像中精確地分離出前景目標(biāo)，再與其它圖像合成，從而得到所需特殊效果的技術(shù)。藍(lán)屏摳像中，待摳像的圖像稱為前景圖像；用于與其合成的圖像稱為背景圖像；前景圖像中的已知的單色背景顏色稱為前景圖像關(guān)鍵色。早期的藍(lán)屏摳像通常要求前景圖像關(guān)鍵色是藍(lán)色，因此該技術(shù)被命名為藍(lán)屏摳像。隨著摳像技術(shù)的發(fā)展，對(duì)前景圖像的拍攝要求越來(lái)越小，前景圖像關(guān)鍵色的選取可根據(jù)拍攝環(huán)境條件決定，綠色、甚至是紅色等顏色均可作為前景圖像關(guān)鍵色。藍(lán)屏摳像技術(shù)是影視制作中一項(xiàng)非常重要且廣泛使用的技術(shù)。

在藍(lán)屏摳像處理過(guò)程中，存在一種色度溢出現(xiàn)象，即：在合成圖像中，前景目標(biāo)與合成的背景之間有一條單色的邊，例如前景圖像關(guān)鍵色為藍(lán)色時(shí)，前景目標(biāo)提取后，邊緣會(huì)有一圈藍(lán)色的邊。其實(shí)，色度溢出現(xiàn)象在未進(jìn)行摳像處理的前景圖像中就已經(jīng)存在。發(fā)生色度溢出的像素點(diǎn)的顏色由光源顏色、物體反射光、單色背景反射光共同決定，因此，每個(gè)色度溢出點(diǎn)的顏色不同，且都與前景圖像關(guān)鍵色類似。

拍攝條件是影響色度溢出現(xiàn)象的主要因素，通過(guò)提高拍攝設(shè)備的分辨率和更有效地配合使用多光源等方式，可在某種程度上改善色度溢出程度，但需要較大的投資。當(dāng)設(shè)備分辨率和布光等拍攝條件稍差時(shí)，就會(huì)導(dǎo)致較為嚴(yán)重的色度溢出，嚴(yán)重影響合成圖像的真實(shí)感。另一個(gè)解決色度溢出問(wèn)題的方法，也是最為直接的方法，就是在拍攝后進(jìn)行人工處理。例如，現(xiàn)今比較流行的摳像處理軟件After Effect等，都需要在拍攝后，進(jìn)行復(fù)雜的人工操作，才能獲得滿意的效果。這種人工的處理方式無(wú)法滿足實(shí)時(shí)性的要求。

1 本文方法的提出

摳像就是將前景圖像中感興趣的目標(biāo)對(duì)象，提取出來(lái)，之后與其他背景圖像合成，合成公式，如公式1所示。

其中，對(duì)于合成圖像中的某個(gè)像素點(diǎn)，F(xiàn)，B，C分別為前景圖像、背景圖像、合成圖像的顏色值，α稱為不透明度，α的范圍［0，1］［1］。

摳像技術(shù)實(shí)際上就是不透明度的估算。自然圖像摳像算法通常較復(fù)雜；藍(lán)屏摳像的背景單一，因此經(jīng)典的藍(lán)屏摳像算法相比自然圖摳像算法要簡(jiǎn)單。但是，單一的背景色卻導(dǎo)致了明顯的色度溢出現(xiàn)象。

典型的藍(lán)屏摳像技術(shù)包括：三角摳像法［2］，顏色差異法［3，4］，色度摳像法［5-8］?，F(xiàn)階段，最廣泛應(yīng)用的是色度摳像法，該方法由Mishima提出，該方法主要根據(jù)感興趣的目標(biāo)對(duì)象與前景圖像關(guān)鍵色的色度差異來(lái)進(jìn)行不透明度的估計(jì)。但是，由于色度溢出現(xiàn)象的存在，色度摳像法的處理效果不理想；為了獲得較好的合成效果，往往需要大量的人工修正。

根據(jù)如何利用圖像統(tǒng)計(jì)特性和近鄰像素的相關(guān)性，自然圖像摳像大致分為基于顏色采樣和基于像素相似性傳播兩類技術(shù)［9］。但是，大部分自然圖像摳像技術(shù)耗時(shí)較長(zhǎng)，對(duì)于一幅大概1百萬(wàn)像素的圖像，將感興趣的目標(biāo)從復(fù)雜背景中摳出往往需要花費(fèi)幾十秒甚至幾分鐘來(lái)計(jì)算不透明度值［10，11］。Gastal和Oliveira提出一種實(shí)時(shí)的自然圖像/視頻摳像方法［12］。該技術(shù)基于小鄰域范圍內(nèi)像素具有相似的屬性這一思想來(lái)選擇前景和背景樣本對(duì)，計(jì)算不透明度α值，能夠得到較好的合成效果，并且減少了計(jì)算量，從而實(shí)現(xiàn)了實(shí)時(shí)摳像。然而，該方法是基于自然圖像摳像提出的，并不適合藍(lán)屏摳像。

綜上，本文提出一種基于采樣的藍(lán)屏摳像方法，基于Gastal和Oliveira的摳像思想，并對(duì)原算法進(jìn)行改進(jìn)和簡(jiǎn)化以應(yīng)用在藍(lán)屏摳像領(lǐng)域，并添加了色度溢出處理步驟，能夠較好的抑制色度溢出，獲得滿意的合成效果，并且僅需要簡(jiǎn)單的輸入，即可自動(dòng)地完成摳像工作，避免了大量的人工操作。通過(guò)實(shí)驗(yàn)對(duì)比經(jīng)典的色度摳像算法，即使對(duì)于色度溢出現(xiàn)象較為嚴(yán)重的圖像，本文的方法也能獲得較好的合成效果，因此，也降低了對(duì)拍攝條件的嚴(yán)苛限制。

2 基于采樣的藍(lán)屏摳像方法

2.1 區(qū)域劃分

根據(jù)前景圖像關(guān)鍵色將前景圖像劃分為不透明區(qū)域、半透明區(qū)域、全透明區(qū)域。不透明區(qū)域像素點(diǎn)的α值為1、全透明區(qū)域像素點(diǎn)的α值為0，而半透明區(qū)域像素點(diǎn)的α值在0和1之間。

首先，獲取前景圖像關(guān)鍵色顏色值。前景圖像關(guān)鍵色通過(guò)用戶在程序窗口中使用鼠標(biāo)在前景圖像關(guān)鍵色區(qū)域進(jìn)行選擇獲得，如圖1程序運(yùn)行界面中左側(cè)圖像所示，背景關(guān)鍵色區(qū)域的黑色線條即為所選的關(guān)鍵色像素點(diǎn)集。根據(jù)用戶選擇的像素點(diǎn)集計(jì)算平均值，得到前景圖像關(guān)鍵色平均值bˉ。

圖1 軟件運(yùn)行界面截圖

其次，前景圖像初步區(qū)域劃分。對(duì)于前景圖像中的每個(gè)像素點(diǎn)q，計(jì)算它和前景圖像關(guān)鍵色的顏色距離 D(q,bˉ)。定義可調(diào)參數(shù) k1、k2，如果D(q,bˉ)＜k1，則 q 屬于全透明區(qū)域，記為 Rb；如果D(q,bˉ)＞k2，則像素 q 屬于不透明區(qū)域，記為 Rf；否則q屬于α值未知的半透明區(qū)域，記為Ru。

最后，根據(jù)顯示的圖像，調(diào)整參數(shù)k1、k2，直至得到較為滿意的區(qū)域劃分結(jié)果，如圖2（a）所示。參數(shù)k1、k2的范圍為［D1maxD1max，D2maxD2max］，其中，D1max為用戶選擇的前景關(guān)鍵色像素點(diǎn)與前景圖像關(guān)鍵色平均值bˉ的最大顏色距離，D2max為前景圖像像素與前景圖像關(guān)鍵色平均值bˉ的最大顏色距離。圖1程序運(yùn)行界面中右側(cè)圖像中的黑色區(qū)域?yàn)槿该鲄^(qū)域，白色區(qū)域?yàn)椴煌该鲄^(qū)域，灰色區(qū)域?yàn)棣林滴粗陌胪该鲄^(qū)域。

未知半透明區(qū)域的像素個(gè)數(shù)直接影響到算法的計(jì)算量。顏色距離法是一種經(jīng)典的藍(lán)屏摳像方法，使用該方法進(jìn)行摳像的效果并不理想；本文將其應(yīng)用于區(qū)域劃分中，得到了較好的區(qū)域劃分結(jié)果，有效的減少未知區(qū)域像素個(gè)數(shù)，降低了計(jì)算量。圖2為傳統(tǒng)的Trimap手工區(qū)域劃分結(jié)果，該方法較本文方法不僅操作復(fù)雜，并且產(chǎn)生的未知區(qū)域的像素較多，計(jì)算量大。

圖2 Trimap區(qū)域劃分

2.2 半透明區(qū)域像素點(diǎn)不透明度α值計(jì)算

（1）尋找樣本點(diǎn)

將半透明區(qū)域劃分成一些3*3的小塊，將每個(gè)3*3小塊的9個(gè)像素點(diǎn)進(jìn)行編號(hào){0,1,2,3,4,5,6,7,8}；對(duì)于3*3小塊中的每個(gè)像素點(diǎn) pi，i∈[0,8]，以該點(diǎn)為中心，分別向其周圍四個(gè)方向?qū)ふ覙颖军c(diǎn)，在每一個(gè)樣本尋找方向上遇到的第一個(gè)不透明區(qū)域的點(diǎn)記做樣本點(diǎn)FiFi，像素點(diǎn) pi可找到的樣本點(diǎn)集表示為

圖3 樣本對(duì)選擇

如圖3所示，用矩形表示3*3小塊中的像素點(diǎn)，用四條箭頭線表示樣本搜尋方向，四個(gè)樣本搜尋方向相互垂直；定義方向角θ為方向線與水平方向的夾角；3*3小塊中的每個(gè)像素點(diǎn) pi的方向角θ=i*π/18θ=i*π/18 ，9個(gè)像素點(diǎn)的方向角如圖所示。3*3小塊中每個(gè)像素點(diǎn)的方向角周期性的變化，可使得結(jié)果更為有效。

（2）根據(jù)每一個(gè)樣本點(diǎn)進(jìn)行不透明度α值估計(jì)

對(duì)于半透明區(qū)域的每一個(gè)像素點(diǎn) p的每一個(gè)樣本點(diǎn)Fi，按照公式2分別計(jì)算α值。

（3）確定最佳樣本點(diǎn)，得到像素點(diǎn)的不透明度α值

對(duì)于半透明區(qū)域中的每一個(gè)像素點(diǎn) p，最多可以尋找到四個(gè)樣本點(diǎn)Fi，相應(yīng)地計(jì)算得到四個(gè)不透明度α值。那么就需要從中確定最佳樣本點(diǎn)，并確定像素點(diǎn) p的不透明度值αp。因此，定義目標(biāo)函數(shù)，如公式3所示。最佳樣本點(diǎn)應(yīng)使得GFip的值最小，下面詳細(xì)論述目標(biāo)函數(shù)各部分的含義及最佳樣本點(diǎn)的確定方法。

a.色度差異

對(duì)于半透明區(qū)域中的每一個(gè)像素點(diǎn) p的每一個(gè)樣本點(diǎn)FiFi，計(jì)算色度差異，如公式4所示。其中，Cq為像素點(diǎn)q的顏色值。色度差異表示 p點(diǎn)的真實(shí)顏色值與根據(jù)計(jì)算得到的顏色值的差異。很顯然，的值越小，則表示的估計(jì)越準(zhǔn)確，將令MFip值最小的不透明度值，記為

考慮到在小的鄰域范圍內(nèi)不會(huì)有色度的突變，因此，最佳樣本點(diǎn)不僅應(yīng)使得 p點(diǎn)的色度差異值最小，也應(yīng)使得p的小鄰域范圍內(nèi)的像素點(diǎn)的顏色差異最小。因此，在目標(biāo)函數(shù)中，定義一個(gè)以p點(diǎn)為中心的3*3的區(qū)域Ωp，對(duì)于Ωp中的每一個(gè)點(diǎn)q ，根據(jù)值計(jì)算得到，最佳樣本點(diǎn)應(yīng)使得最小，公式（3）中對(duì)其進(jìn)行3次方的運(yùn)算為加權(quán)因子。

b.像素距離

在確定最佳樣本對(duì)時(shí)，不僅要考慮像素點(diǎn)間的色度差異信息，還應(yīng)考慮像素點(diǎn)間的像素距離。像素距離是用于估計(jì)像素點(diǎn)是否屬于感興趣的前景目標(biāo)的重要信息。因此，在確定最佳樣本點(diǎn)時(shí)，目標(biāo)函數(shù)中添加了像素距離的因子。公式（3）中，||Fi-p||和||bˉ-p||4分別表示 p點(diǎn)到 Fi點(diǎn)和bˉ點(diǎn)的像素距離，即歐式距離，4為加權(quán)因子。

（4）計(jì)算半透明區(qū)域中所有點(diǎn)的不透明度α值

在半透明區(qū)域中可能存在一些特殊的像素點(diǎn)p，按照本文所述方法在不透明區(qū)域中無(wú)法找到任何樣本點(diǎn)。下面根據(jù)這類像素點(diǎn)p的鄰域內(nèi)的像素點(diǎn)的最佳樣本對(duì)估計(jì)p點(diǎn)的不透明度α值。

其次，對(duì)于半透明區(qū)域中無(wú)法找到樣本點(diǎn)的每個(gè)像素點(diǎn) p，選擇其Ω鄰域（以 p點(diǎn)為中心的5*5的矩形區(qū)域）中且屬于半透明區(qū)域的點(diǎn)的最佳樣本點(diǎn)，記錄使值最小的3個(gè)樣本點(diǎn)，得到三個(gè)二元組為了減少α摳圖結(jié)果中的噪聲的產(chǎn)生，計(jì)算這三個(gè)二元組的平均值，記為

最后，像素 p的不透明度值αp根據(jù)向量到的投影計(jì)算得到。如公式（7）所示，其中，Cp為 p點(diǎn)的顏色值，F(xiàn)rp值根據(jù)公式（8）計(jì)算得到。

2.3 圖像合成

按照上述方法，未知的半透明區(qū)域中每個(gè)像素點(diǎn)的不透明度α值最終都被計(jì)算出來(lái)。對(duì)于合成圖像的每一個(gè)像素點(diǎn)的三個(gè)通道的顏色值，按照公式（1）可計(jì)算得到。

2.4 色度溢出處理

自然界中不存在純粹的顏色，在藍(lán)屏摳像中，單色背景也不可能是純色的［7］。例如：若摳像背景為藍(lán)色，則該藍(lán)色背景的RGB的顏色分量值不可能是（0，0，255），實(shí)際上，其顏色值通常是藍(lán)色分量值遠(yuǎn)大于綠色和紅色分量值，并且，由于自然界中的藍(lán)色往往綠色分量值比紅色分量值大［7］，因此其綠色分量值也大于紅色分量值。對(duì)于其它單色背景顏色也存在類似的特征。綜上，對(duì)于合成圖像中產(chǎn)生了色度溢出的點(diǎn)，其藍(lán)色分量值一定大于綠色和紅色分量值（仍以藍(lán)色背景圖像為例），且由于是合成的顏色值，其綠色分量值往往不大于紅色分量值；根據(jù)這一特性，便可找到色度溢出點(diǎn)。通過(guò)降低其藍(lán)色分量值，可以較好的抑制色度溢出現(xiàn)象。

3 實(shí)驗(yàn)結(jié)果與分析

下面通過(guò)對(duì)比本文的基于采樣的藍(lán)屏摳像方法和經(jīng)典的色度摳像方法的實(shí)驗(yàn)結(jié)果，來(lái)證明本文方法的有效性。如圖4所示，圖像（a）為前景圖像，分別采用色度摳像方法和本文方法提取前景圖像中的目標(biāo)對(duì)象，并與具有相同亮度值的暗背景合成，結(jié)果分別如圖像（b）、圖像（c）所示。顯然，本文方法得到的結(jié)果圖像中人物邊緣的色度溢出現(xiàn)象得到了很好的抑制。圖4中的圖像（d）是在只有兩個(gè)場(chǎng)景照明并且沒(méi)有高分辨率攝影機(jī)的惡劣情況下拍攝得到的前景圖像；圖像（e）為色度摳像方法得到實(shí)驗(yàn)結(jié)果，色度溢出現(xiàn)象嚴(yán)重；圖像（f）為本方法的實(shí)驗(yàn)結(jié)果，色度溢出現(xiàn)象同樣得到較好的抑制。

Gastal和Oliveira的自然圖像摳像技術(shù)的優(yōu)勢(shì)在于高質(zhì)量的α摳像和實(shí)時(shí)視頻處理能力（基于GPU）。本文基于采樣的藍(lán)屏摳像方法繼承該方法的優(yōu)點(diǎn)，對(duì)該方法進(jìn)行改進(jìn)和完善，使其適用于藍(lán)屏摳像中，有效的抑制了色度溢出現(xiàn)象，獲得了良好的結(jié)果。但是，本文方法較色度摳像方法復(fù)雜，耗時(shí)也較長(zhǎng)，因此，下一步應(yīng)繼續(xù)研究算法的改進(jìn)及其GPU實(shí)現(xiàn)，以實(shí)現(xiàn)實(shí)時(shí)視頻摳像。

4 結(jié)論

在數(shù)字摳像中，合成圖像的質(zhì)量至關(guān)重要。色度溢出現(xiàn)象的存在嚴(yán)重影響了藍(lán)屏摳像中圖像的合成質(zhì)量。本文通過(guò)研究一種基于采樣的藍(lán)屏摳像方法，很好的抑制了色度溢出現(xiàn)象。實(shí)驗(yàn)表明，即使對(duì)于色度溢出現(xiàn)象較為嚴(yán)重的前景圖像，依然能夠得到較為滿意的結(jié)果。

圖4 藍(lán)屏綠屏背景下拍攝的圖像的實(shí)驗(yàn)結(jié)果

［1］Wang J，Cohen M F.Image and video matting：a survey［J］.Foundationsand Trendsin Computer Graphics and Vision，2007，3（2）：97-175.

［2］Smith A R，Blinn J F.Blue screen matting.In：Proceedings of the 23rd ACM Conference on Computer Graphics andInteractive Techniques（SIGGRAPH）［C］.New Orleans，USA：ACM，1996：259-268.

［3］Vlahos P，Dadourian A，Sauve G.Method and apparatus for adjusting parameters used by compositing devices：U.S.Patent 5，907，315［P］.1999-5-25

［4］Ben-Ezra Moshe.Segmentation with invisible keying signal.Proceedings ofIEEE Conference on Computer Vision and Pat-tern Recognition［C］.Hilton Head Island，South Carolina，2000：32-37.

［5］Wang Wenyi，Zhao Jiying.Chroma-Keying Based on Global Weighted Sampling and Laplacian Propagation.Proceedings of IEEE 17th International Conference on Computational Science and Engineering（CSE）［C］.Chengdu，China，2014：857-854.

［6］Seoksoo Kim.Dept.of Multimedia，etc.Virtual studio system for augmented reality& Chroma key processing.Proceedings of IEEE 13th International Conference on Advanced Communication Technology（ICACT）［C］.2011：762-765.

［7］Keith Jack.Video Demystified［M］.Independent Pub Group（Computer），1996.

［8］Mishima Y.Soft edge chroma-key generation based upon hexoctahedral color space：U.S.Patent 5，355，174［P］.1994-10-11.

［9］陽(yáng)偉.數(shù)字摳像技術(shù)的研究應(yīng)用［D］.成都：電子科技大學(xué)，2013.

［10］Xiao Lin，Yang Shen.A unified framework for alpha matting.In：Proceedings of IEEE 12th International Conference on Computer-Aided Design and Computer Graphics（CAD/Graphics）［C］.Jinan，China：IEEE，2011：206-212.

［11］Tierney S.Sch.of Comput.&Math.，etc.Image matting for sparse user input by iterative refinement.In：Proceedings of IEEE Digital Image Computing：Techniques and Applications（DICTA）［C］.Hobart，TAS：IEEE，2013：1-7.

［12］Eduardo S L Gastal，Manuel M Oliveira.Shared sampling for real-time alpha matting［J］.Computer Graphics Forum.2010，29（2）：575-584.