包艷霞

（安徽工業(yè)職業(yè)技術(shù)學(xué)院，安徽 銅陵 244000）

雪景視頻中雪花的自動(dòng)摳取算法研究

包艷霞

（安徽工業(yè)職業(yè)技術(shù)學(xué)院，安徽 銅陵 244000）

摳圖是圖像視頻處理的一項(xiàng)重要技術(shù)，在自然現(xiàn)象的圖案中有著廣泛的應(yīng)用。文章針對(duì)雪花的特征，使用特定的軟摳取算法對(duì)雪花進(jìn)行精確提取，以實(shí)現(xiàn)虛擬環(huán)境中的飛雪運(yùn)動(dòng)的場(chǎng)景。

視頻；軟摳取；形狀濾波器

一、相關(guān)工作

當(dāng)前有不少論文研究如何用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)自然界的氣候信息進(jìn)行圖像加工，例如：Li Shen[1]等人討論了如何用視覺(jué)技術(shù)作天氣預(yù)報(bào)，Kshitiz Garg等人在[2]研究了如何在雨景中探測(cè)雨滴的方法，他們使用時(shí)間過(guò)濾器，將快速移動(dòng)的雨滴和慢速移動(dòng)的其它物體運(yùn)動(dòng)區(qū)分開(kāi)，然后進(jìn)行雨滴消除，他們的算法能消除視頻中的雨滴。

Kshitiz Garg的方法只能適用雨滴，并不適用雪景，在此我們受到Paul Viola的啟發(fā)，Paul Viola等人在[3]中提出了一個(gè)快速檢測(cè)人臉的算法，其原理是設(shè)計(jì)一系列弱分類(lèi)器，并用一系列弱分類(lèi)器組成成強(qiáng)分類(lèi)器，并最終實(shí)現(xiàn)檢測(cè)算法。我們也借鑒這種算法，使用一系列弱形狀分類(lèi)器去識(shí)別雪花，我們使用飽和度濾波器，顏色濾波器，時(shí)間過(guò)濾器，差分濾波器識(shí)別雪花，并最終將這一系列過(guò)濾器組合成一個(gè)強(qiáng)分類(lèi)器去識(shí)別運(yùn)動(dòng)中的雪花。

霧，雪，雨，其本質(zhì)上都是半透明的，霧本身是細(xì)小的水滴，能折射光線，是半透明的，而雪雨的特點(diǎn)在于高速運(yùn)動(dòng)中產(chǎn)生運(yùn)動(dòng)模糊，因此也半透明的，在對(duì)這些半透明物體進(jìn)行摳取時(shí)，往往使用matting算法，Kaiming He等人在[4]中提出了一個(gè)從圖像中移除霧的算法，這個(gè)算法是基于alpha matting，在此，我們也使用這種技術(shù)進(jìn)行摳取。Hai liu等人在[5]中提出了一個(gè)增強(qiáng)的軟摳取算法，但這個(gè)算法需要用戶指定前景和背景區(qū)域，我們根據(jù)雪花的一系列特征，對(duì)雪花進(jìn)行自動(dòng)識(shí)別，我們的創(chuàng)新性在于：根據(jù)雪景的特點(diǎn)，構(gòu)造出了在已知前景下的閉形式矩陣，這樣就能更好的進(jìn)行雪景的摳取。我們的方法能很好的適應(yīng)雪景的要求，實(shí)驗(yàn)也證明了我們算法的有效性。

二、在視頻中檢測(cè)雪花

雪粒子在高速運(yùn)動(dòng)中會(huì)形成運(yùn)動(dòng)模糊，對(duì)于一個(gè)給定的像素Ii，當(dāng)雪花經(jīng)過(guò)像素時(shí)，參與像素Ii曝光的能量中，不僅有雪花，還來(lái)自背景光的能量，我們假設(shè)對(duì)雪粒子和背景的曝光時(shí)間分別為tsnow和tbackground，那么像素Ii可以用如下方式表示：

在式1中，Isnow是雪的實(shí)際顏色，一般來(lái)說(shuō)是白色，Ibackground是背景色，α是運(yùn)動(dòng)中雪花的透明度，從公式中可以看出，實(shí)質(zhì)上雪花的運(yùn)動(dòng)模糊降低了背景的飽和度，由于雪花中心的地帶，對(duì)雪的曝光時(shí)間比較長(zhǎng)，而對(duì)背景的曝光時(shí)間少，在雪花的邊緣地帶，對(duì)背景的曝光時(shí)間長(zhǎng)，對(duì)雪的曝光時(shí)間比較少，因此，在雪花中，像素的飽和度在雪花中心地帶比較低，而在邊緣地帶比較高。

我們根據(jù)雪花的一系列特征，Isat是雪的飽和度，Iw是像素距離純白色的距離，Idiffsat是飽和度的差分來(lái)區(qū)別雪花。

I_sat是指像素的飽和度，飽和度越高，就越接近白色，所以越可能是雪花，同時(shí)雪花不同于其它物體的特點(diǎn)在于，雪花的飽和度是變化的，在中心地帶高邊緣低，所以我們可以用飽和度的差分I_diffsat來(lái)作雪花的特征，I_w則反映了像素顏色和純白色的距離，顯然，越接近純白色，越有可能是雪花。

在時(shí)間域上，我們使用相鄰幀中的同一位置的顏色變化去反應(yīng)特征，由于雪花是運(yùn)動(dòng)的，所以我們可以根據(jù)雪花在不同幀上同一位置的飽和度變化作為特征，由于雪花是高速運(yùn)動(dòng)的，所以在時(shí)間域上，飽和度會(huì)有很大變化，而對(duì)于慢速移動(dòng)的物體來(lái)說(shuō)，變化就不大。

對(duì)于于這四個(gè)特征，我們定義了四個(gè)形狀濾波器去識(shí)別雪粒子，飽和度形狀濾波器、微分形狀濾波器，顏色濾波器。飽和度濾波器和微分濾波器,飽和度濾波器如下圖所示：

圖1 ：飽和度形狀濾波器

在飽和度濾波器中，白色的長(zhǎng)方形特征的響應(yīng)是正的，而黑色的長(zhǎng)方形特征響應(yīng)是負(fù)的。當(dāng)飽和度濾波器對(duì)應(yīng)的中心地帶飽和度高，而邊緣地帶飽和度低時(shí)，飽和度濾波器響應(yīng)較高的值差分濾波器計(jì)算差分特征。白色濾波器計(jì)算特征Iw。

我們使用四個(gè)弱分類(lèi)器以對(duì)圖像中的像素進(jìn)行分類(lèi),每個(gè)弱分類(lèi)器對(duì)應(yīng)于一個(gè)形狀濾波器.對(duì)應(yīng)于像素n的弱分類(lèi)器稱(chēng)之為，δ（）是一個(gè)0-1指示函數(shù)，則是第i個(gè)形狀濾波器的響應(yīng)。僅當(dāng)所有濾波器反饋正值時(shí)，一個(gè)像素才被識(shí)別為雪花。

三、雪花的抽取

由于軟摳取算法需要定義三分圖，也就是已知前景區(qū)域、已知背景區(qū)域、未知區(qū)域，所以在每幀中，我們將定義的前景區(qū)域定義為上節(jié)算法中探測(cè)到雪景區(qū)域，然后用以下規(guī)則定義背景區(qū)域：

根據(jù)已知的前背區(qū)域和背景區(qū)域，我們可能用雪花用alpha matting[6][7]技術(shù)抽取出來(lái)。

我們找出當(dāng)前檢測(cè)出的雪花區(qū)域中最亮的一種顏色當(dāng)做當(dāng)前雪的真實(shí)顏色，于是我們可以用最大信任度去估計(jì)像素的值。

不同于單張圖像中的matting算法[7]，我們的算法中，前景的顏色是固定的，一般是純白色，那么[7]中定義的前背景的信任度距離R（dFi，B）jR（dFi，B）j及權(quán)重w（Fi，B）j，可以被簡(jiǎn)化為如下公式:

L是軟摳取矩陣，Levin的閉形式摳取矩陣過(guò)于復(fù)雜，在此，我們對(duì)軟摳取矩陣作出簡(jiǎn)化。

因此模仿[8][5]，我們可以假定1－α可以在每個(gè)像素對(duì)應(yīng)的小鄰域內(nèi)滿足線性關(guān)系，那么，最終的軟摳取問(wèn)題，可以化簡(jiǎn)為以下的能量最小化問(wèn)題：

將式（9）代入（8）式，并擴(kuò)展到RGB空間中，得到最終全局優(yōu)化的結(jié)果如下：

在（i,j）行對(duì)應(yīng)的軟摳取矩陣的元素為

在上式中，Σk是一個(gè)3*3系數(shù)矩陣，ε是一個(gè)3*1向量，E是一個(gè)3*3全1矩陣，Dj對(duì)應(yīng)于顏色I(xiàn)-F的三通道向量。

于是我們可以通過(guò)公式求出θ＝1－α的信息，然后再求出α透明度。

當(dāng)背景不隨時(shí)間而變化時(shí)，算法可以被進(jìn)一步簡(jiǎn)化，由于雪花的運(yùn)動(dòng)模糊降低了背景的飽和度，所以當(dāng)背景是不變時(shí)，假定同一像素j在各幀中可以表示為一系列數(shù)組，。那么最大飽和度的像素可以認(rèn)為是背景.這樣我們可以將背景用時(shí)間濾器[4]求解并表示如下:

在已知背景后，由于已知前景，所以alpha值可以輕松求取，這樣就極大的提高了求取的速度。

以下是一些摳取結(jié)果：

圖2 ：雪花的軟摳取結(jié)果

［1］Li Shen,Ping Tan,Photometric Stereo and Weather Estimation Using Internet Images,IEEE Conference on Computer Vision and Patten Recognition(CVPR)[R].Florida,US,Jun.2009.

［2］K.Garg and S.K.Nayar.Detection and removal of rain from videos[R].In Computer Vision and PatternRecognition,2004.CVPR 2004.Proceedings of the 2004 IEEE Computer Society Conference on,volume1,pages I–528–I–535 Vol.1,June-2 July 2004.

［3］Paul Viola and Michael Jones.Rapid object detection using a boosted cascade of simple features[R].InComputer Vision and Pattern Recognition,pages 511–518,2001.

［4］Kaiming He,Jian Sun,and Xiaoou Tang.Single image haze removal using dark channel prior[R].ComputerVision and Pattern Recognition,IEEE Computer Society Conference on,0:1956–1963,2009.

［5］Hai Liu,Lizhuang Ma,Xuan Cai,Zhihua Chen,and Yang Shen.A closed-form solution to video mattingof natural snow[J].Inf.Process.Lett.,109(18):1097–1104,2009.

［6］Christoph Rhemann,Carsten Rother,and Margrit Gelautz[R].Improving color modeling for alpha matting.In BMVC,2008.

［7］JueWangand M.F.Cohen.Optimized color sampling for robustmatting[R].In Computer Vision andPattern Recognition,2007.CVPR’07.IEEEConferenceon,pages1–8,2007.

［8］A.Levin,D.Lischinski,and Y.Weiss.A closed form solution to natural image matting[R].In IEEEComputer Society Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,June 2006.

TP391.41

A

1672-0547（2010）03-0071-02

2010-04-25

包艷霞（1980-），女，安徽工業(yè)職業(yè)技術(shù)學(xué)院教師，碩士研究生。