文向東

（貴州師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院，貴陽550001）

0 引言

摳圖技術(shù)是將圖像中特定的目標(biāo)區(qū)域精細(xì)提取出來的一種技術(shù)。除原始圖像外，摳圖算法還需要用到三分圖，在三分圖中，圖像像素被分為了三個類別：目標(biāo)區(qū)域像素，背景區(qū)域像素和未知區(qū)域像素。目標(biāo)區(qū)域像素和背景區(qū)域像素是用戶標(biāo)注的部分已知類別像素。摳圖算法需要確定未知區(qū)域中像素的類別歸屬。目前，多數(shù)算法基于這樣的模型假設(shè)[1]，即圖像未知區(qū)域的像素C的實際取值滿足公式：C=αF+（1-α）B，F(xiàn)是該位置前景圖取值，B是該位置背景圖取值，α是圖像透明度，取值介于0與1之間。在這個公式中，C是已知的，F(xiàn)和B還有α都是未知的，要通過各種摳圖算法來推測。

1 研究背景及意義

迄今為止摳圖算法由傳統(tǒng)算法和具有人工智能AI的深度學(xué)習(xí)算法組成。傳統(tǒng)算法走到今天，都是在采樣算法和傳播算法的基礎(chǔ)上發(fā)展，或者是將采樣算法和傳播算法相結(jié)合。

采樣算法有代表性的是最早由Mishima等人[2]進(jìn)行的藍(lán)屏摳圖、Yung-Yu Chuang等人提出了貝葉斯摳圖算法[3]、Gastal E SL等人提出的共享采樣摳圖算法[4]和Ehsan-Shahrian等人提出的加權(quán)顏色與紋理摳圖算法[5]，后來Ehsan-Shahrian等人又在2013年提出了綜合采樣摳圖算法[6]，后來Levent Karacan在Image matting with KL-divergence based sparse sampling一文中提出利用KL-散度[7]對采樣算法進(jìn)行了改進(jìn)。采樣算法有一個缺點就是要求三分圖做得較精細(xì)，才會有一個較好的摳圖結(jié)果，為彌補(bǔ)這一缺點，Johnson J等人在Sparsecodesasalphamatte一文中利用稀疏編碼摳圖[8]，應(yīng)用傳播算法作為后期處理，提高了最終摳圖結(jié)果的質(zhì)量。

傳播算法比較有代表的是Jian Sun等人在2004年提出泊松摳圖算法[9]和與之類似由L.Grady在2005年提出隨機(jī)游走算法[10]。還有Anat Levin于2008年提出的封閉式摳圖算法[11]和Zheng等人在2009年提出學(xué)習(xí)摳圖算法[12]。傳播算法的缺點是要求圖像局部平滑，所以它對毛發(fā)較多的圖像會產(chǎn)生較差的摳圖結(jié)果[13]。

將采樣算法和傳播算法相結(jié)合的最初代表有魯棒摳圖算法[14]（Robust Matting）和Y Aksoy提出的一種基于信息流[15]的摳圖算法。但相結(jié)合做得最有代表性的是2010年由Eduardo S.L.Gastal和Manuel M.Oliveira發(fā)表的Rear-Time Alpha Matting[16]算法。這個算法不僅考慮：①所取樣本的最小色彩失真，②還結(jié)合顏色的能量變化，進(jìn)行圖像的空間統(tǒng)計，最后結(jié)合，③像素點歐氏距離，④像素值RGB之間的差值距離，采取樣本精修及局部平滑的手段，對最終前景和背景顏色進(jìn)行判斷。在此以后的傳統(tǒng)算法，都是在此基礎(chǔ)上稍加變化，在上述的四個方向中的某個方向稍加改進(jìn)和突破，萬變不離其宗。

而以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法，到目前為止已是相當(dāng)成熟。最初有Donghyeon Cho等人提出的DCNN摳圖算法[17]，該算法將封閉式摳圖[18]的阿爾法圖、KNN摳圖[19]的阿爾法圖、歸一化的自然圖像作為神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，將真實阿爾法圖作為神經(jīng)網(wǎng)絡(luò)的期望輸出。還有沈小勇等人針對人物肖像的自動摳圖算法[20]，它利用卷積神經(jīng)網(wǎng)絡(luò)制作導(dǎo)向圖，利用封閉式摳圖算法對圖像進(jìn)行摳圖。而最有代表性的還是由Ning Xu、Brian Price、Scott Cohen、Thomas Huang做的Deep Image Matting[21]，創(chuàng)建了一個包含49300張訓(xùn)練圖像和1000張測試圖像的大型圖像匹配數(shù)據(jù)集，它利用網(wǎng)站http://www.alphamatting.com[22]提供的樣本進(jìn)行了測試，測試結(jié)果證明它的摳圖效果較傳統(tǒng)方法的摳圖結(jié)果已是有很大的提高。這里值得一提的是，Adobe在其發(fā)布的Photoshop 2020中的摳圖功能中，引入深度學(xué)習(xí)算法，取代原來版本的傳統(tǒng)算法，對一些以前摳圖比較困難的圖形（例如發(fā)絲等），都能夠得到良好的摳圖效果。

其實，不管是傳統(tǒng)算法和深度學(xué)習(xí)算法，都存在一個問題就是，遇到高分辨率大尺寸的圖像（這里一般指分辨率在1000×1000以上的，甚至分辨率在10000×10000左右的）時，計算量相當(dāng)大，要在大眾配置的臺式電腦、便攜電腦和手機(jī)等設(shè)備上直接進(jìn)行這種大尺寸圖像摳圖基本上不可能，所以當(dāng)大家研究摳圖問題的時候，都回避高分辨率大尺寸這類圖像。

因為這是一個慣例，當(dāng)?shù)头直媛市〕叽鐖D像（這里指分辨率在1000×1000以下的）的摳圖實驗成功后，就證明了摳圖算法實際上是行得通的，那么對那些高分辨率大尺寸的圖像的摳圖問題，要在大眾配置的臺式電腦、便攜電腦和手機(jī)等設(shè)備上解決，只是時間上的問題。事實上，矛盾在對立中發(fā)展，當(dāng)科技發(fā)展機(jī)器進(jìn)步到普通的臺式電腦，便攜電腦和手機(jī)等設(shè)備能解決當(dāng)今這類高分辨率大尺寸圖像的摳圖問題后，又會有新的更大更高清的圖像問題無法在大眾的電腦上解決。因此，在目前，如果有辦法解決這類高分辨率大尺寸的圖像在普通大眾機(jī)器上的摳圖問題，是有現(xiàn)實意義的。

表1 網(wǎng)站http://www.alphamatting.com提供測試用的輸入圖像的大小列表

2 研究現(xiàn)狀及存在的問題

到目前為止到目前為止，對摳圖問題的研究主要重點還是在算法上，但都局限于低分辨率小尺寸圖像。例如網(wǎng)站http://www.alphamatting.com[22]列出的幾乎所有摳圖算法訓(xùn)練和測試用到的輸入圖像及摳圖結(jié)果，全部是在像素800×720的低分辨率像素以內(nèi)，其中用到的最大像素的測試輸入圖像是elephant，它的大小是800×671像素。盡管網(wǎng)站http://www.alphamatting.com也提供了對應(yīng)的高分辨率圖像下載，這些輸入的圖像最高分辨率達(dá)到3908×2600像素，如表1，但迄今為止，這個網(wǎng)站暫不接受對這些高分辨率圖像的測試結(jié)果的提交和評估，更無法提供這些高分辨率的輸入圖像的測試評估數(shù)據(jù)。而如果是分辨率達(dá)到10000×10000的高分辨率以上的大尺寸圖像，短時間內(nèi)更是不可能直接用來做摳圖的實驗使用。

對于傳統(tǒng)摳圖算法，有很多文章做過總結(jié)或綜述，都是基于采樣和基于傳播兩種方法的各種變化及各種結(jié)合。其中李卓婷在對三種典型傳統(tǒng)的數(shù)字圖像摳圖方法[23]進(jìn)行比較后得出，輸入圖像的大小對摳圖速率的快慢起著決定性的影響。這個很好理解，圖像增大了，要處理的采樣像素對象或傳播像素對象就多了，耗費(fèi)的時間自然就多。

而事實上是，大多數(shù)傳統(tǒng)算法為了便于統(tǒng)計和計算未知區(qū)域像素與純前景像素和純背景像素之間的權(quán)重關(guān)系，都用到了拉普拉斯的大型矩陣運(yùn)算，造成計算量龐大，計算的時候耗費(fèi)巨大的電腦內(nèi)存。

例如李卓婷在對三種典型的數(shù)字圖像摳圖方法[23]一文中詳細(xì)講解了傳播算法中拉普拉斯矩陣的構(gòu)成，利用像素點之間的權(quán)重關(guān)系構(gòu)成拉普拉斯矩陣，拉普拉斯矩陣是稀疏對稱的N*N正定矩陣，其中N是圖像中所有節(jié)點（像素點）的數(shù)量[23]。這就告知拉普拉斯矩陣是一個比較大的矩陣。

而傳統(tǒng)算法里面比較經(jīng)典的KNNMatting算法[19]，它在聚類拉普拉斯算子LC=（D-A）T（D-A）和拉普拉斯算子L=D-A（其中A是相似矩陣，Aij=k（i，j）是定義的內(nèi)核函數(shù)，D是對角矩陣兩者中，放棄了有利于更好圖聚類的聚類拉普拉斯算子，選擇了運(yùn)行時間更快100倍的拉普拉斯算子，但如果對于高分辨率大尺寸的圖像，這樣大的拉普拉斯算子，依然難使運(yùn)行時間快起來。

又如黎平[24]為了研究采樣算法與傳播算法的結(jié)合，還構(gòu)建了采樣算法的拉普拉斯矩陣，結(jié)合采樣算法與傳播算法提出了權(quán)重控制摳圖算法。為較好地控制采樣算法與傳播算法的摳圖力度，將采樣算法與傳播算法施加一組歸一化權(quán)重[24]，引入?yún)?shù)λ和公式：L=λLdata+(1-λ)Llap，其中，L是拉普拉斯矩陣，Ldata是采樣算法構(gòu)建的拉普拉斯矩陣，Llap是傳播算法構(gòu)建的拉普拉斯矩陣，λ是平衡采樣算法與傳播算法的權(quán)重參數(shù)。并提出拉普拉斯矩陣每個元素Lij代表了圖像中i位置像素與j位置像素的相似度[24]。這樣等于每計算一個拉普拉斯矩陣L，要先計算兩個拉普拉斯矩陣Ldata和Llap，計算量較其他普通算法提高了。

魏毅等人更是提出的聯(lián)合摳圖方法[25]，構(gòu)建的聯(lián)合相似矩陣則是更加巨大，它由兩個圖像的拉普拉斯矩陣組合構(gòu)成，是一個圖像的拉普拉斯矩陣四倍，計算量超大。

其他近幾年來凡是涉及到研究傳統(tǒng)算法的文獻(xiàn)，基本上都沿用了使用拉普拉斯矩陣算子計算的方法。例如有沈洋等人的閉形式方法[26]、聶棟棟等人的改進(jìn)的KNN摳圖技術(shù)[27]、王潔等人的最小移動二乘摳圖[28]、鄧爽等人的復(fù)雜環(huán)境下基于信息融合的視頻實時摳像算法[29]、戚駿的自然圖像摳圖算法研究與優(yōu)化[30]和談業(yè)靜的面向運(yùn)動模糊圖像摳圖的K近鄰摳圖改進(jìn)算法研究[31]等，不勝枚舉。

如果對于高分辨率大尺寸圖像，其本身和對應(yīng)的三分圖都很大，會造成用來計算的拉普拉斯矩陣巨大，例如一張普通單反相機(jī)拍出的高分辨率大尺寸圖像，分辨率為6000×4000，它要構(gòu)建的拉普拉斯矩陣就有24000，000×24000，000那么大，雖然是稀疏矩陣，但也造成相應(yīng)的矩陣運(yùn)算超級巨大，造成了對計算機(jī)內(nèi)存資源爆炸性需求，這就使得在一般機(jī)器上運(yùn)行時內(nèi)存耗盡或者耗時過長難以忍受；甚至是不能運(yùn)行。

對于深度學(xué)習(xí)摳圖算法，考慮到做卷積的深度和次數(shù)及整個網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)行效率（機(jī)器運(yùn)行效率），在訓(xùn)練學(xué)習(xí)模型時也盡量不使用高分辨率大尺寸圖像。

典型的深度學(xué)習(xí)摳圖算法有兩種代表：

一種是以Ning Xu、Brian Price、Scott Cohen、Thomas Huang做的Deep Image Matting[21]為代表。如圖1，整個網(wǎng)絡(luò)結(jié)構(gòu)由編碼-解碼階段和細(xì)化階段組成，編碼網(wǎng)絡(luò)采用14個卷積層加5個max-pooling層，解碼網(wǎng)絡(luò)為了加速進(jìn)行了一定地縮小，只有6個卷積層和5個反池化層，細(xì)化階段有4個卷積層?？偣彩?4個卷積層和10個池化層。它訓(xùn)練用的是320×320分辨率的小尺寸圖像，它也利用網(wǎng)站http://www.alphamatting.com[22]提供像素800×700以內(nèi)的圖像進(jìn)行了測試，例如測試了的圖像elephant，它的大小是800×671像素。網(wǎng)站http://www.alphamatting.com也提供了大分辨率的圖像，例如同樣的elephant有2988×2508像素圖像提供，但網(wǎng)站沒有該算法對它進(jìn)行測試的數(shù)據(jù)。從理論上講，它訓(xùn)練和測試也可以用到高分辨率大尺寸圖像，但同樣一張2988×2508像素elephant圖像，像素是800×671的14倍，如果輸入網(wǎng)絡(luò)，對于同樣的卷積核，經(jīng)過24次卷積和10次池化，耗費(fèi)的時間將是800×671像素圖像的476倍。如果輸入的分別是Plant圖像的高低分辨率圖像，則耗費(fèi)的時間將相差816倍。這僅僅是一張圖像多耗費(fèi)的時間，輸入多張圖像進(jìn)行訓(xùn)練或測試，將要耗費(fèi)的時間還更久更多。另外，如果將分辨率太高尺寸太大的圖像輸入這樣的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，會影響機(jī)器一次可容忍的內(nèi)存數(shù)量或并行運(yùn)算的效率。特別是對一些普通的大眾的計算機(jī)，多數(shù)機(jī)器沒有GPU輔助運(yùn)算，運(yùn)行起來將相當(dāng)困難。

圖1 Deep Image Matting網(wǎng)絡(luò)模型

許多其他的深度學(xué)習(xí)的摳圖網(wǎng)絡(luò)結(jié)構(gòu)，都與這個網(wǎng)絡(luò)類似。

最近的有Wang Y等人在Deep Propagation Based Image Matting[32]一文中用到的模型，與Deep Image Matting網(wǎng)絡(luò)模型基本相同，盡管它提出了一個新奇的基于深度傳播的圖像摳圖框架，融合了三大模塊，訓(xùn)練時的參數(shù)維度要更少，但它依然逃不開眾多的卷積和池化。文中提到它測試圖像用的是600×800分辨率的小尺寸圖像，在充分利用Intel MKL-optimized Caffe優(yōu)化模式的基礎(chǔ)下，用CPU進(jìn)行測試一張圖像耗費(fèi)的時間大約是7.4秒。可以想象，如果測試一張6000×8000分辨率的高清圖像，將要耗費(fèi)約100倍的時間，這還是在特定的實驗室電腦上，在普通的常用機(jī)器上，時間無法估算。

類似的還有Shaofan Cai等人在Deep Propagation Based Image Matting[33]一文中提到的新型摳圖方法AdaMatting，它將摳圖區(qū)分為trimap adaptation和alphaestimation兩個任務(wù)，并證明了這一區(qū)分對于提升基于CNN的摳圖方法至關(guān)重要。于是它的解碼階段分成了兩部分，這無疑增加了卷積層和反池化層，從而增加運(yùn)行時間。

還有陳振鵬的基于單樣本學(xué)習(xí)的數(shù)字摳圖算法研究[34]也是基于這個網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行研究，訓(xùn)練樣本都是320×320分辨率的小尺寸圖像，測試樣本可以稍偏大，但測試的時間自然就偏多，如對太大的圖像進(jìn)行測試，在等待的時間上將不能容忍。

另一種深度學(xué)習(xí)摳圖算法是在模型中將若干個卷積層做成可分離的卷積模塊的形式。

例如Zhang Y等人在A Late Fusion CNNfor Digital Matting[35]一文中提到的模型，便用到了DenseNet算法塊及它的解碼塊。如圖2。雖然DenseNet算法將所有層直接連接起來，避免了梯度消失的問題，但它一個塊中存在太多的卷積層，與第一種深度學(xué)習(xí)摳圖算法來比，沒有本質(zhì)的區(qū)別。文中還提到：由于內(nèi)存的限制，我們在訓(xùn)練時要求圖像的長邊小于800。文中提到的電腦配置是（Intel Xeon E5-2682 CPU，32GRAM，8張NVIDIA Tesla P100顯卡）頂級豪華配置。

還有許征波等人基于多任務(wù)深度學(xué)習(xí)的快速人像自動摳圖的研究[36]，文中也用到類似的網(wǎng)絡(luò)模型，以達(dá)到快速對人像（小尺寸人像照）的摳圖功能，本質(zhì)上也是用到了多次的卷積和池化，要做到快速，并不適于高分辨率大尺寸圖像。

總之，現(xiàn)在的深度學(xué)習(xí)摳圖算法都離不開多次的卷積和池化，就主要只針對低分辨率小尺寸圖像，運(yùn)行起來對機(jī)器都要求甚高，多數(shù)要借助CPU的多核和多GPU來輔助運(yùn)行。

另外，對于深度學(xué)習(xí)摳圖算法的這樣的網(wǎng)絡(luò)結(jié)構(gòu)，要有大批的高分辨率大尺寸的圖像做樣本，也存在一個樣本難找，成本偏大的問題。

圖2 ALate Fusion CNNfor Digital Matting

3 結(jié)語

總結(jié)前面的現(xiàn)狀與問題，我們發(fā)現(xiàn)，對于大眾普通的電腦，目前還沒有針對高分辨率大尺寸的圖像良好有效的辦法，從理論上看，要想解決高分辨率大尺寸摳圖在一般機(jī)器上的運(yùn)行，可以從兩方面入手：

（1）從摳圖算法角度，構(gòu)造面向大尺寸高分辨率圖像的摳圖機(jī)制，而這個機(jī)制的主要思想就是化大為小，化一個大圖并行為多個小圖串行。

（2）從充分利用硬件角度，利用當(dāng)前機(jī)器的多核和多GPU進(jìn)行并行計算。

當(dāng)然也可以兩者相結(jié)合，考慮到（2）對于目前的機(jī)器發(fā)展?fàn)顩r來看，只能起到輔助的作用，因此可以專注于第（1）方面。主要靠軟件系統(tǒng)的串行處理算法，做成一個GUI界面的摳圖應(yīng)用。當(dāng)然也可以稍加利用（2），一起來最終解決高分辨率大尺寸圖像的摳圖問題。在當(dāng)前這個摳圖算法不斷發(fā)展的過程中，如果有辦法同時解決這類高分辨率大尺寸的圖像在普通大眾機(jī)器上的摳圖問題，是有現(xiàn)實意義的，而且這個意義隨著摳圖算法的研究和發(fā)展，將一直伴隨，它將給其他同類問題帶來啟發(fā)。