蘇常保，龔世才

基于深度學習的人物肖像全自動摳圖算法

蘇常保，龔世才

(浙江科技學院理學院，浙江 杭州 310000)

針對摳圖任務中人物摳圖完整度低、邊緣不夠精細化等繁瑣問題，提出了一種基于深度學習的人物肖像全自動摳圖算法。算法采用三分支網絡進行學習，語義分割分支(SSB)學習圖的語義信息，細節(jié)分支(DB)學習圖的細節(jié)信息，混合分支(COM)將2個分支的學習結果匯總。首先算法的編碼網絡采用輕量級卷積神經網絡(CNN) MobileNetV2，以加速算法的特征提取過程；其次在SSB中加入注意力機制對圖像特征通道重要性進行加權，在DB加入空洞空間金字塔池化(ASPP)模塊，對圖像的不同感受野所提取的特征進行多尺度融合；然后解碼網絡的2個分支通過跳級連接融合不同階段編碼網絡提取到的特征進行解碼；最后將2個分支學習的特征融合在一起得到圖像的圖。實驗結果表明，該算法在公開的數據集上摳圖效果優(yōu)于所對比的基于深度學習的半自動和全自動摳圖算法，在實時流視頻摳圖的效果優(yōu)于Modnet。

全自動摳圖；輕量級卷積神經網絡；注意力機制；空洞空間金字塔池化；特征融合

摳圖算法研究的是如何將一張圖像中的前景和背景信息分離的問題，如何實現高質量又無需人工交互的摳圖一直是工業(yè)界和學術界努力追求的目標。1984年PORTER和DUFF[1]提出了這類問題的數學模型

其中，為一張自然圖像；為圖像中的前景，為背景；為圖像的半透明度，其是前景和背景信息的線性混合表示方法。的取值通常介于0和1之間，0為像素點明確屬于背景，1為前景，而大多數的自然圖像，其像素點均屬于明確的前景或背景，但是對于圖像前景的邊緣，對應的值通常介于0和1之間。所以對于摳圖來說，只要求解出，就可以用原始圖像與線性組合得出摳圖的區(qū)域，但準確估計的取值卻是一個非常重要且困難的問題。

傳統(tǒng)摳圖算法通常只考慮圖像的低層級特征，例如顏色等。一般分為抽樣[2-4]和傳播[5-6]2類算法，但是面對復雜的場景圖像，這些算法的摳圖效果通常不盡人意。隨著近些年深度學習的快速發(fā)展，許多研究人員提出了基于深度學習的摳圖算法，使得這一問題有了很大的進步。但是現在大多數基于深度學習的摳圖算法[7-12]均需要人為進行交互。即以自然圖像和根據圖制作的三區(qū)圖(trimap)作為算法的輸入，預先為需要摳圖的圖像提供先決的約束條件，摳圖的質量雖然很高，但效率大打折扣，因為trimap的制作通常耗時又耗力。為了解決此問題，大量學者研究無需輸入trimap的全自動摳圖算法。SENGUPTA等[13]的BackgroundMatting算法使用圖像的背景替代trimap和圖像同時輸入算法進行摳圖，達到了很好的效果；LIU等[14]使用前景粗略標注改進摳圖效果，在主流的語義分割數據集上實驗，發(fā)現對語義分割標簽的標注精度提高明顯；QIAO等[15]提出注意力機制引導的層級結構融合的圖像摳圖算法，摳圖精度較高，在自動摳圖領域中取得了突破性的進展；KE等[16]提出了MODNET算法，為實時視頻摳圖邁進了一大步。

1 數據集制作

1.1 a圖制作

目前學術界公開的摳圖數據集并不多，已經開源的數據集中具有較高質量圖的有Adobe[8]，Distinctions-646 (DT-646)[15]和RealWorldPortrait- 636 (RW-636)[17]，其中Adobe和DT-646數據集包含的人物肖像比較少。為了擴充前景的數量，本文使用PhotoShop摳圖工具標注了640張只有人物肖像的前景圖，圖1為部分前景圖及其圖。

圖1 人工標注a圖((a)前景圖和a圖示例1；(b)前景圖和a圖示例2))

1.2 Trimap的制作

Trimap是一個粗略的圖，將其劃分為前景區(qū)域、背景區(qū)域和未知區(qū)域3部分。通過trimap的引導，讓摳圖任務主要專注于確定未知區(qū)域中的值，進而將摳圖任務變得相對簡單。

本文的全自動摳圖算法不需要事先加入trimap圖，但需要模型自動獲取trimap的信息，而為模型制作其標簽。本文trimap無需手繪，可通過圖像的圖膨脹腐蝕得到，其中膨脹腐蝕的卷積核尺寸均設置為10×10。膨脹腐蝕后的trimap中像素值分別為0，128和255。其中，明確屬于背景是黑色，像素點的值為0；明確屬于前景是白色，像素點的值為255；而未知區(qū)域是灰色，像素點的值為128。其trimap的生成過程如圖2所示。

圖2 Trimap生成過程

根據圖2，首先對圖分別進行腐蝕和膨脹操作，然后將腐蝕和膨脹的結果相減得到灰色的未知區(qū)域，最后將灰色未知區(qū)域和腐蝕的圖像相加得到最終的trimap圖。

1.3 合成圖像

為了擴充數據集前景的數目，增加模型的泛化能力。本文使用了Adobe，DT-646和RW-636等數據集的人物肖像圖和自制的640張數據集。一共1 800張前景圖像，然后將每張前景圖像分別和20張不同的背景圖像進行合成，本文使用的背景圖像是公開的BG-20K數據集[18]。合成規(guī)則遵循式(1)進行，最終合成了36 000張圖像，訓練集使用35 000張圖像，驗證集使用1 000張圖像，每個數據集部分合成圖如圖3所示。

圖3 部分合成訓練集圖像

2 摳圖網絡架構

2.1 本文算法網絡架構

本文摳圖網絡結構分為編碼網絡、過渡網絡、解碼網絡3部分，如圖4所示。編碼網絡采用的是輕量級網絡MobilenetV2[19]，過渡網絡由注意力機制模塊和空洞空間金字塔(atrous spatial pyramid pooling，ASPP)模塊組成，解碼網絡由3個網絡分支構成：①對圖像的前景、背景、未知區(qū)域進行分類學習，即語義分割分支(semantic segmentation branch，SSB)；②對圖像邊緣細節(jié)信息學習，即細節(jié)分支(detail branch，DB)；③將前面2部分學習到的圖進行匯總，即混合分支(combination branch，COM)。根據MobilenetV2的特征提取尺寸的變化過程，共將MobilenetV2的特征提取分為5個部分，分別用1，2，···，5表示，即圖4中的Encoder模塊。過渡網絡由2個模塊構成，即圖4中的SENet[20](SE)和ASPP模塊。

圖4 本文算法網絡結構

2.2 語義分割分支

在計算機視覺任務中，對圖像語義信息的理解至關重要。語義信息是指一張圖像所包含的內容，而摳圖任務中的語義信息可看作這幅圖像中的前景和背景。在摳圖任務中，語義信息直接決定了摳圖的整體效果。

2.2.1 注意力機制

本文算法在SSB網絡中加入了注意力機制SE模塊。SE模塊源于SENet，可以嵌到其他分類或檢測模型當中，目的是在模型關注圖像特征通道的同時可以自動學習到不同通道的重要性，有利于模型處理分類問題。

SE模塊的網絡結構如圖5所示。給定一個輸入，其特征通道數為，首先對進行Squeeze操作，將每個二維的特征通道變成一個實數，某種程度上這個實數應該具有全局的感受野，所以本文使用全局池化操作。其次通過Excitation操作壓縮后的1×1×的特征生成權重，本文使用2個全連接層，1個激活層，其中激活層放在2個全連接層的中間。最后對特征的通道進行加權操作，通過乘法操作，將Excitation操作生成的權重逐通道加權到特征上，完成對特征的通道注意力標定。

圖5 SE模塊網絡結構[20]

2.2.2 語義分割分支網絡結構

SSB網絡是基于分類思想設計的，該分支網絡的主要任務是將一張圖像的背景、前景、以及背景和前景交叉的未知區(qū)域分離開，其分支共設置了11個卷積層，每個卷積層后均接著歸一化層和激活層，其中最后一層卷積層使用的是softmax激活函數，主要是便于計算像素點的交叉熵損失。

SSB首先將編碼特征5經過注意力機制模塊，進行通道重要性加權，然后將編碼網絡的前4個階段的特征1～4分別與解碼網絡的不同階段進行concat特征融合。然后通過SSB網絡卷積和上采樣操作，最終輸出一個具有三通道的特征圖，每一個特征圖分別代表一個類別。

2.2.3 語義分割分支損失函數

由于SSB的預測其實是在做一個三分類的問題，分別是預測圖像的背景、前景和未知區(qū)域，所以SSB以trimap作為標簽，主要學習trimap的信息，故采用交叉損失熵作為SSB的損失函數，即

2.3 細節(jié)分支

2.3.1 空洞空間金字塔池化

空間金字塔池化(spatial pyramid pooling，SPP)可以在多個范圍內捕捉上下文信息。為了獲得更大尺度的上下文信息，DeepLabv V2[21]提出了ASPP，使用不同采樣率的并行空洞卷積層捕獲多尺度信息。本文算法在DB加入ASPP，主要目的是通過擴大卷積核的感受野，引導模型聚合不同感受野的特征，使得位于未知區(qū)域的值可以有效地聯系前景和背景信息，從而實現更加精準的預測。

本文的ASPP架構是基于Deeplabv3+[22]進行改進的。ASPP模塊中共設置了6個卷積層，其中卷積核尺寸設置為1×1和3×3，3×3尺寸的卷積核空洞率分別設置為1，2，4，8。如圖6所示，ASPP網絡模塊中前5個卷積層是對編碼網絡的特征圖5分別進行卷積操作，最后一個卷積層采用1×1卷積核對前5個卷積層的輸出特征圖concat后進行通道壓縮獲得最終的輸出。

圖6 ASPP模塊網絡結構

2.3.2 細節(jié)分支網絡結構

DB采用特征融合的思想進行設計，共設置了12個卷積層，每個卷積層后均接歸一化層和激活層，其中最后一個卷積層的激活函數采用的是sigmoid，主要是將預測值控制到0和1之間。

DB網絡首先將編碼特征5經過ASPP結構提取圖像的多尺度信息，然后采用高層語義與低層語義信息特征融合的方式進行解碼操作，特征融合的具體方式和SSB的一樣。最終通過DB解碼階段的上采樣和卷積操作，對圖的細節(jié)信息進行學習。

2.3.3 損失函數

由于DB主要預測的是圖像的邊緣細節(jié)信息，所以損失函數也主要約束未知區(qū)域，這樣對于確定屬于前景和背景的預測可能不準確，但是對確定屬于前景和背景的部分本文認為SSB已經學習到了。本文DB采用smoothL1損失函數，即

2.4 混合分支

2.4.1 混合分支網絡結構

COM主要是預測最終的圖，共設置了2個卷積層，最后一層采用sigmoid激活函數，目的是將預測的值直接控制在0和1之間。

COM將SSB和DB的特征進行融合，其融合特征分別來自各個分支的最后一個卷積層的結果，將2個特征圖的通道進行concat操作，最終輸出單通道的圖。

2.4.2 混合分支損失函數

COM的損失函數分為預測出的圖和合成圖損失2部分，均采用L1損失函數，其數學模型為

其中，為預測值；為真實值；L來自于文獻[8]，表示用預測出的圖合成圖像和真實圖像的損失。

本文算法最終通過3個分支的損失函數總和進行端到端的訓練，即

其中，，，為3個超參數，用來平衡3個分支的損失，本文設置==1，=10。

3 實驗結果及分析

3.1 實驗參數設置

為了提高模型的泛化性能，數據集預處理時做了圖像隨機裁剪和隨機翻轉操作。本文采用python語言編寫，基于pytorch框架，在一塊GeForce RTX 2080 11 G GPU進行訓練。實驗訓練圖像的尺寸為320×320，batchsize設置為8，初始學習率為0.01，每迭代10次學習率下降為原來的1/10，選擇SGD優(yōu)化器進行梯度下降優(yōu)化參數，最終實驗共迭代了20次。

3.2 對比實驗

為了比較本文算法的有效性，本文分別采用基于深度學習的半自動DIM[8]、全自動LFM[23]和全自動Modnet[16]3種基于深度學習的摳圖算法，在驗證集1 000張合成圖上做對比。圖7是幾種算法在驗證集-1k上的摳圖效果。

圖7 幾種方法在驗證集-1k上的摳圖結果((a)原圖像和不同算法的摳圖效果1；(b)原圖像和不同算法的摳圖效果2；(c)原圖像和不同算法的摳圖效果3)

圖7分別展示了原圖和幾種方法的摳圖結果以及人工標注的圖(GroundTruth(GT))。直觀上看，基于深度學習的半自動摳圖算法DIM對于圖像的整體部分摳圖結果雖然較為完整，但是細節(jié)部分還是有所欠缺，主要是因為半自動算法trimap的制作直接影響了圖像的邊緣效果?；谏疃葘W習的全自動的摳圖算法LFM和Modnet對于圖像的細節(jié)部分摳圖效果雖然有所提升，但是沒有trimap作為輔助輸入，圖像的語義部分摳圖效果并不完整。相比之下，本文算法(Ours)在圖像的語義部分更加完整，細節(jié)部分摳圖效果更加精細，更接近GT。

3.3 實驗指標評價

為了定量分析4種方法在驗證集上的摳圖質量，本文采用摳圖算法中常用的2個評價指標平均絕對誤差[16](mean absolute error，MAD)和平均方誤差[24](mean squared error，MSE)，即

本文在相同的實驗環(huán)境下，對4種算法在驗證集-1k的合成圖的預測結果做了MAD和MSE的計算，見表1。

表1 4種算法在驗證集-1k的誤差值

由表1可看出，本文算法對于MAD和MSE的值均最小，客觀上證明了本文算法的有效性。

3.4 實時流視頻摳圖

為了驗證本文算法在自然圖像上的摳圖效果，本文又對2k網絡攝像頭的實時捕捉畫面進行摳圖。實驗設備均采用GeForce RTX 2080顯卡，將實時畫面均裁剪為320×320大小，其原視頻幀畫面和摳圖畫面如圖8所示。

由于實時流視頻摳圖對算法的實時性要求較高，所以本文只對比了Modnet摳圖算法，如圖8所示，本文對于自然圖像下的實時摳圖，泛化性依然很魯棒，人物摳圖相對較為完整，明顯優(yōu)于Modnet算法。經測試，本文采用分辨率為320×320的實時流圖像，摳圖速度為每秒25幀以上。

圖8 2種方法實時流視頻摳圖結果((a)原視頻幀畫面和不同算法的摳圖效果1；(b)原視頻幀畫面和不同算法的摳圖效果2)

4 結束語

本文針對目前主流摳圖算法存在的自然圖像摳圖精度較低、摳圖任務繁瑣等問題，提出了一種基于深度學習的人物肖像全自動摳圖算法。①首先采用2個單獨的分支網絡分別對摳圖的語義信息和細節(jié)信息進行學習，然后將二者學習的圖信息匯總，并用總的損失函數進行約束，實現了端到端的全自動摳圖算法；②采用輕量級網絡進行特征提取，實現了高效率摳圖；③為了實現高質量的摳圖效果，網絡中加入注意力機制和ASPP結構。在合成數據集上的實驗證明了摳圖效果有所提升。此外，本文算法還支持實時流視頻摳圖，由于實際場景的變化，摳圖效果可能有所不同。

[1] PORTER T, DUFF T. Compositing digital images[C]//The 11th Annual Conference On Computer Graphics And Interactive Techniques - SIGGRAPH ’84. New York: ACM Press, 1984: 253-259.

[2] FENG X X, LIANG X H, ZHANG Z L. A cluster sampling method for image matting via sparse coding[M]//Computer Vision – ECCV 2016. Cham: Springer International Publishing, 2016: 204-219.

[3] JOHNSON J, VARNOUSFADERANI E S, CHOLAKKAL H, et al. Sparse coding for alpha matting[J]. IEEE Transactions on Image Processing, 2016, 25(7): 3032-3043.

[4] KARACAN L, ERDEM A, ERDEM E. Image matting with KL-divergence based sparse sampling[C]//2015 IEEE International Conference on Computer Vision. New York: IEEE Press, 2015: 424-432.

[5] AKSOY Y, AYDIN T O, POLLEFEYS M. Designing effective inter-pixel information flow for natural image matting[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 228-236.

[6] AKSOY Y, OH T H, PARIS S, et al. Semantic soft segmentation[J]. ACM Transactions on Graphics, 2018, 37(4): 1-13.

[7] CHO D, TAI Y W, KWEON I. Natural image matting using deep convolutional neural networks[M]//Computer Vision – ECCV 2016. Cham: Springer International Publishing, 2016: 626-643.

[8] XU N, PRICE B, COHEN S, et al. Deep image matting[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 311-320.

[9] LUTZ S, AMPLIANITIS K, SMOLIC A. Alphagan: generative adversarialnetworks for natural image matting[EB/OL]. (2018-07-26) [2021-09-19]. https://arxiv.org/pdf/1807.10088.pdf.

[10] LU H, DAI Y T, SHEN C H, et al. Indices matter: learning to index for deep image matting[C]//2019 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2019: 3265-3274.

[11] TANG J W, AKSOY Y, OZTIRELI C, et al. Learning-based sampling for natural image matting[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2019: 3050-3058.

[12] LI Y Y, LU H T. Natural image matting via guided contextual attention[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 11450-11457.

[13] SENGUPTA S, JAYARAM V, CURLESS B, et al. Background matting: the world is your green screen[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 2288-2297.

[14] LIU J L, YAO Y, HOU W D, et al. Boosting semantic human matting with coarse annotations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 8560-8569.

[15] QIAO Y, LIU Y H, YANG X, et al. Attention-guided hierarchical structure aggregation for image matting[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 13673-13682.

[16] KE Z H, LI K C, ZHOU Y R, et al. Is a green screen really necessary for real-time portrait matting?[EB/OL]. (2020-11-29) [2021-09-19]. https://arxiv.org/abs/2011.11961.

[17] YU Q H, ZHANG J M, ZHANG H, et al. Mask guided matting via progressive refinement network[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2021: 1154-1163.

[18] LI J, ZHANG J, MAYBANK S J, et al. Bridging composite and real: towards end-to-end deep image matting[EB/OL]. (2020-10-30) [2021-09-19]. https://arxiv.org/abs/2010.16188.

[19] SANDLER M, HOWARD A, ZHU M L, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 4510-4520.

[20] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7132-7141.

[21] CHEN L C, PAPANDREOU G, SCHROFF F, et al. Rethinking atrous convolution for semantic image segmentation[EB/OL]. (2017-12-05) [2021-09-19]. https://arxiv.org/abs/1706.05587.

[22] CHEN L C, ZHU Y K, PAPANDREOU G, et al. Encoder- decoder with atrous separable convolution for semantic image segmentation[M]//Computer Vision – ECCV 2018. Cham: Springer International Publishing, 2018: 833-851.

[23] ZHANG Y K, GONG L X, FAN L B, et al. A late fusion CNN for digital matting[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2019: 7461-7470.

[24] RHEMANN C, ROTHER C, WANG J, et al. A perceptually motivated online benchmark for image matting[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 1826-1833.

Fully automatic matting algorithm for portraits based on deep learning

SU Chang-bao, GONG Shi-cai

(School of Science, Zhejiang University of Science and Technology, Hangzhou Zhejiang 310000, China)

Aiming at the problems of low completeness of character matting, insufficiently refined edges, and cumbersome matting in matting tasks, an automatic matting algorithm for portraits based on deep learning was proposed. The algorithm employed a three-branch network for learning: the semantic information of the semantic segmentation branch (SSB) learninggraph, and the detailed information of the detail branch (DB) learninggraph. The combination branch (COM) summarized the learning results of the two branches. First, the algorithm’s coding network utilized a lightweight convolutional neural network MobileNetV2, aiming to accelerate the feature extraction process of the algorithm. Second, an attention mechanism was added to the SSB branch to weight the importance of image feature channels, the atrous spatial pyramid pooling module was added to the DB branch, and multi-scale fusion was achieved for the features extracted from the different receptive fields of the image. Then, the two branches of the decoding network merged the features extracted by the encoding network at different stages through the jump connection, thus conducting the decoding. Finally, the features learned by the two branches were fused together to obtain the imagegraph. The experimental results show that on the public data set, this algorithm can outperform the semi-automatic and fully automatic matting algorithms based on deep learning, and that the effect of real-time streaming video matting is superior to that of Modnet.

fully automatic matting; lightweight convolutional neural network; attention mechanism;atrous spatial pyramid pooling; feature fusion

TP 391

10.11996/JG.j.2095-302X.2022020247

A

2095-302X(2022)02-0247-07

2021-08-17；

2021-09-24

浙江省自然科學基金項目(Ly20A010005)

蘇常保(1996–)，男，碩士研究生，主要研究方向為圖像分割。E-mail：schangbao20@163.com

龔世才(1970–)，男，教授，博士。主要研究方向為圖論，復雜網絡等。E-mail：scgong@zafu.edu.cn

17 August，2021；

24 September，2021

Natural Science Foundation of Zhejiang Province (Ly20A010005)

SU Chang-bao (1996–), master student, His main research interest covers image segmentation. E-mail：schangbao20@163.com

GONG Shi-cai (1970–), professor, Ph.D. His main research interests cover graph theory, complex network, etc. E-mail：scgong@zafu.edu.cn