林競力，肖國慶，張 陶，文 鑫

（西華大學(xué) 電氣與電子信息學(xué)院，成都 610039）

0 概述

隨著人工智能和物聯(lián)網(wǎng)時代的發(fā)展，以用戶為中心的新型交互方式如姿態(tài)、手勢、語音控制、表情等被廣泛應(yīng)用，其中手勢交互由于具有直觀性、自然性、豐富性等優(yōu)點，成為目前的研究熱點。手部分割作為手勢交互技術(shù)研究的核心，具有極大的研究價值。

手部分割的目的是隔離手部數(shù)據(jù)與背景數(shù)據(jù)，目前已有諸多研究人員開展該方面的研究。文獻(xiàn)［1-2］通過對圖片的顏色、紋理、形狀等特征建模完成分割，該類方法處理速度快但泛化性能差，受環(huán)境影響大，難以滿足真實條件下的分割。文獻(xiàn)［3］通過佩戴數(shù)據(jù)手套獲取手部位置與形狀，該類方法準(zhǔn)確度高、魯棒性好，但成本較高，便利性較低。文獻(xiàn)［4-5］通過查找手部區(qū)域不規(guī)則光流模式分割手部數(shù)據(jù)，該類方法對亮度變化較為敏感，能識別到運動中的手部。

使用多模態(tài)圖像如RGB-D 等對手部進(jìn)行分割也是發(fā)展趨勢之一，文獻(xiàn)［6-7］通過實驗表明該類方法準(zhǔn)確率高，使用方便，但對數(shù)據(jù)采集設(shè)備要求較高，且增加了成本。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的手部分割方法成為主流，如文獻(xiàn)［8］使用基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的皮膚檢測技術(shù)，文獻(xiàn)［9］針對手部分割任務(wù)構(gòu)造一種基于躍層連接的編解碼網(wǎng)絡(luò)，文獻(xiàn)［10］提出基于密集注意力機制的DensAtentionSeg網(wǎng)絡(luò)，文獻(xiàn)［11］評估了基于RefineNet［12］的分割模型。這些方法均在手部分割任務(wù)中表現(xiàn)良好，但往往依賴較深層次和高分辨率的特征，因此，多數(shù)用于手部分割的網(wǎng)絡(luò)模型存在參數(shù)量大、推理時間長的問題，難以滿足實時性要求。

為實現(xiàn)高精度且實時的手部分割，本文在CornerNet-Saccade 模型［13］基礎(chǔ)上利用多尺度特征，通過添加掩碼分支構(gòu)建一個基于掃視機制的手部分割模型，并使用以自我為中心的手部分割數(shù)據(jù)集Egohands進(jìn)行訓(xùn)練。此外，利用MobileNet V2［14］中的線性瓶頸結(jié)構(gòu)，構(gòu)造實時性更高的輕量化模型，進(jìn)一步提高模型效率。

1 CornerNet-Saccade 模型

CornerNet-Saccade 是一種基于掃視機制［15］的目標(biāo)檢測模型，在目標(biāo)檢測領(lǐng)域，以其高精度和低復(fù)雜度得到廣泛的關(guān)注。掃視機制是指在推理期間選擇性地裁剪和處理圖像區(qū)域再進(jìn)行后續(xù)操作。以輸入大小為255×255×3、深度為54 層的CornerNet-Saccade模型為例，該模型主要由Hourglass-54 特征提取模塊、注意力圖模塊和角點檢測分支3 個模塊組成。

1.1 特征提取模塊

CornerNet-Saccade 模型中的Hourglass-54 特征提取模塊由3 個三階沙漏網(wǎng)絡(luò)［16］組成，輸入層大小為255×255×3。沙漏網(wǎng)絡(luò)的主要結(jié)構(gòu)為沙漏模塊，圖1 所示為Hourglass-54 網(wǎng)絡(luò)所使用的最后一個沙漏模塊，由多個殘差模塊［17］堆疊而成，輸入張量經(jīng)前2 次降采樣后變?yōu)?4×64×256。

在圖1 中，方框內(nèi)數(shù)據(jù)為輸入輸出的特征通道數(shù)，第1 個殘差模塊對輸入進(jìn)行下采樣并增加特征通道數(shù)，下采樣后則進(jìn)行特征提取，16×16、32×32、64×64 均為為特征圖尺寸?？梢钥吹剑蟀脒吔?jīng)過下采樣后再進(jìn)行上采樣，逐步提取更深層次信息。右半邊則直接在原尺度上進(jìn)行，將兩路結(jié)果相加，既提取到了較高層次信息又保留了原有層次信息。

圖1 沙漏模塊結(jié)構(gòu)Fig.1 Structure of the hourglass module

1.2 注意力圖模塊

在所提網(wǎng)絡(luò)中，每個沙漏模塊都將生成3 個不同尺度的特征圖，如圖1 所示，在每次特征融合之前輸出一個注意力圖張量，這些張量具有不同的尺寸，能夠反映不同層次的圖片信息。使用這些不同尺度的張量來檢測不同大小的手部圖像。其中：尺寸為16×16 的張量檢測尺寸大于96 的大物體；尺寸為32×32 的張量檢測尺寸大于32 的中等大小物體；尺寸為64×64 的張量檢測尺寸小于32 的小物體。

在訓(xùn)練過程中，將目標(biāo)框的中心位置設(shè)定為正樣本（y=1），其余為負(fù)樣本（y=0），注意力圖損失函數(shù)Latt如式（1）所示：

其中：γ=2，α=4，用于平衡正負(fù)樣本與難易樣本之間的權(quán)重；y'表示預(yù)測到的值。

根據(jù)注意力圖檢測到關(guān)鍵點后將下采樣后的圖片進(jìn)行縮放，根據(jù)物體尺寸選擇縮放尺度，并在原圖上進(jìn)行裁剪，生成多個尺寸為255×255 的圖片，以進(jìn)一步檢測。

1.3 角點檢測模塊

如圖2 所示，特征提取模塊獲得特征圖后進(jìn)入角點檢測模塊以預(yù)測目標(biāo)框。檢測模塊由結(jié)構(gòu)相同的2組卷積組成，包括左上角和右下角預(yù)測。為提取角點特征，檢測模塊先對特征向量進(jìn)行角點池化（Corner Pooling）［18］。對于左上角池化，從右側(cè)觀察邊界框頂部水平方向，從下方觀察邊界框的最右邊。因此，左上角的池化操作是分別對特征圖中向量的左側(cè)和頂部進(jìn)行最大池化后相加的過程。將角點池化后得到的特征向量分別進(jìn)行3 組卷積得到目標(biāo)框，產(chǎn)生的張量有熱圖（Heatmaps）、嵌入向量（Embeddings）和偏移（Offsets）。

熱圖的尺寸為64×64，表示對應(yīng)位置是否為角點。由于使用離正樣本近的負(fù)樣本角點也能產(chǎn)生較好的邊界框，因此在計算熱圖的損失函數(shù)時，使用高斯分布增強過的正樣本標(biāo)簽處理損失函數(shù)，降低正樣本附近圓周位置負(fù)樣本的懲罰，權(quán)重由β參數(shù)控制。熱圖的損失函數(shù)Ldet如式（2）所示：

其中：α 參數(shù)控制難易樣本的權(quán)重；pij為位置（i，j）預(yù)測到的值；yij為真實值。

在檢測過程中可能會檢測到多個角點，所以需要對角點進(jìn)行配對，判斷角點是否屬于同一個目標(biāo)框。因此，在CornerNet-Saccade 中還使用了1-D 嵌入向量，向量的距離決定了屬于同一目標(biāo)框的可能性。如式（3）和式（4）所示：

其中，etk代表目標(biāo)k 左上角點的嵌入向量；ebk代表其右下角點的嵌入向量；“pull”損失用于組合角點，“push”損失用于分離角點。

在預(yù)測角點的過程中，（x，y）位置的像素被映射為而產(chǎn)生一定的精度誤差，因此在映射回輸入尺寸時，需對角點位置進(jìn)行微調(diào)，偏移的損失函數(shù)Loff如式（5）所示：

其中：Smooth L1 為損失函數(shù)；o表示偏移量。

2 改進(jìn)手部分割算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

針對手部分割效率較差的問題，在CornerNet-Saccade 的基礎(chǔ)上構(gòu)造了基于掃視機制的手部分割模型?？傮w架構(gòu)如圖3 所示，流程分為2 步，先粗略檢測（左），再精細(xì)分割（右）。

圖3 手部分割總體架構(gòu)Fig.3 Overall architecture of hand segmentation

粗略檢測階段用下采樣后的圖片生成注意力圖和特征圖譜，估計目標(biāo)在原圖中的位置和粗略尺寸。精細(xì)分割階段將檢測到的位置映射回原圖，對原圖進(jìn)行剪切后送入檢測分割網(wǎng)絡(luò)，精確定位目標(biāo)位置并生成掩碼。這種分兩階段檢測的方法模擬了人觀察物體的方式，即先檢測物體大概位置，后對物體進(jìn)行精細(xì)觀察，使計算機在進(jìn)行圖像處理時無需對所有的像素均進(jìn)行詳細(xì)分析，進(jìn)而大幅提高分割的精度和速度。

2.1.1 訓(xùn)練階段

由于手部分割數(shù)據(jù)較少，因此需使用遷移學(xué)習(xí)方法得到模型參數(shù)。首先，在ImageNet 數(shù)據(jù)集上對特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到權(quán)重參數(shù)；然后在特征提取網(wǎng)絡(luò)基礎(chǔ)上添加角點檢測網(wǎng)絡(luò)、注意力圖網(wǎng)絡(luò)，使用COCO 數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練；最后將類別數(shù)降至1，添加掩碼分支，利用訓(xùn)練集數(shù)據(jù)微調(diào)網(wǎng)絡(luò)，得到模型參數(shù)。通過遷移學(xué)習(xí)的方法能夠更快地訓(xùn)練出理想結(jié)果，并且在樣本標(biāo)簽不夠的情況下也能得到理想的結(jié)果。

本文要求模型既具有粗略檢測又具有精細(xì)分割的能力，因此訓(xùn)練時，輸入隨機選取的下采樣圖片或裁剪圖片，輸入層大小為255×255×3。輸入下采樣圖片時，將長邊縮放至255，短邊按比例縮放，其余位置補0；輸入裁剪圖片時，在目標(biāo)框中心位置附近取中心點，根據(jù)物體大小隨機決定縮放尺寸，裁剪出尺寸為255×255 的圖片。

2.1.2 推理階段

推理階段流程如圖4 所示，將下采樣后大小為255×255×3 的圖片傳入訓(xùn)練好的網(wǎng)絡(luò)，提取到特征后，利用最后一個沙漏網(wǎng)絡(luò)得到的注意力圖和角點檢測獲得的位置對圖片進(jìn)行裁剪。

圖4 推理階段流程Fig.4 Procedure of inference phase

在獲得裁剪圖片時，先選取得分大于閾值0.3 的點作為圖片中心位置，放大倍數(shù)則根據(jù)物體尺寸得出。物體尺寸越小，放大倍數(shù)S越大（Ssmall=4，Smedium=2，Slarge=1）。根據(jù)角點檢測結(jié)果獲取裁剪圖片時，通過邊界框尺寸決定放大尺寸，邊界框長邊在放大后，小物體達(dá)到24，中物體達(dá)到64，大物體達(dá)到192。將裁剪后的圖片再次送入網(wǎng)絡(luò)，角點檢測生成目標(biāo)框，并使用Soft-NMS 算法［19］消除冗余目標(biāo)。

掩碼結(jié)果與目標(biāo)框結(jié)果相關(guān)，將目標(biāo)框內(nèi)區(qū)域作為感興趣區(qū)域，選擇置信度大于0.8 的目標(biāo)框，對目標(biāo)框得分進(jìn)行排序，得分由大到小排列。后續(xù)目標(biāo)框與該目標(biāo)框重合面積（IOU）較大時，則刪除該目標(biāo)框，最后將目標(biāo)框與掩碼圖片映射至原圖得到分割與檢測結(jié)果。

2.2 掩碼分支

在沙漏網(wǎng)絡(luò)提取特征后，添加一組卷積網(wǎng)絡(luò)預(yù)測手部圖像掩碼，結(jié)構(gòu)參數(shù)如表1所示。輸入128×128特征圖，經(jīng)最大池化后，與更深尺度特征融合，輸出結(jié)果大小為64×64。將手部分割問題轉(zhuǎn)化為二分類問題，并使用Sigmoid 函數(shù)，大于0 的位置認(rèn)定為手部位置，小于0 為背景。

表1 掩碼分支結(jié)構(gòu)參數(shù)Table.1 Parameter of the mask branch structure

掩碼分支在訓(xùn)練時使用Focal loss 函數(shù)［20］，通過引入γ參數(shù)降低簡單樣本的權(quán)重，使訓(xùn)練時更加關(guān)注難以區(qū)分的樣本。掩碼分支損失函數(shù)Lmask如式（6）所示：

其中：γ=2，pij表示（i，j）位置掩碼特征圖的值；yij表示真實值；yij=1 時該點為掩碼區(qū)域。

在計算掩碼的損失函數(shù)時，若將掩碼圖片轉(zhuǎn)化為64×64 大小后進(jìn)行計算，則與輸入圖片對比，特征圖上每個像素點均對應(yīng)著裁剪后圖片的16 個像素，因此可通過改變掩碼網(wǎng)絡(luò)的尺寸來改變其分割精度。

3 線性瓶頸結(jié)構(gòu)

本文使用Hourglass-54 作為特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)由許多殘差塊堆疊而成，因此大部分計算資源將消耗在殘差模塊上，殘差模塊如圖5 所示，分為直接映射和殘差部分。雖然殘差模塊的使用減少了計算資源的消耗及緩解了梯度消失/爆炸的問題，但就參數(shù)數(shù)量和推理時間而言，其代價依舊昂貴。

圖5 殘差塊Fig.5 Residual block

為更近一步減少模型復(fù)雜度，提高模型效率，使用線性瓶頸結(jié)構(gòu)對網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。線性瓶頸結(jié)構(gòu)如圖6 所示，圖6（a）為輸入和輸出尺寸改變的殘差模塊，圖6（b）為輸入和輸出尺寸相同的殘差模塊。為匹配特征維度，將輸入和輸出改變的殘差模塊在直接映射部分添加1×1 卷積。為減少計算資源的消耗，使用分離卷積替代原來殘差模塊中的普通卷積。為提高特征提取的準(zhǔn)確率，先對特征向量進(jìn)行擴張操作。為防止破壞特征，保證模型的表達(dá)能力，模塊的最后一個卷積使用線性激活函數(shù)（Linear：Linear activation function）代替線性整流函數(shù)（Rectified Linear Unit，ReLU）。

圖6 線性瓶頸結(jié)構(gòu)Fig.6 Linear bottleneck structure

4 實驗

4.1 數(shù)據(jù)集準(zhǔn)備

實驗使用的Egohands數(shù)據(jù)集是以自我為中心背景復(fù)雜下的手分割數(shù)據(jù)，共由4 800 張720×1 280 像素的JPEG 圖片組成。這些圖片取自48 個不同環(huán)境和活動，將其隨機分為訓(xùn)練集4 400 張和測試集400 張，并生成掩碼圖片和角點信息。部分?jǐn)?shù)據(jù)集如圖7 所示。

圖7 Egohands 數(shù)據(jù)集Fig.7 Egohands dataset

4.2 實驗環(huán)境

實驗在Linux 系統(tǒng)上進(jìn)行，顯卡為11 GB 的Geforce RTX 2080 Ti，CPU型號 為i5-8500，使用Pytorch 深度學(xué)習(xí)框架。

4.3 網(wǎng)絡(luò)訓(xùn)練

根據(jù)2.1.1 節(jié)中所描述方法，訓(xùn)練改進(jìn)手部分割網(wǎng)絡(luò)。在完成預(yù)訓(xùn)練后，使用批梯度下降法和Adam 梯度下降法更新權(quán)重，Batch_Size設(shè)為8，共進(jìn)行200次迭代，每次從訓(xùn)練集中隨機選取3 000 張圖片進(jìn)行迭代。

迭代時的損失函數(shù)如式（7）所示，由3 部分組成，包括注意力圖損失Latt，角點檢測損失Lcor和掩碼分支損失Lmask。其中角點檢測損失由上文中的熱圖損失（Ldet）、嵌入向量損失（Lpush+Lpull）和偏移量損失（Loff）組成。

在訓(xùn)練時，3種損失函數(shù)的損失值曲線如圖8所示，cor_loss 為角點損失值，att_loss 為注意力圖損失值，mask_loss為掩碼分支損失值。由圖8 可知，3 種損失函數(shù)所占比重基本相同，且隨著迭代次數(shù)的增加，損失函數(shù)能夠很好的收斂，網(wǎng)絡(luò)參數(shù)逐漸平衡，因此可以判斷該損失函數(shù)具有良好的穩(wěn)定性和有效性。

圖8 3 種損失函數(shù)的損失值曲線Fig.8 Loss values of three loss functions

圖9 所示為訓(xùn)練過程中訓(xùn)練集總損失值（Train_Loss）和測試集總損失值（Vaild_Loss）?？梢钥吹剑瑴y試集上損失值比訓(xùn)練集上小，隨著迭代次數(shù)增加，兩者均收斂良好，且從損失函數(shù)上看，沒有產(chǎn)生過擬合現(xiàn)象，因此可以判斷該網(wǎng)絡(luò)訓(xùn)練成功。

圖9 總損失值曲線Fig.9 Total loss curve

4.4 實驗結(jié)果

將訓(xùn)練好的網(wǎng)絡(luò)在劃分好的Egohands 測試集上進(jìn)行驗證，使用平均交并比（mIOU）、平均精確率（mean average Precision，mPrec）和平均召回率（mean average Recall，mRec）等圖片分割常用評價指標(biāo)衡量模型分割效果，分割結(jié)果如圖10 所示。

圖10 本文模型分割性能Fig.10 Segmentation performance of model in this paper

從圖10 可以看出，隨著迭代次數(shù)的增加，平均交并比、平均精確率和平均召回率穩(wěn)步上升，且在接近100 次迭代后三者均趨于穩(wěn)定，沒有太大改變。此外，平均交并比、平均精確率、平均召回率分別高達(dá)88.4%、90.6%、91.2%。

手部分割結(jié)果如圖11 所示，圖11（a）為原始圖片，圖11（b）是圖片掩碼的真實值，圖11（c）為測試數(shù)據(jù)產(chǎn)生的掩碼結(jié)果。

圖11 分割效果對比Fig.11 Segmentation effect comparison

從圖11 中可知，在復(fù)雜背景下，手部分割結(jié)果基本正確，手部形態(tài)的變化對實驗結(jié)果沒有產(chǎn)生很大影響。為進(jìn)一步評估模型性能，分別選取了基于全局外觀混合模型、基于GrabCut 模型和基于CNN模型的方法進(jìn)行對比，對比結(jié)果如表2 所示，其中，CNN模型包括 RefinNet、U-Net［21］和 Deeplab V3+［22］。

表2 不同模型分割性能對比Table 2 Comparison of segmentation performance of different models

基于全局外觀混合模型的方法，利用顏色、紋理和漸變直方圖的稀疏組合完成分割，基于GrabCut 的模型采用圖分割和最大流技術(shù)，兩者均屬于傳統(tǒng)的圖像處理方法?；贑NN 模型的方法中，RefinNet模型利用遞歸方式融合不同層特征完成語義分割，U-Net 模型使用包含壓縮路徑和擴展路徑的對稱U形結(jié)構(gòu)，Deeplab V3+模型利用空洞卷積［23］和Xception［24］提取豐富的語義信息，三者在語義分割領(lǐng)域均取得了較好的成果。本文所提模型具有最高平均交并比，且精確率和召回率也僅次于Deeplab V3+模型，具有較高的準(zhǔn)確率。雖然如此，本文所提模型就參數(shù)數(shù)量和推理時間而言仍然昂貴。為適應(yīng)實時圖像處理任務(wù)，使用MobileNet V2 模型中的線性瓶頸結(jié)構(gòu)對網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，構(gòu)造輕量級手部分割模型。輕量化手部模型分割結(jié)果如圖12 所示。其中，圖12（a）為原模型的分割結(jié)果，圖12（b）為輕量化模型的分割結(jié)果。

圖12 模型輕量化前后分割效果對比Fig.12 Comparison of segmentation effects before and after model lightweight

對比圖12 發(fā)現(xiàn)，輕量化模型損失了部分精度，對于模糊物體而言存在少部分誤檢現(xiàn)象，但對于大部分圖片而言無明顯差異。為進(jìn)一步比較分割結(jié)果的準(zhǔn)確率和實時性，統(tǒng)計了原模型和輕量化模型的平均交并比、平均精確率、平均召回率、網(wǎng)絡(luò)參數(shù)量和計算時間參數(shù)。對比結(jié)果如表3 所示。

表3 模型輕量化前后分割性能對比Table 3 Comparison of segmentation performance before and after model lightweight

可以看到，與原模型相比，輕量化模型平均交并比、精確率、召回率分別下降2.2、1、1.6 個百分點，但參數(shù)減少了65×106，計算時間也降低至44 ms，在移動端部署時將比原模型具有更大的優(yōu)勢。

由于實際的應(yīng)用場景更加復(fù)雜，因此訓(xùn)練出的模型應(yīng)具有很好的泛化能力。為進(jìn)一步測試模型在其他場景下的應(yīng)用，引入新的圖像數(shù)據(jù)［25］對訓(xùn)練好的模型進(jìn)行測試，部分圖片的分割效果如圖13 所示，圖13（a）、圖13（c）、圖13（e）為本文基于CornerNet-Saccade 網(wǎng)絡(luò)所構(gòu)造的模型，圖13（b）、圖13（d）、圖13（f）為輕量化處理后的模型?？梢钥吹?，本文基于CornerNet-Saccade 網(wǎng)絡(luò)所構(gòu)造的手部分割網(wǎng)絡(luò)模型具有良好的泛化性能，在其他以自我為中心的數(shù)據(jù)集中也能很好地分割出手部掩碼。

圖13 模型輕量化前后在新數(shù)據(jù)集下的分割效果對比Fig.13 Comparison of segmentation effect under new date set before and after model lightweight

5 結(jié)束語

本文基于CornerNet-Saccade 構(gòu)造一種高效實時的手部分割模型。應(yīng)用掃視機制避免對所有像素均進(jìn)行精細(xì)處理，通過在不同尺度特征圖中添加掩碼分支完成多尺度分割任務(wù)，同時使用線性瓶頸結(jié)構(gòu)對殘差塊進(jìn)行改進(jìn)以降低模型參數(shù)量，使模型滿足實時處理的要求。實驗結(jié)果表明，該模型在Egohands 數(shù)據(jù)集上平均交并比為88.4%，高于RefinNet、U-Net、Deeplab V3+等常用手部分割模型。輕量化模型雖然在準(zhǔn)確率上有所降低，但計算時間和參數(shù)復(fù)雜度均大幅減少。下一步將通過融合多尺度特征的方法優(yōu)化分割細(xì)節(jié)，并針對嚴(yán)重遮擋情況下的分割問題進(jìn)行研究，以拓展模型的應(yīng)用范圍。