陳明瑤,徐 琨，李曉旋

(長(zhǎng)安大學(xué)信息工程學(xué)院，陜西 西安 710064)

0 引 言

手勢(shì)是人際交往中不可或缺的一種方式，隨著計(jì)算機(jī)軟硬件的飛速發(fā)展，越來越多的學(xué)者關(guān)注基于手勢(shì)的人機(jī)交互方法。早期的手勢(shì)交互主要通過增加數(shù)據(jù)手套等外部設(shè)備來提高手勢(shì)識(shí)別準(zhǔn)確度，但較高的硬件成本妨礙了其推廣。計(jì)算機(jī)視覺領(lǐng)域近年來的研究成果，使基于視覺的手勢(shì)交互成為一種新的解決方案。

手勢(shì)分割是視覺手勢(shì)交互的關(guān)鍵步驟。2019年Amirhossein等人[1]提出了一個(gè)專門解決手勢(shì)分割和識(shí)別問題的HGR-Net模型。HGR-Net模型由第一階段的手勢(shì)分割網(wǎng)絡(luò)和第二階段的手勢(shì)識(shí)別網(wǎng)絡(luò)組成。其中手勢(shì)分割網(wǎng)絡(luò)借鑒全卷積網(wǎng)絡(luò)(Fully Convolutional N etworks, FCN)的思路[2]，引入殘差網(wǎng)絡(luò)[3](Residual Networks, ResNet)結(jié)構(gòu)，結(jié)合空洞空間金字塔池化[4](Atrous Spatial Pyramid Pooling, ASPP)，完成了手勢(shì)分割任務(wù)，手勢(shì)分割結(jié)果較FCN模型更加準(zhǔn)確。但是該模型對(duì)于光照和手部顏色不均勻的圖像，手勢(shì)分割區(qū)域內(nèi)部會(huì)出現(xiàn)空洞；對(duì)于某些背景包含臉部等類膚色的圖像，則會(huì)將類膚色區(qū)域誤檢為手勢(shì)區(qū)域。而且該方法過分依賴于精準(zhǔn)標(biāo)注的訓(xùn)練樣本，對(duì)于與訓(xùn)練樣本差異較大的手勢(shì)圖像，手勢(shì)分割結(jié)果難以令人滿意。

針對(duì)上述類內(nèi)不一致和模型泛化能力弱的不足，本文提出以下改進(jìn)方法：

1)在基于HGR-Net的手勢(shì)分割網(wǎng)絡(luò)[1]的主干網(wǎng)中增加上下文信息增強(qiáng)模塊，對(duì)主干網(wǎng)相鄰兩層特征進(jìn)行全局均值池化操作，使用通道注意機(jī)制，增加顯著性特征通道的權(quán)值，保證上下文信息的連續(xù)性，解決分割結(jié)果存在的類內(nèi)不一致的問題。

2)將圖像風(fēng)格化遷移[5]應(yīng)用于領(lǐng)域自適應(yīng)[6]問題中，提出一種基于風(fēng)格遷移的領(lǐng)域自適應(yīng)方法，在圖像預(yù)處理階段進(jìn)行圖像風(fēng)格遷移，對(duì)源域測(cè)試樣本進(jìn)行數(shù)據(jù)重構(gòu)，使其同時(shí)具有自身內(nèi)容和目標(biāo)域訓(xùn)練樣本的風(fēng)格特征，從而提高本文手勢(shì)分割網(wǎng)絡(luò)的泛化能力。

1 相關(guān)工作

手勢(shì)分割最初主要依據(jù)膚色特征進(jìn)行。文獻(xiàn)[7]使用橢圓膚色模型進(jìn)行手勢(shì)分割，為了減少光照的影響，首先對(duì)圖像進(jìn)行顏色均衡處理，然后對(duì)亮度分量進(jìn)行閾值分段判斷，在高亮度區(qū)域擴(kuò)大橢圓模型的長(zhǎng)短軸。該方法比傳統(tǒng)橢圓模型可以分割出更加準(zhǔn)確的手勢(shì)區(qū)域[7]。文獻(xiàn)[8]在YCbCr空間建立膚色分布的高斯模型，增加亮度閾值化和RGB三分量閾值化操作，并結(jié)合手勢(shì)掌心的幾何特征，以降低模型的誤檢率，最終將手勢(shì)與背景準(zhǔn)確分離。基于膚色特征的分割方法在光照不均或有類膚色區(qū)域干擾時(shí)，分割準(zhǔn)確度難以令人滿意。在基于膚色分布特性的基礎(chǔ)上常常融合運(yùn)動(dòng)信息[9]、輪廓信息[10]、深度信息[11]等其他信息，以提高算法的魯棒性。

隨著深度學(xué)習(xí)的不斷發(fā)展，涌現(xiàn)出了很多語(yǔ)義分割的模型，在手勢(shì)分割這一具體問題中，取得了較傳統(tǒng)方法更加準(zhǔn)確的結(jié)果。為了實(shí)現(xiàn)在無限制場(chǎng)景中準(zhǔn)確檢測(cè)手部區(qū)域，文獻(xiàn)[12]提出了一個(gè)兩階段的基于深度學(xué)習(xí)的手部區(qū)域檢測(cè)方法。在第一階段采用Faster-RCNN(Faster Region-based Convolutional Neural Networks)檢測(cè)手部區(qū)域，第二階段使用膚色檢測(cè)算法去除誤檢區(qū)域[12]。文獻(xiàn)[13]提出了一個(gè)Network-in-Network網(wǎng)絡(luò)模型，用于檢測(cè)膚色區(qū)域。該模型由4個(gè)卷積層和8個(gè)改進(jìn)的感知模塊，最終輸出膚色概率圖。文獻(xiàn)[14]提出了一個(gè)輕量級(jí)的膚色檢測(cè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠捕獲多尺度的上下文信息，并對(duì)分割結(jié)果中的膚色邊界進(jìn)行重新定義，從而保證了分割精度。

基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割算法常常需要通過對(duì)大量標(biāo)記的樣本進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)像素級(jí)的語(yǔ)義分割。一方面，對(duì)數(shù)據(jù)進(jìn)行人工標(biāo)注將會(huì)耗費(fèi)大量的時(shí)間和精力；另一方面，分割結(jié)果過分依賴于標(biāo)記樣本，對(duì)于與訓(xùn)練集有較大差異的樣本，結(jié)果難以令人滿意[15]。領(lǐng)域自適應(yīng)是遷移學(xué)習(xí)的一種代表性方法，其目的是用于解決源域和目標(biāo)域之間的數(shù)據(jù)集跨域問題和標(biāo)注數(shù)據(jù)獲取困難的問題。目前，領(lǐng)域自適應(yīng)方法主要包括以下3種方法[6]：1)基于數(shù)據(jù)重構(gòu)自適應(yīng)的方法，在保證源域內(nèi)部差異性的同時(shí)，減小域間差異，對(duì)源域數(shù)據(jù)進(jìn)行重構(gòu)[16-17]；2)基于差異自適應(yīng)的方法，利用目標(biāo)域標(biāo)簽數(shù)據(jù)和源域數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，減小2個(gè)域之間的偏差，類準(zhǔn)則、統(tǒng)計(jì)準(zhǔn)則是常用的微調(diào)方法[18-19]；3)基于對(duì)抗學(xué)習(xí)自適應(yīng)的方法，通過與判別器對(duì)抗，將源域和目標(biāo)域數(shù)據(jù)在數(shù)據(jù)或特征空間對(duì)齊，學(xué)習(xí)具有域不變性的特征[20-21]。

圖像風(fēng)格遷移是將一幅風(fēng)格圖像的風(fēng)格應(yīng)用于另一幅內(nèi)容圖像的過程,主要應(yīng)用于卡通動(dòng)漫制作、電影動(dòng)畫制作等圖像藝術(shù)風(fēng)格繪制領(lǐng)域[5]。傳統(tǒng)的風(fēng)格遷移通常將目標(biāo)域圖像視為一種紋理，使用圖像局部特征的統(tǒng)計(jì)模型描述紋理，利用圖像重建方法將紋理和內(nèi)容圖像結(jié)合,實(shí)現(xiàn)圖像的風(fēng)格遷移[22]?；诩y理統(tǒng)計(jì)模型的風(fēng)格遷移方法難以描述高層抽象紋理特征，在處理顏色和紋理較復(fù)雜的圖像時(shí)，風(fēng)格遷移效果難以符合實(shí)際需求。卷積神經(jīng)網(wǎng)絡(luò)可以提取高層抽象紋理特征和語(yǔ)義特征，并可獨(dú)立處理這些高層特征，實(shí)現(xiàn)圖像的風(fēng)格遷移，近年來被廣泛應(yīng)用于風(fēng)格遷移中?；趫D像迭代[23-24]和基于模型迭代[25-26]是常見的2種基于深度學(xué)習(xí)的圖像風(fēng)格遷移方法。

基于模型迭代的方法調(diào)參過程繁瑣，且需要大量數(shù)據(jù)訓(xùn)練。而基于圖像迭代的方法合成圖像的質(zhì)量高，易于調(diào)參，無須訓(xùn)練，適用于解決本文中手勢(shì)分割的領(lǐng)域自適應(yīng)問題。因此，本文將風(fēng)格遷移應(yīng)用于領(lǐng)域自適應(yīng)中，采用VGG網(wǎng)絡(luò)，分別提取源域圖像、源域白噪聲圖像和目標(biāo)域圖像各層特征，采用圖像迭代的方式，不斷優(yōu)化風(fēng)格化總損失函數(shù)，最終重構(gòu)源域非訓(xùn)練集圖像，提高了本文手勢(shì)分割模型的泛化能力，實(shí)現(xiàn)了跨域手勢(shì)圖像的分割。

2 基于風(fēng)格遷移的手勢(shì)分割網(wǎng)絡(luò)模型

本文的基于風(fēng)格遷移的手勢(shì)分割網(wǎng)絡(luò)模型包括風(fēng)格遷移數(shù)據(jù)重構(gòu)模塊和手勢(shì)分割模塊，手勢(shì)分割模塊由主干網(wǎng)絡(luò)和上下文信息增強(qiáng)模塊2個(gè)部分組成，本文的網(wǎng)絡(luò)結(jié)構(gòu)如圖1(a)所示。風(fēng)格遷移數(shù)據(jù)重構(gòu)模塊使用基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移方法，重構(gòu)源域測(cè)試圖像，解決無標(biāo)記樣本的跨域分割問題；主干網(wǎng)絡(luò)采用五層網(wǎng)絡(luò)結(jié)構(gòu)，提取手勢(shì)圖像的多尺度特征；上下文信息增強(qiáng)模塊增加特征中的上下文信息，解決分割結(jié)果類內(nèi)不一致問題。

(a) 網(wǎng)絡(luò)整體結(jié)構(gòu)

(b) 殘差塊

(c) 空洞空間金字塔池化組

(d) 精細(xì)化殘差塊

(e) 通道注意塊

2.1 手勢(shì)分割模塊

手勢(shì)分割模塊包括主干網(wǎng)和上下文信息增強(qiáng)模塊這2個(gè)部分。主干網(wǎng)是一個(gè)基于HGR-Net手勢(shì)分割網(wǎng)絡(luò)構(gòu)建的多尺度卷積殘差網(wǎng)絡(luò)(Multiscale Fully Convolutional Residual Network， MFCRN)，包括一個(gè)7×7的卷積層、3個(gè)殘差組和一個(gè)空洞空間金字塔池化組。每個(gè)殘差組包含3個(gè)殘差塊，用于特征學(xué)習(xí)，并解決網(wǎng)絡(luò)加深出現(xiàn)的梯度消失問題；空洞空間金字塔池化組用于提取不同尺度的圖像特征；殘差塊和空洞空間金字塔池化組結(jié)構(gòu)如圖1(b)、圖1(c)所示。上下文信息增強(qiáng)模塊(Context Information Model, CIM)用于增加特征中的上下文信息，具體描述如下：

手勢(shì)分割結(jié)果中常常出現(xiàn)手勢(shì)內(nèi)部區(qū)域空洞或類膚色區(qū)域分割為手部等類內(nèi)不一致問題。類內(nèi)不一致問題主要是由于特征中丟失了過多的上下文信息，目前多用全局均值池化操作提取上下文信息。而上下文信息通常隱藏在各層特征圖的空間信息和語(yǔ)義信息中。一般而言，較低層特征中含有更多的空間信息，語(yǔ)義信息相對(duì)較少。由于感受野增大，較高層特征中含有更多的語(yǔ)義信息，空間信息相對(duì)較少。因此本文采用全局均值池化操作提取主干網(wǎng)相鄰兩層的上下文信息向量，用該向量作為相鄰2層特征融合的權(quán)重，提取顯著特征，增強(qiáng)特征中的上下文信息。

本文在主干網(wǎng)的后4層均連接上下文信息增強(qiáng)層，每個(gè)上下文信息增強(qiáng)層包含2個(gè)精細(xì)化殘差塊和一個(gè)通道注意塊。在基本殘差塊結(jié)構(gòu)之前加入1×1卷積層構(gòu)成精細(xì)化殘差塊，1×1卷積層用于統(tǒng)一提取特征的通道數(shù)，基本殘差塊結(jié)構(gòu)補(bǔ)充輸出特征的信息，精細(xì)化殘差塊的結(jié)構(gòu)如圖1(d)所示。通道注意塊連接相鄰兩層特征，提取相鄰2層的上下文信息，增加語(yǔ)義上下文信息和空間上下文信息的連續(xù)性。4個(gè)上下文信息增強(qiáng)層逐層嵌套連接構(gòu)成上下文信息增強(qiáng)模塊。

通道注意塊首先使用全局均值池化(Global Average Pooling, GAP)操作，提取相鄰2層特征中的上下文信息向量α1。

α1=GAP[Inputlow,Inputhigh]

(1)

然后對(duì)α1進(jìn)行歸一化操作，得到歸一化向量α。

α=Activation(ω×α1+bias)

(2)

其中，Activation為激活函數(shù)，ω為權(quán)重，bias為偏置。

接著使用向量α對(duì)低層輸入特征進(jìn)行加權(quán)操作，并與高層特征進(jìn)行融合，最終輸出含有上下文信息的顯著性特征。

Out=(α×Inputlow)+Inputhigh

(3)

通道注意塊結(jié)構(gòu)如圖1(e)所示。

2.2 風(fēng)格遷移數(shù)據(jù)重構(gòu)模塊

本文在數(shù)據(jù)預(yù)處理階段增加風(fēng)格遷移數(shù)據(jù)重構(gòu)模塊，使用基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移方法，通過圖像迭代的方式，對(duì)源域測(cè)試樣本圖像進(jìn)行數(shù)據(jù)重構(gòu)，使其同時(shí)具有自身內(nèi)容和目標(biāo)域訓(xùn)練樣本的風(fēng)格特征，從而提高本文手勢(shì)分割模型的泛化能力。本文的風(fēng)格遷移數(shù)據(jù)重構(gòu)模塊結(jié)構(gòu)如圖1(a)所示。具體方法如下：

對(duì)測(cè)試集中的源域圖像加入白噪聲，分別將源域圖像P和加噪源域圖像F輸入到預(yù)訓(xùn)練好的含有5個(gè)池化層和16個(gè)卷積層的五層VGG(Visual Geometry Group)[27]網(wǎng)絡(luò)中，獲得每一層的響應(yīng)圖Pl和Fl。由于網(wǎng)絡(luò)較高層的特征響應(yīng)圖能夠捕捉輸入圖像中目標(biāo)及其布局等內(nèi)容信息，而網(wǎng)絡(luò)較低層的特征響應(yīng)圖中則保留更多輸入圖像的像素值。本文的手勢(shì)分割任務(wù)需要保留自采樣本中更多的手勢(shì)及其布局等內(nèi)容信息，因此，本文計(jì)算第4層源域圖像特征響應(yīng)圖P4和加噪源域圖像特征響應(yīng)圖F4的誤差，將其作為內(nèi)容損失Losscontent。

(4)

選取訓(xùn)練集中分割結(jié)果最好的一幅圖像作為目標(biāo)域圖像A，將其也輸入到該VGG網(wǎng)絡(luò)中，獲得目標(biāo)域風(fēng)格圖像的特征響應(yīng)圖Al，計(jì)算Al與Fl的Gram矩陣Gl的均方誤差El：

(5)

將每層誤差值的加權(quán)和作為風(fēng)格損失Lossstyle：

(6)

總損失函數(shù)Losstotal定義為內(nèi)容損失和風(fēng)格損失的加權(quán)和：

Losstotal=αLossstyle+Losscontent

(7)

其中，權(quán)重α表示源域圖像的風(fēng)格化程度。

最后通過Adam優(yōu)化器，不斷進(jìn)行圖像迭代，最小化總損失值，獲得源域測(cè)試圖像風(fēng)格化遷移后的輸出圖。

3 相關(guān)實(shí)驗(yàn)

3.1 數(shù)據(jù)集及模型訓(xùn)練

本文將OUHANDS公開數(shù)據(jù)集[28]作為基礎(chǔ)數(shù)據(jù)集，加入本文自采的樣本數(shù)據(jù)構(gòu)成擴(kuò)展數(shù)據(jù)集。OUHANDS數(shù)據(jù)集共3000個(gè)樣本，其中2000張圖像為訓(xùn)練集、500張圖像為驗(yàn)證集、500張圖像為測(cè)試集。該數(shù)據(jù)集由23位實(shí)驗(yàn)人員參加制作，包括10種手勢(shì)，這些手勢(shì)圖像分別在不同光照、不同背景下采集，同時(shí)具有手勢(shì)尺度多樣性。自采樣本共390個(gè)，由8位志愿者在實(shí)驗(yàn)室、宿舍等室內(nèi)自然手勢(shì)交互場(chǎng)景中采集。將其中的280張加入OUHANDS訓(xùn)練集中構(gòu)成擴(kuò)展訓(xùn)練集，110張用來驗(yàn)證本文方法的性能。本文自采樣本及其真值圖如圖2所示，其中真值圖是使用標(biāo)記工具LabelMe標(biāo)記生成的。

(a)圖例1 (b)圖例2 (c)圖例3 (d)圖例4 圖2 自采集圖像樣本中的4個(gè)圖例

本文實(shí)驗(yàn)均是在CPU為Intel(R) Core(TM) i7-8700，內(nèi)存為16 GB，顯卡為NVIDIA GeForce GTX 1060 6 GB的硬件環(huán)境下，使用Python3.7和深度學(xué)習(xí)框架Keras完成。訓(xùn)練階段中，batch_size設(shè)置為1，epoch設(shè)置為150，選用交叉熵?fù)p失函數(shù)(Cross-entropy cost function)，并使用自適應(yīng)矩估計(jì)(Adaptive moment estimation, Adam)算法作為優(yōu)化算法，其參數(shù)分別為lr=0.001，β1=0.9，β2=0.999。風(fēng)格遷移數(shù)據(jù)重構(gòu)模塊中，由于目標(biāo)域圖像不同層的特征響應(yīng)圖包含不同的風(fēng)格特征，為均衡地保留目標(biāo)域圖像在網(wǎng)絡(luò)各階段的風(fēng)格表達(dá)，公式(6)中的權(quán)重均設(shè)置為1。此外，110幅自采樣本調(diào)參實(shí)驗(yàn)表明，公式(7)中風(fēng)格化參數(shù)的取值與自采樣本的背景復(fù)雜度和光照條件有關(guān)，且合理取值區(qū)間為[0.1,1]。

為簡(jiǎn)化標(biāo)記，將本文手勢(shì)分割模塊標(biāo)記為MFCRN+CIM(Multiscale Fully Convolutional Residual Network+Context Information Mode)。首先使用OUHANDS數(shù)據(jù)集依次訓(xùn)練FCN[2]、HGR-Net[1]和MFCRN+CIM，并使用該數(shù)據(jù)集的測(cè)試樣本進(jìn)行測(cè)試，來驗(yàn)證本文手勢(shì)分割模塊的性能。然后使用擴(kuò)展數(shù)據(jù)集，再次訓(xùn)練MFCRN+CIM，并將其標(biāo)記為MFCRN+CIM+ADD，使用自采樣本進(jìn)行測(cè)試。最后在MFCRN+CIM中加入風(fēng)格遷移數(shù)據(jù)重構(gòu)模塊，使用自采樣本進(jìn)行測(cè)試，驗(yàn)證本文領(lǐng)域自適應(yīng)方法的有效性。

3.2 實(shí)驗(yàn)結(jié)果

使用橢圓膚色模型[7]、FCN-8s[2]、HGR-Net[1]和MFCRN+CIM在OUHANDS數(shù)據(jù)集的手勢(shì)分割結(jié)果如圖3所示。可以看出，使用橢圓膚色模型受類膚色區(qū)域和光照的影響最嚴(yán)重，手勢(shì)分割結(jié)果最差；使用FCN-8s模型得到的分割結(jié)果存在嚴(yán)重的類內(nèi)不一致和邊緣模糊的問題；使用HGR-Net模型得到的分割結(jié)果優(yōu)于FCN-8s，但存在誤檢以及手勢(shì)內(nèi)部存在空洞等類內(nèi)不一致問題；MFCRN+CIM的分割結(jié)果中手勢(shì)內(nèi)部區(qū)域完整度和手勢(shì)邊緣清晰度較HGR-Net模型更好，類內(nèi)不一致問題也得到了解決。

(a) 原圖

(b) 真值圖

(d) FCN-8s模型分割結(jié)果

(e) HGR-Net模型分割結(jié)果

(f) MFCRN+CIM分割結(jié)果圖3 OUHANDS數(shù)據(jù)集上部分測(cè)試結(jié)果

本文使用均交并比值(Mean Intersection over Union， mIoU)和平均像素準(zhǔn)確率(Mean Pixel Accuracy， MPA)作為分割精確程度的評(píng)價(jià)標(biāo)準(zhǔn)[29]，使用上述4種方法在500張OUHANDS測(cè)試樣本上測(cè)試，mIoU和MPA值如表1所示?？梢钥闯觯疚牡腗FCRN+CIM的mIoU值、MPA值均為最高，較HGR-Net模型分別提高了3.2個(gè)百分點(diǎn)和1.8個(gè)百分點(diǎn)。

表1 4種方法的分割結(jié)果

實(shí)驗(yàn)結(jié)果表明，本文的手勢(shì)分割模塊可以解決手勢(shì)內(nèi)部空洞和臉部類膚色區(qū)域誤檢等類內(nèi)不一致問題，手勢(shì)分割結(jié)果的準(zhǔn)確度高于HGR-Net、FCN-8s和膚色模型。

使用本文自采樣本對(duì)MFCRN+CIM和MFCRN+CIM+ADD模型進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如圖4所示。由圖4(c)、圖4(d)對(duì)比可知，MFCRN+CIM的檢測(cè)結(jié)果中，僅有一小部分自采圖像可以較準(zhǔn)確地分割出手勢(shì)區(qū)域，對(duì)于某些背景復(fù)雜度高、光照不均勻的樣本，幾乎檢測(cè)不到手勢(shì)區(qū)域；MFCRN+CIM+ADD的分割結(jié)果有所改善，但依然不能得到完整的手勢(shì)區(qū)域。

(a) 原圖

(b) 真值圖

(c) MFCRN+CIM模型分割結(jié)果

(d) MFCRN+CIM+ADD模型分割結(jié)果圖4 自采集樣本的部分測(cè)試結(jié)果

在本文手勢(shì)分割模塊之前加入風(fēng)格遷移數(shù)據(jù)重構(gòu)模塊，對(duì)110張自采集圖像進(jìn)行測(cè)試，部分手勢(shì)分割結(jié)果如圖5所示。由圖5(d)和圖5(e)對(duì)比可以看出，風(fēng)格遷移后的手勢(shì)分割準(zhǔn)確度比未遷移的準(zhǔn)確度有較大程度的改善，遷移后的分割結(jié)果可以得到更為完整的手勢(shì)區(qū)域。圖6給出了110張自采集樣本風(fēng)格遷移前后的mIoU值和MPA值曲線，可以看出，110張自采樣本遷移后的分割結(jié)果均有不同程度的提高。110張自采集樣本遷移前后mIoU的平均值分別為0.6034和0.7931，遷移前后的MPA平均值分別為0.6589和0.8899，分別提高了19個(gè)百分點(diǎn)和23個(gè)百分點(diǎn)。

(a) 原圖

(b) 風(fēng)格遷移后的結(jié)果圖

(c) 真值圖

(d)MFCRN+CIM遷移前圖像的分割結(jié)果

(e) MFCRN+CIM遷移后圖像的分割結(jié)果圖5 自采集圖像風(fēng)格遷移前后的部分測(cè)試結(jié)果

(a) mIoU值曲線

(b) MPA值曲線圖6 風(fēng)格遷移前后自采樣本的mIoU和MPA值曲線

4 結(jié)束語(yǔ)

針對(duì)HGR-Net手勢(shì)分割網(wǎng)絡(luò)模型存在類內(nèi)不一致和模型泛化能力較弱的問題，本文提出了一種基于風(fēng)格遷移的手勢(shì)分割方法。首先選擇HGR-Net手勢(shì)分割網(wǎng)絡(luò)前5層作為本文的主干網(wǎng)，并引入上下文信息增強(qiáng)模塊，使用全局均值池化操作，提取相鄰2層的上下文信息向量，使用歸一化向量加權(quán)并融合相鄰兩層特征，增加顯著性特征通道的權(quán)重，增強(qiáng)特征中上下文信息的連續(xù)性。在OUHANDS數(shù)據(jù)集的測(cè)試結(jié)果表明，均交并比和平均像素準(zhǔn)確率分別達(dá)到0.9143和0.9363，較HGR-Net手勢(shì)分割模型分別提高了3.2個(gè)百分點(diǎn)和1.8個(gè)百分點(diǎn)。然后在數(shù)據(jù)預(yù)處理階段加入風(fēng)格遷移數(shù)據(jù)重構(gòu)模塊，使用VGG網(wǎng)絡(luò)，通過圖像迭代方式，將源域測(cè)試樣本遷移到目標(biāo)域訓(xùn)練樣本圖像中，使其具有自身內(nèi)容和目標(biāo)域圖像的風(fēng)格特征，實(shí)現(xiàn)了源域數(shù)據(jù)重構(gòu)。在自采集測(cè)試集的實(shí)驗(yàn)結(jié)果表明，本文方法可將非訓(xùn)練集樣本的分割結(jié)果均交并比和平均像素準(zhǔn)確率分別提高19個(gè)百分點(diǎn)和23個(gè)百分點(diǎn)，可以大幅度提高模型的泛化能力。本文提出的風(fēng)格遷移領(lǐng)域自適應(yīng)方法為無標(biāo)記樣本的跨域分割提供了一個(gè)新的思路。