李維乾,張紫云,王 海,張 藝

1(西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,西安 710048)

2(陜西省服裝設(shè)計(jì)智能化重點(diǎn)實(shí)驗(yàn)室,西安 710048)

3(新型網(wǎng)絡(luò)智能信息服務(wù)國家地方聯(lián)合工程研究中心,西安 710048)

4(西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,西安 710127)

在電子商務(wù)應(yīng)用領(lǐng)域,常采用服裝關(guān)鍵點(diǎn)從視覺方面來描述服裝的形態(tài)信息,從而將感興趣的服裝推薦給消費(fèi)者,進(jìn)而滿足客戶的個(gè)性化需求.而現(xiàn)有數(shù)據(jù)集中,因服飾圖片存在背景復(fù)雜、服飾變形等問題,導(dǎo)致服裝關(guān)鍵點(diǎn)的檢測(cè)精度不高.為此,Liu 等人[1]基于深度學(xué)習(xí)Caffe 框架,構(gòu)建了三層級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型,利用深度時(shí)尚對(duì)齊技術(shù)(Deep Fashion Alignment,DFA)完成了服裝關(guān)鍵點(diǎn)的檢測(cè)研究.但該模型未對(duì)復(fù)雜背景下的圖片進(jìn)行處理,尤其是當(dāng)服飾部分關(guān)鍵點(diǎn)被遮擋或服飾發(fā)生變形時(shí),該模型對(duì)關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確率會(huì)降低.Yan 等[2]采用VGG16 (Visual Geometry Group)模型構(gòu)建了DLAN (Deep LAndmark Network)網(wǎng)絡(luò),該網(wǎng)絡(luò)對(duì)因人體姿態(tài)不同產(chǎn)生變形的服裝關(guān)鍵點(diǎn)進(jìn)行了檢測(cè).Wang 等人[3]提出了一種雙向卷積遞歸神經(jīng)網(wǎng)絡(luò) (Bidirectional Convolutional Recurrent Neural Networks,BCRNNs),根據(jù)運(yùn)動(dòng)學(xué)和服裝對(duì)稱關(guān)系來檢測(cè)服裝關(guān)鍵點(diǎn).然而DLAN 和BCRNNs 在對(duì)圖像特征進(jìn)行提取時(shí),僅使用了圖像的深層信息,未能融合多層網(wǎng)絡(luò)語義信息,導(dǎo)致關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確率較低.

針對(duì)以上問題,本文提出了一種自上而下的級(jí)聯(lián)層疊金字塔網(wǎng)絡(luò)模型(Cascaded Stacked Pyramid Network,CSPN)用于服裝關(guān)鍵點(diǎn)的檢測(cè).首先,采用Faster R-CNN[4]對(duì)服裝目標(biāo)區(qū)域進(jìn)行定位,以確定服裝的位置,消除圖像中與服飾無關(guān)的圖像特征.然后,利用ResNet-101[5]提取服裝區(qū)域的圖像特征.以此為基礎(chǔ),將多個(gè)不同深度的特征圖疊加在一起,構(gòu)成級(jí)聯(lián)層疊特征金字塔[6]網(wǎng)絡(luò)結(jié)構(gòu),有效融合服飾圖像的原始特征、全局特征和局部特征,逐步對(duì)關(guān)鍵點(diǎn)進(jìn)行預(yù)測(cè)與修正,從而提高服裝關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確度.

1 服裝關(guān)鍵點(diǎn)檢測(cè)

在傳統(tǒng)的關(guān)鍵點(diǎn)檢測(cè)中,采用全連接層直接回歸坐標(biāo)點(diǎn)[7].該類做法的優(yōu)點(diǎn)是輸出即為坐標(biāo)點(diǎn),訓(xùn)練和前向速度很快,且是端到端的全微分訓(xùn)練,但缺點(diǎn)是缺乏空間泛化能力,丟失了特征圖上的空間信息.此方法不利于檢測(cè)被遮擋的服裝關(guān)鍵點(diǎn).而本文采用預(yù)測(cè)高斯熱圖的方式,輸出特征圖大,空間泛化能力較強(qiáng).

如圖1 所示,原始圖片經(jīng)過金字塔網(wǎng)絡(luò)提取特征之后,融合高低層特征信息,生成預(yù)測(cè)關(guān)鍵點(diǎn)熱圖,計(jì)算Loss 并反向傳播.

圖1 預(yù)測(cè)關(guān)鍵點(diǎn)熱圖并回傳Loss

2 層疊金字塔網(wǎng)絡(luò)模型

CSPN 模型將基于目標(biāo)檢測(cè)和基于回歸檢測(cè)的方法相結(jié)合,通過構(gòu)建級(jí)聯(lián)層疊特征金字塔網(wǎng)絡(luò)模型來提高服裝關(guān)鍵點(diǎn)的檢測(cè)準(zhǔn)確率.該模型包含兩個(gè)階段,第一階段Detection Proposal 是對(duì)服裝區(qū)域進(jìn)行識(shí)別,第二階段Detection KeyPoint 是利用識(shí)別后的特征圖對(duì)服裝關(guān)鍵點(diǎn)檢測(cè).圖2 為該模型對(duì)服裝關(guān)鍵點(diǎn)進(jìn)行檢測(cè)的過程.

圖2 服裝關(guān)鍵點(diǎn)檢測(cè)過程

2.1 服裝目標(biāo)區(qū)域識(shí)別網(wǎng)絡(luò)(Detection Proposal)

針對(duì)復(fù)雜背景下關(guān)鍵點(diǎn)識(shí)別率低的問題,CSPN 模型利用Faster R-CNN 對(duì)服裝目標(biāo)區(qū)域進(jìn)行識(shí)別,其流程如圖3 所示.首先,利用VGG16 卷積層對(duì)服裝圖片數(shù)據(jù)進(jìn)行特征提取,將生成的feature map1 特征圖一方面用作服裝邊界框proposals 的生成,另一方面將該feature map1 特征圖和生成的proposals 邊界框作為RoI (Region of Interest)pooling 層的輸入,得到固定大小的輸出特征圖(feature map2).然后,利用分類器(Classifier)對(duì)固定大小的feature map2 進(jìn)行全連接操作.最后,使用L1 Loss 邊框回歸操作,獲得服裝區(qū)域的精確位置.

圖3 服裝目標(biāo)區(qū)域識(shí)別網(wǎng)絡(luò)流程圖

2.2 服裝關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)(Detection KeyPoint)

對(duì)于圖像特征圖,較低尺度圖像往往含有豐富的語義信息,對(duì)圖像上半部分的關(guān)鍵點(diǎn)檢測(cè)效果較好;而更高尺度的圖像含有豐富的空間紋理信息,對(duì)圖像下半部分關(guān)鍵點(diǎn)的檢測(cè)效果較好[8].因此,CSPN 模型采用級(jí)聯(lián)金字塔網(wǎng)絡(luò)自上而下的對(duì)圖像特征進(jìn)行提取,從語義豐富的深層圖像特征圖中,通過上采樣方式重新構(gòu)建高分辨率的淺層,達(dá)到對(duì)關(guān)鍵點(diǎn)進(jìn)行定位的目的.由于經(jīng)過上采樣之后的圖像,在關(guān)鍵點(diǎn)檢測(cè)時(shí)存在偏差,所以需要在上采樣重建時(shí)將相應(yīng)的高分辨率特征圖疊加在一起,經(jīng)過關(guān)鍵點(diǎn)信息的重復(fù)利用及級(jí)聯(lián)方式,不斷修正關(guān)鍵點(diǎn)位置,從而提高關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確率.

服裝關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)的模型結(jié)構(gòu)分為Stage1、Stage2、Stage3 和Stage4 共4 個(gè)階段,如圖4 所示.Stage1 階段是對(duì)ResNet-101 中的特征圖進(jìn)行上采樣后疊加操作,輸出3 個(gè)特征圖作為下一階段的輸入記做L1.L1 中3 個(gè)特征圖像素值的大小分別為64*64、128*128 和256*256.L0 表示殘差網(wǎng)絡(luò)ResNet-101 中的特征圖,本文選取conv2～5 最后殘差塊的特征圖;Up 為上采樣操作Up sampling;+為將上采樣擴(kuò)大后的圖像與其同像素大小的圖像疊加.Stage2 是對(duì)L1 特征圖重復(fù)進(jìn)行上采樣和疊加操作,其輸出特征圖和L1 中的conv5 記做L2,作為Stage3 的輸入.Stage3 和Stage4 復(fù)制Stage1 和Stage2 過程,通過多級(jí)級(jí)聯(lián)模式生成最終的L4 特征圖(大小為256*256),即為服裝關(guān)鍵點(diǎn)的預(yù)測(cè)結(jié)果.在4 個(gè)階段中,每個(gè)階段均以前一個(gè)階段的預(yù)測(cè)結(jié)果作為輸入,通過級(jí)聯(lián)方式提高關(guān)鍵點(diǎn)的檢測(cè)精度.

對(duì)于可見關(guān)鍵點(diǎn),Stage1 階段可直接預(yù)測(cè)得到.服裝圖片經(jīng)過網(wǎng)絡(luò)模型輸出8 個(gè)關(guān)鍵點(diǎn)的heatmap(數(shù)據(jù)集定義服裝關(guān)鍵點(diǎn)為8 個(gè)),把每個(gè)heatmap 計(jì)算Loss 之后再回傳,Loss 表達(dá)式為式(1),記為 L2.

其中,n 表示關(guān)鍵點(diǎn)的個(gè)數(shù),k gi,k pi分別表示標(biāo)注的關(guān)鍵點(diǎn)坐標(biāo)和預(yù)測(cè)的關(guān)鍵點(diǎn)坐標(biāo).

對(duì)于不可見關(guān)鍵點(diǎn),可通過增大感受野,以級(jí)聯(lián)層疊的方式來獲得關(guān)鍵點(diǎn).Stage2,Stage3 和Stage4 階段,關(guān)鍵點(diǎn)檢測(cè)難度依賴于關(guān)鍵點(diǎn)訓(xùn)練時(shí)的損失,因此,在訓(xùn)練過程中取前K(K=4)個(gè)損失值較大的關(guān)鍵點(diǎn)計(jì)算Loss 并回傳,Loss 表達(dá)式記為 L2?.與Stage1 階段Loss 不同的是,關(guān)鍵點(diǎn)的個(gè)數(shù)n =K.

圖4 級(jí)聯(lián)層疊金字塔服裝關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)模型

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

實(shí)驗(yàn)選用DeepFashion 數(shù)據(jù)庫進(jìn)行訓(xùn)練和測(cè)試,其Landmark Detection Benchmark 是該數(shù)據(jù)庫中一個(gè)公開的大型服裝數(shù)據(jù)集,包括12.3 萬張服裝圖片,有上衣(6 個(gè)關(guān)鍵點(diǎn))、下裝(4 個(gè)關(guān)鍵點(diǎn))、全身(8 個(gè)關(guān)鍵點(diǎn))3 種服裝類型,且存在正常、中等、嚴(yán)重等不同程度的變形圖片.圖5 為全身類服裝8 個(gè)關(guān)鍵點(diǎn)的標(biāo)注.本文從該數(shù)據(jù)集中選取8.6 萬張服裝圖片作為訓(xùn)練數(shù)據(jù)集,3.7 萬張作為測(cè)試數(shù)據(jù)集.

圖5 全身類服裝關(guān)鍵點(diǎn)

3.2 評(píng)價(jià)指標(biāo)

CSPN 模型采用NE (Normalized Error)值作為評(píng)價(jià)指標(biāo),該值只考慮關(guān)鍵點(diǎn)可見情況下,預(yù)測(cè)關(guān)鍵點(diǎn)與實(shí)際關(guān)鍵點(diǎn)之間的平均歸一化距離.數(shù)值越小代表預(yù)測(cè)的精確越高.

其中,k 為一張圖片里關(guān)鍵點(diǎn)的編號(hào),dk為預(yù)測(cè)關(guān)鍵點(diǎn)和標(biāo)注關(guān)鍵點(diǎn)間的距離,sk為距離歸一化參數(shù)(上裝及全身為左右袖口的歐式距離,下裝為左右腰側(cè)的歐式距離),vk表示該關(guān)鍵點(diǎn)是否可見.在數(shù)據(jù)集標(biāo)注中,1 表示關(guān)鍵點(diǎn)可見,0 表示關(guān)鍵點(diǎn)不可見,-1 表示關(guān)鍵點(diǎn)不存在.vk=1表 示k 關(guān)鍵點(diǎn)可見,δ (vk=1)表示編號(hào)為k 關(guān)鍵點(diǎn)參與計(jì)算.∑kδ(vk=1)表示計(jì)算所有圖片中編號(hào)為k 的關(guān)鍵點(diǎn)的可見個(gè)數(shù).

3.3 實(shí)驗(yàn)結(jié)果分析

由于關(guān)鍵點(diǎn)檢測(cè)誤差除與模型訓(xùn)練時(shí)的迭代次數(shù)有關(guān),還與級(jí)聯(lián)層疊特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)相關(guān).當(dāng)級(jí)聯(lián)層疊特征金字塔中層疊數(shù)和級(jí)聯(lián)數(shù)大于4 時(shí),繼續(xù)增加特征金字塔結(jié)構(gòu)中層疊數(shù)和級(jí)聯(lián)數(shù),不僅不能有效提升檢測(cè)效果,而且會(huì)導(dǎo)致訓(xùn)練參數(shù)增加,從而降低訓(xùn)練效率.因而,本實(shí)驗(yàn)將特征金字塔層疊數(shù)設(shè)置為1～4,并統(tǒng)計(jì)4 個(gè)階段中全身類服飾8 個(gè)關(guān)鍵點(diǎn)的平均NE 值,如表1 所示.

表1 在Landmark Detection Benchmark 數(shù)據(jù)集關(guān)鍵點(diǎn)檢測(cè)的NE 值

表1 列舉了CSPN 模型與FashionNet[9]、DFA 和DLAN 模型實(shí)驗(yàn)結(jié)果的對(duì)比.FashionNet 模型基于VGG16 結(jié)構(gòu),采用回歸方法檢測(cè)關(guān)鍵點(diǎn);DFA 模型則基于VGG16 結(jié)構(gòu),通過3 層級(jí)聯(lián)形式使用回歸方式預(yù)測(cè)關(guān)鍵點(diǎn);DLAN 模型是基于服裝關(guān)鍵點(diǎn)原始數(shù)據(jù)的訓(xùn)練.表1 中,L.Collar (LC),R.Collar (RC),L.Sleeve(LS),R.Sleeve (RS),L.Waistline (LW),R.Waistline (RW),L.Hem(LH),R.Hem (RH)分別表示左衣領(lǐng)、右衣領(lǐng)、左袖口、右袖口、左腰側(cè)、右腰側(cè)、左下擺、右下擺.

從表1 可以看出,由于CSPN 模型引入了服裝區(qū)域檢測(cè)網(wǎng)絡(luò),并采用級(jí)聯(lián)層疊特征金字塔網(wǎng)絡(luò),有效的提高了關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確率.

表2 為采用區(qū)域檢測(cè)網(wǎng)絡(luò)和未采用區(qū)域檢測(cè)網(wǎng)絡(luò)的服裝關(guān)鍵點(diǎn)NE 值對(duì)比.其中CSPN 為本文模型,NCSPN 為去掉服裝區(qū)域檢測(cè)網(wǎng)絡(luò)Detection Proposal的模型.

表2 是否采用檢測(cè)網(wǎng)絡(luò)關(guān)鍵點(diǎn)檢測(cè)的NE 值

從表2 中可以看出,相較于去掉服裝區(qū)域檢測(cè)網(wǎng)絡(luò),CSPN 模型具有更高的檢測(cè)準(zhǔn)確率.在實(shí)驗(yàn)過程中,缺少區(qū)域檢測(cè)的步驟會(huì)導(dǎo)致左右袖口和左右衣擺易變形位置的關(guān)鍵點(diǎn)檢測(cè)準(zhǔn)確率較低.而CSPN 模型可以有效地解決這一問題.

另外,圖6 列舉了級(jí)聯(lián)層疊金字塔結(jié)構(gòu)中采用不同級(jí)聯(lián)階段時(shí)8 個(gè)關(guān)鍵點(diǎn)的平均NE 值及表3 為不同Stage 的算法性能對(duì)比.

實(shí)驗(yàn)中最終將NE 降低到5.56%,一張圖片在模型上的檢測(cè)時(shí)間為1 s.隨著層疊特征金字塔級(jí)聯(lián)數(shù)量的增加,關(guān)鍵點(diǎn)的預(yù)測(cè)值與真實(shí)值之間的距離逐漸縮小,說明關(guān)鍵點(diǎn)的檢測(cè)準(zhǔn)確性得到了有效提高,驗(yàn)證了CSPN 模型的有效性.

圖7 為CSPN 模型在人體不同姿態(tài)下,對(duì)全身類服飾8 個(gè)關(guān)鍵點(diǎn)的檢測(cè)效果.

圖6 各關(guān)鍵點(diǎn)不同Stage 平均誤差

表3 不同Stage 的性能對(duì)比

圖 7 不同人體姿態(tài)下全身類服飾關(guān)鍵點(diǎn)的檢測(cè)效果

4 結(jié)束語

針對(duì)現(xiàn)有服裝數(shù)據(jù)庫中,因服飾圖片存在形變及背景復(fù)雜等因素導(dǎo)致服裝分類識(shí)別率較低的問題,本文結(jié)合服裝目標(biāo)區(qū)域識(shí)別和關(guān)鍵點(diǎn)回歸方法,提出了級(jí)聯(lián)層疊金字塔網(wǎng)絡(luò)CSPN 模型.該模型在DeepFashion數(shù)據(jù)集上與其他3 種網(wǎng)絡(luò)模型進(jìn)行了對(duì)比,結(jié)果顯示:CSPN 模型能夠有效提升服裝關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確率.由于實(shí)驗(yàn)中采用的圖像特征提取網(wǎng)絡(luò)ResNet-101 結(jié)構(gòu)存在參數(shù)較多、效率較低等缺陷,因而后續(xù)計(jì)劃通過改變或替換該網(wǎng)絡(luò)結(jié)構(gòu),進(jìn)一步提高關(guān)鍵點(diǎn)檢測(cè)精度.