張萌巖，何儒漢

(武漢紡織大學(xué) 湖北省服裝信息化工程技術(shù)研究中心,湖北 武漢 430200)

0 引 言

近年來，服裝電商的快速發(fā)展積累了海量服裝圖像，如何理解、區(qū)分和識(shí)別不同的服裝圖像并從中獲取有價(jià)值的信息，成為目前研究的熱點(diǎn).服飾屬性標(biāo)簽識(shí)別作為服飾圖像檢索、標(biāo)簽導(dǎo)航等應(yīng)用的基礎(chǔ)，具有重大的研究意義.為了更好地對(duì)服裝商品圖像進(jìn)行屬性標(biāo)簽的標(biāo)注，常用方法是：(1)手工標(biāo)注，即為服裝屬性設(shè)置相關(guān)的標(biāo)簽，基于人工設(shè)計(jì)的視覺特征實(shí)現(xiàn)服裝圖像的標(biāo)簽屬性識(shí)別；(2)傳統(tǒng)的自動(dòng)標(biāo)注，即借助數(shù)字圖像處理、模式識(shí)別的方法，基于底層的視覺特征進(jìn)行服裝的標(biāo)簽屬性分類.人工標(biāo)注方法費(fèi)時(shí)費(fèi)力、易出現(xiàn)主觀性偏差，不適應(yīng)當(dāng)前大數(shù)據(jù)時(shí)代的發(fā)展要求.傳統(tǒng)的自動(dòng)標(biāo)注方法在如何克服服裝標(biāo)簽屬性識(shí)別本身的表達(dá)上具有多義性和不確定性；同時(shí)，服裝圖像包含較多的細(xì)分類和視覺變化，包括款式、光照、形變、拍攝角度、背景影響等，其特殊性令其自動(dòng)標(biāo)注和識(shí)別更具挑戰(zhàn)性，使得依賴人工設(shè)計(jì)特征的傳統(tǒng)自動(dòng)標(biāo)注方法愈加難以滿足實(shí)際服裝圖像屬性識(shí)別的需要.

深度學(xué)習(xí)[1，2]近年來在學(xué)術(shù)界和工業(yè)界掀起了熱潮，是機(jī)器學(xué)習(xí)領(lǐng)域最令人矚目的方向，目前已誕生很多優(yōu)秀的算法.研究者們把深度學(xué)習(xí)和服裝圖像處理結(jié)合起來，取得了不錯(cuò)的成果.香港中文大學(xué)的Liu等人[3]收集了一個(gè)大規(guī)模且語義標(biāo)注全面的服裝數(shù)據(jù)集DeepFashion，提出了FashionNet，融合了大類、屬性、服裝ID以及關(guān)鍵點(diǎn)四種監(jiān)督信息來進(jìn)行服裝特征學(xué)習(xí).厲智等人[4]提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)服裝圖像分類檢索算法，采用深度卷積神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)庫中自動(dòng)學(xué)習(xí)服裝的類別特征并建立哈希索引，實(shí)現(xiàn)服裝圖像的快速索引.這些相關(guān)研究工作都使用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)服裝標(biāo)簽屬性識(shí)別，為了獲得更好的結(jié)果，卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)常通過增加用于提取特征的卷積層的數(shù)量來提升模型的識(shí)別能力.但是深度卷積網(wǎng)絡(luò)存在以下兩個(gè)問題：(1)卷積網(wǎng)絡(luò)深度過深，在訓(xùn)練網(wǎng)絡(luò)中會(huì)出現(xiàn)梯度消失、梯度爆炸等現(xiàn)象，致使訓(xùn)練困難[5].(2)隨著網(wǎng)絡(luò)模型結(jié)構(gòu)變得復(fù)雜，網(wǎng)絡(luò)模型的參數(shù)變多，雖然提升了準(zhǔn)確率，但是隨之帶來的是更大的計(jì)算量和更高的內(nèi)存需求，這會(huì)極大地影響模型對(duì)輸入圖像的處理速度，難以達(dá)到實(shí)時(shí)處理圖像的要求.

因此，借鑒深度殘差神經(jīng)網(wǎng)絡(luò)[6]在解決深層網(wǎng)絡(luò)訓(xùn)練時(shí)梯度消失問題的優(yōu)勢，本文設(shè)計(jì)了一種改進(jìn)的殘差神經(jīng)網(wǎng)絡(luò)，即Res-FashionAINet，來實(shí)現(xiàn)服裝圖像的標(biāo)簽屬性識(shí)別，取得較好的效果.該方法具有實(shí)現(xiàn)簡單、靈活、準(zhǔn)確率高、速度較快的優(yōu)點(diǎn)，較好地平衡了識(shí)別準(zhǔn)確率和運(yùn)行速度，在服裝屬性識(shí)別問題上具有一定優(yōu)勢.

1 基于改進(jìn)的殘差網(wǎng)絡(luò)的服裝標(biāo)簽屬性識(shí)別

1.1 殘差神經(jīng)網(wǎng)絡(luò)

2015年，MSRA的Kaiming He的殘差網(wǎng)絡(luò)將深度網(wǎng)絡(luò)的層深拓展到了152層，并在ImageNet競賽中以絕對(duì)優(yōu)勢取得了多個(gè)項(xiàng)目的冠軍.后來，Kaiming He將深度加到1000多層，同時(shí)也因該項(xiàng)工作獲得了2016 CVPR的最佳論文獎(jiǎng)[6].因此，本文提出的模型是在殘差卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上進(jìn)行改進(jìn)的，用于識(shí)別服裝圖像的標(biāo)簽屬性.

圖1 殘差塊的建立Figure.1 Residual learning: a building block

在訓(xùn)練深度網(wǎng)絡(luò)中，盡管已經(jīng)有了ReLU等一系列手段加深網(wǎng)絡(luò)，但仍會(huì)出現(xiàn)梯度爆炸、彌散的問題.單純的疊加layer，深層網(wǎng)絡(luò)的效果反而會(huì)變差，以至于造成網(wǎng)絡(luò)退化引起更大的誤差.所以ResNet深度殘差網(wǎng)絡(luò)ResNet的出現(xiàn)為訓(xùn)練更深的網(wǎng)絡(luò)提供了方法，主要特色是跨層連接.ResNet對(duì)每層輸入做一個(gè)reference,學(xué)習(xí)形成殘差函數(shù).這種殘差函數(shù)更容易優(yōu)化，能使網(wǎng)絡(luò)層數(shù)大大加深.假設(shè)殘差為F(x)=H(x)-x，那么現(xiàn)在不直接學(xué)習(xí)H(x) 而是去學(xué)習(xí)F(x)+x，即將H(x)映射為F(x)+x，那么網(wǎng)絡(luò)的映射F(x)趨向于F(x)=0.擬合殘差即把網(wǎng)絡(luò)按照圖1的跨層連接搭起來，殘差塊的結(jié)構(gòu)如圖1所示.

殘差塊中有二層，其中σ代表非線性函數(shù)ReLU，如下表達(dá)式：

F=W2σ(W1x)

(1)

然后通過一個(gè)shortcut，和第2個(gè)ReLU，獲得輸出y，如下表達(dá)式：

y=F(x,{Wi})+x

(2)

當(dāng)需要對(duì)輸入和輸出維數(shù)進(jìn)行變化時(shí)(如改變通道數(shù)目)，可以在shortcut時(shí)對(duì)x做一個(gè)線性變換WS，如下表達(dá)式：

y=F(x,{Wi})+WSx

(3)

殘差塊往往需要兩層以上，單單一層的殘差塊并不能起到提升作用.

1.2 改進(jìn)的殘差網(wǎng)絡(luò)模型

本文設(shè)計(jì)了一個(gè)用于服裝圖像標(biāo)簽屬性識(shí)別的神經(jīng)網(wǎng)絡(luò)模型Res-FashionAINet，基本結(jié)構(gòu)如圖2所示.本模型主要使用卷積模板，并穿插恒等模板，在模型尾部增加了Dropout層避免過擬合，同時(shí)也增加了全連接層增強(qiáng)輸出特征的表達(dá)能力.通過該模型提取服裝圖像的特征，繼而識(shí)別出服裝圖像的標(biāo)簽屬性.模型從網(wǎng)絡(luò)低層開始逐層學(xué)習(xí)服裝圖像特征的分布，并在網(wǎng)絡(luò)的全連接層將特征圖抽象為多維的特征向量，最終將特征向量輸入分類器預(yù)測標(biāo)簽對(duì)應(yīng)每個(gè)類別的概率，概率最高的被視為該圖像的識(shí)別結(jié)果.

在Res-FashionAINet模型中，輸入299×299的圖片，通道為3；經(jīng)過第一個(gè)Identity Block輸出74×74×256的卷積結(jié)果；經(jīng)過第二個(gè)Identity Block輸出37×37×512的卷積結(jié)果；經(jīng)過第三個(gè)Identity Block輸出19×19×1024的卷積結(jié)果；經(jīng)過第四個(gè)Identity Block輸出10×10×2048的卷積結(jié)果；Conv Block不會(huì)改變圖像的大小，它的作用是為了改變feature vector的dimension；然后加入Dropout層，每次訓(xùn)練迭代時(shí)隨機(jī)去掉部分神經(jīng)元，以避免過擬合；建立隱藏層，共有1024個(gè)神經(jīng)元；最后增加一個(gè)輸出層，共n個(gè)神經(jīng)元(對(duì)應(yīng)每種服裝圖像屬性的n個(gè)類別)并且使用softmax激活函數(shù)進(jìn)行轉(zhuǎn)換，Softmax可以將神經(jīng)元的輸出轉(zhuǎn)換為每一個(gè)圖像類別的概率.

相比傳統(tǒng)的特征提取方法，Res-FashionAINet能夠獲取更深層次的信息特征，這些特征信息大大增加了服裝標(biāo)簽屬性識(shí)別的準(zhǔn)確率和速率.

圖2 Res-FashionAINet網(wǎng)絡(luò)結(jié)構(gòu)圖Figure.2 Res-FashionAINe Network structure

Res-FashionAINet中采用了類似ResNet 的模塊化結(jié)構(gòu)，每個(gè)模塊由多個(gè)層和一個(gè)捷徑(shortcut)連接組成，shortcut將該模塊的輸入和輸出連接到了一起.然后在元素層面上執(zhí)行加法(add)運(yùn)算，如果輸入和輸出的大小不同，則使用零填充或投射(通過 1×1 卷積)來得到匹配的大小.同時(shí)Res-FashionAINet中包含了類似ResNet中的兩類模塊，如圖3所示，一個(gè)是恒等模塊，其輸入和輸出的維數(shù)相同，可串聯(lián)多個(gè)；另一個(gè)是卷積模塊，輸入和輸出的維數(shù)不同，故不能連續(xù)串聯(lián)，其作用可以改變特征向量的維數(shù).

圖3 恒等模塊(左)和卷積模塊(右)Figure.3 Identity Block(Left) and Conv Block(Right)

同時(shí)，本文將兩個(gè)3×3的卷積層替換為1×1 + 3×3 + 1×1,如圖4所示.新結(jié)構(gòu)中3×3的卷積層首先在一個(gè)降維1×1卷積層下減少了計(jì)算，然后在另一個(gè)1×1的卷積層做了還原，既能保持精度又能減少計(jì)算量.

圖4 殘差塊的優(yōu)化Figure.4 Optimization of Residual block

1.3 基于改進(jìn)的殘差網(wǎng)絡(luò)模型的服裝標(biāo)簽屬性識(shí)別

依據(jù)上述網(wǎng)絡(luò)模型，本文設(shè)計(jì)了基于Res-FashionAINet的服裝標(biāo)簽屬性識(shí)別模型，對(duì)服裝圖像屬性進(jìn)行識(shí)別分類，具體流程圖如圖5所示，具體步驟為：

(1)本實(shí)驗(yàn)使用FashionAI數(shù)據(jù)集中8種不同服裝的圖片數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，每種服裝的訓(xùn)練數(shù)據(jù)大約一萬張圖片；

(2)對(duì)獲取的數(shù)據(jù)集進(jìn)行整理：讀取每張圖片的路徑和標(biāo)簽，將圖片按照對(duì)應(yīng)的標(biāo)簽放入train_valid目錄下對(duì)應(yīng)的類別目錄中，然后前90%的數(shù)據(jù)用來做訓(xùn)練，剩下的用來做驗(yàn)證；

(3)定義訓(xùn)練集和驗(yàn)證集的圖片增廣函數(shù)，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充；

(4)數(shù)據(jù)準(zhǔn)備完畢后，為分別從屬于8個(gè)類別的圖片設(shè)計(jì)模型，將它們準(zhǔn)確分類，可認(rèn)為不同屬性的服飾從屬于不同的類別，在實(shí)驗(yàn)中不斷調(diào)整參數(shù)進(jìn)行對(duì)比，從而選出最佳參數(shù)；

(5)定義輔助函數(shù)：Mean Average Precision平均準(zhǔn)確率均值，對(duì)實(shí)驗(yàn)的性能進(jìn)行評(píng)估；

(6)訓(xùn)練結(jié)束后，讀取測試集圖片的路徑，根據(jù)訓(xùn)練好的模型對(duì)數(shù)據(jù)進(jìn)行預(yù)測，并判斷預(yù)測的類型是否準(zhǔn)確.

圖5 服裝標(biāo)簽屬性識(shí)別算法流程圖Figure.5 Algorithm Flowchart

2 實(shí)驗(yàn)評(píng)價(jià)與性能分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)采用的是FashionAI數(shù)據(jù)集，該數(shù)據(jù)集作為大規(guī)模高質(zhì)量時(shí)尚數(shù)據(jù)集，包含8種屬性維度共計(jì)114805張圖像，其圖像分類層次結(jié)構(gòu)如圖6所示，其中包括頸線設(shè)計(jì)、領(lǐng)子設(shè)計(jì)、脖頸設(shè)計(jì)、翻領(lǐng)設(shè)計(jì)、袖長、衣長、裙長和褲長共計(jì)8種屬性.本文期望數(shù)據(jù)是類似ImageNet的格式組織的，即每一類圖片都統(tǒng)一放在一個(gè)目錄下，故將所有整理后的數(shù)據(jù)放進(jìn)train_valid目錄[7]，具體的目錄結(jié)構(gòu)如圖7所示.數(shù)據(jù)標(biāo)簽是若干個(gè)n和一個(gè)y組成的字符串，字母y出現(xiàn)的位置即圖片對(duì)應(yīng)的類型.

圖6 FashionAI數(shù)據(jù)集特征圖Figure.6 FashionAI Dataset feature map

圖7 訓(xùn)練集目錄結(jié)構(gòu)圖 Figure.7 Test Dataset directory structure map

圖8 屬性值遮擋示意圖Figure.8 Attribute value Blocking Schematic

該數(shù)據(jù)集中的數(shù)據(jù)具有這些特性：(1)互斥：一個(gè)屬性維度下，屬性值之間是互斥的，不能同時(shí)成立.(2)獨(dú)立：一個(gè)圖像中，不同屬性維度下的屬性值可同時(shí)存在，它們之間相互獨(dú)立.(3)每個(gè)屬性維度下都有一個(gè)屬性值叫“不存在”.這個(gè)表示當(dāng)前屬性維度在該圖像所展示的視角下，是被定義過的，但是該屬性在圖中并沒有出現(xiàn)或者被遮擋看不見.如圖8包含了上身、下身視角，但是衣長被裙擺遮住，衣長維度的屬性值是“不存在”.

2.2 實(shí)驗(yàn)數(shù)據(jù)集的擴(kuò)充

通過扭曲、翻轉(zhuǎn)、縮放、顏色空間變換等方法對(duì)訓(xùn)練圖片做一系列變化，可產(chǎn)生相似但又有不同的訓(xùn)練樣本，既能增大圖片訓(xùn)練集規(guī)模又可以模擬不同拍攝條件下的統(tǒng)一場景，達(dá)到加強(qiáng)訓(xùn)練的效果.例如對(duì)圖片進(jìn)行不同的裁剪使得感興趣的物體出現(xiàn)在不同的位置中，使模型減小對(duì)物體出現(xiàn)位置的依賴性；通過調(diào)整圖像亮度、色彩來降低模型對(duì)色彩的敏感度[8].本文通過Rotation、Horizontal Flip、Shift函數(shù)對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)擴(kuò)充，如圖9所示.

圖9 數(shù)據(jù)擴(kuò)充圖Figure.9 Data expansion diagram

2.3 實(shí)驗(yàn)設(shè)置與評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)平臺(tái)包括：PC機(jī)、Intel Core i7處理器、8G服務(wù)器、11GB顯卡GTX1080、Ubuntu操作系統(tǒng)、64位操作系統(tǒng).服裝標(biāo)簽屬性識(shí)別性能指標(biāo)采用平均準(zhǔn)確率均值(Mean Average Precision,MAP)，其定義如下：

(1)每條數(shù)據(jù)計(jì)算出AttrValueProbs中的最大概率以及對(duì)應(yīng)的標(biāo)簽，分別記為MaxAttrValueProb和MaxAttrValue.每個(gè)屬性維度，分別初始化評(píng)測計(jì)數(shù)器：

BLOCK_COUNT = 0 (不輸出的個(gè)數(shù))

(4)

PRED_COUNT = 0 (預(yù)測輸出的個(gè)數(shù))

(5)

PRED_CORRECT_COUNT = 0 (預(yù)測正確的個(gè)數(shù))

(6)

設(shè)定GT_COUNT為該屬性維度下所有相關(guān)數(shù)據(jù)的總條數(shù).

(2)給定模型輸出閾值(ProbThreshold)，分析與該屬性維度相關(guān)的每條數(shù)據(jù)的預(yù)測結(jié)果：

當(dāng)MaxAttrValueProb < ProbThreshold，模型不輸出：BLOCK_COUNT++；

當(dāng)MaxAttrValueProb >= ProbThreshold：

MaxAttrValue對(duì)應(yīng)的標(biāo)注位是‘y’時(shí)，記為正確：PRED_COUNT++，PRED_CORRECT_COUNT++；

MaxAttrValue對(duì)應(yīng)的標(biāo)注位是‘m’時(shí)，不記入準(zhǔn)確率評(píng)測：無操作；

MaxAttrValue對(duì)應(yīng)的標(biāo)注位是‘n’時(shí)，記為錯(cuò)誤：PRED_COUNT++.

(3)遍歷使BLOCK_COUNT落在[0,GT_COUNT)里所有可能的閾值ProbThreshold，分別計(jì)算，并統(tǒng)計(jì)它們的平均值，記為AP：

準(zhǔn)確率(P)：PRED_CORRECT_COUNT / PRED_COUNT

(4)綜合所有的屬性維度計(jì)算得到的AP，統(tǒng)計(jì)它們的平均值，得出mAP.

(7)

2.4 實(shí)驗(yàn)結(jié)果與分析

使用本文的Res-FashionAINet深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，設(shè)置40次循環(huán)訓(xùn)練，學(xué)習(xí)率(learning rate，lr)為1e-4，批訓(xùn)練數(shù)據(jù)batch size為64，預(yù)測出測試集中每張圖片對(duì)應(yīng)的屬性值(AttrValues).識(shí)別效果如表2所示，可以看到基于Res-FashionAINet模型和圖片擴(kuò)增可以提高圖片識(shí)別的準(zhǔn)確率，最終識(shí)別準(zhǔn)確率可以達(dá)到91.8%.殘差網(wǎng)絡(luò)的確解決了網(wǎng)絡(luò)退化的問題，在測試集上，都證明了更深的網(wǎng)絡(luò)錯(cuò)誤率越小.

在實(shí)際應(yīng)用中，不僅需要考慮模型的準(zhǔn)確率，更要考慮訓(xùn)練數(shù)據(jù)的耗時(shí)問題.由表2可看出，Densenet201準(zhǔn)確率高，但是耗時(shí)較長.模型處理圖像的速度主要是由網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)及計(jì)算方式?jīng)Q定，Densenet網(wǎng)絡(luò)層數(shù)較深，參數(shù)過多，會(huì)降低模型的計(jì)算速度.

表1 多種模型在FashionAI數(shù)據(jù)集上的性能對(duì)比表(表中time指每次迭代的平均耗時(shí) )

由表2可知，比較DenseNet和ResNet模型訓(xùn)練數(shù)據(jù)的準(zhǔn)確率，以及處理圖像的速度，DenseNet準(zhǔn)確率最高，但由于網(wǎng)絡(luò)層數(shù)較多，耗時(shí)過長.其次便是不同層數(shù)的ResNet模型，在準(zhǔn)確率和速度上，本文提出的Res-FashionAINet網(wǎng)絡(luò)模型均優(yōu)于其他模型，該實(shí)驗(yàn)結(jié)果說明本文對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)是可行的.

為檢驗(yàn)?zāi)Ｐ驮诟鲗傩灾械膽?yīng)用能力，將模型對(duì)各屬性的訓(xùn)練結(jié)果進(jìn)行對(duì)比，如表3所示，可展示模型在各種屬性訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率、mAP、誤差loss以及計(jì)算速度.

表2 Res-FashionAINet模型訓(xùn)練各種屬性的統(tǒng)計(jì)表

根據(jù)訓(xùn)練集中Annotations存放需要模型計(jì)算的屬性維度信息，對(duì)測試集的圖像維度進(jìn)行預(yù)測，輸出各個(gè)屬性值的預(yù)測概率，將“?”替換成計(jì)算出來的各個(gè)標(biāo)簽的預(yù)測概率值(分?jǐn)?shù))，并取最大的預(yù)測概率(分?jǐn)?shù))的屬性值作為預(yù)測結(jié)果，數(shù)據(jù)預(yù)測得出的結(jié)果展示為csv格式文件，具體如下表4(僅列舉10個(gè)).

表3 訓(xùn)練集預(yù)測表(ImagesName指存放的jpeg編碼的圖像數(shù)據(jù)文件名)

由圖10可知不同殘差網(wǎng)絡(luò)預(yù)測的服裝標(biāo)簽都是正確的，層數(shù)越高、參數(shù)越大，預(yù)測的概率也就越高，但是本文提出的Res-FashionAINet網(wǎng)絡(luò)模型的準(zhǔn)確率優(yōu)于其他殘差網(wǎng)絡(luò).

圖10 圖像網(wǎng)絡(luò)預(yù)測圖(示例為裙子，屬性標(biāo)簽為nnnynn，即Midi) Figure.10 Image network prediction

隨著訓(xùn)練迭代次數(shù)的增加，數(shù)據(jù)訓(xùn)練的準(zhǔn)確率也會(huì)提升；在不同學(xué)習(xí)率中，提升的情況會(huì)有所不同.

3 結(jié) 論

針對(duì)服裝標(biāo)簽屬性識(shí)別的研究，本文設(shè)計(jì)了一個(gè)名為Res-FashionAINet的深度學(xué)習(xí)網(wǎng)絡(luò)模型，并以此為基礎(chǔ)構(gòu)建了服裝標(biāo)簽屬性識(shí)別方法，有效提高服裝標(biāo)簽識(shí)別的準(zhǔn)確率，同時(shí)擁有較快的圖像處理速度.該方法在FashionAI數(shù)據(jù)集中與傳統(tǒng)的識(shí)別方法進(jìn)行比較分析.結(jié)果表明，該模型與其他模型相比具有一定優(yōu)越性.在后期的研究和實(shí)驗(yàn)工作中，還需進(jìn)一步解決一些問題：(1)進(jìn)行識(shí)別的服裝種類需要繼續(xù)進(jìn)行增加和細(xì)分；(2)服裝標(biāo)簽屬性識(shí)別算法的泛化能力需要提升，盡可能地去除外界干擾.