孫菲菲， 徐平華， 丁雪梅， 王榮武， 吳雄英

(1. 東華大學(xué) 服裝與藝術(shù)設(shè)計學(xué)院， 上海 200051； 2. 東華大學(xué) 現(xiàn)代服裝設(shè)計與技術(shù)教育部重點實驗室，上海 200051； 3. 浙江理工大學(xué) 服裝學(xué)院， 浙江 杭州 310018； 4. 東華大學(xué) 紡織學(xué)院， 上海 201620；5. 上海出入境檢驗檢疫局， 上海 200135)

服飾設(shè)計是系統(tǒng)性、整體性的工作，通過視覺傳達誘導(dǎo)消費[1-3]。設(shè)計中，色彩、形態(tài)、質(zhì)感等的對比能夠引起視覺沖突，強調(diào)設(shè)計理念、品牌文化[4-5]。除此之外，平面廣告、網(wǎng)站布局、工業(yè)設(shè)計等進行視覺傳達時，無一不在突顯設(shè)計重點，以一種刺激性的信息影響受眾，所引起的視覺關(guān)注度成為產(chǎn)品識別和視覺營銷中重要的評價指標(biāo)[6]。

人類視覺具有較強的選擇性注意能力，可在復(fù)雜場景下迅速聚焦于服飾產(chǎn)品的感興趣區(qū)域(ROI)。

與文字相比，圖像更為醒目，便于長久記憶。眼動儀作為心理學(xué)基礎(chǔ)研究的重要儀器，目前已被廣泛應(yīng)用于設(shè)計評價、消費行為研究當(dāng)中[7-9]。多幅設(shè)計作品由于眼動追蹤設(shè)備誤差、測試人員生理和心理因素的干擾，很難定量衡量設(shè)計內(nèi)容的視覺關(guān)注差異。隨著設(shè)計圖稿的快速增加，批量檢測和評估需要消耗大量的人力和時間，亟需一種相對客觀、穩(wěn)定的方法對設(shè)計內(nèi)容進行可視化表征。

視覺注意客觀模型作為機器視覺研究中的熱點之一，從場景的角度來看，場景中的某些內(nèi)容比其他內(nèi)容更能引起觀察者的注意，稱之為視覺顯著。當(dāng)前，圖像視覺顯著性檢測方法可概括為自底向上和自頂向下2大類別。其中：自底向上的顯著性檢測基于圖像本身，是從輸入圖像中提取的不同底層特征，獲得的視覺顯著性主要由底層的視覺信息(如顏色、光強、邊緣等)驅(qū)動[10]；自頂向下的顯著性模型則與具體任務(wù)有關(guān)，并由目標(biāo)所驅(qū)動，受到主觀意識支配，依賴于具體的任務(wù)[11]。由于服飾圖像內(nèi)容的不定性，本文采用自底向上的視覺顯著性檢測方法，首先依據(jù)圖像亮度、顏色和方向特征信息構(gòu)建多尺度高斯金字塔，利用歸一化合并的方式對特征進行濾波和融合，并繪制出服飾圖像的顯著區(qū)域及顯著程度，提出用以量化視覺顯著度的評價指標(biāo)。

1 底層視覺特征提取

人眼視網(wǎng)膜的感光細胞分為2類：一類是視桿細胞，可感知外界的亮度信息；另一類是視錐細胞，感知顏色信息，通過初級視覺皮層將視覺信息進一步細分和處理?；诖?，文獻[12]提出了利用圖像的亮度、顏色和方向特征模擬人類視覺功能。圖像的亮度、色彩及紋理是3個可直接從圖像中提取的特征，屬于圖像的底層特征。本文采用自底向上的服飾顯著性檢測方法，首先對服飾圖像的亮度、色彩及紋理方向進行提取。

1.1 亮度特征提取

彩色圖像轉(zhuǎn)換為黑白圖像，其亮度值可用灰度值表示。常見的圖像灰度化的方法包括直接分量法、最大值法、平均值法及加權(quán)平均法。一幅RGB格式的圖像可分為紅、綠、藍3個通道，亮度特征從人體生理學(xué)角度出發(fā)，采用三通道加權(quán)的方式計算更符合生理視覺特性。

亮度(L)的計算方法如式(1)所示。

L=0.587g+0.299r+0.114b

(1)

式中，r、g、b分別代表圖像的紅、綠、藍3個通道，對其賦予不同的權(quán)重系數(shù)，進而計算得出圖像的亮度特征。

該方法依據(jù)YIQ色彩模型中人眼對色彩敏感程度，將圖像中的亮度分量分離出來[13]。

1.2 色彩特征提取

從人眼視錐細胞只能在明亮光線下感受顏色的生理機制出發(fā)，為剔除顏色與亮度間的耦合關(guān)系影響，本文研究對高亮區(qū)域的三通道值r、g、b分別進行歸一化處理，其余區(qū)域各通道值賦值為0。高亮區(qū)域的定義為亮度值超出圖像最大亮度值10%的區(qū)域。

RGB圖像只有紅、綠、藍3個顏色通道，為得到黃色通道，利用歸一化后的r、g、b值,根據(jù)Borji等[12]提出的方法重新計算4個通道值：

(2)

式中，R、G、B、Y分別為紅、綠、藍、黃4個變換得到的通道值。利用以上4個通道值，計算得出紅-綠、藍-黃的顏色對：

RG=|R-G|

(3)

BY=|B-Y|

(4)

式(3)、(4)中利用色彩絕對值，突顯出2個相反顏色中興奮值。

1.3 方向特征提取

大腦初級視覺皮層細胞對特定方向的刺激有強烈的反應(yīng)。Daugman[14]研究發(fā)現(xiàn)，Gabor濾波器與視覺皮層的反應(yīng)較為相近?；诖?，本文采用二維Gabor濾波器對圖像方向特征進行描述：

(5)

該函數(shù)由高斯核函數(shù)和余弦函數(shù)調(diào)制得出。其中：x′=xcosθ+ysinθ，y′=-xsinθ+ycosθ；λ為余弦函數(shù)的波長；θ為Gabor濾波器的方向；ψ表示相位；σ為高斯包絡(luò)的標(biāo)準(zhǔn)差。依據(jù)文獻[12]的簡化方法，固定次要變量，設(shè)定λ=7，ψ=0，γ=1，σ=2.333。對于重要變量θ，選擇了4個代表性的方向，分別為0°，45°，90°和135°，以此構(gòu)造出4個濾波器，將輸入圖像濾波獲得4個方向的特征圖。

2 特征顯著圖構(gòu)建與融合

2.1 特征顯著圖構(gòu)造

圖像金字塔是以多分辨率來解釋圖像的一種結(jié)構(gòu)，最初用于圖像壓縮。所謂圖像金字塔模型，是通過對輸入圖像構(gòu)造不同分辨率的圖像組，按序排列形如金字塔的圖像集合。圖像高斯金字塔變換示意圖如圖1所示。

圖1 圖像高斯金字塔尺度變換Fig.1 Image Gauss pyramid scale transformation

特征顯著圖的構(gòu)建依據(jù)Rodieck等[15]提出的生物同心圓拮抗感受野的數(shù)學(xué)模型。圖像高斯金字塔的尺度變換利用了低通濾波器-高斯函數(shù)對圖像進行平滑處理，降采樣(比例為1/2)對圖像進行變換，獲得尺度依次遞減的圖像組I(σ),其中σ=0,1,2,…,8。以亮度圖為例，

I(t,b)=|I(t)ΘI(t+b)|

(6)

式中：t=2,3,4;b=3,4(見圖1)；符號Θ表示2幅圖像相減。由于2幅特征圖尺度不同，在處理前需將小尺度圖像放大至大尺度圖像，這樣，利用每個特征圖構(gòu)造出的9個金字塔圖像可計算得出6幅高斯差分圖。類似地，將色彩、方向等7個特征進行差分計算，共計獲得42幅特征顯著圖。

2.2 特征篩選

為模擬神經(jīng)元側(cè)抑制，剔除冗余信息，增強反差效果[15]，需要對2.1中計算得出的42幅特征顯著圖進行特征競爭和篩選。

本文采用迭代的局部交互方式，對大量反復(fù)出現(xiàn)的特征區(qū)域相互抑制，突出少量出現(xiàn)的顯著區(qū)域。利用Rodieck[15]提出的感受野數(shù)學(xué)模型：

(7)

式中：σex=2%，表示興奮區(qū)域的范圍；σih=5%表示抑制區(qū)域的范圍；cex為興奮常數(shù)；cih為抑制常數(shù)，取值參照文獻[16]分別設(shè)定為0.5和1.5。利用該函數(shù)對特征圖并行濾波，以迭代的方式逐漸抑制圖像的均勻區(qū)域，突出顯著區(qū)域。

2.3 特征顯著圖融合

亮度、顏色及方向特征的顯著圖處理后分別得出1、2、4幅顯著圖，因此需將多個特征顯著圖進行融合，合并為一幅最終的服飾視覺顯著圖。

首先，需對同類特征顯著圖進行歸一化合并處理。顏色特征和方向特征分別有多幅特征顯著圖，需進行合并處理。以方向特征為例，將4幅歸一化合并出的圖再次處理，得到方向特征的總體顯著圖。

(8)

(9)

3 視覺注意熱區(qū)分析

利用圖像分析技術(shù)，客觀地描繪視覺熱區(qū)，并提出視覺覆蓋率和分散度2個指標(biāo)，用以衡量服裝設(shè)計元素的視覺關(guān)注效果。

3.1 視覺覆蓋率

基于2.3節(jié)提出的視覺綜合特征顯著圖，首先按照顯著權(quán)重對熱點覆蓋區(qū)域占比進行評價，得出視覺覆蓋率(Hv)評價指標(biāo)。

(10)

式中：i為熱點分割圖中0～255之間的任意亮度值；Si為亮度值為i的像素點個數(shù)；S為圖像像素點總數(shù)；Hv結(jié)果采用百分制表示。

3.2 視覺分散度

此外，為測定視覺分散特征，首先提取熱點分割圖中視覺落點最為顯著和致密的區(qū)域，并提取出視覺重心Pc，目的在于尋找出該陳列場景的聚焦落點位置。視覺分散度依據(jù)次顯著落點與視覺重心的分離程度進行測算：

(11)

4 結(jié)果與分析

服裝設(shè)計中涵蓋了色彩、造型、款式、材質(zhì)等基本要素，構(gòu)成了服裝整體視覺效果，因此本文實驗選取了色塊圖、不同紋理的材質(zhì)圖、配飾效果圖、服裝款式圖及成衣圖進行視覺顯著性檢測。以上算法采用Visual V++語言編程，實現(xiàn)檢測結(jié)果的輸出和存儲。

以圖2所示色塊圖為例，顏色涵蓋黑、品紅、黃、藍及過渡色塊，包含了常用的主要色彩。以此圖為檢測對象，檢驗本文方法對不同顏色的敏感程度及關(guān)注區(qū)域。

圖2 色塊圖Fig.2 Color blocks map

圖3示出色塊圖的視覺顯著度檢測結(jié)果?？煽闯?，色塊圖的視覺顯著性檢測分布因輸入圖像的顏色及亮度的不同而產(chǎn)生差異。圖中：灰度值越大(原值越接近255，歸一化值越接近1)，表明視覺關(guān)注度越顯著；灰度值越小(原值越接近0，歸一化值越接近0)，則表明視覺關(guān)注度越低。除表達出視覺顯著程度外，若根據(jù)該圖的域值進行分割，便可有效地劃分出輸入圖像的顯著區(qū)域。

圖3 色塊圖的視覺顯著度檢測結(jié)果Fig.3 Visual saliency detection of color blocks

為更好地將顯著結(jié)果可視化表達出來，本文實驗將不同顯著度定義為不同的顏色，其中深紅色表示視覺關(guān)注度最高，黃色次之，綠色、藍色、灰色部分的顯著度依次衰減，處理結(jié)果如圖4所示。服飾設(shè)計傳達效果除色彩外，與作品本身的材質(zhì)、紋理、廓型等息息相關(guān)。圖5～8分別示出面料、配飾、成衣圖、著裝圖的視覺顯著性檢測結(jié)果。

圖4 色塊圖的視覺熱點分布圖Fig.4 Visual hot area distribution of color blocks

圖5 縐組織織物視覺顯著性檢測結(jié)果Fig.5 Visual saliency detection of wrinkled fabric.(a)Original image;(b)Visual hot map;(c)Overlay visual area;(d)Visual dispersive map

圖6 彩繪襪視覺顯著性檢測結(jié)果Fig.6 Visual saliency detection of painted socks image.(a)Original image;(b)Visual hot map;(c)Overlay visual area;(d)Visual dispersive map

圖7 成衣圖視覺顯著性檢測結(jié)果Fig.7 Visual saliency detection of garment image.(a)Original image; (b)Visual hot map;(c)Overlay visual area; (d)Visual dispersive map

圖8 著裝圖視覺顯著性檢測結(jié)果Fig.8 Visual saliency detection of dress chart.(a)Original image; (b)Visual hot map;(c)Overlay visual area; (d)Visual dispersive map

2.2中的特征篩選和融合充分模擬了人眼的中心偏差理論，即假定人眼的初始視野中心鎖定在圖像的中心，并將人的視覺中心設(shè)定為顯著性特征的分布中心后進行特征的篩選和融合。圖5中縐組織織物的視覺顯著圖最為顯著的區(qū)域集中在圖像中心區(qū)域，這是由于其表面紋理分散均勻，其視覺覆蓋率Hv為35.33%，視覺分散度Dv為0.7082；而圖6、7的顯著區(qū)域集中在色彩和形狀沖突嚴重的位置，圖6的視覺覆蓋率Hv為22.57%，視覺分散度Dv僅為0.279 7，圖7的視覺覆蓋率Hv為17.73%，視覺分散度Dv更低，其值為0.137 1。圖8示出人體穿著服裝的整體效果，其視覺興趣在檢測中不僅包含服裝，還涵蓋了人體形態(tài)和面部特征，因此其視覺關(guān)注區(qū)域集中在考慮到服裝顯著性的同時，也對人體的裸露部分進行視覺追蹤。視覺落點集中到面部區(qū)域和少量的服裝區(qū)域，其視覺覆蓋率Hv為22.50%，視覺分散度Dv為0.180 2。以上典型樣本顯著中心分散到圖像色彩、亮度或紋理方向突出的區(qū)域中，與人眼的視覺機制較為吻合。視覺熱點圖可視化地描繪了圖像各區(qū)域的顯著情況，而視覺覆蓋率和分散度用于對圖像顯著性的2個方面進行全局性描述和定量評價。

在檢測速度方面，以1幅尺度為840像素×1 100像素、分辨率為120像素的色塊圖(見圖2)為例，系統(tǒng)檢測時間為0.886 s。系統(tǒng)硬件配置為：CPU Intel(R)2.70 GHz，RAM為8 GB。本文實驗選取的圖像最大尺度為1 200像素×3 200像素，最小尺度為500像素×500像素，檢測時間均小于1 s，檢測耗時隨著圖像分辨率及尺度等的差異會有所不同。

5 結(jié) 論

從機器視覺角度提出了采用圖像視覺顯著性檢測，以滿足當(dāng)前服飾品設(shè)計的客觀、批量化評估的需求。首先對圖像亮度、顏色、紋理方向等底層特征進行提取，利用多尺度的分解方法構(gòu)建出金字塔模型；采用歸一化合并的方式對特征顯著圖進行濾波；最后，對形成的3類特征圖進行融合，根據(jù)顯著程度繪制出視覺熱點圖及亮度圖，從而劃分圖像的視覺顯著區(qū)域，并提出了2個用于全局性評價整幅圖像顯著度的評價指標(biāo)。

結(jié)果表明，本文所采用的算法可快速完成服飾圖像的視覺顯著區(qū)域及顯著程度的檢測，本文實驗所采用的圖像檢測時間均小于1 s。服飾設(shè)計視覺顯著性檢測方法的研究，有助于實現(xiàn)產(chǎn)品設(shè)計質(zhì)量的客觀、批量化評估，對平面廣告、家裝設(shè)計、店鋪陳列同樣具有一定的應(yīng)用價值。后續(xù)的研究重點將關(guān)注算法檢測出的視覺顯著區(qū)域及顯著度與眼動儀對主觀受試者檢測均值的一致性，從而對算法進行優(yōu)化，以適應(yīng)紡織品服裝視覺顯著性檢測需求。本文融合圖像底層特征形成視覺顯著圖，一定程度上反映了服飾圖像的視覺沖擊力，有助于促進今后服飾部件自動分解和語義解讀的深入研究。

[1] BESTLEY R, NOBEL I. Visual Research: An Introduction to Research Methods in Graphic Design[M]. London:Bloomsbury Publishing, 2016:15-18.

[2] 鄭晶晶, 季曉芬. 消費者對服裝陳列的視覺感知[J]. 紡織學(xué)報, 2016, 37(3):160-165.

ZHENG Jingjing, JI Xiaofen. Visual perception of consumers on clothing display[J]. Journal of Textile Research, 2016, 37(3):160-165.

[3] 穆紅, 林清華. 基于視覺搜索的服裝店鋪陳列優(yōu)化[J]. 紡織學(xué)報, 2015, 36(9):125-128.

MU Hong, LIN Qinghua. Display optimizing of retail clothing store based on visual search[J]. Journal of Textile Research, 2015, 36(9):125-128.

[4] WORKMAN J E, CALDWELL L F. Centrality of visual product aesthetics, tactile and uniqueness needs of fashion consumers[J]. International Journal of Consumer Studies, 2007, 31(6): 589-596.

[5] 范康寧. 服裝設(shè)計中的色彩運用[J]. 美術(shù)大觀, 2009(9): 128.

FAN Kangning.Color application in fashion design[J]. Art Panorama, 2009(9): 128.

[6] 厲莉. 基于服裝品牌產(chǎn)品的視覺識別元素應(yīng)用系統(tǒng)研究[D]. 上海：東華大學(xué), 2012:3-4.

LI Li .Study on application systems of visual identity elements based on the products of apparel brand[D].Shanghai:Donghua University,2012:3-4.

[7] 馬冬陽, 周洪雷, 王云儀. 服裝非對稱外輪廓設(shè)計的視覺均衡感研究[J]. 東華大學(xué)學(xué)報(社會科學(xué)版), 2012, 12(3): 196-199.

MA Dongyang,ZHOU Honglei,WANG Yunyi. Study on visual balance of asymmetrical apparel contour design[J]. Journal of Donghua University(Social Sciences Edition), 2012, 12(3): 196-199.

[8] 胡寧. 基于視覺注意機制的服飾平面廣告[D]. 上海：東華大學(xué), 2010:4-8.

HU Ning. Study on assessment of fashion print advertisement based on visual attention mechanism[D]. Shanghai:Donghua University,2010:4-8.

[9] 蔡鈺茹, 陳彩霞, 楊以雄. 基于頭盔眼動跟蹤實驗的服裝賣場櫥窗陳列探析[J]. 東華大學(xué)學(xué)報(社會科學(xué)版), 2013, 13(2): 81-86.

CAI Yuru,CHEN Caixia,YANG Yixiong. Research on display of clothing store window based on helmet eye tracking experiment[J]. Journal of Donghua Univer-sity(Social Sciences Edition), 2013, 13(2): 81-86.

[10] 管聲啟, 高照元, 吳寧, 等. 基于視覺顯著性的平紋織物疵點檢測[J]. 紡織學(xué)報, 2014, 35(4):56-61.

GUAN Shengqi,GAO Zhaoyuan,WU Ning,et al. Defect detection of plain weave based on visual saliency mechanism[J].Journal of Textile Research,2014, 35(4):56-61.

[11] 王巖. 視覺注意模型的研究與應(yīng)用[D]. 上海：上海交通大學(xué), 2012:7-8.

WANG Yan. Research and application of visual attention model[D]. Shanghai:Shanghai Jiaotong University,2012:7-8.

[12] BORJI A, SIHITE D N, ITTI L. What stands out in a scene? a study of human explicit saliency judgment[J]. Vision Research, 2013, 91(15): 62-77.

[13] GUNJAL B L, MALI S N. Comparative performance analysis of DWT-SVD based color image watermarking technique in YUV, RGB and YIQ color spaces[J]. International Journal of Computer Theory and Engineering, 2011, 3(6): 714.

[14] DAUGMAN J G. Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression[J]. IEEE Transactions on Acoustics Speech & Signal Processing, 1988, 36(7): 1169-1179.

[15] RODIECK R W, STONE J. Analysis of receptive fields of cat retinal ganglion cells[J]. Journal of Neurophysiology, 1965, 28(5): 832-849.

[16] LI Zhicheng, ITTI L. Saliency and gist features for target detection in satellite images[J]. IEEE Transactions on Image Processing, 2011, 20(7): 2017-2029.