于振中，秦 嶺

（江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122）

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，圖像數(shù)據(jù)正在以火箭般的速度飛速增長(zhǎng)，相應(yīng)的對(duì)圖像數(shù)據(jù)的處理技術(shù)需求也在快速上漲。尤其是在紡織品布料行業(yè)，例如布料外觀的檢測(cè)、測(cè)量布料密度等。對(duì)于服裝設(shè)計(jì)師而言，當(dāng)他們根據(jù)偶然看到的服裝發(fā)布會(huì)的布料時(shí)，想要在布料庫(kù)中找尋到這一面料，或是在設(shè)計(jì)過程中突發(fā)奇想需要一款特定的面料時(shí)，如何從成千上萬的布料數(shù)據(jù)庫(kù)中快速準(zhǔn)確地查找到這一特定的面料，則需要采用計(jì)算機(jī)圖像檢索技術(shù)。

紡織品行業(yè)對(duì)于“查詢布料”這樣的需求由來已久，但“找料慢”“找料難”“找料煩”等問題一直尚未得到解決，目前市場(chǎng)上也并沒有切實(shí)可行的完整的布料檢索的系統(tǒng)，解決這一技術(shù)難題成為了整個(gè)紡織品行業(yè)都期望的事情。以往布料圖像的檢索工作往往通過有經(jīng)驗(yàn)的工人手動(dòng)完成，但是人工的操作方式不僅耗時(shí)很長(zhǎng)，而且準(zhǔn)確率也很難讓人滿意[1]。因此，如何快速、準(zhǔn)確地從浩瀚如海的布料圖像數(shù)據(jù)資源中找尋到目標(biāo)圖像是值得研究的，基于深度學(xué)習(xí)的布料圖像檢索為這一問題提供了解決方法。

1 傳統(tǒng)圖像檢索方法

傳統(tǒng)的圖像檢索方法根據(jù)檢索內(nèi)容可分為兩類，一類是基于文本的圖像檢索[2]（TBIR，Text Based Image Retrieval），另一類是基于內(nèi)容的圖像檢索[3-4]（CBIR，Content Based Image Retrieval）。這兩種檢索方法已經(jīng)在很多行業(yè)得到了廣泛應(yīng)用，前者主要運(yùn)用于電子商務(wù)等工業(yè)領(lǐng)域，最著名的便是電子商業(yè)平臺(tái)搜索產(chǎn)品，后者則在紅外探測(cè)、醫(yī)療診斷等方面多有應(yīng)用。其中基于文本的圖像檢索依賴于人工進(jìn)行標(biāo)注，這種由專人憑借個(gè)人經(jīng)驗(yàn)完成的查詢方式不僅檢索效率極低，而且檢索時(shí)往往依靠于工人的主觀經(jīng)驗(yàn)判斷，而對(duì)于布料圖像特征來說，每個(gè)人觀察到的直觀圖像也存在視覺差異。目前市場(chǎng)上較為常見的便是基于內(nèi)容的圖像檢索，其中基于特征的圖像匹配技術(shù)能夠通過計(jì)算機(jī)技術(shù)提取圖像特征，替代了人工檢索的傳統(tǒng)方式，大大提升了檢索的效率和準(zhǔn)確率，成為了圖像檢索領(lǐng)域的熱門趨勢(shì)，如CM-DC[5]、CM-gist、SURF[6]算子等。盡管這些方法都實(shí)現(xiàn)了檢索的目的，但提取出的特征簡(jiǎn)單，缺少學(xué)習(xí)能力，檢索精度低，難以滿足實(shí)際應(yīng)用中復(fù)雜環(huán)境多變的要求。尤其是在紡織品行業(yè)，設(shè)計(jì)師不僅僅只是想要“看起來類似”的布料，而是想要找到最為精確的那一種面料，顯然這種傳統(tǒng)方法難以解決這個(gè)問題。

2 基于深度學(xué)習(xí)的圖像檢索方法

一種新的基于深度學(xué)習(xí)的方法被提出用于紡織品布料圖像檢索。通過對(duì)數(shù)據(jù)集圖像數(shù)據(jù)進(jìn)行特征提取，獲取到能夠表示這些圖像的特征，然后對(duì)特征進(jìn)行相似性度量，根據(jù)度量結(jié)果得到相似性排序，于是得到了最為相似的兩個(gè)特征，其分別代表的便是與待查詢布料圖像最相似的布料圖像[7-8]。

2.1 圖像預(yù)處理

圖像預(yù)處理指的是將圖像中與特征無關(guān)的、影響機(jī)器判斷的無效信息剔除，在保留關(guān)鍵信息的同時(shí)，突出并強(qiáng)化布料圖像的關(guān)鍵特征，也方便后續(xù)的特征提取，提高特征的準(zhǔn)確性和圖像匹配的可靠性。

2.1.1 圖像裁剪

紡織廠商提供的布料原型圖卡往往包含著毛邊和標(biāo)簽等無關(guān)信息，這些無關(guān)信息在計(jì)算機(jī)進(jìn)行模型訓(xùn)練或者學(xué)習(xí)時(shí)往往會(huì)造成很高的誤差影響，所以我們首先需要做的便是將這些布料原型圖卡（如圖1 所示）的無關(guān)信息切除，得到僅包含布料信息的圖像（如圖2 所示）[9]。

圖1 布料原型

圖2 布料圖

2.1.2 圖像灰度化

圖像的灰度化是指圖像本身包含有多種顏色，而將其轉(zhuǎn)化為僅包含一種顏色的圖像。例如，在RGB 顏色模型中，圖像在R、G、B 三個(gè)通道分別有不同的數(shù)值，而當(dāng)這三個(gè)通道的數(shù)值變換為一致時(shí)，圖像的直觀視覺便成了只有一種顏色，此時(shí)RGB 三個(gè)通道的數(shù)值相等且等于灰度值，因此圖像灰度圖的像素便可以通過一個(gè)灰度值占據(jù)一個(gè)字節(jié)存放。

圖像的灰度化是一種重要的圖像預(yù)處理技術(shù)。當(dāng)圖像的色彩信息量比較大，但是用戶并不十分關(guān)注布料圖像的顏色特征，或用戶期望檢索到的圖像的色彩大致相同時(shí)，顏色特征便不再重要，可以通過圖像灰度化大大縮減圖像的顏色特征數(shù)據(jù)，著重于其他特征，提高特征提取的準(zhǔn)確度[10-11]。

常用的將圖像轉(zhuǎn)化為灰度圖有四種方法，分別為分量法、最大值法、平均值法和加權(quán)平均法。分量法就是在實(shí)際使用過程中，對(duì)圖像的多個(gè)顏色通道中僅選取其中一個(gè)通道的數(shù)值，而將其他通道的數(shù)值都轉(zhuǎn)換為相同的數(shù)值，按照這一通道的數(shù)值作為灰度值。最大值法就是將多個(gè)顏色通道中數(shù)值最大的作為灰度圖的灰度值。而平均值法，顧名思義就是將多個(gè)通道的顏色通道值求平均，將平均值作為灰度值。加權(quán)平均法根據(jù)顏色通道的重要性，將三個(gè)值以不同的權(quán)值進(jìn)行加權(quán)平均。在實(shí)際使用過程中，我們可以根據(jù)具體的需求選取不同的灰度處理方法。

2.2 特征提取

特征指的是圖像數(shù)據(jù)中包含并能具體表征該圖像的關(guān)鍵數(shù)據(jù)，特征提取便是將這些關(guān)鍵信息從圖像數(shù)據(jù)中提取出來用于簡(jiǎn)便計(jì)算或匹配的過程。在進(jìn)行圖像匹配檢索的過程中，我們可以通過對(duì)圖像的特征進(jìn)行匹配檢索，在降低了圖像的其他無關(guān)信息的比對(duì)的同時(shí)，還可以將精力著重于關(guān)鍵信息部分，從而提高檢索的速度和準(zhǔn)確率。圖像的特征多種多樣，通常受到人們關(guān)注的有顏色特征、紋理特征、空間信息特征和角點(diǎn)局部信息特征等[12]。特征提取作為機(jī)器視覺圖像識(shí)別的一個(gè)重要環(huán)節(jié)，特征提取的質(zhì)量與精度直接決定了后續(xù)圖像識(shí)別的速度與準(zhǔn)確度。因此，從繁復(fù)無章的布料圖像數(shù)據(jù)中提取出鮮明獨(dú)特的特征變得至關(guān)重要。而基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)很好地完成了這一工作。

卷積神經(jīng)網(wǎng)絡(luò)的每一層的輸出都可以作為圖像的特征進(jìn)行輸出，但每一層輸出的特征并不相同，其表達(dá)圖像的能力也不一樣，不同的特征也會(huì)導(dǎo)致不同的檢索結(jié)果，因此要對(duì)卷積神經(jīng)網(wǎng)絡(luò)不同層進(jìn)行篩選組合[13-14]。首先建立卷積層提取出圖像的初步特征，這些初步特征僅能表征圖像的局部信息，然后建立池化層提取出圖像的主要特征，在卷積層和池化層的共同作用下，不僅可以提取出圖像的特征，還可以大大過濾掉原始圖像中無關(guān)的參數(shù)，最后通過完全連接層把所有的局部特征通過權(quán)值矩陣。最后需要匹配的圖像的特征就提取出來了，就可以從特征的相似和不同來識(shí)別圖像了。

最經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型是LeNet[15]，主要分為卷積層和全連接層兩個(gè)部分，這是最早用于數(shù)字識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)[16-17]。隨后AlexNet 在2012 年橫空出世并在比賽中奪冠，它使用了8 層神經(jīng)網(wǎng)絡(luò)，比LeNet 更深，用多層小卷積層疊加替換了單大卷積層。2014 年牛津大學(xué)提出了VggNet[18]，相較于前面兩個(gè)，VggNet 將網(wǎng)絡(luò)層數(shù)增加到了16～19 層，并且將卷積層提升到了卷積塊的概念，每個(gè)卷積塊由兩三個(gè)卷積層構(gòu)成，使得網(wǎng)絡(luò)有更加寬廣的感受野的同時(shí)降低了網(wǎng)絡(luò)參數(shù)。雖然更深的網(wǎng)絡(luò)層，帶來了更加高的精確度，但是當(dāng)網(wǎng)絡(luò)層級(jí)增加到一定數(shù)目時(shí)，模型變得難以訓(xùn)練，測(cè)試卷積神經(jīng)網(wǎng)絡(luò)的速度以及準(zhǔn)確度都會(huì)下降。為了解決這一網(wǎng)絡(luò)層不斷加深帶來的梯度爆炸的問題，ResNet[19-20]便被提出。ResNet 采用殘差塊使得輸入層直接連接到輸出層，整個(gè)網(wǎng)絡(luò)只需要學(xué)習(xí)殘差，大大簡(jiǎn)化了學(xué)習(xí)目標(biāo)和難度。殘差神經(jīng)網(wǎng)絡(luò)使得超級(jí)深的網(wǎng)絡(luò)層成為可能，避免了不斷加深的網(wǎng)絡(luò)層導(dǎo)致的準(zhǔn)確率飽和的問題。因此，目前在圖像分類領(lǐng)域中，殘差神經(jīng)網(wǎng)絡(luò)運(yùn)用最為廣泛。

2.3 相似度計(jì)算

相似性度量，即綜合計(jì)算特征向量之間相似程度的一種度量方法。相似性度量的數(shù)值反映了不同特征向量的相似程度，且二者成正比關(guān)系，即特征之間越相似，其特征相似性度量越大。相似性度量方法有很多，在特征向量相似性度量中距離度量使用的較多，常用的特征相似性度量方法有以下兩種：BruteForce[21]和FLANN[6]，分別對(duì)應(yīng)于BFMatcher 和FlannBasedMatcher。BFMatcher 是將待檢索的特征與數(shù)據(jù)庫(kù)中的每一個(gè)特征都進(jìn)行計(jì)算，遍歷特征庫(kù)中的所有值，得到的也是所有特征之間相似性度量最大的一個(gè)結(jié)果，正如它的名字“暴力法”，但相應(yīng)的，運(yùn)算量極大，運(yùn)算速度很慢。FlannBasedMatcher 中 FLANN 的全稱是 Fast Library for Approximate Nearest Neighbors，也就是快速臨近檢索。這是一種近似算法，檢索到的結(jié)果是鄰近待檢索特征的相關(guān)特征，雖然它并不能找到最準(zhǔn)確的那一個(gè)，但是檢索速度得到了大大提升，當(dāng)我們并不需要找到最相似的唯一一個(gè)，而是允許在一個(gè)誤差范圍內(nèi)時(shí)，便可以選擇這種相似性度量方法。當(dāng)然也可以通過調(diào)整FlannBasedMatcher 的參數(shù)來提高匹配的精度或者提高算法的速度，但是相應(yīng)的算法速度或算法精度也會(huì)受影響。

2.4 整體流程

圖3 為用戶實(shí)際上進(jìn)行布料檢索的過程，首先用戶將采集到的布料圖像在電腦上進(jìn)行預(yù)處理，隨后通過服務(wù)器使用CNN 模型進(jìn)行特征提取，獲取待檢索布料圖像的特征向量，然后將該特征向量與特征索引庫(kù)中的每一個(gè)特征進(jìn)行相似性計(jì)算，并按照相似性計(jì)算結(jié)果輸出最為接近的幾張圖片，最后將結(jié)果經(jīng)過服務(wù)器返回給用戶，完成檢索結(jié)果。

圖3 基于深度學(xué)習(xí)的布料檢索整體流程

3 結(jié)論

相較于傳統(tǒng)的布料圖像檢索方法中存在的檢索速度慢、檢索準(zhǔn)確度低等問題，本文提出的基于深度學(xué)習(xí)的布料圖像檢索方法，通過機(jī)器學(xué)習(xí)獲取特征，然后根據(jù)特征進(jìn)行相似性計(jì)算完成檢索的方法，無論是在速度、準(zhǔn)確度或是學(xué)習(xí)能力上均強(qiáng)于傳統(tǒng)的方法。日后卷積神經(jīng)網(wǎng)絡(luò)將會(huì)越來越多地運(yùn)用到處理更多圖像領(lǐng)域的難題中去。