邰瑤 陳健美

摘? ?要：建材商品數(shù)字化對有效使用電商平臺家居資源具有重要意義，傳統(tǒng)分類法未考慮主觀特性且大部分特征需人工提取，存在細(xì)節(jié)特征丟失等問題。提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（簡稱CNN）的燈具圖像分類法，并通過一系列預(yù)處理操作豐富數(shù)據(jù)集，提高圖像識別率。檢索過程結(jié)合卷積層和全連接層特征并融合YOLO算法完成復(fù)雜的標(biāo)簽分類任務(wù)，效果更加高效準(zhǔn)確。

關(guān)鍵字：卷積神經(jīng)網(wǎng)絡(luò);商品圖片搜索;YOLO算法;多標(biāo)簽分類任務(wù)

中圖分類號：TP751.1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A

Research on Lighting Product Image Based on CNN

TAI yao CHEN Jian-mei

（Computer Science and Communication Engineering Department，Jiangsu University，Zhenjiang，Jiangsu? 212000，China）

Abstract：The digitization of building materials is of great significance for the effective use of e-commerce platform home resources. The traditional classification method does not consider subjective characteristics and most of the features need to be manually extracted，and there are problems such as loss of detail features. A convolutional neural network is proposed. （CNN for short） luminaire image classification method，and improve image recognition rate by a series of pre-processing operation rich data sets . The retrieval process combines the convolutional layer and the fully connected layer features and incorporates the YOLO algorithm to complete the complex label classification task，and the effect is more efficient and accurate.

Key words：convolutional neural network;commodity image search;YOLO algorithm;multi-label classification task

目前基于CNN視覺特征的圖像視頻分類/檢索、物體/行為估計等計算機(jī)視覺問題已成為國內(nèi)外的研究熱點。之前通常采用對人為圖像細(xì)分類然后貼上對應(yīng)標(biāo)簽的方法，但隨著海量圖像數(shù)據(jù)的爆發(fā)式增長，其弊端也愈加凸顯出來，關(guān)鍵字表示圖像特征過于狹隘，人工標(biāo)注工作量大且存在主觀性上的大量圖片作為實驗數(shù)據(jù)集進(jìn)行實驗，能夠具有較高的識別能力，在商品識別問題上誤差等一系列問題急待解決[1]。而CNN作為流行的深度學(xué)習(xí)算法[2]，雖在圖像識別領(lǐng)域取得了諸多成就，但如果要獲得高識別率并獲得優(yōu)良檢索結(jié)果的例子頗少，但其在電商圈[3]有很大的優(yōu)勢和廣泛的（諸如家具、房子、汽車、服裝同款搜索等）應(yīng)用前景。此次我們搜集了某網(wǎng)絡(luò)科技公司和淘寶網(wǎng)上的大量圖片作為數(shù)據(jù)集，并著手研究設(shè)計基于CNN的燈具種類檢索方法，較于傳統(tǒng)檢索方法有更高的檢索精度。

1.1? ?卷積神經(jīng)網(wǎng)絡(luò)模型

AlexNet模型是Alex Krizhevsky提出并在2012年ImageNet挑戰(zhàn)賽上所使用而名聲大噪的一種模型，目前這種深度學(xué)習(xí)模型正廣泛得應(yīng)用于圖像處理領(lǐng)域[4]。如圖1所示，我們在此設(shè)計出整體檢索框架[5]，藍(lán)色箭頭指出離線訓(xùn)練過程，黑色箭頭指出用戶在線查詢過程。

1.2? ?商品圖像分類

基于CNN的商品分類實驗具體包含數(shù)據(jù)預(yù)處理[6]、網(wǎng)絡(luò)訓(xùn)練和調(diào)參等操作。預(yù)處理即對卷積核進(jìn)行預(yù)訓(xùn)練，分成三部分：對圖像數(shù)據(jù)的灰度處理（消除光線影響因素）并對輸入數(shù)據(jù)加入一定概率分布的噪聲、PCA數(shù)據(jù)降維[7]以及進(jìn)行對圖像進(jìn)行區(qū)域扭曲形變。運用流行的隨機(jī)梯度下降法SGD[8]（Stochastic gradient descent）對卷積核中權(quán)值的初始化并使用反向傳播算法微調(diào)網(wǎng)絡(luò)參數(shù)。這么做優(yōu)化于隨機(jī)初始化，可使卷積核特征得到更本質(zhì)的刻畫，同時更易于訓(xùn)練結(jié)果的收斂[9]。通過反復(fù)的前后向傳播，卷積層[10]、全連接層的參數(shù)不斷得到調(diào)整，最終實現(xiàn)網(wǎng)絡(luò)逼近于最優(yōu)解[11]。總體分類模型如下：

2? ?系統(tǒng)搭建

2.1? ?基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型

對于分類艱難的燈具來說，只能依據(jù)經(jīng)驗選擇和設(shè)計圖像特征，且人為因素對特征的有效性影響很大。傳統(tǒng)特征模型在不同的樣本庫上需要重新設(shè)計圖像特征而導(dǎo)致其通用性不強(qiáng)[12]。針對以上存在的種種不足，如圖3所示在圖像分類問題背景下提出了CNN卷積神經(jīng)網(wǎng)絡(luò)模型，下圖展示包括卷積層、池化層、全連接層和softmax層，最終可獲得分類結(jié)果。

2.2? ?構(gòu)建樣本庫數(shù)據(jù)集

樣本是由網(wǎng)商（網(wǎng)址：http：//www.maideng8.com/）提供，另從淘寶網(wǎng)采集部分圖片得到部分?jǐn)?shù)據(jù)，共9種燈具圖片，其中70%用于訓(xùn)練，15%用于校驗，15%用于測試。為便于建模，每幅圖像的分辨率設(shè)置為256×256×3。如圖4所示，這些類型一般難以用傳統(tǒng)人工構(gòu)造圖像特征的方法進(jìn)行區(qū)分，更難以使用簡單的淺層學(xué)習(xí)模型諸如支持向量機(jī)、最大熵方法等的分類方法。在分類之前對數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)，裁剪，局部変形等數(shù)據(jù)增強(qiáng)技術(shù)，提高泛化能力。首先對燈具的4類語義屬性進(jìn)行分析，其中主要屬性有風(fēng)格[13]（美式、新中式、現(xiàn)代簡約式）、類型（吊燈、臺燈、壁燈、吸頂燈、落地?zé)?、鏡前燈）、形狀（圓形、方形、不規(guī)則型），和規(guī)模（小型、中型、大型）。（注：每一列分別為吊燈，壁燈，臺燈;每一行分別為美/歐式，現(xiàn)代簡約式，新中式）

2.3? ?分類優(yōu)化

單標(biāo)簽分類[14]在CNN網(wǎng)絡(luò)中應(yīng)用很普遍，實驗中的圖像包含多元語義屬性，如各式風(fēng)格、規(guī)格等，這樣我們就需要進(jìn)行多標(biāo)簽多任務(wù)學(xué)習(xí)。 而在此采用的標(biāo)簽學(xué)習(xí)過程：（1）輸入圖像大小統(tǒng)一為256*256*1，提取該圖像228*228的子塊或其鏡像作為CNN輸入。（2）前四層卷積塊的結(jié)構(gòu)參照AlexNet[15]定義的結(jié)構(gòu)組成。（3）全連接層FC2層共享著FC1層的輸出，由多個獨立平行的子層構(gòu)成，這些子層分別對應(yīng)相關(guān)的Softmax分類器[16]（類別有新中式圓形小型吊燈、現(xiàn)代簡約式方形中型臺燈、背景等，類標(biāo)簽的概率一并輸出）。

2.4? ?圖像檢索優(yōu)化

YOLO（You Only Lool Once）檢測算法應(yīng)用：先將圖像分割成19*19的尺寸相同的矩形框，然后將小框裁剪出來的圖像輸入到CNN中，CNN能夠預(yù)測出框內(nèi)是否有匹配的燈具類型，可輸出結(jié)果為分類結(jié)果向量{Pc，b_x，b_y，b_h，b_w，c1，c2，Pc，b_x，b_y，b_h，b_w，c1，c2}，Pc分類結(jié)果的概率，其他變量各自獨立，b_x，b_y，b_h，b_w分別為風(fēng)格、類型、形狀，和規(guī)模，c的維度等于類的數(shù)量，最高幾率Pc為最優(yōu)解，抑制非最大值方法可準(zhǔn)確測出位置。在檢索出相似的圖片中，我們把x圖的FC層輸出向量f（x）看成是輸入圖片的編碼，我們可以定義x1和x2兩圖的相似值：d（x1，x2）=||f（x1）-f（x2）||2 若d值越小，則兩圖片越相似。該算法可以提取感興趣候選區(qū)，而卷積神經(jīng)網(wǎng)絡(luò) （CNN） 可直接自動去分類和調(diào)整這些區(qū)域。

一般訓(xùn)練好的CNN網(wǎng)絡(luò)模型在提取數(shù)據(jù)特征特征和分類上比較高效完善，而在神經(jīng)網(wǎng)絡(luò)中CNN的分類信息和隱含層的特征圖均可作為圖像檢索指標(biāo)，利用分類模型的隱含層輸出作為特征向量進(jìn)行檢索可得到更優(yōu)效果。在圖像檢索時，如果直接根據(jù)燈具語義屬性進(jìn)行快速檢索[17]，但是語義屬性往往是抽象屬性，并不方便描述一些細(xì)致的特征，為兼顧整體特征和細(xì)致特征，提高檢索精確，我們采取融合卷積層Conv4和全連接層FC1的輸出作為特征向量進(jìn)行檢索，其中第四層卷積共卷積核384個，輸出是64896維，F(xiàn)C1的輸出是4096維，融合后是68992維，之后進(jìn)行非線性降維處理得到特征。

3? ?實驗結(jié)果和分析

3.1? ?分類

由于同時識別多個屬性比識別單屬性要復(fù)雜，而加入數(shù)據(jù)增強(qiáng)[18]預(yù)處理之后明顯提高了網(wǎng)絡(luò)的分類準(zhǔn)確度，實驗結(jié)果融合卷積層和全連接層比傳統(tǒng)CNN結(jié)果更加準(zhǔn)確。最終分類結(jié)果如表1所示：

從表格結(jié)果可見，引入融合并行的特征比單獨采用各層進(jìn)行檢索，特征存儲空間并不是很大，且分類準(zhǔn)確率有提高近4%的準(zhǔn)確率。（M_CNN代表融合卷積層和全連接層，DM_CNN代表引入預(yù)處理）

3.2? ?檢索

實驗中檢索過程通過使用YOLO算法[19]的方式來縮小檢索范圍[20]以提高檢索運行效率，若輸出結(jié)果判斷失誤，則檢索結(jié)果出錯。而且對于分類準(zhǔn)確率不高的語義屬性如燈具規(guī)模等，為規(guī)避這些冗余的特征提取操作，所以可直接進(jìn)行忽略[21]規(guī)模這個語義屬性。在整個檢索過程中，我們可以看到檢索結(jié)果不僅體現(xiàn)了全局信息，而且對于局部的紋理，圖像的亮度等也進(jìn)行了有效識別。檢索結(jié)果如圖5所示，包含了美式吊燈、現(xiàn)代簡約吊燈和新中式吊燈。

4? ?結(jié)? ?論

提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的用快速檢索燈具的優(yōu)化算法，為適應(yīng)多個屬性判別，采用了復(fù)雜的多標(biāo)簽分類，預(yù)處理可優(yōu)化提高增強(qiáng)特征提取準(zhǔn)確率。而對于圖像檢索問題，使用融合卷積層、全連接層輸出的特征向量和YOLO算法可以使得分類更為準(zhǔn)確，同時保留了燈具的整體和局部信息，然后比較各圖像特征向量間的相似性，從而得到最優(yōu)檢索結(jié)果。當(dāng)然為應(yīng)對家居建材越來越高的市場要求，人們對燈具智能化的需求也在快速增長，智能家居正處于快速發(fā)展階段、發(fā)展前景巨大，而且我們還有許多問題有待進(jìn)一步研究，比如說根據(jù)燈具類型預(yù)估出商品價格、根據(jù)圖像鑒別真假等。

參考文獻(xiàn)

[1]? ? 丁治國. RFID關(guān)鍵技術(shù)研究與實現(xiàn)[D]. 合肥：中國科學(xué)技術(shù)大學(xué)，2009.

[2]? ? 尹寶才，王文通，王立春. 深度學(xué)習(xí)研究綜述[J]. 北京工業(yè)大學(xué)學(xué)報，2015（1）：48—59.

[3]? ? 程華. 個體差異與消費者接受網(wǎng)上購物--基于杭州樣本的實證研究[D]. 杭州：浙江大學(xué)，2003.

[4]? ? 余凱，賈磊，陳雨強(qiáng)，等. 深度學(xué)習(xí)的昨天、今天和明天[J]. 計算機(jī)研究與發(fā)展，2013，50（9）：1799—1804.

[5]? ? 彭波. 大規(guī)模搜索引擎檢索系統(tǒng)框架與實現(xiàn)要點[J]. 計算機(jī)工程與科學(xué)，2006，28（3）：1—4.

[6]? ? 王耀南，李樹濤，毛建旭. 計算機(jī)圖像處理與識別技術(shù)[M]. 北京：高等教育出版社，2001.

[7]? ? 黨銀寧. 基于PCA數(shù)據(jù)降維和神經(jīng)網(wǎng)絡(luò)的能源審計對標(biāo)評價方法的研究[D].長沙：中南大學(xué)，2011.

[8]? ? 周樸，劉澤金，馬閻星，等. 隨機(jī)并行梯度下降算法模擬兩路光纖放大器相干合成與實驗研究[J]. 光學(xué)學(xué)報，2009，29（2）：431—436.

[9]? ? 高雪鵬，叢爽. BP網(wǎng)絡(luò)改進(jìn)算法的性能對比研究[J]. 控制與決策，2001，16（2）：167—171.

[10]? 陳先昌. 基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D]. 杭州：浙江工商大學(xué)，2014.

[11]? 黃文明，魏鵬，梁金華. 基于卷積神經(jīng)網(wǎng)絡(luò)的哈希在圖像檢索中的應(yīng)用[J]. 計算機(jī)工程與設(shè)計，2017，38（2）：517—521.

[12]? 張麗平. 粒子群優(yōu)化算法的理論及實踐[D]. 杭州：浙江大學(xué)，2005.

[13]? 張曉龍. 論居室軟裝飾藝術(shù)設(shè)計[J]. 才智，2010（22）：184.

[14]? 蔣華，戚玉順. 基于球結(jié)構(gòu)SVM的多標(biāo)簽分類[J]. 計算機(jī)工程，2013，39（1）：294—297.

[15]? KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012：1097—1105.

[16]? 許素萍. 深度圖像下基于特征學(xué)習(xí)的人體檢測方法研究[D]. 廈門：廈門大學(xué)，2014.

[17]? 杭燕，楊育彬，陳兆乾. 基于內(nèi)容的圖像檢索綜述[J]. 計算機(jī)應(yīng)用研究，2002，19（9）：9—13.

[18]? 朱金魁. 人臉識別算法的研究[D]. 哈爾濱：東北林業(yè)大學(xué)，2009.

[19]? 沈軍宇，李林燕，夏振平，等. 一種基于YOLO算法的魚群檢測方法[J]. 中國體視學(xué)與圖像分析，2018（2）：174—180.

[20]? 曾京文，汪慶寶，胡健. 指紋自動識別中的中心點搜索和特征分塊抽取方法[J]. 北京工業(yè)大學(xué)學(xué)報，1996，22（4）：115—121.

[21]? 徐進(jìn)，易綿竹. 計算語義學(xué)中的語言子系統(tǒng)理論[J]. 解放軍外國語學(xué)院學(xué)報，2014，37（3）：84—91.