任偉建, 宋 月, 陳建玲, 任 璐, 孫勤江

(1. 東北石油大學(xué) a. 電氣信息工程學(xué)院； b. 黑龍江省網(wǎng)絡(luò)化與智能控制重點(diǎn)實(shí)驗(yàn)室, 黑龍江 大慶 163318；2. 中海石油(中國(guó))有限公司天津分公司 渤海研究院, 天津 300452；3. 海洋石油工程股份有限公司 設(shè)計(jì)公司, 天津 300450； 4. 中海石油(中國(guó))有限公司 天津分公司, 天津 300452)

0 引 言

石油管線(xiàn)作為油田物資中的一個(gè)重要組成部分, 隨著油氣田開(kāi)發(fā)建設(shè)、生產(chǎn)規(guī)模不斷擴(kuò)大, 物資管理任務(wù)進(jìn)一步加重, 管線(xiàn)管理的要求也進(jìn)一步提高。雖然目前已經(jīng)有倉(cāng)儲(chǔ)管理信息系統(tǒng), 但針對(duì)管線(xiàn)身份識(shí)別大多還是通過(guò)人眼識(shí)別的方式。人眼識(shí)別在一定程度上被認(rèn)為是最可靠的方式, 但該方式無(wú)法避免地存在人為抄寫(xiě)錯(cuò)誤以及工作量巨大等缺點(diǎn)。近年來(lái), 學(xué)者們提出了運(yùn)用神經(jīng)網(wǎng)絡(luò)進(jìn)行鋼號(hào)識(shí)別的方法。王靜鋼[1]首先提取了鋼號(hào)圖像的網(wǎng)格特征、 交叉點(diǎn)特征等特征矢量, 然后輸入3層BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。這類(lèi)識(shí)別方法是先用一個(gè)手工設(shè)計(jì)的特征提取器提取輸入數(shù)據(jù)中相關(guān)的有用信息得到一組特征向量, 再利用一個(gè)可訓(xùn)練的分類(lèi)器, 如神經(jīng)網(wǎng)絡(luò)等對(duì)這些特征向量進(jìn)行分類(lèi)識(shí)別[2]。該方法相對(duì)人工抄寫(xiě)的方式一定程度上解放了人力, 但提取到的特征向量很大程度上決定了識(shí)別效果, 并且手工設(shè)計(jì)圖像特征不僅費(fèi)時(shí)而且效率不高。

隨著計(jì)算機(jī)的發(fā)展, 基于深度學(xué)習(xí)的模式識(shí)別已成為機(jī)器視覺(jué)和人工智能領(lǐng)域中研究的熱點(diǎn), 被廣泛應(yīng)用于工業(yè)、 醫(yī)學(xué)等諸多領(lǐng)域中[3]。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)模型的一種, 是最常用的一種模型結(jié)構(gòu)。早在1998年, Lecun等[4]提出了LeNet-5模型, 成功將其應(yīng)用于銀行支票手寫(xiě)數(shù)字識(shí)別任務(wù)中, 獲得了很好的效果。2012年, Krizhevsky等[5]提出AlexNet模型, 在圖像分類(lèi)比賽中以巨大優(yōu)勢(shì)獲得第1名, 因此很多學(xué)者開(kāi)始將卷積神經(jīng)網(wǎng)絡(luò)作為研究焦點(diǎn)。隨后, 新的卷積神經(jīng)網(wǎng)絡(luò)模型不斷被提出。目前對(duì)卷積神經(jīng)網(wǎng)絡(luò)的研究呈現(xiàn)兩種趨勢(shì), 一種是增加卷積神經(jīng)網(wǎng)絡(luò)層數(shù), 構(gòu)成深度卷積神經(jīng)網(wǎng)絡(luò)； 另一種是優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。雖然構(gòu)建更深層次的網(wǎng)絡(luò)可以達(dá)到更好的實(shí)驗(yàn)效果, 但深度網(wǎng)絡(luò)卻需要更長(zhǎng)的訓(xùn)練時(shí)間、 更多的計(jì)算資源和訓(xùn)練技巧。Saxe等[6]指出卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)本身是網(wǎng)絡(luò)能提取多層次、 多尺度特征的主要因素。所以設(shè)計(jì)特征學(xué)習(xí)能力更強(qiáng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)成為廣大學(xué)者的研究重點(diǎn)。聯(lián)和卷積神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)就是一種典型[7]。Socher等[8]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)提出了一種新的深度學(xué)習(xí)結(jié)構(gòu), 卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)原始圖像的淺層特征并作為遞歸神經(jīng)網(wǎng)絡(luò)的輸入, 利用遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高層特征, 在彩色-深度圖像識(shí)別中取得了很好的識(shí)別率； 駱健等[9]在文獻(xiàn)[8]的基礎(chǔ)上增加卷積神經(jīng)網(wǎng)絡(luò)的輸入, 提出多尺度卷積遞歸神經(jīng)網(wǎng)絡(luò), 經(jīng)過(guò)局部對(duì)比度標(biāo)準(zhǔn)化和采樣后作為遞歸神經(jīng)網(wǎng)絡(luò)的輸入, 提取更加抽象的高層特征。雖然文獻(xiàn)[8,9]中提到的方法都獲得了很好的效果, 但這些方法都只是用遞歸神經(jīng)網(wǎng)絡(luò)代替一部分的卷積神經(jīng)網(wǎng)絡(luò)提取高層特征, 而忽略了卷積神經(jīng)網(wǎng)絡(luò)本身學(xué)習(xí)高層特征的能力。

為提取輸入圖像的多樣性高層特征, 筆者提出一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 在卷積神經(jīng)網(wǎng)絡(luò)中引入遞歸神經(jīng)網(wǎng)絡(luò), 輸入圖像先經(jīng)過(guò)第1級(jí)卷積神經(jīng)網(wǎng)絡(luò), 通過(guò)卷積操作和采樣操作后提取原始圖像的淺層特征, 再輸入由卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)組成的第2級(jí)網(wǎng)絡(luò)學(xué)習(xí)高層特征, 最后將這兩種網(wǎng)絡(luò)學(xué)習(xí)到的特征融合后輸入到分類(lèi)器中進(jìn)行分類(lèi)。改進(jìn)后的網(wǎng)絡(luò)既能利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高層特征, 同時(shí)還利用遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)低層特征的組合特征, 將兩種特征融合后能夠有效進(jìn)行識(shí)別。為提高網(wǎng)絡(luò)識(shí)別精度和訓(xùn)練速度, 減少網(wǎng)絡(luò)過(guò)擬合, 筆者擬利用遷移學(xué)習(xí)理論解決小樣本集數(shù)據(jù)在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練中樣本不足的問(wèn)題。

1 卷積神經(jīng)網(wǎng)絡(luò)

近年來(lái), 基于卷積神經(jīng)網(wǎng)絡(luò)的模式識(shí)別快速發(fā)展, 其高效的識(shí)別方法引起廣泛重視。傳統(tǒng)的模式識(shí)別模型是先用一個(gè)手工設(shè)計(jì)的特征提取器收集輸入數(shù)據(jù)中相關(guān)的有用信息得到一組特征向量, 然后利用一個(gè)可訓(xùn)練的分類(lèi)器對(duì)這些特征向量進(jìn)行分類(lèi)識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)模型與傳統(tǒng)模型的不同之處在于卷積神經(jīng)網(wǎng)絡(luò)將特征提取與分類(lèi)識(shí)別集于一體, 將特征提取過(guò)程隱藏于網(wǎng)絡(luò)中, 即輸入為原始圖像, 輸出為分類(lèi)結(jié)果, 因此得到了廣泛的應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)每個(gè)卷積層后一般都有一個(gè)采樣層連接, 卷積層實(shí)現(xiàn)特征提取, 采樣層對(duì)提取到的特征進(jìn)行采樣實(shí)現(xiàn)數(shù)據(jù)降維。卷積神經(jīng)網(wǎng)絡(luò)改變了以往的全連接方式, 采用局部連接不僅降低了參數(shù)數(shù)量, 同時(shí)更利于學(xué)習(xí)數(shù)據(jù)的局部特征。同時(shí)每層的獨(dú)立神經(jīng)元共享一個(gè)權(quán)值, 大幅降低了可學(xué)習(xí)的參數(shù)數(shù)量, 采樣層通過(guò)連續(xù)采樣操作不僅實(shí)現(xiàn)特征降維而且能實(shí)現(xiàn)對(duì)輸入圖像的旋轉(zhuǎn)、 平移、 伸縮等變換的不變性。

1.1 卷積層

(1)

1.2 采樣層

采樣層即對(duì)輸入特征圖進(jìn)行采樣操作, 有K1個(gè)輸入圖, 就有K1個(gè)輸出圖, 只是每個(gè)輸出圖都變小了。表達(dá)式為

(2)

采樣方式包括均值采樣、 最大值采樣等, 設(shè)采樣層的核大小為k×k, 則采樣層計(jì)算方式如下

(3)

最大采樣f(x)=max(x[i,i+k][j,j+k])

(4)

1.3 LeNet-5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖1為經(jīng)典的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖[4]。

圖1 LeNet-5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Sketch map of LeNet-5 convolution neural network structure

該網(wǎng)絡(luò)主要包含輸入層、 3個(gè)卷積層、 2個(gè)采樣層、 1個(gè)全連接層和輸出層。其中Input層為輸入層, C1、 C3及C5是由卷積神經(jīng)元組成的卷積層, S2和S4是由采樣神經(jīng)元組成的采樣層, F6是全連接層, Output為輸出層。網(wǎng)絡(luò)輸入層的輸入圖像是經(jīng)過(guò)歸一化的32×32像素大小的圖像。

C1層。每個(gè)神經(jīng)元都是由卷積核與輸入圖中的局部鄰域連接得到, 用6個(gè)不同的可學(xué)習(xí)的卷積核與輸入圖像分別進(jìn)行卷積操作則得到6個(gè)不同的特征圖。卷積層通過(guò)局部連接可以學(xué)習(xí)到數(shù)據(jù)的局部特征。卷積核大小為5×5像素, 卷積步長(zhǎng)為1, 所以每個(gè)特征圖的大小為(32-5+1)×(32-5+1)像素, 即特征圖大小為28×28像素。

S2層。對(duì)C1層中的每個(gè)特征圖的小區(qū)域進(jìn)行子抽樣以實(shí)現(xiàn)數(shù)據(jù)降維, 并且通過(guò)選擇連續(xù)范圍進(jìn)行采樣操作, 即使圖像有小的形變, 采樣的結(jié)果依然相同。這樣保持了對(duì)于輸入圖像的旋轉(zhuǎn)、 平移、 伸縮等變化的不變性。S2層與C1層有相同個(gè)數(shù)的特征圖, 特征圖中的每個(gè)單元由C1中相對(duì)應(yīng)特征圖的2×2像素鄰域采樣得到, 且不重疊采樣, 所以此層每個(gè)特征圖的大小為14×14像素。

C3層。每個(gè)神經(jīng)元同樣采用局部連接的方式與S2層的多個(gè)特征圖相連。C3層增加特征圖個(gè)數(shù)為16個(gè), 以補(bǔ)償S2層采樣帶來(lái)的特征損失并且獲得更多不同的特征。卷積核大小為5×5像素, 步長(zhǎng)為1, 所以特征圖的大小為10×10像素。C3層中特征圖與S2層中特征圖的連接方式如表1所示, 表1中“X”表示有連接。由表1可見(jiàn), C3層的前6個(gè)特征圖都是與S2層中3個(gè)相鄰的特征圖連接, 接下來(lái)的6個(gè)特征圖都是與S2層中4個(gè)相鄰的特征圖連接, 隨后的3個(gè)都是以不相鄰的4個(gè)特征圖連接, 最后一個(gè)與S2層中的所有特征圖連接。

S4層。其功能與S2層相同, 對(duì)C3層相應(yīng)特征圖進(jìn)行2×2像素區(qū)域的采樣操作, 得到16個(gè)5×5像素的特征圖；

C5層。將特征圖增加至120個(gè), 每個(gè)單元與S4層的全部16個(gè)特征圖的5×5鄰域相連, 得到120個(gè)大小為1×1特征圖, 構(gòu)成了S4和C5之間的全連接。

F6層。包含84個(gè)神經(jīng)元, 每個(gè)神經(jīng)元與C5層120個(gè)特征圖全部相連, 將學(xué)習(xí)到的特征表示映射到樣本標(biāo)記空間。

最后的輸出層由歐氏徑向基函數(shù)單元組成, 每個(gè)單元代表一個(gè)類(lèi)別。在手寫(xiě)體識(shí)別任務(wù)中, 識(shí)別數(shù)字0～9共10個(gè)類(lèi)別, 所以輸出層單元為10個(gè), 分別輸出對(duì)應(yīng)數(shù)字的概率。

表1 C3與S2層的連接方式

2 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)將特征提取與分類(lèi)識(shí)別集于一體, 因此得到了廣泛應(yīng)用。文獻(xiàn)[8,9]將卷積神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)結(jié)合得到了很好的效果, 但都是用遞歸神經(jīng)網(wǎng)絡(luò)代替一部分卷積神經(jīng)網(wǎng)絡(luò)提取高層特征, 而忽略了卷積神經(jīng)網(wǎng)絡(luò)本身學(xué)習(xí)高層特征的能力。

2.1 遞歸神經(jīng)網(wǎng)絡(luò)

圖2 遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Sketch map of recursive neural network structure

遞歸神經(jīng)網(wǎng)絡(luò)類(lèi)似于卷積操作和采樣操作的結(jié)合, 通過(guò)重復(fù)使用同一組權(quán)重和選擇接受域達(dá)到逐層降低特征維度的目的, 其結(jié)構(gòu)示意圖如圖2所示。其中K1為第1級(jí)網(wǎng)絡(luò)輸出的特征圖個(gè)數(shù)。最底層的特征圖大小為4×4像素,xi(i=1,2,…,16)為底層特征圖單元, 設(shè)接受域?yàn)?×2像素, 連接權(quán)重為W, 第2層網(wǎng)絡(luò)特征圖的每個(gè)單元pi(i=1,2,…,4)與底層特征圖的2×2像素接受域相連, 最終得到2×2像素大小的特征圖, 其中p1的計(jì)算公式如下

(5)

同理, 第2層特征圖再經(jīng)過(guò)一層遞歸神經(jīng)網(wǎng)絡(luò)后得到1×1像素大小的特征圖。

2.2 改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

筆者對(duì)經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化, 主要包含以下兩方面：

1) 設(shè)計(jì)兩級(jí)網(wǎng)絡(luò)模式, 在第2級(jí)網(wǎng)絡(luò)中引入遞歸神經(jīng)網(wǎng)絡(luò)。遞歸神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)有效的組合特征, 將其與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合有助于網(wǎng)絡(luò)提取多樣性的特征。

2) LeNet-5用于手寫(xiě)數(shù)字識(shí)別中分類(lèi)數(shù)目為10類(lèi), 所以輸出神經(jīng)元為10個(gè)。筆者實(shí)驗(yàn)數(shù)據(jù)采集于管庫(kù)中的鋼管線(xiàn), 主要用于油氣、 天然氣輸送。其鋼號(hào)不僅包含0～9的數(shù)字, 還包含大寫(xiě)字母, 所以將輸出層神經(jīng)元改為36個(gè)。

改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖3所示。在卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)采樣層后引入多層遞歸神經(jīng)網(wǎng)絡(luò), 原始圖像經(jīng)過(guò)第1個(gè)卷積層和采樣層后得到圖像的淺層特征, 然后將這些淺層特征同時(shí)輸入卷積神經(jīng)網(wǎng)絡(luò)和多層遞歸神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)更高層的特征, 最后將學(xué)習(xí)到的特征進(jìn)行融合后輸入到分類(lèi)器中進(jìn)行分類(lèi)。

R1層。與卷積神經(jīng)網(wǎng)絡(luò)的采樣層S2連接, 設(shè)經(jīng)過(guò)S2層后得到的特征圖大小為m×m像素, 連接這些特征圖向量作為遞歸神經(jīng)網(wǎng)絡(luò)的R1層輸入, 設(shè)遞歸神經(jīng)網(wǎng)絡(luò)數(shù)量為K2個(gè), 選擇接受域?yàn)閘×l像素且接受域不重疊, 則特征圖經(jīng)過(guò)R1層網(wǎng)絡(luò)后維度變?yōu)閙/l×m/l像素。

R2層。與遞歸神經(jīng)網(wǎng)絡(luò)R1層連接, 同樣是連接R1層特征圖向量作為R2層輸入, 則特征圖經(jīng)過(guò)R2層遞歸神經(jīng)網(wǎng)絡(luò)后維度變?yōu)閙/l2×m/l2像素。依次類(lèi)推, 直到特征圖變?yōu)?×1像素大小。

圖3 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 Sketch map of improved convolution neural network structure

2.3 遷移學(xué)習(xí)

卷積神經(jīng)網(wǎng)絡(luò)通常采用有監(jiān)督的誤差梯度下降方法進(jìn)行訓(xùn)練, 當(dāng)訓(xùn)練樣本足夠大時(shí), 網(wǎng)絡(luò)能產(chǎn)生非常強(qiáng)的性能。但當(dāng)訓(xùn)練樣本不足時(shí), 卷積神經(jīng)網(wǎng)絡(luò)則表現(xiàn)出對(duì)大量樣本的依賴(lài)特性, 形成過(guò)擬合或欠擬合網(wǎng)絡(luò)。目前為止, 鋼號(hào)數(shù)據(jù)還沒(méi)有建立像人臉、 手寫(xiě)字符一樣的公共庫(kù), 所以用于實(shí)驗(yàn)的數(shù)據(jù)大多來(lái)自實(shí)驗(yàn)者的親自采集, 給相關(guān)實(shí)驗(yàn)工作帶來(lái)巨大困難。遷移學(xué)習(xí)理論的研究可以很好的解決卷積神經(jīng)網(wǎng)絡(luò)因訓(xùn)練樣本不足而導(dǎo)致網(wǎng)絡(luò)過(guò)擬合的問(wèn)題。

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法, 文獻(xiàn)[10]給出遷移學(xué)習(xí)的定義： 給定一個(gè)原始領(lǐng)域DS和一個(gè)原始學(xué)習(xí)任務(wù)TS, 一個(gè)目標(biāo)領(lǐng)域DT和一個(gè)目標(biāo)學(xué)習(xí)任務(wù)TT, 遷移學(xué)習(xí)的目標(biāo)是使用DS和TS中的知識(shí), 幫助改進(jìn)在DT中的目標(biāo)預(yù)測(cè)函數(shù)的學(xué)習(xí), 其中DS≠DT或TS≠TT, 即運(yùn)用已有的知識(shí)對(duì)相關(guān)領(lǐng)域的不同問(wèn)題進(jìn)行求解。在卷積神經(jīng)網(wǎng)絡(luò)中, 遷移學(xué)習(xí)就是要把在特定數(shù)據(jù)集上訓(xùn)練得到的“知識(shí)”成功運(yùn)用到新的領(lǐng)域[11]。筆者利用遷移學(xué)習(xí)理論解決卷積神經(jīng)網(wǎng)絡(luò)針對(duì)鋼號(hào)小樣本集訓(xùn)練樣本不足的問(wèn)題。MNIST數(shù)據(jù)集是由Google實(shí)驗(yàn)室和紐約大學(xué)柯朗研究所共同建立的一個(gè)手寫(xiě)數(shù)字?jǐn)?shù)據(jù)庫(kù), 包含60 000張用于訓(xùn)練的手寫(xiě)數(shù)字圖像, 10 000張測(cè)試圖像[12]。手寫(xiě)數(shù)字與筆者要分類(lèi)的鋼號(hào)圖像在形狀和線(xiàn)條上存在著很高的相似性, 并且卷積神經(jīng)網(wǎng)絡(luò)在手寫(xiě)數(shù)字識(shí)別任務(wù)上一直表現(xiàn)優(yōu)秀。所以可以將訓(xùn)練手寫(xiě)數(shù)字網(wǎng)絡(luò)得到的知識(shí)運(yùn)用到鋼號(hào)識(shí)別分類(lèi)中。其遷移學(xué)習(xí)流程如下： 1) 首先利用MNIST數(shù)據(jù)集對(duì)卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)進(jìn)行訓(xùn)練； 2) 將鋼號(hào)圖像輸入訓(xùn)練好的網(wǎng)絡(luò)模型中提取特征； 3) 利用提取后的特征再對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練、 微調(diào), 實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)在MNIST數(shù)據(jù)集上的知識(shí)遷移。遷移學(xué)習(xí)理論的運(yùn)用不僅解決了小樣本集訓(xùn)練過(guò)程中容易引起網(wǎng)絡(luò)過(guò)擬合的問(wèn)題, 同時(shí)提高了訓(xùn)練速度和識(shí)別精度。

3 實(shí)驗(yàn)研究

筆者的實(shí)驗(yàn)是在Windows7 32位系統(tǒng)Intel i7-4790 CPU、 4 GByte內(nèi)存的計(jì)算機(jī)上進(jìn)行的, 在Matalab R2010a平臺(tái)上實(shí)現(xiàn)算法的編碼。

3.1 樣本預(yù)處理

利用文獻(xiàn)[13]中的圖像定位分割方法將采集到的鋼號(hào)圖片分割為只含有單個(gè)字符的鋼號(hào)樣本數(shù)據(jù)。由于鋼號(hào)樣本屬于小樣本集, 所以還要對(duì)實(shí)驗(yàn)樣本進(jìn)行擴(kuò)充。樣本擴(kuò)充技術(shù)主要通過(guò)對(duì)原始樣本進(jìn)行操作從而生成合理的虛擬樣本, 并將它們添加到原始訓(xùn)練樣本集, 達(dá)到擴(kuò)充訓(xùn)練樣本集的目的, 使分類(lèi)器的泛化能力提高[14,15]。為模擬不同的拍攝條件, 筆者對(duì)鋼號(hào)圖像訓(xùn)練樣本進(jìn)行了平移、 旋轉(zhuǎn)和水平翻轉(zhuǎn)等幾何變換。除了通過(guò)幾何變換進(jìn)行樣本擴(kuò)充外, 在輸入樣本中添加噪聲同樣可以提高學(xué)習(xí)方法的泛化能力, 所以筆者還在鋼號(hào)訓(xùn)練樣本中分別加入了高斯噪聲、 椒鹽噪聲和泊松噪聲生成虛擬樣本[16]。筆者用于實(shí)驗(yàn)的圖像共36類(lèi)1 800張, 每類(lèi)圖像50張, 經(jīng)過(guò)水平翻轉(zhuǎn)、 上下左右平移5個(gè)像素、 左右旋轉(zhuǎn)45°、 加入高斯噪聲、 椒鹽噪聲和泊松噪聲等樣本擴(kuò)充后有19 800張?zhí)摂M樣本。其中17 000張作為訓(xùn)練樣本, 2 800張作為測(cè)試樣本。

由于自然圖像易受到光照、 遮擋等不利于識(shí)別因素的影響, 圖片質(zhì)量可能會(huì)很差, 影響到最終的分類(lèi)結(jié)果[14-16]。為使分類(lèi)效果得到改善, 提高分類(lèi)精度, 需對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。

1) 將擴(kuò)充后的圖像縮放成統(tǒng)一大小。筆者將訓(xùn)練樣本統(tǒng)一大小為36×36像素。

2) 彩色圖像對(duì)識(shí)別的影響不大, 為減小計(jì)算量, 將彩色圖像轉(zhuǎn)化為灰度圖像。

3) 將所有圖像進(jìn)行均值和方差歸一化。

4) 白化。零成分分析(ZCA: Zero Component Analysis)白化方式有著盡可能的接近原始數(shù)據(jù)的優(yōu)點(diǎn), 并可降低數(shù)據(jù)的冗余性, 所以筆者采用ZCA白化。

3.2 實(shí)驗(yàn)及結(jié)果分析

筆者將第1級(jí)卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小設(shè)為5×5, 步長(zhǎng)為1, 卷積核個(gè)數(shù)為6, 則卷積后的特征圖大小為32×32像素。采樣層采樣方式為均值采樣, 接受域?yàn)?, 最終第1級(jí)輸出6個(gè)大小為16×16像素的特征圖。將16×16像素的特征圖輸入第2級(jí)網(wǎng)絡(luò), 第2級(jí)網(wǎng)絡(luò)包含卷積神經(jīng)網(wǎng)絡(luò)和2層遞歸神經(jīng)網(wǎng)絡(luò)。設(shè)遞歸神經(jīng)網(wǎng)絡(luò)的個(gè)數(shù)為K2=30個(gè), 遞歸神經(jīng)網(wǎng)絡(luò)接受域?yàn)?×4, 經(jīng)過(guò)2層運(yùn)算變?yōu)?×1。第2層卷積神經(jīng)網(wǎng)絡(luò)的卷積核接受域設(shè)置為5×5, 步長(zhǎng)為1, 卷積核個(gè)數(shù)設(shè)置為K3=16個(gè)。卷積后的特征圖尺寸為12×12像素, 采樣接受域設(shè)置為2×2, 采樣后的特征圖尺寸為6×6, 將卷積神經(jīng)網(wǎng)絡(luò)輸出的特征圖與遞歸神經(jīng)網(wǎng)絡(luò)輸出的特征圖進(jìn)行特征融合后直接用于分類(lèi)器進(jìn)行分類(lèi)。實(shí)驗(yàn)結(jié)果如表2所示。

表2 鋼號(hào)識(shí)別率對(duì)比

由表2可見(jiàn), 筆者提出的方法得到了較高的識(shí)別率。第2級(jí)采用遞歸神經(jīng)網(wǎng)絡(luò)比采用卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率高1.76%, 證明遞歸神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)到有效的高層特征。筆者方法對(duì)比第2級(jí)只采用卷積神經(jīng)網(wǎng)絡(luò)和第2級(jí)只采用遞歸神經(jīng)網(wǎng)絡(luò)的識(shí)別率分別高出3%和1.24%。說(shuō)明多樣性的高層特征對(duì)識(shí)別精度有積極的影響。

表3選取了一些圖像的識(shí)別結(jié)果。由表3可見(jiàn), 網(wǎng)絡(luò)對(duì)于光照強(qiáng)度不同或圖像移動(dòng)的情況下依然具有好的識(shí)別能力。但是對(duì)于圖像(4)中存在像素?fù)p失的數(shù)據(jù)沒(méi)有正確的識(shí)別, 這類(lèi)樣本需額外進(jìn)行處理以突出樣本特征。

表3 圖像識(shí)別結(jié)果

為確定網(wǎng)絡(luò)結(jié)構(gòu)對(duì)識(shí)別率的影響, 筆者還研究了遞歸神經(jīng)網(wǎng)絡(luò)個(gè)數(shù)和C3層卷積核個(gè)數(shù)對(duì)識(shí)別率的影響。實(shí)驗(yàn)過(guò)程和結(jié)果如下。

1) 固定C3層卷積核個(gè)數(shù)K3=16, 將遞歸神經(jīng)網(wǎng)絡(luò)的個(gè)數(shù)K2從5以增量5變化到45, 識(shí)別率如圖4所示。從圖4中可見(jiàn), 在一定范圍內(nèi)隨遞歸神經(jīng)網(wǎng)絡(luò)的個(gè)數(shù)增加, 錯(cuò)誤率也隨之降低, 當(dāng)K2=30左右時(shí)達(dá)到飽和, 錯(cuò)誤率不再明顯下降。遞歸神經(jīng)網(wǎng)絡(luò)的個(gè)數(shù)和訓(xùn)練時(shí)間的關(guān)系如表4所示。由表4可見(jiàn), 隨遞歸神經(jīng)網(wǎng)絡(luò)個(gè)數(shù)的增加, 訓(xùn)練所需時(shí)間也有所增加, 在K2值較小時(shí), 隨K2的增加, 訓(xùn)練所需時(shí)間緩慢增加, 當(dāng)K2>35時(shí), 再增加K2的數(shù)目, 時(shí)間消耗增幅變大。

表4 遞歸神經(jīng)網(wǎng)絡(luò)個(gè)數(shù)對(duì)訓(xùn)練時(shí)間的影響

2) 固定遞歸神經(jīng)網(wǎng)絡(luò)個(gè)數(shù)K2=30, 變化C3層卷積核個(gè)數(shù)K3, 從8以增量2變化到20, 得到的識(shí)別結(jié)果如圖5所示。由圖5可見(jiàn), 當(dāng)K3=12時(shí)錯(cuò)誤率就降到了4.23%, 比卷積神經(jīng)網(wǎng)絡(luò)的錯(cuò)誤率降低了1.52%, 由此可見(jiàn), 利用遞歸神經(jīng)網(wǎng)絡(luò)提取圖像的多樣性特征是有效的。C3層卷積核個(gè)數(shù)與訓(xùn)練時(shí)間關(guān)系如表5所示, 當(dāng)K3取8、10、12時(shí)相比表4訓(xùn)練時(shí)間明顯縮短, 說(shuō)明引入遞歸神經(jīng)網(wǎng)絡(luò)后, 不僅識(shí)別精度提高了, 同時(shí)還加快了訓(xùn)練速度。隨K3的增加, 識(shí)別率上升, 但同時(shí)訓(xùn)練的時(shí)間成本也越來(lái)越大。

圖4 遞歸神經(jīng)網(wǎng)絡(luò)個(gè)數(shù)對(duì)識(shí)別率的影響曲線(xiàn) 圖5 C3層卷積核個(gè)數(shù)對(duì)識(shí)別率的影響曲線(xiàn)圖 Fig.4 Effect of recursive neural network number on recognition rate Fig.5 Effect of convolution kernel number in C3 layer on recognition rate

K38101214161820訓(xùn)練時(shí)間/min51.7753.2954.9658.3762.3268.9779.52

4 結(jié) 語(yǔ)

筆者在經(jīng)典網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)卷積神經(jīng)網(wǎng)絡(luò), 通過(guò)引入遞歸神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)并行學(xué)習(xí)高層特征, 增加了特征的多樣性。針對(duì)鋼號(hào)樣本數(shù)據(jù)的特點(diǎn), 采用幾何變化以及加噪聲的方式對(duì)樣本集進(jìn)行擴(kuò)充, 并利用遷移學(xué)習(xí)理論, 將MNIST數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)到的知識(shí)遷移應(yīng)用于鋼號(hào)識(shí)別中, 以提高訓(xùn)練的精度和速度, 減少網(wǎng)絡(luò)過(guò)擬合。實(shí)驗(yàn)證明, 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)在鋼號(hào)識(shí)別任務(wù)中獲得了較高的識(shí)別率。筆者的試驗(yàn)是采用Matlab平臺(tái)進(jìn)行的, 為加快訓(xùn)練速度下一步應(yīng)研究基于深度學(xué)習(xí)框架的實(shí)驗(yàn)方式。并且激活函數(shù)、 網(wǎng)絡(luò)層數(shù)、 采樣方式的選擇等也一定程度上影響網(wǎng)絡(luò)的性能, 也應(yīng)進(jìn)一步進(jìn)行研究, 以尋找適合鋼號(hào)識(shí)別的最優(yōu)網(wǎng)絡(luò)。

參考文獻(xiàn)：

[1]王靜鋼. 無(wú)縫鋼管標(biāo)記識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) [D]. 北京: 北京郵電大學(xué)軟件學(xué)院, 2008.

WANG Jinggang. Design and Implementation of Marker Recognition System of Seamless Steel Tubes [D]. Beijing: College of Software, Beijing University of Posts and Telecommunications, 2008.

[2]王志瑞, 閆彩良. 圖像特征提取方法的綜述 [J]. 吉首大學(xué)學(xué)報(bào): 自然科學(xué)版, 2011, 32(5): 43-47.

WANG Zhirui, YAN Cailiang. Method of the Image Feature Extraction [J]. Journal of Jishou University: Natural Science Edition, 2011, 32(5): 43-47.

[3]劉建偉, 劉媛, 羅雄麟. 深度學(xué)習(xí)研究進(jìn)展 [J]. 計(jì)算機(jī)應(yīng)用研究, 2014, 31(7): 1921-1930，1942.

LIU Jianwei, LIU Yuan, LUO Xionglin. Research and Development on Deep Learning [J]. Application Research of Computers, 2014, 31(7)： 1921-1930，1942.

[4]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient Based Learning Applied to Document Recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[5]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet Classification with Deep Convolution Neural Networks [C]∥Neural Information Processing Systems Conference and Workshop(NIPS). USA: Curran Associates, Inc, 2012： 1106-1114.

[6]SAXE A, KOH P W, CHEN Z, et al. On Random Weights and Unsupervised Feature Learning [C]∥International Conference on Machine Learning. USA: Curran Associates, Inc, 2011: 1089-1096.

[7]周飛燕, 金林鵬, 董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述 [J]. 計(jì)算機(jī)學(xué)報(bào), 2017, 40(7): 1-23.

ZHOU Feiyan, JIN Linpeng, DONG Jun. Review of Convolutional Neural Network [J]. Chinese Journal of Computers, 2017, 40(7): 1-23.

[8]SOCHER R, HUVAL B, BHAT B, et al. Convolutional Recursive Deep Learning for 3D Object Classification [C]∥Conference and Workshop on Neural Information Processing System. USA: Curran Associates, Inc, 2012: 665-673.

[9]駱健, 蔣旻, 劉星, 等. 多尺度卷積遞歸神經(jīng)網(wǎng)絡(luò)的RGB-D物體識(shí)別 [J]. 計(jì)算機(jī)應(yīng)用研究, 2017, 34(9): 1-7.

LUO Jian, JIANG Min, LIU Xing, et al. Multi-Scale Convolutional-Recursive Neural Networks for RGB-D Object Recognition [J]. Application Research of Computers, 2017, 34(9): 1-7.

[10]PAN S J, YANG Q. A Survey on Transfer Learning [J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359.

[11]李彥冬, 郝宗波, 雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述 [J]. 計(jì)算機(jī)應(yīng)用, 2016, 36(9): 2508-2515,2565.

LI Yandong, HAO Zongbo, LEI Hang. Survey of Convolution Neural Network [J]. Journal of Computer Applications, 2016, 36(9): 2508-2515,2565.

[12]陳浩翔, 蔡建明, 劉鏗然, 等. 手寫(xiě)數(shù)字深度特征學(xué)習(xí)與識(shí)別 [J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2016, 26(7): 19-23,29.

CHEN Haoxiang, CAI Jianming, LIU Kengran, et al. Deep Learning and Recognition of Handwritten Numeral Features [J]. Computer Technology and Development, 2016, 26(7): 19-23,29.

[13]孟潔, 程永強(qiáng). 圖像定位及分割在車(chē)輛牌照識(shí)別中的應(yīng)用 [J]. 信息通信, 2015(9): 159,160.

MENG Jie, CHENG Yongqiang. Application of Image Location and Segmentation in Vehicle License Plate Recognition [J]. Information & Communications, 2015(9): 159,160.

[14]張琪. 卷積神經(jīng)網(wǎng)絡(luò)在車(chē)標(biāo)識(shí)別技術(shù)中的研究及其小樣本下的處理策略 [D]. 安徽: 安徽大學(xué)電子信息工程學(xué)院, 2016.

ZHANG Qi. Research on Vehicle Logo Recognition Technology Based on Convolution Neural Network and Processing Strategy on Few Samples [D]. Anhui: Shool of Electronic Information Engineering, Anhui University, 2016.

[15]于旭, 楊靜, 謝志強(qiáng). 虛擬樣本生成技術(shù)研究 [J]. 計(jì)算機(jī)科學(xué), 2011, 38(3): 16-19.

YU Xu, YANG Jing, XIE Zhiqiang. Research on Virtual Sample Generation Technology [J]. Computer Science, 2011, 38(3): 16-19.

[16]何鵬程. 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用研究 [D]. 大連: 大連理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 2015.

HE Pengcheng. Research of Improved Convolution Neural Network Model and Its Application [D]. Dalian: School of Computer Science and Technology, Dalian University of Technology, 2015.