林 萍，張華哲，何堅(jiān)強(qiáng)，鄒志勇，陳永明*

1. 鹽城工學(xué)院電氣工程學(xué)院，江蘇 鹽城 224051 2. 四川農(nóng)業(yè)大學(xué)電機(jī)學(xué)院，四川 雅安 625014

引 言

大米是世界上最重要的糧食作物，大米品質(zhì)的好壞直接影響到人們的生活健康狀況，如何快速準(zhǔn)確地對大米品質(zhì)進(jìn)行判別成為目前國際學(xué)術(shù)領(lǐng)域重要的研究課題。堊白參數(shù)是影響大米市場銷售價(jià)格的主要因素之一。大米堊白是在大米籽粒胚乳中心白色不透明部分，它是由于稻米胚乳中蛋白和淀粉顆粒填充疏松和充氣引起的，按其在大米顆粒中出現(xiàn)的部位可分為腹白、心白和背白等類型，是大米籽粒在結(jié)構(gòu)上的一種缺陷[1]。傳統(tǒng)的大米堊白的檢測方法是基于人工目測抽樣檢測，主觀性較大，不同人員的檢測結(jié)果往往不一致，這就嚴(yán)重影響了大米品質(zhì)判別準(zhǔn)確度。因此，國內(nèi)外采用機(jī)器視覺結(jié)合模式識別處理技術(shù)開展了針對大米中的堊白的自動化檢測研究。房國志[2]提出了一種基于形態(tài)學(xué)分水嶺的圖像堊白區(qū)域檢測方法。劉瓔瑛[3]提出了采用切比雪夫逼近方法的大米堊白自動分割。王衛(wèi)星[4]提出了基于直方圖修正和小波自適應(yīng)定位多閾值算法對大米堊白區(qū)域進(jìn)行有效分割。黃星奕[5]等采用遺傳神經(jīng)網(wǎng)絡(luò)對大米堊白度進(jìn)行計(jì)算，結(jié)果顯示基于機(jī)器視覺的檢測方法由于圖片的獲取過程需要外加光源照射，正常米粒中有一部分區(qū)域會造成強(qiáng)反射現(xiàn)象，容易引發(fā)誤判。目前提出的基于機(jī)器視覺的堊白大米圖像檢測方法都是采用由人工來選定目標(biāo)特征的方式，人工提取到的特征對于大米的堊白特性表達(dá)性能不一致，因此最終獲得的檢測精度并不理想。

為了解決現(xiàn)有堊白大米檢測算法效率低，精度不高的問題，提出了一種基于可見光譜圖的堊白大米深度檢測方法，通過構(gòu)建深層次卷積神經(jīng)網(wǎng)絡(luò)模型對大米堊白區(qū)域進(jìn)行特征提取，通過深層次隱含模型訓(xùn)練來確定網(wǎng)絡(luò)結(jié)構(gòu)并獲取深度檢測模型的最佳特征權(quán)重參數(shù)，進(jìn)而有效提升堊白大米的檢測精度。

1 實(shí)驗(yàn)部分

1.1 儀器

基于機(jī)器視覺的堊白大米檢測分析實(shí)驗(yàn)平臺系統(tǒng)原理圖如圖1所示。該系統(tǒng)主要部件由暗箱、CCD像機(jī)、圖像采集卡、計(jì)算機(jī)、光源和載物臺構(gòu)成。樣品放在暗箱內(nèi)； 暗箱下面是載物臺，暗箱頂部安裝有CCD像機(jī)，可以同時(shí)采集700，550和440 nm附近3個波段的大米可見光譜圖像信息。暗箱部安裝有光源； 為了避免樣品在檢測時(shí)形成鏡面反射，暗箱內(nèi)表面均粘貼有背景紙，使得光在箱體內(nèi)形成均勻的漫反射。為了進(jìn)一步消除光源照射時(shí)在背景上產(chǎn)生的陰影，最終選用環(huán)形熒光燈管作為照射光源。圖像采集采用松下WV-CW370型CCD彩色像機(jī)和嘉恒公司的OK_C30A-E型彩色圖像采集卡，其中像機(jī)鏡頭采用精工SE1614型F1.4的16.0 mm 24位真彩色高清攝像鏡頭，其分辨率為1 024×768，并結(jié)合環(huán)形光源，確保能采集到準(zhǔn)確清晰的大米圖像信息。一臺Alienware 17 R3筆記本電腦(美國戴爾)配置有Nvidia Geforce GTX 980M，8 GB圖形卡和Intel Core(tm)i7-6820hk CPU，16G內(nèi)存卡，1T數(shù)據(jù)存儲容量卡。

1.2 樣本

實(shí)驗(yàn)樣本采用三種不同粒型的大米，糯米、泰國香米和長粒香。白樣本信息如表1所示。通過深度學(xué)習(xí)網(wǎng)絡(luò)對大米堊白區(qū)域進(jìn)行檢測需要大量樣本數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，若全部采用實(shí)驗(yàn)獲取的堊白大米圖像會增大采集工作量，并且原始圖像數(shù)據(jù)集不夠充分，不能滿足網(wǎng)絡(luò)學(xué)習(xí)和訓(xùn)練的要求。因此，對采集到的大米圖像數(shù)據(jù)通過旋轉(zhuǎn)、翻轉(zhuǎn)以及調(diào)整對比度等隨機(jī)變換處理對圖像數(shù)據(jù)進(jìn)行增強(qiáng)，提升網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集，從而提升網(wǎng)絡(luò)的整體的學(xué)習(xí)性能。通過數(shù)據(jù)增強(qiáng)方法將大米樣本集擴(kuò)充至3300張，用于防止深度檢測模型在學(xué)習(xí)過程中出現(xiàn)過擬合現(xiàn)象。

圖1 基于機(jī)器視覺的堊白大米檢測分析實(shí)驗(yàn)平臺系統(tǒng)原理圖

Fig.1Schematicdiagramofchalkyricedetectionandanalysisplatformbasedonmachinevision

1： Black box； 2： CCD camera； 3： Image acquisition card； 4： Computer machine； 5： Light source； 6： Loading platform

表1 大米樣本數(shù)據(jù)集

2 理論和方法

2.1 SIFT算子

尺度不變特征變換(scale-invariant feature transform, SIFT)[6]算子通過在高斯差分尺度空間中尋找尺度域和圖像域上的極值點(diǎn)的方法使得特征點(diǎn)對圖像縮放、旋轉(zhuǎn)和平移具有不變性。SIFT算子通過特征點(diǎn)附近鄰域像素的梯度直方圖給每個特征點(diǎn)匹配一個主方向，進(jìn)而保證特征點(diǎn)對旋轉(zhuǎn)具有不變性，最后利用特征點(diǎn)周圍鄰域內(nèi)像素的梯度為提取到的每一個特征點(diǎn)建立一個128維的描述子，由此提取的每一個特征點(diǎn)都可以用一個128維的特征向量進(jìn)行表示。圖2(b)是提取的含有堊白大米圖片的SIFT特征點(diǎn)，從圖中可以看出，提取的特征點(diǎn)主要集中分布在非堊白區(qū)域。

2.2 GIST算子

空間包絡(luò)算子(GIST)[7]是一種生物啟發(fā)式算法，該算法通過對人體視覺活動的模擬，獲得圖像中的上下文信息，從而形成對外部世界的一種空間表示。GIST算子核心主要是將Gabor函數(shù)擴(kuò)展到多尺度空間，并將Gabor濾波器進(jìn)行多尺度旋轉(zhuǎn)后對堊白大米圖像在頻率域進(jìn)行特征獲取，并將濾波后的圖像進(jìn)行均勻劃分如圖2(c)所示，接著采用窗口傅里葉變換和離散傅里葉變換將每個網(wǎng)格圖像的全局特征信息提取出來，最終獲得可鑒別的堊白大米GIST網(wǎng)格圖像的全局特征信息。

圖2 (a)原始堊白大米圖片； (b) SIFT關(guān)鍵特征分布圖； (c) GIST網(wǎng)格圖像的全局特征信息

Fig.2(a)Originalchalkyriceimage； (b)SIFTkeycharacteristicdistributionmapofchalkyrice； (c)GISTglobalfeatureinformationofchalkyrice

2.3 PHOG算子

金字塔梯度方向直方圖(pyramid of histograms of orientation gradients, PHOG)[8]算子是對形狀的一種空間描述，它首先利用Canny 算子提取出圖像的邊緣信息，其次對圖像進(jìn)行層次化表征，然后提取每層次各子區(qū)域的梯度直方圖特征，最后將各子區(qū)域的梯度直方圖特征進(jìn)行級聯(lián)，由此構(gòu)造出原始堊白大米圖像的PHOG特征。圖3(a)為原始的堊白大米圖像； 圖3(b1)為堊白大米圖像第一金字塔層表征層，即原始圖像采用 Canny 算子提取的輪廓圖像，圖3(b2)為堊白大米圖像第一金字塔層特征分布圖； 圖3(c1)為堊白大米圖像第二金字塔層表征層，圖3(c2)為堊白大米圖像第二金字塔層均勻4等分特征分布圖； 圖3(d1)為堊白大米圖像第三金字塔層表征層，圖3(d2)為堊白大米圖像第三金字塔層均勻16等分特征分布圖； 從圖3(b2), (c2)和(d2)中可以看出，隨著分割層數(shù)的增加，統(tǒng)計(jì)梯度直方圖對圖像的刻畫也越來越具魯棒性和精細(xì)化。

圖3 堊白大米PHOG特征分區(qū)檢測及相應(yīng)的統(tǒng)計(jì)梯度直方圖

2.4 深層次卷積神經(jīng)網(wǎng)絡(luò)構(gòu)架

樣本圖像采集時(shí)由于光照、背景等擾動因素影響，通過人工方式設(shè)計(jì)一個魯棒性強(qiáng)、能有效表達(dá)堊白大米樣本特征算子在實(shí)際應(yīng)用中十分困難。因此，提出構(gòu)建深層次卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)模型來提高堊白大米樣本的識別精度，從而避免了繁瑣的特征算法選擇和特征設(shè)計(jì)的過程。

2.4.1 卷積網(wǎng)絡(luò)層結(jié)構(gòu)

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)構(gòu)架每個輸出都與每個輸入完全相連，而卷積神經(jīng)網(wǎng)絡(luò)構(gòu)架采用局部感受野策略，使得每個輸出單元只與輸入圖片的部分區(qū)域相連，因此只能感知獲取的圖片局部區(qū)域，而不能涉及圖像的全局信息[9-10]，需要利用空間局部相鄰單元之間的相關(guān)性進(jìn)行運(yùn)算。利用CNN實(shí)現(xiàn)全局圖像特征參數(shù)共享，在局部連接中確保每個神經(jīng)元的參數(shù)一致，減少了整個網(wǎng)絡(luò)的參數(shù)數(shù)量，有效利用空間局部相鄰單元之間的相關(guān)性進(jìn)行卷積運(yùn)算，改進(jìn)提高了網(wǎng)絡(luò)計(jì)算精度。如圖4所示，堊白大米深層次卷積神經(jīng)網(wǎng)絡(luò)模型特征提取模型由輸入模塊(Input)、卷積運(yùn)算模塊(C1、C2)、池化采樣操作模塊(S1、S2)、全連接運(yùn)算(F1)和輸出模塊(Output)系統(tǒng)構(gòu)成。卷積層參數(shù)可以看作是一種能夠通過網(wǎng)絡(luò)訓(xùn)練和學(xué)習(xí)得到優(yōu)化的濾波器，在前向計(jì)算過程中，濾波器和上層網(wǎng)絡(luò)局部區(qū)域的數(shù)據(jù)進(jìn)行卷積運(yùn)算后得到新特征參數(shù)作為卷積層的神經(jīng)元，該濾波器在原始圖片上按照設(shè)定的步長進(jìn)行滑動，再與各局部區(qū)域的數(shù)據(jù)進(jìn)行卷積運(yùn)算，計(jì)算出所有的新神經(jīng)元，由此組成所需要的卷積層。然后將得到卷積層數(shù)據(jù)輸入池化層進(jìn)行降維處理，網(wǎng)絡(luò)進(jìn)行一系列的卷積與池化操作之后接入全連接層，全連接層將提取到的特征向量通過Softmax分類器進(jìn)行分類，分類結(jié)果和數(shù)據(jù)集標(biāo)簽進(jìn)行比對并計(jì)算損失函數(shù)，隨后通過梯度下降算法對參數(shù)進(jìn)行反向傳播對網(wǎng)絡(luò)進(jìn)行優(yōu)化，從而調(diào)整網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)在不斷訓(xùn)練學(xué)習(xí)的過程中降低損失值(Loss)直到設(shè)定的閾值后收斂。

圖4 堊白大米深層次卷積神經(jīng)網(wǎng)絡(luò)模型特征提取原理圖

2.4.2 卷積模塊

在卷積模塊中使用可訓(xùn)練的卷積核與上一層輸出的圖像進(jìn)行卷積運(yùn)算，卷積核以固定的觀察域大小通過在前層輸出圖像上以設(shè)定的步長均勻滑動來實(shí)現(xiàn)特征提取操作，通過不同核大小的的卷積特征模塊來獲取不同尺度圖像的語義特征信息。其中，不同的卷積核映射出不同特征，即可以提取出圖像中某類特定表達(dá)特征，因此用n個卷積核經(jīng)過卷積運(yùn)算后就可以提取n種特征，最終輸出n個不同語義信息的特征圖，具體的均勻滑動卷積運(yùn)算公式如式(1)所示

(1)

2.4.3 池化操作

在每個卷積層之后都有一個池化層，池化層的功能是降低上一層卷積計(jì)算輸出的維數(shù)，有效減少訓(xùn)練參數(shù)的數(shù)量，防止過擬合，從而壓縮圖像的空間大小。經(jīng)典CNN模型通常采用最大值池化層策略和平均值池化層策略[11-12]。即將提取到的特征圖像區(qū)域的一部分求最大值或者平均值，由求得的矩形鄰域內(nèi)的最大值或平均值來代表該部分區(qū)域，其中最大值池化策略最常用。池化層的計(jì)算公式如式(2)所示。

(2)

其中，β為特征圖系數(shù)，down(·)為采樣函數(shù)。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層與池化層通常交替進(jìn)行，并且每個卷積層都包含多個特征圖，每個卷積核對應(yīng)一種特定特征，因此每個卷積層都能提取出多個特征圖，這些特征圖經(jīng)過線性組合形成更抽象的卷積特征圖，由此形成對輸入圖片的語義特征描述。

2.4.4 全連接層

輸入圖像經(jīng)過多層的卷積和池化操作處理后，最終提取的特征圖按行展開成向量輸入全連接網(wǎng)絡(luò)。在全連接層中，每個神經(jīng)元都要與前一層網(wǎng)路中的所有神經(jīng)元相連，最后全連接層與輸出層相連，輸出屬于各個類別的得分值。輸出層通常為分類器，常用的分類器有Softmax函數(shù)作為特征分類器，函數(shù)計(jì)算公式如式(3)

(3)

式中，h(x(i))表示樣本i屬于第k類的概率，總類別數(shù)為K。

3 結(jié)果與討論

采用的CNN網(wǎng)絡(luò)結(jié)構(gòu)主要包含3層，分別由輸入層、隱含層和輸出層構(gòu)成。隱含層包括5個 層，即C1，S1，C2，S2和F1。第一層的輸入為網(wǎng)絡(luò)訓(xùn)練提供數(shù)據(jù)，由于深度學(xué)習(xí)的框架要求輸入圖片大小統(tǒng)一為227×227大小的彩色圖像，因此將數(shù)據(jù)庫中所有輸入圖片調(diào)整為像素尺寸為227×227的標(biāo)準(zhǔn)。C1層為第一層卷積層，該卷積層通過大小為9×9的卷積核按照設(shè)置步長為2滑動，隨后提取出6幅124×124大小的特征圖，S1層為第一層池化層，該層將上層提取的特征圖按1∶2的比例采用最大值池化策略進(jìn)行下采樣處理得到6幅62×62大小的特征圖； 第二層卷積層為C2層，該卷積層通過大小為5×5的卷積核按照滑動步長為1，提取出12幅58×58大小的特征圖，S2層為第二層池化層，下采樣比例設(shè)定為1: 2，由此獲得的特征圖尺寸為29×29，最后將提取的12幅特征圖與全連接層相連； 全連接層F1分別與上一層的對應(yīng)單元相連接，共有10 092個單元，最后輸出層包括兩個分類單元，給出預(yù)測的分類結(jié)果。其中一類對應(yīng)包含堊白的大米樣本，另一類為正常大米樣本。

3.1 整定網(wǎng)絡(luò)訓(xùn)練參數(shù)

深度卷積網(wǎng)絡(luò)的訓(xùn)練批處理參數(shù)設(shè)為64，迭代次數(shù)設(shè)為250，學(xué)習(xí)率設(shè)為0.1。測試了三種不同激活函數(shù)的收斂情況，如圖5所示。當(dāng)增加CNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)時(shí)，Loss值總體呈現(xiàn)下降趨勢。當(dāng)?shù)螖?shù)達(dá)到100次后，下降趨勢得到緩和，曲線趨于平緩。當(dāng)?shù)螖?shù)達(dá)到200后，損失值小于0.1，雖然仍然有所降低，但下降程度不明顯。Sigmoid函數(shù)的損失值在迭代次數(shù)為100到200區(qū)間有所上升，在迭代次數(shù)達(dá)到200后損失值繼續(xù)下降并趨于收斂。因?yàn)镾igmoid函數(shù)是連續(xù)非線性的軟飽和函數(shù)，且其導(dǎo)函數(shù)在整個定義域內(nèi)連續(xù)； Tanh函數(shù)的收斂程度與Sigmoid函數(shù)接近； 當(dāng)?shù)螖?shù)為150時(shí)收斂，但損失值較大。ReLU函數(shù)收斂速度較慢，主要原因時(shí)ReLU函數(shù)是分段的非線性函數(shù)，導(dǎo)致不同區(qū)域的部分特征線性沒有得到有效處理，但當(dāng)在迭代次數(shù)為200時(shí)，收斂性能得到了有效的改善，即輸出的Loss值最小，因此本研究選用ReLU函數(shù)作為激活函數(shù)來訓(xùn)練網(wǎng)絡(luò)。

圖5 不同激活函數(shù)迭代次數(shù)與損失值之間的關(guān)系

Fig.5Therelationshipbetweenthenumberofiterationsandthelossvaluefordifferentactivationfunctions

3.2 算法性能比較

圖6為四種不同預(yù)測模型的查全率查準(zhǔn)率曲線圖(precision recall curve)，圖中縱坐標(biāo)為查全率(recall)，橫坐標(biāo)為查準(zhǔn)率(precision)。通常評判檢測模型好壞時(shí)，查全率查準(zhǔn)率值越高模型檢測效果越好，也就是查全率查準(zhǔn)率曲線上的點(diǎn)越接近右上角坐標(biāo)(1, 1)說明模型檢測效果越好。因此，查全率查準(zhǔn)率曲線覆蓋面積(Area under Curve，AUC)是綜合評定檢測模型性能的指標(biāo)之一，其值越接近1說明模型預(yù)測效果越好。從查全率查準(zhǔn)率曲線可以看出，對于驗(yàn)證集樣本CNN模型的查全率查準(zhǔn)率曲線覆蓋面積最大，預(yù)測準(zhǔn)確率最高，其次依次為GIST+SVM, PHGO+SVM和SIFT+SVM模型。

圖6 四種不同模型驗(yàn)證集樣本查全率查準(zhǔn)率曲線圖

表2為訓(xùn)練集樣本和驗(yàn)證集樣本分別采用SIFT+SVM，PHOG+SVM，GIST+SVM和CN四種不同方法建立的檢測模型效果。對于訓(xùn)練集樣本SIFT+SVM，PHOG+SVM，GIST+SVM和CNN四種建模方法的檢測精度分別為81.47%，83.84%，78.76%和94.79%，其中CNN模型的精度最高。還計(jì)算了mAP (mean average precison)值，在訓(xùn)練集樣本中CNN的mAP值最高為0.93，PHOG+SVM，SIFT+SVM和GIST+SVM模型分別為0.86，0.89和0.88。在訓(xùn)練集樣本中CNN表現(xiàn)出了最優(yōu)的檢測性能。對于驗(yàn)證集樣本，CNN的預(yù)測精度最高為90%，mAP值為0.91，預(yù)測效果明顯好于其他三個模型。SIFT+SVM，PHOG+SVM，GIST+SVM的三個模型檢測精度分別為70.83%，77.08%和79.16%，因此CNN模型的檢測方法要優(yōu)于基于傳統(tǒng)特征提取的堊白大米鑒別方法。說明構(gòu)建的深層次卷積神經(jīng)網(wǎng)絡(luò)模型提取到的特征對大米堊白特征具有更魯棒的表達(dá)，泛化效果更好，從而使堊白大米檢測效果得到顯著的提升。

表2 四種不同模型檢測性能參數(shù)

4 結(jié) 論

構(gòu)建了深度卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于堊白大米可見光譜圖的檢測，與傳統(tǒng)的圖像識別方法相比，深度卷積神經(jīng)網(wǎng)絡(luò)不需要人為地對輸入圖片進(jìn)行特征提取，采集到的圖像能夠直接輸入到神經(jīng)網(wǎng)絡(luò)中，特征提取的工作由卷積神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)和訓(xùn)練自動完成，免去了復(fù)雜的特征提取步驟，大大減少了數(shù)據(jù)預(yù)處理的難度。同時(shí)權(quán)值共享策略與局部感受野減少了參數(shù)空間，大大降低了算法的復(fù)雜度，提高了算法效率，增強(qiáng)了網(wǎng)絡(luò)的魯棒性和泛化性。當(dāng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率為0.1，迭代次數(shù)為200時(shí)，模型的識別精度最高為90.00%。傳統(tǒng)基于可見光譜圖的堊白大米鑒別方法SIFT+SVM，PHOG+SVM和GIST+SVM分別為70.83%，77.08%和79.16%。本方法為當(dāng)前我國現(xiàn)代農(nóng)業(yè)生產(chǎn)大米品質(zhì)自動化快速精準(zhǔn)檢測提供了理論依據(jù)和有效的技術(shù)支撐，具有一定的理論價(jià)值和實(shí)際意義。