鄧晨曦，周國雄

（1.湖南環(huán)境生物職業(yè)技術(shù)學(xué)院，湖南 衡陽，421005；2.中南林業(yè)科技大學(xué)，湖南 長沙，410004）

1 研究意義

水果圖像識(shí)別在智慧農(nóng)業(yè)和現(xiàn)代醫(yī)療健康領(lǐng)域具有重要意義。近年來，隨著我國水果產(chǎn)業(yè)的發(fā)展，越來越多的研究人員開始著手研究如何對水果進(jìn)行快速有效的識(shí)別。為了滿足對水果進(jìn)行大規(guī)模、高效率的識(shí)別需求，研究人員使用多種圖像識(shí)別算法對水果圖像進(jìn)行檢測識(shí)別。[1]呂秋霞[2]等在對水果的紋理、顏色及形狀特征進(jìn)行分析提取后，使用BP神經(jīng)網(wǎng)絡(luò)作為分類器實(shí)現(xiàn)對水果圖像的檢測識(shí)別，平均識(shí)別準(zhǔn)確率達(dá)到了95%以上。雖然取得了較為理想的識(shí)別結(jié)果，但需要人工去設(shè)計(jì)特征，并且存在網(wǎng)絡(luò)訓(xùn)練不充分的問題。在多數(shù)識(shí)別任務(wù)中，實(shí)驗(yàn)中所使用的圖像往往是在十分嚴(yán)格的環(huán)境中采集的，并沒有外界環(huán)境的干擾。因此，對圖像的有效分割能夠提高識(shí)別的準(zhǔn)確度。

基于上述研究，本文以蘋果為研究對象，提出一種基于活躍度的脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法。

2 數(shù)據(jù)集構(gòu)建

本文在某果園現(xiàn)場采集了不同形態(tài)、不同環(huán)境下的蘋果圖片，包括腐爛蘋果圖片1000張，未腐爛蘋果圖片1000張。采摘季節(jié)樹上腐爛蘋果占總量的比例平均為11%。本文所收集使用的蘋果圖像會(huì)因拍攝角度和距離的不同而存在尺寸大小的差異，所以需要對樣本中的圖片進(jìn)行定位分割，根據(jù)蘋果在圖像中所處的位置對水果進(jìn)行完整的分割,減少圖像中的背景干擾。

本文采集的部分蘋果圖片如圖1所示。

3 基于脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法對蘋果進(jìn)行腐爛檢測

對蘋果進(jìn)行腐爛檢測的關(guān)鍵是其腐爛的部位較為完整地從原圖中分割出來，對分割出來的部位做出標(biāo)記，最后再跟原圖合并。圖像分割的過程不僅會(huì)受到光照產(chǎn)生的陰影的影響，還會(huì)受到蘋果某些部位（如蘋果果柄）的影響，造成無法準(zhǔn)確、徹底地分割出腐爛的部位。圖像分割就是按照特定的原則，將圖像分為若干個(gè)相互獨(dú)立的區(qū)域,它是圖像處理中較為基礎(chǔ)的研究領(lǐng)域之一。目前有許多圖像分割方法，其中脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）已在圖像分割、目標(biāo)檢測、模式識(shí)別等眾多計(jì)算機(jī)視覺領(lǐng)域得到了較為廣泛的應(yīng)用。[4-5]

3.1 脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法

脈沖耦合神經(jīng)網(wǎng)絡(luò)建立在仿生視覺皮層神經(jīng)元模型基礎(chǔ)上，它是一種二維單層結(jié)構(gòu)，是以脈沖耦合神經(jīng)元為基礎(chǔ)構(gòu)成的陣列。每個(gè)神經(jīng)元單位之間以特定權(quán)值作為相互連接的依據(jù)，構(gòu)成可用非線性方程描述的非線性動(dòng)力學(xué)系統(tǒng)。對于輸入的圖像數(shù)據(jù)中的每個(gè)像素點(diǎn)，脈沖耦合神經(jīng)網(wǎng)絡(luò)中都有神經(jīng)元與其對應(yīng)。如果某個(gè)神經(jīng)元被激發(fā)，將會(huì)激發(fā)與之相鄰或相近的連接神經(jīng)元，具有這一特征的神經(jīng)元稱為脈沖耦合神經(jīng)元。構(gòu)成PCNN神經(jīng)元的功能單元為：反饋輸入域、連接輸入域和脈沖產(chǎn)生域。Mijkl是連接權(quán)值矩陣，用來表示反饋輸入域，W ijkl是連接權(quán)值矩陣，表示連接輸入域。為描述相鄰神經(jīng)元之間的聯(lián)系，可以用突觸連接反饋輸入域的連接權(quán)值矩陣Mijkl和連接輸入域的連接權(quán)值矩陣W ijkl。反饋輸入域和連接輸入域兩大功能單元，是脈沖耦合神經(jīng)網(wǎng)絡(luò)的重要部分，因此，在計(jì)算過程中必須進(jìn)行多次迭代運(yùn)算，運(yùn)算量極大。反饋輸入域存在外部激勵(lì)函數(shù)S，用于控制加和的結(jié)果對神經(jīng)元的刺激程度。通過上述分析，結(jié)合連接權(quán)值矩陣M ijkl和W ijkl，可得以下公式[6]：

式(1)與式(2)中，F(xiàn)ij是坐標(biāo)為(i,j)的神經(jīng)元的反饋輸入項(xiàng)；Lij是坐標(biāo)為(i,j)的神經(jīng)元的連接輸入項(xiàng)；Y ij是神經(jīng)元的輸出；V F和V L為Fij、Lij的固有電勢；αF和αL分別為Fij和Lij的衰減時(shí)間常數(shù)；Mijkl和W ijkl為連接權(quán)值矩陣，用來表示網(wǎng)絡(luò)神經(jīng)元之間相互影響程度，數(shù)值大小反映相鄰神經(jīng)元對中心神經(jīng)元影響的強(qiáng)弱。脈沖耦合神經(jīng)元內(nèi)部活動(dòng)項(xiàng)由Mijkl和W ijkl按非線性相乘思想構(gòu)成，β為突觸之間的連接強(qiáng)度系數(shù)，需要調(diào)整不同突觸間的強(qiáng)度系數(shù)，可得內(nèi)部活動(dòng)項(xiàng)公式：

當(dāng)神經(jīng)元內(nèi)部活動(dòng)項(xiàng)大于或不大于神經(jīng)元?jiǎng)討B(tài)門限θij[n]時(shí)，將產(chǎn)生不同的輸出時(shí)序脈沖序列Y。時(shí)序脈沖序列Y可用以下公式描述：

進(jìn)行多次迭代運(yùn)算，神經(jīng)元?jiǎng)討B(tài)門限呈不斷衰減狀態(tài)。當(dāng)神經(jīng)元處于激發(fā)狀態(tài)，所對應(yīng)的動(dòng)態(tài)門限θij[n]的值瞬間增大，在一段時(shí)間內(nèi)，動(dòng)態(tài)門限θij[n]的值又會(huì)迅速減小，可引入αθ表示衰減常數(shù)。如果該神經(jīng)元被再次激發(fā)，則重復(fù)增大衰減過程。該過程可用公式（5）描述：

Vθ為閾值的幅度系數(shù)，Y ij[n]為時(shí)序脈沖序列，αθ為動(dòng)態(tài)門限的時(shí)間衰減常數(shù)。由于脈沖耦合神經(jīng)網(wǎng)絡(luò)由脈沖耦合神經(jīng)元等基本單元構(gòu)成，所以Mijkl和W ijkl通常是在局部的神經(jīng)元間傳遞信息。θij[n]的初始值通常設(shè)置為0，但是也可以根據(jù)實(shí)際應(yīng)用的需要而設(shè)為其他的值。PCNN有許多參數(shù)，通過對參數(shù)的調(diào)整可以改變其運(yùn)行行為。比如連接強(qiáng)度系數(shù)，由于具有許多能保證自身性質(zhì)的特性，所以對其進(jìn)行調(diào)整會(huì)對圖像分割效果產(chǎn)生較大的影響。反饋輸入項(xiàng)和連接輸入項(xiàng)中的連接權(quán)值矩陣Mijkl和W ijkl，體現(xiàn)神經(jīng)元之間相互的感知與影響力，進(jìn)而對自動(dòng)波的傳播速度造成影響，最終對圖像的分割結(jié)果造成影響。同時(shí)，參數(shù)的設(shè)置對PCNN的性能有較大的影響。

3.2 基于圖像活躍度的脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法

實(shí)際使用中，PCNN的性能依賴于所設(shè)置的網(wǎng)絡(luò)參數(shù)。為了解決這一問題，一些研究者使用遺傳算法，LMS準(zhǔn)則自適應(yīng)確定網(wǎng)絡(luò)參數(shù)，但依然存在以下兩個(gè)主要問題：（1）難以得到作為標(biāo)準(zhǔn)的期望值；（2）在得到較優(yōu)的參數(shù)前，通常需要反復(fù)調(diào)整參數(shù)。因此，本文提出一種基于圖像活躍度（activity degree of picture，ADP）指標(biāo)的PCNN圖像自動(dòng)分割方法。在使用Stewart改進(jìn)PCNN模型對圖像的分割后，提出對圖像復(fù)雜度進(jìn)行量化的ADP指標(biāo)。再利用統(tǒng)計(jì)實(shí)驗(yàn)方法建立ADP指標(biāo)與PCNN關(guān)鍵參數(shù)的對應(yīng)關(guān)系，最終實(shí)現(xiàn)PCNN參數(shù)的自適應(yīng)選擇。

PCNN模型改進(jìn)后，僅有W ijkl，Eij[n]，β三個(gè)參數(shù)，以下是這些參數(shù)的確定方法。

（1）連接矩陣W ijkl定義鄰域神經(jīng)元對中心神經(jīng)元的影響程度，連接權(quán)值通常采用像素間歐氏距離平方的倒數(shù)，即

（2）閾值E[n]根據(jù)圖像自動(dòng)獲取，且每個(gè)時(shí)刻相互獨(dú)立，Imax為鄰域像素最大灰度值，如式(7)所示。

（3）較小的耦合系數(shù)β表征PCNN模型區(qū)分圖像時(shí)具有較高的分辨率。對于越復(fù)雜的圖像，β則具有越高的分辨率。[7]本文提出一種基于“圖像活躍度”的自動(dòng)設(shè)置方法來確定該參數(shù)。

定義圖像活躍度(ADP)為一個(gè)定量的值，表示圖像的復(fù)雜度。為便于對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，令A(yù)DP的最大值為1，表示圖像中各灰度級像素都有相同的概率出現(xiàn)，并且在空間位置上是均勻分布的；最小值為0，表示圖像中所有像素灰度值都是相同的，并且無紋理。找到一個(gè)有效描述區(qū)域像素灰度信息及灰度空間分布的方法，對于ADP的計(jì)算十分重要。本文在對多種圖像描述因子進(jìn)行全面比較后，選擇了灰度共生矩陣來描述區(qū)域的圖像信息。用兩個(gè)位置像素的聯(lián)合概率密度定義的灰度共生矩陣，不僅描述了像素灰度信息，還描述了灰度空間分布信息。這些特點(diǎn)使得灰度共生矩陣可以有效度量圖像的復(fù)雜程度。在確定圖像區(qū)域描述方式后，以下是計(jì)算ADP的具體步驟[8-9]：

步驟1：計(jì)算區(qū)域圖像的灰度共生矩陣GLCMT，記錄最大灰度值max，最小灰度值min。

步驟2：利用式（8）計(jì)算灰度共生矩陣GLCMT的信息熵BE。其中Pφ,d表示完備共生矩陣，其元素Pφ,d(a,b)表示具有灰度級a,b的兩個(gè)像素在方向φ上間隔距離d出現(xiàn)的次數(shù)。計(jì)算時(shí)取距離d=1，方向分別取φ=0°，45°，90°，135°，得到四個(gè)矩陣，再將這四個(gè)矩陣對應(yīng)元素相加，得到完備共生矩陣Pφ,d。

步驟3：計(jì)算該區(qū)域圖像在最小、最大灰度值[10-11]范圍內(nèi)生成灰度共生矩陣GLCMT理論上的最大信息熵max(BE)，即GLCMT中所有元素相等時(shí)的信息熵，其計(jì)算方法與式（9）相同。

步驟4：計(jì)算區(qū)域ADP指標(biāo)[12]，如式（9）所示。

在對實(shí)驗(yàn)結(jié)果進(jìn)行回歸分析后[13]，ADP與β對應(yīng)關(guān)系可擬合為式（10）所示的高斯函數(shù)。

4 應(yīng)用與結(jié)果分析

4.1 軟硬件環(huán)境搭建

本文所用數(shù)據(jù)集包括兩類共2000張圖片，通過置放嵌入式設(shè)備在果園現(xiàn)場采集。嵌入式設(shè)備的下位機(jī)由H264寬動(dòng)態(tài)攝像頭和ARMCortexA9開發(fā)板構(gòu)成，上位機(jī)由配置為英特爾i7-CPU，16GB運(yùn)行內(nèi)存，GTX1060-GPU的臺(tái)式電腦構(gòu)成。同時(shí)，為了達(dá)到更好的應(yīng)用效果，將所有的圖片大小設(shè)置為320×320px。本文的軟件環(huán)境為Fedoral 25 Desktop TLS操作系統(tǒng)，同時(shí)安裝具有高效、模塊化、速度快等優(yōu)點(diǎn)的Caffe框架作為深度學(xué)習(xí)框架。

4.2 基于脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法的蘋果腐爛區(qū)域檢測結(jié)果與分析

采用傳統(tǒng)的脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法對蘋果腐爛區(qū)域的檢測結(jié)果如圖2所示。由于水果腐爛圖像較復(fù)雜，所以β應(yīng)具有較高的分辨率，根據(jù)多次試驗(yàn)對β值進(jìn)行調(diào)整，設(shè)置β=0.10。結(jié)果證明：在使用傳統(tǒng)的脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法時(shí)，檢測的結(jié)果不僅把水果沒有腐爛的部位也包含進(jìn)來了，還受到了水果的果柄和光照產(chǎn)生的陰影的干擾。

4.3 基于活躍度的脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法的蘋果腐爛區(qū)域檢測結(jié)果與分析

在采用基于活躍度的脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法對蘋果腐爛區(qū)域的檢測結(jié)果如圖3所示。ADP的計(jì)算結(jié)果從左到右依次為0.718，0.420，0.506，0.615。參數(shù)β根據(jù)式（3）依次計(jì)算得到。結(jié)果證明：在使用基于活躍度的脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法進(jìn)行腐爛區(qū)域檢測時(shí)，可以準(zhǔn)確有效地把水果腐爛區(qū)域檢測出來。

為了消除由于光照產(chǎn)生的陰影帶來的干擾，在進(jìn)行圖像分割之前在HSV空間把圖像的亮度值進(jìn)行了調(diào)整，陰影消除效果如圖4所示。結(jié)果證明：經(jīng)過陰影消除后，有效降低了由于光照產(chǎn)生的陰影對腐爛區(qū)域檢測的干擾。

5 結(jié)論

基于現(xiàn)有的機(jī)器視覺技術(shù)，針對水果的腐爛檢測受到水果形狀、大小、顏色影響而提取困難的問題，以蘋果為研究對象，檢測蘋果腐爛區(qū)域以便后續(xù)進(jìn)行自動(dòng)化處理。不同水果腐爛的方式各不相同，采用基于活躍度的脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割算法對蘋果腐爛區(qū)域進(jìn)行檢測，應(yīng)用結(jié)果驗(yàn)證了本文方法的有效性。