摘要:快速準(zhǔn)確識(shí)別長(zhǎng)絨棉棉鈴成熟的不同階段,對(duì)長(zhǎng)絨棉種植的智能化、裝備化管理具有重要意義。針對(duì)現(xiàn)有方法在長(zhǎng)絨棉棉鈴成熟度分類辨識(shí)易受復(fù)雜棉田背景、陰影、強(qiáng)光和葉片遮擋等因素影響識(shí)別率低的問(wèn)題,提出將模擬生物視覺(jué)皮層的信息處理機(jī)制與HMAX模型融合的類腦分類方法,實(shí)現(xiàn)大田環(huán)境下棉鈴不同成熟度的快速、高效識(shí)別。首先,采用相機(jī)獲取長(zhǎng)絨棉不同成熟階段的圖像信息,以花鈴期、裂鈴期、吐絮期、停止生長(zhǎng)期4個(gè)生長(zhǎng)階段為對(duì)象,構(gòu)建中小樣本的棉鈴數(shù)據(jù)集;其次,模擬視網(wǎng)膜神經(jīng)節(jié)細(xì)胞的信息處理機(jī)制以提升HMAX模型的檢測(cè)速度與精度,提出基于改進(jìn)HMAX模型的類腦識(shí)別算法;最后,為探究各模型在非清晰數(shù)據(jù)集上的表現(xiàn),采用高斯模糊方法將測(cè)試集轉(zhuǎn)換6次,以HMAX、HHMAX、SHMAX作為對(duì)比,評(píng)估改進(jìn)HMAX模型性能。試驗(yàn)結(jié)果表明,在原始數(shù)據(jù)集下,改進(jìn)HMAX模型的總體準(zhǔn)確率為95.3%,相比于HMAX、HHMAX、SHMAX模型分別高出15.1、9.2和6個(gè)百分點(diǎn);在錯(cuò)誤分類中,由于吐絮期和停止生長(zhǎng)期特征相似,造成錯(cuò)誤識(shí)別的概率最大;在非清晰數(shù)據(jù)集下,HMAX、HHMAX以及SHMAX退化指數(shù)分別為8.21%、7.935%和11.21%,改進(jìn)HMAX模型總體退化指數(shù)為5.92%。研究結(jié)果表明:在分類精度、模糊圖像輸入等方面,改進(jìn)HMAX模型能夠較好地滿足實(shí)際生產(chǎn)中棉鈴不同成熟階段分類識(shí)別的實(shí)際需求。
關(guān)鍵詞:棉鈴成熟度;分類識(shí)別;改進(jìn)HMAX模型;圖像處理;仿生類腦
中圖分類號(hào):S792.91" " " 文獻(xiàn)標(biāo)識(shí)碼:A" " " 文章編號(hào):2095?5553 (2024) 10?0177?07
Research on bionic brain?inspired classification method for maturity of
long?staple cotton bolls
Cui Gaojian, Li Xiaojuan
(School of Mechanical Engineering, Xinjiang University, Urumqi, 830000, China)
Abstract: Rapid and accurate identification of different stages of long?staple cotton boll maturity is important for intelligent and equipped management of long?staple cotton cultivation. In order to address the problem that the existing methods in long?staple cotton boll maturity classification recognition are easily affected by complex cotton field backgrounds, shadow, bright light and leaf shading, this paper proposes a brain?like classification method that integrates the information processing mechanism of simulated biological visual cortex with the HMAX model to achieve fast and efficient recognition of different boll maturity in a large field environment. Firstly, a camera is used to obtain the image information of different maturity stages of long?staple cotton, and four growth stages, namely, the boll stage, boll splitting stage, linting stage and cessation stage, are used to build a small and medium?sized boll dataset. Secondly, the information processing mechanism of retinal ganglion cells is simulated to improve the detection speed and accuracy of the HMAX model, and a brain?like recognition algorithm based on the improved HMAX model is proposed. Finally, in order to explore the performance of each model on non?clear data sets, the test set was transformed six times by using the Gaussian fuzzy method, and HMAX, HHMAX and SHMAX were used as comparisons to evaluate the performance of the improved HMAX model. The experimental results showed that the overall accuracy of the improved HMAX model on the original test set was 95.3%, which was 15.1, 9.2 and 6 percentage points higher, respectively, compared with the HMAX, HHMAX and SHMAX models. In the misclassification, the probability of 1 identification was the highest due to the similarity of the characteristics of the situation and cessation growth periods. Under the non?clear data set, the degradation indices of HMAX, HHMAX and SHMAX were 8.21%, 7.935%, and 11.21%, respectively, and the overall degradation index of the improved HMAX model was 5.92%. The results show that the improved HMAX model can better meet the practical needs of classification and recognition of cotton boll at different maturity stages in actual production in terms of classification accuracy and fuzzy image input.
Keywords: cotton boll maturity; classification and recognition; improved HMAX model; image processing; bionic brain
0 引言
長(zhǎng)絨棉纖維品質(zhì)優(yōu)良,是高端紡織品、特種紡織品不可或缺的原料,具有很高的經(jīng)濟(jì)價(jià)值[1]。新疆作為我國(guó)唯一的長(zhǎng)絨棉產(chǎn)區(qū),其種植面積連年下滑,原因是目前長(zhǎng)絨棉依舊依靠人工作業(yè)進(jìn)行采摘工作,嚴(yán)重制約了長(zhǎng)絨棉產(chǎn)業(yè)發(fā)展的高速健康發(fā)展[2]。長(zhǎng)絨棉智能化、裝備化采收研究進(jìn)程中,復(fù)雜棉田環(huán)境下的棉花快速檢測(cè)與識(shí)別是迫切需要解決的關(guān)鍵難點(diǎn)問(wèn)題之一。
近年來(lái),智慧農(nóng)業(yè)發(fā)展較為迅速,大量研究利用圖像信息準(zhǔn)確判斷作物生長(zhǎng)情況,以估算作物產(chǎn)量[3, 4]。棉鈴成熟度識(shí)別對(duì)于管理作業(yè)質(zhì)量、促進(jìn)作物管理及時(shí)決策,從而精準(zhǔn)獲取作物的生長(zhǎng)發(fā)育信息,應(yīng)用于棉花收獲和生育期觀測(cè)具有重要的現(xiàn)實(shí)意義[5]。
對(duì)于農(nóng)作物發(fā)育階段檢測(cè)方面的研究,Liu等[6]提出了一種在圖像中檢測(cè)棉鈴的技術(shù),其使用YCbCr顏色空間將棉鈴從分支和土壤中分割出來(lái),準(zhǔn)確率為90.44%。徐建鵬等[7]以水稻生育期識(shí)別為研究對(duì)象,采用了ResNet50網(wǎng)絡(luò)模型與RAdam優(yōu)化算法相結(jié)合的方法,成功實(shí)現(xiàn)了水稻生育期的分類識(shí)別,并取得了高達(dá)97.33%的正確率。Chen等[8]利用OHTA顏色空間和支持向量機(jī)(SVM)分類器分割棉鈴,準(zhǔn)確率為92.3%。此外,Li等[9]提出了一種基于區(qū)域的語(yǔ)義分割算法,用于檢測(cè)田間采集圖像中的棉鈴,平均準(zhǔn)確率為99.4%。但以上方法中的場(chǎng)景并不十分復(fù)雜,且吐絮后的棉鈴與背景對(duì)比明顯。Sun等[10]提出了一種結(jié)合顏色和空間特征的雙閾值區(qū)域生長(zhǎng)算法,用于從背景中分割棉鈴,并且開(kāi)發(fā)了三種基于幾何特征的算法同時(shí)估計(jì)棉鈴數(shù)量,在棉鈴分割中取得了0.98的F1得分,在棉鈴檢測(cè)和計(jì)數(shù)中取得了83%的準(zhǔn)確率。隨著計(jì)算機(jī)視覺(jué)的進(jìn)步和圖形處理器(GPU)[11]大規(guī)模使用的普及,一些研究最近提出了基于深度學(xué)習(xí)的方法來(lái)識(shí)別棉花圖像中的感興趣區(qū)域。Xu等[12]提出了一種利用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)和計(jì)數(shù)航空?qǐng)D像中新開(kāi)放棉鈴花數(shù)的方法,能夠通過(guò)使用移動(dòng)圖像跟蹤和計(jì)數(shù)種植盆中生長(zhǎng)的棉鈴。但大多數(shù)技術(shù)往往需要大量圖像數(shù)據(jù)以及高額的計(jì)算成本。仿生視覺(jué)是基于生物視覺(jué)系統(tǒng)的研究,通過(guò)學(xué)習(xí)生物視覺(jué)系統(tǒng)的處理方式和機(jī)制,降低對(duì)于樣本數(shù)量的依賴,并將其應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域中。這使得仿生視覺(jué)在復(fù)雜棉田環(huán)境下的成熟度檢測(cè)中具有很大優(yōu)勢(shì),其中以分層最大池化模型(Hierarchical Max?pooling model,HMAX)為典型算法,系統(tǒng)中的底層處理可以通過(guò)提取紋理特征來(lái)識(shí)別棉花的形狀和輪廓;中層處理可以通過(guò)檢測(cè)顏色和形狀等特征來(lái)判斷棉花的成熟度;而高層處理可以通過(guò)學(xué)習(xí)不同成熟度棉花的圖像特征來(lái)進(jìn)一步提高檢測(cè)準(zhǔn)確率,為復(fù)雜棉田背景下長(zhǎng)絨棉成熟度檢測(cè)的研究提供了新視角。
HMAX模型是一種受人體目標(biāo)識(shí)別系統(tǒng)啟發(fā)的模型。該模型最初由Riesenhuber等[13]首次引入,使用視覺(jué)皮層中的復(fù)雜和簡(jiǎn)單細(xì)胞,從而提供了一條物體識(shí)別路徑。在已有研究的基礎(chǔ)上,Serre等[14]也提出了一個(gè)模型,稱為標(biāo)準(zhǔn)HMAX模型。傳統(tǒng)的HMAX模型有兩個(gè)主要缺點(diǎn):第一個(gè)問(wèn)題是S2層的處理進(jìn)程非常耗時(shí),因此該模型不適用于實(shí)時(shí)檢測(cè)。第二個(gè)問(wèn)題是隨機(jī)提取patch的訓(xùn)練過(guò)程,這可能會(huì)產(chǎn)生不確定性,導(dǎo)致產(chǎn)生重復(fù)和無(wú)意義的信息。因此,提取重復(fù)的patch而未捕獲其他信息,會(huì)極大地降低識(shí)別的準(zhǔn)確性[15]。
本文將HMAX模型與模擬生物視覺(jué)皮層的信息處理機(jī)制相結(jié)合,以解決HMAX模型的計(jì)算信息冗余問(wèn)題以及提升其檢測(cè)精度,通過(guò)模擬人類視網(wǎng)膜中的神經(jīng)節(jié)細(xì)胞響應(yīng)并利用注意力的選擇性機(jī)制濾除圖像中不必要的信息,突出圖像中更重要和更有意義的部分,并在S2層引入注意力函數(shù)來(lái)提高匹配速度,最后將提取的特征輸入支持向量機(jī)進(jìn)行識(shí)別,為長(zhǎng)絨棉成熟度分類的智能化研究提供技術(shù)支持。
1 材料與方法
1.1 數(shù)據(jù)來(lái)源
長(zhǎng)絨棉的不同成熟階段有著不同的生長(zhǎng)管理?xiàng)l件,其中裂鈴期和吐絮期作為棉田管理的重要時(shí)期,直接影響棉花產(chǎn)量和品質(zhì)的形成。本研究以棉花關(guān)鍵發(fā)育階段前后的花鈴期、裂鈴期、吐絮期、停止生長(zhǎng)期4個(gè)成熟度的精準(zhǔn)分類為研究目標(biāo),以棉田背景下不同成熟階段的長(zhǎng)絨棉圖像為研究對(duì)象。
試驗(yàn)所用數(shù)據(jù)采集于新疆阿克蘇地區(qū)長(zhǎng)絨棉基地(北緯40.639 2°,東經(jīng)81.044 5°),選擇了3個(gè)區(qū)域作為棉鈴數(shù)據(jù)采集目標(biāo)場(chǎng)地,每個(gè)區(qū)域15條棉壟組成,每條長(zhǎng)約20 m。棉花圖像數(shù)據(jù)采集時(shí)間為2022年8—10月,涵蓋從棉鈴開(kāi)花到停止生長(zhǎng)的時(shí)期。拍攝設(shè)備選取Nikon Z5型號(hào)數(shù)碼相機(jī),拍攝距離為50~100 cm,分別選取晴天和多云的天氣條件,同時(shí)在一天中的3個(gè)不同時(shí)間段收集圖像,即8:00—9:30(早晨時(shí)期的光照強(qiáng)度),12:00—14:00(強(qiáng)光照時(shí)期),17:00—19:30(黃昏時(shí)期的稍暗光照),數(shù)據(jù)集包含了自然條件下存在的遮擋、重疊、光照等問(wèn)題。在去除掉嚴(yán)重噪聲和模糊的圖像以及沒(méi)有明顯棉鈴特征的圖像后,共收集到包含816幅圖像的棉鈴數(shù)據(jù)集。
1.2 數(shù)據(jù)集制作
從原始圖像數(shù)據(jù)集剔除邊界區(qū)域圖像與非目標(biāo)作物圖像,同時(shí)經(jīng)過(guò)旋轉(zhuǎn)、鏡像等操作增強(qiáng)數(shù)據(jù)集。經(jīng)過(guò)以上數(shù)據(jù)增強(qiáng),構(gòu)建了包括3 229幅圖像的數(shù)據(jù)集,其中,花鈴期812幅、裂鈴期809幅、吐絮期802幅、停止生長(zhǎng)期806幅。每次隨機(jī)每類抽取80張圖像作為訓(xùn)練集70張作為測(cè)試集,以這種方式訓(xùn)練所建模型可以幫助克服樣本誤差問(wèn)題,從而提高模型的魯棒性和泛化能力。圖1為不同成熟度棉鈴的圖像樣本。
1.3 改進(jìn)HMAX分類模型
通過(guò)視覺(jué)研究中的視覺(jué)注意力,對(duì)標(biāo)準(zhǔn)HMAX模型進(jìn)行改進(jìn)。引入視覺(jué)皮層處理機(jī)制過(guò)濾掉不必要的信息,突出顯示更重要和有意義的提取區(qū)域,提升S2層的匹配速度。然后,將提取到的顯著性圖像輸入S1層進(jìn)行濾波處理,再經(jīng)由C1層最大池化操作,S2層匹配以及C2圖像標(biāo)識(shí),最后將提取到的特征輸入支持向量機(jī)(SVM)進(jìn)行識(shí)別分類。
1.3.1 視覺(jué)皮層處理機(jī)制
標(biāo)準(zhǔn)HMAX模型在S2層中對(duì)圖像所有信息進(jìn)行匹配,存在計(jì)算成本較高以及匹配速度過(guò)慢等問(wèn)題。本研究采用顯著性檢測(cè)降低信息處理量,處理流程如圖2所示。
1) 顏色空間轉(zhuǎn)換。首先將RGB轉(zhuǎn)換到XYZ空間,再轉(zhuǎn)換為L(zhǎng)AB(亮度、綠—紅分量和藍(lán)—黃分量)空間,變換公式如式(1)、式(2)所示。
[XYZ=2.769 81.751 71.130 214.590 70.060 100.056 35.594 3RGB] (1)
[L=116h(YYw)-16A=500h(XXw)-h(YYw)B=200h(YYw)-h(ZZw)] (2)
其中,[Xw=95.04];[Yw=100.00];[Zw=108.89];[h(q)=q3" " " " " " " " " " " " " "q≥0.008 8567.787q+16116" " "q≤0.008 856]。
2) 選擇熵值最小的通道。圖像的熵值是表示圖像的視覺(jué)復(fù)雜程度的重要指標(biāo),如果熵值較小,則可以期望圖像中至少有一個(gè)突出的對(duì)象。如果熵值較大,則圖像為結(jié)構(gòu)復(fù)雜的圖像。熵值計(jì)算如式(3)所示。
[E(L)=-l=1npllogpl] (3)
式中: [pl]——直方圖計(jì)算值l的似然值;
[n]——圖像直方圖中的最大值。
3) 模擬視網(wǎng)膜神經(jīng)節(jié)細(xì)胞過(guò)濾?;谀M神經(jīng)節(jié)細(xì)胞(RGCS)在人視網(wǎng)膜中的響應(yīng),對(duì)上階段獲得的圖像進(jìn)行濾波。基于生理學(xué)的發(fā)現(xiàn),視網(wǎng)膜神經(jīng)節(jié)細(xì)胞在視網(wǎng)膜中顯示出光強(qiáng)度的空間差異。這些感受野的興奮和抑制子區(qū)域是對(duì)稱的圓形區(qū)域。它們的形狀可以使用高斯差分(DoG)函數(shù)建模。通過(guò)定義不同的高斯核并計(jì)算其差異,生成DoG濾波器,模擬RGCs對(duì)圖像進(jìn)行濾波。
4) 組合視網(wǎng)膜神經(jīng)節(jié)細(xì)胞響應(yīng)。在本文中,熵系數(shù)被用來(lái)合并包含視網(wǎng)膜細(xì)胞的圖像。在計(jì)算每個(gè)節(jié)細(xì)胞的熵之后,將得到的特征圖進(jìn)行線性組合
[NewImage=a=12αaRes(foveal)a+" " " " " " " " " " " " " " " " " " "b=12βaRes(peripheral)b] (4)
式中: [a]、[b] ——ON、OFF通路;
[foveal]、[peripheral]——濾波結(jié)果。
[α(β)i=λij=14λj] (5)
[λj=1E(Resj)] (6)
式中: [j]——foveal/peripheral以及ON/OFF的反應(yīng)指數(shù);
[E(Resj)]——第[j]個(gè)熵系數(shù);
[α(β)i]——第[i]個(gè)響應(yīng)的權(quán)重。
5) 顯著圖像二值化。本文通過(guò)對(duì)生成的組合圖像進(jìn)行二值化和進(jìn)行形態(tài)學(xué)操作,從而識(shí)別高亮的對(duì)象。定義如下
[Tha=2W×Hx=0W-1y=0H-1S(x,y)] (7)
式中: [H]、[W]——顯著性區(qū)域的高度、寬度;
[S(x,y) ]——顯著圖。
在提取原始圖像的關(guān)鍵部分和去除不重要部分后,作為HMAX模型的輸入,即HMAX模型只接受具有高亮區(qū)域和去除背景部分的處理圖像。
1.3.2 HMAX模型
HMAX模型是受人類視覺(jué)識(shí)別系統(tǒng)啟發(fā)的檢測(cè)模型。該模型首先在文獻(xiàn)[13]中提出,利用了視覺(jué)皮層中的復(fù)雜和簡(jiǎn)單細(xì)胞。圖3為HMAX模型的描述。該模型由順序卷積層(S)和池化層(C)組成。這些層代表視覺(jué)皮層中復(fù)雜和簡(jiǎn)單的細(xì)胞。標(biāo)準(zhǔn)HMAX模型由四級(jí)層次結(jié)構(gòu)組成。S1與V1中的簡(jiǎn)單細(xì)胞相關(guān),C1部分在V2中對(duì)復(fù)雜的單元格進(jìn)行建模。在S2層中,發(fā)生圖案之間的匹配,最后在C2層中,利用最大化操作,獲得向量形式的圖像描述。在最后的步驟中,使用從圖像獲得的向量來(lái)執(zhí)行分類操作(類似于IT操作)。這4個(gè)層被認(rèn)為是卷積層、采樣層、匹配層和特征層[16]。
1) S1層。該模塊應(yīng)用不同大小和方向的Gabor濾波器以模擬大腦皮層中簡(jiǎn)單細(xì)胞活動(dòng),定義函數(shù)描述為
[gδ,λ,θ(x,y)=exp(-x02+γy022δ2)cos(2πx0λ)x0=xcosθ+ysinθy0=ycosθ-xsinθ] (8)
式中: [γ]——Gabor濾波器的橫縱比;
[δ]——Gabor濾波器的有效寬度;
[θ]——Gabor濾波器的方向;
[λ]——Gabor濾波器的波長(zhǎng)。
該模塊將輸出為將輸入圖像[I]與一組Gabor濾波器進(jìn)行卷積來(lái)獲得,如式(9)所示。Gabor濾波器結(jié)果如圖4所示。
[S1m,θ=gδ,λ,θ×I] (9)
式中: m——輸出的數(shù)目。
2) C1層。C1層的功能與視皮層V1區(qū)復(fù)雜細(xì)胞的功能有關(guān)。在此層中,執(zhí)行最大池化操作。這意味著選擇局部鄰域中的S1層輸出圖的最大值。由于在前一階段(即S1)使用大小為7×37×37的濾波器,這些鄰域的大小將在8×8和22×22之間。在第二階段,對(duì)每個(gè)頻帶的兩個(gè)相鄰尺度執(zhí)行最大化操作。
3) S2層。在S2層也稱匹配層中,該層使用高斯方法計(jì)算歐氏距離,來(lái)集成和過(guò)濾從C1層獲得的局部空間鄰域的結(jié)果特征圖與學(xué)習(xí)階段提取的單元之間的相似性。
[S2=exp(-φC1δ,θ-Pm2)] (10)
式中: S2——單元響應(yīng);
[φ]——指數(shù)函數(shù)的銳度;
[C1δ,θ]——在特定尺度下從[C1]層獲取的圖像區(qū)塊;
[Pm]——學(xué)習(xí)階段存儲(chǔ)的第[m]個(gè)圖像區(qū)塊。
4) C2層。在該層中,選擇匹配層中的最大值作為每個(gè)輸入圖像特征圖的特征,通過(guò)計(jì)算該最大值,獲得提取的圖像區(qū)塊和輸入圖像之間的相似度作為C2層的輸出。
2 試驗(yàn)設(shè)計(jì)
2.1 試驗(yàn)流程
本試驗(yàn)的算法處理平臺(tái)為高性能計(jì)算機(jī),搭載Windows11系統(tǒng),所提出的模型和對(duì)比模型的訓(xùn)練和測(cè)試都是在MATLAB R2018B平臺(tái)下進(jìn)行的,CPU為Intel Core i5-12400FCPU2.50 GHz和16 RAM。
棉鈴成熟度分類模型訓(xùn)練步驟如下:(1)使用數(shù)據(jù)增強(qiáng)方式,對(duì)采集到的長(zhǎng)絨棉棉鈴進(jìn)行數(shù)據(jù)增強(qiáng),模擬復(fù)雜棉田環(huán)境下不同檢測(cè)角度。(2)構(gòu)建改進(jìn)HMAX檢測(cè)模型,引入基于仿生視覺(jué)的視覺(jué)皮層處理機(jī)制,提取二值化的顯著性圖像,輸入分類模型進(jìn)行訓(xùn)練。(3)輸入測(cè)試集中的棉鈴圖像,獲得棉鈴成熟度分類模型的指標(biāo)評(píng)價(jià)的檢測(cè)結(jié)果。(4)對(duì)測(cè)試圖像進(jìn)行6次高斯模糊處理(高斯半徑分別為1,2,…,6),觀察不同模型對(duì)非清晰圖像的識(shí)別效果。
完成改進(jìn)HMAX模型訓(xùn)練測(cè)試后,為了分析標(biāo)準(zhǔn)HMAX、HHMAX[17]、SHMAX[18]三種模型的性能表現(xiàn),按照步驟3和步驟4,依次訓(xùn)練上述3種模型,并與本文改進(jìn)的HMAX模型的結(jié)果進(jìn)行對(duì)比。
2.2 高斯模糊
為了評(píng)估分類模型對(duì)于質(zhì)量差異較大的圖像的適應(yīng)性,采用高斯模糊的方法來(lái)降低測(cè)試集圖像的清晰度。在這個(gè)過(guò)程中,每個(gè)像素的值被計(jì)算為其周圍像素的加權(quán)平均值,其中權(quán)重由高斯核中對(duì)應(yīng)位置的值決定。通過(guò)調(diào)整高斯核的大小和形狀,可以控制模糊程度和細(xì)節(jié)損失的程度,如式(11)所示。
[G(u,v)=12πσ2e-(u2+v2)(2σ2)r2=u2+v2] (11)
式中: [u]——距起始像素點(diǎn)的水平距離;
[v]——距起始像素點(diǎn)的垂直距離;
[r]——模糊半徑;
[σ]——正態(tài)分布的標(biāo)準(zhǔn)偏差。
對(duì)測(cè)試集中長(zhǎng)絨棉棉鈴圖像進(jìn)行高斯模糊處理,降低測(cè)試集圖像質(zhì)量,模糊半徑r取1~6,高斯模糊處理后結(jié)果如圖5所示。
2.3 評(píng)價(jià)指標(biāo)
本文使用支持向量機(jī)(SVM)對(duì)測(cè)試圖像進(jìn)行分類。為了評(píng)估分類性能,本文采用了準(zhǔn)確率(Accuracy)、精確度(Precision)、召回率(Recall)和特異度(Specificity)這四個(gè)指標(biāo)。準(zhǔn)確率表示模型正確分類的棉鈴圖像數(shù)占總圖像數(shù)的比例。準(zhǔn)確率越高,模型的分類能力越好。精確度是指模型預(yù)測(cè)為正例的樣本中,實(shí)際為正例的樣本數(shù)占預(yù)測(cè)為正例的樣本數(shù)的比例。召回率指實(shí)際為正例的樣本中,模型預(yù)測(cè)為正例的樣本數(shù)占實(shí)際為正例的樣本數(shù)的比例。特異度指在真正不屬于某一成熟度的圖像中,被分類為非該成熟度的比例。計(jì)算如式(12)~式(15)所示。
[Accuracy=TP+TNTP+TN+FP+FN×100%] (12)
[Precision=TPTP+FP×100%] (13)
[Recall=TPTP+FN×100%] (14)
[Specificity=TNTN+FP×100%] (15)
式中: [TP]——正確預(yù)測(cè)為某一成熟度的樣本數(shù)量;
[TN]——正確預(yù)測(cè)為非某一成熟度的樣本數(shù)量;
[FP]——錯(cuò)誤地預(yù)測(cè)為某一成熟度的樣本數(shù)量;
[FN]——錯(cuò)誤地預(yù)測(cè)為非某一成熟度的樣本數(shù)量。
同時(shí),為反映各模型在6個(gè)模糊集上的性能水平,本文通過(guò)總體退化指數(shù)、退化均衡度、平均退化指數(shù)以及最大退化準(zhǔn)確率等評(píng)價(jià)指標(biāo)進(jìn)行模型抗干擾測(cè)試。
3 結(jié)果與分析
3.1 顯著目標(biāo)提取
首先RGB轉(zhuǎn)換為L(zhǎng)AB通道,如圖6所示,再選取熵值最低的通道,通?;叶戎狈綀D的峰值與圖像的熵值密切相關(guān),選取熵值最小的有利于突出物體在雜亂背景中的重要性。不同成熟度示例圖像的LAB通道的熵值,如表1所示。
再將熵值最低的通道圖像輸入DoG中模擬視網(wǎng)膜神經(jīng)節(jié)細(xì)胞過(guò)濾,由模擬視網(wǎng)膜神經(jīng)節(jié)細(xì)胞組合最后將顯著圖像二值化。顯著性目標(biāo)提取示例如圖7所示。
3.2 模型性能對(duì)比與分析
本文對(duì)每類目標(biāo)隨機(jī)選取80張圖像進(jìn)行訓(xùn)練,隨機(jī)選取70張圖像作為測(cè)試圖像,試驗(yàn)重復(fù)10次并取平均值。表2為改進(jìn)的模型以及現(xiàn)有模型HMAX的平均性能。改進(jìn)模型在吐絮期的精確度達(dá)到96.2%;改進(jìn)模型的召回率在停止生長(zhǎng)期上表現(xiàn)稍差,均在91.1%以下,這表明對(duì)停止生長(zhǎng)期的誤判較多;改進(jìn)模型的特異度在花鈴期達(dá)到94.3%;改進(jìn)模型的各項(xiàng)評(píng)價(jià)指標(biāo)相較于經(jīng)典HMAX模型都有較大的提升。綜上,改進(jìn)HMAX模型適用于長(zhǎng)絨棉棉鈴成熟度分類識(shí)別任務(wù)。
為了測(cè)試模型的分類精度以及識(shí)別效率,將改進(jìn)模型與其他HAMX改進(jìn)模型進(jìn)行了對(duì)比,如表3所示。由于改進(jìn)模型引入視覺(jué)注意力機(jī)制過(guò)濾到不必要的信息,突出顯示更重要和有意義的提取區(qū)域,提升S2層的匹配速度,表3中本文所使用改進(jìn)模型的識(shí)別效率高于HMAX模型以及其他改進(jìn)模型。
圖8為改進(jìn)HMAX模型在測(cè)試集上的混淆矩陣,可以發(fā)現(xiàn)最佳分類成熟期為花鈴期,出現(xiàn)兩幅圖像的分類錯(cuò)誤,吐絮期分分類效果最差,原因在于吐絮期與裂鈴期以及停止生長(zhǎng)期界限較小,分類難度較大。
3.3 模型退化性能分析
對(duì)于進(jìn)行復(fù)雜棉田背景下長(zhǎng)絨棉棉鈴成熟度分類的檢測(cè)模型,其需要較強(qiáng)的抗干擾能力以降低棉田環(huán)境中的風(fēng)沙、遮擋以及不良光照造成的模型性能退化。圖9為各模型在不同模糊半徑下的分類準(zhǔn)確率,總體為隨著模糊半徑的增加,各模型的分類準(zhǔn)確率均呈現(xiàn)為有所下降。由表4可知,HMAX模型的最大退化準(zhǔn)確率最小,為72.3%,總體退化指數(shù)為8.21%。HHMAX模型的總體退化指數(shù)為7.93%,退化均衡度為3.17%。SHMAX的總體退化指數(shù)達(dá)到了11.21%,并且退化均衡度為4.31%,是退化最嚴(yán)重的模型。本文的改進(jìn)HAMX模型最大退化準(zhǔn)確率為89.1%,高出其他對(duì)比檢測(cè)模型,退化均衡度、平均退化指數(shù)以及總體退化指數(shù)均高于其他對(duì)比模型。以上結(jié)果表明,在圖像質(zhì)量不佳或是存在較大噪聲時(shí),改進(jìn)HMAX模型仍能較好地學(xué)習(xí)到圖像特征,具有更好的分類性能。
4 結(jié)論
本文以復(fù)雜棉田背景下的長(zhǎng)絨棉棉鈴為研究對(duì)象,受人類視覺(jué)系統(tǒng)中注意力機(jī)制的啟發(fā),提出一種應(yīng)用于智能監(jiān)測(cè)系統(tǒng)的長(zhǎng)絨棉成熟度分類方法,解決自然環(huán)境下長(zhǎng)絨棉分類精度差的問(wèn)題并有效降低分類模型的計(jì)算成本。
1) 通過(guò)引入視覺(jué)皮層處理機(jī)制,保留圖像中的重要信息并用于后續(xù)處理,通過(guò)此方法可以降低計(jì)算成本,同時(shí)由于突出被檢測(cè)對(duì)象,改進(jìn)模型識(shí)別精度也大大提高。結(jié)果表明,改進(jìn)HMAX模型總體識(shí)別率達(dá)到95.3%,相比經(jīng)典HMAX、HHMAX和SHMAX模型的識(shí)別精度分別高出15.1、9.2和6個(gè)百分點(diǎn),改進(jìn)模型的識(shí)別速度相較于其他模型也得到顯著提升,可為智能化棉田管理提供準(zhǔn)確分類支持。
2) 評(píng)估不同模型在不同清晰度下的性能退化程度。試驗(yàn)結(jié)果表明,改進(jìn)后的HMAX模型在模糊數(shù)據(jù)集上表現(xiàn)最佳,其最大退化準(zhǔn)確率、退化均衡度、平均退化指數(shù)和總體退化指數(shù)分別為89.1%、3.04%、1.18%和5.92%。該模型在模糊數(shù)據(jù)集上仍能夠相對(duì)準(zhǔn)確地完成分類任務(wù),可有效解決分類模型在實(shí)際應(yīng)用中由于圖像質(zhì)量不佳而導(dǎo)致準(zhǔn)確率下降的問(wèn)題。
參 考 文 獻(xiàn)
[ 1 ] 鄭子漂, 徐海江, 林濤, 等. 新疆長(zhǎng)絨棉育成品種演變趨勢(shì)及綜合評(píng)價(jià)[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào), 2022, 27(6): 55-70.
Zheng Zipiao, Xu Haijiang, Lin Tao, et al. Evolution trend and comprehensive evaluation of growing varieties of long staple cotton in Xinjiang [J]. Journal of China Agricultural University, 2022, 27(6): 55-70.
[ 2 ] 李亞楠. 基于視覺(jué)的棉花發(fā)育狀態(tài)自動(dòng)檢測(cè)技術(shù)研究[D]. 武漢: 華中科技大學(xué), 2018.
[ 3 ] 段宇飛, 孫記委, 王焱清, 等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的油茶果殼籽分選方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2023, 39(3): 154-161.
Duan Yufei, Sun Jiwei, Wang Yanqing, et al. Sorting camellia oleifera husk and seed using an improved convolutional neural network [J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(3): 154-161.
[ 4 ] 劉平, 劉立鵬, 王春穎, 等. 基于機(jī)器視覺(jué)的田間小麥開(kāi)花期判定方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2022, 53(3): 251-258.
Liu Ping, Liu Lipeng, Wang Chunying, et al. Determination method of field wheat flowering period baesd on machine vision [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(3): 251-258.
[ 5 ] Zhang Y, Yang G, Liu Y, et al. An improved YOLO network for unopened cotton boll detection in the field [J]. Journal of Intelligent amp; Fuzzy Systems, 2022, 42(3): 2193-2206.
[ 6 ] Liu J, Lai H, Jia Z. Image segmentation of cotton based on YCbCcr color space and fisher discrimination analysis [J]. Acta Agronomica Sinica, 2011, 420(2): 274-281.
[ 7 ] 徐建鵬, 王杰, 徐祥, 等. 基于RAdam卷積神經(jīng)網(wǎng)絡(luò)的水稻生育期圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2021, 37(8): 143-150.
Xu Jianpeng, Wang Jie, Xu Xiang, et al. Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(8): 143-150.
[ 8 ] Chen Q Z, Lai H C, Wang X, et al. An cotton image segmentation algorithm based on support vector machine [J]. Computer Engineering, 2013, 39(5): 266-269.
[ 9 ] Li Y, Cao Z, Lu H, et al. In?field cotton detection via region?based semantic image segmentation [J]. Computers and Electronics in Agriculture, 2016, 127: 475-486.
[10] Sun S, Li C, Paterson A H, et al. Image processing algorithms for infield single cotton boll counting and yield prediction [J]. Computers and Electronics in Agriculture, 2019, 166: 104976.
[11] Patrício D I, Rieder R. Computer vision and artificial intelligence in precision agriculture for grain crops: A systematic review [J]. Computers and Electronics in Agriculture, 2018, 153: 69-81.
[12] Xu R, Li C, Paterson A H, et al. Aerial images and convolutional neural network for cotton bloom detection [J]. Frontiers in Plant Science, 2018, 8: 2235.
[13] Riesenhuber M, Poggio T. Hierarchical models of object recognition in cortex [J]. Nature Neuroscience, 1999, 2(11): 1019-1025.
[14] Serre T, Wolf L, Bileschi S, et al. Robust object recognition with cortex?like mechanisms [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(3): 411-426.
[15] Shariatmadar Z S, Faez K. A data?driven and biologically inspired preprocessing scheme to improve visual object recognition [J]. Computational Intelligence and Neuroscience, 2021, 2021: 1-13.
[16] Ruigang F, Biao L, Yinghui G, et al. Accelerated HMAX model based on improved SIFT feature points [C]. 2015 IEEE International Conference on Grey Systems and Intelligent Services (GSIS). IEEE, 2015: 485-489.
[17] Norizadeh Cherloo M, Shiri M, Daliri M R. An enhanced HMAX model in combination with SIFT algorithm for object recognition [J]. Signal, Image and Video Processing, 2020, 14: 425-433.
[18] Sufikarimi H, Mohammadi K. Role of the secondary visual cortex in HMAX model for object recognition [J]. Cognitive Systems Research, 2020, 64: 15-28.