裴曉芳,胡 敏

(1.南京信息工程大學(xué) 濱江學(xué)院,江蘇 無(wú)錫214105;2.南京信息工程大學(xué) 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,江蘇 南京 210044;3.南京信息工程大學(xué) 電子與信息工程學(xué)院,江蘇 南京 210044)

近年來(lái)，我國(guó)花卉銷售產(chǎn)業(yè)規(guī)模日益擴(kuò)大，但由于缺乏專業(yè)養(yǎng)護(hù)知識(shí)，優(yōu)質(zhì)花苗的培植成了棘手的問(wèn)題。圖像檢索作為計(jì)算機(jī)視覺(jué)的一個(gè)分支[1]，可以自動(dòng)識(shí)別植株病癥與生長(zhǎng)狀態(tài)，實(shí)時(shí)協(xié)助種植者發(fā)現(xiàn)問(wèn)題并采取應(yīng)對(duì)措施解決問(wèn)題，已被越來(lái)越多地應(yīng)用到花卉種植領(lǐng)域。但是，圖像光照變化、視角轉(zhuǎn)換、尺度差異、背景混亂以及目標(biāo)遮擋等問(wèn)題的存在給圖像檢索技術(shù)帶來(lái)了巨大困難。

2003年，Sivic J等人首次提出特征詞袋(Bag-of-Features，BoF)概念，將文本語(yǔ)義檢索思路引入到圖像檢索領(lǐng)域。2005年，Grauman K等人提出了基于BoF的金字塔匹配核函數(shù)，將各特征集映射到一個(gè)多分辨率的直方圖中。文獻(xiàn)[1]采用多核學(xué)習(xí)算法巧妙融合多種不同維度的特征對(duì)果蔬圖像進(jìn)行分類識(shí)別。2015年，阮嘉等人將概率論引入到BoF中用于識(shí)別交通標(biāo)志[2]。2019年，張澤晨等人提出了多特征融合的BoF圖像檢索算法，有效利用圖像顏色和紋理清晰表述果蔬特征[3]。本實(shí)驗(yàn)采用改進(jìn)式特征詞袋圖像檢索算法對(duì)采集到的杜鵑花圖像進(jìn)行處理和識(shí)別。

傳統(tǒng)單一特征的BoF模型中SIFT(Scale-Invariant Feature Transform)匹配在局部特征匹配中僅作為低級(jí)表示，對(duì)于復(fù)雜特征提取魯棒性差，且容易產(chǎn)生假匹配[4-5]。為了解決這一問(wèn)題，本實(shí)驗(yàn)首先從杜鵑植株葉片特征入手，在LAB(Logic Array Block)模式下提取圖片的相對(duì)顏色特征和空間信息組成空間顏色聚合矩陣；隨后，采用多特征學(xué)習(xí)算法將該矩陣與BoF中的加速魯棒特性(Speed Up Robust Features，SURF)進(jìn)行特征融合產(chǎn)生新的BoC-BoF(Bag of Color-Bag of Feature)特征向量；然后，經(jīng)過(guò)特征詞典進(jìn)行量化編碼，消除了傳統(tǒng)顏色直方圖量化范圍大的缺陷；最后，采用圖像分類器進(jìn)行分類識(shí)別，實(shí)現(xiàn)花卉生長(zhǎng)狀態(tài)的自動(dòng)化和智能化分析，節(jié)省了人力物力。

1 BoF模型

1.1 BoF模型基本原理

BoF型是詞袋(Bag-of-view-Word，BovW)模型的一種，通過(guò)統(tǒng)計(jì)區(qū)域的全局相似性來(lái)表征圖像，不受拍攝角度和光照的影響。相對(duì)于CNN(Convolutional Neural Network)[6]和神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)模型，BoF需要的樣本數(shù)量少，對(duì)圖片品質(zhì)要求低。作為一種基于局部特征匹配的識(shí)別算法，BoF模型將每一幅圖像分割成若干局部區(qū)域，并將這些特征映射到一組無(wú)序的視覺(jué)關(guān)鍵詞上，圖像的檢索就轉(zhuǎn)化為若干單詞的匹配[7]。BoF創(chuàng)建過(guò)程包括：特征提取、特征描述、構(gòu)建視覺(jué)詞袋(特征匯集)和特征統(tǒng)計(jì)。BoF構(gòu)建流程如圖1所示。

圖1 BoF構(gòu)建流程圖Figure 1. Flow chart of BoF establishment

作為一種簡(jiǎn)單有效的基于區(qū)域?qū)哟蔚膱D像描述方法，BoF在處理復(fù)雜圖像分類時(shí)存在明顯缺陷：(1)空間金字塔BoF和分層BoF通過(guò)大量空間信息表征圖像，計(jì)算繁瑣，且特征矩陣與圖像本身特征點(diǎn)的空間關(guān)系關(guān)聯(lián)度很弱[8-10]；(2)BoF模型的區(qū)域特征描述多采用單一特征，魯棒性差，對(duì)自然界中復(fù)雜圖像的特征很難清晰描述；(3)聚類算法適用于構(gòu)建密集的區(qū)域特征空間，但是對(duì)于稀疏區(qū)域特征空間的構(gòu)建仍然沒(méi)有合適的方式[11]。

1.2 改進(jìn)式BoF

針對(duì)BoF模型上述的3個(gè)缺陷，本研究在不降低識(shí)別率的條件下對(duì)BoF分類流程中的特征提取和特征匯集階段進(jìn)行改進(jìn)，即采用空間顏色聚合矩陣融合SURF特征代替圖1中的顏色直方圖。

由于樣本數(shù)量龐大，且顏色特征和SURF特征數(shù)據(jù)不規(guī)則，實(shí)驗(yàn)采用多特征學(xué)習(xí)算法將顏色特征與SURF特征進(jìn)行特征融合形成新的特征。具體工作流程如圖2所示。

圖2 改進(jìn)式BOF分類流程圖Figure 2. Flow chart of improved BOF classification algorithm

為適應(yīng)未來(lái)AI(Artificial Intelligence)技術(shù)的發(fā)展趨勢(shì)并增加代碼可移植性，本實(shí)驗(yàn)將訓(xùn)練好的模型保存到文件中，應(yīng)用層直接調(diào)用即可，無(wú)需重新訓(xùn)練和測(cè)試，為后期嵌入式系統(tǒng)的開發(fā)提供了良好應(yīng)用平臺(tái)。

2 特征提取與歸一化

圖像的特征值是圖像識(shí)別和分類的依據(jù)。被捕捉的特征值越完整，圖像識(shí)別率越高。從圖3可以看出，杜鵑植株各生長(zhǎng)期和病害的樣本圖像目標(biāo)區(qū)域顏色存在巨大差異，所以本實(shí)驗(yàn)采用的圖像特征之一為病葉上帶有圓形異色斑點(diǎn)和異色尖點(diǎn)，即斑點(diǎn)的邊緣梯度特征和Harris角點(diǎn)特征。

圖3 部分樣本圖像展示Figure 3. Images of some samples

2.1 SURF特征提取

SURF算法具有尺度不變性和良好的魯棒性，在不降低精度的條件下大量合理使用積分圖像不需要進(jìn)行降采樣。SURF算法特征點(diǎn)識(shí)別率較SIFT算法高，運(yùn)行速度大約是SIFT算法的3倍，因此在視覺(jué)轉(zhuǎn)換和光照變化等環(huán)境下，該算法匹配效果優(yōu)于SIFT算法，但其旋轉(zhuǎn)不變性不如SIFT[12-13]。由于實(shí)驗(yàn)中相機(jī)位置固定，采集到的圖像一般不會(huì)旋轉(zhuǎn)，尺度變換相對(duì)較小，故本研究采用SURF算法進(jìn)行圖像分類。

從圖4 可以看出SURF特征描述子數(shù)值較小，為增加特征可識(shí)別性，實(shí)驗(yàn)對(duì)特征矩陣每行求平方和并入特征矩陣，學(xué)習(xí)分4步完成：

步驟1多尺度特征提取；

步驟2將獲取的特征描述子SURF Feature輸入函數(shù)C。C的函數(shù)式為

(1)

式中，i表示行；j表示列；a(i,j)表示特征矩陣SURF Feature中第i行、j列個(gè)元素；si表示矩陣SURF Feature中第i行所有元素平方和；

步驟3步驟 2中所得向量S作為最后一列并入特征矩陣SURF Feature；

步驟4如圖4所示，原始SURF特征取值范圍0～0.016，比顏色特征小了很多，經(jīng)函數(shù)C處理后所得結(jié)果為0～1。

圖4 SURF特征Figure 4. Features of SURF

2.2 空間顏色特征提取

從圖3中可以看出葉黃病病葉沒(méi)有明顯圓點(diǎn)和尖點(diǎn)，但是葉片顏色較健康葉片略黃，因此圖像分類的另一個(gè)特征為顏色。

由于實(shí)驗(yàn)使用的樣本圖像分辨率較低，在RGB顏色空間提取的顏色特征存在很多0值。LAB顏色空間色域包含RGB顏色空間所有色域，此外還包括部分RGB所不能表現(xiàn)出來(lái)的色彩，在LAB顏色空間提取的顏色特征可以有效的覆蓋這些0，補(bǔ)充圖像顏色特征[14]。

LAB顏色特征的提取分為3步：

步驟1進(jìn)入LAB空間學(xué)習(xí)各像素點(diǎn)的特征值，存入向量Col Feature；

步驟2使用reshape(·)在特征點(diǎn)不變的條件下將Col Feature重新整形成Feature[256,3]；

步驟3將Feature[256,3]放入函數(shù)B，歸一化為相對(duì)數(shù)值。B的計(jì)算式為

(2)

式中，i表示行；j表示列；a(i，j)表示矩陣Feature[256,3]中第i行、j列個(gè)元素；V(i,j)表示a(i，j)與其所在行的所有元素平方和的開方的比值。實(shí)驗(yàn)以圖3中部分圖像為例，計(jì)算歸一化之后的相對(duì)顏色特征均值。仿真結(jié)果如圖5所示。

圖5 相對(duì)顏色特征Figure 5.Comparative color feature

從圖5可以看出，歸一化之后的L、A、B仍然可以清晰表達(dá)各類圖像的特征。葉黃病圖片顏色較淺，L分量最大，葉枯病圖片背景顏色較深L分量均值小于健康圖片；A分量保存的是紅綠變化，開花圖片中紅色區(qū)域面積最大A分量最大，健康圖片綠色區(qū)域面積最大A分量最?。籅分量保存黃藍(lán)變化。褐斑病圖片總體顏色偏黃B分量數(shù)值最大，如果使用其它圖片B值會(huì)有所下降，開花圖片黃色成分最少B分量為負(fù)數(shù)，可見顏色特征的處理對(duì)于圖像識(shí)別率有很大影響。

為增強(qiáng)顏色特征的表現(xiàn)力，實(shí)驗(yàn)進(jìn)一步提取圖像空間信息[15-17]。綜合SURF特征、LAB特征以及空間坐標(biāo)的差值，實(shí)驗(yàn)將坐標(biāo)值歸一化為-0.5～0.5以實(shí)現(xiàn)空間特征與顏色特征的融合。具體步驟為：

步驟1提取圖像像素點(diǎn)坐標(biāo)L(xi,yi) ；

步驟2將L(xi,yi)放入函數(shù)A，歸一化為-0.5～0.5；A的計(jì)算式為

(3)

式中，i為元素的位置；xi為第i個(gè)像素點(diǎn)的坐標(biāo)；f(xi)表示橫坐標(biāo)的相對(duì)值；f(yi)表示縱坐標(biāo)的相對(duì)值；yi表示第i個(gè)像素點(diǎn)的縱坐標(biāo)。

步驟3將第2步所得結(jié)果分成2個(gè)列向量與LAB特征矩陣合并，經(jīng)式(2)處理形成空間顏色聚合向量，結(jié)果如圖6所示。

圖6 部分樣本的空間顏色聚合特征折線圖Figure 6.Line chart of the spatial color feature of some samples

2.3 特征歸一化

實(shí)驗(yàn)中，圖像空間顏色特征值遠(yuǎn)大于SURF特征值，如果直接將特征矩陣進(jìn)行合并放入分類器，空間顏色特征將完全覆蓋SURF特征，SURF將失去使用價(jià)值。

傳統(tǒng)特征組合方法主要是基于特征矩陣直接求和或者加權(quán)求和的方法融合多個(gè)特征。對(duì)樣本中各區(qū)域數(shù)據(jù)進(jìn)行平均或加權(quán)求和之后，表示多變信息的數(shù)據(jù)將被核函數(shù)“過(guò)濾”，導(dǎo)致最終的特征信息不完整，降低分類器的準(zhǔn)確率[11]。綜合以上問(wèn)題，本研究采用3個(gè)不同的函數(shù)分別學(xué)習(xí)對(duì)應(yīng)特征，使數(shù)據(jù)具有不同角度的特征。顏色特征和SURF特征同時(shí)映射到新的特征矩陣的兩個(gè)元素中，形成視覺(jué)單詞表，有效減少了特征損失，增加了分類準(zhǔn)確率。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用的計(jì)算機(jī)環(huán)境是Windows10 64位操作系統(tǒng)，基于×64的處理器，CPU是Intel(R) Core(TM) i5-8250 CPU @1.60 GHz 1.80 GHz，內(nèi)存4 GB，編程語(yǔ)言為MATLAB，軟件采用MATLAB 2016a。

3.2 實(shí)驗(yàn)數(shù)據(jù)

樣本數(shù)據(jù)來(lái)源于HM3S手機(jī)800W智能后置攝像頭不同角度拍攝的圖片。樣本的采集分為：幼苗期、生長(zhǎng)期、開花期，針對(duì)葉枯病、褐斑病、葉黃病、健康、幼苗、開花及其它等類別，拍攝植株葉片圖像和花朵圖像；采集時(shí)間為12:00、14:00、18:00；拍攝距離為0.05～1 m；天氣情況分為晴天和多云；拍攝地點(diǎn)為無(wú)錫市；拍攝季節(jié)為春天至夏天。經(jīng)過(guò)多次篩選，選出8種類型共計(jì)150張具有代表性的樣本圖片。經(jīng)過(guò)預(yù)處理生成750張128×128大小相同的樣本，如圖3所示。

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)采用的改進(jìn)式BoF算法中提取的SURF特征為32維，提高樣本訓(xùn)練效率的同時(shí)保證了分類器的識(shí)別率。圖7詳細(xì)描述了實(shí)驗(yàn)所采用的改進(jìn)式BoF在不同樣本數(shù)量的情況下，預(yù)測(cè)試識(shí)別率與驗(yàn)證集準(zhǔn)確率的變化。

圖7 改進(jìn)式BoF預(yù)測(cè)試識(shí)別率與實(shí)際識(shí)別率Figure 7.Improved BoF pre-test recognition rate and actual recognition rate

由圖7可以看出，在訓(xùn)練樣本很少的情況下預(yù)測(cè)試準(zhǔn)確率98%，實(shí)際準(zhǔn)確率只有20%，假匹配現(xiàn)象嚴(yán)重，不可使用。隨著樣本數(shù)量的增加，識(shí)別準(zhǔn)確率逐漸提高。當(dāng)樣本>200時(shí)，識(shí)別率損失趨向于0，實(shí)驗(yàn)所采用的空間顏色聚合特征對(duì)于樣本的分類具有很大幫助，結(jié)合特征處理算法，最終識(shí)別率90.6%，相對(duì)于其它圖像檢索算法識(shí)別率有了明顯提高。

圖8為不同樣本數(shù)量條件下，驗(yàn)證集準(zhǔn)確率的變化情況。BoF+SURF算法中提取的SURF特征為64維，數(shù)量龐大，超出了硬件平臺(tái)計(jì)算能力。盡管實(shí)驗(yàn)中不斷加入新的樣本，識(shí)別率仍然沒(méi)有明顯提高。BoF+SIFT算法計(jì)算速度最慢，且識(shí)別率變化較小。改進(jìn)式BoF所使用的空間顏色聚合矩陣A[256,5]，SURF特征32維，特征值數(shù)量少。增加樣本時(shí)，矩陣A與矩陣SURF的特征值數(shù)量逐漸變得豐富，當(dāng)樣本數(shù)量大于150時(shí)，特征值分界線明顯，識(shí)別率迅速增加。由此可見，在樣本數(shù)量少、硬件平臺(tái)計(jì)算能力較弱的情況下，改進(jìn)式BoF仍然可以獲得較高準(zhǔn)確率。

圖8 不同訓(xùn)練數(shù)據(jù)下的識(shí)別率Figure 8.The recognition rate under different numbers of samples

實(shí)驗(yàn)將樣本圖像放入不同的分類模型進(jìn)行分類對(duì)比。表1是改進(jìn)式BoF、BoF模型+SIFT算法提取紋理特征、BoF模型+SURF算法提取紋理特征、CNN等方法的預(yù)測(cè)試結(jié)果。

表1 本文方法與其它方法對(duì)比Table 1. Comparison of different methods

由表1可以看出，BoF+SURF識(shí)別率高于本文所使用的改進(jìn)式BoF，但是執(zhí)行時(shí)間多了1.41 s。由于實(shí)驗(yàn)使用的樣本圖像尺寸較小，提取的特征值數(shù)量很少，導(dǎo)致CNN識(shí)別率未達(dá)到預(yù)期的水平，容易產(chǎn)生假匹配現(xiàn)象。BoF圖像分類模型和SIFT特征提取算法的計(jì)算速度較慢且識(shí)別率較低。綜合執(zhí)行效率和識(shí)別率等多種元素，改進(jìn)式的BoF更適用于細(xì)粒度圖像分類。

4 結(jié)束語(yǔ)

為了快速識(shí)別杜鵑花植株的各主要生長(zhǎng)期以及病害情況，實(shí)驗(yàn)采用了基于LAB的顏色聚合向量的改進(jìn)式BoF模型，通過(guò)融合顏色特征和SURF特征實(shí)現(xiàn)圖像分類。實(shí)驗(yàn)結(jié)果表明：(1)基于LAB模式下的空間顏色聚合矩陣代替?zhèn)鹘y(tǒng)的顏色量化方法對(duì)于顏色特征差距較小的圖像庫(kù)檢索效果明顯，可移植到嵌入式系統(tǒng)，具有較好的魯棒性；(2)經(jīng)過(guò)特征歸一化，充分利用圖像的各類特征，將SURF特征與顏色特征線性融合，有效提高了識(shí)別率。

經(jīng)過(guò)多次測(cè)試發(fā)現(xiàn)，試驗(yàn)所采用的改進(jìn)式BoF存在一個(gè)缺陷：當(dāng)訓(xùn)練樣本超出最大值時(shí)，圖像分類會(huì)出現(xiàn)過(guò)擬合，因此樣本的選擇非常重要。