張東明，李新華*，梅星宇，張東彥

(1.安徽大學(xué) 農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用技術(shù)國家地方聯(lián)合工程研究中心，安徽 合肥 230601；2.安徽大學(xué) 電子信息工程學(xué)院，安徽 合肥 230601)

植物葉片識別是植物保護(hù)的基礎(chǔ)，而傳統(tǒng)人工識別方法耗時(shí)耗力、主觀性強(qiáng)、易出錯(cuò)，因此利用計(jì)算機(jī)視覺技術(shù)自動識別植物葉片就顯得尤為重要.迄今為止，研究人員在這一領(lǐng)域做了很多工作.文獻(xiàn)[1]構(gòu)造多尺度距離矩陣(multiscale distance matrix，簡稱MDM)形狀特征用于植物葉片識別.文獻(xiàn)[2]提出了一種新的特征描述符，名為多尺度曲率直方圖(histogram of curvature over scale，簡稱HoCS)，將其用于植物葉片識別.文獻(xiàn)[3]在文獻(xiàn)[2]的基礎(chǔ)上，融合HoCS形狀特征和局部二值模式(local binary pattern，簡稱LBP)紋理特征，利用K最近鄰(k-nearest-neighbor，簡稱KNN)方法識別葉片.文獻(xiàn)[4]提取葉片圖像幾何特征及Hu不變矩特征，利用支持向量機(jī)(support vector machine, 簡稱SVM)分類器進(jìn)行葉片識別.文獻(xiàn)[5]經(jīng)翻轉(zhuǎn)、縮放等操作增廣葉片數(shù)據(jù)集后，利用遷移學(xué)習(xí)對植物葉片進(jìn)行識別.文獻(xiàn)[6]將經(jīng)主分量分析(principal components analysis，簡稱PCA)降維后的LBP特征與形狀特征結(jié)合，利用KNN識別植物葉片.文獻(xiàn)[7]提出一種基于詞袋(bag of words，簡稱BOW)模型和熵序列的葉片識別方法.文獻(xiàn)[8]將葉片分為2或4個(gè)部分，提取各部分的顏色、紋理特征，利用極限學(xué)習(xí)機(jī)(extreme learning machines，簡稱ELM)對葉片進(jìn)行識別.文獻(xiàn)[9]首先利用小波分解出葉片高低頻信息，然后分別對高低頻信息提取LBP及局部向量化(local phase quantization，簡稱LPQ)特征，最后利用KNN識別葉片.

植物葉片識別首先是特征提取及降維，然后將最終特征送入分類器進(jìn)行識別，因此獲得高辨識度的圖像特征和高性能分類器是提高葉片識別率的關(guān)鍵.為了得到更高的植物葉片識別率，該文提出基于度量核和GHI核混合的植物葉片識別算法.構(gòu)建多尺度邊緣輪廓(multi-scale marginal contour，簡稱MMC)算子，然后提取MMC形狀特征、LBP空域紋理特征、LPQ頻域紋理特征，最后將這些特征組合為復(fù)合特征.利用度量學(xué)習(xí)和馬氏距離改造負(fù)距離核構(gòu)建度量核，再將其與廣義直方圖交叉(generalized histogram intersection，簡稱GHI)核加權(quán)融合形成組合核.通過仿真實(shí)驗(yàn)驗(yàn)證算法的可行性.

1 圖像預(yù)處理

植物葉片預(yù)處理流程如圖1所示.將原始RGB圖像轉(zhuǎn)換成HSV圖像，利用最近鄰插值算法將圖像分辨率調(diào)整到400×300；提取圖像的V分量；采用中值濾波器去噪，利用K-means算法對V分量進(jìn)行分割，得到二值圖像；將二值圖像與縮放后的原圖卷積得到前景圖，便于后期提取形狀和紋理特征.

圖1 植物葉片預(yù)處理流程

2 特征提取

為了提高識別率，該文構(gòu)建了具有旋轉(zhuǎn)不變性和尺度不變性的MMC算子.分別提取MMC形狀特征、LBP空域紋理特征、LPQ頻域紋理特征，然后將這些特征組合為具有高辨識度的復(fù)合特征.

2.1 MMC形狀特征

圖2為MMC形狀特征提取示意圖，其中藍(lán)色點(diǎn)為采樣后得到的輪廓點(diǎn)，綠色矩形為最小外接矩形，

O

為最小外接矩形的中心，

P

,

P

為相鄰的兩個(gè)輪廓點(diǎn).

圖2 MMC形狀特征提取示意圖

MMC形狀特征提取的步驟為：

(1)對預(yù)處理后圖像，用sobel算子提取輪廓Boundary，移動整個(gè)輪廓使最小外接矩形的中心為原點(diǎn)，等間隔抽取200個(gè)點(diǎn)，形成輪廓描述點(diǎn)集Edges={

P

,

P

…，

P

}.(2)計(jì)算角度

θ

=∠

OP

P

+1及原點(diǎn)

O

與當(dāng)前邊界點(diǎn)

P

間的歐式距離

r

=

d

(

O

,

P

).

(3)重復(fù)(2)，直至點(diǎn)集中所有點(diǎn)處理完畢.

(4)利用最大距離

r

，對所有距離

r

進(jìn)行歸一化處理.分別將

r

，

θ

分為10，12個(gè)等級，得到

r

-

θ

直方圖.(5)加入多尺度特征，尺度取值為{1,2,…,

k

,

k

+1,…,

n

}，其中

n

為最大尺度且

n

>1，尺度

k

的角度

θ

=∠

OP

P

+4，重復(fù)(2)～(4).所有尺度特征計(jì)算結(jié)束后，將所有尺度特征組合為MMC形狀特征.

2.2 LBP空域紋理特征

LBP是由Ojala 等提出的一種紋理特征算子.在一個(gè)3×3的窗口，以窗口中心像素為閾值，依次比較窗口中其他像素與中心像素的大小，若其他像素大于等于中心像素，則記為1，否則記為0.將結(jié)果按順序排列，得到一個(gè)8位的二進(jìn)制數(shù)，其對應(yīng)的十進(jìn)制值就是該中心像素的LBP特征值.LBP特征值的數(shù)學(xué)表達(dá)式為

(1)

(2)

其中：

g

為鄰域像素的灰度值，

g

為中心像素的灰度值，(

x

,

y

)為窗口中心坐標(biāo).

2.3 LPQ頻域紋理特征

LPQ是另一種常用的紋理特征算子.在圖像

f

(

x

)中，對任意像素點(diǎn)

x

的

M

×

M

鄰域

N

，通過離散的短時(shí)傅里葉變換得到相應(yīng)的鄰域相位.在鄰域

N

上，短時(shí)傅里葉變換為

(3)

其中：

y

為

N

中的鄰域坐標(biāo)，為頻率.通過4個(gè)頻率=[

a

,0]，=[0,

a

]，=[

a

,

a

]，=[

a

,-

a

]得到傅里葉系數(shù)，其中

a

的值很小，且滿足

H

(

u

)>0.傅里葉系數(shù)

F

的計(jì)算公式為

F

=[Re{

F

(

u

,

x

)},Re{

F

(

u

,

x

)},…,Re{

F

(

u

,

x

)},Im{

F

(

u

,

x

)},Im{

F

(

u

,

x

)},…,Im{

F

(

u

,

x

)}].

(4)

傅里葉系數(shù)的相位由實(shí)部和虛部的符號確定，即

(5)

其中：

g

是

F

的第

j

部分.按順序?qū)?p>q

進(jìn)行二進(jìn)制編碼，得到該像素點(diǎn)的LPQ特征值為

(6)

3 分類器的構(gòu)造

在植物葉片圖像識別中，量度不同樣本間的相似性是其中的一個(gè)關(guān)鍵環(huán)節(jié).GHI核適用于直方圖特征，但僅考慮了直方圖的整體特征.度量學(xué)習(xí)能挖掘不同維特征間的內(nèi)在聯(lián)系，所以該文利用度量學(xué)習(xí)和馬氏距離改造負(fù)距離核形成度量核.但是度量核忽略了直方圖的整體特征，為了兼顧直方圖的整體特征和不同維特征間的內(nèi)在聯(lián)系，該文將度量核和GHI核加權(quán)融合.

3.1 度量學(xué)習(xí)

馬氏度量學(xué)習(xí)是度量學(xué)習(xí)的一個(gè)重要分支，其針對的是線性度量學(xué)習(xí).設(shè),為兩個(gè)樣本的特征向量，用

Δ

=,描述兩特征向量間的差異.設(shè)

Ω

(

y

=

y

)為相同類別葉片圖像間的內(nèi)部差異，

Ω

(

y

≠

y

)為不同類別葉片圖像間的類間差異.利用KISSME和貝葉斯人臉方法，得到樣本,間的馬氏距離為

(7)

其中：，分別為

Ω

,

Ω

的協(xié)方差矩陣.通過投影矩陣=(,,…,)，將原始樣本特征,投影到新的特征空間，得到,間的馬氏距離為

(8)

其中：′=,′=.特征投影到子空間后，通過優(yōu)化投影方向使

σ

()/

σ

()最大化.將

σ

()/

σ

()最大化轉(zhuǎn)化為如下的廣義瑞利熵最大化

(9)

J

()的最大化等價(jià)于

使得

=1.

(10)

投影矩陣可通過線性判別分析(linear discriminant analysis, 簡稱LDA)中的廣義特征值分解方法得到.

d

(,)=(-)(-).

(11)

3.2 基于度量核和GHI核混合的SVM分類器

將

d

(,)代替負(fù)距離核中的歐式距離，得到該文構(gòu)建的度量核函數(shù)為

K

(,)=-

d

(,).

(12)

GHI核由Boughorbel提出，適用于直方圖特征分類，其核函數(shù)為

(13)

其中：

ρ

≥0為超參數(shù)，用于優(yōu)化核函數(shù).利用式(12)，(13)構(gòu)建的組合核為

K

(,)=(

λ

/

m

)

K

(,)+[(1-

λ

)/

m

]

K

(,)，

(14)

其中：

λ

為融合系數(shù)(0.1≤

λ

≤0.9)；m,m分別為

K

,

K

在訓(xùn)練集上的核矩陣元素的最大絕對值.將

K

(,)代入SVM的決策函數(shù)，得到分類器的決策函數(shù)為

(15)

4 基于度量核和GHI核混合的植物葉片識別算法

圖3為葉片識別流程.首先，數(shù)據(jù)集劃分為訓(xùn)練集和測試集；其次，對預(yù)處理后的葉片圖像提取MMC形狀特征、LBP紋理特征、LPQ紋理特征，進(jìn)而將它們組合為復(fù)合特征；再次，通過迭代尋優(yōu)，確定GHI核和度量核的融合系數(shù)，構(gòu)造組合核SVM分類器；最后，通過組合核SVM分類器，對輸入葉片的復(fù)合特征進(jìn)行識別，得到葉片識別結(jié)果.

圖3 葉片識別流程

基于度量核和GHI核混合的植物葉片識別算法的具體步驟為：

(1)對預(yù)處理后的單個(gè)葉片圖像進(jìn)行處理得到灰度圖

G

，將

G

分成2×2塊，可得到

G

=[

G

,

G

,

G

,

G

].利用

G

求出LBP特征

Q

=[

q

,

q

,

q

,

q

]和 LPQ特征

P

=[

p

,

p

,

p

,

p

].通過

G

獲取輪廓

C

，利用

C

求出MMC特征

S

.拼接3個(gè)特征得到復(fù)合特征

W

=[

S

,

Q

,

P

].

(2)針對所有葉片圖像，重復(fù)步驟(1)，得到訓(xùn)練集樣本特征和測試集樣本特征.

(3)通過訓(xùn)練集樣本數(shù)據(jù)求得投影矩陣，利用得到

d

，進(jìn)而構(gòu)建度量核函數(shù)

K

.(4)將GHI核函數(shù)超參數(shù)

ρ

設(shè)為0.5，將組合核融合系數(shù)

λ

的初始值設(shè)為0.1.通過GHI核和度量核在訓(xùn)練集上得到對應(yīng)的核矩陣，進(jìn)而得到兩個(gè)核矩陣元素的最大絕對值

m

,

m

.(5)通過

m

,

m

和融合系數(shù)

λ

構(gòu)建組合核函數(shù)

K

.利用訓(xùn)練集訓(xùn)練分類器，得到?jīng)Q策函數(shù)

f

(

x

).通過測試集得到識別結(jié)果.

5 仿真實(shí)驗(yàn)及其結(jié)果

為了驗(yàn)證所提算法的可行性，在Win10操作系統(tǒng)下，使用MATLAB 2016a和 Libsvm工具箱進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)葉片圖像源自Flavia數(shù)據(jù)集，F(xiàn)lavia數(shù)據(jù)集由Wu等制作，包含32種植物的葉片圖像，總計(jì)1 907張，所有物種的葉片圖像數(shù)量均超過50張，葉片圖像大小為1 600×1 200.圖4為數(shù)據(jù)集圖像示例.該文選取數(shù)據(jù)集物種圖像的70%作為訓(xùn)練集，剩下的作為測試集.將5次實(shí)驗(yàn)識別率的平均值作為最終識別率.組合核函數(shù)融合系數(shù)

λ

設(shè)為0.6.

圖4 數(shù)據(jù)集圖像示例

表1給出了不同特征的識別率.從表1可看出：該文構(gòu)建的MMC形狀特征的識別率明顯高于MDM，HoCS形狀特征的，其值達(dá)到了90.45%，說明給文構(gòu)建的MMC形狀特征是有效的；復(fù)合特征的識別率比單獨(dú)的形狀或紋理特征的高很多，其值達(dá)到99.31%，說明該文構(gòu)建的復(fù)合特征有更高的識別率.

表1 不同特征的識別率 %

圖5給出了不同核函數(shù)的復(fù)合特征識別率.從圖5可看出：與常用的線性核、多項(xiàng)式以及高斯核相比，GHI核及度量核識別效果更好，二者的識別率分別為98.11%和98.22%；度量核與GHI核組合成的混合核的識別率最高，達(dá)到了99.31%，說明混合核能夠更全面、更準(zhǔn)確地度量樣本間的相關(guān)性.

圖5 不同核函數(shù)的復(fù)合特征識別率

表2展示了該文算法與其他文獻(xiàn)算法的復(fù)合特征識別率比較.由表2可知，相對于其他文獻(xiàn)算法，該文算法的識別率最高.

表2 不同算法的復(fù)合特征識別率比較 %

表3為該文算法各類植物葉片的復(fù)合特征識別率.從表3中可看出，桂花、木蓮、三叉戟楓存在誤識別情況.

表3 該文算法各類植物葉片的復(fù)合特征識別率 %

表4為誤識別情況統(tǒng)計(jì)，其中桂花2次被識別為樟樹，木蓮1次被識別為夾竹桃，三叉戟楓1次被識別為鵝掌楸.桂花和樟樹葉片形狀相似，二者均為不規(guī)則的橢圓、兩端較尖、紋理相似、表面平滑，因此會出現(xiàn)誤識別.木蓮和夾竹桃的形狀均呈現(xiàn)梭形，形狀差異較小，紋理雖存在一定的差異，但總體來說相似度較高，因此也會出現(xiàn)誤識別.三叉戟楓與鵝掌楸的形狀差距較大，正常情況下不應(yīng)該出現(xiàn)誤識別，但這兩種葉片的最小外接矩形端點(diǎn)對應(yīng)的輪廓不固定，旋轉(zhuǎn)后葉尖朝向也不固定，導(dǎo)致紋理特征相似度很高，從而出現(xiàn)誤識別.

表4 誤識別情況統(tǒng)計(jì)

6 結(jié)束語

為了充分利用葉片直方圖的整體特征以及不同維特征間的內(nèi)在聯(lián)系，該文提出了基于度量核和GHI核混合的植物葉片識別算法.構(gòu)建了MMC形狀特征，然后融合 MMC，LBP，LPQ特征，得到具有高辨識度的復(fù)合特征.利用度量學(xué)習(xí)和馬氏距離改造負(fù)距離核構(gòu)建度量核，將度量核和GHI核加權(quán)融合形成組合核.構(gòu)造組合核SVM分類器，對輸入葉片的復(fù)合特征進(jìn)行識別.仿真實(shí)驗(yàn)結(jié)果表明：相對于其他算法，該文算法具有較高的識別率.該文構(gòu)建的組合核函數(shù)是針對直方圖特征設(shè)計(jì)的，后續(xù)研究可考慮改進(jìn)組合核函數(shù)，使其更好地適用于多種類型特征的葉片識別.