游嘉偉,王 斌,2,曾 瑞

1（南京財(cái)經(jīng)大學(xué) 信息工程學(xué)院,南京 210023）

2（武漢工程大學(xué) 智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室,武漢 430205）

3（悉尼大學(xué) 生物醫(yī)學(xué)工程學(xué)院,悉尼 2006）

1 簡(jiǎn)介

大豆作為一種豆科植物,是一種能夠提供油脂和蛋白質(zhì)的農(nóng)作物,在許多國(guó)家和地區(qū),都作為主要農(nóng)作物.例如,大豆作為巴西出口的主要農(nóng)作物產(chǎn)品,在巴西經(jīng)濟(jì)中具有重要意義[1].由于大豆是美國(guó)最大的動(dòng)物蛋白飼料來源和第二大植物油來源[2],因此是美國(guó)極為重要的農(nóng)作物.由于在當(dāng)前不利的環(huán)境條件下人口基數(shù)不斷增長(zhǎng),對(duì)大豆育種、生長(zhǎng)、發(fā)育和產(chǎn)量加以研究以提供充足食物這一任務(wù)具有特別重要的意義.

大豆品種（cultivar）種類繁多,農(nóng)業(yè)專家也在繼續(xù)開發(fā)具有高生產(chǎn)率和高利潤(rùn)率的新的大豆品種.在低投入和有機(jī)耕作條件下,品種選擇和育種重新成為提高作物生長(zhǎng)性能的主要工具[3].因此,大豆品種的鑒定和識(shí)別在大豆品種的評(píng)估、篩選和生產(chǎn)過程中起著至關(guān)重要的作用[4].

許多研究[5-8]已經(jīng)證明了葉片圖像模式對(duì)于植物物種（species）識(shí)別的可用性,常使用的葉片特征有形狀,紋理,葉脈和顏色.然而,大豆葉片是否也可以作為大豆品種識(shí)別的重要線索,還是一個(gè)有趣但具有挑戰(zhàn)性的問題.許多植物物種具有明顯不同的葉片圖像模式,并且大多數(shù)葉片圖像模式可以很容易地從人類視覺感知中識(shí)別（請(qǐng)參見物種葉片圖像數(shù)據(jù)庫(kù)Leaf100[9],ICL[10]和MEW2012[11]中的示例）,與之不同的是,大豆葉片圖像模式在不同的品種之間,具有很高的相似性（見圖1）,這甚至導(dǎo)致即使是領(lǐng)域內(nèi)的專家也很難簡(jiǎn)單通過葉片圖像模式區(qū)分它們.

圖1 來自12個(gè)不同大豆品種的葉片樣本

最近,人們進(jìn)行了一些從葉片圖像模式中探索大豆品種信息的可用性的嘗試[12,13],但是方法依賴于手工提取的特征,例如形狀,紋理和葉脈等.由于手工提取的特征在捕獲大豆品種之間的細(xì)微差異方面的性能有限,在處理大豆品種識(shí)別,這種非常細(xì)粒度的模式識(shí)別問題方面,有著很大的局限性,很難獲得令人滿意的分類準(zhǔn)確率.

深度學(xué)習(xí)是一類機(jī)器學(xué)習(xí)技術(shù),它能夠通過自動(dòng)提取信息特征來克服手工方法提取特征的局限性.深度學(xué)習(xí)中用于識(shí)別任務(wù)的典型方法是由不同神經(jīng)層（例如卷積神經(jīng)層,Softmax層）的堆棧組成,并且隨著網(wǎng)絡(luò)訓(xùn)練的不斷迭代,每一層都可以逐步學(xué)習(xí)更具代表性的抽象特征.最近的許多研究證明了深度學(xué)習(xí)技術(shù)可有效地實(shí)現(xiàn)葉片物種識(shí)別任務(wù)[14],但是將深度學(xué)習(xí)應(yīng)用于大豆品種識(shí)別,這一類極具挑戰(zhàn)性的細(xì)粒度的葉片圖像識(shí)別問題還未見報(bào)道.

本文專注于使用深度學(xué)習(xí)技術(shù)來研究大豆的品種識(shí)別問題.我們提出了用于大豆品種識(shí)別的目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)（Transformation Attention Network,TAN）,它結(jié)合了注意力機(jī)制和仿射矩陣變換,分別用于放大葉片圖像上的興趣區(qū)域和糾正葉片姿勢(shì).其中,注意力機(jī)制可以實(shí)現(xiàn)圖像中細(xì)粒度特征提取,該特征包含能夠區(qū)分不同的品種的有效信息,而姿勢(shì)矯正過程可以調(diào)整葉片圖像姿勢(shì)以減輕由旋轉(zhuǎn)和平移引起的方差問題.為研究該方法的有效性,我們構(gòu)建了由240個(gè)品種組成的大豆葉片圖像數(shù)據(jù)庫(kù),每個(gè)類別中有10個(gè)樣本,并使用構(gòu)建的大豆葉片栽培品種數(shù)據(jù)集對(duì)提出的模型進(jìn)行了評(píng)估,以證明其在研究葉片栽培品種識(shí)別任務(wù)方面的性能優(yōu)于最新的方法,并確認(rèn)了注意力機(jī)制和葉片姿勢(shì)矯正過程是栽培品種識(shí)別的兩個(gè)關(guān)鍵點(diǎn).

2 相關(guān)工作

在過去的幾十年中,已經(jīng)產(chǎn)生了大量基于葉片圖像模式的植物物種識(shí)別方法.這些方法主要可以分為手工方法和深度學(xué)習(xí)方法兩類.前者從葉片圖像中手動(dòng)提取特征進(jìn)行分類.后者使用深度學(xué)習(xí)模型直接從原始圖像數(shù)據(jù)中學(xué)習(xí)葉片特征.

當(dāng)前許多手工提取的葉片特征已被用于區(qū)分植物種類,如葉片形狀與輪廓已被視為重要特征,并為人類專家作為區(qū)分植物的主要線索.近年來已經(jīng)提出了葉片形狀描述子并在植物物種分類任務(wù)中取得了較高的分類精度.分層弦切法（HSC）[9]使用輪廓線段的所有點(diǎn)相對(duì)于其切割線段的字符串的空間分布信息來描繪輪廓特征,通過改變輪廓片段的長(zhǎng)度,構(gòu)建了多尺度的輪廓弦切描述子,它具有較高的輪廓描述能力以及較低的時(shí)間復(fù)雜度,適合需要競(jìng)爭(zhēng)性和準(zhǔn)確性的大型形狀數(shù)據(jù)庫(kù)檢索.為了描述葉片形狀還設(shè)計(jì)了不同形式的曲率量度方法,例如積分不變量[15],多尺度距離度量[5],三角形表示[16]等.此外,圖像矩和傅立葉描述符也廣泛用于葉片形狀特征的表征[11,17,18].

葉片紋理是區(qū)分植物種類的另一個(gè)重要線索.流行的紋理描述子（例如Gabor濾波器[19,20],灰度共現(xiàn)矩陣[21],局部二進(jìn)制模式（LBP）[22]）已被應(yīng)用于基于葉片的植物物種識(shí)別.而葉脈作為一種特殊的紋理結(jié)構(gòu)模式可以用作補(bǔ)充線索,以進(jìn)一步提高物種分類的準(zhǔn)確性.Charters等[23]設(shè)計(jì)了一個(gè)新的描述子,稱為Eagle,它使用相鄰區(qū)域之間的邊緣模式來表征整個(gè)圖像葉脈結(jié)構(gòu),他們的實(shí)驗(yàn)結(jié)果表明,Eagle描述子可以與SURF局部描述子相結(jié)合并在瑞典葉圖像數(shù)據(jù)集上獲得6%的性能提升.Larese等[24]提出在分割的葉脈上計(jì)算大量形態(tài)特征的方法,并驗(yàn)證了其在豆類種類識(shí)別與分類任務(wù)中的有效性.

近年來,隨著深度學(xué)習(xí)技術(shù)的發(fā)展,一些研究人員已努力將深度學(xué)習(xí)技術(shù)應(yīng)用于分析葉片圖像模式.Zhang等[25]構(gòu)建了一個(gè)7層卷積神經(jīng)網(wǎng)絡(luò)（CNN）,用于對(duì)32種植物的葉片進(jìn)行分類.為了提高模型的泛化能力,他們?cè)谘芯恐惺褂昧司植宽憫?yīng)歸一化方法加以改進(jìn),研究證明了深度學(xué)習(xí)方法在葉子分類中的有效性.Grinblat等[7]專注于應(yīng)用深度學(xué)習(xí)方法通過葉片的葉脈模式進(jìn)行植物識(shí)別研究,實(shí)驗(yàn)中特別考慮了3種豆科植物的分類:白豆,紅豆和大豆.Lee等[26]研究了利用深度學(xué)習(xí)技術(shù)直接從葉片圖像輸入數(shù)據(jù)的原始表示中學(xué)習(xí)出有效的描述子的方法,并從反卷積網(wǎng)絡(luò)（DN）中獲得了所選特征的直覺,研究中他們利用傳統(tǒng)的手工特征抽取算法進(jìn)行了性能對(duì)比,實(shí)驗(yàn)結(jié)果表明基于卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)功能的描述子可以提供更好的葉片特征表示,且取得了更好的識(shí)別精確率.為了提供有效的植物物種自動(dòng)分類方法,Tan等[27]提出了一種利用葉脈形態(tài)計(jì)量學(xué)對(duì)植物物種分類的新穎的卷積神經(jīng)網(wǎng)絡(luò)模型,稱為D-leaf模型,該模型將多個(gè)預(yù)訓(xùn)練的網(wǎng)絡(luò)模型（如經(jīng)過預(yù)訓(xùn)練的AlexNet和經(jīng)過微調(diào)的AlexNet）結(jié)合在一起用于特征提取,然后通過將特征轉(zhuǎn)移到支持向量機(jī)、K-NN、卷積神經(jīng)網(wǎng)絡(luò)等分類器方法中進(jìn)行比較,驗(yàn)證了D-leaf模型進(jìn)行分類的效率.

現(xiàn)有的大多數(shù)用于葉片圖像分析的方法都只關(guān)注植物的種屬識(shí)別.同時(shí),最近,也有一些研究人員探索葉片圖像模式是否可以進(jìn)一步用于大豆品種識(shí)別.Larese等[14,24]提取、描述并分析了葉脈網(wǎng)絡(luò)所包含的特征以進(jìn)行3個(gè)不同的大豆品種分類,并取得了可接受的分類結(jié)果.Wang等[13]首次嘗試同時(shí)使用來自大豆植物不同部位的葉片圖像特征描述子,將整合后的聯(lián)合葉片模式特征用于進(jìn)行大豆品種分類,在研究過程中,通過多尺度滑弦測(cè)量來描繪每個(gè)葉片圖像模式特征,他們報(bào)告的實(shí)驗(yàn)結(jié)果證明了大豆葉片圖像中蘊(yùn)含的品種信息的可用性.

值得注意的是,盡管當(dāng)前已有研究大豆品種識(shí)別方面的工作,但是由于細(xì)粒度圖像模式識(shí)別的挑戰(zhàn)性,他們對(duì)大豆品種的識(shí)別準(zhǔn)確度明顯低于對(duì)物種的識(shí)別準(zhǔn)確度.在本文中,我們嘗試使用深度學(xué)習(xí)來解決基于葉片圖像模式的大豆品種識(shí)別問題.據(jù)我們所知,這是一個(gè)使用深度學(xué)習(xí)技術(shù)進(jìn)行大豆品種分類的首次嘗試,本研究工作,也將會(huì)進(jìn)一步推動(dòng)從物種識(shí)別到品種識(shí)別的葉片識(shí)別研究.

3 目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)

我們的目標(biāo)是設(shè)計(jì)一個(gè)用于準(zhǔn)確識(shí)別葉片品種的深度神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)不僅可以規(guī)范葉片的姿勢(shì),而且可以提取圖像細(xì)粒度的特征,從而能夠魯棒而精確的描述不同大豆品種之間的細(xì)微差異.圖2展示了我們提出的用于大豆品種識(shí)別的目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)的基本框架,它由卷積神經(jīng)網(wǎng)絡(luò)主干和我們提出的目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)模塊組成.下面介紹該網(wǎng)絡(luò)模型的細(xì)節(jié).

圖2 目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)的結(jié)構(gòu)圖

3.1 卷積神經(jīng)網(wǎng)絡(luò)框架

我們的目標(biāo)是設(shè)計(jì)一種端到端的體系結(jié)構(gòu),該體系結(jié)構(gòu)可以從葉片的圖像中魯棒且準(zhǔn)確的提取有用的葉片特征.盡管當(dāng)前圖像分類研究中已經(jīng)提出了許多新型網(wǎng)絡(luò),但是由于ResNet[28]已經(jīng)在葉片分類任務(wù)中被多次成功應(yīng)用[12,29],并被證明了其有效性.因此我們選擇ResNet[28]作為目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)的基本框架.考慮到用于農(nóng)業(yè)的人工智能算法通常是在資源有限的環(huán)境中執(zhí)行的,因此我們選擇使用具有可接受的性能水平和合理的資源要求的ResNet-34加以研究并改進(jìn).

本文中使用的ResNet-34包括4個(gè)運(yùn)行階段,其中每個(gè)階段都包含特定數(shù)量的殘差模塊[28].根據(jù)其中使用的shortcut類型,殘差模塊被分為兩個(gè)不同的類別.在我們的論文中,我們嚴(yán)格遵循ResNet-34的正式構(gòu)建方法搭建神經(jīng)網(wǎng)絡(luò).

3.2 目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)

文獻(xiàn)[8,26]證明了添加附加的輔助信息可以進(jìn)一步改善模型的性能,已被廣泛用于葉片圖像物種識(shí)別任務(wù).例如,邊界框注釋[8,26]被廣泛用于突出具有區(qū)分能力的葉脈和紋理信息.手工裁剪的補(bǔ)丁塊[30]被用于輔助葉脈的描述并消除形狀特征帶來的變異.盡管這些方法在葉片種類識(shí)別方面取得了巨大成功,但收集并標(biāo)注這些輔助信息需要花費(fèi)大量的精力,并且非常耗時(shí).

當(dāng)將這種方法用于葉片圖像品種分類任務(wù)時(shí),這一困難尤為突出.例如,如圖3所示,與不同物種的葉片圖像不同,由于這些大豆品種葉片屬于同一個(gè)大豆物種,大量品種的葉片圖像在外觀特征上非常相似,甚至某些品種的葉片只在葉脈紋理結(jié)構(gòu)上有細(xì)微的差別.因此,即使是農(nóng)業(yè)植物學(xué)專家很難為葉片圖像進(jìn)行標(biāo)記以提供附加信息.此外,如果圖像被專家錯(cuò)誤地標(biāo)記,甚至?xí)斐缮疃壬窠?jīng)網(wǎng)絡(luò)的性能大大降低.

除了上述問題,由于葉片在圖像中的位置是多種多樣的,因此葉片圖像的姿勢(shì)也是重要的影響因素,可能會(huì)對(duì)識(shí)別精度產(chǎn)生不利的影響.此外,葉片的形狀可能由于生長(zhǎng)環(huán)境或疾病而變形,因此這種葉片缺少一些形狀特征,這類因素會(huì)對(duì)圖像識(shí)別帶來重要影響.

上述兩個(gè)問題在品種識(shí)別任務(wù)中廣泛存在,并且不可避免地對(duì)最近提出的人工智能算法的結(jié)果產(chǎn)生負(fù)面影響.為了應(yīng)對(duì)這些問題,我們提出了目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò),它同時(shí)利用了注意力機(jī)制和仿射變換.注意機(jī)制旨在通過自動(dòng)定位感興趣的區(qū)域來區(qū)分不同品種葉片圖像的細(xì)微差別,從而可以為品種識(shí)別提供更多細(xì)節(jié)信息.以這種方式,所提出的方法免除了使用手動(dòng)標(biāo)記和附加信息的麻煩.仿射變換校正是從輸入圖像本身推斷出適當(dāng)?shù)姆律渥儞Q矩陣,然后將其通過縮放和旋轉(zhuǎn)操作來校正輸入葉片的姿勢(shì),這樣就可以將葉片放置在更容易識(shí)別的形態(tài)上.需要注意的是,這兩個(gè)模塊是互為補(bǔ)充的,它們提供的功能對(duì)于葉片栽培品種數(shù)據(jù)集的識(shí)別至關(guān)重要.

目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)（見圖2）核心模塊由4個(gè)部分組成:注意力模塊（attention module）,定位網(wǎng)絡(luò)（localization）,網(wǎng)格生成器（affine grid）和采樣器（grIDSample）.網(wǎng)絡(luò)具體工作流程如下:

步驟1.對(duì)輸入圖像經(jīng)過預(yù)處理及數(shù)據(jù)擴(kuò)充（data augmentation）,統(tǒng)一圖像的大小與格式,并按照一定的比例設(shè)計(jì)訓(xùn)練集和測(cè)試集后,再將之輸入卷積神經(jīng)網(wǎng)絡(luò)早期 7×7的卷積層和最大池化層,生成的batch×channel×56×56的葉片圖像特征圖將作為目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)核心模塊中定位網(wǎng)絡(luò)和注意力模塊的輸入數(shù)據(jù);

步驟2.研究中的注意力模塊應(yīng)用的是結(jié)合了空間注意力和通道注意力的混合注意力模型.對(duì)于原始輸入特征圖,該模塊經(jīng)過堆疊多個(gè)卷積核為1×1的卷積層生成大小為 batch×1×56×56的特征蒙版圖mask,此特征蒙板圖將與輸入圖像同時(shí)經(jīng)過Softmax層激活功能生成在[0,1]之間連續(xù)分布的空間注意力特征圖,以此獲取原始圖像中受注意力機(jī)制標(biāo)記并保留關(guān)鍵特征信息的區(qū)域范圍.為了達(dá)到增強(qiáng)原始圖像特征的目的,接著將此空間注意力關(guān)注標(biāo)記的特征圖再次輸入池化層、卷積核為1×1的卷積層與激活函數(shù),其輸出結(jié)果與原始圖像結(jié)合獲取當(dāng)前區(qū)域內(nèi)信息量大的某類特征,即通道注意力結(jié)果,用于強(qiáng)化并標(biāo)記出特征空間中有意義的特征.由于特征蒙版圖的存在,使得注意力模塊不會(huì)由于反復(fù)乘積造成特征過小消失的情況,以類似于殘差模塊x=x+x×mask的思想保證了注意力模塊的收斂性.特別指出的是,Softmax函數(shù)輸出特征圖中每個(gè)像素的權(quán)重,并將特征圖中的原始像素與其對(duì)應(yīng)的權(quán)重相乘以生成注意力增強(qiáng)的特征圖.這種經(jīng)過注意力增強(qiáng)的特征圖更具描述性,可以更好地描述不同葉片品種之間的差異.同時(shí),注意力模塊輸出的圖像增強(qiáng)特征圖將是采樣器在后續(xù)過程中接收到的兩個(gè)輸入數(shù)據(jù)之一.

步驟3.為了解決輸入葉片圖像中目標(biāo)姿態(tài)不同的問題,以卷積神經(jīng)網(wǎng)絡(luò)早期運(yùn)行過程中卷積層生成的原始特征圖為輸入進(jìn)入定位網(wǎng)絡(luò),這個(gè)定位網(wǎng)絡(luò)是輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò),包括兩個(gè)卷積核大小為7×7卷積層、池化層及線性映射層,通過使用卷積層不斷迭代運(yùn)算達(dá)到提取特征的目的,學(xué)習(xí)出batch×1000的特征向量,并通過線性映射層映射為2×3維度的仿射變換矩陣,隨著網(wǎng)絡(luò)的迭代將不斷學(xué)習(xí)和更新線性映射層的權(quán)重與偏置參數(shù),從而生成合適的仿射矩陣并傳輸給后續(xù)的網(wǎng)格生成器用于仿射變換,該仿射變換可校正給定葉片圖像的姿勢(shì).

這些更新的坐標(biāo)將被傳入采樣器模塊用于糾正葉子圖像的姿勢(shì).這是因?yàn)檫@些姿勢(shì)校正的坐標(biāo)傳入采樣器是用于對(duì)注意力增強(qiáng)的特征圖進(jìn)行采樣,以生成注意力特征增強(qiáng)的姿勢(shì)校正的特征圖.

步驟6.最后,將注意力機(jī)制增強(qiáng)的姿勢(shì)校正特征圖提供給卷積神經(jīng)網(wǎng)絡(luò)主干網(wǎng)絡(luò)和全連接層（fully connected layer）,以進(jìn)行進(jìn)一步的特征提取和分類.這些特征圖相較于原始的輸入擁有更多信息,因此可以提高我們的網(wǎng)絡(luò)在葉片品種識(shí)別任務(wù)上的性能.此外,使用文獻(xiàn)[28]中所示的Softmax損失來訓(xùn)練該網(wǎng)絡(luò).

4 實(shí)驗(yàn)結(jié)果和討論

為了驗(yàn)證大豆葉片圖像模式中品種信息的可用性,并驗(yàn)證所提出的目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)對(duì)大豆品種識(shí)別的有效性,我們建立了一個(gè)大豆品種栽培葉片圖像數(shù)據(jù)庫(kù),并將我們的方法與包括手工方法和深度學(xué)習(xí)方法在內(nèi)的幾種最先進(jìn)的方法進(jìn)行了比較,以驗(yàn)證本文提出的方法的優(yōu)越性.

4.1 數(shù)據(jù)集

雖然目前有一些網(wǎng)上公開的葉片圖像庫(kù),如Leaf100[9],MEW2012[11],ICL[10],可供實(shí)驗(yàn)研究,但這些數(shù)據(jù)庫(kù)都是作為物種識(shí)別研究的,還沒見到可供品種識(shí)別的葉片圖像庫(kù).我們收集不同大豆品種的葉片來建立大豆品種葉片數(shù)據(jù)庫(kù).該數(shù)據(jù)庫(kù)包含從240個(gè)大豆品種植株中收集的2400片葉子.對(duì)于每個(gè)品種,我們從不同植株的下部隨機(jī)采集10片葉子.所有葉片圖像均使用具有600 dpi高分辨率和48位真彩色設(shè)置的EPSON V850 Pro掃描儀獲得.圖3給出了每個(gè)品種的葉片示例,圖4則給出了前10個(gè)品種的所有葉片樣本作為示例.與網(wǎng)上公開的葉片圖像數(shù)據(jù)庫(kù)Leaf100[9],MEW2012[11],ICL[10]相比,大豆品種栽培葉片數(shù)據(jù)庫(kù)具有更高的類間相似性,因?yàn)樗腥~片屬于同一物種,這使其成為研究葉片品種識(shí)別的一個(gè)新的且具有挑戰(zhàn)性的數(shù)據(jù)集.

圖3 取自大豆品種葉片圖像庫(kù)的240個(gè)品種的示例樣本（每個(gè)品種一個(gè)樣本）

圖4 大豆品種葉片圖像數(shù)據(jù)庫(kù)中前10個(gè)品種的所有樣本,每行顯示了同一大豆品種的所有圖像

4.2 實(shí)驗(yàn)對(duì)比的方法

在我們的實(shí)驗(yàn)中使用了6種對(duì)比方法,包括4種傳統(tǒng)的手工方法:局部二進(jìn)制模式（LBP）[22],分層弦切法（HSC）[9],定向梯度直方圖（HOG）[31]和多尺度滑弦匹配（MSCM）[13].此外還有兩種深度學(xué)習(xí)方法,分別是濾波器學(xué)習(xí)區(qū)分網(wǎng)絡(luò)（DFL）[32]和導(dǎo)航-自指導(dǎo)-審查網(wǎng)絡(luò)（NTS）[33],這兩種深度網(wǎng)絡(luò)在對(duì)圖像進(jìn)行細(xì)粒度分類都有較為優(yōu)異的結(jié)果,它們被用于作為我們提出的模型的對(duì)比基準(zhǔn).我們的方法和其他兩個(gè)深度學(xué)習(xí)方法DFL和NTS的預(yù)訓(xùn)練模型分別是ResNet-34,VGG16和ResNet-50.對(duì)于所有對(duì)比實(shí)驗(yàn),我們使用大豆品種葉片圖像庫(kù)中每個(gè)品種的前6個(gè)葉片圖像用作訓(xùn)練樣本（共有1440個(gè)樣本）,其余960個(gè)葉片圖像作為測(cè)試樣本.下面是參與對(duì)比的所有方法的介紹.

HOG:梯度方向直方圖[31]是一種梯度信息的統(tǒng)計(jì)方法.由于梯度信息主要存在于圖像目標(biāo)的邊緣區(qū)域,因此可以通過研究梯度的分布或邊緣的方向密度來適當(dāng)?shù)孛枋瞿繕?biāo)的外觀和形狀信息.該方法已廣泛用于植物葉片識(shí)別[34,35].

HSC:分層弦切線[9]旨在提取葉片的輪廓特征,其中輪廓段的特征在于輪廓點(diǎn)相對(duì)于其弦的空間分布信息.該方法是最新的形狀描述方法,可以提供快速而準(zhǔn)確的葉片圖像分類結(jié)果.

LBP:局部二進(jìn)制模式[36]被證明是最成功的局部外觀描述符之一,用于捕獲小的紋理細(xì)節(jié)和外觀.由于葉片具有非常精細(xì)的紋理和葉脈特征,而這些特征是葉片圖像分類的最重要標(biāo)志之一,因此許多研究[22,37-39]已將LBP技術(shù)應(yīng)用于葉片圖像識(shí)別任務(wù).

MSCM:多尺度滑弦匹配[13]是一種最近發(fā)表的方法,致力于使用葉片圖像模式來區(qū)分大豆品種.它以從粗糙到精細(xì)的層次順序表征葉片圖像模式,并測(cè)量描繪葉片圖像的外部形狀和內(nèi)部外觀的同步模式.為了增強(qiáng)品種描述的判別力,它結(jié)合了植物不同部位的葉片描述符,使得來自不同位置的信息相互補(bǔ)充,是一種有效的大豆品種鑒定方法.

DFL-NET:DFL-NET模型[32]是一種端到端深度學(xué)習(xí)方法,該方法使用具有卷積濾波器監(jiān)督和非隨機(jī)層初始化的非對(duì)稱多流結(jié)構(gòu).旨在通過卷積過濾器來增強(qiáng)圖像特征中級(jí)表示與學(xué)習(xí),以便在無須其他輔助信息情況下使用補(bǔ)丁程序獲取不同級(jí)別信息和圖像的全局外觀,并且網(wǎng)絡(luò)可以提取特定于類別的判別性補(bǔ)丁程序.

NTS-NET:NTS-NET模型[33]由導(dǎo)航代理模塊,教師代理模塊和審查程序代理模塊組成.通過計(jì)算圖像中多個(gè)區(qū)域的特征向量來訓(xùn)練該導(dǎo)航器網(wǎng)絡(luò).它可用于檢查導(dǎo)航代理模塊在教師代理模塊的指導(dǎo)下檢測(cè)到的信息量大的區(qū)域,并反饋建議信息,以便導(dǎo)航器網(wǎng)絡(luò)可以查看和融合這些特征向量用于分類任務(wù).

DFL-NET和NTS-NET在公共細(xì)粒度數(shù)據(jù)集CUB-200-2011上都獲得了較高的分類精度[40].因此,我們選擇它們作為代表性的深度學(xué)習(xí)方法進(jìn)行對(duì)比實(shí)驗(yàn).

4.3 結(jié)果與分析

表1給出了我們的方法和所有參與比較的方法在大豆葉片圖像庫(kù)上的實(shí)驗(yàn)結(jié)果.可以看出,我們的方法達(dá)到了令人鼓舞的71.90%的分類準(zhǔn)確度,證明了葉片圖像模式的品種信息的可用性,并驗(yàn)證了葉片圖像模式對(duì)大豆品種識(shí)別的有效性.

表1 本文提出的方法與其他手工特征和深度特征方法在大豆葉片圖像數(shù)據(jù)庫(kù)上的分類準(zhǔn)確率

從表1可以看出,我們的方法的分類準(zhǔn)確率分別比4種手工特征方法HOG[31]、HSC[9]、LBP[36]、MSCM[13]高出 50.10%,48.98%,47.50% 和 35.55%.與深度學(xué)習(xí)方法相比,我們的方法的分類準(zhǔn)確率分別比NTS[33]和DFL[32]高14.20%和16.59%.這些結(jié)果表明,我們的方法在表征葉片圖像模式方面效果更好,并且更適合于大豆品種的識(shí)別.

實(shí)驗(yàn)結(jié)果還表明,在大豆葉片品種識(shí)別問題上,深度學(xué)習(xí)方法的分類精度比傳統(tǒng)的手工方法高出18.96%,該結(jié)果說明,與手工特征方法相比,深度學(xué)習(xí)方法在捕獲不同品種的葉片圖像模式非常細(xì)微的差異方面效果更好.值得注意的是,盡管DFL-NET[32]和NTSNet[33]這兩種深度學(xué)習(xí)模型在其他細(xì)粒度分類任務(wù)中均取得了良好的準(zhǔn)確性,但它們比本文提出的方法分別低了16.59和14.20個(gè)百分點(diǎn).其原因分析總結(jié)如下:

DFL[32]使用全局最大池為給定圖像的每個(gè)補(bǔ)丁塊生成響應(yīng)權(quán)重.然后,將具有相應(yīng)特征向量的響應(yīng)權(quán)重用于描述給定圖像,以進(jìn)行最終圖像分類.但是,由于每個(gè)補(bǔ)丁塊的特征圖中會(huì)存在精細(xì)葉脈特征所攜帶的代表性信息丟失的情況,因此DFL的網(wǎng)絡(luò)設(shè)計(jì)不適用于葉片品種識(shí)別.與DFL相比,我們的網(wǎng)絡(luò)使用了注意力機(jī)制,該機(jī)制能夠?yàn)槊總€(gè)像素分配權(quán)重得分,這種策略使我們的網(wǎng)絡(luò)能夠?qū)Ｗ⒂诩?xì)粒度的葉脈和邊緣像素,從而改善模型的性能.

NTS-NET[33]的成功使用取決于深度網(wǎng)絡(luò)自動(dòng)檢測(cè)到并設(shè)置大型邊界框,這些邊界框是網(wǎng)絡(luò)自動(dòng)關(guān)注的感興趣的矩形區(qū)域,NTS-NET在其中提取關(guān)鍵性的特征.通常情況下,這種邊界框區(qū)域中的特征很容易識(shí)別,特別是當(dāng)測(cè)試圖像中的對(duì)象由許多不同的部分組成時(shí).葉片葉脈信息是該數(shù)據(jù)集葉片十分獨(dú)特的部分,不能簡(jiǎn)單地用大的邊界框來簡(jiǎn)單地描述葉片葉脈特征模式.此外,當(dāng)葉子的姿勢(shì)不正常時(shí),特別是當(dāng)在數(shù)據(jù)集的收集過程中其略微旋轉(zhuǎn)和平移時(shí),矩形邊界框很容易標(biāo)記錯(cuò)位置.我們的網(wǎng)絡(luò)通過使用葉姿勢(shì)校正模塊解決了這個(gè)問題,因此我們的模型優(yōu)于NTS-NET.

5 結(jié)論與展望

本文針對(duì)大豆品種識(shí)別這一極具挑戰(zhàn)性的葉片圖像模式的細(xì)粒度識(shí)別問題,提出一種稱為目標(biāo)轉(zhuǎn)換注意力網(wǎng)絡(luò)的深度學(xué)習(xí)模型.為了有效地從葉片圖像中提取細(xì)粒度的特征表示,使用注意力機(jī)制來捕獲葉片圖像的細(xì)微的特征差異,然后使用仿射變換來糾正葉片的姿勢(shì),使得方法更加魯棒.我們構(gòu)建了一個(gè)由240個(gè)大豆品種圖像組成的葉片圖像數(shù)據(jù)庫(kù),每個(gè)品種有10個(gè)樣本,以驗(yàn)證葉片圖像模式中品種信息的可用性,并驗(yàn)證我們的方法對(duì)大豆品種識(shí)別的有效性.實(shí)驗(yàn)結(jié)果表明,我們的方法相比于最先進(jìn)的手工方法和深度學(xué)習(xí)方法具有更高的分類精度,并且還證實(shí)了葉片圖像模式是大豆品種識(shí)別的重要線索.