趙彥輝，范欣寧，張建逵，謝明*

?

基于DeepLearning4J on Spark深度學(xué)習(xí)方法在藥用植物圖像識別中應(yīng)用初探

趙彥輝1，范欣寧2，張建逵2，謝明2*

1.遼寧中醫(yī)藥大學(xué)圖書館，遼寧 沈陽 110032；2.遼寧中醫(yī)藥大學(xué)藥學(xué)院，遼寧 大連 116600

基于卷積神經(jīng)網(wǎng)絡(luò)，使藥用植物的圖像識別自動化、智能化，從而提高藥用植物識別的效率。使用中國植物圖像庫搜集藥用植物圖像，進(jìn)行灰度化、角度隨機(jī)旋轉(zhuǎn)等批量處理。采用卷積神經(jīng)網(wǎng)絡(luò)圖像識別技術(shù)，結(jié)合DeepLearning4j框架，對模型參數(shù)進(jìn)行優(yōu)化調(diào)試。使用DL4J-example、AlexNet、VGG16模型，小樣本單一背景藥用植物圖像識別正確率分別達(dá)到68.00%、70.00%、24.00%，大樣本復(fù)雜背景藥用植物圖像識別正確率分別達(dá)到48.87%、60.00%、91.35%。圖像識別技術(shù)的使用提高了復(fù)雜背景下藥用植物圖像識別的正確率和效率，為藥用植物的識別提供了新方法，識別正確率高低與激勵(lì)函數(shù)、迭代次數(shù)、卷積層數(shù)及參與訓(xùn)練的圖像數(shù)量直接相關(guān)。

圖像識別；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；遷移學(xué)習(xí)；藥用植物

傳統(tǒng)的藥用植物識別主要依靠專業(yè)人員通過眼看、手摸、口嘗、鼻聞的方式進(jìn)行[1]，這種方式主要依賴操作者的專業(yè)水平和經(jīng)驗(yàn)，因此不同的操作者識別藥用植物有一定的主觀性，其正確率有所不同。而圖像識別技術(shù)能解決人工識別主觀性強(qiáng)等問題，可以降低藥用植物識別的難度。圖像識別是指利用計(jì)算機(jī)對圖像進(jìn)行處理、分析和理解，以識別各種不同模式的目標(biāo)和對象的技術(shù)，是信息科學(xué)和人工智能的重要組成部分[2]。近年來，深度學(xué)習(xí)已經(jīng)成為圖像識別領(lǐng)域的熱點(diǎn)。為解決人工識別藥用植物效率低、主觀性強(qiáng)的難題，本研究基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN），探究藥用植物圖像識別的方法，構(gòu)建自動化的識別系統(tǒng)，并利用搜集的5種藥用植物圖像對系統(tǒng)進(jìn)行識別訓(xùn)練，為藥用植物的識別提供新方法、新思路。

1 實(shí)驗(yàn)材料及開發(fā)工具

1.1 操作系統(tǒng)及分布式實(shí)時(shí)計(jì)算環(huán)境

Windows 7 sp1 64位（客戶端），CentOS-Linux release 7.4-64位，Hadoop2.6.0-CDH5.5.2，Spark2.2.1。

1.2 硬件環(huán)境

Intel CORE i5-42100-2.4GHZ/6G內(nèi)存/1T硬盤筆記本電腦1臺；清華同方超越E550，2核Intel(R) Pentium(R) CPU G645@2.90GHz/8G/500G 2臺；Dell臺式機(jī)2核Intel(R) Celeron(R) CPU G1820@2.70GHz/6G/500G 1臺；Dell虛擬機(jī)Vmware5.5.0-4核Intel(R) Xeon(R) CPU E3-1220 V2@3.10GHz/7G/46G 1臺；曙光Vmware5.5.0-15核AMD Opteron(TM) Processor 6212/8G/50G 1臺。

1.3 軟件環(huán)境

Eclipse Oxygen集成開發(fā)平臺、JAVA語言環(huán)境、DeepLearning4j深度學(xué)習(xí)框架、Adobe Photoshop CC軟件。

2 實(shí)驗(yàn)方法與結(jié)果

2.1 卷積神經(jīng)網(wǎng)絡(luò)框架設(shè)計(jì)

本文所構(gòu)建的CNN構(gòu)架主要由輸入層、卷積層、池化層、全連接層和輸出層5個(gè)部分組成（見圖1）。

2.1.1 輸入層 若輸入對象是圖像，那么輸入層的原始輸入數(shù)據(jù)為圖像的像素值。本研究中原始輸入數(shù)據(jù)即為256×256像素大小的圖像，JPG格式，RGB3通道。

2.1.2 卷積層 卷積層由多個(gè)特征面組成，每個(gè)特征面由多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元通過卷積核與上一層特征面的局部區(qū)域相連[3]。卷積層的主要作用為提取輸入數(shù)據(jù)特征，其過程如圖2所示。幾種濾波（即核）在已被分解為彩色值的圖像上滑動，將核內(nèi)值的濾波乘積加和，并將加和的值返回，得到卷積特征。卷積層中卷積核數(shù)量越多，提取的輸入數(shù)據(jù)特征就越多。本實(shí)驗(yàn)通過更改核的值來提取不同類型的特征。

圖1 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)構(gòu)架示意圖

圖2 卷積特征提取示意圖

2.1.3 池化層 由多個(gè)特征面組成，它的每一個(gè)特征面均唯一對應(yīng)于其上一層的一個(gè)特征面，且池化層的神經(jīng)元也與其輸入層的局部接受域相連[3]。池化層自身并不會訓(xùn)練或者學(xué)習(xí)，僅僅是把卷積層傳播過來的圖像進(jìn)行池化（下采樣）。其主要作用是在保留有用信息的基礎(chǔ)上減少數(shù)據(jù)的處理量，加快網(wǎng)絡(luò)訓(xùn)練的速度。

2.1.4 全連接層 后面層的神經(jīng)元節(jié)點(diǎn)和前一層的神經(jīng)元節(jié)點(diǎn)連接，而同一層神經(jīng)元節(jié)點(diǎn)間無連接。每一層神經(jīng)元節(jié)點(diǎn)通過連接線上的權(quán)值進(jìn)行前向傳播，加權(quán)組合得到下一層神經(jīng)元節(jié)點(diǎn)的輸入。其實(shí)質(zhì)為多層感知機(jī)的隱含層。本文中，為了提升卷積神經(jīng)網(wǎng)絡(luò)性能，降低模型的計(jì)算復(fù)雜度，在全連接層選用了Relu（修正線性單元）激活函數(shù)。計(jì)算公式如式⑴。除此之外，在網(wǎng)絡(luò)訓(xùn)練的過程中，為了避免過擬合，本文在全連接層使用了正則化方法——dropout技術(shù)，有研究表明，此方法可使隱含層神經(jīng)元的輸出值以50%的概率變成0[4]。因此能有效降低神經(jīng)元間的復(fù)雜性，忽略無效細(xì)節(jié)，從而提升神經(jīng)元學(xué)習(xí)特征的魯棒性。

2.1.5 輸出層 可根據(jù)具體應(yīng)用任務(wù)來設(shè)定輸出層的神經(jīng)元節(jié)點(diǎn)數(shù)，本文訓(xùn)練5種藥用植物圖像，因此輸出節(jié)點(diǎn)數(shù)設(shè)置為5。

2.2 DeepLearning4j深度學(xué)習(xí)框架搭建

2.2.1 安裝集成開發(fā)環(huán)境 下載并安裝JDK9.0.1、Eclipse Oxygen版for windows（64Bit）軟件。設(shè)置系統(tǒng)環(huán)境變量，JAVA_HOME為D:/JAVA/JDK-9.0.1，PATH增加%JAVA_HOME%in，CLASSPATH為.;%JAVA_HOME%lib。測試運(yùn)行環(huán)境，運(yùn)行CMD、java-version、javac回報(bào)版本和編譯信息。安裝Eclipse軟件至D:/ECLIPSE。

2.2.2 安裝DeepLearning4J 訪問https://deeplearning4j.org/，下載ZIP文件到D:/DL4J，安裝MAVEN環(huán)境，導(dǎo)入Maven Existing Maven Projects，打開dl4j-examples。

2.2.3 搭建Hadoop集群和Spark集群 測試任務(wù)提交命令，#spark-submit --class cn.edu.lnutcm.nd4jonSpark.FitFromFeaturized --master spark://storm6:7077--deploy-mode client --driver-memory 6g --executor-memory 4g hdfs://ns1/spark_lib/Nd4jTestOnMllib-0.0.1-SNAPSHOT.jar。

2.3 圖像的搜集與處理

2.3.1 植物圖像的搜集 圖像特征提取是藥用植物圖像識別的核心，直接影響最終的識別效果[5]。本實(shí)驗(yàn)選取銀杏、牛蒡、薄荷、知母、芍藥5種藥用植物。

銀杏（Ginkgo biloba L.），幼樹樹皮近平滑，淺灰色，大樹之皮灰褐色。葉互生，在長枝上輻射狀散生，在短枝上3～5枚成簇生狀，扇形，淡綠色，具多數(shù)叉狀細(xì)脈。

牛蒡（Arctium lappa L.），莖直立，帶紫色，上部多分枝?；~叢生，大型，有長柄；莖生葉廣卵形或心形。頭狀花序多數(shù)，排成傘狀；總苞球形，總苞片披針形；花淡紅色，管狀。

芍藥（Paeonia lactiflora Pall.），莖直立，上部分枝。葉互生，近革質(zhì)，二回三出復(fù)葉，小葉窄卵形?；▋尚?，數(shù)朵生莖頂和葉腋，白色，有時(shí)基部具深紫色斑塊或粉紅色。

薄荷（Mentha haplocalyx Briq.），莖四棱形。單葉對生，葉片長卵形或長圓形。輪傘花序腋生，花冠二唇形，淡紫色或白色，4裂。

知母（Anemarrhena asphodeloides Bunge.），葉基生，叢出；線形，基部擴(kuò)大成鞘狀?；ㄇo直立，穗狀花序稀疏而狹長，花常2～3朵簇生；花綠色或紫堇色；花被片6，宿存，排成2輪。

在中國植物圖像庫（PPBC, http://www.plantphoto.cn/）中搜集具有上述識別特征的植物圖像。經(jīng)篩選，本文選取了銀杏圖像2483個(gè)，牛蒡圖像1494個(gè)，薄荷圖像2120個(gè)，知母圖像591個(gè)，芍藥圖像2318個(gè)，共計(jì)9006個(gè)圖像。以上圖像均經(jīng)過遼寧中醫(yī)藥大學(xué)藥學(xué)院張建逵副教授鑒定。

2.3.2 植物圖像的預(yù)處理 為加強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)對圖像特征的學(xué)習(xí)效果，利用Adobe Photoshop CC軟件對這些圖像進(jìn)行批量處理。首先去掉圖像中的水印和干擾元素，只保留識別所需的特征部位，然后進(jìn)行灰度化處理，并歸一化像素值為256×256大小。為增加圖像的數(shù)據(jù)量、更好地檢驗(yàn)卷積神經(jīng)網(wǎng)絡(luò)對幾何變換、形變等一定程度上的不變性[6]，本實(shí)驗(yàn)將圖像進(jìn)行了隨機(jī)角度旋轉(zhuǎn)（5～180°）變換，并將隨機(jī)旋轉(zhuǎn)角度后的圖片背景處理為白色。

經(jīng)過以上處理，圖像數(shù)量增長了1倍，變?yōu)?18012個(gè)，將這些圖像構(gòu)建為大樣本復(fù)雜背景數(shù)據(jù)庫，命名為L（Large）數(shù)據(jù)庫，圖像見圖3。另外，為了探究圖像數(shù)量及背景復(fù)雜程度對模型訓(xùn)練效果的影響，還建立一個(gè)小樣本簡單背景數(shù)據(jù)庫，即從5類植物圖像中各隨機(jī)抽取25個(gè)圖像，進(jìn)行單一背景處理，命名為S（Small）數(shù)據(jù)庫，含單一背景圖像125個(gè)（見圖4）。

圖3 大樣本復(fù)雜背景圖片示例（Large數(shù)據(jù)庫）

圖4 小樣本單一背景圖片示例（Small數(shù)據(jù)庫）

2.3.3 實(shí)驗(yàn)?zāi)Ｐ蛥?shù)調(diào)試 本文分別采用了DL4J-example、AlexNet和VGG16共3種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行有監(jiān)督學(xué)習(xí)的訓(xùn)練[7]，在每次模型訓(xùn)練過程中先將數(shù)據(jù)庫中的圖像進(jìn)行標(biāo)簽，然后隨機(jī)選取其中80%圖片作為訓(xùn)練集，20%作為測試集。

為了較好地評價(jià)所建立的模型是否具有較強(qiáng)的魯棒性，本實(shí)驗(yàn)統(tǒng)計(jì)了5類植物分類的正確率（accuracy），計(jì)算了每個(gè)類別的查準(zhǔn)率（precision）、查全率（recall）及查全率與查準(zhǔn)率的加權(quán)平均分?jǐn)?shù)（F1），取其平均值作為模型評價(jià)標(biāo)準(zhǔn)。具體計(jì)算表達(dá)式見式⑵、式⑶、式⑷，其中，nij表示類別i預(yù)測為第j類的樣本數(shù)，nii表示類別i預(yù)測為第i類的樣本數(shù)，nji表示類別j預(yù)測為第i類的樣本數(shù)，ncl表示樣本類別數(shù)，本實(shí)驗(yàn)值為5。

參照查閱的文獻(xiàn)，在DL4J-examples源碼基礎(chǔ)上構(gòu)建模型，進(jìn)行1～7、10～12號實(shí)驗(yàn)。在第8、13號實(shí)驗(yàn)引入AlexNet網(wǎng)絡(luò)模型，在第9、14號實(shí)驗(yàn)引入VGG16網(wǎng)絡(luò)模型。對模型中的參數(shù)進(jìn)行調(diào)試，并對其性能進(jìn)行檢測。1～8、10～13號實(shí)驗(yàn)為單機(jī)運(yùn)行所得，9、14號實(shí)驗(yàn)是在Spark集群上運(yùn)行所得。實(shí)驗(yàn)結(jié)果見表1。

表1 模型參數(shù)設(shè)置與模型評估得分

注：*運(yùn)行結(jié)果出錯(cuò)，內(nèi)存溢出。**運(yùn)行結(jié)果出錯(cuò)，圖像尺寸不匹配。

將本文所構(gòu)建的深度學(xué)習(xí)模型對單一背景和復(fù)雜背景圖像識別的正確率分別與文獻(xiàn)中查閱到的CNN＋SVM模型[8]（8層CNN＋SVM分類器，其中SVM選取默認(rèn)參數(shù)C＝10，為SVM分類器的懲罰變量值；σ＝0.038 461 54，是徑向基RBF形式核函數(shù)的變量值）及PCANet模型[8]（L1＝10，L2＝8，指層濾波核數(shù)分別為10、8）的圖像識別正確率進(jìn)行對比，結(jié)果見表2。

表2 單一背景和復(fù)雜背景下5種卷積神經(jīng)網(wǎng)絡(luò)模型圖像識別正確率（%）

3 分析討論

通過實(shí)驗(yàn)數(shù)據(jù)可看出，基于卷積神經(jīng)網(wǎng)絡(luò)的藥用植物圖像模式識別程序的性能受激勵(lì)函數(shù)、迭代次數(shù)、卷積層數(shù)及圖像數(shù)量等因素的影響。

3.1 激勵(lì)函數(shù)

Tanh函數(shù)是飽和非線性函數(shù)，能在解決梯度爆炸（或消失）問題的同時(shí)加快收斂速度[9]。而Relu函數(shù)是不飽和非線性函數(shù)，從第3、6號實(shí)驗(yàn)不難看出，使用Relu函數(shù)后，正確率提升了9.05%。可見，在卷積神經(jīng)網(wǎng)絡(luò)中選用Relu函數(shù)，能夠更有效地提升網(wǎng)絡(luò)模型的性能。

3.2 迭代次數(shù)

從第3、5號實(shí)驗(yàn)的測試結(jié)果可以看出，訓(xùn)練和測試集來自S數(shù)據(jù)庫時(shí)，迭代次數(shù)為1次的準(zhǔn)確率比10次的高出4.55%。再對比10、12號實(shí)驗(yàn)的測試結(jié)果可以發(fā)現(xiàn)，訓(xùn)練和測試集來自L數(shù)據(jù)庫時(shí)，迭代次數(shù)為15次時(shí)的準(zhǔn)確率較1次迭代的準(zhǔn)確率高出26.69%。

因此，不能簡單地說明迭代次數(shù)與準(zhǔn)確率成線性關(guān)系。對于較小數(shù)據(jù)庫的訓(xùn)練來說，迭代次數(shù)少，會使準(zhǔn)確率更高；但對于較大數(shù)據(jù)庫的訓(xùn)練來說，迭代次數(shù)多會使準(zhǔn)確率更高。

3.3 卷積層數(shù)

從10、11、12號實(shí)驗(yàn)可以看出，隨著數(shù)據(jù)量的增大，只增加卷積層的數(shù)量是不夠的，從2層卷積增加至7層后查準(zhǔn)率反而下降了。因此，我們將卷積層數(shù)與迭代次數(shù)同時(shí)增加，層數(shù)加至7層（在第二層增加隱含層，在第七層增加池化層），迭代次數(shù)加至15次，結(jié)果表明，正確率有所提高。

3.4 數(shù)據(jù)量對網(wǎng)絡(luò)性能的影響

結(jié)合上述實(shí)驗(yàn)結(jié)果來看，數(shù)據(jù)量越大，所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型也就越復(fù)雜，但是對比5、12號實(shí)驗(yàn)，不難發(fā)現(xiàn)，數(shù)據(jù)量的增加對于正確率的提升有一定幫助。用于訓(xùn)練的圖像數(shù)量越多，卷積神經(jīng)網(wǎng)絡(luò)能提取、學(xué)習(xí)到的特征也就越豐富，再加上多次反復(fù)的學(xué)習(xí)，識別的準(zhǔn)確度和效率也就越高。

3.5 單機(jī)深度學(xué)習(xí)與分布式遷移學(xué)習(xí)的差別

因?yàn)閱螜C(jī)內(nèi)存不足，利用VGG16模型無法運(yùn)行遷移學(xué)習(xí)，故9、14號實(shí)驗(yàn)選擇了分布式平臺，搭建了由5臺計(jì)算機(jī)組成的Spark集群環(huán)境。由單機(jī)勉強(qiáng)運(yùn)行的13號實(shí)驗(yàn)（13層卷積，迭代50次），訓(xùn)練了24747397個(gè)參數(shù)，運(yùn)行了7.70 h，才得出結(jié)果。而在Spark集群環(huán)境下，凍結(jié)134260544個(gè)參數(shù)，訓(xùn)練20485個(gè)參數(shù)，僅運(yùn)行6.95 min，得出了91.35%的正確率。

3.6 與其他模型對比分析

從表2中可以看出，與其他模型相比，本文所構(gòu)建的模型在復(fù)雜背景圖像的識別應(yīng)用中將現(xiàn)有研究中的最佳正確率提高到91.35%，使用遷移學(xué)習(xí)方法，訓(xùn)練時(shí)間大大縮短。但與學(xué)習(xí)識別單一背景圖像的模型相比，由于數(shù)據(jù)量較小，正確率較低。

4 小結(jié)

圖像識別技術(shù)通過對圖像特征提取、處理和分析，能夠自動完成對圖像進(jìn)行描述、辨認(rèn)、分類和解釋，已經(jīng)成為信息科學(xué)和人工智能的重要組成部分。將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到藥用植物識別中，降低了藥用植物識別的難度，避免了手工提取特征而導(dǎo)致誤差累積的缺點(diǎn)。使用相對較少的預(yù)處理，更適用于復(fù)雜的圖像特征，具有適用性強(qiáng)、特征提取與分類同時(shí)進(jìn)行、泛化能力強(qiáng)、全局優(yōu)化訓(xùn)練參數(shù)少等優(yōu)點(diǎn)，為藥用植物的識別提供了新方法、新思路。

[1]葉鋒,蔡光東,鄭子華,等.基于多特征融合的藥用植物標(biāo)本識別[C]//2011年中國智能自動化學(xué)術(shù)會議論文集(第一分冊).北京,2011:5.

[2] 龔丁禧,曹長榮.基于卷積神經(jīng)網(wǎng)絡(luò)的植物葉片分類[J].計(jì)算機(jī)與現(xiàn)代化,2014(4):12-19.

[3] 周飛燕,金林鵬,董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào),2017,40(6):1229-1251.

[4] 孫俊,譚文軍,毛罕平,等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識別[J].農(nóng)業(yè)工程學(xué)報(bào),2017,33(19):209-215.

[5] 譚亮.基于內(nèi)容的中草藥圖像檢索關(guān)鍵技術(shù)研究[D].杭州:浙江大學(xué),2016.

[6] 馬珍玉,王樹森,聶磊,等.基于Matlab的植物葉片識別研究與實(shí)現(xiàn)[J].內(nèi)蒙古科技與經(jīng)濟(jì),2016(9):48-49,51.

[7] 張善文,黃德雙.一種魯棒的監(jiān)督流形學(xué)習(xí)算法及其在植物葉片分類中的應(yīng)用[J].模式識別與人工智能,2010,23(6):836-841.

[8] 張帥,淮永建.基于分層卷積深度學(xué)習(xí)系統(tǒng)的植物葉片識別研究[J].北京林業(yè)大學(xué)學(xué)報(bào),2016,38(9):108-115.

[9] 羅曉曙.人工神經(jīng)網(wǎng)絡(luò)理論?模型?算法與應(yīng)用[M].桂林:廣西師范大學(xué)出版社,2005.

Discussion on Application of Deep Learning Method in Medical Plant Image Recognition Based on DeepLearning4J on Spark

ZHAO Yan-hui1, FAN Xin-ning2, ZHANG Jian-kui2, XIE Ming2*

(1.Library of Liaoning University of Traditional Chinese Medicine, Shenyang 110032,China; 2.College of Pharmacy, Liaoning University of Traditional Chinese Medicine, Dalian 116600, China)

To automate and intelligentize medical plant image recognition based on the convolution neural network. To improve the efficiency of medical plant recognition.Chinese plant image database was used to collect medical plant images, and the batch processing of gray scale and angle random rotation were carried out. Convolution neural network image recognition technology was used and DeepLearning4J frame was combined. Model parameters were optimized and debugged.DL4J-example, AlexNet and VGG16 models were used. The accuracy rates of image recognition for small samples of single background medical plants reached 68.00%, 70.00% and 24.00%, respectively, and the accuracy rates of image recognition of medical plants in complex background reached 48.87%, 60.00% and 91.35%, respectively.The use of image recognition technology can improve accuracy and efficiency of medical plant image recognition under complex background, and provide a new method for recognition of medical plants. The recognition accuracy rate is directly related to the excitation function, the number of iterations, the number of convolution layers, and the number of images participating in the training.

image recognition; convolution neural network; deep learning; transfer learning; medical plants

10.3969/j.issn.2095-5707.2018.05.005

G250.7

A

2095-5707(2018)05-0018-05

（2018-03-23）

（2018-05-02；編輯：魏民）

趙彥輝,范欣寧,張建逵,等.基于DeepLearning4J on Spark深度學(xué)習(xí)方法在藥用植物圖像識別中應(yīng)用初探[J].中國中醫(yī)藥圖書情報(bào)雜志,2018,42(5):18-22.

2014年遼寧省高等學(xué)校創(chuàng)新團(tuán)隊(duì)（WT2014004）

趙彥輝，E-mail: 644735344@qq.com

謝明，E-mail: x6m6@163.com