趙鵬超 戚大偉

摘要：

利用計(jì)算機(jī)圖像工程技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)將大量樹(shù)葉圖像葉脈信息提取并分類，主要研究單一背景下闊葉樹(shù)葉脈紋理特征。本實(shí)驗(yàn)采用卷積神經(jīng)網(wǎng)絡(luò)在圖像信息識(shí)別準(zhǔn)確率高，無(wú)需人工定義樹(shù)葉紋理特征減少繁瑣的人工成本。將網(wǎng)絡(luò)在Caffe平臺(tái)上面進(jìn)行定義，使用符合標(biāo)準(zhǔn)正態(tài)分布的一組隨機(jī)參數(shù)初始化網(wǎng)絡(luò)。對(duì)卷積神經(jīng)網(wǎng)絡(luò)使用BP神經(jīng)網(wǎng)絡(luò)反向傳播算法和隨機(jī)梯度下降算法訓(xùn)練。經(jīng)過(guò)對(duì)于網(wǎng)絡(luò)的訓(xùn)練最終識(shí)別率達(dá)到95%以上，超過(guò)了人眼的識(shí)別率，為樹(shù)種識(shí)別研究提供有效的分類方法。卷積神經(jīng)網(wǎng)絡(luò)在樹(shù)葉紋理中省去了人工定義樹(shù)葉特征的工作。最終多次實(shí)驗(yàn)得到可觀的識(shí)別效果，卷積神經(jīng)網(wǎng)絡(luò)適用于樹(shù)葉圖像的識(shí)別，其識(shí)別率基本達(dá)到可以應(yīng)用的要求。

關(guān)鍵詞：

卷積神經(jīng)網(wǎng)絡(luò)；樹(shù)種識(shí)別；樹(shù)葉紋理；圖像工程；闊葉

中圖分類號(hào)：S781.1；Q6-3文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1001-005X（2018）01-0056-04

Abstract：

This experiment uses the computer image engineering technology and convolution neural network to extract and classify the leaf image information.The major research direction of this study is the vein texture characteristics of broadleaved leaves in a single background.In this experiment，the convolution neural network is adopted.This algorithm has high accuracy in image information recognition，without manual definition of leaf texture features，which can reduce labor cost.The network is defined by Caffe platform and is initialized by a set of random parameters which conform to the standard normal distribution.The BP neural network back propagation algorithm and the random gradient are used to reduce the algorithm training for convolution neural networks.Through the training of the network，the final recognition rate is above 95%，which exceeds the recognition rate of the human eye.It provides an effective classification method for tree species identification research.The convolution neural network eliminates the work of manually defining the features of leaves，and the final recognition effect is basically up to the standard of applicable.

Keywords：

Convolution neural network；tree species identification；leaf texture；image engineering；broad leaf

0引言

世界上沒(méi)有兩片一樣的樹(shù)葉，而同一樹(shù)種的樹(shù)木存在很多相似的圖像特征，例如樹(shù)葉表皮紋理和葉片葉脈紋理[1-2]。其中葉脈的紋理特征對(duì)于區(qū)分樹(shù)種具有重要的價(jià)值。植物學(xué)專家和《植物志》中的方法是定義人類可以用自然語(yǔ)言描述的葉脈紋理結(jié)構(gòu)特征[3]。這種弊端在于實(shí)驗(yàn)前需要將葉片紋理結(jié)構(gòu)分類，對(duì)于具體紋理結(jié)構(gòu)只給出大概文字性描述。在遇到兩種相似樹(shù)葉時(shí)需要對(duì)比特征具體數(shù)據(jù)才能分辨。人工定義許多特征并非所有樹(shù)種都具有。并且在識(shí)別圖像過(guò)程中需要使用復(fù)雜的數(shù)學(xué)方法提取樹(shù)葉葉脈[4-5]。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)數(shù)據(jù)集訓(xùn)練可以使網(wǎng)絡(luò)自己學(xué)習(xí)圖像中紋理特征[6]。采用卷積神經(jīng)網(wǎng)絡(luò)省去了人工定義樹(shù)葉紋理特征的步驟[7]，以及神經(jīng)網(wǎng)絡(luò)對(duì)于非線性問(wèn)題處理能力強(qiáng)的優(yōu)點(diǎn)[8-9]。因此設(shè)計(jì)了使用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)于樹(shù)葉圖像識(shí)別。

1圖像數(shù)據(jù)采集和處理

卷積神經(jīng)網(wǎng)絡(luò)需要大量樣本進(jìn)行訓(xùn)練[10]。實(shí)驗(yàn)采集了4種樹(shù)葉，每種樹(shù)葉采集90張，共計(jì)360張圖像。采集于2017年7月在黑龍江省哈爾濱市東北林業(yè)大學(xué)校園內(nèi)。使用佳能550D相機(jī)拍攝。網(wǎng)絡(luò)訓(xùn)練選用有導(dǎo)師訓(xùn)練模型[11]，因而以1比4的比例分為測(cè)試樣本與訓(xùn)練樣本后將文件名分類標(biāo)注。由于單反相機(jī)拍攝照片尺寸較大，為了計(jì)算速度和計(jì)算機(jī)可承受數(shù)據(jù)量[12]，使用opencv庫(kù)在Linux操作系統(tǒng)中編寫(xiě)調(diào)整圖像尺寸的應(yīng)用程序?qū)D像縮小為100×75像素（圖1）。

2卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)及訓(xùn)練

2.1卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是基于人工神經(jīng)網(wǎng)絡(luò)帶有卷積層的網(wǎng)絡(luò)結(jié)構(gòu)[13-14]。人工神經(jīng)網(wǎng)絡(luò)（Artificial neural network，ANN）源頭是源自生物體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從活體貓的大腦皮層對(duì)于視覺(jué)信息反應(yīng)研究得出。生物體對(duì)于視覺(jué)圖像處理是分層處理機(jī)制，并且提出了感知野的概念。卷積神經(jīng)網(wǎng)絡(luò)是上世紀(jì)80年代由Fukushima提出基于數(shù)學(xué)卷積計(jì)算的一種新型識(shí)別機(jī)，形成卷積神經(jīng)網(wǎng)絡(luò)模擬生物神經(jīng)元對(duì)于圖像識(shí)別的結(jié)構(gòu)[15]。使用卷積神經(jīng)網(wǎng)絡(luò)研究樹(shù)葉紋理的優(yōu)點(diǎn)是無(wú)需人工定義圖像中信息的特征。在訓(xùn)練過(guò)程中網(wǎng)絡(luò)會(huì)通過(guò)大量不同的卷積核與圖像計(jì)算獲得不同的特征圖譜。

2.2網(wǎng)絡(luò)設(shè)計(jì)

網(wǎng)絡(luò)的層次共分為5層，其中包括2層卷積層、1層池化層和2層全鏈接層。網(wǎng)絡(luò)層次順序首先經(jīng)過(guò)兩層卷基層后加入一層池化層進(jìn)行數(shù)據(jù)壓縮，然后將數(shù)據(jù)送入兩層全鏈接層。網(wǎng)絡(luò)結(jié)尾的全鏈接層用來(lái)輸出計(jì)算分類向量結(jié)果，該層節(jié)點(diǎn)數(shù)目為網(wǎng)絡(luò)輸入數(shù)據(jù)的類別數(shù)。由于采集了4種樹(shù)葉這里設(shè)置為4個(gè)節(jié)點(diǎn)（圖2）。

卷積層（Convolutional Layer）是通過(guò)卷積核在原圖像中滑動(dòng)生成一張?zhí)卣鲌D譜。每一個(gè)卷積核篩選出整幅圖像中的一種特征值，掃描整幅圖像進(jìn)行卷積計(jì)算，圖3是卷積層在訓(xùn)練過(guò)程中的操作。卷積層需要設(shè)定三個(gè)參量：

（1）卷積核尺寸為5×5像素。

（2）卷積核在圖像中滑動(dòng)的步長(zhǎng)為1像素。

（3）圖像邊緣擴(kuò)展區(qū)域像素值，填充像素點(diǎn)值為0。

池化層（Pooling layer）是對(duì)前一層網(wǎng)絡(luò)輸出的數(shù)據(jù)進(jìn)行壓縮，通常使用Max pooling和average pooling進(jìn)行壓縮。壓縮的目的是減少網(wǎng)絡(luò)中的數(shù)據(jù)量，進(jìn)而減小過(guò)擬合。由于圖像中相鄰像素點(diǎn)之間幅度值產(chǎn)生突變的概率很低，所以選用Max pooling進(jìn)行圖像處理（圖4）。

為了使網(wǎng)絡(luò)訓(xùn)練收斂更加便捷，本實(shí)驗(yàn)并未采用sigmoid激活函數(shù)，而是采用了收斂速度快、求梯度簡(jiǎn)單的ReLU（The Rectified Linear Unit修正線性單元），計(jì)算公式如下：

2.3損失函數(shù)選取

最終網(wǎng)絡(luò)的全鏈接層輸出一個(gè)關(guān)于所有類別的概率向量（x1，x2，x3，x4）T。為了衡量網(wǎng)絡(luò)計(jì)算的結(jié)果與實(shí)際類別的差異性。將實(shí)際類別對(duì)應(yīng)的向量（向量中實(shí)際類別為1，其他類別為0）與計(jì)算得到的結(jié)果建立交叉熵模型，計(jì)算公式如下：

其中，a為網(wǎng)絡(luò)計(jì)算得到的結(jié)果，y為實(shí)際類別。得到這個(gè)損失函數(shù)后便可以對(duì)其進(jìn)行優(yōu)化。為了計(jì)算速度和減小果擬合，本試驗(yàn)并沒(méi)有將所有的訓(xùn)練樣本拿來(lái)訓(xùn)練網(wǎng)絡(luò)，只采用了其中一部分運(yùn)用了隨機(jī)梯度下降算法（Stochastic gradient descent）。

2.4網(wǎng)絡(luò)參數(shù)設(shè)定

圖像尺寸對(duì)于網(wǎng)絡(luò)輸入時(shí)的數(shù)據(jù)規(guī)模有直接的影響，上文中已經(jīng)講述將圖像重新調(diào)整尺寸。圖像的數(shù)量對(duì)于網(wǎng)絡(luò)訓(xùn)練和識(shí)別率有影響，為防止網(wǎng)絡(luò)規(guī)模過(guò)大數(shù)據(jù)量過(guò)小，產(chǎn)生過(guò)擬合現(xiàn)象?；蛘呔W(wǎng)絡(luò)規(guī)模過(guò)小數(shù)據(jù)量過(guò)大影響識(shí)別率。所以參照了Caffe中的mnist數(shù)據(jù)規(guī)模和網(wǎng)絡(luò)規(guī)模進(jìn)行實(shí)驗(yàn)，并且多次試驗(yàn)選取了相對(duì)理想的卷積層和池化層規(guī)模，具體網(wǎng)絡(luò)參數(shù)如下。

卷積層參數(shù)：

lr_mult：1lr_mult：2#學(xué)習(xí)率2

num_output：50# 50個(gè)輸出的map

kernel_size：5#卷積核大小為5*5

stride：1#卷積步長(zhǎng)為1

type：“xavier”

bias_filler#偏置值的初始化方式

type：“constant”#

池化層參數(shù)：

pool：MAX

kernel_size：2#池化區(qū)域的大小

stride：2#移動(dòng)步長(zhǎng)

2.5基于Caffe平臺(tái)搭建網(wǎng)絡(luò)

使用Caffe平臺(tái)在Linux操作系統(tǒng)中搭建，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。Caffe是一個(gè)深度學(xué)習(xí)框架，包含了許多人工神經(jīng)網(wǎng)絡(luò)搭建和訓(xùn)練過(guò)程中的需要的功能[16]。Caffe平臺(tái)的網(wǎng)絡(luò)實(shí)現(xiàn)是使用純文本模式定義模型和優(yōu)化過(guò)程。提供了海量的數(shù)據(jù)和先進(jìn)的模型。并使用了模塊化思維，開(kāi)放源代碼使得許多經(jīng)典模型可以參考和實(shí)現(xiàn)。linux操作系統(tǒng)采用的ubuntu14.04版本。

第一步：實(shí)驗(yàn)開(kāi)始之前需要將測(cè)試集和訓(xùn)練集樣本分別用caffe提供的工具包Blob分別生成以后綴名為.lmdb格式數(shù)據(jù)庫(kù)文件，目的是減少計(jì)算機(jī)在讀取文件時(shí)對(duì)于內(nèi)存訪問(wèn)次數(shù)。

第二步：根據(jù)2.1中設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)編寫(xiě)網(wǎng)絡(luò)文件并設(shè)定網(wǎng)絡(luò)參數(shù)。網(wǎng)絡(luò)共有5層（不包含輸入層）層數(shù)較少無(wú)需使用python語(yǔ)言，使用protocol buffer 語(yǔ)言定義網(wǎng)絡(luò)即可。

第三步：編寫(xiě)solver文件設(shè)定訓(xùn)練過(guò)程中具體參數(shù)。solver 文件中需要設(shè)定的參數(shù)包含：網(wǎng)絡(luò)模型路徑、最大迭代次數(shù)、學(xué)習(xí)率、使用CPU或GPU進(jìn)行計(jì)算選項(xiàng)等其他一些參數(shù)。

第四步：訓(xùn)練網(wǎng)絡(luò)模型，網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后的結(jié)構(gòu)模型會(huì)被存放在.caffemodel文件中。訓(xùn)練過(guò)程中優(yōu)化損失函數(shù)，使用反向傳播算法，簡(jiǎn)稱BP算法[17-19]。通過(guò)計(jì)算損失函數(shù)與網(wǎng)絡(luò)中權(quán)值的偏導(dǎo)數(shù)，運(yùn)用了高等數(shù)學(xué)中的鏈?zhǔn)角髮?dǎo)法則，逐層反向求導(dǎo)。不斷計(jì)算調(diào)整網(wǎng)絡(luò)中各層權(quán)值得到網(wǎng)絡(luò)損失最小值并輸出。具體使用的公式為：

2.6訓(xùn)練結(jié)果

最終，在4核CPU和4G運(yùn)行內(nèi)存的虛擬機(jī)中使用CPU執(zhí)行計(jì)算，在多次訓(xùn)練后，識(shí)別率平均在94%以上。以下是選取的識(shí)別率最高的一組結(jié)果。實(shí)驗(yàn)經(jīng)過(guò)32min46s的訓(xùn)練，完成了10000次迭代任務(wù)，得到測(cè)試集圖像識(shí)別率為98.25%（圖5）。

3結(jié)論

卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)不同卷積核與圖像進(jìn)行計(jì)算產(chǎn)生對(duì)應(yīng)特征圖譜。相比于人工定義樹(shù)葉葉脈紋理特征并提取更方便快捷。訓(xùn)練過(guò)程采用了有導(dǎo)師訓(xùn)練模型，并使用測(cè)試集圖像進(jìn)行準(zhǔn)確率測(cè)試，因而產(chǎn)生的網(wǎng)絡(luò)模型可靠性高。網(wǎng)絡(luò)訓(xùn)練后的識(shí)別率達(dá)到了95%以上，超過(guò)了人眼識(shí)別率可以應(yīng)用于工程使用。訓(xùn)練產(chǎn)生的網(wǎng)絡(luò)模型提供了不同語(yǔ)言接口，可以方便的使用python和C++語(yǔ)言進(jìn)行網(wǎng)絡(luò)的調(diào)用。加入其它種類的樹(shù)葉圖像訓(xùn)練網(wǎng)絡(luò)可以識(shí)別更多的樹(shù)種，為基于樹(shù)葉圖像進(jìn)行樹(shù)種分類提供了可靠性強(qiáng)、識(shí)別率高、方便使用的網(wǎng)絡(luò)模型。本實(shí)驗(yàn)不足之處在于實(shí)驗(yàn)使用的樹(shù)葉樹(shù)種較少。由于國(guó)內(nèi)并未有針對(duì)于圖像識(shí)別使用的樹(shù)葉圖像數(shù)據(jù)庫(kù)，多次尋找關(guān)于樹(shù)葉圖像數(shù)據(jù)庫(kù)無(wú)果，為此研究團(tuán)隊(duì)計(jì)劃在接下來(lái)的工作中建立一套公開(kāi)免費(fèi)的北方樹(shù)葉樹(shù)種圖像數(shù)據(jù)庫(kù)，以便其他研究同仁使用。

【參考文獻(xiàn)】

[1]李可心，戚大偉，牟洪波，等.基于灰度共生矩陣與SOM神經(jīng)網(wǎng)絡(luò)的樹(shù)皮紋理特征識(shí)別[J].森林工程，2017，33（3）：24-27.

[2]白雪冰，王克奇，王輝.基于灰度共生矩陣的木材紋理分類方法的研究[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2005，37（12）：1667-1670.

[3]黃普華.編研《中國(guó)植物志》的回顧與體會(huì)[J].植物科學(xué)學(xué)報(bào)，2017，35（3）：465-468.

[4]陳寅.植物葉形狀與葉脈結(jié)構(gòu)的自動(dòng)分類研究[D].杭州：浙江理工大學(xué)，2013.

[5]姜蘭池，沈國(guó)強(qiáng)，張國(guó)煊.基于HSV分塊顏色直方圖的圖像檢索算法[J].機(jī)電工程，2009，26（11）：54-57.

[6]許振雷，楊瑞，王鑫春，等.基于卷積神經(jīng)網(wǎng)絡(luò)的樹(shù)葉識(shí)別的算法的研究[J].電腦知識(shí)與技術(shù)，2016，12（10）：194-196.

[7]盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理，2016，31（1）：1-17.

[8]劉欣.基于卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)機(jī)手寫(xiě)漢字識(shí)別系統(tǒng)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2015.

[9]汪濟(jì)民.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)和性別識(shí)別研究[D].南京：南京理工大學(xué)，2015.

[10]劉建偉，劉媛，羅雄麟.深度學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2014，31（7）：1921-1930.

[11]吳正文.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用研究[D].成都：電子科技大學(xué)，2015.

[12]陳雪嬌.基于OpenCV的計(jì)算機(jī)視覺(jué)技術(shù)研究[J].電腦知識(shí)與技術(shù)：學(xué)術(shù)交流，2015，11（30）：137-138.

[13]呂國(guó)豪，羅四維，黃雅平，等.基于卷積神經(jīng)網(wǎng)絡(luò)的正則化方法[J].計(jì)算機(jī)研究與發(fā)展，2014，51（9）：1891-1900.

[14]吳裔慧.基于卷積神經(jīng)網(wǎng)絡(luò)的場(chǎng)景理解方法研究[D].北京：清華大學(xué)，2015.

[15]張晴晴，劉勇，潘接林，等.基于卷積神經(jīng)網(wǎng)絡(luò)的連續(xù)語(yǔ)音識(shí)別[J].北京科技大學(xué)學(xué)報(bào)，2015，37（9）：1212-1217.

[16]魏正.基于Caffe平臺(tái)深度學(xué)習(xí)的人臉識(shí)別研究與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2015.

[17]牟洪波，戚大偉.基于BP和RBF神經(jīng)網(wǎng)絡(luò)的木材缺陷檢測(cè)研究[M].哈爾濱：哈爾濱出版社，2011.

[18]楊建華，姚建平，范磊，等.單板表面裂縫圖像處理方法研究[J].林業(yè)機(jī)械與木工設(shè)備，2017，45（4）：29-31.

[19]姚建平，肖江，閆磊，等.基于3D結(jié)構(gòu)激光的木材表面缺陷檢測(cè)的研究[J].林業(yè)機(jī)械與木工設(shè)備，2017，45（3）：20-25.