樊 帥,王 鑫,閻 鎮(zhèn)

1(中國科學(xué)院 空間應(yīng)用工程與技術(shù)中心 中國科學(xué)院太空應(yīng)用重點(diǎn)實(shí)驗(yàn)室，北京100094)

2(中國科學(xué)院大學(xué),北京 100049)

隨著人類空間活動越來越頻繁,人類在太空中的活動時間也越來越長.因此,在空間環(huán)境下研究植物生長規(guī)律,建立人類空間生存的生態(tài)支持系統(tǒng)以解決人類在太空長期生存的自給自足或部分自給自足問題具有重要的意義[1].在空間植物培養(yǎng)實(shí)驗(yàn)中,培養(yǎng)箱為植物提供生長所需的環(huán)境條件,同時通過相機(jī)拍攝空間植物生長的圖像,然后人為觀測空間植物的生長過程,分析植物生長狀態(tài)[2,3].但是,隨著更多空間實(shí)驗(yàn)的進(jìn)行,圖像數(shù)據(jù)量增長,使得人工判讀效率低、誤差較大.因此,基于計算機(jī)視覺技術(shù)的空間植物自動識別成為當(dāng)前研究的熱點(diǎn)[4].

早先圖像識別的方法利用淺層特征對圖像進(jìn)行識別,淺層特征有圖像灰度特征、顏色特征、紋理特征、梯度特征等[5].淺層特征提取的方法主要包括主成分分析方法[6]、流行學(xué)習(xí)方法[7]、基于核的方法、基于字典的方法等[8].然而,這些方法只能提取淺層特征,難以從復(fù)雜圖像場景中學(xué)習(xí)出穩(wěn)定性好且不變性好的深層特征.

深度學(xué)習(xí)方法[9]的提出以及在圖像領(lǐng)域的廣泛應(yīng)用,使得圖像識別的精度顯著提高,并逐漸成為主流圖像識別方法[10].卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是近年來興起的一種人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)理論相結(jié)合的模式識別方法,目前已經(jīng)成為圖像領(lǐng)域中的研究熱點(diǎn)之一[11–13].但是,空間植物圖像干擾因素多且數(shù)據(jù)量大,而卷積神經(jīng)網(wǎng)絡(luò)方法在進(jìn)行圖像識別時,耗用時間長且精度不高.全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks,FCN)方法是基于CNN的改進(jìn)模型,能夠?qū)崿F(xiàn)多類別的同時分類和密集的語義分割,分類精度很高而且速度快[14].

因此,本文所提出的基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識別的方法能夠很好的解決上述存在淺層圖像識別方法難以提取空間植物圖像分層特征,以及深層卷積神經(jīng)網(wǎng)絡(luò)方法識別時間較長、精度不高的問題,取得了較好的識別效果.此外,本文將以某航天器上的空間植物擬南芥圖像為例對提出的方法進(jìn)行驗(yàn)證.

1 本文方法

本文所提出的基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識別方法,主要包括以下三個步驟: 1)構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu); 2)學(xué)習(xí)全卷積神經(jīng)網(wǎng)絡(luò)參數(shù); 3)基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識別.

1.1 構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示,是本文所構(gòu)建的全卷積神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)圖.為了有效表示空間植物圖像,除了輸入層外,本文選擇卷積層來提取空間植物圖像的多層特征,引入歸一化層對數(shù)據(jù)進(jìn)行規(guī)范化處理,增加上采樣層實(shí)現(xiàn)像素級識別分類結(jié)果輸出.基于上述層類型,排布輸入層、多個卷積層、Relu激活函數(shù)、歸一化層和上采樣層,以構(gòu)成全卷積神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu).

圖1 全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖1所示的網(wǎng)絡(luò)結(jié)構(gòu)中,conv1到conv6都是卷積部分,conv1到conv5包含卷積層的個數(shù)都是4個,conv6包含2個卷積層.conv1到conv6中的卷積部分選擇卷積核為3×3的卷積層來提取空間植物圖像的多層特征.與一般的網(wǎng)絡(luò)結(jié)構(gòu)不同的是,本文并沒有使用pooling(池化層)進(jìn)行降維,而是在每一個卷積部分的最后一個卷積層采用步長為2進(jìn)行降維,這樣做可以減少位置信息的損失.conv1到conv6每一個卷積部分都采用歸一化層使得輸出轉(zhuǎn)化為一個標(biāo)準(zhǔn)正態(tài)分布從而加速網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí).

采用卷積核為1×1的卷積層conv7、conv8、conv9,分別將conv6、conv4、conv3卷積部分的輸出轉(zhuǎn)化為N通道的特征圖像,N表示最終輸出的類別數(shù)目,本文中類別數(shù)是5,分別是綠葉片、綠長莖、綠長莖葉、枯葉片和背景.采用上采樣層up1將conv7進(jìn)行上采樣,同時采用剪裁層crop1將conv8的輸出剪裁成與up1輸出尺寸大小相同,再采用相加層sum1相加.對conv9、crop2、up2進(jìn)行相同操作.卷積層conv7的輸出包含了空間植物圖像的深層特征,而卷積層conv8、conv9的輸出包含了空間植物圖像的淺層特征.

因此,本文的所構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)能使網(wǎng)絡(luò)具備提取由淺層至深層的特征,同時融合深層、淺層多尺度的特征,實(shí)現(xiàn)空間植物圖像場景的有效準(zhǔn)確表示,為實(shí)現(xiàn)空間植物的準(zhǔn)確識別奠定基礎(chǔ).

1.2 學(xué)習(xí)全卷積神經(jīng)網(wǎng)絡(luò)參數(shù)

參數(shù)學(xué)習(xí)包含兩個步驟: 1)訓(xùn)練一個初始網(wǎng)絡(luò);2)在初始網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行fine-tune.參數(shù)學(xué)習(xí)的第一步是訓(xùn)練卷積層conv1到conv7的參數(shù),從而得到一個初始網(wǎng)絡(luò).為了訓(xùn)練卷積層conv1到conv7的參數(shù),本文先構(gòu)建了一個VGGNet,如圖2所示.

圖2 VGGNet

在VGGNet中conv1到conv7網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)置與全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的設(shè)置相同.在VGGNet訓(xùn)練之前,先將所得到的訓(xùn)練圖像剪裁成為圖像尺寸為12×12大小的圖像塊,如圖3所示.

圖3 VGG部分訓(xùn)練樣本

基于如圖3所示的訓(xùn)練集,本文利用帶有動量的隨機(jī)梯度下降(SGD)方法學(xué)習(xí)網(wǎng)絡(luò)中權(quán)值參數(shù).在訓(xùn)練網(wǎng)絡(luò)之前,設(shè)置動量系數(shù)為0.99,權(quán)值衰退系數(shù)即懲罰因子被設(shè)置為0.0005.學(xué)習(xí)率被初始化為0.000 06,當(dāng)驗(yàn)證數(shù)據(jù)集的分類精度停止上升時以10為因子遞減學(xué)習(xí)率.通過VGG網(wǎng)絡(luò)訓(xùn)練得到卷積層conv1到conv7的參數(shù),從而得到一個初始的網(wǎng)絡(luò)模型.

參數(shù)學(xué)習(xí)的第二個步驟就是對初始網(wǎng)絡(luò)進(jìn)行finetune.與VGG網(wǎng)絡(luò)訓(xùn)練不同的是全卷積神經(jīng)網(wǎng)絡(luò)FCN的方法能夠接受任意尺寸大小的圖像,不需要對原始圖像進(jìn)行切塊.因此,在建立數(shù)據(jù)集時,選擇不同生長周期的空間植物圖像進(jìn)行標(biāo)注.如圖4所示的是FCN的訓(xùn)練樣本,對圖像中所需要識別的類別進(jìn)行標(biāo)注.

圖4 FCN訓(xùn)練樣本

基于所得到的初始網(wǎng)絡(luò)和訓(xùn)練集對網(wǎng)絡(luò)進(jìn)行finetune.與VGG網(wǎng)絡(luò)訓(xùn)練相同,FCN訓(xùn)練利用SGD方法進(jìn)行參數(shù)學(xué)習(xí).在參數(shù)學(xué)習(xí)之前設(shè)置一個固定的學(xué)習(xí)率10–10,動量系數(shù)為0.99,權(quán)值衰退系數(shù)為0.0005.當(dāng)fine-tune完成之后就可以得到一個有效的網(wǎng)絡(luò)模型.

1.3 基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識別

利用上述所得到的網(wǎng)絡(luò)模型對空間植物圖像進(jìn)行有效的識別.選擇不同生長周期的空間植物圖像輸入網(wǎng)絡(luò)模型中,經(jīng)過一次前向計算產(chǎn)生密集的識別結(jié)果,從而實(shí)現(xiàn)了空間植物圖像的快速識別.

2 實(shí)驗(yàn)結(jié)果

利用訓(xùn)練樣本進(jìn)行模型訓(xùn)練之后,利用測試樣本對模型進(jìn)行驗(yàn)證.選擇部分不同生長周期的測試樣本進(jìn)行測試,識別結(jié)果如圖5所示,a、b、c是擬南芥的幼苗期,d、e、f是團(tuán)簇期,g、h、i是長莖期.如圖6所示,分別是強(qiáng)光干擾、鏡像干擾、水霧干擾條件下的空間植物局部識別圖像.如圖7所示的是本文方法與VGG方法的對比結(jié)果圖.其中,GroundTruth中的不同顏色區(qū)域代表空間植物不同類別的真實(shí)區(qū)域.

圖5 不同生長周期識別結(jié)果

同時,本文對識別的pixel accuracy(像素精度)和mean accuracy(平均精度)以及識別一張圖像的時間Rtime進(jìn)行測試.像素精度是指正確識別的像素占總像素的比例; 平均精度是指計算每個類別被正確分類像素的比例,之后求所有類的平均值.兩者的計算公式如下:

選擇500張不同生長周期的擬南芥圖像利用本文方法和VGG方法進(jìn)行測試,所得到的圖像的像素精度、平均精度和識別時間如表1所示.

此外,從表1可以看出,本文所構(gòu)建的基于全卷積神經(jīng)網(wǎng)絡(luò)的方法所識別出的圖像的像素精度和平均精度值都要比VGG方法的高.本文方法的像素精度高達(dá)到96.58%,而VGG的方法為78.42%; 本文方法的平均精度值為85.63%,而VGG的方法為60.73%.同時VGG方法平均識別時間長達(dá)668.253 s,而本文方法平均識別時間僅僅為0.156 s,兩者的識別速度相差非常大,本文方法識別速度非常快,因此可以處理大量的數(shù)據(jù).由此可以看出,本文方法能夠準(zhǔn)確、快速的實(shí)現(xiàn)空間植物圖像的識別.

圖6 干擾條件下的局部識別結(jié)果

圖7 實(shí)驗(yàn)對比結(jié)果

表1 像素精度、平均精度和識別時間

3 實(shí)驗(yàn)結(jié)果分析

圖5展示了擬南芥在不同生長周期的識別效果,在a、b、c中,此階段擬南芥處于幼苗期,只有綠葉片,識別難度較小; d、e、f中,此時,擬南芥處于團(tuán)簇期,有綠葉片和枯葉片,同時由于鏡像的影響,在培養(yǎng)箱壁上也出現(xiàn)了擬南芥的影像,識別難度增加; g、h、i中,擬南芥處于長莖期,有綠葉片、綠長莖、綠長莖葉、枯葉片,其干擾因素主要是強(qiáng)光以及鏡像影響,同時i中還有水霧的影響,此時識別種類多、干擾因素多,識別難度很大.在圖5中,對照Ground Truth,從最終的識別結(jié)果可以看出,本文所提出的方法對于不同生長周期的空間植物的各個類別都能準(zhǔn)確的識別出來.在圖6中,紅色標(biāo)記出來的分別是圖像中的強(qiáng)光、鏡像、水霧干擾的區(qū)域.對照Ground Truth可以看出,對于培養(yǎng)箱中的干擾因素,強(qiáng)光、鏡像、水霧干擾因素,本文所提出的方法能夠很好的排除這些干擾因素,實(shí)現(xiàn)空間植物的準(zhǔn)確識別.圖7展示的是在強(qiáng)光、鏡像干擾因素下本文方法和VGG方法的識別結(jié)果,對照Ground Truth可以看出,本文方法能夠不受這些干擾因素的影響,將空間植物準(zhǔn)確識別出來,而VGG的方法雖然能夠?qū)⒅参镒R別出來但是受鏡像干擾因素的影響將培養(yǎng)箱玻璃壁上的植物鏡像誤識別為空間植物.而且在強(qiáng)光干擾條件下VGG的方法雖然能夠?qū)⒅参锘咀R別出來,但是也存在誤識別的問題.

4 結(jié)論與展望

本文提出的一種基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識別的方法,很好的解決了目前淺層圖像分割方法難以提取空間植物圖像分層特征以及深層卷積神經(jīng)網(wǎng)絡(luò)方法識別時間較長的問題.通過對實(shí)驗(yàn)結(jié)果的分析,可以看出本文提出的基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識別的方法,能夠?qū)臻g植物圖像實(shí)現(xiàn)高精度、快速的識別.此外,結(jié)合圖像的語義解譯技術(shù),基于計算機(jī)視覺技術(shù)的空間植物圖像自動識別及語義解譯也將會是一個有價值的研究方向.