曹靖康，段江永，孟 娟

0 引 言

空間植物實(shí)驗(yàn)對于揭示植物在太空環(huán)境中的生長規(guī)律，以及建立人類在太空中生存所需的生命支持系統(tǒng)具有重要意義[1]。這些實(shí)驗(yàn)獲取的數(shù)據(jù)通常是植物生長圖像[2]。然而由于空間植物的特殊性，處理方法通常是人工觀察分析，這樣就造成了耗時、主觀性強(qiáng)、人眼誤差等問題。因此，植物圖像信息的自動提取是一個亟待解決的問題，其中植物圖像的精細(xì)分割是信息提取的基礎(chǔ)。

許多傳統(tǒng)的植物分割算法采用淺層特征來分割圖像[3]，如圖像灰度特征(Haar)、顏色特征(直方圖)、紋理特征(LBP)、梯度特征(SIFT)等。Kataoka等人[4]基于對大豆和甜菜的研究，采用植被提取顏色指數(shù)(CIVE)來分離綠色植物和土壤背景，該指數(shù)通過對R、G、B通道賦予不同權(quán)值，并增加一個常數(shù)偏差來獲得，在室外環(huán)境下的自然影像中，該指數(shù)顯示出良好的適應(yīng)性，但對于陰影適應(yīng)性較差。Hemming等人[5]、Aitkenhead等人[6]和Tellaeche等人[7]采用灰度直方圖的熵來區(qū)分植物和土壤，這是一種固定閾值法，主要針對受控照明條件下植物的自然影像。

機(jī)器學(xué)習(xí)方法也被用于提取有效特征[8]。對于無監(jiān)督學(xué)習(xí)，Meyer等人[9]采用強(qiáng)化模糊聚類方法從超綠指數(shù)和超紅指數(shù)中提取感興趣的區(qū)域，指數(shù)和集群在增強(qiáng)處理后，將感興趣的區(qū)域按照模糊程度進(jìn)行排序，重新組合標(biāo)記，模糊程度低的連續(xù)區(qū)域則為植物群，該方法針對的是向日葵、紅根藜、大豆等植物。對于監(jiān)督學(xué)習(xí)，Zheng等人[10]提出了一種后向傳播神經(jīng)網(wǎng)絡(luò)的監(jiān)督均值平移算法，在算法中使用RGB和HSI顏色空間作為特征進(jìn)行訓(xùn)練。該方法在不同照明的自然影像中表現(xiàn)出良好的分割性能，但對陰影覆蓋的綠色區(qū)域表現(xiàn)出低分割率。Yu等人[11]采用了被稱為AP-HI的算法，將色調(diào)強(qiáng)度查找表和親和傳播聚類算法結(jié)合起來，對大規(guī)模分布的植物進(jìn)行分割。

上述方法主要應(yīng)用于遙感圖像以及田地自然影像的大規(guī)模植物分類，研究重點(diǎn)在于植物群的分類，或者應(yīng)用于背景簡單的植物分割。本文的目標(biāo)是實(shí)現(xiàn)復(fù)雜背景下的多株植物的像素級精細(xì)分割。針對該任務(wù)，目前的方法可以實(shí)現(xiàn)粗糙的分割，但分割的準(zhǔn)確性和對復(fù)雜背景的魯棒性不太好。

本文提出一種基于多尺度深度特征融合的空間植物分割算法。一方面，采用卷積神經(jīng)網(wǎng)絡(luò)提取由淺到深的多尺度特征。另一反面，采用跳躍式的方式融合深層、中層和淺層特征。利用該神經(jīng)網(wǎng)絡(luò)，可以提高植物在各種光照條件和其他干擾因素下的分割精度。

1 方 法

在空間植物實(shí)驗(yàn)中，由于復(fù)雜的背景和光照條件，難以實(shí)現(xiàn)理想的分割效果。因此，本文提出一種基于多尺度特征融合的全卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)是基于全卷積神經(jīng)網(wǎng)絡(luò)[12-13]的思想構(gòu)成的，首先構(gòu)建多個卷積層，然后，將深層特征上采樣后與淺層特征融合，用以獲取高級別的語義信息和低級別的幾何信息。最后通過上采樣實(shí)現(xiàn)空間輸出，以達(dá)到像素級別分割的目的。

1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，它由2部分組成，一部分是提取多尺度特征的卷積層，另一部分是不同尺度特征的融合層?；赩GG[14]，將不同尺度的特征融合后的特征向量替代全連接層來實(shí)現(xiàn)對網(wǎng)絡(luò)的改進(jìn)，VGG通常使用卷積的深層特征對整幅圖像進(jìn)行分類，而本文的網(wǎng)絡(luò)結(jié)合了多尺度特征來進(jìn)行像素級別的分割。

如圖1所示，從Conv1層到Conv6層是卷積部分，每部分包含3～4個卷積。這些卷積從圖像中提取分層特征，卷積核的大小為3×3。卷積由淺到深，提取的語義信息逐漸變多，然而空間幾何信息越少。在每個卷積層后部署ReLu層，對卷積層的輸出執(zhí)行非飽和非線性激活。與通常的pooling層不同，本文采用步長為2的卷積來減小特征圖的尺寸，這樣雖然增加了網(wǎng)絡(luò)參數(shù)，但是能夠減少幾何信息的丟失。最后，部署批量歸一化層，將輸出轉(zhuǎn)換為標(biāo)準(zhǔn)正態(tài)分布以加速網(wǎng)絡(luò)的學(xué)習(xí)。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

特征的融合是通過對深層特征上采樣并與淺層特征連接來實(shí)現(xiàn)的。如圖1所示，對Conv6(3)層即Conv6的第三個子層，采用大小為1的卷積核進(jìn)行卷積，以獲得N通道的特征圖Conv7層，其中N為類別數(shù)，即實(shí)驗(yàn)中的背景和植物。然后對Conv7層進(jìn)行上采樣，獲得即將與Conv8層融合的up1層，其中，Conv8層是通過Conv5層與大小為1的核卷積所得。融合的過程是將Conv8層與up1層沿特征維進(jìn)行堆疊，即融合后的Connect1層的特征數(shù)是Conv8層與up1層特征數(shù)的總和。其他融合過程同理。最終獲得的up5層融合了4個層次的特征，尺寸與輸入圖像相同，分割是通過對每個像素的特征向量計(jì)算類別概率而產(chǎn)生的。

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)主要有2個貢獻(xiàn)。第一個貢獻(xiàn)是采用步長為2的卷積代替pooling。在實(shí)驗(yàn)中，植物葉片是細(xì)長的，對幾何變化敏感，為了實(shí)現(xiàn)精細(xì)分割，必須保持圖像信息的完整性。pooling層會對小的偏移和失真產(chǎn)生不變性[15]，導(dǎo)致幾何信息的丟失，所以采用步長為2的卷積。

第二個貢獻(xiàn)是多尺度特征的融合，如圖2所示，由于植物葉子纖細(xì)的特征，采用深層特征(Conv7)只能獲取基本的輪廓，缺少細(xì)節(jié)信息。融合了Conv7、Conv8、Conv9、Conv10這4層特征之后，大部分細(xì)節(jié)信息得到了恢復(fù)。

(a)輸入圖像(b)Conv7分割結(jié)果

1.2 參數(shù)優(yōu)化

該網(wǎng)絡(luò)的參數(shù)優(yōu)化分為2步。第一步通過訓(xùn)練普通的VGG網(wǎng)絡(luò)獲得卷積部分參數(shù)。第二步是用VGG學(xué)到的參數(shù)作為該網(wǎng)絡(luò)學(xué)習(xí)的初始值。這樣優(yōu)化可以加速網(wǎng)絡(luò)的學(xué)習(xí)，否則，由于相鄰層的共適應(yīng)神經(jīng)元會產(chǎn)生分裂[16]，直接訓(xùn)練網(wǎng)絡(luò)將會變得非常困難。

在第一個學(xué)習(xí)階段中，VGG網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。它由卷積層和全連接層組成，最后輸出的是分類概率。VGG的輸入圖像尺寸是16×16，輸出的是分類結(jié)果。訓(xùn)練采用的優(yōu)化器是批量隨機(jī)梯度下降法，為了穩(wěn)定更新過程，本文引入了動量項(xiàng)[17]，公式如下：

其中，x為參數(shù)，t為迭代的次數(shù)，ρ為動量項(xiàng)，設(shè)置為0.99，η為學(xué)習(xí)率，設(shè)置為0.00004，gt為x在t時刻的梯度。訓(xùn)練時每個批次的樣本數(shù)為100。

圖3 VGG

第二個學(xué)習(xí)階段中，該網(wǎng)絡(luò)的Conv1～Conv7層采用VGG的Conv1～Conv7層參數(shù)進(jìn)行初始化，同時其他參數(shù)隨機(jī)初始化。給定初始參數(shù)，仍然采用批量隨機(jī)梯度下降法進(jìn)行優(yōu)化，其中動量和學(xué)習(xí)率分別設(shè)置為0.9和1e-8。通過學(xué)習(xí)獲取的模型可用于植物圖像分割。

2 實(shí)驗(yàn)與分析

在實(shí)驗(yàn)中，通過對大量植物圖像分割來評估本文提出的方法。測試的空間植物圖像如圖4所示，通過CCD相機(jī)以一定的時間間隔從航天器的植物培養(yǎng)實(shí)驗(yàn)中獲取。這些圖像揭示了植物從萌芽到枯萎的整個生長過程。

圖4 空間植物圖像序列

在這些圖像中，植物和背景的顏色受到了空間實(shí)驗(yàn)中人造光源的嚴(yán)重干擾，如圖5所示。例如，標(biāo)記1是標(biāo)記2在玻璃上的映像，但是兩者在形態(tài)和顏色上近乎相同。標(biāo)記2和標(biāo)記3分別是植物和非植物，但是在強(qiáng)光的干擾下，顏色幾乎相同。標(biāo)記4是植物在玻璃上的映像，它未被光源直接照射，更接近真實(shí)的植物顏色，但在本實(shí)驗(yàn)中屬于背景。這些都使得精細(xì)分割變得困難。

圖5 空間植物圖像分割的復(fù)雜場景

圖6 植物分割，第一行為輸入圖像，第二行為分割結(jié)果，第三行為標(biāo)注圖像

實(shí)驗(yàn)的分割結(jié)果如圖6所示，與實(shí)際情況相比，植物的主要部分和葉子都被檢測到，背景幾乎被完全去除。

分割的細(xì)節(jié)如圖7所示。第一行是玻璃反射干擾情況下的分割，該模型能夠?qū)⒅参锉旧砼c玻璃上的植物區(qū)分開。第二行是強(qiáng)光干擾下的分割結(jié)果。被強(qiáng)光照射的葉子與部分背景顏色相同，該模型仍然展示了良好的分割效果。第三行展示了模型區(qū)分細(xì)節(jié)的能力，一些細(xì)長的葉子和葉子間交叉的小孔可以被分割出來。為了評估該算法的像素級分割性能，采用像素精度作為評估指標(biāo)，公式如下：

Pixel accuracy=∑pnpp/∑p∑qnpq

其中，npq為類別q預(yù)測成為類別p的像素個數(shù)，∑qnpq為所有類別q的像素總數(shù)。圖6中10張圖像的像素精度結(jié)果如表1所示，分割的平均精度達(dá)到了94.89%，可以看出該算法獲得了較高的分割精度，該精度可以滿足后續(xù)分析的要求。

圖7 植物分割細(xì)節(jié)(a)輸入圖像(b)分割結(jié)果(c)標(biāo)注圖像

表1 植物分割的像素精度

通過定量和定性分析，本文提出的方法可以準(zhǔn)確地分割空間植物圖像，基于分割結(jié)果，可以對潛在的應(yīng)用完成自動分析來代替人工分析。

3 結(jié)束語

本文提出了一種基于多尺度特征融合的空間植物圖像分割算法，該算法以卷積神經(jīng)網(wǎng)絡(luò)獲取多尺度特征，用卷積層替代網(wǎng)絡(luò)后端全連接層，以達(dá)到空間輸出的目的。通過結(jié)合不同尺度的特征，該模型能夠很好地排除強(qiáng)光照、玻璃倒影的影響，在實(shí)驗(yàn)中得到了較好的效果，可用于后期植物圖像的進(jìn)一步分析。