熊俊濤，卜榕彬，郭文韜，陳淑綿，楊振剛

?

自然光照條件下采摘機(jī)器人果實識別的表面陰影去除方法

熊俊濤，卜榕彬，郭文韜，陳淑綿，楊振剛※

（華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院，廣州 510642）

有效的陰影檢測和去除算法會大大提高自然環(huán)境下果實識別算法的性能，為農(nóng)業(yè)智能化提供技術(shù)支持。該研究采用超像素分割的方法，將一張圖像分割成多個小區(qū)域，在對圖像進(jìn)行超像素分割的基礎(chǔ)上，對自然光照下的果園圖像陰影區(qū)域與非陰影區(qū)域進(jìn)行對比分析，探索8個自定義特征用于陰影檢測。然后采用SVM的方法，結(jié)合8個自主探索的自定義特征，對圖像中每個超像素分割的小區(qū)域進(jìn)行檢測，判斷每個小區(qū)域是否處于陰影中，再使用交叉驗證方法進(jìn)行參數(shù)優(yōu)化。根據(jù)Finlayson的二維積分算法策略，對檢測的每一個陰影區(qū)域進(jìn)行陰影去除，獲得去除陰影后的自然光照圖像。最后進(jìn)行陰影檢測的識別準(zhǔn)確性試驗，試驗結(jié)果表明，本研究的陰影檢測算法的平均識別準(zhǔn)確率為83.16%，經(jīng)過陰影去除后，圖像的陰影區(qū)域亮度得到了提高，并且整幅圖像的亮度更為均勻。該研究可為自然環(huán)境下機(jī)器人識別果實及其他工農(nóng)業(yè)應(yīng)用場景提供技術(shù)支持。

機(jī)器人；圖像處理；目標(biāo)識別；陰影去除

0 引 言

陰影是自然界中普遍存在的物理現(xiàn)象，當(dāng)物體部分或完全遮擋來自光源的直射光線時就會產(chǎn)生陰影。在自然環(huán)境中存在著復(fù)雜的光照，光線會受到樹枝、樹葉、果實等的遮擋，導(dǎo)致在水果的表面生成陰影，而陰影的存在使識別的目標(biāo)水果區(qū)域與實際有偏差[1]，因此檢測并去除陰影，在采摘機(jī)器人的應(yīng)用中有其重要的意義。

去除陰影涉及2個基本階段：（1）前景物體識別和陰影區(qū)域檢測；（2）去除圖像中的陰影。單張靜態(tài)圖像的陰影去除方法可以分為2類：在梯度域中操作的方法和在圖像強(qiáng)度域中操作的方法。Finlayson等提出在梯度域進(jìn)行陰影去除操作的建議[2-7]。Finlayson等首先提出如下一些假設(shè)：（1）圖像的形成過程屬于朗伯模型（如果一個表面呈現(xiàn)朗伯反射，那么落在其上的光被散射，使得表面對于觀察者而言的亮度是相同的；（2）普朗克光源照明場景（普朗克光是黑體的輻射，其顏色取決于黑體的溫度）；（3）攝像機(jī)具有窄帶傳感器。Finlayson等將原始圖像和一維光源不變圖像應(yīng)用于邊緣檢測，通過求解泊松方程來檢測陰影邊緣并重新整合圖像以獲得三維無陰影圖像。Weiss[8]提出了一種從圖像序列中恢復(fù)本征圖像的方法，其中光照變化但反射率恒定。 Matsushita等[9]擴(kuò)展了Weiss的方法來處理非Lambertian場景，他們最小化了正則化函數(shù)，該函數(shù)利用偏向的圖像導(dǎo)數(shù)產(chǎn)生較少受陰影影響的反射圖像?；诠庹諢o關(guān)圖的研究還有，劉艷麗等[10]基于C1C2C3顏色空間，他們發(fā)現(xiàn)在C3通道下陰影區(qū)域與非陰影區(qū)域有較大差異，由此確定滿足閾值條件的像素點為陰影種子點，再結(jié)合馬爾科夫隨機(jī)場和信任傳導(dǎo)算法，擴(kuò)展陰影區(qū)域，最終檢測得到完整的陰影區(qū)域。Qu等[11]提出了一種基于正交投影的彩色本征圖像分解方法，能夠?qū)畏鶊D像分解為本征圖像和光照圖像。該方法對圖像整體光照變化及局部陰影問題都能進(jìn)行快速有效的處理，但是恢復(fù)的圖像有失真的情況。這些方法的結(jié)果有不錯的效果。然而實際測試中，發(fā)現(xiàn)這些方法在自然光照的環(huán)境中是不適宜的。其他的從單張靜態(tài)圖像去除陰影的方法還有基于強(qiáng)度域的方法等[12-17]。Wu等[18]認(rèn)為在朗伯假設(shè)下，陰影圖像是無陰影圖像經(jīng)過一個參數(shù)衰弱后所得到的圖像，因此能夠通過預(yù)先使用人工標(biāo)記的方式標(biāo)記大致的陰影區(qū)域，再經(jīng)由Bayesian模型對陰影區(qū)域進(jìn)行檢測，Lalonde 等[19]認(rèn)為室外場景中地面的材料類型是可窮盡的，通常包括混凝土、瀝青、草地、泥土、石頭與磚塊等，因此可通過標(biāo)注路面上的陰影區(qū)域與非陰影區(qū)域，再使用條件隨機(jī)場的方法檢測陰影區(qū)域。Han等[20]提出的陰影去除方法需要先手工對陰影區(qū)域進(jìn)行初步描畫，再對描畫的區(qū)域去除陰影，該方法在去除陰影后仍能較好保持物體的紋理，但是需要人工初步描畫陰影區(qū)域，對于復(fù)雜光照以及復(fù)雜紋理物體的恢復(fù)效果較差。上述研究方法中陰影去除效果不錯，但是需要預(yù)先使用人工標(biāo)記的方式標(biāo)記大致的陰影區(qū)域，因此該方法并不適用于自然光照下機(jī)器人識別果實的陰影檢測。

本研究以自然光照下在果園采集的水果圖像為對象，經(jīng)過圖像觀察，自然環(huán)境中果樹的各種狀態(tài)是已知的，即圖像中只包含樹枝、樹葉、果實、地面、天空、有無陰影等情況，情況是可窮盡的，因此可使用機(jī)器學(xué)習(xí)的方式進(jìn)行訓(xùn)練并有效分類。但是僅僅使用單一像素值作為特征判斷陰影，則顏色較暗的物體表面可能會被誤判為陰影，根據(jù)對圖像的觀察，當(dāng)陰影被投射在物體表面時會形成輪廓，因此可利用投射陰影明顯的輪廓特征將圖像分割成各個區(qū)域后，再利用區(qū)域特征用于識別陰影區(qū)域。因此，本研究使用超像素分割的方法將圖像分割成多個不重疊的小區(qū)域，對每個小區(qū)域進(jìn)行特征分析，探索了8個自定義特征用于SVM識別陰影與非陰影區(qū)域，將識別得到的陰影區(qū)域連接起來形成陰影掩膜，最后采用二維積分方法對陰影區(qū)域進(jìn)行去除陰影操作。以期為自然環(huán)境機(jī)器人視覺的精準(zhǔn)識別與定位提供技術(shù)支持。

1 材料與方法

1.1 圖像的采集

本研究的視覺系統(tǒng)由CCD攝像機(jī)、支架等硬件組成。CCD攝像機(jī)為維視公司生產(chǎn)的MV-E800C型，最大分辨率3312×2496像素。圖像采集方法為：攝像機(jī)距果樹約50～100 cm對成熟的柑橘、龍眼和荔枝進(jìn)行拍攝，光照條件為順光。試驗所用的荔枝圖像拍攝于廣東省農(nóng)業(yè)科學(xué)院荔枝園，拍攝時間為2016年6月25日至7月15日，龍眼圖像拍攝于廣東省增城區(qū)東林果業(yè)園內(nèi)，拍攝時間為2017年7月13日，柑橘圖像拍攝于廣東省增城區(qū)東林果業(yè)園內(nèi)，拍攝時間為2017年12月25日。其中柑橘的品種為“皇帝柑”，荔枝的品種是“糯米糍”，龍眼的品種為“儲良”。

1.2 方法與流程

本文算法運行環(huán)境為Ubuntu 16.04，軟件為Matlab2016b。由于在自然環(huán)境的條件下，經(jīng)過分析發(fā)現(xiàn)，在果實成熟期間內(nèi)果樹的各種狀態(tài)是已知的，即圖像中僅包含樹枝、樹葉、果實、地面、天空，有無陰影等情況，因此能夠通過機(jī)器學(xué)習(xí)的方式進(jìn)行訓(xùn)練并有效分類，問題的關(guān)鍵在于提取有效的特征進(jìn)行分類。

本研究的思路是利用區(qū)域與基于MSRCR變換的突出紋理特征，將圖片分割為各區(qū)域，再將每個區(qū)域的特征提取出來，使用SVM方法進(jìn)行訓(xùn)練和測試，最后使用Finlayson的陰影去除方法去除陰影，流程圖如圖1所示。

圖1 陰影識別與去除流程圖

2 陰影檢測

2.1 圖像小區(qū)域劃分

由于使用單一像素值作為特征判斷陰影，顏色較暗的物體表面可能會被誤判為陰影。根據(jù)陰影的特性，當(dāng)陰影投射在物體表面時會形成陰影，但也存在本身顏色較暗的物體如果梗等。

根據(jù)對自然環(huán)境下試驗圖像的觀察，為了避免顏色較暗的物體的干擾，可利用投射陰影區(qū)域與其他非陰影區(qū)域包括較暗物體之間的亮度與色度差異，對圖像進(jìn)行超像素分割，得到多個小區(qū)域。因此本研究使用Mean shift的方法[22]將圖像分割成多個小區(qū)域。Mean shift 方法首先將圖像轉(zhuǎn)換到有亮度與色度信息的L*u*v顏色空間，將每一個像素點轉(zhuǎn)換成像素點位置坐標(biāo)加三維L*u*v信息的格式，再對每一個轉(zhuǎn)換格式后的點使用均勻分布核函數(shù)迭代計算其均值向量，得到最終的聚點。對每一個轉(zhuǎn)換格式后的點，將迭代計算得到的每個對應(yīng)聚點的L*u*v值賦給該點，完成圖像平滑處理，使用區(qū)域生長算法合并一些類似的小區(qū)域，最后按順序給每個小區(qū)域內(nèi)的像素點賦上序號值，完成圖像的超像素分割與區(qū)域標(biāo)簽。分割效果如圖2所示。

2.2 提取單一小區(qū)域特征

對于每一個區(qū)域，Guo等[21]提出了通過區(qū)域比對的方法來識別陰影區(qū)域。但是在實際應(yīng)用中，兩兩區(qū)域比對將會消耗更多的計算資源，達(dá)不到實時處理的要求。因此，通過變換的方法，突出陰影區(qū)域與非陰影區(qū)域之間的區(qū)別。下面是我們通過實驗所找到的新的特征用于檢測陰影，包括灰度特征，基于MSRCR變換的紋理特征。

區(qū)域灰度均值為

式中為第i個超像素分割區(qū)域的紅色分量的平均值，為第i個超像素分割區(qū)域的綠色分量的平均值，為第i個超像素分割區(qū)域的藍(lán)色分量的平均值。由于陰影區(qū)域的光線被遮擋，陰影區(qū)域普遍的整體灰度值較小，因此該特征能被用于識別與檢測陰影區(qū)域。

歸一化′特征為

基于MSRCR變換的區(qū)域特征M為

該特征計算了紋理特征中的均值。其中，N為第個超像素分割區(qū)域內(nèi)的像素點數(shù)量，R(,)為第個超像素分割區(qū)域內(nèi)經(jīng)過MSRCR圖像增強(qiáng)算法變換后的像素值[24]，I(,)為第個超像素分割區(qū)域內(nèi)的原像素值。

MSRCR是在多尺度Retinex的基礎(chǔ)上加入了色彩恢復(fù)因子來調(diào)節(jié)由于圖像局部區(qū)域?qū)Ρ榷仍鰪?qiáng)而導(dǎo)致顏色失真的缺陷。MSRCR算法可簡述如下

該特征是突出特征，經(jīng)過MSRCR變換后，提取出與原圖相差較大的部分，由于原本光照充足的區(qū)域經(jīng)過變換后亮度依舊很大，因此這些區(qū)域之間的差異很?。欢臼顷幱暗膮^(qū)域經(jīng)過變換后將與原圖產(chǎn)生很大的亮度差異，而且該變換對原本顏色偏暗物體的亮度提升并不明顯，因此該特征能用于識別陰影區(qū)域。

同理，由于原圖像中的陰影區(qū)域，紋理不明顯，經(jīng)過MSRCR變換后的圖像中，反而使紋理更為突出，而經(jīng)過MSRCR變換后的圖像抑制了原先的非陰影區(qū)域和低亮度非陰影區(qū)域，減弱了非陰影區(qū)域的紋理，因此可通過計算下述標(biāo)準(zhǔn)偏差、平滑度、三階矩、一致性和熵的紋理度量作為特征，用于SVM的訓(xùn)練和識別陰影區(qū)域。

基于MSRCR變換的區(qū)域特征（標(biāo)準(zhǔn)偏差）為

該特征計算了紋理特征中的標(biāo)準(zhǔn)偏差。式中M為第個超像素分割區(qū)域經(jīng)過MSRCR變換后的突出區(qū)域特征，即突出紋理特征中的灰度均值。

基于MSRCR變換的區(qū)域特征R（平滑度）為

該特征計算了紋理特征中的平滑度。式中為第個超像素分割區(qū)域經(jīng)過MSRCR變換后的突出區(qū)域特征，即突出紋理特征中的標(biāo)準(zhǔn)偏差。

基于MSRCR變換的區(qū)域特征3（三階矩）為

該特征計算了紋理特征中的三階矩。式中P(Z)為第個超像素分割區(qū)域經(jīng)過MSRCR變換后Z灰度級對應(yīng)的灰度頻數(shù)，為最大的灰度級數(shù)，Z為可能的所有灰度級數(shù)，M為第個超像素分割區(qū)域經(jīng)過MSRCR變換后的突出紋理特征中的灰度均值。

基于MSRCR變換的區(qū)域特征U（一致性）為

該特征計算了紋理特征中的一致性。式中Z為可能的所有灰度級數(shù)，P(Z)為第個超像素分割區(qū)域經(jīng)過MSRCR變換后Z灰度級對應(yīng)的灰度頻數(shù)。

基于MSRCR變換的區(qū)域特征e（熵）為

該特征計算了紋理特征中的熵。其中，P(Z)為第i個超像素分割區(qū)域經(jīng)過MSRCR變換后Z灰度級對應(yīng)的灰度頻數(shù)。

經(jīng)過50個陰影與非陰影區(qū)域樣本的比較，即陰影下的3個柑橘果實區(qū)域，3個柑橘葉區(qū)域，3個柑橘果梗區(qū)域，6個荔枝果實區(qū)域，3個荔枝葉區(qū)域，3個荔枝果梗區(qū)域和4個地面區(qū)域。非陰影下的3個柑橘果實區(qū)域，3個柑橘葉區(qū)域，3個柑橘果梗區(qū)域，4個荔枝果實區(qū)域，3個荔枝葉區(qū)域，3個荔枝果梗區(qū)域和3個地面區(qū)域，再選取3個天空區(qū)域，共50個區(qū)域的樣本，分別對每一個區(qū)域計算式（1）～（9）的特征，陰影區(qū)域與非陰影區(qū)域的特征對比結(jié)果如圖3所示，根據(jù)數(shù)據(jù)顯示，發(fā)現(xiàn)這些特征能夠顯著地區(qū)別不同材質(zhì)表面的陰影和非陰影狀態(tài)。

注： B′為歸一化特征；MRi、sRi；RRi、mRi3、URi、eRi為基于MSRCR變換的6個區(qū)域特征。

2.3 基于SVM的陰影識別與CV參數(shù)優(yōu)化

根據(jù)對自然環(huán)境的分析，自然環(huán)境中主要包括水果、樹葉、地面、果梗和天空的情況，因此本研究選取陰影與非陰影下水果、樹葉、地面和果梗手動框選的區(qū)域各25個樣本，即陰影下的25個柑橘果實區(qū)域，25個柑橘葉區(qū)域，25個柑橘果梗區(qū)域，25個荔枝果實區(qū)域，25個荔枝葉區(qū)域，25個荔枝果梗區(qū)域和25個地面區(qū)域。非陰影下的25個柑橘果實區(qū)域，25個柑橘葉區(qū)域，25個柑橘果梗區(qū)域，25個荔枝果梗區(qū)域，25個荔枝葉區(qū)域，25個荔枝果梗區(qū)域和25個地面區(qū)域，再選取25個天空區(qū)域，共375個區(qū)域的樣本，得到375個特征向量進(jìn)行訓(xùn)練。

本研究使用SVM的方法[25]進(jìn)行訓(xùn)練與陰影檢測。SVM 是在統(tǒng)計學(xué)習(xí)理論上發(fā)展起來的新型機(jī)器學(xué)習(xí)方法，其建立在VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)之上，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)習(xí)能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的泛化能力。SVM的基本理論從線性可分問題的求解中推導(dǎo)出來，但是其最具優(yōu)勢的一面體現(xiàn)在對非線性可分問題的求解上[26]。

再使用K-CV交叉驗證[27]得到在此組參數(shù)下訓(xùn)練集驗證分類準(zhǔn)確率，最終取使得訓(xùn)練集驗證分類準(zhǔn)確率最高的那組參數(shù)作為最佳的參數(shù)。對于包含多組參數(shù)對應(yīng)于最高的驗證分類準(zhǔn)確率，則選取能夠達(dá)到最高驗證分類準(zhǔn)確率中懲罰參數(shù)最小的那組作為最佳的參數(shù)，因為過高的懲罰參數(shù)會導(dǎo)致過學(xué)習(xí)狀態(tài)發(fā)生，即訓(xùn)練集分類準(zhǔn)確率很高而測試集分類準(zhǔn)確率很低（分類器的泛化能力降低），所以在能夠達(dá)到最高驗證分類準(zhǔn)確率中的所有的成對的參數(shù)中認(rèn)為較小的懲罰參數(shù)是更佳的選擇對象。最終經(jīng)過優(yōu)化后的參數(shù)，損失系數(shù)=0.062 5，核函數(shù)參數(shù)=0.062 5。

利用上述訓(xùn)練與參數(shù)優(yōu)化后得到的模型識別陰影掩膜，使用Mean shift方法將圖像分割成多個區(qū)域，并對每個區(qū)域標(biāo)記序號。使用以上的8個公式提取每個超像素分割區(qū)域的特征，再使用SVM方法識別陰影區(qū)域。最后將標(biāo)記的陰影區(qū)域合并，得到陰影掩膜。最終的識別結(jié)果如圖4e～圖4h 所示，其中白色像素塊為陰影區(qū)域，黑色像素塊為非陰影區(qū)域。

3 陰影去除試驗

3.1 基于積分的陰影去除方法

本研究應(yīng)用Finlayson等[4]的二維積分陰影去除方法，該方法首先使用canny算子對檢測得到的陰影掩膜進(jìn)行邊緣檢測，再求得三維的對數(shù)空間圖像的導(dǎo)數(shù)，將導(dǎo)數(shù)圖像中陰影邊緣部分置為0，然后通過對導(dǎo)數(shù)圖像進(jìn)行二階導(dǎo)，最后求解二階導(dǎo)圖像的泊松方程恢復(fù)真彩色圖像。其中，為了保證陰影邊緣的連續(xù)性，采用迭代算法利用相鄰的非陰影邊緣點估計曾被置為0的陰影邊緣的值?；謴?fù)的結(jié)果如圖4i～圖4l所示。

a. 檢測前柑橘圖像a. Citrus image before detectingb. 檢測前荔枝圖像1b. Litchi image 1 before detectingc. 檢測前荔枝圖像2c. Litchi image 2 before detectingd. 檢測前龍眼圖像d. Longan image before detecting e. 柑橘圖像檢測圖e. Citrus image after detectingf. 荔枝圖像1檢測圖f. Litchi image 1 after detectingg. 荔枝圖像2檢測圖g. Litchi image 2 after detectingh. 龍眼圖像檢測圖h. Longan image after detecting i. 柑橘圖像處理后i. Citrus image after processingj. 荔枝圖像1處理后j. Litchi image 1 after processingk. 荔枝圖像2處理后k. Litchi image 2 after processingl. 龍眼圖像處理后l. Longan image after processing

3.2 試驗結(jié)果分析

陰影區(qū)域檢測的準(zhǔn)確率可以通過如下的指標(biāo)來進(jìn)行評價，該指標(biāo)是Sun等[28]在評價陰影檢測準(zhǔn)確性時所用的指標(biāo)，其中各指標(biāo)所代表的意義如下：

TP（true positive）：陰影區(qū)域被正確檢測為陰影區(qū)域的個數(shù)。

TN（true negative）：非陰影區(qū)域被正確檢測為非陰影區(qū)域的個數(shù)。

FP（false positive）：非陰影區(qū)域被錯誤檢測為陰影區(qū)域的個數(shù)。

FN（false negative）：陰影區(qū)域被錯誤檢測為非陰影區(qū)域的個數(shù)。

敏感性（true positive rate）：也叫命中率，即被檢測判斷為陰影區(qū)域的區(qū)域中，真實為陰影區(qū)域的概率，計算公式如式（10）。

True positive rate=TP/(TP+FN) （10）

特異性（false positive rate）：即被檢測判斷為非陰影區(qū)域的區(qū)域中，真實為非陰影區(qū)域的概率，如果特異性比較低，則表示大量的非陰影區(qū)域被檢測判斷為陰影區(qū)域。計算公式為

False positive rate=TN/(TN+FP) （11）

準(zhǔn)確度（AUC）：即ROC曲線下的面積，準(zhǔn)確度越高表明檢測結(jié)果越準(zhǔn)確。

本研究新選取陰影與非陰影下水果、樹葉、地面和果梗手動框選的區(qū)域各60個樣本，即陰影下的60個柑橘果實區(qū)域，60個柑橘葉區(qū)域，60個柑橘果梗區(qū)域，60個荔枝果實區(qū)域，60個荔枝葉區(qū)域，60個荔枝果梗區(qū)域和60個地面區(qū)域。非陰影下的60個柑橘果實區(qū)域，60個柑橘葉區(qū)域，60個柑橘果梗區(qū)域，60個荔枝果梗區(qū)域，60個荔枝葉區(qū)域，60個荔枝果梗區(qū)域和60個地面區(qū)域，再選取60個天空區(qū)域，共900個區(qū)域作為測試樣本庫，本研究進(jìn)行10次試驗，每次隨機(jī)從測試樣本庫中選取50個陰影區(qū)域與50個非陰影區(qū)域進(jìn)行識別，計算每次試驗的敏感性與特異性曲線（receiver operating characteristic curve，簡稱ROC曲線），得到如圖5所示的結(jié)果。

注：auc表示準(zhǔn)確率，%。

上述結(jié)果顯示，經(jīng)過10次的隨機(jī)試驗，使用本研究的8個特征能夠有效地檢測陰影區(qū)域，平均準(zhǔn)確率為83.16%。

為了驗證陰影去除后對荔枝識別的效果，我們采用了在YCbCr顏色分量的Cr分量下，使用Otsu、-means、FCM的方法識別荔枝的方案，-means 和FCM 分為2個聚類中心和3個聚類中心的情況，在表1中為2C和3C。其中Precision為所有陰影像素的像素點中正確分割的陰影像素的比值，其計算方法如式（12）。

Precision=TP/(TP+FP) （12）

Recall為在去除陰影之前手工標(biāo)記的陰影像素中，正確被分割為陰影像素所占的比例，定義為

Recall=TP/(TP+FN) （13）

對比識別結(jié)果如表1所示。

表1 分割算法比較表

由試驗結(jié)果可知，經(jīng)過陰影去除后的圖像，識別得到的荔枝果實將更為完整，表明了陰影去除的有效性。而存在陰影檢測結(jié)果不理想的原因可能如下：

1）訓(xùn)練樣本不夠多，情況未被完全窮盡。在訓(xùn)練SVM分類器的時候，雖然分類器分類是否陰影的情況準(zhǔn)確率非常高，但也可能出現(xiàn)過擬合的問題，即分類器的泛化能力不夠，對于未出現(xiàn)在訓(xùn)練中的新的情況不能很好的判斷區(qū)域是否處于陰影中。

2）在手動框選區(qū)域進(jìn)行訓(xùn)練的過程中，與超像素分割出來的區(qū)域出現(xiàn)了新的區(qū)域情況。由于陰影區(qū)域中物體的紋理不明顯，因此超像素分割時出現(xiàn)了在同一個區(qū)域中有不同物體或不同材料的情況，而在手動框選區(qū)域訓(xùn)練時沒有考慮這種情況。

3）分類器的選擇不是最優(yōu)。目前前沿發(fā)展的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法，可能有更適用于分類陰影區(qū)域且準(zhǔn)確率更高的方法。

4 結(jié) 論

在采摘機(jī)器人的視覺系統(tǒng)中，果實的快速識別與定位是果實采摘機(jī)器人采摘果實的關(guān)鍵技術(shù)。但是，在自然環(huán)境中存在著復(fù)雜的光照，光線會受到樹枝、樹葉、果實等的遮擋，導(dǎo)致在水果的表面生成陰影，而陰影的存在使識別的目標(biāo)水果區(qū)域與實際有偏差，因此檢測并去除陰影，在采摘機(jī)器人的應(yīng)用中有其重要的意義。本文進(jìn)行了自然光照下機(jī)器人識別果實的陰影檢測與陰影去除方法的研究，避免了白天自然光照變化帶來的影響，并設(shè)計試驗驗證了該算法的有效性和可行性。

1）根據(jù)陰影的特性，分析與提取區(qū)域特征。探索了區(qū)域灰度均值、歸一化′特征、基于MSRCR變換的區(qū)域特征M、基于MSRCR變換的區(qū)域特征（標(biāo)準(zhǔn)偏差）、基于MSRCR變換的區(qū)域特征R（平滑度）、基于MSRCR變換的區(qū)域特征3（三階矩）、基于MSRCR變換的區(qū)域特征U（一致性）與基于MSRCR變換的區(qū)域特征e（熵）這8個區(qū)域特征在陰影檢測中的有效性。

2）基于SVM與交叉驗證方法優(yōu)化參數(shù)的陰影區(qū)域識別。提取每一個標(biāo)記區(qū)域的8 個特征，使用SVM方法識別每一個區(qū)域是否是陰影區(qū)域，陰影檢測的平均準(zhǔn)確率為82.508%。

3）本研究對自然光照條件下采集的果園圖像使用超像素分割的方法，將圖像分割成多個小區(qū)域并打上標(biāo)簽，以方便對區(qū)域特征的分析與提取。

4）基于二維積分方法的陰影去除。本研究利用了陰影邊緣的導(dǎo)數(shù)，從臨近非陰影邊緣獲得中間值補償自然光照下果實或果樹圖像的陰影區(qū)域，使圖像的陰影區(qū)域的亮度提高，并且使整幅圖像的亮度更為均勻。

[1] 宋懷波，屈衛(wèi)鋒，王丹丹，等. 基于光照無關(guān)圖理論的蘋果表面陰影去除方法[J]. 農(nóng)業(yè)工程學(xué)報，2014，30(24)：168－176.

Song Huaibo, Qu Weifeng, Wang Dandan, et al. Shadow removal method of apples based on illumination invariant image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(24): 168－176. (in Chinese with English abstract)

[2] Finlayson G D, Hordley S D, Drew M S. Removing shadows from images[C]//European Conference on Computer Vision. Springer-Verlag, 2002: 823－836.

[3] Finlayson G D, Drew M S, Lu C. Intrinsic images by entropy minimization[C]//European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2004: 582－595.

[4] Finlayson G D, Hordley S D, Lu C, et al. On the removal of shadows from images[J]. IEEE Trans Pattern Anal Mach Intell, 2006, 28(1): 59－68.

[5] Finlayson G D, Drew M S, Fredembach C. Detecting illumination in images[C]// IEEE International Conference on Computer Vision. 2007: 1－8.

[6] Finlayson G D, Hordley S D. Color constancy at a pixel[J]. Journal of the Optical Society of America a Optics Image Science & Vision, 2001, 18(2): 253－264.

[7] Finlayson G D, Drew M S. 4-sensor camera calibration for image representation invariant to shading, shadows, lighting, and scularities[C]//IEEE International Conference on Computer Vision, 2001(2): 473－480.

[8] Weiss Y. Deriving intrinsic images from image sequences[C]//Proc. IEEE International Conference on Computer Vision, July. 2001(2): 68－75.

[9] Matsushita Y, Lin S, Kang S B, et al. Estimating intrinsic images from image sequences with biased illumination[C]// European Conference on Computer Vision , 2004, 3022: 274－286.

[10] 劉艷麗，石俊，張嚴(yán)辭. 一種單幅室外圖像的陰影去除算法[J]. 軟件學(xué)報，2012，23(2)：168－175.

Liu Yanli, Shi Jun, Zhang Yanci. Shadow removal based on single outdoor image[J]. Journal of Software, 2012, 23(2): 168－175 (in Chinese with English abstract)

[11] Qu L, Tian J, Han Z, et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow- free image[J]. Optics Express, 2015, 23(3): 2220－2239.

[12] Shen L, Tan P, Lin S. Intrinsic image decomposition with non-local texture cues[C]// Computer Vision and Pattern Recognition, 2008: 1－7.

[13] Shen L, Yeo C. Intrinsic images decomposition using a local and global sparse representation of reflectance[C]//Computer Vision and Pattern Recognition, 2011, 32(14): 697－704.

[14] Laffont P Y, Bousseau A, Paris S, et al. Coherent intrinsic images from photo collections[J]. Acm Transactions on Graphics, 2012, 31(6): 1－11.

[15] Levine M D, Bhattacharyya J. Removing shadows[J]. Pattern Recognition Letters, 2005, 26(3): 251－265.

[16] Figov Z, Koppel M. Detecting and removing shadows[C]// International Conference on Computer Graphics and Imaging, 2004.

[17] Baba M, Mukunoki M, Asada N. Shadow removal from a real image based on shadow density[C]// Proceedings ACM SIGGRAPH, 2004.

[18] Wu T P, Tang C K. A bayesian approach for shadow extraction from a single image[C]// Tenth IEEE International Conference on Computer Vision, 2005, 1(1): 480－487.

[19] Lalonde J F, Efros A A, Narasimhan S G. Detecting ground shadows in outdoor consumer photographs[C]// European Conference on Computer Vision, 2010, 6312: 322－335.

[20] Han G, Cosker D. User-assisted image shadow removal[J]. Image and Vision Computing, 2017(62): 19－27.

[21] Guo R, Dai Q, Hoiem D. Single-image shadow detection and removal using paired regions[J]. Computer Vision & Pattern Recognition, 2011, 32(14): 2033－2040.

[22] Comaniciu D, Meer P. Mean shift: A robust approach toward feature space analysis[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2002, 24(5): 603－619.

[23] Phong B T. Illumination for computer generated pictures[J]. Communications of the Acm, 1975, 18(6): 311－317.

[24] Rahman Z U, Jobson D J, Woodell G A. Retinex processing for automatic image enhancement[C]// Human Vision and Electronic Imaging VII. International Society for Optics and Photonics, 2002, 4662(1): 100－110.

[25] Chang C C, Lin C J. LIBSVM: A Library for Support Vector Machines[M]. New York: ACM, Inc., 2011.

[26] 鄧乃揚，田英杰. 數(shù)據(jù)挖掘中的新方法：支持向量機(jī)[M]. 科學(xué)出版社，2004.

[27] 劉濤，賈進(jìn)章. 基于K-CV&SVM的工作面煤層瓦斯含量預(yù)測[J]. 世界科技研究與發(fā)展，2015(2)：147－150.

Liu Tao, Jia Jinzhang. Prediction for seam gas content of coal face based on cross-validation & SVM[J]. World SCI-TECH R&D, 2015(2): 147－150. (in Chinese with English abstract)

[28] Sun J, Tian J, Du Y, et al. Retinex theory‐based shadow detection and removal in single outdoor image[J]. Industrial Robot, 2009, 36(3): 263－269.

Shadow removal method of fruits recognized by picking robot under natural environment

Xiong Juntao, Bu Rongbin, Guo Wentao, Chen Shumian, Yang Zhengang※

(,,510642,)

In the visual system of picking robot, the recognition and orientation of fruit is the key technology. In the natural environment, there is complex light and the shadows are ubiquitous physical phenomena in the natural world. The light would be blocked by branches, leaves, fruit, etc., resulting in shadow casting on fruits. Shadow makes it more difficult for machine vision to identify and locate fruit, so it is significant to detect and remove shadows in the application of picking robot. In this paper, the shadow detection and removal method for fruit recognition by picking robot in the natural environment was studied to avoid the effect of light changes during the day, and the experiments were designed to verify the feasibility and effectiveness of the algorithm. In this study, we used bounding box manually to circumscribe and tag the branches, leaves, fruit, ground and sky of the citrus, litchi and longana images. The classification labels of the bounding box were set to shadow and no shadow firstly. The shadow region and the no shadow region of the orchard image under natural light were compared and analyzed. According to the characteristics of shadows, 8 regional features, including average pixel value of regional grayscale, normalization of the feature, regional feature based on MSRCR transformation, regional feature based on MSRCR transformation, regional feature based on MSRCR transformation, reegional feature based on MSRCR transformation, regional feature based on MSRCR transformation and regional feature based on MSRCR transformation were studied and proved to be the effective features for shadow detection. The 8 self-explored custom features were extracted based on MSRCR and the classification labels of the above regions and trained by using the SVM. K-fold cross validation method was used to optimize the parameters of the SVM, and finally the optimal classification model was obtained. Secondly, the method of superpixel segmentation was used to divide an image into multiple small regions. Based on the superpixel segmentation of the image, the 8 self-explored custom features were extracted, and each small segment of the superpixel segmentation in the image was detected, and it was determined whether each small region was in the shadow. According to the strategy of Finlayson's two-dimensional integration algorithm, the shadow removal was performed on each detected shadow region, and the natural light image was obtained after removal of the shadow. Finally, the accuracy of shadow detection was tested. The experimental results showed that the average accuracy of the shadow detection algorithm in this study was 83.16%. In order to verify the effect of litchi recognition after shadow removal, some methods, including Otsu,-means and FCM, were implemented to recognize litchis using Cr component of YCbCr color model. The results showed that the litchis were recognized more intactly from the images after shadow removal, shadow removal can improve the recognition effect of fruits. This study provides a technical support for the robots to identify fruits and other industrial and agricultural application scenarios in the natural environment.

robot; image processing; target recognition; shadow removal

熊俊濤，卜榕彬，郭文韜，陳淑綿，楊振剛. 自然光照條件下采摘機(jī)器人果實識別的表面陰影去除方法[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(22)：147－154. doi：10.11975/j.issn.1002-6819.2018.22.018 http://www.tcsae.org

Xiong Juntao, Bu Rongbin, Guo Wentao, Chen Shumian, Yang Zhengang. Shadow removal method of fruits recognized by picking robot under natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(22): 147－154. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.22.018 http://www.tcsae.org

10.11975/j.issn.1002-6819.2018.22.018

TP391.41

A

1002-6819(2018)-22-0147-08

2018-06-07

2018-09-04

國家自然科學(xué)基金項目（31201135，31571568）、廣東省自然科學(xué)基金項目（2018A030313330）和廣州市科技計劃項目（201802020032）

熊俊濤，副教授，主要從事農(nóng)業(yè)機(jī)器人和智能設(shè)計與制造研究。Email：xiongjt2340@163.com

楊振剛，副教授，主要從事機(jī)器視覺與虛擬現(xiàn)實的關(guān)鍵技術(shù)研究。Email：yzg@scau.edu.cn