顧正敏，李臻峰，2，*，宋飛虎，2，張君生，莊 為

(1.江南大學 機械工程學院，江蘇 無錫 214122；2.江蘇省食品先進制造裝備技術(shù)重點實驗室，江蘇 無錫 214122)

葉片是作物進行光合作用和合成有機物質(zhì)的主要器官，葉面積與農(nóng)作物產(chǎn)量也有密切關(guān)系[1]。大豆上、中、下各個冠層的單位葉面積接受太陽的輻射量有所差異，故對產(chǎn)量影響也不相同，因此，有必要提出一種測量方法為后期研究不同高度的葉面積分布，進而對株型優(yōu)化提供技術(shù)依據(jù)[2-3]?；趥鹘y(tǒng)成像方式的葉面積測量方法單次拍攝只能獲取所有葉片投影信息，無法獲取大豆上、中、下冠層的葉面積[4]，難以評價大豆株型的優(yōu)劣，也就無法應(yīng)用于大豆育種選擇[5]。傳統(tǒng)的上、中、下冠層葉面積測量是采用大田切片法[6]，把大豆植株按高度剪下，分別統(tǒng)計上、中、下冠層葉面積，該方法會對植株造成損傷，無法用于對植株進行長時間的生長趨勢監(jiān)控。光場相機采用微透鏡陣列，僅需單次拍攝就可以通過重聚焦技術(shù)得到聚焦在不同高度層的圖像，實現(xiàn)對不同高度的信息獲取。光場相機成像技術(shù)日益成熟，國內(nèi)外研究人員在光場相機成像技術(shù)研究也已取得許多成果。孫試翼等[7]提出了一種基于光場成像技術(shù)實現(xiàn)物空間的三維重構(gòu)方法，該研究利用重聚焦技術(shù)獲得不同重聚焦參數(shù)α的重聚焦圖像，計算出重聚焦平面的相對位置得到深度信息，從而實現(xiàn)三維重構(gòu)。Fu等[8]利用光場重聚焦算法得到一系列的重聚焦圖像，使用清晰度評價函數(shù)選出最清晰的圖像，運用高斯公式計算出相機離目標物體的距離。但目前光場相機應(yīng)用于農(nóng)業(yè)的研究還未見相關(guān)報道。

為此，本文提出一種基于光場相機技術(shù)的單株大豆植株冠層葉面積無損測量方法，對采集的大豆植株光場數(shù)據(jù)進行解碼和重聚焦，得到不同聚焦平面的大豆植株圖像，運用清晰度評價函數(shù)分別選出聚焦在大豆植株上、中、下冠層葉片平面的圖像，進行閾值分割后獲得各冠層葉片的投影面積，并利用光場相機技術(shù)測量出大豆各冠層葉片離光場相機的距離，利用得到的距離對投影面積進行修正，從而建立大豆冠層投影面積和大豆植株真實葉面積的多項式函數(shù)、冪函數(shù)模型，通過比較分析確定各冠層最優(yōu)葉面積模型。

1 材料與方法

1.1 試驗大豆樣本

本研究以盆栽的宏秋大豆為研究對象，選用口徑、底徑和高度分別為190、130和170 mm的花盆。種植大豆選用相同的土壤，打碎土壤并用篩子把小石子等雜物去掉，得到均勻的土壤裝入花盆。大豆于2017年4月14日種植于江南大學露天的苗圃基地，種植方式為行種，挖行距40 cm、株距25 cm、深度為12 cm的相同大小的洞把花盆埋在洞里以減少水分蒸發(fā)，模擬田間種植大豆條件。由經(jīng)驗豐富的園丁師傅負責播種、灌溉等栽培管理。實驗在大豆開花期(2017年5月25日)進行，選用103盆的盆栽大豆作為校正集對象，通過圖像采集、葉片面積的測量，建立回歸模型；另一方面，選用20盆盆栽大豆作為預(yù)測集對象，根據(jù)圖像信息由回歸模型預(yù)測葉片面積，并與真實葉片面積進行比較。

圖1 光場相機視覺系統(tǒng)圖Fig.1 Light field camera vision system

1.2 基于光場相機的視覺系統(tǒng)設(shè)計

本試驗自行搭建的光場相機視覺系統(tǒng)如圖1所示，由光場相機(美國Lytro公司，型號Lytro ILLUM)、光源(RL9090白色環(huán)形光源)、三腳架、光學平臺(江西連勝精密光學平臺，型號POT15-09)、旋轉(zhuǎn)臺(凱力賽維旋轉(zhuǎn)臺)、驅(qū)動控制器(DM556步進驅(qū)動器)、數(shù)據(jù)采集器(IPAM-7404數(shù)據(jù)采集器)，以及計算機(CPU，i7-4790K，4.00 GHz;內(nèi)存，8 G)組成。光場相機用三腳架支撐固定，經(jīng)過預(yù)試驗確定光場相機位置，攝像頭方向和大豆生長方向成15°，光場相機水平距大豆植株中心20 cm，高度為100 cm。每盆大豆植株在拍攝一次后，轉(zhuǎn)臺旋轉(zhuǎn)180°后拍攝第二張圖像以減小遮擋的影響。鏡頭參數(shù)是光圈f/2.0，焦距30 mm。拍攝圖像由USB數(shù)據(jù)線直接傳至計算機，圖像由Matlab2014b軟件進行后續(xù)處理，光學平臺用于光場相機的標定。

1.3 光場相機重聚焦原理

光場可以記錄不同方向的光線，將四維光場重新積分疊加投影到某個聚焦平面，獲得不同聚焦平面的圖像，這就是重聚焦過程[9]。如圖2所示，A平面為透鏡平面，B平面為傳感器平面，C平面為重聚焦平面。光線在重聚焦平面的投影坐標為(x′，y′)，光線通過主透鏡到達微透鏡的位置信息為(u，v)。根據(jù)經(jīng)典輻射理論[10]，可得到重聚焦像面公式為

(1)

式(1)中：F為圖像傳感器到主透鏡的距離；αF為重聚焦平面到主透鏡的距離；α為重聚焦參數(shù)，通過改變重聚焦參數(shù)α可得到不同聚焦平面上的像。

圖2 光場重聚焦原理示意圖Fig.2 Light field refocusing principle diagram

1.4 光場相機的標定

將光場相機固定在光學平臺上，且鏡頭方向和光學平臺平行，將棋盤格也豎直固定在光學平臺上，且棋盤格和光場相機拍攝方向垂直，經(jīng)測量，最高大豆植株上層葉片離相機鏡頭為35 cm，大豆最下層葉片到最上層葉片的高度為22 cm左右。所以，棋盤格從離鏡頭30 cm處開始拍攝，并將棋盤格以1 cm為間隔水平移動遠離相機鏡頭，光場相機每隔1 cm拍攝一次，直到棋盤格離光場相機鏡頭70 cm。將光場相機拍攝棋盤格獲得的數(shù)據(jù)使用MATLAB光場工具包(LightField ToolBox)進行解碼得到四維光場數(shù)據(jù)，對每個四維光場數(shù)據(jù)進行重聚焦，每個重聚焦參數(shù)α的值產(chǎn)生一張重聚焦圖像。本研究設(shè)定的重聚焦參數(shù)α的值域為-3～4，并以0.1的大小為一個間隔。即每一個棋盤格的光場數(shù)據(jù)生成71張不同重聚焦參數(shù)值的圖像，使用圖像清晰度評價函數(shù)從71張圖像選出最清晰的圖像。對30～70 cm每個距離的棋盤格光場數(shù)據(jù)進行以上操作，得到每個距離都有一個最清晰的重聚焦圖像，從而獲得所對應(yīng)的重聚焦參數(shù)α值。建立重聚焦參數(shù)和距離的多項式、冪函數(shù)擬合，根據(jù)決定系數(shù)選出最佳的函數(shù)擬合，從而可以根據(jù)重聚焦參數(shù)α來預(yù)測目標離相機的距離。建立光場相機預(yù)測的距離與實際距離的回歸模型來評價光場相機預(yù)測距離的模型。將各距離拍攝最清晰的棋盤格圖像進行閾值分割，求出各距離棋盤格圖像的像素點，以30 cm處的像素為標準計算校正系數(shù)，校正系數(shù)的公式如式(2)。將校正系數(shù)和距離建立多項式、冪函數(shù)擬合，根據(jù)決定系數(shù)選擇最佳的函數(shù)擬合。

(2)

式(2)中：S為距離光場相機鏡頭各個距離的校正系數(shù)；Pi為距離光場相機鏡頭各個距離的棋盤格像素數(shù)；P1為距離光場相機鏡頭30 cm的棋盤格像素數(shù)。

1.5 分析流程

步驟1：通過光場相機標定，建立距離和重聚焦參數(shù)的回歸方程模型。

步驟2：對每個距離最清晰的圖像進行閾值分割，得到每個距離的棋盤格投影面積，以30 cm處的棋盤格像素數(shù)為標準，建立距離和校正系數(shù)的回歸模型。

步驟3：根據(jù)光場相機的標定和重聚焦參數(shù)計算出各冠層葉片離光場相機鏡頭的距離，通過棋盤格標定的距離與校正系數(shù)的模型，從而計算出每個冠層葉片的校正系數(shù)。

步驟4：通過圖像處理技術(shù)得到每層冠層葉面積的投影面積，除以校正系數(shù)得到最后的投影面積。

步驟5：建立植株冠層葉片投影面積和真實葉片面積多項式模型、冪函數(shù)模型。通過比較各模型的決定系數(shù)以及通過預(yù)測集來比較誤差進一步篩選出最優(yōu)模型。

2 葉片面積的測量

2.1 真實葉片面積的測量

為了防止大豆葉片內(nèi)卷造成誤差，將大豆葉片沿葉片主脈剪成兩半平整的粘貼在A4白紙上，對剪下的大豆葉片進行拍攝從而獲得如式(3)所示的N2。每個葉片是由一個個像素點組成的，每個像素代表一定的葉片面積。因此，在拍攝大豆對象之前，在相同的焦距和高度下，先用已知面積的5個黑色標簽作為參考物進行標定，求出真實的面積對應(yīng)的圖中像素點個數(shù)，再根據(jù)葉片總像素數(shù)對應(yīng)得到真實葉片面積。

(3)

式(3)中：A1代表5個黑色標簽的已知面積，mm2；N1代表圖像分割后5個黑色標簽所占的像素數(shù)，pixel；A2代表大豆葉片的真實葉面積，mm2；N2代表大豆葉片圖像分割后所占的像素數(shù)，pixel。

2.2 大豆植株葉片圖像采集和處理

將采集的0°和180°大豆光場數(shù)據(jù)進行解碼和重聚焦，得到不同重聚焦參數(shù)的重聚焦圖像，使用Brenner梯度法選出每個葉片最清晰的圖像并得到所對應(yīng)的重聚焦參數(shù)，通過光場相機的標定測量出每個葉片離光場相機的距離，對每個葉片離光場相機距離進行系統(tǒng)聚類分析，把大豆植株葉片按距離分為上、中、下3層。對每層中間距離進行重聚焦，圖3-a是聚焦在0°大豆植株上冠層平面的重聚焦圖像；圖3-b是局部放大圖，可以看出上層葉片相對清晰，中、下層葉片相對模糊。

提取圖3-a大豆植株彩色圖像的R、G、B三個分量，R和G兩個分量中花盆、土壤以及植株的葉柄、花瓣的灰度值差別較小，而R和G兩個分量的大豆植株葉片對比度較大，所以G分量減去R分量可以很好地去掉花盆和土壤以及植株的葉柄、花瓣。對其使用對比度拉伸增強圖像，然后進行閾值分割，將植株葉片較好地從背景中分離出來。由于土壤有的是呈顆粒狀會產(chǎn)出一些噪音，所以對圖像選用3 pixel×3 pixel的模板進行中值濾波去噪，得到最后只有葉片的二值圖，將二值圖點乘大豆植株的R、G、B各分量圖，得到只有大豆葉片新的R、G、B分量圖，把R、G、B各分量圖合成一個RGB彩色圖。因為聚焦在大豆葉片的上層，所以上層是清晰了，而中層和下層是相對模糊的，清晰和模糊的梯度會不一樣。根據(jù)梯度不一樣的原理對只有葉片的圖像使用LoG算子進行邊緣檢測。進行LoG算子邊緣檢測所得的圖像如圖4-a所示。

a，聚焦在上層葉片的圖像；b，a圖的局部放大圖。a，The image focusing on the upper blade; b，Partial enlargement of the image a.圖3 上層重聚焦圖像Fig.3 Upper blade refocusing image

圖4 大豆上層葉片二值圖及結(jié)果圖Fig.4 Binary image and results of soybean upper leaves

從圖4-a可以看出，上層葉片像素點密密麻麻，中層和下層的葉片只有邊緣有像素點，對圖像使用膨脹可以把上層的葉片像素點連成一片。對圖4-a圖像使用結(jié)構(gòu)元素半徑為5的圓盤型結(jié)構(gòu)元素進行膨脹2次，2次膨脹后的上層葉片已經(jīng)連成區(qū)域，由于膨脹后葉片的四周就會被脹大，這時用相同的結(jié)構(gòu)元素對圖像進行2次腐蝕來恢復被膨脹葉片的近似形狀，結(jié)果如圖4-b所示。可以看出上層葉片除了一些孔洞之外已經(jīng)形成了封閉，下層葉片的像素基本被腐蝕掉，中層的葉片邊緣也被腐蝕成一個不閉合的連接，這時對圖像進行填洞處理把圖像上層的葉片空洞填掉，使上層葉片成一個完整的葉片。再使用腐蝕把中層和下層的白色像素點全部腐蝕掉。對圖像腐蝕3次后，中層和下層的白色像素點全部被腐蝕掉，只留下上層葉片。但由于整個圖像處理過程膨脹了2次，而腐蝕卻腐蝕了5次，導致上層葉片的四周被腐蝕小了，所以這時對圖像進行膨脹3次來恢復被腐蝕葉片的近似形狀，膨脹后的圖像如圖4-c所示，為了檢驗該圖像處理過程的可行性，將這結(jié)果的二值圖點乘只有葉片的R、G、B各分量圖得到只有上層冠層葉片的R、G、B分量圖，將R、G、B各分量合成彩色RGB圖，RGB圖如圖4-d所示，從RGB圖像可以看出，該圖像處理過程可以很好地將上層葉片提取出來。提取圖中左邊3片葉片的像素數(shù)得到投影面積，取這3片葉片離光場相機的平均距離計算其校正系數(shù)，投影面積除以校正系數(shù)得到修正后的投影面積，對右邊的3片葉片進行同樣的處理同樣得到修正后的投影面積，最后兩個投影面積相加作為上層葉片投影面積。對中、下層進行同樣的處理，分別得到中、下層葉片投影面積，對180°圖像重復以上操作。

3 結(jié)果與分析

3.1 光場相機標定結(jié)果

本研究使用Brenner梯度法為清晰度評價函數(shù)，如式(4)所示。使用Brenner梯度法對每個重聚焦參數(shù)α對應(yīng)的重聚焦圖像計算平均梯度值，圖5是30 cm處棋盤格各個重聚焦參數(shù)α對應(yīng)的重聚焦圖像的平均梯度值。結(jié)果顯示α=2.8時，平均梯度值最大，也就是α=2.8時的重聚焦圖像最清晰。

圖5 30 cm處棋盤格重聚焦參數(shù)與平均梯度值關(guān)系圖Fig.5 Diagram of checkerboard refocusing parameter and mean gradient value at 30 cm

(4)

式(4)中：M×N為圖像的大??；f(x，y)表示圖像像素(x，y)的灰度值。

圖6是30 cm處棋盤格的部分重聚焦圖像，每個重聚焦參數(shù)α對應(yīng)著一個重聚焦圖像，如圖6所示，α=-3.0的圖像是模糊的，α=2.8的圖像是清晰的。

對每個距離的棋盤格光場數(shù)據(jù)重復以上過程，每個距離都有一個重聚焦參數(shù)α使得棋盤格圖像最清晰。建立重聚焦參數(shù)α和距離的多項式函數(shù)、冪函數(shù)擬合。結(jié)果顯示，二階多項式擬合效果最好，決定系數(shù)為0.968，擬合結(jié)果如式(5)所示。通過對光場相機拍攝的圖像進行重聚焦得到重聚焦圖像，使用Brenner梯度法選出最清晰的圖像從而得到所對應(yīng)的重聚焦參數(shù)α，由式(5)可預(yù)測目標與光場相機的距離。光場相機預(yù)測的距離和實際距離的回歸模型如圖7所示，擬合結(jié)果如式(6)所示。模型的決定系數(shù)為0.968，平均相對誤差為3.45%，結(jié)果顯示光場相機預(yù)測距離的效果很好。

圖6 棋盤格重聚焦圖Fig.6 Refocus image of checkerboard

L1=57.181-6.479α-0.960α2。

(5)

式(5)中：L1為標定的棋盤格離相機鏡頭的距離；α為各個距離的最清晰圖像所對應(yīng)的重聚焦參數(shù)。

L1=1.068 e-13+L2。

(6)

式(6)中L2為光場相機預(yù)測距離。

建立距離和校正系數(shù)的多項式函數(shù)、冪函數(shù)擬合，結(jié)果顯示，冪函數(shù)擬合程度最高，決定系數(shù)高達0.998，擬合結(jié)果如式(7)所示，回歸模型圖如圖8所示。

(7)

3.2 大豆植株分層結(jié)果

圖3-a大豆植株的每個葉片經(jīng)光場相機測量距離的結(jié)果為36、36、37、38、38、39、44、45、45、46、47、47、54、54 cm。對這些距離進行系統(tǒng)聚類分析把葉片分成3層，聚類分析的樹形圖如圖9所示，結(jié)果顯示大豆植株分成3層，最下層兩個葉片分為第3層，中層和上層各6個葉片。

圖7 距離預(yù)測圖Fig.7 Estimated distance image

圖8 距離與校正系數(shù)的關(guān)系圖Fig.8 Correlation of distance and correction coefficient

3.3 大豆植株各冠層葉面積測量模型

選擇103盆開花時期的大豆作為樣本，用于模型建立。計算0°和180°上層投影面積的平均投影面積，0°和180°中層葉片投影面積之和，0°和180°下層葉片投影面積之和。分別采用本領(lǐng)域常見的多項式、冪函數(shù)擬合[11]，對各冠層投影面積分別和真實葉面積進行函數(shù)擬合，結(jié)果顯示，上層平均投影面積和真實葉面積擬合的多項式模型中一階多項式?jīng)Q定系數(shù)R2最高，為0.945，擬合結(jié)果如式(8)所示。冪函數(shù)模型的決定系數(shù)為0.937，擬合結(jié)果如式(11)所示。中層葉片投影面積之和與真實葉面積擬合的多項式模型中一階多項式?jīng)Q定系數(shù)R2最高，為0.796，擬合結(jié)果如式(9)所示。冪函數(shù)模型的決定系數(shù)為0.784，擬合結(jié)果如式(12)所示。下層葉片投影面積之和與真實葉面積擬合的多項式模型中一階多項式?jīng)Q定系數(shù)R2最高，為0.914，擬合結(jié)果如式(10)所示。冪函數(shù)模型的決定系數(shù)為0.902，擬合結(jié)果如式(13)所示。植株上層投影面積和葉面積真實值有很好的相關(guān)性，植株中層投影面積和與葉面積真實值的相關(guān)性不如上層投影葉面積模型，這是因為上層葉面積對中層葉面積有遮擋的影響，植株下層投影面積和與葉面積真實值也有很好的相關(guān)性。用20盆預(yù)測集分別對各冠層模型進行相對誤差和均方根誤差分析。上層相對誤差圖如圖10-a所示：一階多項式模型的平均相對誤差為2.87%，均方根誤差為4.376；冪函數(shù)模型的平均相對誤差為2.90%，均方根誤差為4.554。結(jié)果顯示，一階多項式模型的決定系數(shù)最高，平均相對誤差最小，均方根誤差也最小，所以選一階多項式模型為上層葉面積測量最優(yōu)模型，模型如圖11-a所示。中層相對誤差圖如圖10-b所示：一階多項式模型的平均相對誤差為4.83%，均方根誤差為7.273；冪函數(shù)模型的平均相對誤差為5.53%，均方根誤差為7.659。結(jié)果顯示，一階多項式模型的決定系數(shù)最高，平均相對誤差最小，均方根誤差也最小，所以選用一階多項式模型為中層葉面積測量最優(yōu)模型，模型如圖11-b所示。下層相對誤差圖如圖10-c所示：一階多項式模型的平均相對誤差為1.84%，均方根誤差為1.529；冪函數(shù)模型的平均相對誤差為1.87%，均方根誤差為1.555。結(jié)果顯示，一階多項式模型的決定系數(shù)最高，平均相對誤差最小，均方根誤差也最小，所以選用一階多項式模型為下層葉面積測量最優(yōu)模型，一階多項式模型圖如圖11-c所示。

圖9 大豆植株冠層聚類分析樹形圖Fig.9 Cluster analysis tree of soybean plant canopy

圖10 各冠層投影葉面積模型的相對誤差圖Fig.10 Relative error maps of each canopy projection leaf area model

圖11 各冠層投影葉面積模型Fig.11 Leaf area model of each canopy projection

一階多項式模型：

上層f1(x)=0.000138x1+61.918，R2=0.945。

(8)

中層f2(x)=4.229×e-5x2+79.752，R2=0.796。

(9)

下層f3(x)=5.014×e-5x3+27.658，R2=0.914。

(10)

冪函數(shù)模型：

(11)

(12)

(13)

式(8)～(13)中：f(x)是基于一階多項式模型的各冠層投影面積與真實葉面積的函數(shù)關(guān)系；g(x)是基于冪函數(shù)模型的各冠層投影面積與真實葉面積的函數(shù)關(guān)系。其中，x1為0°和180°上層投影面積的平均投影面積；x2為0°和180°中層投影面積的和；x3為0°和180°下層投影面積的和。

4 結(jié)論

本研究使用自搭的光場相機系統(tǒng)采集大豆植株圖像，通過光場相機技術(shù)和圖像處理技術(shù)得到大豆植株上、中、下層投影面積。通過對光場相機的標定，建立重聚焦參數(shù)α和距離的函數(shù)關(guān)系，決定系數(shù)R2為0.968，通過此函數(shù)關(guān)系預(yù)測距離和實際距離的平均相對誤差為3.45%。建立校正系數(shù)和距離的回歸模型，模型的決定系數(shù)高達0.998。通過光場相機的標定得到大豆植株各個冠層葉片的校正系數(shù)，從而計算得到最終的投影面積。建立大豆植株各冠層投影面積和真實葉面積的多項式函數(shù)、冪函數(shù)回歸模型。從回歸分析結(jié)果選擇線性函數(shù)模型為最優(yōu)模型。大豆植株上層投影葉面積最優(yōu)模型的決定系數(shù)R2為0.945，預(yù)測集最大相對誤差為4.48%，均方根誤差為4.376。大豆植株中層投影葉面積最優(yōu)模型的決定系數(shù)R2為0.796，預(yù)測集最大相對誤差為13.62%，均方根誤差為7.273。大豆植株下層投影葉面積模型的決定系數(shù)R2為0.914，預(yù)測集最大相對誤差為8.63%，均方根誤差為1.529。該試驗驗證了該方法無損測量單株大豆不同高度冠層葉片面積的可行性。上層冠層投影面積沒有遮擋，上層投影葉面積模型的相關(guān)性也最高。中層冠層受上層葉片遮擋影響最嚴重，中層投影葉面積模型相關(guān)性稍低。下層冠層投影面積受上、中層葉片遮擋影響較小，下層投影葉面積模型相關(guān)性也比較高。本文提出的方法可以推廣到其他農(nóng)作物，為現(xiàn)代農(nóng)業(yè)無損測量冠層葉面積提供了理論依據(jù)。