龍耀威，孫 紅，高德華，張智勇，李民贊，楊 瑋

中國農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083

引 言

應(yīng)用多光譜成像技術(shù)快速無損分析作物冠層或葉片葉綠素、氮素等營養(yǎng)含量的信息，已經(jīng)成為檢測農(nóng)田作物長勢的重要手段[1]。當(dāng)前光譜成像技術(shù)不斷升級，應(yīng)用不同成像原理的光學(xué)傳感器快速獲取田間作物對象信息時(shí)，對實(shí)時(shí)檢測與數(shù)據(jù)處理的方法需求也不盡相同，因而結(jié)合光學(xué)成像傳感器的具體原理、工藝和特性，開展作物葉綠素含量診斷方法研究有現(xiàn)實(shí)意義和實(shí)用價(jià)值。

通常獲取作物反射光譜的成像傳感器，根據(jù)單色器系統(tǒng)中色散元件的不同可以分為棱鏡、光柵和鍍膜型三種主要方式[2]。應(yīng)用這些傳感器系統(tǒng)，針對作物葉綠素、水分、氮素等營養(yǎng)含量檢測，國內(nèi)外學(xué)者已經(jīng)開展了系統(tǒng)標(biāo)定、數(shù)據(jù)預(yù)處、變量篩選、診斷模型等相關(guān)的理論和應(yīng)用研究[3-7]。

基于棱鏡分光技術(shù)，以丹麥JAI公司2CCD(Charge-coupled Device)成像傳感器為例，通過棱鏡將白光分為可見光與NIR(near infrared)兩通道后獲取圖像。應(yīng)用該類傳感器可分別提取R(red)，G(green)，B(blue)和NIR波段光譜圖像，可對玉米作物冠層葉綠素指標(biāo)和覆蓋度等參數(shù)進(jìn)行診斷。該類型傳感器光學(xué)透射率高，價(jià)格相對便宜，但是僅有4個(gè)波段，數(shù)目較少且每個(gè)波段帶寬約為100 nm, 因而其光譜分辨率不高，導(dǎo)致對營養(yǎng)含量分辨能力與診斷精度有限。

應(yīng)用光柵分光技術(shù)，以芬蘭SPECIM公司的Imspector高光譜成像傳感器為例，通過與探測目標(biāo)相對運(yùn)動完成空間與光譜的掃描, 成像范圍為400～1 000 nm內(nèi)256個(gè)波長光譜數(shù)據(jù)，結(jié)構(gòu)精密且光譜分辨率高，波段數(shù)目多。在小麥、玉米、馬鈴薯和黃瓜等作物葉片葉綠素含量的檢測方面，在實(shí)驗(yàn)室條件下對采樣樣本獲取數(shù)據(jù)，建模模型的決定系數(shù)均達(dá)到了0.75以上[8-9]。此類傳感器是基于傳感器的推掃式運(yùn)動成像，采集速度比基于棱鏡分光的相機(jī)慢。由于樣品和成像平臺之間的相對運(yùn)動可能產(chǎn)生信號干擾，通常是通過暗電流校準(zhǔn)和標(biāo)準(zhǔn)白板校準(zhǔn)來處理。在大田應(yīng)用推廣方面，由于成像質(zhì)量與物體空間運(yùn)動速度、狀態(tài)控制等因素緊密相關(guān)，使其在便攜性與適應(yīng)性方面還有待提高[10]。

鍍膜型光譜成像傳感器是應(yīng)用半導(dǎo)體薄膜工藝原理，通過在探測器像元上鍍膜實(shí)現(xiàn)光信號的窄帶選擇透過，進(jìn)而實(shí)現(xiàn)多光譜成像。近年來鍍膜工藝不斷提高，如美國XIMEA公司的IMEC馬賽克式鍍膜傳感器以5×5為一個(gè)成像單元，探測器各光譜帶寬約為10 nm，灰度分辨率最高為10位，可以采集673～951 nm范圍內(nèi)的25個(gè)波長的光譜圖像[11]。其波段數(shù)較棱鏡分光傳感器多，面陣成像較光柵線掃快速而穩(wěn)定，具有面陣直接成像速度快、波段數(shù)量多、體積小、成本低等優(yōu)點(diǎn)，在農(nóng)作物田間現(xiàn)場檢測中有較好的應(yīng)用前景。

盡管鍍膜型光譜成像傳感器技術(shù)已經(jīng)相對成熟，但是如何應(yīng)用鍍膜型光譜成像傳感器開展作物葉綠素檢測，在馬賽克分布陣列光學(xué)數(shù)據(jù)的提取、光譜與圖像成像的標(biāo)定與校準(zhǔn)、作物光譜圖像的處理與葉綠素指標(biāo)診斷能力等方面還沒有系統(tǒng)和深入的研究報(bào)道。本研究針對鍍膜型光譜成像傳感器的特點(diǎn)，開展光譜成像數(shù)據(jù)提取和田間作物葉綠素分布探測研究。以期研究鍍膜型光譜成像數(shù)據(jù)中光強(qiáng)值的提取與反射率校準(zhǔn)方法，通過對玉米植株多光譜圖像的分割，基于譜圖融合分析，建立葉片光譜反射率與葉綠素含量指標(biāo)診斷模型，繪制作物冠層葉綠素含量分布圖，為田間玉米植株葉綠素分布檢測提供技術(shù)和應(yīng)用支持。

1 實(shí)驗(yàn)部分

1.1 鍍膜型傳感器光譜成像原理

鍍膜型傳感器光譜成像通過在CMOS傳感器像素陣列上修改濾波器的設(shè)計(jì)實(shí)現(xiàn)。針對不同數(shù)量的頻帶，頻帶寬度和光譜范圍來設(shè)計(jì)光譜濾波器，其原理如圖1所示，其中圖1(a)為標(biāo)準(zhǔn)RGB CMOS感光片原理圖，圖1(b)為CMOS鍍膜型多光譜傳感器感光片原理圖。與標(biāo)準(zhǔn)的RGB CMOS感光片分布類似，鍍膜型多光譜傳感器將成像單元中的RGB分布式感知替換為規(guī)則排列的窄帶鍍膜濾光單元，與濾光片的作用相似。近似為面陣CMOS上采用光譜濾光片集成馬賽克圖案的技術(shù)，實(shí)現(xiàn)不同波段像素光強(qiáng)值的獲取。由原理可知，如果需要獲取各個(gè)波段的光譜圖像，需要進(jìn)行原始光譜圖像的拆分和重組。

圖1 鍍膜型傳感器光譜成像原理圖(a): 標(biāo)準(zhǔn)紅、綠、藍(lán)三色； (b): 鍍膜型光譜傳感器Fig.1 Schematic of CMOS sensor(a): Red, Greed and Blue; (b): Coating sensor

各個(gè)成像單元中的窄帶濾光片排列一致，單個(gè)成像單元中每個(gè)窄帶濾光片的QE(quantum efficiency)響應(yīng)分布圖如圖2所示，圖中“active range”表示相機(jī)鏡頭前帶通濾光片的有效通過波段范圍。分析認(rèn)為25個(gè)波段頻譜響應(yīng)帶寬、QE強(qiáng)度幅值差異明顯。因而對非均一性光學(xué)響應(yīng)特征對原始光譜圖像的校準(zhǔn)至關(guān)重要。

1.2 玉米植株光譜圖像采集與葉綠素指標(biāo)測定

試驗(yàn)于2018年11月21日在北京市農(nóng)林科學(xué)院溫室大棚內(nèi)進(jìn)行。采用自然光照，設(shè)置相機(jī)的采集高度為2 000 mm。玉米品種為實(shí)驗(yàn)品種GET-B104，物候期為苗期，植株高度為30～70 cm。一共采集47株玉米植株。光譜圖像數(shù)據(jù)采集通過基于鍍膜原理的XIMEA公司的IMEC多光譜相機(jī)及配套的采集系統(tǒng)來完成。多光譜相機(jī)CMOS中的成像單元為5×5排列，波段數(shù)為25，波段范圍是673～951 nm，視場角為50度[11]。相機(jī)與搭載Linux操作系統(tǒng)的Jetson TX2開發(fā)板相連接，實(shí)現(xiàn)圖像的采集控制與處理。采集系統(tǒng)示意圖如圖3所示。

為避免破壞采樣后成分改變導(dǎo)致的測量誤差。試驗(yàn)中利用SPAD-520葉綠素儀同步測量每株玉米冠層葉片上2～3個(gè)采樣點(diǎn)，每點(diǎn)測量3次取平均SPAD值作為葉綠素含量指標(biāo)，共計(jì)251個(gè)樣本數(shù)據(jù)。同時(shí)采用ASD Handheld2 型光譜儀采集相應(yīng)位置區(qū)域的反射率曲線，以分析利用鍍膜型光譜

圖2 鍍膜型傳感器濾光QE分布圖[11]Fig.2 Filter QE distribution map of CMOS sensor

圖3 采集系統(tǒng)示意圖Fig.3 Schematic diagram of imaging acquisition system

成像傳感器提取玉米植株冠層葉片反射率曲線的特性，其波段范圍為325～1 025 nm，分辨率為3 nm。

1.3 鍍膜型光譜圖像的提取方法和反射率校準(zhǔn)方法

鍍膜型光譜圖像的提取包括對原始采集圖像的拆分和重組。拆分是提取成像單元中相同波段的像素灰度值，重組是利用相同波段的像素灰度值重構(gòu)單波段光譜圖像。具體步驟為：

(1) 原始光譜圖像按照像素位置建立數(shù)據(jù)存儲表。

(2) 按照成像單元中各波段排列規(guī)則建立25個(gè)獨(dú)立數(shù)據(jù)存儲表。

(3) 依次從數(shù)據(jù)存儲表中讀取成像單元中相對位置相同的單波段數(shù)據(jù)。

(4) 將讀取的單波段數(shù)據(jù)存入相應(yīng)的獨(dú)立數(shù)據(jù)存儲表。

(5) 將各獨(dú)立數(shù)據(jù)存儲表灰度值重構(gòu)為單波段的光譜圖像。

以上處理得到25個(gè)波段光譜圖像，圖中每一像素的灰度值表示該位置的原始反射光強(qiáng)值，研究通過反射率校準(zhǔn)計(jì)算相對反射率值。

反射率校準(zhǔn)中，由于各窄帶濾光片QE響應(yīng)分布差異明顯，為了避免利用唯一標(biāo)準(zhǔn)白板標(biāo)定引起的縮小響應(yīng)范圍的影響，采用多灰度級標(biāo)準(zhǔn)板進(jìn)行校正。本研究采用美國Labsphere公司的Spectralon標(biāo)準(zhǔn)板，由四個(gè)灰度級并排排列，各級標(biāo)準(zhǔn)板尺寸均為6 cm×25 cm。灰度板為標(biāo)準(zhǔn)的朗伯面，對于理想朗伯面, 反射光強(qiáng)與入射光強(qiáng)比值(反射率值)僅與波長相關(guān)。利用傳感器采集該灰度板的光譜圖像，建立圖像灰度值和灰度板標(biāo)準(zhǔn)反射率之間的線性反演公式。采用最小二乘法進(jìn)行灰度值與反射率之間的線性擬合。由于反射率和灰度值是線性描述標(biāo)準(zhǔn)灰度板的光照強(qiáng)度的參數(shù)，對于某一波段反射率與灰度值為線性換算公式可以表示為

Ri=kigi+bi

(1)

其中Ri表示第i波段的反射率，gi表示第i波段的灰度值，ki和bi都是線性關(guān)系系數(shù)。

1.4 光譜圖像處理方法

玉米植株冠層是本研究的目標(biāo)對象，為了剔除圖像中土壤和培養(yǎng)盆的背景的影響，設(shè)計(jì)如圖4所示流程，利用Open CV工具開發(fā)程序進(jìn)行玉米植株冠層的分割。具體過程包括：

圖4 多光譜圖像數(shù)據(jù)處理流程圖Fig.4 Multi-spectral image data processing flow chart

(1) 采用OTSU分割算法進(jìn)行圖像的初次分割，剔除土壤背景。

(2) 針對培養(yǎng)盆圓形特征，研究采用霍夫圓變換識別花盆形狀并進(jìn)行二次分割剔除。其中，霍夫圓變換的原理是計(jì)算圓心所在圓周所有法線的交點(diǎn)，檢測圓半徑的方法是到圓心距離(即半徑)滿足閾值的點(diǎn)為圓周。

(3) 針對兩次圖像分割過程中因灰度分割、花盆圓形與葉片交叉因素導(dǎo)致的葉片上存在的點(diǎn)狀或細(xì)縫孔洞，采用形態(tài)學(xué)閉運(yùn)算處理，實(shí)現(xiàn)區(qū)域填充和還原。

(4) 以形態(tài)學(xué)處理后的圖像為模板，對25個(gè)獨(dú)立光譜圖像依次進(jìn)行掩模處理，處理后的光譜圖像中僅包含有玉米植株冠層圖像信息。

1.5 葉綠素含量診斷建模與分布成圖方法

基于玉米葉片采樣點(diǎn)SPAD值和光譜反射率建立葉綠素含量指標(biāo)診斷模型。數(shù)據(jù)處理過程包括： 異常樣本剔除、樣本集劃分、偏最小二乘回歸法(partial least squares regression, PLSR)回歸建模和繪制葉綠素含量分布圖[12-13]。

首先利用馬氏距離算法剔除與樣本平均數(shù)據(jù)偏差的絕對值超過3倍標(biāo)準(zhǔn)差的異常樣本數(shù)據(jù)。其次，利用SPXY算法將樣本按照7∶3劃分為建模集和驗(yàn)證集。然后建立葉綠素含量指標(biāo)光譜學(xué)診斷PLSR模型，通過逐步紛解輸入變量矩陣和輸出變量矩陣，利用主成分分析方法提取出的前若干個(gè)主成分?jǐn)y帶了原輸入變量矩陣的主要信息，消除相互重疊部分的信息，綜合考慮提取的主成分對輸入變量矩陣和輸出變量矩陣的解釋能力。最后將光譜圖像中每個(gè)像素點(diǎn)上的光譜數(shù)據(jù)代入到建立葉綠素含量診斷模型中計(jì)算出相應(yīng)像素點(diǎn)的SPAD值，得到SPAD值分布圖像； 再利用Matlab對SPAD值分布圖像進(jìn)行偽彩色圖像處理，將不同的SPAD值用不同的顏色表示，繪制出單株玉米冠層的葉綠素可視化分布圖。

2 結(jié)果與討論

2.1 鍍膜型光譜圖像的提取結(jié)果

利用鍍膜型光譜成像傳感器進(jìn)行溫室玉米植株的光譜數(shù)據(jù)采集，試驗(yàn)采集原始多光譜圖像如圖5所示，原始光譜圖像為2 045×1 085像素，拆分重組后的25波段多光譜圖像如圖6所示，由于對空間像素進(jìn)行了抽取，拆分后各個(gè)波段圖像為409×217像素。

圖5 原始光譜圖像Fig.5 Original multi-spectral image

圖6 拆分重組后的25波段多光譜圖像Fig.6 Single-band images after multi-spectral split and reorganization

2.2 鍍膜型光譜圖像反射率校準(zhǔn)

基于4灰度級標(biāo)準(zhǔn)板建立歸一化灰度值的反射率線性反演公式?；叶戎蹬c反射率之間的最小二乘法線性擬合結(jié)果決定系數(shù)如表1所示，擬合模型決定系數(shù)均達(dá)0.99以上。

表1 光譜反射率校準(zhǔn)模型結(jié)果Table 1 Results of spectral bands calibration

利用擬合公式對25波段光譜反射率進(jìn)行校準(zhǔn)。分別提取采樣點(diǎn)校準(zhǔn)前、校準(zhǔn)后和相應(yīng)區(qū)域ASD反射率曲線的樣例如圖7中所示。其中曲線A是原始光譜曲線，曲線B是校準(zhǔn)后的光譜曲線，曲線C是ASD光譜儀檢測的采樣點(diǎn)對應(yīng)波段的光譜反射率曲線。比較可知，673～951 nm是植物光譜由紅到近紅外的區(qū)間，主要反映了碳(C)、氫(H)、氧(O)、氮(N)等作物發(fā)育必備元素構(gòu)建分子化學(xué)鍵的倍頻吸收特征，劃分四個(gè)光譜區(qū)間，①680～720 nm由紅外進(jìn)入近紅外區(qū)域急劇上升和820～870 nm近紅外區(qū)域內(nèi)，校準(zhǔn)后反射率與ASD光譜反射率基本一致。②720～760 nm內(nèi)，校準(zhǔn)后反射率高于校正前和ASD測定曲線，但是校準(zhǔn)后曲線與ASD反射曲線反映的O—H和C—H健的倍頻吸收導(dǎo)致的峰谷波動較為一致。③760～820 nm內(nèi)，校準(zhǔn)前后反射率明顯低于ASD測定反射率，其中校準(zhǔn)后的光譜曲線低于校準(zhǔn)前； 盡管如此，校準(zhǔn)前后與ASD反射率曲線中存在的760，775和790 nm附近由于作物O—H，C—H和N—H健振動吸收導(dǎo)致的峰谷波動趨勢較為一致。

分析760～820 nm內(nèi)鍍膜型傳感器提取反射率與ASD光譜測定反射率曲線的差異，其原因是ASD光譜儀采用光柵進(jìn)行單色光的處理，而鍍膜型光譜成像傳感器是利用窄帶濾光片進(jìn)行單色光的處理，由圖2 QE分布圖中760～820 nm中包含有767，780，791和804 nm 4個(gè)窄帶其帶寬均在10 nm，遠(yuǎn)大于ASD光譜儀的3 nm分辨率，光譜分辨率與參與擬合點(diǎn)的數(shù)量可能導(dǎo)致不同傳感器之間玉米冠層光譜反射率存在差異； 其次，由圖6中767 nm相鄰成像673 nm為例，由于鍍膜型成像的馬賽克分布不是依照波長順序排列方式，鄰近光學(xué)通道可能會產(chǎn)生交互影響，但并不影響其對特定分子光譜吸收導(dǎo)致的峰谷波動特征的體現(xiàn)。

綜上所述，鍍膜型成像傳感器獲取玉米冠層反射光譜總體與ASD采集反射率體現(xiàn)的光譜特征一致，且校正后數(shù)據(jù)比校正前與ASD光譜反射率的一致性得到了提升。

圖7 采樣點(diǎn)反射率曲線A： 原始光譜曲線； B： 校準(zhǔn)后的光譜曲線；C： ASD光譜儀光譜反射率曲線Fig.7 Reflectance spectra curves of sampling pointsA： Original spectrum； B： Calibrated spectrum；C： ASD measured spectrum

2.3 光譜圖像處理結(jié)果

為了準(zhǔn)確提取玉米植株相關(guān)信息，研究開展了消除土壤影響的初步圖像分割和培養(yǎng)盆背景剔除的二次分割處理。多光譜圖像經(jīng)過OTSU初次分割后的結(jié)果如圖8(a)所示，圖中有效的剔除了土壤背景噪聲，但是除玉米植株外，存在培養(yǎng)盆背景噪聲。因而基于霍夫圓變換開展圖像二次分割，將檢索圓形像素設(shè)置為灰度級255(白色)，其他像素保留原始灰度后的效果結(jié)果如圖8(b)所示。結(jié)果顯示，培養(yǎng)盆被準(zhǔn)確識別，但是由于培養(yǎng)盆與植株葉片有重疊的影響可能存在分割細(xì)縫。開展形態(tài)學(xué)閉運(yùn)算處理結(jié)果如圖8(c)所示，玉米植株對象信息被完整的保留，為后續(xù)葉綠素檢測奠定基礎(chǔ)。

圖8 多光譜圖像處理結(jié)果圖(a): OTSU變換結(jié)果； (b): 霍夫變換結(jié)果； (c): 形態(tài)學(xué)運(yùn)算結(jié)果Fig.8 Results of multi-spectral image processing(a): Results of OTSU; (b): Result of Hough transform; (c): Result of morphology

2.4 葉綠素含量指標(biāo)診斷建模結(jié)果

將多光譜圖像中采樣點(diǎn)對應(yīng)的光譜反射率數(shù)據(jù)作為X變量，將采樣點(diǎn)的SPAD值作為Y變量，建立玉米植株葉片葉綠素含量指標(biāo)診斷PLSR模型。

圖9 建模集主成分回歸結(jié)果Fig.9 Result of PCA for modeling set

將建立的模型帶入到多光譜圖像中，可以得到玉米植株冠層SPAD值的二維分布圖，對圖像進(jìn)行偽彩色圖像處理后的結(jié)果如圖11所示，在冠層坐標(biāo)平面上，各像素點(diǎn)的葉綠素含量值用從藍(lán)到黃的不同顏色表示，越接近藍(lán)色說明該點(diǎn)葉綠素含量越低，越接近黃色則相反。

圖10 SPAD值的PSLR建模結(jié)果Fig.10 Result of PLSR model for SPAD value detection

圖11 玉米冠層SPAD值分布圖Fig.11 SPAD value visualization distributionmap of maize canopy

依據(jù)偽彩色變換圖像，分析玉米植株葉綠素含量分布特征。如圖11所示樣本為例，單個(gè)葉片的葉綠素含量分布呈現(xiàn)階梯形式的分布，距離植株中心越遠(yuǎn)的位置葉綠素指標(biāo)值越大，且上層葉片高于下部葉片。分析其原因有： ①玉米作物在生長期需要通過光合作用進(jìn)行營養(yǎng)積累，葉綠素是光吸收的物質(zhì)，葉片上葉尖位置葉綠素的累積是葉片生長干物質(zhì)生長和光合作用活躍的體現(xiàn)； ②由于作物植株體上葉片分布的差異，作物植株葉片上層葉片光吸收水平較高，而下部葉片因?yàn)槭艿缴蠈尤~片遮蔭、葉齡老化等因素的影響，其葉綠素指標(biāo)較低。說明了基于鍍膜型成像光譜數(shù)據(jù)建立玉米植株葉綠素含量指標(biāo)檢測模型，并利用葉綠素分布圖分析玉米生長參數(shù)的可行性。

盡管如此，由于本試驗(yàn)數(shù)據(jù)處于玉米苗期，SPAD值集中于25～38之間，樣本數(shù)據(jù)的顯著聚集性導(dǎo)致目前所建立的葉綠素含量指標(biāo)診斷模型精度還不高，未來還將進(jìn)一步對不同生長期連續(xù)測量，獲取大量數(shù)據(jù)對本模型進(jìn)行優(yōu)化與校正，提高模型的精度與生長期應(yīng)用的適應(yīng)性。并進(jìn)一步提高鍍膜型光譜成像傳感器在農(nóng)田玉米作物生長監(jiān)測研究中的實(shí)用性。

3 結(jié) 論

針對鍍膜型光譜成像傳感器的特點(diǎn)，開展了光譜成像數(shù)據(jù)提取和作物葉綠素分布探測研究。主要結(jié)論如下：

(1) 基于鍍膜型多光譜傳感器，通過對25波段多光譜圖像提取和反射率線性校準(zhǔn)算法，校準(zhǔn)結(jié)果的決定系數(shù)全部在0.99以上。對比校準(zhǔn)前、后與ASD光譜儀采集反射率曲線的顯示，鍍膜型成像傳感器獲取玉米冠層反射光譜總體與ASD采集反射率體現(xiàn)的光譜特征一致，且校正后數(shù)據(jù)比校正前與ASD光譜反射率的一致性得到了提升。

(2) 利用圖像分布特性，開展玉米植株冠層的分割研究。建立初次OTSU分割算法和基于霍夫圓變換識別的二次分割算法，可以分別剔除光譜圖像中的土壤和培養(yǎng)盆背景的干擾。

(3) 基于鍍膜型成像傳感器提取的光譜反射率，建立了葉綠素含量指標(biāo)SPAD值的光譜學(xué)PLSR診斷模型，建模集決定系數(shù)為0.545 1，驗(yàn)證集決定系數(shù)為0.472 6，并通過繪制并分析玉米作物冠層葉綠素分布可視化偽彩色圖。

本研究圍繞鍍膜型光譜成像傳感器在作物葉綠素含量檢測中的應(yīng)用進(jìn)行探索。未來可通過玉米植株生長期的連續(xù)測量，進(jìn)一步提高診斷模型精度，以為田間玉米植株生長動態(tài)快速檢測提供技術(shù)和應(yīng)用支持。