林雅婷，侯開虎，張冀武，蓋小雷，龍 杰，孫浩巍，張 軻，張曉偉

（1.昆明理工大學(xué) 機電工程學(xué)院，云南 昆明 650500；2.云南省煙草質(zhì)量監(jiān)督檢測站，云南 昆明 650106）

0 引言

煙草行業(yè)在我國占有非常重要的經(jīng)濟(jì)地位。目前，國內(nèi)外主要依靠分級人員的經(jīng)驗對煙葉進(jìn)行分級。隨著產(chǎn)業(yè)化發(fā)展進(jìn)程的加快，該方式難以適應(yīng)煙葉質(zhì)量檢測與分級標(biāo)準(zhǔn)不斷規(guī)范化的客觀要求［1-2］。因此，煙葉智能分級成為當(dāng)前產(chǎn)業(yè)進(jìn)一步發(fā)展的關(guān)鍵。

目前，機器視覺技術(shù)成為煙葉智能分級的重要手段，在煙葉顏色和葉形識別方面取得了重要成果，為煙葉智能分級提供了重要依據(jù)［3-4］。為使煙葉分級精度得到進(jìn)一步提高，除上述要素外，還需考慮葉片紋理、褶皺等因素。目前，已有學(xué)者對煙葉褶皺紋理特征進(jìn)行了研究。例如，楊曉娟［5］運用灰度共生矩陣法提取煙葉紋理特征，最后確定能量、紋理熵、對比度和相關(guān)性作為評判煙葉等級的4 個特征；戴建民等［6］基于圖像的灰度直方圖統(tǒng)計紋理特征的均值、標(biāo)準(zhǔn)差對紋理進(jìn)行描述；陳朋［7］運用Gabor 小波變換法對煙葉紋理特征進(jìn)行提取，最終通過各級別煙葉紋理的特征均值和標(biāo)準(zhǔn)方差劃分煙葉等級。然而，現(xiàn)有研究主要通過單目相機獲取二維圖像提取信息進(jìn)行褶皺紋理分析，由于受圖像維度的限制，表面遮擋、褶皺等信息無法得到精準(zhǔn)表征，進(jìn)而影響煙葉面積、褶皺等形態(tài)學(xué)參數(shù)的測量精度，對煙葉分級造成一定影響。因此，針對煙葉表型測量存在的問題和局限性，如何呈現(xiàn)煙葉表面細(xì)節(jié)以更好地提高煙葉表面積計算精度是目前亟待解決的問題。

雙目立體視覺是目前可視化研究中的關(guān)鍵技術(shù)，其通過模仿人的視覺原理獲取圖像的深度信息，將二維圖像轉(zhuǎn)換為三維幾何信息，可以更大程度地呈現(xiàn)物體的表面細(xì)節(jié)，在植物表型研究方面具有明顯的優(yōu)勢。目前，部分學(xué)者基于雙目視覺對植物表型進(jìn)行了三維重建技術(shù)研究。例如，殷悅等［8］采用基于雙目視覺的三維重建技術(shù)得到擬南芥三維逼真模型；田東旭［9］采用雙目視覺技術(shù)結(jié)合植物建模方法建立了大田玉米植株模型并在此基礎(chǔ)上實現(xiàn)了植株各葉片的識別與定位；尹世和等［10］通過搭建雙目視覺平臺對大豆植株的生長參數(shù)進(jìn)行無損檢測，快速準(zhǔn)確地獲得了測量結(jié)果。

上述文獻(xiàn)表明，采用基于雙目視覺的三維重建技術(shù)應(yīng)用于植物研究能得到更全面的性狀參數(shù)，對植物表型進(jìn)行更精確的分析，還具有操作靈活、成本低、效率高等特點，但目前將該技術(shù)應(yīng)用于煙葉表型分析的研究較少。因此，本文針對采用二維圖像處理測量存在維度分析局限性而影響煙葉智能分級準(zhǔn)確度的問題，提出一種基于雙目視覺的煙葉表面積三維測量方法。首先，通過雙目視覺系統(tǒng)采集煙葉圖片，對得到的左右圖像進(jìn)行立體匹配得到視差圖；然后運用三角測量原理生成三維點云，導(dǎo)入Meshlab 軟件中實現(xiàn)煙葉表面的三維重建；最后基于VTK 庫計算得到煙葉的表面積。

1 材料與方法

1.1 實驗材料

本研究使用的煙葉均由云南省煙草質(zhì)量監(jiān)督檢測站的分級專家進(jìn)行部位分級，根據(jù)最小樣本量的要求選取上部煙葉、中部煙葉、下部煙葉各30 片，共計90 片不同褶皺彎曲煙葉。

1.2 圖像處理

1.2.1 相機雙目標(biāo)定

采用張氏標(biāo)定法對相機進(jìn)行標(biāo)定，標(biāo)定板選用12×9規(guī)格的棋盤格，每個格子的大小為15mm。通過固定的雙目相機分別拍攝標(biāo)定板正面、前后、左右各傾斜15°方向的圖片，選擇性地刪除存在角度或光線問題的圖片以提升標(biāo)定精度，最終得到采集后的左右圖片各14 張。將圖片分組導(dǎo)入MATLAB，使用圖像處理和計算機視覺工具箱中的Stereo Camera Calibration 進(jìn)行標(biāo)定，獲取左右兩個相機的內(nèi)外參數(shù)。經(jīng)上述操作后，得到標(biāo)定板與相機的14 種位姿和空間信息以及相機標(biāo)定誤差，最后得到相機標(biāo)定誤差為0.17，滿足實驗所需的精度要求。

1.2.2 煙葉圖像立體校正

立體校正是為了將實際情況下雙目攝像頭成像不共面、極線不平行的兩幅煙葉圖像，通過標(biāo)定參數(shù)R 和T 進(jìn)行矯正，得到左右相機光軸平行、成像平面完全共面且行對準(zhǔn)的圖像。在雙目相機拍攝完煙葉的照片后，根據(jù)上述標(biāo)定所得參數(shù)，調(diào)用opencv 中cv2.stereo Rectify、cv2.undistort、cv2.remap、cv2.init Undistort Rectify Map 等函數(shù)進(jìn)行圖像校正，并修剪成合適的尺寸，再通過畫線的方式進(jìn)行立體校正檢驗。通過煙葉實物的圖像校正可以看出該方法的矯正效果良好。圖1 為立體校正前的圖像，圖2 為立體校正后的圖像。

Fig.1 Tobacco leaf image before stereo correction圖1 立體校正前的煙葉圖像

Fig.2 Tobacco leaf image after stereo correction圖2 立體校正后的煙葉圖像

1.2.3 圖像立體匹配

SGBM（Semi-global Block Matching）算法是一種半全局算法，結(jié)合了全局和局部匹配算法的優(yōu)點，在運算速度和精度方面具有優(yōu)勢，主要包括以下幾個步驟。

（1）預(yù)處理。水平算子Sobel 遍歷圖像上的每個像素點，然后利用函數(shù)將其映射成為一個新圖像，從而得到圖像的梯度信息，用于代價計算。Sobel算子的計算公式為：

（2）代價計算。煙葉左右圖像同時進(jìn)行兩種不同的處理［11］，一種是對原圖進(jìn)行水平方向的梯度濾波，然后再進(jìn)行BT 代價計算；另一種是直接輸入圖像進(jìn)行BT 代價計算。將以上兩步代價計算得到的結(jié)果進(jìn)行融合，并進(jìn)行成塊處理。

（3）動態(tài)規(guī)劃。通過圖像中多個方向上一維路徑的約束建立一個全局的馬爾科夫能量方程，每個像素最終的匹配代價為所有路徑信息的疊加，每個像素的視差選擇通過贏家通吃算法（Winner-Takes-All，WTA）決定。在每個方向上按照動態(tài)規(guī)劃的思想進(jìn)行能量累積，然后將各個方向上的匹配代價相加得到總的匹配代價，表示為：

式中，P1、P2 為控制視差變化平滑性的參數(shù)，兩值越大，視差越平滑。當(dāng)P1

（4）視差圖后處理。由于環(huán)境或設(shè)備因素影響，經(jīng)上述操作得到視差圖后，圖像一般會存在一定缺陷，如噪聲過大、圖像不連貫等現(xiàn)象，不便于后續(xù)點云三維重建。后處理包含唯一性檢測、亞像素插值、左右一致性檢測步驟。首先對立體校正后的煙葉圖片進(jìn)行灰度化和直方圖均衡化處理，經(jīng)過操作后仍能反映整幅圖像整體亮度和色度分布，且圖像更為清晰，增強了圖像整體的對比度，同時減少了后續(xù)計算量。圖像預(yù)處理完后，調(diào)用opencv 中的SGBM算法進(jìn)行立體匹配，其中StereoSGBM_create 函數(shù)中的各個參數(shù)需要根據(jù)不同參數(shù)設(shè)置下獲得的視差圖效果進(jìn)行調(diào)整，得到最終參數(shù)設(shè)置。

1.2.4 視差圖獲取

圖3 左圖為初始視差圖，右圖為精細(xì)化視差圖?？梢钥闯觯髨D像中煙葉輪廓信息和深度信息大且灰度值分布比較均勻，匹配效果較好。但此時的初始視差圖受實驗條件和實驗設(shè)備的影響，仍存在一些問題，如噪聲點多、精度低等，需要對視差圖進(jìn)行優(yōu)化和修正。使用閾值處理初始視差圖獲得二值化圖像，利用形態(tài)學(xué)處理進(jìn)行孤立小區(qū)域的去除和孔洞填充，對圖像中遮擋區(qū)域和空洞點進(jìn)行適當(dāng)填補，使得圖像更加稠密可觀。

Fig.3 Initial disparity map and refined disparity map圖3 初始視差圖和精細(xì)化視差圖

1.3 煙葉表面三維重建

1.3.1 煙葉三維點云

通過SGBM 算法立體匹配得到視差圖后，根據(jù)三角測量原理對視差圖中所有點的深度進(jìn)行計算。將得到的深度值代入成像模型中，根據(jù)逆向數(shù)學(xué)轉(zhuǎn)換關(guān)系計算各點的三維坐標(biāo)，再對其進(jìn)行點云可視化操作，從而恢復(fù)圖像的三維信息［12］。將物體在左右相機成像平面的一定偏移視差信息作為基礎(chǔ)獲取深度信息，其測量原理見圖4。

Fig.4 Binocular camera imaging principle圖4 雙目相機成像原理

在圖4 中，點P 為世界坐標(biāo)系中的一點，其在相機左右成像平面上得到Pl和Pr兩點，Xl和Xr分別為點P 在左右成像平面上的視差；左右相機基線b 表示兩個相機光心的距離；相機焦距f 表示相機光心到成像平面的距離。定義P點到兩光心OlOr的垂直距離為深度Z，由上圖可以得到ΔOlPZl～ΔOlPlRl和ΔOrPZr～ΔOrPrRr。然后按照三角形相似原則，最終得到P點的三維坐標(biāo)信息，表示為：

根據(jù)SGBM 生成的視差圖、相機標(biāo)定參數(shù)、左相機原圖提供的RGB 信息結(jié)合三角測量原理，利用python-pcl 將其轉(zhuǎn)換成立體圖像進(jìn)行可視化顯示，并進(jìn)行交互處理，獲得的點云圖如圖5所示。

1.3.2 煙葉表面三維重建

Fig.5 3D point cloud image of tobacco leaves圖5 煙葉的三維點云圖

由于煙葉表面存在不規(guī)則的紋理和褶皺，直接使用離散點云求取葉片面積會產(chǎn)生測量結(jié)果不準(zhǔn)確的現(xiàn)象。為解決該問題，本文基于三維點云數(shù)據(jù)使用Ball Pivoting 算法對葉片表面進(jìn)行三維重建［13］。將三維點云數(shù)據(jù)導(dǎo)入Meshlab，原本的煙葉三維點云數(shù)量為62310，對一些由于噪聲造成的離群的點云手動進(jìn)行刪除和濾波處理，經(jīng)過處理后煙葉的點云數(shù)量變?yōu)?1599，整體點云變得更加平滑。在表面重建中選擇Ball Pivoting 對非均勻離散點云進(jìn)行曲面重建。根據(jù)點云的疏密程度，設(shè)置合適的聚類半徑和角度閾值，得到接近實際的煙葉表面模型，如圖6所示。

Fig.6 Tobacco leaf surface reconstruction by Ball Pivoting algorithm圖6 Ball Pivoting算法重建煙葉表面模型

1.4 煙葉表面積計算

將上述三維重建模型生成的ply 文件通過VTK 庫中的公式vtkMassProperties 實現(xiàn)三角網(wǎng)格的表面積計算。首先遍歷葉片表面所有的封閉三角網(wǎng)格單元，然后將所有網(wǎng)格面積進(jìn)行累加得到整體葉片總面積。

2 實驗結(jié)果與分析

2.1 不同處理方法的煙葉面積測量

分別采用本文方法、二維圖像法以及網(wǎng)格法對上、中、下3 個部位的90 片煙葉進(jìn)行面積測量，以評價本文方法的性能。單葉面積測量有多種方法，其中網(wǎng)格法和紙樣稱重法最為準(zhǔn)確［14］。由于本文采用烘烤后的煙葉作為實驗對象，煙葉葉形較大且有不同程度的褶皺彎曲，單片煙葉中區(qū)塊間的厚度差異各不相同，紙樣稱重法很難對其面積進(jìn)行測量，因此選用網(wǎng)格法作為面積測量值的參考標(biāo)準(zhǔn)。在使用網(wǎng)格法進(jìn)行測量時，選用帶有方格單位的白紙，最小方格單位為1cm2，將待測煙葉葉片完全展開平鋪在方格紙上，用鉛筆在白紙上準(zhǔn)確勾勒出每片煙葉的形狀，計算出煙葉所占用的方格數(shù)量，其中切格的按四舍五入計算，最后經(jīng)過統(tǒng)計得到葉片面積［15］。由于煙葉面積較大，且測量時是將煙葉完全平整地按壓在紙上描形，測量出的網(wǎng)格誤差數(shù)對煙葉面積的影響較小，因此將網(wǎng)格法測量的結(jié)果作為煙葉表面積真實值的參考值。

在使用二維圖像測量法進(jìn)行測量時，首先需要采集煙葉自然形態(tài)下的圖像，然后對煙葉圖像進(jìn)行預(yù)處理，進(jìn)一步提高圖像質(zhì)量，增強可靠性。為進(jìn)一步得到煙葉圖像的外形特征，選用合適的閾值對處理后的圖像進(jìn)行二值化處理和圖像分割，從而獲得煙葉的輪廓信息，然后調(diào)用cv2.contourArea 公式求得圖像面積。但此時得到的煙葉面積數(shù)值為像素值，需要與參照物真實面積值和像素值等比代換得到的值進(jìn)行換算，最后得出煙葉真實的二維圖像面積。上述兩種方法與本文方法得到的上、中、下部煙葉面積測量結(jié)果比較如表1-表3所示。

Table 1 Comparative calculation results of the surface area of the upper tobacco leaves by each method表1 各方法上部煙葉葉片表面積測量結(jié)果比較

2.2 實驗結(jié)果分析

運用3 種方法對煙葉表面積進(jìn)行測量，其中二維圖像法運行平均時長最少約為110ms，三維重建法平均運行時長比二維圖像法多5s。網(wǎng)格法測量用時最長，其在煙葉描形、格子計數(shù)等步驟花費了大量時間，每片煙葉測量平均耗時7.5min，測量操作步驟繁瑣且效率低，不便于大規(guī)模用于煙葉表面積測量。

經(jīng)過3 次實驗，在上部煙葉面積測量中，本文方法與二維圖像法相比面積測量值的平均相對誤差有顯著下降，減少約39.46%；在中部煙葉面積測量中，本文方法與二維圖像法相比平均相對誤差減少約30.61%；在下部煙葉面積測量中，本文方法與二維圖法相比平均相對誤差約減少18.16%。綜上所述，本文方法在各個部位煙葉面積測量上的準(zhǔn)確率均有所提升，其中上部煙葉的測量效果最為明顯。

Table 2 Comparative calculation results of the surface area of the central tobacco leaves by each method表2 各方法中部煙葉葉片表面積測量結(jié)果比較

根據(jù)上述分析，本文方法在煙葉面積測量上的平均相對誤差低于二維圖像法，所測量的面積值更接近于真實值。由于煙葉各部位存在不同程度的褶皺，二維圖像法測量面積時只能計算煙葉自然狀態(tài)下的投影面積，無法對彎曲褶皺部分的面積進(jìn)行測量，因此測量出的面積值與真實值存在較大偏差。而本文方法利用雙目視覺存在的視覺差對煙葉進(jìn)行三維重建，能夠最大程度地還原煙葉的表面形態(tài)，盡可能測量到彎曲褶皺部分的面積。與網(wǎng)格法相比，本文方法測量面積偏大是由于相機精度不夠高或測量的圖像存在一些噪聲，導(dǎo)致點云測量面積增大；測量面積偏小則是由于部分煙葉存在折疊層數(shù)過多或褶皺程度過深的現(xiàn)象，雙目相機拍攝圖像時仍存在一些無法獲取的葉片折疊或褶皺信息，無法捕捉這部分煙葉褶皺區(qū)域的坐標(biāo)數(shù)據(jù)，重建過程中該部分點云缺失，給測定結(jié)果造成影響。

Table 3 Comparative calculation results of the surface area of the lower tobacco leaves by each method表3 各方法下部煙葉葉片表面積測量結(jié)果比較

此外，專家經(jīng)驗表明煙葉的部位越高，葉片表面褶皺程度越深。隨著煙葉部位的升高，煙葉表面褶皺程度加深，二維圖像中遮擋的面積部分也會相應(yīng)增加，因此產(chǎn)生了煙葉部位越高，應(yīng)用二維圖像法測量造成的面積相對誤差越高的現(xiàn)象。而運用三維重建法測量煙葉上、中、下3個部位煙葉的表面積時，各部位平均相對誤差較二維圖像法大幅度降低，測量出的結(jié)果表現(xiàn)為上部煙葉測量的相對誤差值>中部煙葉測量的相對誤差值>下部煙葉測量的相對誤差值。從另一個角度來看，可根據(jù)二維圖像法與網(wǎng)格法的相對誤差和三維重建法與網(wǎng)格法的相對誤差兩者的差值對煙葉褶皺程度進(jìn)行判別，這兩者的差值表現(xiàn)為三維重建法重建出的褶皺部分在網(wǎng)格法測量面積值中的占比，兩者差值越大表明煙葉的褶皺程度越深，因而其更偏向于上部煙葉；反之差值越小，表明存在的褶皺區(qū)域越少，則更靠近下部煙葉。

3 結(jié)語

本文針對二維圖像測量中存在煙葉彎曲褶皺現(xiàn)象，從而導(dǎo)致煙葉表面積計算有誤，進(jìn)而影響煙葉智能分級精度的問題，提出一種基于雙目視覺的煙葉表面積三維測量方法。通過煙葉各部位面積測量結(jié)果的比較，發(fā)現(xiàn)本文方法的平均測量準(zhǔn)確度較二維圖像法提高約30%，更接近于葉片直接測量得到的實際面積，驗證了該方法用于煙葉表面積測量的準(zhǔn)確性和有效性。除此之外，以上兩種方法與網(wǎng)格法測量結(jié)果的相對誤差差值可以體現(xiàn)各個部位煙葉的不同褶皺程度，為后續(xù)煙葉智能分級過程中褶皺程度分析提供一定參考。