楊士華，曹軍，陳梁，崔波，尉龍

（1.上海上電漕涇發(fā)電有限公司，上海 201507；2.中科航宇（北京）自動(dòng)化工程技術(shù)有限公司，北京 100096）

盤煤儀可精確測(cè)量電廠煤炭存量，優(yōu)化生產(chǎn)結(jié)構(gòu)，在煤場(chǎng)、電廠數(shù)字化改造中有著極大的應(yīng)用前景。由于煤場(chǎng)中通常存在斗輪機(jī)、運(yùn)輸車等干擾物，且煤場(chǎng)周圍墻壁等為黑色，對(duì)煤炭體積測(cè)量產(chǎn)生較大干擾，快速分離煤炭體積并高精度測(cè)量仍是一大難點(diǎn)。

目前盤煤設(shè)備采用的方法通常為三原色（red，green，blue，RGB）圖像法、深度測(cè)量法。其中RGB圖像法能準(zhǔn)確區(qū)分色彩差異較大的干擾物，但易受背景噪音干擾；深度測(cè)量法不受背景干擾，但易受到斗輪機(jī)、傳送帶等設(shè)備干擾，導(dǎo)致傳統(tǒng)盤煤儀無法區(qū)分煤堆與干擾信息。本項(xiàng)目采用基于光飛行時(shí)間（time of flight，ToF）原理的深度傳感器聯(lián)合RGB圖像法，結(jié)合煤場(chǎng)實(shí)地情況，對(duì)直接線性變換（direct linear transform，DLT）標(biāo)定模型、雙邊濾波降噪算法進(jìn)行改進(jìn)，提出基于顏色和法向量的點(diǎn)云分割算法分離煤堆模型，并測(cè)量體積。經(jīng)驗(yàn)證，具有較好的工程應(yīng)用效果。

1 DLT模型改進(jìn)標(biāo)定算法

2 基于ToF算法的改進(jìn)三維重建算法

2.1 深度信息獲取

深度傳感器基于ToF原理獲取深度信息，光源發(fā)射光線經(jīng)過傳感器方波調(diào)制后，平均頻率為80 MHz，通過檢測(cè)光線發(fā)射與接收時(shí)的相位差以及衰減，計(jì)算光線在空中傳播時(shí)長(zhǎng)。由飛行時(shí)長(zhǎng)可進(jìn)一步判斷深度傳感器與煤堆的距離信息。計(jì)算公式如下：

式中：φ為調(diào)制信號(hào)的相位偏移值；f0為傳感器的調(diào)制頻率；l為距離；t0為光飛行時(shí)間；c為光速，約為3×108m/s。

2.2 煤場(chǎng)誤識(shí)別信息剔除

誤識(shí)別信息主要分為兩類，一類是煤場(chǎng)周圍墻壁、護(hù)欄以及運(yùn)輸車等干擾物體，另一類是距離傳感器過近的遮擋物，如斗輪機(jī)等。

首先，通過霍夫變換剔除容器壁以及壁外干擾物體。由于項(xiàng)目中煤場(chǎng)為標(biāo)準(zhǔn)矩形，可通過基于霍夫變換分離圖像中相同特征的幾何形狀。依托y=kx+b公式，將直線方程的參數(shù)與變量互換，使x—y空間中全部點(diǎn)（x，y）對(duì)應(yīng)為k—b空間中的單個(gè)點(diǎn)，則在變量空間中的多條線與參數(shù)空間中的極值點(diǎn)相對(duì)應(yīng)。故確定k—b空間中局部區(qū)域的極值點(diǎn)即可確定直線，如圖1所示。

圖1 直線對(duì)應(yīng)為點(diǎn)Fig.1 Straight lines correspond to points

將直線方程表述為極坐標(biāo)方式，即

利用二維累加器檢測(cè)直線，通過在累加器中尋找局部最大值，從而確定直線存在，即為煤場(chǎng)邊緣。

其次，通過距離閾值分割剔除過近遮擋物。煤堆底部位于深度傳感器下方約39 m米處，煤堆最高處約19 m，故而有效的深度范圍為20 m～39m。當(dāng)識(shí)別深度大于39m或小于20m，均為斗輪機(jī)等干擾物體深度信息。

直通濾波器可以濾除超出識(shí)別范圍的深度信息，假設(shè)某點(diǎn)的三維坐標(biāo)為（u，v，d），其中（u，v）為該點(diǎn)在像素平面坐標(biāo)系下的像素坐標(biāo)，d為該點(diǎn)的深度值。maxd表示允許的最大深度值，mind表示允許的最小深度值。則有：

由于煤場(chǎng)位于場(chǎng)景中心，邊緣區(qū)域?yàn)闊o煤區(qū)域，故可通過保留中心周圍區(qū)域，從而保留有效深度信息。保留區(qū)域?yàn)椋?/p>

式中：（u0，v0）為深度圖的中央位置處坐標(biāo)值；w為深度圖橫向像素值；n為該點(diǎn)法向量；h為深度圖的縱向像素值。

2.3 雙邊濾波降噪算法改進(jìn)

傳統(tǒng)的邊濾波算法中噪點(diǎn)主要利用法向量ni和濾波因子α，但由于在計(jì)算二者時(shí)，將噪點(diǎn)pi的三維坐標(biāo)考慮在內(nèi)，導(dǎo)致存在誤差，當(dāng)噪點(diǎn)偏移很大時(shí)，濾波不起作用，故需要對(duì)傳統(tǒng)雙邊濾波算法進(jìn)行改進(jìn)。雙邊濾波算法對(duì)噪點(diǎn)的調(diào)整方向沿著該點(diǎn)的法線向量。移動(dòng)公式如下所示：

3 煤場(chǎng)建模與體積測(cè)算

3.1 基于Unity3D的虛擬場(chǎng)景設(shè)計(jì)

項(xiàng)目使用Unity3D 5.6.0設(shè)計(jì)虛擬場(chǎng)景，根據(jù)不同高度顯示不同的RGB值，顯示出明顯的區(qū)分效果。

Toggle_Contour.cs：控件事件響應(yīng)“高度圖”。

Toggle_Depth.cs：控件事件響應(yīng)“深度圖”。

Toggle_Histogram.cs：控件事件響應(yīng)“直方圖”。

利用深度傳感器探測(cè)煤場(chǎng)深度信息，并在最高處使用淺色投影、最低處使用深色投影，中間區(qū)域采用漸變色進(jìn)行投影，如圖2所示。

圖2 不同深度顯示不同顏色Fig.2 Shows different colors at different depths

3.2 基于顏色和法向量的點(diǎn)云分割

在獲取點(diǎn)云模型后需確定煤堆位置并分離模型?？紤]到煤堆為黑色，與周圍運(yùn)輸車等RGB值存在一定差距，故提出一種基于顏色及點(diǎn)云法向量的點(diǎn)云分割方法?？紤]到煤場(chǎng)周圍墻壁亦為黑色，故引入法向量因素。在本項(xiàng)目中煤場(chǎng)邊緣與煤堆接觸位置會(huì)產(chǎn)生點(diǎn)云法向量的突變，如圖3所示。在長(zhǎng)方體邊緣部分的法向量的z方向值會(huì)非常小，故在遍歷點(diǎn)云的過程中除顏色的信息，引入法向量z分量信息，如z分量所占比例小于10%，此點(diǎn)將不被計(jì)入目標(biāo)點(diǎn)。

圖3 邊緣法線示意圖Fig.3 Diagram of edge normals

基于顏色及法向量的點(diǎn)云分割效果圖如圖4所示，可看出分割結(jié)果已經(jīng)濾除了幾乎全部的無關(guān)點(diǎn)，只留下了目標(biāo)被測(cè)物。

圖4 點(diǎn)于分割效果Fig.4 Segmentation effect of point cloud

3.3 點(diǎn)云體積計(jì)算

得到目標(biāo)被測(cè)物點(diǎn)云模型后，則可進(jìn)入體積計(jì)算過程，由于此步驟的算法相對(duì)繁瑣，故對(duì)點(diǎn)云模型進(jìn)行下采樣，如圖5所示。

圖5 下采樣效果圖Fig.5 Sampling effect diagram below

下采樣之后擬使用基于不附帶任何拓?fù)湫畔⒌纳y點(diǎn)云的四面體剖分體積計(jì)算法計(jì)算煤堆體積。首先進(jìn)行四面體剖分，方案如下：

1）構(gòu)建初始四面體，形成初始化四面體網(wǎng)格。

2）將某一個(gè)點(diǎn)插入四面體網(wǎng)格中，對(duì)于輸入點(diǎn)P，利用隨機(jī)方法找包含P的四面體，如果P位于該四面體之中，則完成，否則隨機(jī)指定三角面E，若T和P在平面的兩邊，共享E的鄰近四面體則為下一個(gè)訪問的四面體，直到找到分割開T和P的面。

3）找到包含P的四面體，則將該四面體一分為四。

4）如若P不在當(dāng)前四面體中，則選擇P所在面的一側(cè)，連接P與該面的3個(gè)頂點(diǎn)形成新的四面體，計(jì)入之前網(wǎng)格。

5）重復(fù)2）～4）步驟，直到點(diǎn)集中的點(diǎn)均處理完成。

分割完成后遍歷四面體，計(jì)算得到所有分割四面體的外接球，對(duì)每個(gè)頂點(diǎn)沿法向量方向做射線，若所有射線交于外接球上（不包含射線原點(diǎn)），則不考慮此四面體[3]；否則，將該四面體加入體內(nèi)四面體范疇。得到所有體內(nèi)四面體之后利用下式計(jì)算體內(nèi)四面體體積之和，即為目標(biāo)被測(cè)物體積。

式中：(x1，y1，z1)～(x4，y4，z4)為四面體頂點(diǎn)坐標(biāo)。

4 實(shí)驗(yàn)驗(yàn)證

4.1 改進(jìn)DLT標(biāo)定算法對(duì)比實(shí)驗(yàn)

通過深度傳感器獲取圖像中控制點(diǎn)坐標(biāo)，計(jì)算內(nèi)參與畸變系數(shù)，生成殘差圖。為驗(yàn)證DLT算法改進(jìn)后效果，將其與傳統(tǒng)DLT方法進(jìn)行對(duì)比。焦距測(cè)量參數(shù)如表1所示。

表1 內(nèi)參數(shù)實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of parameters

畸變系數(shù)主要有徑向畸變系數(shù)k1，k2，以及偏心畸變系數(shù)p1，p2。測(cè)量數(shù)據(jù)比照如表2所示。

表2 畸變系數(shù)實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of distortion coefficient

由內(nèi)參數(shù)與畸變系數(shù)實(shí)驗(yàn)結(jié)果，將52個(gè)特征點(diǎn)在x，y方向的標(biāo)準(zhǔn)差以及每個(gè)特征點(diǎn)的殘差vx，vy求出，如圖6所示，其單位均為像素（px）[4]。

圖6 改進(jìn)DLT方法殘差分布圖Fig.6 Residual distribution of the improved DLT method

相較傳統(tǒng)DLT算法的殘差在豎直方向可控制在10像素以內(nèi)，水平方向只能控制在2個(gè)像素以內(nèi)，改進(jìn)的DLT算法的特征點(diǎn)的精度顯著小于傳統(tǒng)DLT算法，其水平與豎直方向的殘差均可控制到2個(gè)像素之內(nèi)。

4.2 改進(jìn)雙邊濾波算法對(duì)比試驗(yàn)

首先以每個(gè)三維數(shù)據(jù)點(diǎn)pi為研究對(duì)象，獲取周圍kN個(gè)最近點(diǎn)的數(shù)據(jù)集，表示為N（pi）。之后使用主成份分析法計(jì)算該對(duì)應(yīng)點(diǎn)pi的法向量和周圍鄰域點(diǎn)pj的法向量，記錄法向量方向。隨后求取該點(diǎn)與周圍鄰域中任意一點(diǎn)pj之間的距離，即模長(zhǎng)m以及兩點(diǎn)的法向量之間內(nèi)積wr。當(dāng)wr＜0，則令wr=0。

式中：wri與wrj為內(nèi)積對(duì)應(yīng)的三維空間點(diǎn)。

代入m與n，從而解出特征保持因子Ws（n-1）以及光滑濾波因子Wc（m）。利用特征保持因子與光滑濾波因子得出雙邊濾波因子[5]，對(duì)三維數(shù)據(jù)點(diǎn)pi移動(dòng)，同理完成所有點(diǎn)云操作，得出最終點(diǎn)云。

對(duì)其在不同kN值下濾除效果進(jìn)行分析，以濾除噪點(diǎn)個(gè)數(shù)為縱坐標(biāo)，kN值為橫坐標(biāo)，建立關(guān)系曲線如圖7所示。由圖7可知，當(dāng)kN值小于8時(shí)，隨著kN值增加，濾除噪點(diǎn)個(gè)數(shù)m顯著增加，但當(dāng)kN值大于8，雖個(gè)數(shù)繼續(xù)增加，但濾除噪點(diǎn)個(gè)數(shù)顯著減小。

圖7 kN值與濾波本領(lǐng)關(guān)系Fig.7 Relationship betweenkNvalue and filtering power

由圖8可知，隨著kN值增加，濾波消耗時(shí)間近似成正比例函數(shù)增加。故綜合分析濾波時(shí)間與濾波本領(lǐng)，選定kN值為8。

圖8 計(jì)算耗時(shí)與kN值關(guān)系Fig.8 Relationship between calculation time andkNvalue

4.3 煤堆體積測(cè)算實(shí)驗(yàn)

為驗(yàn)證體積測(cè)算準(zhǔn)確度，搭建微型煤場(chǎng)，將已知質(zhì)量的煤堆放入煤場(chǎng)中。煤堆與煤場(chǎng)邊緣有貼合的情況下，每組實(shí)驗(yàn)進(jìn)行10次得到結(jié)果如表3所示。實(shí)驗(yàn)結(jié)果表明，當(dāng)煤堆模型表面即為所有煤炭時(shí)，測(cè)量精度較高，相對(duì)誤差可達(dá)2.75%。當(dāng)被測(cè)物貼合載物空間邊緣時(shí)，測(cè)量精度下降嚴(yán)重，當(dāng)煤炭覆蓋煤場(chǎng)全部地面時(shí)，依據(jù)煤場(chǎng)空間體積進(jìn)行相關(guān)估算，加入此體積后，測(cè)量精度有所提升，相對(duì)誤差基本穩(wěn)定在5%之內(nèi)，符合測(cè)量要求。

表3 煤堆質(zhì)量測(cè)量實(shí)驗(yàn)結(jié)果表Tab.3 Coal pile quality measurement experimental results table

5 結(jié)論

針對(duì)已有盤煤儀存在標(biāo)定誤差大、點(diǎn)云濾波算法失效等問題，以及煤場(chǎng)中斗輪機(jī)等干擾物影響導(dǎo)致模型失真的問題，提出相應(yīng)解決方案：

1）改進(jìn)DLT標(biāo)定算法，考慮光學(xué)畸變等因素，引入像平面坐標(biāo)修正量及像平面坐標(biāo)觀測(cè)值修正量，將特征點(diǎn)在各個(gè)方向殘差控制在2個(gè)像素之內(nèi)。

2）通過改進(jìn)雙邊濾波算法，有效剔除離群點(diǎn)，平滑模型點(diǎn)云。

3）基于霍夫變換和距離閾值分割，有效剔除干擾信息，對(duì)斗輪機(jī)、煤場(chǎng)墻壁等具有較強(qiáng)過濾作用。

4）提出基于顏色和法向量的點(diǎn)云分割方案，排除運(yùn)輸車、石堆等干擾物影響，測(cè)量相對(duì)誤差控制在2.75%左右，確保測(cè)量結(jié)果更為精準(zhǔn)。