楊文龍 ，馬保亮 ，陳 辰

（1.贛州有色冶金研究所，江西 贛州 341000；2.江西理工大學(xué) 電氣工程與自動化學(xué)院，江西 贛州 341000；3.贛州有色冶金研究所有色金屬礦冶裝備工作設(shè)計中心，江西 贛州 341000）

礦石生產(chǎn)是地下礦山企業(yè)生產(chǎn)經(jīng)營的重要組成部分，出礦量是礦山生產(chǎn)效益和績效考核的重要指標。關(guān)于礦石開采后的運輸計量問題，現(xiàn)行的主要解決方法是較為粗放的人工計量方法，主要是通過派遣專員在現(xiàn)場數(shù)運礦機車的載礦礦斗數(shù)，并根據(jù)礦斗的核載量估算出礦量。這種方法雖然簡單方便，但是每個礦斗無法確保每次滿載，偏差太大，同時受人的因素影響太大，現(xiàn)場人員十分辛苦，也不夠經(jīng)濟。

關(guān)于礦石出礦的計量包括兩個內(nèi)容：一是根據(jù)礦斗是否空載，清點運礦機車的礦斗數(shù)量；二是根據(jù)礦斗的核載量，估算每個礦斗的載礦量。從傳統(tǒng)的人工計量的角度來看，載礦礦斗的數(shù)量可以通過人工計數(shù)方法實現(xiàn)準確的統(tǒng)計，但是估算每個礦斗的實際載礦量，即使是擁有豐富經(jīng)驗的工人來算，依然無法達到準確的計量。對于礦山企業(yè)而言，無法掌握準確的礦石生產(chǎn)數(shù)據(jù)，嚴重影響礦山的生產(chǎn)平衡和成本控制。

基于以上現(xiàn)狀，有相關(guān)研究人員提出了一些改進方案，用基于車牌識別的方式代替人工點算礦斗[1]，用動態(tài)軌道衡去稱量礦斗的載礦量[2]。雖然這種方案取代了人工操作，但是動態(tài)軌道衡成本昂貴，而且礦山井下環(huán)境復(fù)雜惡劣，容易損壞不易維護。近年來，隨著紅外測距技術(shù)的發(fā)展，基于紅外測距技術(shù)開發(fā)的深度相機設(shè)備也得到了相關(guān)研究人員的關(guān)注。深度相機可以同時獲取目標物體的標準格式的色彩圖像（以下簡稱“RGB圖像”）和深度信息圖像，目前已經(jīng)有一些將深度相機用于物體體積測量的研究[3-7]。前人研究表明借助深度相機可以獲取目標物體深度信息的特性去計算物體體積的方案是切實可行的。那么，再結(jié)合物體密度計算物體的重量也是可以實現(xiàn)的。

1 測量方法的設(shè)計原理

經(jīng)過以上研究調(diào)查，本文提出了基于深度相機的礦斗載礦量的測量方案。根據(jù)密度計算公式，可知：重量=體積×密度。深度相機可以獲取目標礦斗的兩種圖像：一個是深度圖像，一個是RGB圖像。其中，深度圖像反映目標物體的深度信息，RGB圖像則反映目標物體上表面的紋理特征。

1.1 體積

體積的獲取方法流程如圖1所示，先對深度圖像進行數(shù)據(jù)預(yù)處理，然后提取深度信息，利用礦斗固定體積模型結(jié)合微分法計算出目標礦斗的體積。

圖1 體積計算流程Fig.1 Volume calculation process

1.2 密度

由于礦斗內(nèi)物質(zhì)組成成分復(fù)雜，利用傳統(tǒng)的平均密度計算方法是不合適的。研究表明，礦斗載礦物的平均密度與礦斗上表面的礦石空間分布有一定的關(guān)系[8]。因此本研究提出利用基于深度學(xué)習(xí)的思想尋找礦斗上表面的礦石空間分布特征與礦石平均密度之間的對應(yīng)關(guān)系，深度學(xué)習(xí)是一種可以根據(jù)特征數(shù)據(jù)去尋找事物潛在的變化規(guī)律的算法，而且目前這種方法的理論發(fā)展得非常成熟，其訓(xùn)練模型的準確度在一些應(yīng)用場景下也接近于完美，通過這種方法可以較為準確地找到與礦斗相匹配的密度，拋開其成熟的理論算法之后，其結(jié)果的影響主要來源就是訓(xùn)練樣本的質(zhì)量和數(shù)量[9]。如圖2所示，首先用軌道衡測出礦斗的質(zhì)量，結(jié)合體積計算出礦斗的平均密度，并用深度相機拍下礦斗的上表面RGB圖像記錄分布特征，這樣可以形成一個平均密度-圖像特征的對應(yīng)關(guān)系。最后，經(jīng)過大量的數(shù)據(jù)訓(xùn)練，可以得出一個穩(wěn)定的平均密度與圖像特征的訓(xùn)練模型。

圖2 密度-圖像特征庫形成過程Fig.2 Formation process of density-image feature library

1.3 重量

在應(yīng)用階段可以撤掉軌道衡，如圖3所示，當深度相機采集到目標礦斗的RGB圖像和深度圖像后，先根據(jù)深度圖像計算礦斗體積，并用RGB圖像與密度特征庫進行匹配，計算出一個最佳的平均密度，最后用體積乘以密度即可獲得礦斗的載礦量。

圖3 系統(tǒng)應(yīng)用流程Fig.3 System application process

2 數(shù)據(jù)采集與處理

數(shù)據(jù)采集階段是十分重要的，因為原始數(shù)據(jù)的質(zhì)量直接影響著算法訓(xùn)練模型結(jié)果的好壞，所以在數(shù)據(jù)采集階段應(yīng)盡量避免環(huán)境光照、遮擋物等不良因素的影響。而針對物體表面的缺陷、空洞等因素的影響，則需要在數(shù)據(jù)預(yù)處理階段，借助圖像增強算法進行彌補加強。

2.1 數(shù)據(jù)采集

深度相機（如Kinect）通常是包含一個RGB鏡頭、一個紅外發(fā)射器、一個紅外接收器這三個鏡頭去測量，每秒可以拍攝十幾幀圖像。但是在工業(yè)場景下為了提升測量的準確性，會使用類似人眼雙目性質(zhì)的深度相機，這種相機是在已有的三個鏡頭的基礎(chǔ)上又增加了一個紅外接收器，可以更加準確地確定目標位置信息。這些信息便是深度信息，它們反映著目標物體到深度相機的距離，存儲在深度圖像中。另外，深度相機在使用紅外接收器拍攝目標的深度信息的同時，還會使用RGB鏡頭拍攝目標物體表面的RGB圖像。因此，可以利用深度圖像提取目標礦斗的深度信息，進而計算出目標礦斗的載礦體積；通過RGB圖像則可以提取目標礦斗上表面的物質(zhì)分布特征。

本研究使用的是一款工業(yè)級的深度相機，這款相機的測量高度是在0.5～8 m之間，并且隨著高度每增加1 m測量誤差便會增加1 mm。即深度相機的測量誤差會隨著相機安裝高度的增加而增加，而實際上礦井下行車巷道的高度一般在2～3 m之間，而且運礦機車一般是有軌低速電車，因此為了不干涉電車運行，將相機安裝在礦道頂部是合適的，礦斗與深度相機位置示意圖見圖4。另外，機車的運行速度一般在1～2 m/s之間，相機的拍攝速度是25幀/s左右。因此，在機車運行期間相機可以滿足實時拍攝的要求，不會出現(xiàn)漏拍現(xiàn)象。

圖4 礦斗與深度相機位置示意圖Fig.4 Location diagram of ore hopper and depth camera

相機在拍攝過程中，如果周圍環(huán)境過暗會使得所采集的RGB圖像曝光不足，而如果給目標表面直接補光，可能會使得RGB圖像過度曝光。曝光不足和過度曝光都會影響RGB圖像的質(zhì)量，因此考慮在相機周圍鋪設(shè)LED燈，提升環(huán)境的亮度，進而提升RGB圖像的曝光度。如圖4所示，當?shù)V斗在軌道上運行至深度相機下方時，相機開始采集礦斗上表面的深度圖像和RGB圖像。

2.2 數(shù)據(jù)處理

深度相機主要是依靠紅外光線的衍射原理來進行測距。當照射在某些非粗糙表面、物體的輪廓邊緣處以及陰影處，又或者光線被遮擋時，紅外光線不會發(fā)生衍射，設(shè)備會出現(xiàn)無匹配的情形，返回測量深度值為0或者錯誤值，就會出現(xiàn)“黑洞噪聲”。另外，相機匹配深度數(shù)據(jù)時很容易將目標相鄰物體的深度值匹配到深度圖像中，這些深度值會對后續(xù)的體積模型計算產(chǎn)生干擾，需要給予剔除。綜上，數(shù)據(jù)預(yù)處理就是對原始數(shù)據(jù)進行篩選或者補償。數(shù)據(jù)預(yù)處理包括兩個內(nèi)容：一是針對深度圖像中缺失的深度數(shù)據(jù)進行補償處理；二是排除深度圖像中目標相鄰物體深度信息的干擾[10]。

2.2.1 補償處理

本方案是采用多幀數(shù)據(jù)融合的方法改善深度數(shù)據(jù)，既可以補全缺失數(shù)據(jù)，又可以對數(shù)據(jù)進行簡單的平滑處理達到消減噪聲的效果。在深度圖像中，取n張連續(xù)幀的圖像Ii（x，y），對這些圖像的相同像素點的深度值取均值再取整，處理后的圖像I（x，y）可以用于減少噪聲和空洞，獲得平滑的效果[11]，其表達式如式1所示。

式中：n表示在連續(xù)幀圖像中取n張圖像；Ii（x，y）表示第i張圖像。

2.2.2 排除干擾

設(shè)定深度相機獲取的RGB圖像和深度圖像已經(jīng)完成了校準，即RGB圖像的像素點與深度圖像的像素點已實現(xiàn)一一對應(yīng)。可以通過對RGB圖像進行圖像分割處理，標記出目標礦斗區(qū)域，然后據(jù)此標記提取深度圖像中對應(yīng)區(qū)域的深度信息，這樣就可以減少目標相鄰信息的干擾。

常用的圖像分割方法有如下幾種，如基于閾值、基于區(qū)域、基于邊緣以及基于特定理論的分割方法。研究發(fā)現(xiàn)本研究處理的對象圖片是由深度相機在固定的角度拍攝，對于圖像內(nèi)容而言除了目標物體外，其余的背景特征一致。因此可以使用基于背景差分的方法將背景物體去除，進而保留目標圖像[12]。

背景差分法是先獲取一個參考背景圖像B（x，y），將當前圖像I（x，y）與參考背景圖像做差分，然后利用閾值分割的方法將前景目標提取出來。用公式描述如式（2）所示。

式中：I（x，y）為當前圖像的灰度圖像；B（x，y）為參考背景圖像；T 為閾值；D（x，y）為二值圖像。

二值圖像是指圖像矩陣中只有兩個值0和1，0代表黑色，1代表白色。經(jīng)過背景差分法處理后的二值圖像中白色區(qū)域為目標礦斗區(qū)域，黑色區(qū)域為背景區(qū)域。如公式（3）所描述的，以經(jīng)過背景差分法處理的二值圖像 D（x，y）作為模板與深度圖像 G（x，y）進行對應(yīng)相乘，與1相乘則保留原值，與0相乘則為0，這樣在深度圖像中即可保留目標礦斗對應(yīng)的深度值，過濾掉背景深度值的干擾。

式中：G（x，y）為當前圖像的深度圖像；D（x，y）為經(jīng)過背景差分法處理后的二值圖像。

3 計算體積

目前礦山所用礦斗外觀基本如圖5（a）所示?？臻g結(jié)構(gòu)如圖5（b）所示，上底面ABCD和下底面EFGH均為長方形，前面CDEF和后面ABGH均為等腰梯形，與上下底面均垂直；左面ADEH和右面BCFG均為矩形，與底面EFGH的夾角為銳角。因此，在計算礦斗內(nèi)所載礦物體積時，可以將礦斗算為一個完整的長方體，體積為V，如圖5（b）所示，再減去左右兩邊兩個看似規(guī)則的類橫三棱柱，從而計算出礦斗的體積，計算公式如式（4）所示。

但是，很多情況下所載礦物表面為不規(guī)則表面，而且礦斗一般也不會裝滿。這就產(chǎn)生了一個問題，左右兩邊要減去的橫三棱柱的高會出現(xiàn)不一致的情況，從而也會導(dǎo)致兩邊的豎截面不同，但是兩邊的斜面夾角一致，這樣也就可以求出截面積，進而得出棱柱體積[8，10]?？梢杂霉剑?）表示為：

圖5 礦斗及其鏤空模型Fig.5 Model of hopper and its hollowed out

式中：l為礦斗的內(nèi)長，mm；h1為左棱柱的高，mm；h2為右棱柱的高，mm；α為礦斗斜面與底的夾角，（°）。

礦斗整體的體積可以采用微元法的思想進行計算[13]。設(shè)礦斗DC為x方向，DA為y方向，測量時可分別在x方向和y方向取步距為Δx、Δy，分別取m和n步。對于一個大小為Δx×Δy的子區(qū)域含有像素點Δx×Δy個。深度相機的深度信息反映的是相機到物體表面的距離，而非物體自身的高度，需要結(jié)合實際情況進行校準。設(shè)相機到被測物體底部的距離為H，由深度相機測得的每一個點的深度信息為hi，j（i=1，2，…m；j=1，2，…n），則被測物體表面每個子區(qū)域的高度值為：

那么，子區(qū)域?qū)?yīng)的體積為：

總體積為：

對于左右橫三棱柱的高，可以通過提取深度圖像雙邊的深度值計算出。沿著y方向微分，每一個微元可以看成一個三角片，其體積為：

對于左、右橫三棱柱其高在深度圖像上對應(yīng)在Z（1，j）和 Z（m，j）處，那么左右兩個橫三棱柱的體積為：

綜合以上，則所載礦物體積為：

式中：Zi，j為礦石表面某點到礦斗底部的垂直高度，mm；i為某點在x方向的坐標；j為某點在y方向的坐標；α為礦斗左右斜面與水平底面所成的夾角，（°）。

4 計算密度

礦斗內(nèi)裝載的礦物既有形狀較大的礦石，又有因破碎而產(chǎn)生的沙狀微小礦石，這些又在礦斗內(nèi)層疊堆積，隨機分布。而且各個礦斗內(nèi)的礦物含量情況也不一，有的形狀較大的礦石占多數(shù)，也有形狀較小的礦石占多數(shù)，還有二者分布較為均勻的情形。如果單純考慮根據(jù)實際情況或者經(jīng)驗確定一個平均密度值的話，雖然可以滿足大多礦物粒度分布均勻的礦斗，但是對于一些礦物分布極不均勻的礦斗來說，這個平均密度值還是有失偏頗。所以這里采用試驗的方法，借助深度學(xué)習(xí)的算法通過研究分析礦斗表面的粒度分布，然后判定其對應(yīng)的密度值，相較于根據(jù)經(jīng)驗設(shè)定一個密度值而言，結(jié)果更加準確可信。關(guān)于粒度分布與密度之間的具體關(guān)系受篇幅限制，將在新的研究中展開敘述。

這里所述的密度并不是嚴格意義上的密度，而是一種比重，指的是物體重量和物體體積之間的比值，反映物體在單位體積下的重量。礦斗內(nèi)礦物單位體積的重量則與單位體積空間下礦物的大小、礦物的裝載高度相關(guān)。這些直接影響著礦斗內(nèi)礦物的粒度分布。深度相機的RGB圖像恰好可以記錄下這些特征。

4.1 訓(xùn)練樣本的質(zhì)量

訓(xùn)練樣本的質(zhì)量影響因素主要有兩個方面：一是在數(shù)據(jù)采集階段，如前文所述給較暗的環(huán)境補光，提升樣本原始圖像的質(zhì)量，盡量減少不必要的環(huán)境因素對數(shù)據(jù)產(chǎn)生的影響；二是在數(shù)據(jù)預(yù)處理階段使用一些圖像增強算法彌補物體表面的反光和缺陷等問題。

4.2 訓(xùn)練樣本的數(shù)量

關(guān)于訓(xùn)練樣本的數(shù)量比較難判斷，既要防止數(shù)據(jù)的欠擬合也要預(yù)防過擬合，而且采集現(xiàn)場也不能中斷生產(chǎn)以專供試驗，所以比較好的方法是先采集一組小樣本數(shù)據(jù)，訓(xùn)練得到一個簡單的模型后，再讓這個模型在現(xiàn)場進行不斷的自我完善更新。

每一組樣本數(shù)據(jù)的生成過程如下：

（1）使用軌道衡在現(xiàn)場測出礦斗的載重重量m。

（2）結(jié)合體積，計算目標礦斗的平均密度ρ。

（3）提取目標礦斗的 RGB 圖像特征 g（x，y）。

（4）建立平均密度與RGB特征之間一對一的映射關(guān)系。

（5）重復(fù)前4步，持續(xù)采集數(shù)據(jù)。

樣本數(shù)據(jù)生成完畢后，便可將這些數(shù)據(jù)批量輸入算法中，進行模型訓(xùn)練。模型訓(xùn)練的本質(zhì)就是尋求一個平均密度與RGB圖像特征之間的函數(shù)關(guān)系ρ=Y（g（x，y））。

最后，當對模型輸入一個礦斗的RGB圖像特征g（x，y）后，經(jīng)過模型計算可得該礦斗的平均密度，然后結(jié)合礦斗體積可計算該礦斗的載重。計算公式如式（12）所示。

5 結(jié) 語

根據(jù)地下礦山企業(yè)出礦量的計量現(xiàn)狀，提出了在運礦環(huán)節(jié)利用深度相機獲取礦斗表面的深度圖像和RGB圖像，經(jīng)過數(shù)據(jù)去噪、補償和篩選后，再利用數(shù)值積分的方法計算礦斗的載礦體積，然后結(jié)合密度-圖像庫匹配出與目標礦斗的表面RGB圖像擬合程度最高的密度值，最后根據(jù)密度公式計算礦斗的實際載重這一解決方案。并且每一個礦斗的載重數(shù)據(jù)都會存儲在后臺數(shù)據(jù)庫中，生成臺賬信息。因此，即使算法在速度上有一些滯后，也不會影響到具體的應(yīng)用。根據(jù)本方案可以很好地解決長期困擾礦山企業(yè)計量礦石出礦量的問題，同時提升地下礦山企業(yè)運礦流程的自動化程度，降低地下礦山企業(yè)的經(jīng)營風(fēng)險。