楊文龍，郭 毅，馬保亮，吳富姬，歐陽健強(qiáng)

（1.贛州有色冶金研究所有限公司，江西 贛州 341000；2.贛州有色冶金研究所有色金屬礦冶裝備創(chuàng)新技術(shù)中心，江西 贛州 341000）

0 引言

礦石出產(chǎn)量關(guān)乎礦山企業(yè)的經(jīng)濟(jì)效益，計(jì)算一個(gè)礦山的出產(chǎn)量便可預(yù)計(jì)礦山企業(yè)的效益，多數(shù)礦山企業(yè)都需要一種稱重方式來預(yù)計(jì)自己的效益，如果某收礦場(chǎng)接收到的礦石，可能會(huì)因?yàn)榉Q量保證不了準(zhǔn)確性，礦石計(jì)量不足，從而造成收礦場(chǎng)的經(jīng)濟(jì)損失[1-2]。很多礦山生產(chǎn)計(jì)量水平落后，甚至還在使用人工用眼看的目測(cè)計(jì)量方式[3]，通過車次計(jì)量的方式對(duì)運(yùn)輸司機(jī)的工作量進(jìn)行考核。采用車次計(jì)量的方式往往帶來較多弊端，例如，操作人員夸大礦石運(yùn)輸產(chǎn)量、人為性地使運(yùn)輸車輛載重量欠載等，這一系列的原因使得運(yùn)輸效率低下，資源浪費(fèi)，成本增加。反之，如果車量超載又會(huì)存在安全隱患。

針對(duì)上述現(xiàn)象，礦物智能稱重系統(tǒng)的研究具有實(shí)用價(jià)值，是亟待解決的問題。隨著人工智能的快速發(fā)展，將數(shù)字圖像處理技術(shù)應(yīng)用到礦山開采的各個(gè)環(huán)節(jié)中，從而成為一種新興的智能礦山開采技術(shù)手段。這種新興的技術(shù)手段不僅提高了礦山開采的效率，而且保障了礦山開采過程的安全。因此將計(jì)算機(jī)圖像處理技術(shù)引入到井下礦石稱重系統(tǒng)設(shè)計(jì)中具有重要的意義和價(jià)值。

三維重建是通過計(jì)算機(jī)來建立的三維立體模型，其應(yīng)用范圍較廣，分別在軍事、影視娛樂、虛擬現(xiàn)實(shí)醫(yī)療等行業(yè)具有重大的應(yīng)用價(jià)值，例如在軍事行業(yè)里，三維重建可通過現(xiàn)實(shí)戰(zhàn)場(chǎng)提供的相應(yīng)信息，進(jìn)行現(xiàn)實(shí)戰(zhàn)場(chǎng)虛擬，構(gòu)建機(jī)器人虛擬作戰(zhàn)，來獲得一場(chǎng)戰(zhàn)爭(zhēng)結(jié)果的預(yù)測(cè)；在影視游戲娛樂行業(yè)中，三維重建技術(shù)是大型科幻片、游戲虛擬場(chǎng)景構(gòu)建的重要技術(shù)手段；在醫(yī)學(xué)領(lǐng)域中，三維重建技術(shù)可根據(jù)醫(yī)學(xué)相關(guān)的影像圖片，對(duì)病變的器官進(jìn)行三維立體重構(gòu)，實(shí)現(xiàn)病情的虛擬可視化，從而提高了對(duì)病人病情的診斷正確率以及為后續(xù)的手術(shù)計(jì)劃提供信息。三維重建技術(shù)依賴于數(shù)字圖像處理技術(shù)，研究采用三維重建的設(shè)備是深度相機(jī)，其主要原理是根據(jù)RGB圖像與深度圖像之間的像素點(diǎn)關(guān)系，采用三角相關(guān)定理，便能夠計(jì)算得到三維空間的點(diǎn)云數(shù)據(jù)，從而去構(gòu)建物體的立體模型。

本研究的主要工作是對(duì)礦斗里面的礦石進(jìn)行三維重建[4]，目的是根據(jù)三維重建出來的礦石立體模型，來計(jì)算整個(gè)礦斗里礦石的體積，再根據(jù)粒徑-密度匹配法[5]得到整個(gè)礦斗里礦石的平均密度，通過密度乘上體積的方式，從而計(jì)算出整個(gè)礦斗里礦石的重量，其中三維重建是最重要也是最困難的一環(huán)，重量計(jì)算是否準(zhǔn)確，從很大程度取決于三維建模是否精準(zhǔn)。

相對(duì)于人工計(jì)量，研發(fā)的礦石物料稱重系統(tǒng)具有以下優(yōu)點(diǎn)：

（1）該礦石物料稱重系統(tǒng)可代替人工，減少計(jì)量工人，減少礦山企業(yè)的生產(chǎn)成本。

（2）該礦石物料稱重系統(tǒng)對(duì)礦石稱重計(jì)算的準(zhǔn)確率相對(duì)人工更高。

（3）礦井下環(huán)境惡劣，減少計(jì)量員工，可加強(qiáng)礦山企業(yè)生產(chǎn)的安全性。

1 礦石立體模型三維重建總體流程

礦石立體模型三維重建總流程如圖1所示，具體流程如下。

圖1 三維重建流程Fig.1 Flow chart of 3D reconstruction

（1）相機(jī)標(biāo)定是需要通過一些手段來獲取其內(nèi)外參數(shù)以及畸變參數(shù)，將世界坐標(biāo)系和相機(jī)坐標(biāo)系進(jìn)行互相轉(zhuǎn)換，通常攝像頭都存在一定程度的畸變，相機(jī)標(biāo)定就是為了消除畸變，方便后續(xù)的圖像處理。

（2）相機(jī)矯正是在相機(jī)標(biāo)定之后，對(duì)存在的攝像頭畸變進(jìn)行鏡頭矯正，主要用一些幾何變換的方法來進(jìn)行矯正。

（3）對(duì)攝像頭矯正后輸出的圖像進(jìn)行信息匹配，可以設(shè)定RGB圖為參考圖像，深度圖像為待匹配圖像，對(duì)待匹配圖進(jìn)行搜索，尋找參考圖像上與之匹配的興趣點(diǎn)，直到參考圖像上的所有興趣點(diǎn)匹配完畢。這一過程將輸出視差圖。

（4）最后利用兩幅圖之間存在著像素點(diǎn)的對(duì)應(yīng)關(guān)系輸出的視差圖，采用三角相關(guān)定理，便能夠計(jì)算得到三維空間的點(diǎn)云數(shù)據(jù)，從而通過點(diǎn)云數(shù)據(jù)便可構(gòu)建礦石的立體模型。

2 礦石圖像數(shù)據(jù)處理

2.1 礦石圖像采集

將采集到的礦石圖像數(shù)據(jù)上傳到ContextCapure軟件平臺(tái)進(jìn)行處理分析，在采集的圖像中需要有一定的重疊度，這樣生成的點(diǎn)云效果較好，對(duì)原物體具有較高的還原度。因此，采集圖像的過程中盡量選擇正確的采集方式，使得圖像的質(zhì)量能夠有保障（圖2）。

圖2 現(xiàn)場(chǎng)采集原始礦石圖像Fig.2 Original ore images were collected on site

圖像采集時(shí)應(yīng)該從不同的角度進(jìn)行拍攝載滿礦石的礦車盡量使得相鄰的兩張圖片之間的重合區(qū)域超過一半，可采取水平拍攝、仰角拍攝和俯角拍攝等3種不同的拍攝方式。本研究共采集了285張礦場(chǎng)現(xiàn)場(chǎng)運(yùn)輸過程載滿礦石的礦車圖像。

2.2 礦石圖像預(yù)處理

為了提高礦石圖像的質(zhì)量，需要對(duì)采集到的礦石圖像先通過直方圖均衡化方法增強(qiáng)圖像再進(jìn)行濾波處理，去除圖像中的噪聲并且保留其細(xì)節(jié)特征，濾波操作在預(yù)處理過程中十分重要，可以直接影響到后續(xù)圖像分割的效果。

2.2.1 礦石圖像濾波

圖像處理中一般有模板的濾波器是先將其濾波模板與圖像矩陣進(jìn)行卷積操作，再輸出每個(gè)像素點(diǎn)與模板各個(gè)點(diǎn)的灰度值加權(quán)和，最后進(jìn)行加權(quán)平均，這樣使得輸出的結(jié)果信噪比得到增強(qiáng)，但是圖像的邊界會(huì)產(chǎn)生模糊。因此為了解決邊界模糊這個(gè)問題，在此基礎(chǔ)上進(jìn)行改進(jìn)濾波方法。雙邊濾波的出現(xiàn)恰好解決了這個(gè)問題。

雙邊濾波[6]是一種結(jié)合空間信息和幅值信息的非線性濾波方法，在去除噪聲的同時(shí)能夠有效保留邊緣信息。其計(jì)算方法是基于加權(quán)平均的方法，將周圍像素的亮度值進(jìn)行加權(quán)平均表示某個(gè)像素的強(qiáng)度，這點(diǎn)和中值濾波、均值濾波尤其高斯濾波等方法一樣，但是與其他濾波方法不一樣是其不僅考慮到了空間距離而且還考慮到了像素間的相似度，因此可以達(dá)到保邊去噪的效果。雙邊濾波方法里的兩個(gè)權(quán)重域的概念：空間域S（spatial domain）和像素范圍域R（range domain），這個(gè)是其跟高斯濾波等方法的最大不同點(diǎn)。

2.2.2 礦石圖像分割

礦石圖像分割最主要的目的就是找到圖像中目標(biāo)的邊界信息。二值分割方法是將灰度圖變成黑白圖，主要過程是將灰度圖上每個(gè)像素點(diǎn)的灰度值設(shè)置為0或者255，這樣圖像中的數(shù)據(jù)量就少了很多，更方便各種計(jì)算，進(jìn)而可以輕松獲得目標(biāo)區(qū)域的一些特征，例如：找到圖像中各個(gè)目標(biāo)的邊緣、描述圖像中目標(biāo)的位置和尺寸。

本研究采用張國英等人[7-9]提出用雙窗Otsu閾值分割法來分割礦石圖像。經(jīng)試驗(yàn)表明，雙窗Otsu算法相比Otsu閾值分割法更具有優(yōu)越性。礦石圖像經(jīng)常出現(xiàn)礦石黏結(jié)、重疊、灰度值區(qū)分不明顯的特征，由于Otsu閾值分割法對(duì)噪聲較為敏感，且對(duì)灰度差異不太明顯以及灰度值有重疊分割效果不佳。雙窗Otsu閾值分割法結(jié)合了Otsu的基于最大類間方差的最優(yōu)閾值與Simphiwe[10]提出的雙窗自適應(yīng)閾值法，這樣結(jié)合分割礦石圖像的效果更為明顯，且不會(huì)出現(xiàn)大礦石內(nèi)部噪聲等問題[11]，是一種非常優(yōu)越的礦石圖像分割算法。

3 礦石三維模型重構(gòu)

3.1 系統(tǒng)布置圖

研究基于攝影技術(shù)的稱重裝置由4大模塊組成：相機(jī)集成外殼、深度相機(jī)、網(wǎng)線、電腦。

由于礦山井下常年潮濕，不僅會(huì)損害相機(jī)，還會(huì)在相機(jī)鏡面形成一層水霧，影響拍攝的圖片質(zhì)量，因此需要設(shè)置一個(gè)相機(jī)集成外殼對(duì)相機(jī)進(jìn)行防潮。而深度相機(jī)為拍攝圖片的主要工具，安裝至礦車的正上方，拍攝后將通過網(wǎng)線把數(shù)據(jù)傳輸至礦井上電腦端，電腦端進(jìn)行算法處理后形成礦石重量信息，最后將礦石重量信息傳輸至上位機(jī)，圖3為系統(tǒng)布置圖。

圖3 系統(tǒng)布置圖Fig.3 System layout drawing

3.2 礦石圖像特征點(diǎn)提取與匹配

一般采集圖像數(shù)據(jù)之后，圖像數(shù)據(jù)會(huì)有一部分無法利用的圖像數(shù)據(jù)，可通過提取特征點(diǎn)的方式剔除不需要的數(shù)據(jù)。

特征點(diǎn)提取是一種圖像處理很常見的特征提取方式，廣泛運(yùn)用在圖像處理、目標(biāo)檢測(cè)、軌道運(yùn)動(dòng)等領(lǐng)域。在計(jì)算機(jī)視覺領(lǐng)域中，1988年發(fā)布的HARRIS相關(guān)的特征檢測(cè)器為之后的研究者做出了巨大貢獻(xiàn)。在之后幾十年的研究中，各式各樣的特征檢測(cè)算法如雨后春筍般出現(xiàn)，其在精度與速度方面都有著顯著提高[12]。特征點(diǎn)是與解決某種應(yīng)用程序相關(guān)的計(jì)算任務(wù)關(guān)聯(lián)的一條信息，其可能是圖像中的特定結(jié)構(gòu)，例如點(diǎn)、邊緣或?qū)ο螅灰嗷蚴菆D像中特定位置作為特征點(diǎn)，如山峰、建筑角落、門口或趣形狀的石塊，這種局部化的特征通常被稱為關(guān)鍵點(diǎn)特征。為了有效地特征匹配，通常需要把適應(yīng)能力強(qiáng)的特征點(diǎn)提取出來。

特征點(diǎn)匹配是在兩幅影像中盡可能多地尋找出相似的特征點(diǎn)或者灰度值來建立相應(yīng)的匹配點(diǎn)對(duì)。通過特征點(diǎn)來匹配圖像的方法具有明顯的優(yōu)勢(shì)，由于從圖像中提取了特征，使得整個(gè)處理的圖像數(shù)據(jù)量大大減少，計(jì)算機(jī)的運(yùn)算量也會(huì)跟隨減少，從而提高了計(jì)算機(jī)處理圖像的速度，能夠利用圖像之間的結(jié)構(gòu)、約束關(guān)系，在圖像出現(xiàn)一些陰影以及相互遮擋的情況下適用性更強(qiáng)。但提取特征點(diǎn)的方式不適用于存在大量信息的圖像中，因?yàn)樘崛√卣鼽c(diǎn)的同時(shí)也會(huì)丟失一部分圖像的信息，或者將圖像中一些不需要的噪聲提取出來。但本研究處理的對(duì)象是帶有礦斗的礦石堆圖像，圖像中的信息相對(duì)較少，比較適合采用提取特征點(diǎn)的方式來對(duì)RGD圖和深度圖像進(jìn)行匹配。

3.3 礦石三維點(diǎn)云數(shù)據(jù)生成

礦石三維點(diǎn)云數(shù)據(jù)需要將圖像中的礦石像素點(diǎn)坐標(biāo)轉(zhuǎn)換為三維世界坐標(biāo)系，其原理是空間三角測(cè)量原理[13-14]，空間三角測(cè)量的是依據(jù)相機(jī)拍攝的RGB圖上的像素點(diǎn)坐標(biāo)為參考坐標(biāo)系，再通過數(shù)學(xué)模型進(jìn)行坐標(biāo)轉(zhuǎn)換成世界坐標(biāo)系，需要選取地面相關(guān)控制點(diǎn)來求解世界坐標(biāo)系（計(jì)算體積），以此來獲取礦石的三維點(diǎn)云數(shù)據(jù)，點(diǎn)云數(shù)據(jù)包括高度數(shù)據(jù)以及平行于地面的平面數(shù)據(jù)[15]。

由于深度相機(jī)可拍攝具有RGB像素信息以及深度信息（相機(jī)測(cè)量得到）的深度圖片，可根據(jù)相機(jī)RGB像素信息、深度信息、相機(jī)物理參數(shù)反推出空間三角測(cè)量的相關(guān)計(jì)算參數(shù)，再依據(jù)獲取需要的空間三角測(cè)量相關(guān)計(jì)算參數(shù)去生成礦石三維點(diǎn)云數(shù)據(jù)，獲得參數(shù)后可通過軟件進(jìn)行三維點(diǎn)云數(shù)據(jù)生成。本研究采用ContextCapture軟件作為空間三角測(cè)量計(jì)算的工具，首先需要在ContextCapture軟件中導(dǎo)入相機(jī)拍攝礦石圖像，選擇的拍攝方式為環(huán)繞對(duì)象物體進(jìn)行360°的拍攝方法，并且相鄰的照片需要有一定的重疊部分，然后再使用空間三角測(cè)量的方式進(jìn)行計(jì)算，圖4為空間三角測(cè)量計(jì)算結(jié)果。

圖4 空間三角測(cè)量計(jì)算結(jié)果Fig.4 Calculation results of spatial triangulation

3.4 礦石三維點(diǎn)云曲面重構(gòu)

三維點(diǎn)云技術(shù)是一種立體重構(gòu)技術(shù)[16]，其依賴于RGB圖像以及激光雷達(dá)生成的深度圖像。本研究采用的深度相機(jī)正是融合了兩種技術(shù)，分別生成了RGB圖像和深度圖像，其主要目的是為了實(shí)現(xiàn)物體的表面三維重構(gòu)。前面已描述將RGB圖以及深度圖進(jìn)行特征點(diǎn)匹配得到相應(yīng)的視差圖，再將相機(jī)進(jìn)行標(biāo)定，運(yùn)用空間三角原理計(jì)算可得到三維點(diǎn)云數(shù)據(jù)，三維點(diǎn)云數(shù)據(jù)實(shí)際上就是將三維曲面模型離散化得到離散點(diǎn)，還不能夠用于直接描述三維立體模型，需要將離散點(diǎn)（點(diǎn)云數(shù)據(jù)）進(jìn)行點(diǎn)云對(duì)齊和拼接后再進(jìn)行連續(xù)化重構(gòu)（云貼片），才能得到礦石的立體表面。生成的紋理云貼圖見圖5。

圖5 紋理點(diǎn)云貼圖Fig.5 Texture point cloud mapping

3.5 礦石圖像三維重建結(jié)果展示

進(jìn)行紋理點(diǎn)云貼片處理后，基本上可以看到礦石以及礦斗的立體輪廓，為了能夠更加直觀立體地看到模型，進(jìn)一步將其可視化得到圖6。

圖6 礦石三維模型重構(gòu)圖Fig.6 Reconstruction of three-dimensional ore model

3.6 礦石體積計(jì)算

上述三維建模可得到場(chǎng)景中點(diǎn)的三維坐標(biāo)信息，由于礦石表面形狀都是不規(guī)則的，可采用黎曼積分計(jì)算帶礦斗的礦石體積。其原理為，假設(shè)第i的圖片中截面積為si，其在坐標(biāo)軸XOY中的函數(shù)表達(dá)式為f（x），由于si為不規(guī)則面，所以f（x）的表達(dá)式無法確定，f（x）在x軸上的區(qū)間為[a，b]，將a、b進(jìn)行m等分。

礦石橫截面面積的計(jì)算如圖7所示，每個(gè)小區(qū)間的長(zhǎng)度為l，計(jì)算公式如式（1）所示。

圖7 礦石橫截面面積計(jì)算Fig.7 The calculation of ore cross section area

把si劃分成了m個(gè)小矩形的面積和，小矩形的面積gj可以用底邊長(zhǎng)h和高f（xj）來表達(dá)，計(jì)算公式如式（2）所示。

第i張圖片的截面積si計(jì)算公式如式（3）所示。

在上述的計(jì)算中，劃分的小區(qū)間越多，最終所求出來的面積越接近si的真實(shí)面積。

由于礦斗都是標(biāo)準(zhǔn)化的，其體積是一個(gè)固定值，可通過原廠商得到，計(jì)算帶礦斗礦石的整個(gè)體積減去標(biāo)準(zhǔn)礦斗體積即為內(nèi)部礦石體積。

3.7 試驗(yàn)與數(shù)據(jù)分析

為了驗(yàn)證礦石三維建模的準(zhǔn)確性，本研究直接通過后續(xù)的稱重?cái)?shù)據(jù)來驗(yàn)證三維建模是否精準(zhǔn)，具體方法是根據(jù)粒徑-密度匹配法得到整個(gè)礦斗里礦石的平均密度，通過密度乘上體積的方式，從而計(jì)算出整個(gè)礦斗里礦石的重量，本次現(xiàn)場(chǎng)試驗(yàn)驗(yàn)證是由裝滿礦石的10輛礦斗車一次經(jīng)過測(cè)量系統(tǒng)，礦車行駛的速度為2 m/s，此速度為測(cè)量速度，之后經(jīng)過現(xiàn)場(chǎng)的地磅進(jìn)行稱重，系統(tǒng)將計(jì)算出裝載量的數(shù)值與稱重值進(jìn)行對(duì)比。由于礦斗的礦石密度大小不一，所以需要計(jì)算礦石的平均密度。采用多次試驗(yàn)估算的礦石平均密度為0.68，此數(shù)值作為礦石的平均密度值。表1為礦車裝載量測(cè)量值與地磅稱重的真實(shí)數(shù)據(jù)對(duì)比。

表1 測(cè)量數(shù)據(jù)與真實(shí)數(shù)據(jù)對(duì)照Tab.1 The comparison between measured data and real data

通過多次對(duì)比，基于重構(gòu)三維建模模型的礦石重量測(cè)量值與地磅稱重后的實(shí)際重量值之間存在誤差，但整體誤差范圍在3%～4%之間，符合現(xiàn)場(chǎng)精度誤差小于5%的測(cè)量設(shè)計(jì)要求，相比較于計(jì)量誤差高于10%的人工計(jì)量方式（礦山統(tǒng)計(jì)得到），說明重構(gòu)的三維礦石立體模型具有較高的準(zhǔn)確率，具備很強(qiáng)的實(shí)用性。由于稱重整體誤差在3%～4%之間，說明該稱重計(jì)算方法穩(wěn)定性較好，進(jìn)一步說明體積計(jì)算是穩(wěn)定的，體積是由三維建模后計(jì)算得到，從而也驗(yàn)證了三維建模的計(jì)算的穩(wěn)定性較好。同時(shí)，研究采用高性能的計(jì)算機(jī)，體積、重量的計(jì)算時(shí)間非常短，相對(duì)于兩趟礦車的間隔時(shí)間，其計(jì)算時(shí)間可忽略不計(jì)。

4 結(jié)語

本文主要研究了礦石的三維重建模型的相關(guān)技術(shù)，目的是為了重建礦石的三維模型來計(jì)算礦石的體積最終得到礦石的重量，礦石的三維重建技術(shù)具體步驟包括圖像采集、特征點(diǎn)匹配、空中三角測(cè)量、空間三維坐標(biāo)轉(zhuǎn)換點(diǎn)云數(shù)據(jù)等。對(duì)礦石進(jìn)行三維建模后，再通過黎曼積分計(jì)算得到礦石體積，再由粒徑-密度匹配法得到整個(gè)礦斗里礦石的平均密度，通過密度乘上體積的方式，從而計(jì)算出整個(gè)礦斗里礦石的重量，從試驗(yàn)的數(shù)據(jù)來看，計(jì)算的重量誤差在3%～4%之間，效果良好。通過構(gòu)建礦石三維立體模型，為后續(xù)的礦石體積計(jì)算以及重量計(jì)算奠定了基礎(chǔ)，最終成功研發(fā)了一套基于攝影測(cè)量技術(shù)的礦石物料稱重系統(tǒng)，但計(jì)算的重量仍有較小誤差，后續(xù)將對(duì)計(jì)算重量的模型進(jìn)一步改進(jìn)。