葛 垚, 孫 強, 王坤東

(1.上海交通大學 精密工程及智能系統(tǒng)研究所，上海 200240；2.兗礦東華重工有限公司 采掘裝備制造分公司，山東 鄒城 273500)

?

基于CNN與SVDD的掘進機智能監(jiān)測系統(tǒng)設計

葛 垚1, 孫 強2, 王坤東1

(1.上海交通大學 精密工程及智能系統(tǒng)研究所，上海 200240；2.兗礦東華重工有限公司 采掘裝備制造分公司，山東 鄒城 273500)

通過激光標志物的卷積神經(jīng)網(wǎng)絡(CNN)檢測，與標志物中心點的奇異值分解(SVD)重構(gòu)，實現(xiàn)了掘進機在巷道坐標系下的坐標估計。通過基于支撐向量數(shù)據(jù)描述(SVDD)的陀螺儀靜止狀態(tài)抖動抑制，與參考系變換，實現(xiàn)了機身與掘進臂的姿態(tài)檢測。通過基于OpenGL的圖形學引擎，實現(xiàn)了工作面場景的實時虛擬渲染。測試結(jié)果表明：系統(tǒng)能夠準確可靠地完成工作面場景下掘進機監(jiān)測任務。

卷積神經(jīng)網(wǎng)絡； 奇異值分解； 支撐向量數(shù)據(jù)描述； 三維重構(gòu)； 姿態(tài)估計

0 引 言

隨著礦山機械化水平的提高，采用懸臂式掘進機進行開采已成為相關企業(yè)的標準生產(chǎn)方式。但是受限于有限的自動化程度，目前操作工人仍需進入高粉塵、有塌方危險的工作面最前線監(jiān)測生產(chǎn)情景。這樣的生產(chǎn)實踐與當前國家建設數(shù)字礦山，推進危險生產(chǎn)環(huán)境無人化的號召是不相合的。近些年來，工業(yè)機器人定位[1]與姿態(tài)檢測[2]取得了長足進步。但是，這些解決方案在設計時均未考慮礦山生產(chǎn)這一特殊應用環(huán)境。因此，設計一套適用于礦山環(huán)境的掘進機智能檢測系統(tǒng)，準確、可靠地完成工作面場景下掘進機監(jiān)測，成為了一個急需解決的課題。

本文根據(jù)礦山生產(chǎn)的特殊環(huán)境需求，綜合基于卷積神經(jīng)網(wǎng)絡(CNN)的坐標估計、以及基于支撐向量數(shù)據(jù)描述(SVDD)的姿態(tài)估計，設計了支持場景實時渲染的掘進機智能監(jiān)測系統(tǒng)，實現(xiàn)了掘進機狀態(tài)參數(shù)的有效監(jiān)測。

1 系統(tǒng)架構(gòu)

掘進機智能監(jiān)測系統(tǒng)的原理圖如圖1所示。系統(tǒng)硬件由加裝防爆工業(yè)攝像機、防爆陀螺儀與防爆工業(yè)計算機的掘進機，以及十字形激光指示器組成。工業(yè)攝像機采用震有科技的KBA12W礦用本安無線攝像儀，兩臺工業(yè)攝像機分別安裝在掘進機機身前部左、右兩側(cè)，兩工業(yè)攝像機的作用如下：一是負責采集工作面的圖像，將經(jīng)過增強后的圖像呈現(xiàn)給后方的操作工人，供操作工人生產(chǎn)決策使用；二是配合工業(yè)計算機，完成十字形激光標志物的檢測，進而完成整個場景的三維重構(gòu)。系統(tǒng)中使用的防爆陀螺儀，系通過對TI TM4C129姿態(tài)檢測評估套件加裝防爆外殼獲得，兩枚防爆陀螺儀分別安裝對心安裝在掘進臂與掘進機機身上，以完成掘進臂與掘進機機身的姿態(tài)檢測。工業(yè)計算機為上海鑠放電子科技提供的高配置工業(yè)計算機，工業(yè)計算機用于實現(xiàn)整個系統(tǒng)所需的全部算法，并且通過圖形界面，匯總性地向操作工人展示工作面的全部信息。

圖1 系統(tǒng)原理圖Fig 1 System principle diagram

系統(tǒng)軟件由以下五個子系統(tǒng)組成：工作面場景采集、場景圖像增強、場景三維重構(gòu)、掘進機姿態(tài)估計以及虛擬場景渲染。工作面場景采集通過封裝震有科技提供的傳輸服務實現(xiàn)；場景圖像增強通過對比度均衡算法與小波降噪算法，增強工作面場景圖像質(zhì)量；場景三維重構(gòu)通過CNN算法實現(xiàn)標志物中心點檢測，在此基礎上,基于對極幾何、奇異值分解(SVD)與平移變換實現(xiàn)了掘進機在巷道參考系下坐標的三維重構(gòu)；掘進機姿態(tài)估計通過SVDD算法，實現(xiàn)了陀螺儀靜止狀態(tài)下的抖動抑制，通過坐標變換算法，實現(xiàn)了以巷道為參考系的姿態(tài)檢測；虛擬場景渲染基于OpenGL，將掘進機在巷道內(nèi)的位置，與機身、掘進臂的姿態(tài)以三維圖形的形式展示給操作工人，幫助工人實現(xiàn)360°無死角場景觀察。

2 圖像處理

圖像處理子系統(tǒng)的流程如圖2所示。

圖2 圖像處理流程圖Fig 2 Workflow of image processing

2.1 圖像增強

當系統(tǒng)在工作面條件下工作時，下列兩個因素將對工業(yè)攝像機的成像產(chǎn)生不利影響：一是工作面處不充分的照明會導致場景的輪廓信息無法有效地被操作工人感知;二是工業(yè)攝像機成像過程本身會給圖像引入一定的噪聲。為了解決上述兩個問題，采用了先對圖像進行對比度均衡，然后再對圖像進行小波降噪的方案，實現(xiàn)工作面原始場景的圖像增強。

對比度均衡算法[5]是圖像處理中的經(jīng)典算法。其算法原理是通過對原始圖像的像素值進行變換，使變換后像素值分布接近均勻分布，從而增強人眼對圖像中信息感知能力的一種算法。算法可通過調(diào)用OpenCV的相關服務實現(xiàn)。

在測試過程中發(fā)現(xiàn)，對比度均衡算法會放大工業(yè)攝像機的成像噪聲，故對均衡后的圖像進一步采用Wavelet Shrinkage算法進行進一步降噪。小波算法的開發(fā)通過調(diào)用Matlab Wavelet Toolbox完成，算法相關參數(shù)設定如下：小波基選擇Daubechies族的sym6小波，分解層數(shù)為4，降噪方法選擇Penalize Low。將選擇的小波濾波器組導出為Matlab腳本文件，然后使用Matlab Compiler交叉編譯為DLL庫，即可集成入系統(tǒng)軟件之中使用。

2.2 標志物中心點檢測

為了實現(xiàn)場景的三維重構(gòu)，首先需要完成十字形激光標志物中心點檢測。在測試過程中發(fā)現(xiàn)，由于標志物所在平面的不規(guī)則性，基于Hough變換與模板匹配[3]的傳統(tǒng)檢測方案無法可靠地檢出光斑中心，故最終采用基于CNN的方案進行檢測。

相比基于Hough變換的解決方案，基于CNN的方案無需人工設計特征模板，能大幅減輕人工調(diào)參的工作量，只需要采集并標注的足夠多的圖像，然后進行數(shù)值優(yōu)化即可完成檢測與識別的任務[6]。

首先，將中心點檢測問題化為如下的有監(jiān)督回歸問題進行求解。原始數(shù)據(jù)集由1 000張含有標志物的圖像(來自左、右攝像頭的圖像各500張)及相應的中心點像素坐標組成，其中原始圖像作為輸入特征，中心點像素坐標的兩個分量作為待預測的變量。訓練CNN網(wǎng)絡，使其預測的中心點像素坐標，與實際像素坐標的L2范數(shù)誤差最小，即

(1)

式中 g:X→Y為將含十字形光斑圖像映射為光斑中心點像素坐標的CNN網(wǎng)絡；Xn,Yn分別為在訓練集中序號為n的訓練圖像與其中標志物中心點的像素坐標。

最終部署的CNN結(jié)構(gòu)如表1與表2所示。

表1 卷積層網(wǎng)絡結(jié)構(gòu)

表2 全相連層網(wǎng)絡結(jié)構(gòu)

其中,全相連層的激活函數(shù)為ReLU，輸出層不采用Softmax層，直接以最后一次線性變換的結(jié)果作為輸出進行預測。在全相連層，采用Dropout與全相連層系數(shù)的L2范數(shù)約束進行規(guī)約，防止過擬合。在整個訓練過程中，按8︰2的比例切分訓練集與測試集，以測試集上的誤差為模型性能表現(xiàn)的評估依據(jù)，引入Early Stopping的機制進一步約束，以保證模型的檢測性能。最終部署的CNN網(wǎng)絡在訓練集與測試集上的重構(gòu)RMSE誤差分別為0.457與0.680。上述算法可借助Caffe框架方便地實現(xiàn)，并集成到系統(tǒng)軟件中。

2.3 巷道參考系下掘進機坐標的三維重構(gòu)

檢出標志物中心點后，由于可以事先設定標志物中心點在巷道參考系中的坐標，故只需估計標志物在左側(cè)攝像機參考系內(nèi)的三維坐標，即可得到重巷道參考系下掘進機的三維坐標。

重構(gòu)算法首先需要對兩臺工業(yè)攝像機分別進行單目標定，以減輕鏡頭成像畸變對重構(gòu)的影響；在此基礎上，算法還需估計雙目攝像機的幾何參數(shù)，從而將原始成像場景變換到標準場景下。上述兩部分算法均可通過調(diào)用OpenCV的相關服務實現(xiàn)。

(2)

由于觀測誤差的存在與數(shù)值穩(wěn)定性的要求，上述方程需要使用SVD分解進行求解。由于OpenCV未提供相關服務，系統(tǒng)使用C++實現(xiàn)了上述算法。

得到標志物在左側(cè)攝像機參考系內(nèi)的三維坐標后，由于左側(cè)攝像機在機身參考系中的坐標，以及標志物在巷道參考系內(nèi)的坐標均為已知，故對相關坐標進行平移變換，即可算出掘進機在巷道參考系中的三維坐標，從而實現(xiàn)場景的三維重構(gòu)。

3 姿態(tài)估計

姿態(tài)檢測子系統(tǒng)首先通過移植TI官方的驅(qū)動庫實現(xiàn)了掘進臂與機身在北—偏—東參考系下的姿態(tài)估計。相比標準擴展卡爾曼濾波(EKF)姿態(tài)估計算法[4]，系統(tǒng)在以下兩個方面進行了創(chuàng)新。完整的算法流程如圖3所示。

圖3 姿態(tài)估計流程圖Fig 3 Workflow of altitude estimation

首先，通過使用SVDD[8]算法，實現(xiàn)了靜止狀態(tài)與運動狀態(tài)的二分類，抑制了傳統(tǒng)姿態(tài)估計算法在靜止狀態(tài)下估計值的震蕩現(xiàn)象。

SVDD是一個單類分類器，考慮到掘進機采用液壓傳動，靜止狀態(tài)在整個工作周期中所占比例較大，故將靜止狀態(tài)下九軸傳感器的輸出數(shù)據(jù)作為NormalData,運動狀態(tài)下輸出數(shù)據(jù)作為負樣本，進行模型訓練。原始數(shù)據(jù)集由10萬條九軸傳感器的輸出數(shù)據(jù)組成，其中NormalData占80 %，負樣本占20 %。SVDD的兩個參數(shù)，核與異常率分別選擇如下：由于測試結(jié)果表明，二類數(shù)據(jù)在高維空間中近似線性可分，故選擇線性核；通過參數(shù)枚舉，發(fā)現(xiàn)當異常率取0.05時，模型分類的準確率最高，故取異常率為0.05。在整個訓練過程中，按8∶2的比例切分訓練集與測試集，當模型取上述參數(shù)時，SVDD的分類準確率為99.87 %，可以達到委托方的應用需求。

考慮到井下電磁環(huán)境極其復雜，以及掘進作業(yè)的特點，系統(tǒng)選擇以掘進作業(yè)起始姿態(tài)定義的參考系為參考系，進行姿態(tài)估計，即

u0=RNED(ψ0,θ0,φ0)TRNED(ψ,θ,φ)u

(3)

式中 ψ,θ,φ/ψ0,θ0,φ0為當前姿態(tài)、掘進作業(yè)起始姿態(tài)在北—偏—東參考系下的歐拉角；RNED(ψ,θ,φ)/RNED(ψ0,θ0,φ0)為從北—偏—東參考系到當前姿態(tài)、掘進作業(yè)起始姿態(tài)定義的參考系的旋轉(zhuǎn)變換矩陣；u/u0分別為掘進臂、以及機身上參考點，以陀螺儀安裝處為原點，在當前姿態(tài)、掘進作業(yè)起始姿態(tài)定義的參考系下的坐標。

測試結(jié)果表明:上述參考系選擇能夠大幅簡化標定過程：系統(tǒng)只需通過多次測量取平均值的方法，估計作業(yè)起始姿態(tài)，即可實現(xiàn)掘進臂與機身當前姿態(tài)的實時跟蹤。

4 虛擬場景渲染

虛擬場景渲染子系統(tǒng)的流程如圖4所示。子系統(tǒng)以圖像處理子系統(tǒng)給出的位移估計，以及姿態(tài)估計子系統(tǒng)給出的機身、掘進臂姿態(tài)估計為輸入，通過計算機圖形學，生成虛擬工作面場景，并輸出到GUI。

圖4 場景渲染流程圖Fig 4 Workflow of scene rendering

整個系統(tǒng)由通用腳本解析器，與場景描述腳本兩部分組成。通用腳本解析器能夠解析ASCII碼編碼的字符串格式的繪圖命令，然后通過OpenGL相關服務實現(xiàn)繪圖操作。綜合考慮顯示需求，系統(tǒng)總共設計了光照、材質(zhì)定義，平移、尺度及旋轉(zhuǎn)變換，基本圖元—正方體與球體繪制7大類共計11條繪圖命令，這些命令都采用了命令名后附加命令參數(shù)的格式，這樣，通過將輸入?yún)?shù)轉(zhuǎn)化為適當?shù)拿顓?shù)，即可實現(xiàn)基于參數(shù)的場景渲染。場景描述腳本使用預定義的繪圖命令描述待渲染場景。系統(tǒng)在啟動后會將描述腳本以字符數(shù)組的形式加載到內(nèi)存中，當場景參數(shù)發(fā)生更新后，只需修改對應參數(shù)所在內(nèi)存單元的數(shù)值，即可實現(xiàn)場景的實時更新。

為了克服傳統(tǒng)三視圖觀察視角的局限性，子系統(tǒng)還實現(xiàn)了水晶球觀測模型，這樣操作工人可通過鍵盤操作，實現(xiàn)對場景360°遠近可調(diào)的無死角觀察。通過進一步豐富檢測細節(jié)，子系統(tǒng)能夠比傳統(tǒng)的三視圖提供更多的有效信息。

5 實驗測試

系統(tǒng)測試在兗礦集團東華重工掘進機測試車間進行。整個系統(tǒng)安裝在EBZ220型掘進機上，主要對系統(tǒng)與正前方壁面距離的估計能力、機身與掘進臂姿態(tài)的估計能力以及系統(tǒng)的實時渲染能力進行了測試。

圖5 實驗測試Fig 5 Experimental test

5.1 正前方壁面距離估計能力測試

測定了系統(tǒng)在距離的典型動態(tài)范圍：3.00～7.00m內(nèi)的估計性能。測試結(jié)果如表3所示。系統(tǒng)估計精度已達到生產(chǎn)需求。

表3 距離估計測試結(jié)果

5.2 姿態(tài)估計與實時渲染能力測試

當兩陀螺儀的姿態(tài)估計更新速率設定為25 Hz時，姿態(tài)估計與渲染系統(tǒng)能夠?qū)崟r跟蹤系統(tǒng)的運動。渲染結(jié)果如圖6所示。

圖6 姿態(tài)估計與實時渲染測試Fig 6 Test of altitude estimation and realtime rendering

6 結(jié)束語

本文論述了掘進機智能監(jiān)測系統(tǒng)中關鍵技術及其實現(xiàn)，重點論述了圖像處理子系統(tǒng)中基于CNN網(wǎng)絡的標志物中心點檢測算法，姿態(tài)估計子系統(tǒng)中基于SVDD的靜止狀態(tài)下抖動抑制算法，相對掘進起始位置姿態(tài)估計算法，以及虛擬場景渲染子系統(tǒng)中基于計算機圖形學的實時渲染系統(tǒng)的實現(xiàn)。實驗測試結(jié)果表明:選擇的算法能夠達到預定的檢測精度，相比傳統(tǒng)系統(tǒng)，新系統(tǒng)能夠更好地滿足一線操作工人的監(jiān)控需求，能夠為國家數(shù)字礦山與安全生產(chǎn)的戰(zhàn)略規(guī)劃提供有效保障。

[1] 王殿君.雙目視覺在移動機器人定位中的應用[J].中國機械工程，2013,24(9):1155-1158.

[2] 秦 勇,臧希喆,王曉宇,等.基于MEMS慣性傳感器的機器人姿態(tài)檢測系統(tǒng)的研究[J].傳感技術學報,2007,20(2):298-301.

[3] 田 娟,鄭郁正.模板匹配技術在圖像識別中的應用[J].傳感器與微系統(tǒng),2008,27(1):112-117.

[4] 陳航科,張東升,盛曉超,等.基于Kalman濾波算法的姿態(tài)傳感器信號融合技術研究[J].傳感器與微系統(tǒng),2013,32(12):82-89.

[5] Gonzalez R C.Digital image processing[M].New York:Prentice-Hall,2014:205-215.

[6] Benigo Y,Courville A,Vincent P.Representation learning:A review and new perspectives[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8):1798-1828.

[7] Hartley R,Zisserman A.Multiple view geometry in computer vision[M].New York:Cambridge University Press,2004:312-315.

[8] Tax D M,Duin R P.Support vector data description[J].Machine Learning,2004,56(2):45-66.

王坤東，通訊作者，E—mail:kdwang@sjtu.edu.cn。

Design of intelligent monitoring system for mining machines based on CNN and SVDD

GE Yao1， SUN Qiang2， WANG Kun-dong1

(1.Institute of Precision Engineering and Intelligent Systems,Shanghai Jiao Tong University, Shanghai 200240,China; 2.Mining Machinery Manufacturing Co Ltd,Yankuang Donghua Group, Zoucheng 273500,China)

By detection of convolutional neural network(CNN)of laser marker and reconstruction of singular value decomposition(SVD) of center of markers,coordinates estimation of machine in tunnel coordinate is achieved.By jitter suppression of gyro in resting state based on supporting vector data description(SVDD)and transformation of

ystem,body and robotic arm altitude estimation are achieved. Based on OpenGL,real-time virtual rendering of scene of working face is achieved.Experimental results show that the system is able to monitor mining machine in working face scene accurately and reliably.

convolutional neural network(CNN); singular value decomposition(SVD); support vector data description(SVDD); 3D reconstruction; altitude estimation

2015—11—09

10.13873/J.1000—9787(2016)10—0076—04

TP 242

A

1000—9787(2016)10—0076—04

葛 垚(1990-)，男，山西太原人，碩士研究生，研究方向為機器學習在工程問題中的應用。