劉毅， 翟貴盛

(中國礦業(yè)大學(xué)(北京) 機(jī)電與信息工程學(xué)院， 北京 100083)

0 引言

煤炭是我國的主要能源，目前煤礦多采用井工開采方式，井下易發(fā)生各類災(zāi)害與事故。井下人員定位系統(tǒng)是煤礦安全避險(xiǎn)“六大系統(tǒng)”之一，是煤礦安全生產(chǎn)的重要保障[1]。因此，井下定位技術(shù)研究具有重要意義?，F(xiàn)有的定位技術(shù)中，全球定位系統(tǒng)(Global Positioning System，GPS)等衛(wèi)星定位系統(tǒng)無法應(yīng)用于井下定位；基于接收信號強(qiáng)度指示(Received Signal Strength Indication，RSSI)的井下定位系統(tǒng)誤差達(dá)10 m以上；基于無線電波飛行時(shí)間的井下定位系統(tǒng)目前定位精度最高可達(dá)0.3 m，但易受巷道的形狀、分支和巷道中固有設(shè)施及移動(dòng)人員、車輛等影響，定位精度波動(dòng)較大，難以進(jìn)一步提高。

目前煤礦朝著智能化方向發(fā)展，現(xiàn)有定位技術(shù)難以滿足井下智能設(shè)備高精度定位需求。因此，需要從新的技術(shù)層面探索研究井下精確定位方法，以進(jìn)一步提高井下定位精度。本文提出了一種基于井下移動(dòng)圖像采集的目標(biāo)識別與精確定位方法,通過識別井下移動(dòng)采集圖像中的目標(biāo)物，在已知目標(biāo)物位置的情況下測量人員或移動(dòng)設(shè)備與目標(biāo)物間的距離，實(shí)現(xiàn)井下精確定位。

1 方法流程

基于井下移動(dòng)圖像采集的目標(biāo)識別與精確定位方法的流程如圖1所示。

圖1 基于井下移動(dòng)圖像采集的目標(biāo)識別與精確定位方法流程Fig.1 Flow of target identification and precise positioning method based on underground moving image collection

(1) 井下移動(dòng)圖像采集：通過井下工作人員或移動(dòng)設(shè)備攜帶的攝像機(jī)主動(dòng)式采集前方環(huán)境的圖像信息。

(2) 圖像預(yù)處理：對采集的圖像進(jìn)行預(yù)處理，為目標(biāo)檢測做準(zhǔn)備。

(3) 井下圖像目標(biāo)檢測：對經(jīng)過預(yù)處理的圖像進(jìn)行目標(biāo)檢測，檢測出測距需要的目標(biāo)物，為后續(xù)測距做準(zhǔn)備。

(4) 目標(biāo)物測距：對井下圖像目標(biāo)檢測得到的目標(biāo)物進(jìn)行測距。

(5) 定位：參考目標(biāo)物的已知位置數(shù)據(jù),獲得井下人員或移動(dòng)設(shè)備的位置。

限于篇幅，本文主要介紹井下圖像目標(biāo)檢測和目標(biāo)物測距與定位的相關(guān)研究內(nèi)容。

2 井下圖像目標(biāo)檢測

2.1 圖像預(yù)處理

由于煤礦井下環(huán)境特殊，全天人工照明，加上粉塵和潮濕等因素的影響，井下采集的視頻、圖像往往存在照度低、光源分布不均勻、幾乎沒有色彩信息等特點(diǎn)，加大了圖像分析檢測的難度，也不利于后續(xù)進(jìn)一步利用井下的圖像、視頻信息[2]。另外，不同于井下傳統(tǒng)的固定攝像設(shè)備，通過移動(dòng)設(shè)備采集井下圖像、視頻時(shí)，很難保證攝像機(jī)和目標(biāo)物體相對靜止，容易出現(xiàn)模糊的情況。因此，有必要在檢測識別之前對圖像、視頻進(jìn)行預(yù)處理。

在實(shí)驗(yàn)室模擬井下巷道環(huán)境，使用移動(dòng)攝像機(jī)采集模擬井下標(biāo)牌圖像信息，并通過自適應(yīng)直方圖均衡化方法[3]對采集到的原始圖像進(jìn)行預(yù)處理，結(jié)果如圖2所示。通過圖像預(yù)處理，增加了圖像對比度，使圖像更加清晰。

(a) 原圖

2.2 目標(biāo)檢測算法

2.2.1 傳統(tǒng)算法

傳統(tǒng)的井下目標(biāo)檢測算法主要包括灰度圖像匹配算法和特征圖像匹配算法?；叶葓D像匹配算法通過遍歷原始灰度圖像，尋找與灰度模板圖像匹配程度最高的區(qū)域[4]，從而實(shí)現(xiàn)目標(biāo)檢測。該算法復(fù)雜度低，匹配準(zhǔn)確率較高。特征圖像匹配算法通過檢測原始圖像中的不變特征，實(shí)現(xiàn)目標(biāo)匹配[5-6]。該算法對于圖像的尺度變換、仿射變換等具有良好的適應(yīng)性。

2.2.2 基于深度學(xué)習(xí)的目標(biāo)檢測算法

基于深度學(xué)習(xí)的目標(biāo)檢測算法主要分為2類:一類是以R-FCN(基于Region的全卷積網(wǎng)絡(luò))、Fast R-CNN(基于Region的快速卷積網(wǎng)絡(luò))等為代表的二階段算法[7-9]，另一類是以YOLO(You Only Look Once)、SSD(Single Shot Multibox Detector)為代表的一階段算法[10]。雖然一階段算法檢測準(zhǔn)確度稍低于二階段算法，但運(yùn)行效率高。SSD采用多尺度的金字塔結(jié)構(gòu)特征層組對目標(biāo)進(jìn)行分類和定位[11]，適應(yīng)性優(yōu)于YOLO，因此本文采用SSD作為研究模型。

SSD算法框架如圖3所示。其中淺層網(wǎng)絡(luò)特征圖感受野較小，主要用來檢測小目標(biāo)物體；深層網(wǎng)絡(luò)特征圖感受野較大，主要用來檢測大目標(biāo)物體。

圖3 SSD算法框架Fig.3 Frame of SSD algorithm

2.2.3 數(shù)據(jù)增強(qiáng)SSD算法

通過數(shù)據(jù)增強(qiáng)可以減少網(wǎng)絡(luò)的過擬合現(xiàn)象，對參與訓(xùn)練的圖片進(jìn)行變換，從而獲得泛化能力更好的網(wǎng)絡(luò)模型。在進(jìn)行SSD數(shù)據(jù)集訓(xùn)練時(shí)，通過引入噪聲擾動(dòng)和對比度變換等進(jìn)行數(shù)據(jù)增強(qiáng)，具體方法如下：① 在原始圖像中引入不同程度的椒鹽噪聲，擴(kuò)增訓(xùn)練樣本，增強(qiáng)網(wǎng)絡(luò)對一般性噪聲信息的魯棒性。② 在訓(xùn)練過程中，對原始圖像進(jìn)行灰度處理，增強(qiáng)檢測網(wǎng)絡(luò)對巷道環(huán)境光照不足、光照變化、色彩信息缺失等環(huán)境影響因素的魯棒性。③ 通過隨機(jī)改變原始圖像的亮度值來調(diào)整原始圖像的對比度。

2.3 實(shí)驗(yàn)分析

2.3.1 傳統(tǒng)算法目標(biāo)檢測實(shí)驗(yàn)

在實(shí)驗(yàn)室模擬井下環(huán)境，移動(dòng)采集包含待測目標(biāo)物的圖像，以驗(yàn)證灰度圖像匹配算法和特征圖像匹配算法的匹配效果?；叶绕ヅ淠０迦鐖D4所示，灰度匹配效果如圖5所示。特征匹配效果如圖6所示，左側(cè)為匹配模板圖像，右側(cè)為匹配目標(biāo)圖像，黃線連接的是匹配特征點(diǎn)。計(jì)算各算法的匹配準(zhǔn)確率,分析算法性能，結(jié)果如圖7所示。

圖4 灰度模板Fig.4 Grayscale template

分析實(shí)驗(yàn)結(jié)果可知：灰度圖像匹配算法受限于模板特征，準(zhǔn)確率受距離影響較大，到0.7 m時(shí)已無法匹配；特征圖像匹配算法在適應(yīng)性方面好于灰度圖像匹配算法；隨著距離增大，2種傳統(tǒng)算法的匹配準(zhǔn)確率下降明顯，不適用于本文移動(dòng)圖像檢測應(yīng)用場景。

圖5 灰度匹配效果Fig.5 Gray matching effect

圖6 特征匹配效果Fig.6 Characteristic matching effect

(a) 灰度匹配算法

(b) 特征匹配算法

2.3.2 SSD算法目標(biāo)檢測實(shí)驗(yàn)

在實(shí)驗(yàn)室走廊模擬井下巷道弱光環(huán)境，工作人員攜帶攝像機(jī)在巷道中移動(dòng)，采集目標(biāo)圖像，建立模擬井下數(shù)據(jù)集。總樣本數(shù)為4 806，其中訓(xùn)練樣本數(shù)為3 845，測試樣本數(shù)為961。

通過增加椒鹽噪聲、灰度處理和對比度增強(qiáng)的方式對樣本集進(jìn)行數(shù)據(jù)增強(qiáng)處理，效果如圖8所示。

使用模擬井下數(shù)據(jù)集對SSD網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到檢測模型，通過測試集驗(yàn)證模型檢測性能，檢測結(jié)果如圖9所示。檢測性能對比見表1。

實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)算法相比，SSD算法對距離和角度變化的適應(yīng)能力更好，距離為4.5 m時(shí)平均檢測精確率仍達(dá)89.2%。數(shù)據(jù)增強(qiáng)SSD算法提高了魯棒性，平均檢測精確率比SSD算法高1.7%，可以更好地適應(yīng)復(fù)雜環(huán)境。

(a) 原圖

(c) 灰度處理

(a) SSD算法

(b) 數(shù)據(jù)增強(qiáng)SSD算法

表1 SSD 算法檢測性能對比Table 1 Detection performance comparison of SSD algorithm

SSD算法、數(shù)據(jù)增強(qiáng)SSD算法的檢測效果對比如圖10所示?？梢?，通過合理的數(shù)據(jù)增強(qiáng)操作可提高SSD算法對井下圖像目標(biāo)的識別性能。實(shí)驗(yàn)中所使用的模擬里程標(biāo)志牌相對墻壁具有比較明顯的差異，而且只有一種待測目標(biāo)物，這些條件均減輕了深度學(xué)習(xí)訓(xùn)練的壓力，因此,目標(biāo)檢測精度比較高。在井下真實(shí)環(huán)境中，針對標(biāo)志牌的設(shè)立應(yīng)制定相關(guān)標(biāo)準(zhǔn)，標(biāo)志牌與周圍環(huán)境必須有明顯的區(qū)分度。

3 煤礦井下測距與定位

3.1 坐標(biāo)系轉(zhuǎn)換

通過攝像機(jī)采集目標(biāo)圖像并完成測距和定位，首先需進(jìn)行物理坐標(biāo)系和像素坐標(biāo)系之間的轉(zhuǎn)換。像素坐標(biāo)系中點(diǎn)p的像素坐標(biāo)(u,v)代表該點(diǎn)在數(shù)字圖像數(shù)組中的行列數(shù)；物理坐標(biāo)系中點(diǎn)p的坐標(biāo)(x,y)表示像素在圖像中的位置[12-13]。2種坐標(biāo)系的轉(zhuǎn)換關(guān)系如圖11所示，坐標(biāo)轉(zhuǎn)換關(guān)系為

(a) SSD檢測結(jié)果

(b) 數(shù)據(jù)增強(qiáng)SSD檢測結(jié)果

(c) 檢測結(jié)果放大對比

(1)

式中：sx，sy為圖像平面中不同方向上單位距離的像素?cái)?shù)；(u0,v0)為原點(diǎn)坐標(biāo)，即攝像機(jī)光軸與圖像平面的交點(diǎn)坐標(biāo)。

圖11 物理坐標(biāo)系與像素坐標(biāo)系轉(zhuǎn)換Fig.11 Transformation between physical coordinate system and pixel coordinate system

圖像物理坐標(biāo)系與像素坐標(biāo)系間的轉(zhuǎn)換關(guān)系可表示為[14]

(2)

式中dx，dy分別表示單個(gè)像素在x和y方向上的物理尺寸。

3.2 單目測距方法

為了盡可能滿足實(shí)時(shí)性要求，本文采用基于小孔成像原理的單目測距方法[15]檢測移動(dòng)攝像機(jī)與目標(biāo)物的距離，如圖12所示。

圖12 單目測距方法Fig.12 Monocular distance measuring method

將移動(dòng)攝像機(jī)理想化成一個(gè)點(diǎn)，已知待測目標(biāo)物的高度為L，測得目標(biāo)物在圖像上的高度為l，由幾何關(guān)系可得當(dāng)前攝像機(jī)光心與待測目標(biāo)物之間的距離d為

(3)

式中f為攝像機(jī)焦距。

根據(jù)式(2)可得x=(u-u0)dx，y=(v-v0)dy，此時(shí)目標(biāo)物在成像平面的高度的平方為

[(um-un)dx]2+[(vm-vn)dy]2

(4)

式中:(xm,ym),(xn,yn)表示目標(biāo)物在成像平面的預(yù)測矩形框右側(cè)的兩頂點(diǎn)坐標(biāo);(um,vm),(un,vn)表示目標(biāo)物預(yù)測矩形框右側(cè)的兩頂點(diǎn)坐標(biāo)。

設(shè)ax=f/dx,ay=f/dy，代入式(3)和式(4)可得攝像機(jī)與待測目標(biāo)物之間的距離為

(5)

3.3 方向判定與定位

測量出移動(dòng)攝像機(jī)與待測目標(biāo)物之間的距離后，還需要確定待測目標(biāo)物與移動(dòng)攝像機(jī)的相對位置關(guān)系，即方向判定。在本文實(shí)驗(yàn)?zāi)M環(huán)境中，將模擬里程標(biāo)志牌分別部署在墻壁兩側(cè)，統(tǒng)一進(jìn)行圖像采集，并統(tǒng)一進(jìn)行訓(xùn)練和目標(biāo)檢測。在實(shí)際應(yīng)用中，標(biāo)志牌是固定在墻壁一側(cè)的，需在其左側(cè)和右側(cè)分別進(jìn)行圖像采集，單獨(dú)進(jìn)行分類訓(xùn)練，才能實(shí)現(xiàn)攝像機(jī)方向識別。在已知目標(biāo)物位置的前提下，當(dāng)定位系統(tǒng)完成目標(biāo)物的檢測、測距和方向判定后，以目標(biāo)物位置數(shù)據(jù)作為參照點(diǎn)坐標(biāo)，即可實(shí)現(xiàn)攜帶攝像機(jī)的人員、車輛或設(shè)備等移動(dòng)目標(biāo)的定位。

4 實(shí)驗(yàn)分析及井下應(yīng)用

4.1 實(shí)驗(yàn)分析

基于VS 2012、OpenCV視覺庫和Matlab平臺進(jìn)行實(shí)驗(yàn)。選用可設(shè)置視頻分辨率的攝像機(jī)作為圖像采集設(shè)備，所采集的圖像像素為600×800。攝像機(jī)內(nèi)參矩陣為

(6)

從式(6)可知攝像機(jī)基本參數(shù)：ax=659.831 2，ay=580.782 9，成像平面原點(diǎn)像素坐標(biāo)為(u0,v0)=(328.399 1,412.290 2)。

在實(shí)驗(yàn)室模擬環(huán)境中，采用基于井下移動(dòng)圖像采集的目標(biāo)識別與精確定位方法計(jì)算移動(dòng)攝像機(jī)與待測目標(biāo)物之間的距離，結(jié)果見表2。由表2可知，隨著測量距離的增加，測量精度有所下降。

表2 測距實(shí)驗(yàn)結(jié)果Table 2 Ranging experiment results

4.2 井下現(xiàn)場應(yīng)用

在國家能源集團(tuán)寧夏煤業(yè)有限責(zé)任公司雙馬煤礦井下現(xiàn)場，采用KT559-S2本質(zhì)安全型智能手機(jī)采集環(huán)境圖像，如圖13所示?；跀z像機(jī)標(biāo)定數(shù)據(jù)進(jìn)行測距，結(jié)果見表3。由表3可知，在井下應(yīng)用時(shí)，基于井下移動(dòng)圖像采集的目標(biāo)識別與精確定位方法可在一定距離范圍內(nèi)得到較理想的效果。當(dāng)待測目標(biāo)物距離較近時(shí)，測量誤差在3%之內(nèi)；隨著距離的增加，測量精度有所下降。

(a) 5 m處目標(biāo)物

(c) 15 m處目標(biāo)物

表3 井下測距結(jié)果Table 3 Underground ranging results

5 結(jié)論

(1) 隨著距離增加，傳統(tǒng)的灰度圖像匹配算法和特征圖像匹配算法的匹配準(zhǔn)確率下降明顯，不適用于本文移動(dòng)圖像檢測應(yīng)用場景。

(2) 與傳統(tǒng)算法相比，SSD算法對距離和角度變化的適應(yīng)能力更好，在距離為4.5 m時(shí)有效檢測率仍達(dá)89.2%。數(shù)據(jù)增強(qiáng)SSD算法提高了魯棒性，檢測精確率比SSD算法高1.7%，可以更好地適應(yīng)復(fù)雜環(huán)境。

(3) 實(shí)驗(yàn)和井下應(yīng)用結(jié)果表明，基于井下移動(dòng)圖像采集的目標(biāo)識別與精確定位方法在2～10 m范圍內(nèi)可得到較理想的效果，隨著距離的增加，測量精度有所下降。雖然該方法仍存在一定誤差，但其計(jì)算簡便高效，可以滿足井下定位應(yīng)用要求。