李 韜

（長(zhǎng)安大學(xué)工程機(jī)械學(xué)院，陜西 西安 710064）

隨著科學(xué)技術(shù)發(fā)展和國(guó)家愈發(fā)重視煤炭生產(chǎn)安全，我國(guó)眾多高校和企業(yè)紛紛踏入礦山應(yīng)急救援技術(shù)研究的大門。礦山應(yīng)急救援技術(shù)發(fā)展到現(xiàn)今，鉆孔救援是礦山救援中一項(xiàng)實(shí)用的應(yīng)急救援技術(shù)，特別是大鉆孔救援技術(shù)已成功應(yīng)用于礦山救援。但是，在發(fā)生礦難事故后，地面救援隊(duì)臨時(shí)鉆孔得到一個(gè)較大口徑的礦井作為應(yīng)急救援井，該救援井的所有參數(shù)均未知，這對(duì)后續(xù)展開(kāi)的救援工作是一個(gè)不小的挑戰(zhàn)和隱患。而在礦難救援事故中，救援時(shí)間是最為珍貴的，所以能夠花費(fèi)最少的時(shí)間得到救援井的各項(xiàng)參數(shù)，并且檢測(cè)中不能對(duì)被救人員產(chǎn)生二次傷害，保證救生艙能夠順利進(jìn)入地下才是關(guān)鍵。而在非接觸式無(wú)損檢測(cè)中，機(jī)器視覺(jué)檢測(cè)技術(shù)的應(yīng)用已經(jīng)非常廣泛。與其他檢測(cè)技術(shù)相比較，視覺(jué)傳感器能夠提供豐富的感知信息，既能提供救援井的實(shí)時(shí)照片、視頻，又能通過(guò)圖像處理得到救援井內(nèi)表面的形變情況，為礦山救援的指揮決策提供及時(shí)有效的信息。其次，視覺(jué)傳感器相對(duì)其他傳感器來(lái)說(shuō)體積小，在布置上也更為靈活。通過(guò)提升旋轉(zhuǎn)云臺(tái)的過(guò)程中拍照救援井的內(nèi)表面，然后對(duì)所得到照片進(jìn)行圖片的拼接，從而得到救援井內(nèi)表面的全部信息，以便于判斷救生艙能否順利通過(guò)救援井，而不會(huì)發(fā)生救生艙卡殼的意外事故，達(dá)到提高救援效率的目的。這對(duì)地面應(yīng)急救援技術(shù)朝著可視化、智能化的發(fā)展有著重要的研究意義。

1 方案設(shè)計(jì)及儀器選型

1.1 方案設(shè)計(jì)

對(duì)于礦山救援計(jì)劃，對(duì)鉆孔產(chǎn)生的救援井井壁的測(cè)量，主要分為接觸式和非接觸式。接觸式傳感器在測(cè)量井壁時(shí)會(huì)收集點(diǎn)信息，所以如果需要所有的信息，就需要在井壁上放置大量高密度傳感器，這會(huì)增加井壁的功耗，還會(huì)降低逃生艙的平穩(wěn)性。相反，傳感器布置的數(shù)量少，井壁上的信息嚴(yán)重缺乏，救援不會(huì)有效。該方案是一種有效的輔助手段，鑒于這些缺點(diǎn)，決定使用非接觸式傳感器來(lái)測(cè)量。有各種類型的非接觸式距離傳感器，例如紅外傳感器、激光位移傳感器和深度相機(jī)。近年來(lái)，與其他距離傳感器相比，深度相機(jī)在各個(gè)領(lǐng)域越來(lái)越受歡迎。鑒于本實(shí)驗(yàn)環(huán)境中排氣室的直徑較小，過(guò)多的傳感器不僅會(huì)占用較大的體積，而且消耗大量電能，決定采用掃描測(cè)量的方法作為參考。這樣不僅可以減少傳感器數(shù)量，而且可以測(cè)量完整、詳細(xì)的井壁信息，測(cè)量精度高[1]。

1.2 儀器選型

深度相機(jī)通過(guò)確定的測(cè)量平面確定為測(cè)量?jī)x器。根據(jù)深度相機(jī)的功能原理，一般可以分為三種：TOF、RGB雙筒望遠(yuǎn)鏡和紅外結(jié)構(gòu)光。下面比較三種原理的深度相機(jī)的參數(shù)，可以看到如表1的展示[2]。

表1 深度相機(jī)參數(shù)對(duì)比

考慮到礦井救援井的實(shí)際工作環(huán)境，基于結(jié)構(gòu)化紅外光的深度攝像頭比基于TOF和RGB雙筒望遠(yuǎn)鏡的深度攝像頭精度更高，功耗更低，不易受基于結(jié)構(gòu)化紅外光的深度攝像頭光影響，選用紅外結(jié)構(gòu)光。

結(jié)構(gòu)光深度相機(jī)主要有Intel Realsense、Enshape、Mantis Vision、primesense、Obi中光等系列。根據(jù)技術(shù)的不同，結(jié)構(gòu)光深度相機(jī)一般可以分為IR+紅外單目矩陣投影和IR+紅外矩陣雙目投影。雙目紅外+投射紅外網(wǎng)格匹配結(jié)構(gòu)光+雙目立體融合，鑒于礦井救援井的工作環(huán)境，音效更好，應(yīng)急救援艙的直徑更小，需要深度攝像頭的深度探測(cè)距離，下限越低越好。且與上面提到的結(jié)構(gòu)光深度相機(jī)相比，Intel Realsense D435i不僅滿足上述所有要求，而且由于體積小，成像效果出色，基本可以滿足救援工作的需求和適用救援環(huán)境，這就是在這里使用Intel Realsense D435i作為救援井測(cè)量設(shè)備的原因[3]。

2 圖像特征點(diǎn)檢測(cè)與匹配

2.1 特征點(diǎn)檢測(cè)

特征點(diǎn)提取常用于圖像處理和機(jī)器圖像處理，是圖像分析和識(shí)別的前提。特征點(diǎn)提取主要是通過(guò)尋找圖像中的灰度發(fā)生根本變化位置，然后用圖像在場(chǎng)中的位置來(lái)描述特征點(diǎn)。本實(shí)驗(yàn)方案中選取的特征點(diǎn)識(shí)別為SIFT識(shí)別。SIFT （Scale-Invariant Feature Transform）由David Lowe于1999年首次發(fā)表，2004年對(duì)該算法進(jìn)行了細(xì)化和總結(jié)。處理和機(jī)器圖像處理具體算法如下[4]：

1）構(gòu)建尺度空間，使用2D高斯函數(shù)和圖像像素卷積，對(duì)每個(gè)圖像平面進(jìn)行高斯模糊和二次采樣，構(gòu)建高斯金字塔，對(duì)每組的功能進(jìn)行區(qū)分，得到金字塔-高斯差值。

2）在尺度空間中尋找極值，在DOG尺度空間中尋找不同組圖像平面中的極值，比較不同平面中的極值。

3）尋找終點(diǎn)和關(guān)鍵點(diǎn)方向，使用亞像素插值尋找空間中的終點(diǎn)，消除邊緣反應(yīng)，利用圖像梯度尋找周期的主方向。

4）根據(jù)特征點(diǎn)周圍像素的方向確定特征點(diǎn)描述符，結(jié)果為128維特征向量。

2.2 特征點(diǎn)匹配

快速最近鄰搜索算法（FLANN對(duì)應(yīng)法）是一組算法。查找大型數(shù)據(jù)集和大型特征的最近鄰，它不受Locality Sensitive Hash的影響。搜索過(guò)程包括尋找記錄幀之間的一致性，交互過(guò)程包括在一組最接近的相鄰幀描述符集中尋找另一個(gè)幀。包括隨機(jī)KD樹(shù)算法、首選搜索K-means樹(shù)算法等?？梢酝ㄟ^(guò)調(diào)整基于FLANN的匹配器參數(shù)來(lái)提高其準(zhǔn)確性。處理大數(shù)據(jù)集時(shí)效果比使用蠻力匹配方法更好，適用于不同的需求。對(duì)于浮點(diǎn)描述符，K-D-tree算法通常用于快速搜索，而對(duì)于二進(jìn)制描述符，LSH算法通常用于匹配[5]。

由于本次實(shí)驗(yàn)要求速度快，工作環(huán)境下浮井特征少，需要降低前一算法的誤差率。綜合以上兩種對(duì)應(yīng)計(jì)算的優(yōu)缺點(diǎn)，筆者選擇FLANN配對(duì)方法作為特征點(diǎn)的配對(duì)算法。

3 圖像拼接

3.1 圖像變換模型

圖像變換模型旨在實(shí)現(xiàn)兩幅圖像之間的高效記錄，并在兩幅圖像之間的點(diǎn)之間建立準(zhǔn)確的變換關(guān)系。兩幅圖像之間的幾何畸變?cè)谀Ｐ妥儞Q中產(chǎn)生了近乎無(wú)限的變換關(guān)系。在常見(jiàn)的圖像處理中，圖像變換模型一般包括剛性變換、仿射變換和投影變換。這里使用的投影變換可以將合成圖像投影到新的視野中，透視變換可以建立圖像之間的關(guān)系。射影變換的關(guān)系矩陣由方程（1）給出。

井壁的照片，如圖1所示，通過(guò)這種投影變換，根據(jù)公式（3）對(duì)左圖像進(jìn)行仿射變換，得到右圖像的變換矩陣。根據(jù)投影變換矩陣，兩幅圖像可以具有精確的投影變換關(guān)系[7]。

圖1 相鄰井壁圖

3.2 圖像融合

圖像融合是圖像拼接的最后一個(gè)重要步驟。拼接兩幅或多幅圖像后，針跡中重疊區(qū)域形成圖像之間的空間運(yùn)動(dòng)或投影變換引起的針跡和重影，在針跡重疊區(qū)域中成為更平滑、更自然的圖像。該圖選擇了逐步開(kāi)啟和關(guān)閉平均的方法。逐步開(kāi)啟和關(guān)閉方法的基本原理是為幾張要合并的圖像設(shè)置一定的權(quán)重，并通過(guò)確定的權(quán)重將合并后的圖像相加。具體操作如圖2所示，假設(shè)區(qū)域A屬于圖像，區(qū)域C屬于圖像，區(qū)域B屬于圖像和圖像的重疊區(qū)域。由于圖像之間存在明顯的亮度差異，為了使合并圖像的亮度變化均勻自然，消除拼接的影響，建議對(duì)重疊區(qū)域B采用漸進(jìn)開(kāi)/關(guān)方法。則在接近區(qū)域A處，圖像權(quán)值較大，在接近區(qū)域C處，圖像權(quán)值較大。融合表達(dá)式如式（4）所示[8]。

圖2 算法示意圖

式中，d1(x,y)+d2(x,y)=1，假設(shè)圖像融合區(qū)域處的寬度為W，dist1(x,y)表示點(diǎn)(x,y)到區(qū)域A和區(qū)域B的距離。權(quán)值d1(x,y)計(jì)算公式如式（5），從公式中可以看出，為了實(shí)現(xiàn)圖像融合區(qū)域的平滑過(guò)渡，權(quán)重隨著像素位置的變化而線性變化。

如圖3所示，融合圖像實(shí)質(zhì)上代表了圖像記錄后相鄰井壁圖像的融合。照片的主要信息都保留了下來(lái)，但是組裝還是沒(méi)有進(jìn)行很好的處理，拼接處的兩邊還是有明顯的明暗對(duì)比，從圖可以看出拼接處是一體的，在淡入淡出過(guò)程中進(jìn)入淡入淡出后拼接圖像的重疊部分，圖像比較平滑，沒(méi)有識(shí)別出亮度的差異，拼接的效果比較令人滿意。

圖3 拼接圖像

4 結(jié)論

筆者針對(duì)救援井暗黑的工作環(huán)境，基于救援井實(shí)驗(yàn)平臺(tái)進(jìn)行了特征點(diǎn)提取算法對(duì)比實(shí)驗(yàn)，對(duì)比得出SIFT算法在弱光環(huán)境下提取效果最佳。提出了一種SIFT算法，使得在時(shí)耗相近的情況下，特征點(diǎn)提取數(shù)目增多。選用FLANN算法對(duì)相鄰井壁圖像進(jìn)行特征匹配。針對(duì)在弱光環(huán)境下的救援井井壁圖片采用漸入漸出法進(jìn)行圖像融合，拼接效果更佳；引入全景圖像拼接過(guò)程，在變形部分獲得更好的排水坑壁面拼接畫面。