付元

(1.煤炭科學(xué)技術(shù)研究院有限公司， 北京 100013；2.煤礦應(yīng)急避險(xiǎn)技術(shù)裝備工程研究中心， 北京 100013；3.北京市煤礦安全工程技術(shù)研究中心， 北京 100013)

0 引言

煤炭是我國(guó)能源的基石，是可以實(shí)現(xiàn)清潔高效利用的最經(jīng)濟(jì)、可靠的能源[1]。我國(guó)的煤炭開采方式主要以井工開采為主，綜采工作面是井工開采的核心組成部分。由于煤礦井下綜采工作面礦塵濃度高、環(huán)境潮濕、噪聲大，且存在冒頂、片幫、沖擊地壓、瓦斯突出等危險(xiǎn)，所以，引導(dǎo)煤礦開采方式機(jī)械化、自動(dòng)化與智能化，逐步實(shí)現(xiàn)少人化、無(wú)人化開采是煤礦綜采技術(shù)的發(fā)展方向和實(shí)現(xiàn)煤礦安全生產(chǎn)的必然要求[2-3]。煤礦智能化是實(shí)現(xiàn)煤炭工業(yè)高質(zhì)量發(fā)展的核心技術(shù)支撐,建設(shè)智能化煤礦是煤炭工業(yè)的戰(zhàn)略方向,是煤礦高質(zhì)量發(fā)展的必由之路[4-6]。隨著煤礦開采機(jī)械化、自動(dòng)化的逐步實(shí)現(xiàn)，煤礦開采智能化技術(shù)已成為煤礦綜采技術(shù)的研究熱點(diǎn)。煤礦開采智能化技術(shù)是通信技術(shù)、感知技術(shù)、信息技術(shù)、智能分析技術(shù)等信息化技術(shù)的深度融合，通過(guò)對(duì)采煤機(jī)的自主導(dǎo)航、三機(jī)聯(lián)動(dòng)的自動(dòng)控制、地面對(duì)設(shè)備、系統(tǒng)、環(huán)境的實(shí)時(shí)監(jiān)測(cè)與控制等功能，實(shí)現(xiàn)綜采工作面智能化開采[7-8]。煤礦開采智能化技術(shù)分為兩大階段:可視化遠(yuǎn)程干預(yù)型智能化無(wú)人開采和自適應(yīng)型智能化無(wú)人開采[9-11]。

礦井視頻監(jiān)控智能化技術(shù)是實(shí)現(xiàn)煤礦可視化遠(yuǎn)程干預(yù)型智能化無(wú)人開采的關(guān)鍵技術(shù)之一[1-2,9]。但煤礦井下開采工作面環(huán)境惡劣，使得采集的礦井監(jiān)視圖像具有嚴(yán)重的退化現(xiàn)象，影響了煤礦開采智能化的發(fā)展[4,12]。因此，研究礦井監(jiān)視圖像復(fù)原技術(shù)，以改善礦井監(jiān)視圖像的質(zhì)量具有重要意義。

礦井監(jiān)視圖像復(fù)原主要是利用礦井圖像采集過(guò)程中的有關(guān)先驗(yàn)知識(shí)建立退化模型，進(jìn)而恢復(fù)圖像的原始面貌。根據(jù)圖像退化模型的確定性，圖像復(fù)原算法可以分為確定性算法和隨機(jī)性算法，其中，確定性算法主要是利用偏微分方程和小波變換實(shí)現(xiàn)，而隨機(jī)性算法主要是利用概率統(tǒng)計(jì)算法實(shí)現(xiàn)圖像復(fù)原。

考慮到礦井監(jiān)視圖像的采集過(guò)程受液壓支架、采煤機(jī)、破碎機(jī)與帶式輸送機(jī)的振動(dòng)及礦塵、噴霧等因素的隨機(jī)影響，無(wú)法準(zhǔn)確獲知圖像退化的深度、強(qiáng)度、范圍等有用信息，因此，采用隨機(jī)性算法復(fù)原礦井監(jiān)視圖像。比較常用的隨機(jī)性算法有馬爾科夫隨機(jī)場(chǎng)方法、最大后驗(yàn)概率、基于貝葉斯的L-R算法(以下稱L-R算法)等。基于馬爾科夫隨機(jī)場(chǎng)的復(fù)原方法易受圖像灰度變化的影響，基于最大后驗(yàn)概率的圖像復(fù)原算法易受高斯分布的限制，而L-R算法擁有預(yù)測(cè)各種概率分布、估計(jì)不同模型的參數(shù)與估算各類不確定因素的優(yōu)勢(shì)，比較適合于煤礦井下的圖像監(jiān)視復(fù)原場(chǎng)景[13-14]?；趫D像超分辨率的礦井監(jiān)視圖像復(fù)原方法主要是利用圖像縮放、降質(zhì)模型等機(jī)理，恢復(fù)圖像中丟失的高頻信息，但是該方法對(duì)噪聲信息比較敏感[15]?；诎翟c暗通道的復(fù)原方法是將原始圖像中比較暗的區(qū)域分離出來(lái)，得出整體圖像的統(tǒng)計(jì)模型，但是對(duì)于煤礦井下低照度的監(jiān)視圖像，該方法效果不是很明顯[16-17]。

鑒此，本文設(shè)計(jì)了一套基于L-R算法的礦井監(jiān)視圖像復(fù)原裝置。該裝置利用基于L-R算法的圖像復(fù)原模型，可對(duì)礦井監(jiān)視圖像進(jìn)行精確復(fù)原，提高了礦井圖像復(fù)原的質(zhì)量。

1 基于L-R算法的圖像復(fù)原模型建立

L-R算法是根據(jù)泊松分布特性，基于貝葉斯理論與迭代理念推導(dǎo)出的圖像復(fù)原算法[18]。

貝葉斯理論表述如下：

(1)

式中：p(f)為事件f發(fā)生的概率；p(g)為事件g發(fā)生的概率；p(f|g)為事件f在事件g發(fā)生基礎(chǔ)上發(fā)生的概率。

由全概率公式可得

(2)

將式(1)、式(2)應(yīng)用到圖像復(fù)原過(guò)程中，用f表示原始圖像，g表示退化圖像，p(f)表示原始圖像m(x,y)((x,y)表示原始圖像m(x,y)的元素坐標(biāo))的灰度分布函數(shù)，p(g)表示退化圖像n(x1,y1)((x1,y1)表示退化圖像n(x1,y1)的元素坐標(biāo))的灰度分布函數(shù)，p(g|f)表示以點(diǎn)(x,y)為中心的點(diǎn)擴(kuò)散函數(shù)h(x1-x,y1-y)，可得

m(x,y)=

(3)

調(diào)整式(3)積分項(xiàng)中分子的x1與x、y1與y的順序，再次變換可得

h(-(x-x1),-(y-y1))dx1dy1m(x,y)

(4)

以退化圖像n(x1,y1)為基礎(chǔ)，將式(3)、式(4)進(jìn)一步以卷積的形式表示如下：

(5)

對(duì)式(5)中的m(x,y)的表達(dá)式進(jìn)行進(jìn)一步分析，并以迭代的方式求原始圖像m(x,y)，可得

(6)

式中：k為迭代次數(shù)，取值范圍為1～∞；e(x,y)為迭代后的圖像。

針對(duì)圖像復(fù)原場(chǎng)景的表示，e0(x,y)=m(x,y)，隨著迭代次數(shù)k的增加，ek+1(x,y)會(huì)根據(jù)概率收斂于e(x,y)。

2 裝置設(shè)計(jì)

基于L-R算法的礦井監(jiān)視圖像復(fù)原裝置需要實(shí)現(xiàn)以下功能：獲取礦井?dāng)z像頭的多媒體包流、調(diào)用圖像復(fù)原模塊、將復(fù)原后的圖像以多媒體包流的形式轉(zhuǎn)發(fā)到視頻監(jiān)控端。

裝置工作原理如圖1所示。首先，采集攝像頭的多媒體包流信息，并對(duì)流信息進(jìn)行解析，獲取視頻流，得到圖像幀信息；然后，調(diào)用基于L-R算法的圖像復(fù)原模塊，進(jìn)行圖像復(fù)原，并輸出復(fù)原后的圖像；最后，將復(fù)原后的圖像幀編碼為多媒體包流信息轉(zhuǎn)發(fā)至視頻監(jiān)控端，為操作人員遠(yuǎn)程操作采煤設(shè)備提供清晰的視頻信息。該裝置可通過(guò)API的形式配置圖像復(fù)原模塊的參數(shù)[19-21]。

2.1 裝置硬件設(shè)計(jì)

基于L-R算法的礦井監(jiān)視圖像復(fù)原裝置硬件主要由供電模塊、通信模塊、處理模塊與存儲(chǔ)模塊組成，如圖2所示。供電模塊用于向處理模塊供電。通信模塊用于處理模塊與攝像頭、視頻監(jiān)控端的通信。存儲(chǔ)模塊用于存儲(chǔ)處理程序與臨時(shí)數(shù)據(jù)。處理模塊以BCM2711處理器為核心，操作系統(tǒng)為Ubuntu，主頻為1.5 GHz，指令集為ARM7，用于完成視頻取流、圖像復(fù)原與視頻流轉(zhuǎn)發(fā)操作。

圖1 基于L-R算法的圖像復(fù)原裝置架構(gòu)Fig.1 Architecture of image restoration device based on L-R algorithm

圖2 裝置硬件組成Fig.2 Device hardware composition

2.2 裝置軟件設(shè)計(jì)

基于L-R算法的礦井監(jiān)視圖像復(fù)原裝置軟件系統(tǒng)采用面向服務(wù)的架構(gòu)、模塊化的設(shè)計(jì)思路。整體軟件系統(tǒng)包含取流模塊、配置模塊、復(fù)原模塊與轉(zhuǎn)發(fā)模塊。

2.2.1 取流模塊

取流模塊主要用于獲取礦井?dāng)z像頭的多媒體文件，從多媒體文件中解碼出視頻幀，主要流程如下：

(1) 獲取礦井監(jiān)控信息的多媒體包流文件，包括網(wǎng)絡(luò)地址及端口與獲取格式。

(2) 解析多媒體包流文件，檢測(cè)多媒體包中是否含有視頻流，若有，則獲取流信息;若沒有，則丟棄。

(3) 解析流信息，獲取視頻流。

(4) 解析視頻流信息，獲取解碼器信息，根據(jù)解碼器信息，加載對(duì)應(yīng)的解碼器模塊。

(5) 調(diào)用解碼器模塊，對(duì)視頻流進(jìn)行解碼，并獲取視頻幀信息。

(6) 調(diào)用圖像復(fù)原模塊。

2.2.2 配置模塊

配置模塊主要是對(duì)復(fù)原模塊中所需要的參數(shù)進(jìn)行配置。該模塊按照復(fù)原模塊的參數(shù)屬性、個(gè)數(shù)及位置要求，以API的形式對(duì)外發(fā)布參數(shù)需求，其主要格式如下：

地址：

POST http://{IP}:{PORT}/api/config

描述：

配置復(fù)原模塊的參數(shù)

參數(shù)：

半徑：Rad

標(biāo)準(zhǔn)差：Std

迭代次數(shù)：k

參數(shù)示例：

{

“Rad”:5,

“Std”:3,

“k”:25

}

狀態(tài)碼：

200 OK

400 BadRequest

2.2.3 復(fù)原模塊

復(fù)原模塊屬于該裝置的核心模塊，利用L-R算法對(duì)圖像進(jìn)行復(fù)原，主要流程如下：

(1) 加載復(fù)原模塊的配置參數(shù)(半徑r，標(biāo)準(zhǔn)差σ，迭代次數(shù)k)。

(2) 加載退化函數(shù)模型(以高斯函數(shù)為例)，并設(shè)定參數(shù)。

(3) 監(jiān)聽調(diào)用。

(4) 獲取圖像信息，轉(zhuǎn)換為圖像矩陣。

(5) 退化模型以圖像矩陣中的每一個(gè)元素值為中心，與圖像矩陣進(jìn)行卷積操作(邊緣處補(bǔ)0)。

(6) 迭代次數(shù)為k-1，檢測(cè)迭代次數(shù)是否為0，若為0，則退出，并將迭代后的圖像矩陣轉(zhuǎn)換為圖像信息。

(7) 輸出圖像信息。

2.2.4 轉(zhuǎn)發(fā)模塊

轉(zhuǎn)發(fā)模塊主要完成輸出圖像的編碼，進(jìn)行網(wǎng)絡(luò)流媒體傳輸，主要流程如下：

(1) 對(duì)圖像復(fù)原模塊輸出的圖像進(jìn)行編碼。

(2) 調(diào)用圖像幀并轉(zhuǎn)換至byte數(shù)據(jù)。

(3) 初始化RTP(Real Time Protocol, 實(shí)時(shí)傳輸協(xié)議)包，開始構(gòu)建視頻流。

(4) 對(duì)RTP數(shù)據(jù)包添加時(shí)間戳，加載byte數(shù)據(jù)。

(5) 發(fā)送RTP數(shù)據(jù)包，返回剩余數(shù)據(jù)，繼續(xù)步驟(3)。

3 裝置實(shí)驗(yàn)驗(yàn)證

采用基于ARM的微型計(jì)算機(jī)作為實(shí)驗(yàn)平臺(tái)，并采用8臺(tái)高清數(shù)字?jǐn)z像機(jī)作為視頻流采集設(shè)備，用于采集綜采工作面的視頻數(shù)據(jù)，復(fù)原后的視頻流通過(guò)RJ45網(wǎng)口轉(zhuǎn)發(fā)至視頻監(jiān)控端，其中復(fù)原模塊中的退化模型采用高斯函數(shù)模板，半徑為3，標(biāo)準(zhǔn)差為5，迭代次數(shù)為45。

在視頻監(jiān)控端，分別采集高清數(shù)字?jǐn)z像機(jī)與圖像復(fù)原裝置轉(zhuǎn)發(fā)的視頻流，采集時(shí)長(zhǎng)分別為1，3，5 min，并將采集到的視頻流轉(zhuǎn)換為視頻幀，計(jì)算每一幀圖像的灰度平均梯度值、拉普拉斯算子和與信息熵值，并計(jì)算其各段時(shí)間內(nèi)的視頻流圖像幀的平均值，結(jié)果見表1?；叶绕骄荻戎?、拉普拉斯算子和與信息熵的評(píng)價(jià)準(zhǔn)則如下[22-24]：

(1) 灰度平均梯度值:主要反映圖像的對(duì)比度和紋理特征，其值越大，表示圖像越清晰。

(2) 拉普拉斯算子和：主要反映了圖像灰度邊界的數(shù)量和，其值越大，表示圖像越清晰。

(3) 信息熵：主要反映圖像的信息量，其值越大，表示圖像中的信息量越大。

表1 視頻流質(zhì)量對(duì)比Table 1 Video stream quality comparison

由表1可看出，相對(duì)于原視頻流質(zhì)量，復(fù)原后的視頻流的圖像質(zhì)量得到明顯提升，表明基于L-R算法的礦井監(jiān)視圖像復(fù)原裝置可有效提升煤礦井下的視頻質(zhì)量。

4 結(jié)語(yǔ)

針對(duì)礦井視頻監(jiān)視圖像存在嚴(yán)重退化的問(wèn)題，設(shè)計(jì)了一套基于L-R算法的礦井監(jiān)視圖像復(fù)原裝置。該裝置通過(guò)礦井?dāng)z像頭獲取視頻流信息，并對(duì)流信息進(jìn)行解析，獲取視頻流，得到圖像幀信息；基于L-R算法的圖像復(fù)原模塊進(jìn)行圖像復(fù)原，并輸出復(fù)原后的圖像；將復(fù)原后的圖像幀編碼為多媒體包流信息轉(zhuǎn)發(fā)至視頻監(jiān)控端，為操作人員遠(yuǎn)程操作采煤設(shè)備提供清晰的視頻信息。實(shí)驗(yàn)結(jié)果表明，該裝置可有效提升礦井監(jiān)視圖像的質(zhì)量，為實(shí)現(xiàn)煤礦可視化遠(yuǎn)程干預(yù)型智能化無(wú)人開采提供技術(shù)保障。