徐華龍

（1.煤炭科學(xué)技術(shù)研究院有限公司，北京100013；2.煤礦應(yīng)急避險技術(shù)裝備工程研究中心，北京100013；3.北京市煤礦安全工程技術(shù)研究中心，北京100013）

煤礦視頻監(jiān)控系統(tǒng)為保證煤礦安全生產(chǎn)提供了可靠的技術(shù)支持，地面工作人員通過視頻監(jiān)控系統(tǒng)可直接監(jiān)視、記錄井下的各種生產(chǎn)情況，且可為事故的事后分析提供原始的視頻資料。2019 年10 月9日，國家煤礦安監(jiān)局召開全國煤礦信息化建設(shè)工作會議，要求在12 月31 日前完成煤礦安全監(jiān)控系統(tǒng)、人員位置監(jiān)測系統(tǒng)、工業(yè)視頻監(jiān)控系統(tǒng)等3 大系統(tǒng)的全國聯(lián)網(wǎng)工作，要求實現(xiàn)“先連上、先看見”的初步目標(biāo)。傳統(tǒng)矩陣式分鏡頭監(jiān)控攝像頭存在離散、局限、聯(lián)動性差等問題，每一個鏡頭只能從鏡頭所在的視點觀看視頻圖像，每一個監(jiān)控攝像機所拍攝到的視頻圖像和周圍的環(huán)境是割裂的，各個攝像機之間也是割裂的，只有對周圍環(huán)境十分熟悉的工作人員，才能知道所拍的位置[1-3]。為此,通過研究礦井視頻二維圖像和三維模型的一張圖融合技術(shù)和基于三維實景視頻的信息增強顯示技術(shù)，使原本碎片化的視頻在真實三維場景中360°全景可視，實現(xiàn)全礦井三維視頻融合“一張圖”管理，為礦山企業(yè)安全生產(chǎn)、應(yīng)急指揮提供新型技術(shù)手段。

1 技術(shù)路線

基于三維視頻融合技術(shù)，將礦山三維模型和視頻監(jiān)控融為一體，實現(xiàn)井上下三維視頻融合監(jiān)控一張圖動態(tài)管理，主要分為以下幾個步驟來實現(xiàn)：①通過三維激光掃描技術(shù)，或3DMAX 手工建模技術(shù)，結(jié)合CAD 圖紙和現(xiàn)場拍照采集素材，完成井上下監(jiān)控區(qū)域的三維全真建模；②基于OPENCV 圖像技術(shù)，通過RTSP 協(xié)議采集現(xiàn)場監(jiān)控視頻圖像，為后續(xù)視頻融合提供穩(wěn)定、實時的視頻二維圖像數(shù)據(jù)；③針對各個攝像頭分別抓取1 張監(jiān)控圖像數(shù)據(jù)作為模型初始紋理，通過3DMAX 工具中FFD4×4×4 編輯修改器，依次完成單路視頻、多路視頻二維靜態(tài)圖像與三維模型的融合拼接，然后將融合拼接場景模型導(dǎo)入三維數(shù)字礦山平臺（DM3D），結(jié)合三維模型材質(zhì)紋理動態(tài)更新技術(shù)，完成三維實景視頻動態(tài)一張圖動態(tài)監(jiān)控；④結(jié)合多源異構(gòu)數(shù)據(jù)采集技術(shù)，基于模型與感知信息交互掛接技術(shù)，完成井下人員、瓦斯等傳感器監(jiān)測數(shù)值在三維實景視頻中增強顯示，實現(xiàn)基于三維實景視頻的多源信息動態(tài)實時監(jiān)測管理。系統(tǒng)技術(shù)路線如圖1。

圖1 技術(shù)路線圖Fig.1 Technology roadmap

2 三維場景建模

三維場景重建技術(shù)主要包括以下幾種：三維激光全真掃描技術(shù)、基于3DMAX 等工具三維重建技術(shù)、基于CAD 圖紙等矢量數(shù)據(jù)自動建模技術(shù)。針對井上下監(jiān)控區(qū)域的不同特點，應(yīng)采用不同的三維建模方式。地表工業(yè)廣場、井下變電所、井下水泵房、井下避難硐室和井下綜采工作面等重點區(qū)域，有條件掃描的區(qū)域可采用三維激光全真掃描技術(shù)，通過高精度三維點云采樣進行曲面重建，真實一比一還原三維場景。不具備掃描條件的區(qū)域則可結(jié)合CAD圖紙，以及現(xiàn)場拍攝紋理照片，利用3DMAX 等建模工具進行三維場景重建?？紤]到井下巷道更新頻率較高，宜采用基于CAD 圖紙等矢量數(shù)據(jù)自動建模技術(shù)，根據(jù)導(dǎo)線測量CAD 數(shù)據(jù)、煤層底板等高線數(shù)據(jù)和巷道斷面數(shù)據(jù)，通過巷道自動三維建模算法，快速生成巷道的三維網(wǎng)格模型[4-5]。

3 基于OPENCV 視頻實時接入

OpenCV（Open Source Computer Vision Library），是一個開源的可以跨平臺運行的計算機視覺庫，可以運行在多個操作系統(tǒng)上，包括Windows、Linux 以及Mac OS 操作系統(tǒng)上。整個庫是由C 函數(shù)和C++類構(gòu)成的，包含了許多圖像處理和計算機視覺方面的通用算法。它構(gòu)建了一個方便開發(fā)人員使用的、簡單易懂的計算機視覺框架，在這個基礎(chǔ)上，開發(fā)人員能更方便的設(shè)計出更復(fù)雜的計算機視覺相關(guān)程序[6]。

3.1 獲取RTSP 視頻流地址

煤礦企業(yè)視頻監(jiān)控主要部署在地面辦公樓、材料庫、副井、洗煤廠等區(qū)域，以及井下變電所、水泵房、帶式輸送機頭、綜采面等區(qū)域。視頻監(jiān)控設(shè)備主要以?？岛痛笕A品牌為主，各個網(wǎng)絡(luò)攝像機（IPCamera）和網(wǎng)絡(luò)硬盤錄像機（NVR）均支持標(biāo)準(zhǔn)RTSP協(xié)議。對于支持Onvif 協(xié)議的攝像機可直接通過RTSP 協(xié)議進行視頻播放，不需要廠家SDK，但同一廠家不同型號會有不同RTSP 流地址URL。視頻設(shè)備的RTSP 網(wǎng)絡(luò)地址有以下2 種獲取方式：

1）按照視頻設(shè)備廠家格式手動配置。?？岛痛笕A2 類視頻設(shè)備RTSP 格式大同小異，其中，?？狄曨l設(shè)備的RTSP 地址格式為：rtsp://[username]:[password]@[ip]:[port]/[codec]/[channel]/[subtype]/av_stream。其中：username 為登陸用戶名，例如admin；password為登陸密碼，例如123456；ip 為設(shè)備訪問地址，例如10.10.22.132；port 為設(shè)備訪問端口號，默認(rèn)為554，若是默認(rèn)端口號可不填寫；codec 為視頻編碼方式，支持h264、MPEG-4、mpeg4 等；channel 為視頻通道號，起始為1。例如通道1 的標(biāo)識為ch1。subtype 為視頻碼流類型，主碼流標(biāo)識為main，子碼流標(biāo)識為sub；av_stream 為固定字符，區(qū)分大小寫。根據(jù)以上規(guī)則要求，?？狄曨l設(shè)備通道1 主碼流的請求URL地址可表示為如下：rtsp://admin:123456@10.10.22.132:554/h264/ch1/main/av_stream。另外，可通過VLC播放器直接打開視頻流URL，檢驗RTSP 是否可用。

2）利用RTSP 探測工具自動獲取。如想獲取當(dāng)前型號RTSP 流地址URL，可通過Onvif Device Test Tool 和EasyNVR 等工具，直接探測掃描/設(shè)備的RTSP 流地址，不用手動拼接。

3.2 基于OPENCV 接入視頻畫面

采用OPENCV 圖像庫通過RTSP 協(xié)議實現(xiàn)實時視頻圖像的接入，首先，客戶端向視頻前端源設(shè)備發(fā)送調(diào)看指定視頻圖像的URL 請求連接(包含用戶安全認(rèn)證信息); 其次，視頻前端源設(shè)備通過RTSP 協(xié)議交互將流媒體信息實時傳輸給客戶端；最后，OPENCV 通過VideoCapture 視頻類讀取監(jiān)控視頻圖像[7-9]，具體實現(xiàn)流程為：基于OpenCV 操作視頻類VideoCapture，在其函數(shù)cvCreateFileCapture 中將參數(shù)設(shè)為RTSP 流地址URL，首先打開網(wǎng)絡(luò)攝像頭獲取視頻流，然后通過cvQueryFrame（）函數(shù)循環(huán)逐幀提取視頻圖像的每一幀，每幀是一幅基于BRG 格式的圖像?；赩C2015 開發(fā)環(huán)境的主要實現(xiàn)代碼如下：

4 井上下三維視頻融合技術(shù)

三維視頻融合技術(shù)是指將1 個或多個由視頻采集設(shè)備獲取的關(guān)于某場景的二維圖像序列視頻與1個與之相關(guān)的三維虛擬場景加以融合，以生成1 個新的關(guān)于此場景的虛擬場景。三維視頻融合從預(yù)設(shè)的虛擬全局視點觀看視頻圖像，各個攝像機的視頻圖像信息之間在空間和時間上是結(jié)合到一起的，每個攝像機所拍攝的視頻圖像信息是嵌入到真實的環(huán)境中的。

4.1 二維視頻與三維場景融合原理

二維視頻與三維場景融合拼接指的是，由單路視頻畫面或多路相鄰攝像頭監(jiān)測畫面與三維模型拼接融。其具體實現(xiàn)原理如下：

1）融合拼接攝像機鏡頭不可對視安裝，且攝像機安裝位置一旦確定，不可隨意更改攝像機的視角，以免在后期輸出模型時拼接處出現(xiàn)錯位的可能性。為了達到更好的融合效果，建議每張視頻圖像與臨近視頻圖像的重疊部分占比20%左右。

2）針對每一路視頻，采用視頻查看工具VLC 播放器等或視頻廠家播放插件等，抓取當(dāng)前視頻畫面作為融合基礎(chǔ)貼圖。參照現(xiàn)有抓取的視頻畫面，可通過調(diào)整攝像機的高度、角度和視頻畫面亮度等措施來提供視頻融合的質(zhì)量。

3）利用3DMAX 建模工具在三維場景實際位置處搭建一個面片Plane 模型，相鄰Plane 模型的拼接采用3DMax 中FFD4×4×4 編輯修改器來處理，在FFD4×4×4 編輯器里利用Control point 進行模型修改，實現(xiàn)相鄰Plane 模型的無縫拼接[10]，構(gòu)建井上下三維視頻融合場景模型。

4）基于OGRE 三維引擎平臺，Microsoft Visual Studio 2015 作為開發(fā)環(huán)境，采用多線程、虛擬現(xiàn)實和OPENCV 圖像技術(shù)，利用OGRE 中Pass 和MaterialPtr 類將實時視頻二維畫面動態(tài)更新為井上下三維視頻融合場景模型紋理，實現(xiàn)井上下視頻三維一張圖融合和動態(tài)立體監(jiān)控。基于OGRE 三維視頻融合場景模型紋理動態(tài)更新主要代碼如下：

4.2 多路和單路監(jiān)控畫面三維視頻融合

1）多路監(jiān)控畫面三維視頻融合。通常井上工業(yè)廣場的監(jiān)控范圍較廣，針對某一特定區(qū)域可能會出現(xiàn)多路攝像頭同時監(jiān)控。結(jié)合監(jiān)控區(qū)域的三維模型，在三維視頻融合平臺中，實時接入多個監(jiān)控視頻資源，針對視頻覆蓋范圍，將二維視頻畫面與三維場景模型進行精準(zhǔn)匹配融合，把單一局部獨立視頻還原成全局真實場景，實現(xiàn)三維立體場景中視頻與場景同步展現(xiàn)。

2）單路監(jiān)控畫面三維視頻融合。井下監(jiān)控重點區(qū)域主要包括：變電所、水泵房、避難硐室、運輸巷道等場景，基本上1 個視頻攝像頭就可滿足監(jiān)控要求。通過單個二維視頻圖像與三維虛擬場景的實時拼接融合，可實現(xiàn)井下特定區(qū)域視頻監(jiān)控一張圖透明化管理。

5 多源信息增強現(xiàn)實技術(shù)

通過對接現(xiàn)有安全監(jiān)控、人員定位等系統(tǒng)的多類傳感器數(shù)據(jù)，利用三維引擎OGRE 公告牌技術(shù)類MovableText，實時引入三維視頻融合系統(tǒng)中，并可實時顯示井下中央變電所、水泵房、運輸大巷等場所的環(huán)境監(jiān)測數(shù)據(jù)，一旦出現(xiàn)報警信號，立即彈出，快速定位到報警地理位置，實現(xiàn)了三維實景視頻中多源信息一張圖動態(tài)監(jiān)測。多源感知數(shù)據(jù)動態(tài)增強顯示的主要實現(xiàn)代碼如下所示：

6 結(jié) 語

針對煤礦視頻監(jiān)控普遍采用傳統(tǒng)可切換矩陣，各攝像頭圖像存在視頻離散、關(guān)聯(lián)性差等問題，結(jié)合三維精細(xì)建模技術(shù)和基于OPENCV 視頻接入技術(shù)，采用多個固定攝像機從不同視角對同一場景進行拍攝方式，根據(jù)視頻圖像間的相關(guān)性進行圖像配準(zhǔn)和投影變換等，完成了二維視頻圖像和三維場景模型的融合拼接，自主研發(fā)了全礦井三維視頻融合實時監(jiān)測系統(tǒng)，使原本碎片化的分鏡頭畫面在真實三維場景中達到空間和時間上一體化監(jiān)控，為礦山企業(yè)日常調(diào)度管理和應(yīng)急指揮提供新型技術(shù)手段。