于繼武 邢遠(yuǎn)秀

(1.武漢軟件工程職業(yè)學(xué)院計(jì)算機(jī)學(xué)院，湖北 武漢430025;2.武漢因科科技發(fā)展有限公司，湖北 武漢430077;3.武漢科技大學(xué)理學(xué)院，湖北 武漢430081)

物聯(lián)網(wǎng)(Internet of Things，IoT)技術(shù)將各種信息傳感設(shè)備，如射頻識(shí)別裝置、紅外感應(yīng)器等裝置與互聯(lián)網(wǎng)結(jié)合起來(lái)，形成一個(gè)物物相聯(lián)的網(wǎng)絡(luò)，自動(dòng)實(shí)時(shí)地對(duì)物體進(jìn)行識(shí)別、定位、監(jiān)控，是一種新興網(wǎng)絡(luò)技術(shù)［1-2］，在諸如智能交通、智能家居、智能醫(yī)療、環(huán)境與安全檢測(cè)等領(lǐng)域應(yīng)用前景廣闊。針對(duì)礦山井筒的安全檢測(cè)，目前有人工完成、固定場(chǎng)景監(jiān)控系統(tǒng)［3-6］和礦山井筒安全隱患監(jiān)測(cè)系統(tǒng)［7-8］等幾種方式來(lái)實(shí)現(xiàn)。固定場(chǎng)景監(jiān)控系統(tǒng)主要用來(lái)進(jìn)行場(chǎng)景及設(shè)備監(jiān)測(cè)，但是設(shè)備位置固定使得監(jiān)測(cè)對(duì)象固定和設(shè)備不能共享，并且采集視頻完全由人工進(jìn)行判別。礦山井筒安全隱患監(jiān)測(cè)系統(tǒng)將井筒設(shè)施工作及生產(chǎn)狀況的實(shí)時(shí)圖像信息自動(dòng)采集、存儲(chǔ)、地面顯示，隨后視頻數(shù)據(jù)導(dǎo)入后臺(tái)管理系統(tǒng)，實(shí)現(xiàn)智能故障識(shí)別，但是采集的視頻圖像沒(méi)有共享，同時(shí)需要人工導(dǎo)入后臺(tái)才能進(jìn)行后繼處理。

隨著物聯(lián)網(wǎng)和無(wú)線傳感技術(shù)的不斷發(fā)展成熟，本研究對(duì)原有礦山井筒安全隱患監(jiān)測(cè)系統(tǒng)［8］進(jìn)行改造升級(jí)，將系統(tǒng)中分散的前端視頻采集裝置、地面顯示遙控裝置和后臺(tái)管理裝置，通過(guò)物聯(lián)網(wǎng)技術(shù)連成一個(gè)整體，實(shí)現(xiàn)高效、智能的在線安全監(jiān)測(cè)管理。

1 礦山井筒安全監(jiān)測(cè)系統(tǒng)現(xiàn)狀

已有的礦山井筒安全監(jiān)測(cè)系統(tǒng)［8］經(jīng)過(guò)2 次升級(jí)，到目前為止，已經(jīng)在大冶鐵礦的2 個(gè)車(chē)間測(cè)試運(yùn)行了將近4 a，根據(jù)現(xiàn)場(chǎng)測(cè)試，系統(tǒng)運(yùn)行基本穩(wěn)定，運(yùn)行狀況尚可，并通過(guò)了湖北省科技廳成果鑒定。系統(tǒng)由前端視頻數(shù)據(jù)采集子系統(tǒng)、無(wú)線傳輸子系統(tǒng)、地面圖像顯示控制子系統(tǒng)和視頻處理子系統(tǒng)4 部分構(gòu)成。前端視頻數(shù)據(jù)采集子系統(tǒng)將采集視頻數(shù)據(jù)進(jìn)行本地存儲(chǔ);地面圖像顯示裝置通過(guò)無(wú)線傳輸網(wǎng)控制前端云臺(tái);最后將視頻數(shù)據(jù)導(dǎo)入后臺(tái)系統(tǒng)進(jìn)行管理和故障點(diǎn)智能監(jiān)測(cè)與定位。系統(tǒng)模型如圖1 所示。

圖1 原系統(tǒng)模型Fig.1 The original system model

目前，在運(yùn)行過(guò)程中發(fā)現(xiàn)，原系統(tǒng)主要存在以下缺點(diǎn):其一，前端視頻裝置采集的視頻監(jiān)控?cái)?shù)據(jù)在完成采集后，需要人工將視頻裝置帶到監(jiān)控中心，導(dǎo)出數(shù)據(jù)到后臺(tái)系統(tǒng)中進(jìn)行管理分析，操作復(fù)雜，并且監(jiān)控?cái)?shù)據(jù)沒(méi)有實(shí)現(xiàn)共享;其二，地面顯示控制裝置和前端裝置通過(guò)無(wú)線傳輸網(wǎng)絡(luò)進(jìn)行信號(hào)傳輸，當(dāng)傳輸大量高清視頻圖像信息時(shí)，由于目前傳輸帶寬限制，導(dǎo)致視頻幀出現(xiàn)丟失現(xiàn)象。

2 基于物聯(lián)網(wǎng)的安全監(jiān)測(cè)系統(tǒng)

針對(duì)同一礦區(qū)可能有多個(gè)井筒的問(wèn)題，利用物聯(lián)網(wǎng)技術(shù)可以將多個(gè)井筒的監(jiān)測(cè)設(shè)備互聯(lián)，進(jìn)行數(shù)據(jù)共享和多點(diǎn)監(jiān)測(cè)。本系統(tǒng)主要包括前端視頻采集傳輸裝置、井上控制裝置、視頻數(shù)據(jù)(MVD)服務(wù)器和后臺(tái)視頻管理系統(tǒng)4 部分，通過(guò)物聯(lián)網(wǎng)和無(wú)線傳輸技術(shù)將這4 部分連接。

2.1 系統(tǒng)3 層架構(gòu)

基于物聯(lián)網(wǎng)技術(shù)的井筒安全監(jiān)測(cè)系統(tǒng)主要遵循物聯(lián)網(wǎng)應(yīng)用的通用3 級(jí)層次架構(gòu)［2］，即感知層、傳輸層和應(yīng)用層，本系統(tǒng)具體架構(gòu)如圖2 所示。

圖2 3 層架構(gòu)Fig.2 Three-layer architecture

(1)感知層。主要通過(guò)高速高清攝像機(jī)傳感器節(jié)點(diǎn)獲得井筒內(nèi)各個(gè)監(jiān)測(cè)方位的視頻信息，并對(duì)信息進(jìn)行編碼表示以便進(jìn)行高效傳輸。傳感器固定在可旋轉(zhuǎn)云臺(tái)上，另外配備高照度的光源，保證在復(fù)雜井筒環(huán)境中能獲得清晰的視頻。

(2)傳輸層。傳輸層將所有裝置互聯(lián)進(jìn)行通信。由于井筒內(nèi)環(huán)境復(fù)雜，同時(shí)視頻采集裝置隨罐籠上下運(yùn)動(dòng)，因此視頻采集裝置和井上控制裝置之間采用無(wú)線網(wǎng)絡(luò)進(jìn)行視頻數(shù)據(jù)和控制信號(hào)傳輸，在傳輸過(guò)程中采用COFDM 調(diào)制技術(shù)、信道編解碼技術(shù)和自適應(yīng)混合ARQ/FEC 的差錯(cuò)控制技術(shù)保證數(shù)據(jù)幀傳輸?shù)目煽啃院涂焖傩浴?/p>

(3)應(yīng)用層。應(yīng)用層提供各種應(yīng)用服務(wù)，包括系統(tǒng)硬件和應(yīng)用軟件2 部分。其中硬件部分主要包括井上監(jiān)控裝置、外部網(wǎng)絡(luò)、MVD 服務(wù)器和遠(yuǎn)程PC 機(jī)等設(shè)備，軟件部分主要有運(yùn)行在井上控制裝置、MVD服務(wù)器和PC 機(jī)上的視頻處理軟件。井上控制裝置和后臺(tái)管理軟件同MVD 服務(wù)器之間可以通過(guò)互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)通信，接收并存儲(chǔ)從感知層收集的數(shù)據(jù)，分析感知層傳送來(lái)的視頻數(shù)據(jù)。同時(shí)應(yīng)用層還包括操作人員和故障會(huì)診專家。

2.2 礦山井筒安全監(jiān)測(cè)模型

圖3 為上述軟硬件通過(guò)物聯(lián)網(wǎng)技術(shù)互聯(lián)，構(gòu)建的基于物聯(lián)網(wǎng)技術(shù)的安全監(jiān)測(cè)系統(tǒng)模型。

圖3 基于物聯(lián)網(wǎng)技術(shù)的安全監(jiān)測(cè)系統(tǒng)模型Fig.3 Safety monitoring system model based on Internet of things technology

針對(duì)同一個(gè)礦區(qū)，不同礦井可以有單獨(dú)的視頻采集裝置和井上控制裝置。視頻采集裝置包括處理器、硬盤(pán)存儲(chǔ)模塊、無(wú)線信號(hào)接收發(fā)送模塊、電源模塊和智能控制模塊。處理器升級(jí)為基于雙ARM11 的高性能通信媒體處理器Hi3520，更快地處理高清視頻圖像數(shù)據(jù)。Hi3520 處理器包含RJ45 10 M/100 M/1 000 M自適應(yīng)以太網(wǎng)口，可以保證視頻數(shù)據(jù)通過(guò)無(wú)線視頻信號(hào)發(fā)射裝置將視頻信號(hào)編碼快速準(zhǔn)確低發(fā)送到井上控制裝置。

井上控制裝置主要由Hi3520 處理器、小鍵盤(pán)、屏幕、無(wú)線信號(hào)發(fā)射接收裝置、解碼器、網(wǎng)卡和驅(qū)動(dòng)軟件等構(gòu)成。當(dāng)按下鍵盤(pán)相應(yīng)按鈕，可通過(guò)無(wú)線信號(hào)發(fā)射裝置把控制信號(hào)發(fā)送到前端視頻采集裝置。無(wú)線信號(hào)接收裝置實(shí)時(shí)接收井下傳送的視頻圖像。數(shù)據(jù)進(jìn)行解碼后由屏幕實(shí)時(shí)顯示，同時(shí)被轉(zhuǎn)發(fā)到MVD 服務(wù)器保存。MVD 服務(wù)器保存同一個(gè)礦區(qū)多個(gè)井筒的視頻監(jiān)控圖像，使得后臺(tái)管理軟件可以共享視頻數(shù)據(jù)，進(jìn)行遠(yuǎn)程視頻圖像管理分析。

后臺(tái)管理可通過(guò)網(wǎng)絡(luò)在任意時(shí)間任意地點(diǎn)調(diào)取MVD 服務(wù)器中的視頻數(shù)據(jù)，進(jìn)行視頻管理和視頻分析，查找井筒內(nèi)故障，同時(shí)可以進(jìn)行專家會(huì)診。為了提高視頻處理速度，在實(shí)際應(yīng)用中，視頻數(shù)據(jù)在訪問(wèn)后緩存到本地?cái)?shù)據(jù)庫(kù)中，以便進(jìn)行后繼處理。

3 關(guān)鍵技術(shù)分析

3.1 智能嵌入與編解碼技術(shù)

智能嵌入技術(shù)是物聯(lián)網(wǎng)技術(shù)的關(guān)鍵，通過(guò)把物聯(lián)網(wǎng)中每個(gè)獨(dú)立節(jié)點(diǎn)植入嵌入式芯片后，比普通節(jié)點(diǎn)具有更強(qiáng)大的智能處理能力和數(shù)據(jù)傳輸能力。本系統(tǒng)在視頻采集裝置和井上控制裝置中分別嵌入了基于ARM11 的Hi3520 處理器，Hi3520 處理器是一款具有視頻硬件加速引擎的高性能通信媒體處理器，采用的雙DDR 架構(gòu)能夠提供更大的數(shù)據(jù)處理帶寬和能力。

為了保證井筒高清視頻監(jiān)控?cái)?shù)據(jù)在網(wǎng)絡(luò)傳輸中的性能，本系統(tǒng)采用先進(jìn)的H.264 協(xié)議對(duì)視頻數(shù)據(jù)進(jìn)行編解碼。H.264 的編解碼包括幀內(nèi)和幀間預(yù)測(cè)編解碼、整數(shù)變換和反變換、可選52 種不同步長(zhǎng)量化和反量化、環(huán)路濾波、可變長(zhǎng)熵編碼5 個(gè)部分，能夠?qū)崿F(xiàn)視頻的高壓縮比、高圖像質(zhì)量和良好的網(wǎng)絡(luò)適應(yīng)性，并且可以獲得平穩(wěn)的圖像質(zhì)量，在同等圖像質(zhì)量下，H.264 技術(shù)壓縮后的數(shù)據(jù)量只有MPEG4 的1/3，因此在網(wǎng)絡(luò)傳輸中能夠極大地提高網(wǎng)絡(luò)傳輸速率。

3.2 并發(fā)數(shù)據(jù)傳輸

視頻數(shù)據(jù)采集后傳輸至井上控制裝置并通過(guò)網(wǎng)絡(luò)傳輸至MVD 服務(wù)器進(jìn)行存儲(chǔ)。針對(duì)MVD 服務(wù)器，可同時(shí)并發(fā)接收礦區(qū)內(nèi)不同礦井的監(jiān)控視頻數(shù)據(jù)。在傳送視頻數(shù)據(jù)之前首先需要在井上控制裝置和MVD 服務(wù)器之間建立連接，隨后接收監(jiān)控視頻相關(guān)信息。

本系統(tǒng)中，MVD 數(shù)據(jù)庫(kù)模塊作為接收服務(wù)器，每個(gè)井上控制裝置作為客戶端和MVD 服務(wù)器通過(guò)套接字Socket 建立相應(yīng)連接，其具體流程如圖4 所示。

圖4 數(shù)據(jù)傳輸流程Fig.4 Data Transfer process

為了解決MVD 服務(wù)器同時(shí)和多個(gè)井筒的井上控制裝置進(jìn)行通信問(wèn)題，MVD 服務(wù)器采用一個(gè)主線程和多個(gè)子線程共存，主線程的socket綁定在一個(gè)固定端口上，負(fù)責(zé)監(jiān)聽(tīng)各個(gè)井上控制裝置的Socket 信息。每當(dāng)有1 個(gè)井上控制裝置進(jìn)行連接時(shí)，向MVD服務(wù)器發(fā)送來(lái)一個(gè)Socket 連接請(qǐng)求，MVD 端則新開(kāi)啟一個(gè)線程，并在其中創(chuàng)建一個(gè)新Socket 與該井上控制裝置的Socket 進(jìn)行通信。

井上控制裝置根據(jù)設(shè)定的監(jiān)測(cè)方位控制前端視頻裝置進(jìn)行監(jiān)測(cè)，同時(shí)根據(jù)MVD 服務(wù)器的IP 地址和MVD 服務(wù)器建立連接，把礦井編號(hào)和監(jiān)測(cè)方位及監(jiān)測(cè)時(shí)間等信息發(fā)送至MVD 服務(wù)器，雙方連接建立的協(xié)議格式定義為0xAA+數(shù)據(jù)長(zhǎng)度(1 字節(jié))+數(shù)據(jù)(2個(gè)字節(jié)的礦井編號(hào)+1 個(gè)字節(jié)的監(jiān)測(cè)方位+8 個(gè)字節(jié)的監(jiān)測(cè)時(shí)間)+校驗(yàn)+結(jié)束位(0xFF)，MVD 服務(wù)器接收到井上控制裝置的連接協(xié)議后，創(chuàng)建子線程并建立新的子Socketi，用來(lái)接收該礦井的視頻數(shù)據(jù)。

當(dāng)雙方連接建立后，MVD 服務(wù)器一直處于監(jiān)聽(tīng)狀態(tài)，接收從井上控制裝置傳送來(lái)的視頻流，視頻流在傳輸時(shí)的協(xié)議格式定義為0xBB+數(shù)據(jù)長(zhǎng)度(4 字節(jié))+數(shù)據(jù)+校驗(yàn)+結(jié)束位(0xFF)。

視頻采集完畢后，井上控制裝置向MVD 服務(wù)器發(fā)送結(jié)束協(xié)議:0xCC+數(shù)據(jù)長(zhǎng)度(1 字節(jié))+數(shù)據(jù)(2 個(gè)字節(jié)的礦井編號(hào))校驗(yàn)+結(jié)束位(0xFF)，該井上裝置和MVD 服務(wù)器建立的Socketi 連接關(guān)閉，并結(jié)束該線程。

同理，后臺(tái)管理軟件訪問(wèn)MVD 服務(wù)器的視頻數(shù)據(jù)同樣采用上述方式。

4 結(jié) 論

將物聯(lián)網(wǎng)技術(shù)應(yīng)用到礦山井筒監(jiān)測(cè)中，使得系統(tǒng)中視頻采集裝置、井上控制裝置、MVD 服務(wù)器和后臺(tái)管理裝置有機(jī)地結(jié)合成一個(gè)整體，實(shí)現(xiàn)了同一礦區(qū)不同井筒間視頻數(shù)據(jù)的共享，給用戶提供了方便的操作環(huán)境，采用智能嵌入技術(shù)、無(wú)線傳輸技術(shù)和先進(jìn)的編解碼協(xié)議實(shí)現(xiàn)了高效視頻數(shù)據(jù)傳輸，同時(shí)MVD 服務(wù)器程序采用多線程解決了視頻數(shù)據(jù)并發(fā)傳輸、存儲(chǔ)。該系統(tǒng)目前正在測(cè)試運(yùn)行階段，系統(tǒng)顯示性能良好、操作方便，下階段系統(tǒng)進(jìn)一步完善后，可以向全國(guó)非煤礦山具有提升礦井的企業(yè)進(jìn)行推廣。

［1］ 錢(qián)志鴻，王義君. 物聯(lián)網(wǎng)技術(shù)與應(yīng)用研究［J］. 電子學(xué)報(bào)，2012，40(5):1023-1029.

Qian Zhihong，Wang Yijun.IoT Technology and Application［J］.Acta Electronica Sinica，2012，40(5):1023-1029.

［2］ 朱洪波，楊龍祥，于 全. 物聯(lián)網(wǎng)的技術(shù)思想與應(yīng)用策略研究［J］.通信學(xué)報(bào)，2010，31(6):2-9.

Zhu Hongbo，Yang Longxiang，Yu Quan. Investigation of technical thought and application strategy for the internet of things［J］.Journal on Communications，2010，31(6):2-9.

［3］ Gibiec M.Prediction of machines health with application of an intelligent approach:a mining machinery case study［J］.Key Engineering Materials，2005，293/294:661-668.

［4］ 黃迎輝，李 新，王月英.基于ZigBee 無(wú)線網(wǎng)絡(luò)技術(shù)的礦井監(jiān)測(cè)系統(tǒng)設(shè)計(jì)［J］.自動(dòng)化與儀表，2010(7):21-23.

Huang Yinghui，Li Xin，Wang Yueying. Design of mine monitoring system based on ZigBee wireless network technology［J］.Automation＆ Instrumentation，2010(7):21-23.

［5］ 劉艷兵.數(shù)字礦山視頻監(jiān)控及導(dǎo)航系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］. 北京:北京交通大學(xué)，2009.

Liu Yanbing.Design and Realization of Video Surveillance and Navigation Systems in Digital Mine［D］.Beijing:Beijing Jiaotong University，2009.

［6］ Todd M，Ruff，MS P E.Feasibility of using intelligent video for machine safety applications［C］∥2008 IEEE Industry Applications Society Annual Meeting.Edmonton:Institute of Aeronautical Sciences，2008:1-5.

［7］ 章啟忠，光正國(guó)，毛孝林，等. 礦山井筒安全隱患監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.金屬礦山，2009(6):130-131.

Zhang Qizhong，Guang Zhengguo，Mao Xiaolin，et al.Design and realization of the monitoring system for security of mineshaft［J］.Metal Mine，2009(6):130-131.

［8］ 邢遠(yuǎn)秀.礦山井筒視覺(jué)監(jiān)測(cè)與故障只能識(shí)別系統(tǒng)設(shè)計(jì)［J］.金屬礦山，2013(9):138-141.

Xing Yuanxiu. Design of the vision monitoring and fault intelligent recognition system for security of mineshaft［J］. Metal Mine，2013(9):138-141.