龐占洲

（1.太原理工大學(xué)，山西 太原 030024；2.內(nèi)蒙古岱海發(fā)電有限責(zé)任公司，內(nèi)蒙古 烏蘭察布 013750）

0 引言

煤場(chǎng)運(yùn)行時(shí)，需要利用視頻監(jiān)控系統(tǒng)獲取煤場(chǎng)全貌圖像。但傳統(tǒng)視頻監(jiān)控系統(tǒng)只能監(jiān)測(cè)攝像機(jī)附近一定范圍內(nèi)的圖像，無法覆蓋整個(gè)煤場(chǎng)，且視線相對(duì)狹窄；同時(shí)，要求視頻觀察人員對(duì)場(chǎng)景具有較高的熟悉度，工作人員需要頻繁切換視線，但各個(gè)圖像的相似度較高，導(dǎo)致工作負(fù)擔(dān)較重，影響其工作效率，并無法清晰觀察煤場(chǎng)全貌，可能會(huì)因無法及時(shí)發(fā)現(xiàn)安全隱患而導(dǎo)致安全事故的發(fā)生。斗輪機(jī)無人值守能夠解決以上問題，因此斗輪機(jī)無人值守技術(shù)的研究和應(yīng)用已經(jīng)成為工業(yè)自動(dòng)化領(lǐng)域的熱門話題，其中視頻監(jiān)控系統(tǒng)是實(shí)現(xiàn)無人值守的重要手段。視頻拼接技術(shù)是指將多段視頻進(jìn)行拼接，形成一個(gè)完整的視頻，可以對(duì)斗輪機(jī)進(jìn)行全方位的監(jiān)控，提高生產(chǎn)效率和安全性。但是，如何解決視頻拼接過程中可能出現(xiàn)的畫面跳轉(zhuǎn)、分辨率不一致等問題，仍需要進(jìn)一步研究和改進(jìn)。

現(xiàn)階段，此研究領(lǐng)域?qū)＜依枚喾N方法已得到了較好的研究成果。文獻(xiàn)[1]針對(duì)破碎站設(shè)計(jì)了一種無人值守監(jiān)控系統(tǒng)，采用了視頻分析技術(shù)以及物聯(lián)網(wǎng)技術(shù)。該系統(tǒng)包括感知層、傳輸層、數(shù)據(jù)層、服務(wù)層和用戶層。文獻(xiàn)[2]提出了一種煤礦智能化主運(yùn)輸系統(tǒng)無人值守關(guān)鍵技術(shù)研究方法。

以上方法雖然可以對(duì)無人值守的視頻畫面遠(yuǎn)程監(jiān)控，并且不需要人工參與，減輕了工作壓力，但是無法實(shí)現(xiàn)空間層面大場(chǎng)景分割隔離與集成，因受到視頻監(jiān)控畫面重疊影響，存在過度累積特征點(diǎn)的問題，無法獲取全局監(jiān)測(cè)信息，因而不具備充分的應(yīng)用價(jià)值。為此，本文提出一種新的視頻拼接技術(shù)下斗輪機(jī)無人值守的可行性研究方法。

1 拼接視頻俯視投影變換

由于斗輪機(jī)通常是在礦山等露天場(chǎng)所進(jìn)行作業(yè)，其操作區(qū)域較大，需要使用多個(gè)攝像頭進(jìn)行全方位監(jiān)控，而不同的攝像頭角度和位置不同，拍攝到的畫面也存在差異，這就需要對(duì)拍攝到的視頻進(jìn)行俯視投影變換，使得各個(gè)攝像頭拍攝到的畫面能夠拼接成一個(gè)完整的畫面，從而實(shí)現(xiàn)全方位監(jiān)控。只有經(jīng)過俯視投影變換，才能夠消除拍攝角度和位置帶來的影響，使得拼接后的視頻畫面更加連貫和準(zhǔn)確，提高無人值守的監(jiān)控效果。

本節(jié)通過視頻拼接融合技術(shù)實(shí)現(xiàn)煤場(chǎng)的全景展示，進(jìn)而在多個(gè)圖像同步展示與拼接的基礎(chǔ)上，獲取更高的工作效率[3]。由于在無人值班情況下，需要在地面上形成一個(gè)完整的俯視全景圖，因此必須將影像投射在一個(gè)水平面上。利用單應(yīng)性矩陣對(duì)側(cè)視圖展開頂視投影變換處理，將側(cè)視圖轉(zhuǎn)化成俯視圖，從而得到以水平地面為基礎(chǔ)的立體圖像[4]。

設(shè)左右兩相機(jī)的核心坐標(biāo)系分別為Z1、Z2，尺度因子分別為λ1、λ2，參數(shù)矩陣分別為E1、E2，基于此，計(jì)算空間中左右兩相機(jī)下的像素坐標(biāo)點(diǎn)，可表示為：

基于此，單應(yīng)性矩陣可表示為：

單應(yīng)性矩陣不只是描述同一平面的像素點(diǎn)之間的關(guān)系，更是同一個(gè)平面在任意坐標(biāo)系之間都可以建立單應(yīng)性變換關(guān)系，如圖1 所示。

圖1 拼接視頻俯視投影變換示意圖

投影轉(zhuǎn)換是最常用的一種影像轉(zhuǎn)換方法，可以用來描述包括平移、旋轉(zhuǎn)、縮放等各種轉(zhuǎn)換的情形，在這樣的轉(zhuǎn)換之下，轉(zhuǎn)換之前和之后的平行線仍維持平行[5]?；诖?，本文提出了一種基于矩陣線性的圖像轉(zhuǎn)換方法。仿射變換可以處理對(duì)象的一切與其位置有關(guān)的變化，但不能處理全部情形[6]。若被攝對(duì)象在三度空間中出現(xiàn)了轉(zhuǎn)動(dòng)，則該對(duì)象將經(jīng)受一次投影轉(zhuǎn)換。在這樣的轉(zhuǎn)換中，轉(zhuǎn)換前后仍然是一條線，如此，二維向三維的轉(zhuǎn)換就可以用其投影轉(zhuǎn)換來表達(dá)[7?8]。

設(shè)a為平移矩陣元素，對(duì)于左右兩相機(jī)核心坐標(biāo)系z(mì)的點(diǎn)(x,y)進(jìn)行投影變換映射后，得到的平面投影變換公式為：

結(jié)合圖1 可知，投影變換存在8 個(gè)獨(dú)立參數(shù)，對(duì)于該投影變換下的相應(yīng)點(diǎn)均可通過公式（3）被唯一確定[9]。

2 視頻無縫拼接的可行性研究

2.1 特征點(diǎn)提取

在一般情況下，常規(guī)的特征提取方法只能提取一張完整的圖片，而且所提取的特征點(diǎn)也不能完全覆蓋整幅圖像。然而，在實(shí)際應(yīng)用中，需要對(duì)交疊范圍內(nèi)的角點(diǎn)感興趣[10]。對(duì)疊加部分圖像的重疊區(qū)域或靠近重疊部分的外擴(kuò)區(qū)進(jìn)行檢測(cè)，不僅可以降低計(jì)算量和縮短計(jì)算時(shí)間，還可以大幅度地減少檢測(cè)到的角點(diǎn)數(shù)[11]。

為此，使用SIFT 算法確定特征點(diǎn)的候選點(diǎn)。該算法是通過圖像金字塔形式來構(gòu)建尺度空間的，在一幅圖像中，基于平面投影變換結(jié)果，尺度空間的高斯函數(shù)可表示為：

式中：δ表示尺度系數(shù)，該值越大說明圖像越模糊，反之則越清晰[12]。在確定尺度空間的高斯函數(shù)情況下，構(gòu)建尺度空間：

式中：“⊕”表示卷積運(yùn)算；Im(x',y') 表示輸入的m個(gè)圖像[13]。通過改變尺度系數(shù)能夠獲取圖像金字塔不同尺度空間的圖像。

為了對(duì)特征點(diǎn)檢測(cè)區(qū)域進(jìn)行限定，視頻圖像特征點(diǎn)檢測(cè)區(qū)域的大小需要根據(jù)具體的應(yīng)用場(chǎng)景來選擇，通常不少于源圖像的1/3，不超過源圖像的1/2。先通過柵格法對(duì)特征點(diǎn)進(jìn)行預(yù)處理，再對(duì)各個(gè)柵格中的圖像進(jìn)行檢測(cè)[14]。用4×4 的格子將一幅圖片分割成16 個(gè)小塊，在此基礎(chǔ)上，通過控制各柵格內(nèi)所能探測(cè)到的特征點(diǎn)數(shù)目，防止特征點(diǎn)的過多積累。

2.2 圖像融合

通過2.1 節(jié)的提取視頻特征點(diǎn)，可以對(duì)斗輪機(jī)進(jìn)行精確定位和跟蹤，從而實(shí)現(xiàn)自動(dòng)控制和無人值守。然而，在實(shí)際應(yīng)用中，由于斗輪機(jī)作業(yè)區(qū)域較大，不同的攝像頭拍攝到的畫面也存在差異，因此需要對(duì)監(jiān)控圖像進(jìn)行融合，消除不同攝像頭之間的差異，使得監(jiān)控畫面更加連貫和準(zhǔn)確。

在圖像匹配時(shí)，需要考慮被匹配的2 幅圖像之間存在較大的交疊區(qū)域，保證有充足的公共特征可供配對(duì)。本文提出了一種基于面積的圖像拼接算法，該方法的加權(quán)平均法屬于對(duì)直接平均法的改良，對(duì)重疊區(qū)域的像素值不再是簡(jiǎn)單疊加，而是先確定權(quán)重再疊加平均。

加權(quán)平均法的權(quán)重表達(dá)式如下：

式中：hi、gi分別表示輸入圖像的寬和高[15]。

將該權(quán)重表達(dá)式代入到如下公式，可得到融合后的圖像中各點(diǎn)像素值：

式中：ω1、ω2分別表示待融合圖像I1、I2的權(quán)重。加權(quán)平均法的優(yōu)點(diǎn)是避免了重疊區(qū)域灰度值的直接疊加，從而使得重疊部分不會(huì)有明顯的拼接痕跡。

2.3 拼接處理

對(duì)其中一路視頻圖像的關(guān)鍵幀選擇的方式是：先選取視頻圖像的第1 幀作為關(guān)鍵幀，接著判斷當(dāng)前幀和上一幀圖像的差值是否大于閾值，當(dāng)差值大于規(guī)定的閾值后，即確定該幀為視頻關(guān)鍵幀，并獲取該幀的視頻圖像數(shù)據(jù)。然而，如果在一段時(shí)間內(nèi)沒有關(guān)鍵幀出現(xiàn)，則說明拼接的視頻存在著畫面卡頓的問題。為了防止這種情況的發(fā)生，提出了視頻拼接技術(shù)下斗輪機(jī)無人值守的可行性研究方法，這樣可以保證拼接的視頻具有一定流暢度。融合視頻圖像的拼接處理流程如圖2 所示。

圖2 視頻拼接流程

先確定是否為視頻的首幀圖像，如果為首幀圖像，則對(duì)圖像進(jìn)行配準(zhǔn)處理，求出單應(yīng)性矩陣，并對(duì)圖像加以融合；如果不是首幀圖像，可對(duì)選中的關(guān)鍵幀用首幀圖像運(yùn)算出的單應(yīng)性矩陣加以拼接，并通過融合算法進(jìn)行融合。待選出的所有關(guān)鍵幀圖像拼接完畢后，再將已拼接好的所有視頻幀輸出，從而產(chǎn)生視頻流，實(shí)現(xiàn)斗輪機(jī)無人值守下的視頻有效拼接。

3 可行性驗(yàn)證

3.1 實(shí)驗(yàn)樣本圖像獲取

斗輪機(jī)無人值守的裝備是4 個(gè)魚眼攝像機(jī)和1 個(gè)視頻圖像采集卡，在對(duì)攝像機(jī)選取時(shí)，首先攝像機(jī)的視野要盡量開闊，視角越大，所蘊(yùn)含的信息就會(huì)越多，對(duì)輔助煤場(chǎng)操作的安全也會(huì)更有利。在視頻數(shù)據(jù)收集卡的選取方面，采用了一種能夠?qū)崿F(xiàn)4個(gè)信號(hào)的PCI總線的采集卡。

通過攝像頭采集的圖像如圖3 所示。

圖3 攝像頭采集的原始圖像

3.2 驗(yàn)證指標(biāo)

設(shè)置匹配正確率為實(shí)驗(yàn)研究的重要指標(biāo)。匹配正確率表示圖像配準(zhǔn)過程中正確匹配點(diǎn)對(duì)數(shù)目占全部匹配點(diǎn)對(duì)數(shù)目的百分比，計(jì)算公式為：

式中：N表示正確匹配點(diǎn)的數(shù)量；M表示全部匹配點(diǎn)的數(shù)量。匹配正確率的數(shù)值越大，表示正確匹配點(diǎn)對(duì)數(shù)目越多，則算法精度越高，性能越好。

3.3 驗(yàn)證結(jié)果分析

使用文獻(xiàn)[1]提出的破碎站無人值守監(jiān)控方法、文獻(xiàn)[2]提出的煤礦智能化主運(yùn)輸系統(tǒng)無人值守方法以及本文方法完成對(duì)比實(shí)驗(yàn)。在性能驗(yàn)證中對(duì)比匹配正確率指標(biāo)，對(duì)比結(jié)果如表1 所示。

表1 不同方法匹配正確率對(duì)比結(jié)果 %

由表1 可知，使用本文方法的特征點(diǎn)匹配正確率均高于95%，其余方法特征點(diǎn)匹配正確率均低于70%。

使用三種方法對(duì)比分析視頻拼接結(jié)果的峰值信噪比，對(duì)比結(jié)果如圖4 所示。

圖4 不同方法視頻拼接效果

由圖4 可知，使用文獻(xiàn)方法完成的視頻圖像拼接結(jié)果中不僅存在較大縫隙，而且圖像拼接錯(cuò)亂，而本文方法的視頻圖像整體拼接效果更為理想。

4 結(jié)語(yǔ)

在本文研究的斗輪機(jī)無人值守系統(tǒng)中引入了視頻拼接技術(shù)，實(shí)現(xiàn)了視頻的無縫拼接與有效融合，增強(qiáng)了數(shù)據(jù)整合能力，并可實(shí)現(xiàn)數(shù)據(jù)動(dòng)態(tài)分析，能夠?qū)Υ罅恳曨l信息展開實(shí)時(shí)處理。通過深度融合復(fù)雜視頻信息，能夠及時(shí)發(fā)現(xiàn)斗輪機(jī)運(yùn)行故障問題，大幅提升斗輪機(jī)視頻監(jiān)控的質(zhì)量及效率。