柴少強，王 雪，朱星昊

（中交一公局第七工程有限公司，河南 鄭州 451450）

隨著GIS技術(shù)的廣泛應(yīng)用，集成二維地圖等空間位置信息的視頻系統(tǒng)解決方案正逐步走向成熟[1]。與傳統(tǒng)的單純獲取監(jiān)控目標的實時音頻、視頻信息的視頻監(jiān)控系統(tǒng)相比，繼承了三維空間信息的三維視頻監(jiān)控系統(tǒng)在增強用戶空間意識、輔助用戶應(yīng)急決策等方面將發(fā)揮更大的作用[2]。但3D GIS與監(jiān)控視頻的整合應(yīng)用方法在實際應(yīng)用中，由于網(wǎng)絡(luò)傳輸速度等原因，遠沒有達到與三維周邊信息進行融合的目標，存在丟失大量信息的現(xiàn)象[3]。

視頻監(jiān)控的發(fā)展過程是從局部監(jiān)控到全景過渡、從定時監(jiān)控到實時監(jiān)控、從2D到3D的發(fā)展過程[4-6]。當然，目前針對較大場景的實時監(jiān)控也已實現(xiàn)，主要是將多角度、全方位的視頻監(jiān)控集成于同一三維顯示場景。如需關(guān)注某個位置時，點擊放大該處實時監(jiān)控影像即可。該方法并未發(fā)揮出三維場景的直觀特點，也遠沒有達到視頻位置與周邊三維信息的融合目標[7]。

以目前市場需求和各研發(fā)機構(gòu)推出的技術(shù)來看，全景式、立體化是視頻監(jiān)控系統(tǒng)深度應(yīng)用技術(shù)研究未來發(fā)展的必然趨勢。本文以官渡黃河橋機電工程實踐為例，介紹基于三維全景視頻融合技術(shù)的全時空監(jiān)控方法，并對全時空監(jiān)控方法的關(guān)鍵技術(shù)進行分析與探討。

1 三維全景視頻融合的相關(guān)技術(shù)

1.1 三維虛擬場景的構(gòu)建

基于場景掃描數(shù)據(jù)、場景圖像、CAD/建筑圖紙數(shù)據(jù)自動生成高精度的三維模型，三維模型為后續(xù)全景立體監(jiān)控提供空間數(shù)據(jù)基礎(chǔ)。

1.2 三維全景虛實融合顯示、二維地圖全局導(dǎo)航顯示、實時虛實融合與聯(lián)動技術(shù)

前端采集監(jiān)控視頻及其他多維傳感數(shù)據(jù)，預(yù)處理后自動融合到三維場景模型中，形成全景立體監(jiān)控，通過三維虛擬觀測，實現(xiàn)對真實場景多角度全方位實時立體瀏覽。

1.3 全局時鐘控制技術(shù)

搭建媒體服務(wù)模塊與數(shù)據(jù)接入模塊，控制接入平臺的攝像頭保持時鐘同步。

2 基于三維全景視頻融合技術(shù)的全時空監(jiān)控方法關(guān)鍵技術(shù)

如圖1所示，本全時空監(jiān)控平臺主要涉及基于激光點云數(shù)據(jù)的自動三維建模、全景立體監(jiān)控及全景智能分析3項關(guān)鍵技術(shù)，下面分別闡述3項關(guān)鍵技術(shù)的技術(shù)路線。

圖1 基于三維全景視頻融合的全時空監(jiān)控平臺系統(tǒng)構(gòu)架圖

2.1 自動三維建模

三維數(shù)字建模是用計算機顯示還原真實世界的一個關(guān)鍵環(huán)節(jié)，也一直是計算機圖形學(xué)界的難題?；诩す鈷呙钄?shù)據(jù)的三維建模技術(shù)因其掃描數(shù)據(jù)的精確性，為重點區(qū)域三維全真模型的生成奠定了堅實的基礎(chǔ)。

2.1.1 大型三維數(shù)據(jù)獲取

采用主要由工業(yè)級高清數(shù)碼鏡頭及雙軸動態(tài)調(diào)整支架構(gòu)成的開放式三維激光掃描球機裝置完成近遠程測量。該裝置平面內(nèi)可形成360°無死角覆蓋，垂直范圍內(nèi)也可達到270°視場范圍。由于其掃描精度高，圖像數(shù)據(jù)采集過程中可直接獲取彩色圖像及其灰度值，測量速度得到大范圍提升。在數(shù)據(jù)采集過程中，由于系統(tǒng)中設(shè)置了并行計算方法，相較于傳統(tǒng)拍攝掃描中將無需再進行二次配準過程，掃描速率可達每秒5萬點。因此，持續(xù)掃描過程中的數(shù)據(jù)離散點相對時間差更小，進而造成數(shù)據(jù)丟失的可能性非常小。

另外，由于設(shè)備采用激光掃描技術(shù)，受太陽光照影響較小，且無需進行白天和夜晚不同環(huán)境下圖像色彩灰度的再調(diào)整，因此可在夜間全暗環(huán)境下正常工作。

2.1.2 三維建模步驟

由上述過程中采集到的圖像離散點云數(shù)據(jù)運用到三維模型的重構(gòu)是全時空監(jiān)控過程中的關(guān)鍵技術(shù)之一。該過程需考慮數(shù)據(jù)對應(yīng)時間、空間、色彩等因素，相應(yīng)的點云數(shù)據(jù)處理及建模需經(jīng)歷噪聲去除→多視對齊→數(shù)據(jù)精簡→曲面重構(gòu)4個關(guān)鍵步驟。

（1）噪聲去除旨在對激光掃描過程中影響到完整圖像獲取的動態(tài)環(huán)境因素進行識別和剔除。例如，在監(jiān)測范圍內(nèi)偶然出現(xiàn)的快速移動車輛、行人等。

（2）多視對齊是針對形狀復(fù)雜或者體積較大的被測物體，避免單角度掃描時出現(xiàn)物體不能完全囊括或者數(shù)據(jù)出現(xiàn)距離扭曲等問題，需要從非平面內(nèi)的多視角掃描，并完成同一位置的點云對齊和拼接，該過程中旋轉(zhuǎn)和平移變換矩陣R，T應(yīng)滿足目標函數(shù)：

式中，pi，qi為需對齊的點云。

（3）數(shù)據(jù)精簡旨在對同一位置相同點云數(shù)據(jù)進行精簡，以避免海量數(shù)據(jù)對于曲面重構(gòu)計算過程的影響。當然，該過程中應(yīng)對數(shù)據(jù)精度有相應(yīng)設(shè)置。

（4）曲面重構(gòu)即是將掃描數(shù)據(jù)用準確的曲面表示出來。目前，常見的有三角形網(wǎng)格、細分曲面、明確的函數(shù)表示、暗含的函數(shù)表示、參數(shù)曲面、張量積B樣條曲面、NURBS曲面和曲化的面片等。

2.1.3 超大數(shù)據(jù)自動建模

因存在地理方面的高低差問題以及掃描儀位置的物理限制，在所有表面得到完整充足的采樣存在很大的難度。另外，辦公樓的玻璃窗或墻等反光性表面不能對掃描儀返回有效信號也會存在采樣數(shù)據(jù)缺失。對于這些挑戰(zhàn)，采用由上而下的方法重建幾何，生成多邊形模型，對比常規(guī)的三角化方法，用多邊形取代了三角形進行擬合幾何重建過程避免了常見的數(shù)據(jù)缺失及點云缺損。另外，整個建模過程完全是自動的，只是在雙關(guān)性不能由計算解決時，才需要用戶輔助，如選擇平面、線或角。

2.2 全景立體監(jiān)控

實現(xiàn)全景立體監(jiān)控過程需要能對前期采集的數(shù)據(jù)點構(gòu)建而成的三維模型進行識別，進而準確分辨前景目標，然后通過標定的監(jiān)測元件位置數(shù)據(jù)，計算前景目標的空間位置。在此基礎(chǔ)上，根據(jù)后續(xù)獲得數(shù)據(jù)及其對應(yīng)的時間序列信息，完成多層次后續(xù)全景立體監(jiān)控圖像融合。具體步驟如下。

2.2.1 前景目標檢測

圖像中的前景是相對于背景而言，指監(jiān)控圖像采集及融合過程中相對于靜止的背景而出現(xiàn)的需要關(guān)注及處理的運動目標。例如，在交通監(jiān)控過程中的前景目標應(yīng)包含機動車、非機動車和行人等。在實現(xiàn)全景立體視頻監(jiān)控過程中，將這些重點關(guān)注的前景目標能準確重建融合到三維場景中是實現(xiàn)高質(zhì)量無失真全景實時監(jiān)控的關(guān)鍵。故而，開發(fā)全景立體監(jiān)控系統(tǒng)第一要務(wù)即實現(xiàn)前景運動目標的準確檢測，其關(guān)鍵環(huán)節(jié)在于兩個部分：（1）多層次前景背景建模；（2）運動陰影抑制、噪音消除和缺失補償。

2.2.2 多層次前景背景建模

多層次前景建模的基本思想是從當前幀中準確提取前景，以成功分離背景和前景。由于背景建模清晰度易受光照等自然環(huán)境突變影響，且在服務(wù)區(qū)、收費廣場等區(qū)域，車輛、行人速度隨時變化，并且可能會出現(xiàn)某一時間段內(nèi)的完全靜止，這會對前景的提取和判別造成干擾。系統(tǒng)可能出現(xiàn)將這些“靜止”場景更新為背景的錯誤，進而易出現(xiàn)對重要目標的遺漏傾斜。

為了較好地解決上述問題，可建立多層次高斯混合模型，在隨機抽取的不同時間域內(nèi)取背景進行對比篩選，剔除錯誤識別的前景。該模型是用K個模型表征圖像中各像素點特征，各像素點按視頻時序序列{X1，X2，…，Xt}={I（x0，y0，i）：1≤i≤t}，在考慮各像素特征點的高斯函數(shù)權(quán)重系數(shù)ωi，t以及數(shù)學(xué)期望μi，t，可建立如公式（2）所示的K個高斯分布的疊加函數(shù)：

式中，Σi，t為第i個高斯模型的協(xié)方差矩陣；η為高斯模型：

由此，每獲得新一幀圖像后，就會按上述方法更新高斯混合模型，然后匹配該圖像的各像素點以判定該點是否為背景點和停止前景點，若為如靜止的行人或遺留的包裹等類似的停止前景點，則不能將其化為背景。如圖2（a）所示，（a）為測試視頻，（b）（c）（d）分別為運動前景、靜止前景和背景，（e）為檢測結(jié)果在原圖上的疊加。

圖2 多層次前景、背景檢測和提取

2.2.3 運動陰影抑制、噪音消除和缺失補償

對于全景立體監(jiān)控實現(xiàn)過程中出現(xiàn)的小部分目標缺失或者環(huán)境引起的圖像噪音等問題，可采用圖像學(xué)處理方法，如利用圖像陰影的顏色信息、空間信息、紋理信息等重要區(qū)別屬性，在關(guān)注區(qū)域中確定其造成的顏色形變，通過使用顏色形變補償和紋理校正進行陰影抑制。如圖3所示，（a）為測試視頻，（b）為前景檢測初始結(jié)果，（c）為陰影抑制后的結(jié)果，（d）為噪音濾除后的結(jié)果，（e）為缺失補償后的最終結(jié)果。

圖3 前景檢測的實時后期處理

2.2.4 三維重建融合

由于所拍圖像或視頻均為二維平面，無法顯現(xiàn)隱藏在拍攝平面后的三維結(jié)構(gòu)，因此要實現(xiàn)立體監(jiān)控效果，則需要完成圖形的三維重建。通過視頻參數(shù)計算、圖像重建、全景融合的步驟完成。

照相機、攝像機等圖片及視頻拍攝工具均是通過投影矩陣的變化來實現(xiàn)真實場景的拍攝。故而，也可利用投影矩陣將圖像/視頻數(shù)據(jù)通過反向投影回三維場景模型上。

首先，檢測二維視頻和三維場景模型的特征點。引入多尺度匹配算法，采用高斯濾波器對圖像進行濾波，計算它們差值DOG以探測出特征點：

L（x，y，ki+1σ）和L（x，y，kiσ）是原來的圖像I（x，y）跟高斯核G（x，y）在尺度kiσ和尺度ki+1σ的卷積。

探測出特征點后，設(shè)置其領(lǐng)域，為領(lǐng)域里每個像素計算下面兩個值：

將計算結(jié)果合成一個向量，從圖像數(shù)字學(xué)方面建立了特征點的描述符。繼而，計算描述符之間的歐幾里德距離，匹配特征點，實現(xiàn)實時圖像配準。圖4為一具有一定高差含樓梯的道路拍攝圖像。通過算法得到探測特征點的位置，如圖4（a）和圖4（b）的圓圈；基于特征點合成的匹配結(jié)果如圖4（c）。

圖4 實時特征匹配用于配準移動視頻圖像實現(xiàn)動態(tài)拼接

2.2.5 視頻圖像歸一化

通過上述步驟實現(xiàn)了大規(guī)模攝像機視頻數(shù)據(jù)在空間和時間上拼接融合。但由于視頻數(shù)據(jù)可能來自不同品牌的攝像機，或是使用不同的光度參數(shù)，例如，曝光時間、白平衡、伽馬校正和傳感器的靈敏度等，這些將直接產(chǎn)生不一致的顏色數(shù)據(jù)。此外，由于攝像機建設(shè)時間的不同，造成視頻圖像在色彩、亮度、飽和度和對比度等方面的情況也不同。為了達到更好的視覺拼接融合效果，要將視頻圖像在色彩、亮度、飽和度和對比度方面進行歸一化，提高大規(guī)模攝像機網(wǎng)絡(luò)色彩的一致性。具體分以下2個步驟。

（1）視頻色彩校準。將Macbeth彩色影像板放置在監(jiān)控區(qū)域內(nèi)，對每個攝像機的標定進行增益和偏移，最大限度地減少對比度和黑度，并確保線性響應(yīng)和白場景的平衡。

（2）視頻的色彩傳遞。歸一化目標是一致的色彩反應(yīng)，而不是絕對的色彩精確度，因此無需將每個攝像機視頻匹配成標準色彩，而是將一幅視頻圖像的顏色特征傳遞給另一幅視頻圖像，通過色彩傳遞對攝像視頻進行兩兩色彩匹配。

2.3 全景智能分析

開發(fā)先進的算法對融合后的全景立體監(jiān)控視頻進行全局智能分析。諸多事件都可歸為行為模式分析問題，這些行為的發(fā)生與發(fā)展往往跨越多個攝像機監(jiān)控時空區(qū)域，在全景立體監(jiān)控系統(tǒng)中，多個攝像機之間的相關(guān)性及互補性，實現(xiàn)了非特定目標行為模式的準確識別。

結(jié)合全景立體監(jiān)控，實現(xiàn)基于全場景視頻智能分析的自動預(yù)警功能，對各種異常事件進行預(yù)警，同時自動顯示預(yù)警地點的全景立體監(jiān)控場景，保障全景立體智能視頻監(jiān)控系統(tǒng)的應(yīng)用和指揮效能。

2.3.1 異常行為模式的實時分級分析

（1）異常行為預(yù)檢。異常行為多種多樣，從技術(shù)上講，不可能提前對所有行為都預(yù)先定義，而且受計算速度的影響，不可能對所有預(yù)定義異常行為在每個攝像機上都進行檢測和分析。這就要求智能分析算法在第一級對所有可能的異常行為進行預(yù)檢，并將異常結(jié)果交給下一級進行進一步分析和處理。雖然對異常行為不能窮舉，但是可以通過收集大量的正常場景，積累海量的正常運動數(shù)據(jù)，對這些數(shù)據(jù)異常行為模式進行剔除。該過程關(guān)鍵在于從海量數(shù)據(jù)中發(fā)現(xiàn)和整理出正常的行為模式。

對海量數(shù)據(jù)的分析和挖掘是世界級的難題，在官渡黃河大橋的實踐中采用了國際領(lǐng)先的基于范例的矩陣逼近和分解技術(shù)，該技術(shù)可以有效地用于監(jiān)測和分析大規(guī)模數(shù)據(jù)中異常波動。

（2）異常行為識別和分析。異常行為分析離不開對目標的追蹤。服務(wù)區(qū)人流車流密集，遮擋現(xiàn)象嚴重。將根據(jù)運動前景的焦點和顏色特征，快速、準確和魯棒地提取場景內(nèi)目標的運動軌跡。一方面，這些信息可以傳到服務(wù)器上，用于實現(xiàn)大場景內(nèi)人流和車流的綜合分析，為大場景眾多目標的實時分析，行為模式分析快速及目標快速排除打下良好的基礎(chǔ)。另一方面，可以通過統(tǒng)計分析運動軌跡，建立行為分布圖。根據(jù)實際情況，預(yù)定義一系列異常行為模式。在預(yù)檢報警的情況下，根據(jù)統(tǒng)計特征，可以對異常行為進行進一步識別、分類和分級。

2.3.2 大場景、多攝像機的時空關(guān)聯(lián)關(guān)系

為實現(xiàn)各個離散視頻在全景三維場景下的關(guān)聯(lián)分析，首先，基于靜態(tài)貝葉斯網(wǎng)絡(luò)構(gòu)建攝像機之間的空間拓撲關(guān)系，然后利用動態(tài)貝葉斯網(wǎng)絡(luò)推理和預(yù)測多種行為模式之間的語義關(guān)聯(lián)結(jié)構(gòu)。

我們將根據(jù)攝像機之間的空間關(guān)系和公安實戰(zhàn)經(jīng)驗，對貝葉斯網(wǎng)絡(luò)參數(shù)（先驗概率和條件概率）進行賦值。

動態(tài)貝葉斯網(wǎng)絡(luò)是貝葉斯網(wǎng)絡(luò)隨時間變化的一個動態(tài)擴展，如圖5所示，可以反映各攝像機之間一系列行為模式間的概率依賴關(guān)系。由于攝像機網(wǎng)絡(luò)空間拓撲結(jié)構(gòu)不隨時間改變，可以假設(shè)各攝像機之間滿足一階馬爾可夫性，從而對其中行為模式的時間連續(xù)性進行建模。基本思想是全局行為模式是由一系列局部行為構(gòu)成的。通過對局部行為及其關(guān)系的識別，可以有效地預(yù)測全局場景和行為。在一個攝像機發(fā)現(xiàn)異常行為的情況下，利用動態(tài)貝葉斯網(wǎng)絡(luò)，迅速對相關(guān)攝像機和行為模式進行預(yù)判，在三維大場景下顯示相關(guān)視頻和信息。

圖5 多層動態(tài)貝葉斯網(wǎng)絡(luò)

當場景內(nèi)交通工具發(fā)生異常報警時，依據(jù)目標參數(shù)與預(yù)定義模式進行匹配，對異常行為進行識別和確定優(yōu)先級別，實時跨鏡頭智能報警和結(jié)果顯示。同時根據(jù)異常報警的優(yōu)先級，選取和該報警信息有時空關(guān)聯(lián)關(guān)系的所有攝像機數(shù)據(jù)，實現(xiàn)全景立體視頻自動聚焦顯示，結(jié)合球機協(xié)同追視，根據(jù)報警信息自動調(diào)用球機鎖定該區(qū)域。

3 結(jié)束語

本文探討了基于三維全景視頻融合技術(shù)的全時空監(jiān)控方法。該全時空監(jiān)控平臺關(guān)鍵技術(shù)包括基于激光點云數(shù)據(jù)的自動三維建模、全景立體監(jiān)控和全景智能分析3項關(guān)鍵技術(shù)，并對此3項關(guān)鍵技術(shù)進行了深入研究。該技術(shù)對高速公路設(shè)施監(jiān)控、水上交通安全監(jiān)控以及公共設(shè)施異常預(yù)警等業(yè)務(wù)具有輔助及決策效能。本文成果將極大促進為機電工程全時空監(jiān)控方案的設(shè)計與實施提供技術(shù)參考與支撐，具有重要的理論意義和實踐價值。