李東平 陳海鵬 張凱 劉倩倩

摘要：廣泛分布于城鄉(xiāng)各地的社會(huì)視頻監(jiān)控是震后獲取地震災(zāi)情的重要數(shù)據(jù)源?；诘卣鹨曨l災(zāi)情判讀系統(tǒng)，對(duì)基于視頻運(yùn)動(dòng)估計(jì)方法的主要技術(shù)原理和分析處理過(guò)程進(jìn)行改進(jìn)，并將其應(yīng)用于2017年浙江臨安4.2級(jí)地震影響場(chǎng)快速評(píng)估中。結(jié)果表明：利用該改進(jìn)方法在震后4 h內(nèi)得到了基于社會(huì)監(jiān)控的烈度分布，計(jì)算得到的最高烈度與現(xiàn)場(chǎng)實(shí)際調(diào)查相同，等震線優(yōu)勢(shì)方向與現(xiàn)場(chǎng)工作結(jié)果一致，V度面積和現(xiàn)場(chǎng)工作結(jié)果接近。

關(guān)鍵詞：地震影響場(chǎng);視頻監(jiān)控;地震應(yīng)急;場(chǎng)景深度估算

中圖分類號(hào)：P315.941? ?文獻(xiàn)標(biāo)識(shí)碼：A? ?文章編號(hào)：1000-0666（2019）02-0187-09

0 引言

破壞性地震發(fā)生后如何快速準(zhǔn)確地了解災(zāi)情范圍，準(zhǔn)確繪制地震影響范圍分布圖，并在此基礎(chǔ)上做出快速災(zāi)情評(píng)估，從而及時(shí)組織震后救災(zāi)工作，是當(dāng)前防震減災(zāi)工作中一個(gè)亟待解決的科學(xué)問(wèn)題。地震科技工作者一直努力研究地震烈度快速評(píng)估相關(guān)技術(shù)，當(dāng)前主要方法包括：基于強(qiáng)震動(dòng)觀測(cè)臺(tái)網(wǎng)獲得儀器烈度分布圖，利用無(wú)人機(jī)、遙感技術(shù)進(jìn)行烈度圖的快速勾畫(huà)或采用歷史經(jīng)驗(yàn)公式生成地震影響場(chǎng)（周洋等，2017）。以上技術(shù)近年來(lái)取得了一定進(jìn)展，但在實(shí)際地震應(yīng)急中效果不盡理想，最直接的災(zāi)情獲取手段仍有欠缺（李東平等，2017）。

近年來(lái)，隨著信息和大數(shù)據(jù)等各類高新技術(shù)的飛速發(fā)展，對(duì)信息采集傳感器的需求不斷增加，作為典型的信息采集終端，視頻監(jiān)控得以大量布設(shè)，遍及城鄉(xiāng)各處。海量的社會(huì)視頻源可以真實(shí)記錄地震發(fā)生時(shí)的狀況，通過(guò)技術(shù)處理還可以提取災(zāi)害空間分布情況。2015年9月，國(guó)家發(fā)布了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，提出要“大力推動(dòng)政府部門數(shù)據(jù)共享”;2016年12月，發(fā)布了《“十三五”國(guó)家信息化規(guī)劃》，將“推動(dòng)信息跨部門跨層級(jí)共享共用”列入重點(diǎn)任務(wù)分工清單（劉艷，2017）。此后各級(jí)政府多次發(fā)文推進(jìn)和落實(shí)部門間數(shù)據(jù)共享工作，這些都為數(shù)字政府的實(shí)施和推廣提供了強(qiáng)大推力，政府?dāng)?shù)據(jù)共享作為改革的重要內(nèi)容，備受關(guān)注。由政府專業(yè)部門掌握的公共安全視頻監(jiān)控聯(lián)網(wǎng)也是數(shù)據(jù)共享的重要內(nèi)容之一。省級(jí)地震部門作為公益性政府部門，也開(kāi)始獲取包括公共安全視頻監(jiān)控聯(lián)網(wǎng)在內(nèi)的大量社會(huì)視頻源數(shù)據(jù)。

目前在青海、浙江、四川等省都有通過(guò)社會(huì)視頻監(jiān)控信息獲取震后災(zāi)情分布的案例，許多學(xué)者開(kāi)展了基于視頻監(jiān)控的地震災(zāi)情獲取和損失評(píng)估研究，取得了一定的成果。夏旻等（2008）使用監(jiān)控錄像資料進(jìn)行強(qiáng)地面運(yùn)動(dòng)參數(shù)估計(jì)，并在汶川地震中初步應(yīng)用;田國(guó)偉等（2015）采用視頻圖像處理技術(shù)進(jìn)行振動(dòng)臺(tái)試驗(yàn)、動(dòng)態(tài)位移測(cè)量;日本千葉商業(yè)大學(xué)通過(guò)研究震后人們?cè)谏缃幻襟w上討論的各種話題，基于視頻共享網(wǎng)站中的用戶評(píng)論數(shù)據(jù)，分析地震造成的破壞情況（Takako，Tesuji，2013），為地震災(zāi)情獲取開(kāi)拓了新思路。筆者在前人研究的基礎(chǔ)上，探索了基于規(guī)范建設(shè)的視頻監(jiān)控信息源，利用模型算法提取震時(shí)的監(jiān)控視頻運(yùn)動(dòng)估計(jì)值，以推斷地震影響范圍的方法。

1 基于場(chǎng)景深度估算地面強(qiáng)震動(dòng)

1.1 前期的研究成果

筆者自2013年以來(lái)開(kāi)展了基于社會(huì)視頻源的地震影響場(chǎng)勾畫(huà)方法研究，基于多次震例探索了震后在海量的社會(huì)視頻監(jiān)控信息源支持下，利用定性分析烈度經(jīng)驗(yàn)矩陣，建立監(jiān)控視頻與地震烈度的相對(duì)關(guān)系，在視頻監(jiān)控中通過(guò)模型提取震害和烈度信息，建立了基于視頻運(yùn)動(dòng)估計(jì)的地面強(qiáng)震動(dòng)定量分析方法，目前利用該方法可計(jì)算出監(jiān)控點(diǎn)的近似地震動(dòng)峰值加速度值?；谠撛黹_(kāi)發(fā)了地震視頻災(zāi)情判讀系統(tǒng)（圖1），并應(yīng)用于2014年浙江文成—泰順4.2級(jí)地震、2017年浙江磐安3.5級(jí)地震等應(yīng)急處置工作（李東平等，2017）。

ASP是微軟公司開(kāi)發(fā)的代替CGI腳本程序的一種應(yīng)用，它可以與數(shù)據(jù)庫(kù)和其它程序進(jìn)行交互，是一種簡(jiǎn)單、方便的編程工具。ASP是一種服務(wù)器端腳本編寫環(huán)境，可以用來(lái)創(chuàng)建和運(yùn)行動(dòng)態(tài)網(wǎng)頁(yè)或web應(yīng)用程序，它包含HTML標(biāo)記、普通文本、腳本命令以及COM組件等（胡秀源，2011），ASP的以上特點(diǎn)比較適合應(yīng)急指揮中心的工作環(huán)境。地震視頻災(zāi)情判讀系統(tǒng)就是基于ASP開(kāi)發(fā)的。

1.2 基于視頻運(yùn)動(dòng)估計(jì)方法的改進(jìn)

在近年來(lái)的幾次地震應(yīng)急中，筆者及團(tuán)隊(duì)不斷改進(jìn)視頻分析方法，總結(jié)了在不同烈度下的探頭晃動(dòng)和人員反應(yīng)表現(xiàn)形式，并推導(dǎo)出地震烈度經(jīng)驗(yàn)矩陣，進(jìn)一步進(jìn)行以視頻運(yùn)動(dòng)估計(jì)的精確定量計(jì)算。但該方法只對(duì)高烈度區(qū)、圖像抖動(dòng)明顯的監(jiān)控點(diǎn)識(shí)別較好，而低烈度區(qū)監(jiān)控點(diǎn)的計(jì)算值與實(shí)際差距較大。在對(duì)算法進(jìn)行了部分優(yōu)化，引入場(chǎng)景深度估計(jì)方法后，圖像幀之間像素的運(yùn)動(dòng)距離和速度值計(jì)算準(zhǔn)確性均有明顯提高。

地震視頻分析的步驟如下：①對(duì)地震視頻逐幀進(jìn)行分析，利用宏塊分析法計(jì)算出相鄰幀之間發(fā)生位移的宏塊。②對(duì)幀間圖像發(fā)生位移的宏塊進(jìn)行統(tǒng)計(jì)，近而可以計(jì)算出地震視頻中每一幀圖像發(fā)生震動(dòng)的像素個(gè)數(shù)。例如：導(dǎo)入的視頻分辨率為320×384像素，每一幀圖像共有20×24個(gè)16×16宏塊。通過(guò)對(duì)地震發(fā)生時(shí)振動(dòng)視頻某幀圖像進(jìn)行運(yùn)動(dòng)計(jì)算分析，得出該幀圖像的振動(dòng)宏塊為M塊，該幀圖像發(fā)生震動(dòng)的像素為M×16×16個(gè)

③計(jì)算地震視頻片段所有圖像幀中上述運(yùn)動(dòng)像素的運(yùn)動(dòng)矢量均值，并將其作為該視頻地震烈度的參考值（常安琪，2015）

由于不同的地震視頻具有不同的地震加速度和速度值，為此需要構(gòu)建地震視頻數(shù)據(jù)庫(kù)。在該數(shù)據(jù)庫(kù)中，每個(gè)地震視頻樣本均以預(yù)先通過(guò)地震設(shè)備得到的Ground Truth地震數(shù)據(jù)（烈度、速度和加速度等）作為人工標(biāo)注值。將具有相似烈度（比如某一范圍內(nèi)的烈度）的地震視頻歸為同一類，并通過(guò)支持向量機(jī)（Support Vector Machine，簡(jiǎn)稱SVM）對(duì)不同烈度的地震視頻樣本進(jìn)行學(xué)習(xí)，而輸入的特征值即為該視頻的運(yùn)動(dòng)矢量均值。利用訓(xùn)練好的SVM模型，對(duì)不同特征值輸入的地震視頻樣本輸出其烈度的預(yù)測(cè)。筆者及團(tuán)隊(duì)自2013年開(kāi)始至今，已完成了1 000余個(gè)地震視頻的建庫(kù)工作。

通過(guò)地震視頻計(jì)算地震的速度和加速度，需要知道地震視頻中不同像素點(diǎn)之間代表的真實(shí)距離值。由于不同監(jiān)控?cái)z像機(jī)架設(shè)的高度和俯仰角都不同，因此像素之間的真實(shí)距離難以準(zhǔn)確獲取，主要是因?yàn)椋翰煌O(jiān)控場(chǎng)景中任意2個(gè)像素點(diǎn)的距離所對(duì)應(yīng)的真實(shí)世界中的距離都是不同的，并且隨著距離監(jiān)控相機(jī)光心的距離變化而變化，無(wú)法通過(guò)參考圖像中的某些物體尺寸做等價(jià)距離推算。一種近似的解決方案是通過(guò)機(jī)器學(xué)習(xí)技術(shù)估計(jì)場(chǎng)景深度信息，而這可通過(guò)單幅圖像深度估計(jì)算法獲得。

場(chǎng)景深度估計(jì)算法步驟如圖2所示。首先，對(duì)地震視頻中的每幅圖像進(jìn)行無(wú)監(jiān)督分割操作以生成超像素（Superpixel）區(qū)域。再以每個(gè)超像素為中心，尺寸為224×224像素的矩形圖像塊作為輸入，訓(xùn)練一個(gè)具有5個(gè)卷積層和4個(gè)全連接層（5conv+4fc）的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡(jiǎn)稱CNN），如圖3所示。在5個(gè)卷積層中分別使用了11×11，5×5和3×3的卷積模板，并采用修正線性單元（Rectified LinearUnits，簡(jiǎn)稱ReLU）作為激活函數(shù)以及2×2的池化操作;在前2個(gè)全連接層中使用ReLU作為激活函數(shù)，第3個(gè)全連接層使用f（x）-（1+e-z）-1作為激活函數(shù)，而最后一個(gè)全連接層則沒(méi)有使用。最終的網(wǎng)絡(luò)輸出為對(duì)應(yīng)每個(gè)超像素的一維深度值（楊宇翔等，2015）。

對(duì)該CNN模型進(jìn)行訓(xùn)練時(shí)，樣本采用的是NYU v2 Kinect 數(shù)據(jù)集和Make3D數(shù)據(jù)集，上述數(shù)據(jù)集不僅具有不同場(chǎng)景類別的圖像樣本，而且每個(gè)圖像樣本均有對(duì)應(yīng)的采集自Kinect深度相機(jī)和激光雷達(dá)的真實(shí)距離數(shù)據(jù)。通過(guò)上述2個(gè)數(shù)據(jù)集訓(xùn)練得到的CNN模型，可輸出每個(gè)超像素所對(duì)應(yīng)的深度預(yù)測(cè)值ZP。

然而，僅通過(guò)CNN模型推理得到的深度圖通常存在相鄰超像素的深度跳躍的情況。為了獲取更為平滑而準(zhǔn)確的深度圖，筆者采用了條件隨機(jī)場(chǎng)（Conditional Random Field，簡(jiǎn)稱CRF）模型，通過(guò)最大后驗(yàn)概率（Maximum A Posteriori，簡(jiǎn)稱MAP）估計(jì)最小化條件概率分布Pr（y|x）：

式中：z（x）是z以觀察序列x為條件的概率歸一化因子。將CNN模型輸出的每個(gè)超像素的深度預(yù)測(cè)值ZP作為數(shù)據(jù)項(xiàng)U（yp，x）（x為超像素特征，即超像素的深度值）的核心部分。在構(gòu)建平滑項(xiàng)U（yp，yq，x）時(shí)，則通過(guò)一個(gè)具有全連接層的單層神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練多種不同類型的超像素相似度Rpq，比如：相鄰超像素p和q顏色均值之差，顏色直方圖之差以及紋理特征值之差等。最后的能量函數(shù)E（y，x）定義為：

最終經(jīng)過(guò)CRF優(yōu)化得到的場(chǎng)景深度估計(jì)結(jié)果如圖4所示。在圖4a和4c所對(duì)應(yīng)的場(chǎng)景深度圖4b和4d中，像素對(duì)比度越弱的代表距離相機(jī)越近，像素對(duì)比度越強(qiáng)則代表距離越遠(yuǎn)。

在得到場(chǎng)景深度圖之后，便可以估計(jì)所得到圖像中像素之間所代表的大致真實(shí)距離。地震視頻片段中每幅圖像的地震速度和加速度均可由其運(yùn)動(dòng)矢量對(duì)應(yīng)的真實(shí)運(yùn)動(dòng)距離分別計(jì)算得到。在地震視頻片段中，第N幀圖像中每個(gè)運(yùn)動(dòng)像素的速度VN可由其運(yùn)動(dòng)矢量MV所對(duì)應(yīng)的真實(shí)距離DN（即運(yùn)動(dòng)矢量起點(diǎn)像素和終點(diǎn)像素所對(duì)應(yīng)的深度值之差）除以時(shí)間T（即1/F，其中F為當(dāng)前圖像幀率）計(jì)算得到：

地震視頻的加速度aN則是由相鄰圖像幀N和N+1之間的速度差除以時(shí)間T計(jì)算求得：

由于該模塊需要逐幀計(jì)算場(chǎng)景深度，因而運(yùn)算速度較為緩慢。針對(duì)基于運(yùn)動(dòng)矢量統(tǒng)計(jì)截取的地震視頻中可能存在一些誤檢，比如夜間車輛的燈光以及白天的車輛移動(dòng)等場(chǎng)景時(shí)常會(huì)因?yàn)榇嬖谳^大的像素運(yùn)動(dòng)而被誤檢為地震。為此，我們加入一些處理方法將上述可能的誤檢場(chǎng)景剔除。

2 地震實(shí)例2.1 地震概況? 2017年4月12日2時(shí)25分，浙江省杭州市臨安區(qū)發(fā)生4.2級(jí)地震，微觀震中位于臨安區(qū)河橋鎮(zhèn)與潛川鎮(zhèn)交界處的九龍坑（30.08°N，119.34°E），震源深度15 km。震中附近區(qū)域震感強(qiáng)烈，部分房屋出現(xiàn)墻體裂縫、掉瓦等震害現(xiàn)象。地震發(fā)生后，浙江省地震局立即啟動(dòng)Ⅲ級(jí)應(yīng)急響應(yīng)。現(xiàn)場(chǎng)震害評(píng)估與科學(xué)考察組通過(guò)對(duì)25個(gè)調(diào)查點(diǎn)資料的綜合整理分析，參考震源機(jī)制解和震中附近地震構(gòu)造等資料，確定了此次地震的最高烈度為Ⅴ度，等震線呈橢圓形，長(zhǎng)軸方向呈NE向，為7.4 km，短軸為3.8 km，V度區(qū)總面積約22.6 km2，主要涉及到臨安市潛川鎮(zhèn)和於潛鎮(zhèn)。

2.2 視頻監(jiān)控資料的選取及分析流程

地震發(fā)生后，浙江省地震應(yīng)急指揮中心通過(guò)視頻監(jiān)控共享系統(tǒng)，在震后2 h內(nèi)獲取了震中附近發(fā)震時(shí)刻77個(gè)視頻點(diǎn)位圖像數(shù)據(jù)，通過(guò)對(duì)比攝像數(shù)據(jù)中人員反應(yīng)、鏡頭晃動(dòng)等情況，對(duì)烈度做了初步判定，并利用地震視頻災(zāi)情判讀系統(tǒng)對(duì)視頻點(diǎn)的地面強(qiáng)震動(dòng)進(jìn)行了定量分析。震后4 h內(nèi)得到了基于社會(huì)視頻監(jiān)控的烈度分布，計(jì)算得到的最高烈度與現(xiàn)場(chǎng)實(shí)際調(diào)查相同，等震線優(yōu)勢(shì)方向與現(xiàn)場(chǎng)工作結(jié)果一致，V度區(qū)面積和現(xiàn)場(chǎng)工作結(jié)果接近。

工作流程如下：首先，浙江省地震應(yīng)急指揮中心啟動(dòng)了快速評(píng)估系統(tǒng)，繪制了基于經(jīng)驗(yàn)?zāi)Ｐ偷牡卣鹩绊憟?chǎng)分布圖（圖5），在模型計(jì)算得出的IV度區(qū)及其以上區(qū)域進(jìn)一步選取了監(jiān)控探頭。浙江區(qū)域的烈度衰減模

型采用經(jīng)過(guò)修正的經(jīng)典模型（李東平，2011）：

通過(guò)初步篩選，剔除了部分非高清視頻和受干擾視頻，選取了49個(gè)點(diǎn)位進(jìn)行數(shù)據(jù)分析。個(gè)別攝像頭處理結(jié)果和現(xiàn)場(chǎng)科考調(diào)查隊(duì)得出的數(shù)據(jù)有一定差距，這是因?yàn)閷?duì)比2013年以來(lái)的視頻資源發(fā)現(xiàn)，每年的高清監(jiān)控比例在不斷增加，大量的高清探頭替代了非高清探頭（圖6），獲取的數(shù)據(jù)質(zhì)量也大幅度提高。從第一時(shí)間獲取的視頻監(jiān)控中，列出20個(gè)典型的攝像頭，獲取的資料包括標(biāo)準(zhǔn)的經(jīng)緯度信息和視頻分析得出的烈度加速度、現(xiàn)場(chǎng)調(diào)查烈度值（表1）。由于在Ⅴ度區(qū)范圍內(nèi)沒(méi)有強(qiáng)震臺(tái)，因此筆者采用的對(duì)比數(shù)據(jù)是現(xiàn)場(chǎng)調(diào)查數(shù)據(jù)。從表1可以看出視頻分析加速度與現(xiàn)場(chǎng)調(diào)查烈度值有一定差距，但已經(jīng)比較接近（圖7）。