王 凡，趙宏偉，劉俊博，王勝春，武斯全，蘇文婧，李唯一

1.中國鐵道科學(xué)研究院集團(tuán)有限公司 基礎(chǔ)設(shè)施檢測研究所，北京 100081

2.北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，北京 100044

3.北京鐵科英邁技術(shù)有限公司，北京 100081

我國高速鐵路里程長，跨度大，沿線自然環(huán)境非常復(fù)雜，定期地進(jìn)行高速鐵路運(yùn)行環(huán)境安全檢查，有利于及時地發(fā)現(xiàn)線路安全隱患，保障高速列車的安全運(yùn)行。

目前，利用計(jì)算機(jī)視覺、人工智能等技術(shù)基于視頻數(shù)據(jù)進(jìn)行自動化檢測是高速鐵路運(yùn)行環(huán)境安全檢查的主要技術(shù)手段[1]。高速鐵路運(yùn)行環(huán)境視頻的采集方式分為2種：

（1）利用高速鐵路路旁安裝的攝像機(jī)對特定場景進(jìn)行全天候監(jiān)控[2-3]。這種方式獲取的視頻圖像質(zhì)量較高，有利于后續(xù)的安全檢查任務(wù)。然而，高速鐵路沿線自然環(huán)境復(fù)雜，部分區(qū)段不具備架設(shè)攝像機(jī)的條件，導(dǎo)致無法獲取全線路的運(yùn)行環(huán)境信息。

（2）利用車載攝像機(jī)[4]在高速列車行駛過程中拍攝沿線環(huán)境視頻。這種方式能夠獲取全線路的運(yùn)行環(huán)境信息，但高速列車行駛速度快，拍攝的視頻圖像存在運(yùn)動模糊，模糊程度與列車速度正相關(guān)，對后續(xù)的運(yùn)行環(huán)境安全檢測任務(wù)造成很大困難。此外，受軌道平順性影響，高速列車行駛過程中不可避免地會產(chǎn)生振動，同時導(dǎo)致車載攝像機(jī)振動，造成散焦模糊。

本文主要研究如何自適應(yīng)地去除高速行車條件下車載攝像機(jī)運(yùn)動所導(dǎo)致的運(yùn)動模糊和散焦模糊，以實(shí)現(xiàn)采集高質(zhì)量的高速鐵路運(yùn)行環(huán)境視頻的目的。去卷積方法是經(jīng)典的圖像運(yùn)動模糊復(fù)原方法，根據(jù)點(diǎn)擴(kuò)散函數(shù)（point spread function，PSF）是否已知，該類方法又可分為盲去卷積方法和非盲去卷積方法。盲去卷積方法通常是基于貝葉斯框架的隨機(jī)性方法，利用圖像局部內(nèi)容的統(tǒng)計(jì)特性和成像系統(tǒng)的先驗(yàn)知識，采用貝葉斯推導(dǎo)方法求解PSF 和復(fù)原圖像，如：最小均方誤差法[5]、隱變量法[6]、最大后驗(yàn)概率法[7]和變分法[8]。非盲去卷積方法通常先基于強(qiáng)邊緣預(yù)測[9]、圖像頻域[10]和圖像內(nèi)容先驗(yàn)[11]迭代估計(jì)圖像的PSF，再利用Richardson-Lucy[12]、一階原始對偶優(yōu)化[13]和Hyper-Laplacian[14]等算法進(jìn)行去卷積處理，從而得到復(fù)原圖像。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN）在圖像去模糊領(lǐng)域取得了許多優(yōu)秀的成果，如，DeblurGAN 系列[15-16]、EDVR[17]、和PSSNSC[18]。該類方法的基本原理是先利用條件生成式對抗網(wǎng)絡(luò)（conditional generative adversarial networks，C-GAN）從模糊圖像重建復(fù)原圖像，然后，度量復(fù)原圖像與清晰參考圖像的相似度作為網(wǎng)絡(luò)損失值，迭代更新網(wǎng)絡(luò)模型各層參數(shù)，直至復(fù)原圖像與清晰圖像的相似度達(dá)到最優(yōu)。

然而，現(xiàn)有方法應(yīng)用于車載高速鐵路運(yùn)行環(huán)境視頻時，存在以下2個方面的問題：

（1）經(jīng)典的圖像去模糊方法通常假設(shè)空間不變的圖像模糊，針對特定的圖像場景、圖像內(nèi)容等先驗(yàn)知識估計(jì)PSF，進(jìn)而得到復(fù)原圖像。然而，高速鐵路沿線環(huán)境不斷變化，視頻圖像的模糊程度也受到列車行駛速度和軌道平順性的影響，產(chǎn)生的圖像模糊是空間變化的，現(xiàn)有方法難以實(shí)現(xiàn)自適應(yīng)地去模糊。

（2）基于DCNN的圖像去模糊方法需要人工地構(gòu)建大量清晰-模糊圖像樣本對，作為訓(xùn)練網(wǎng)絡(luò)模型的樣本數(shù)據(jù)。然而，高速行車條件下，很難獲得清晰的參考圖像用于構(gòu)建訓(xùn)練樣本集。

基于以上問題，首先，提出一種新的車載高速鐵路運(yùn)行環(huán)境視頻采集系統(tǒng)，實(shí)現(xiàn)在高速行車條件下采集高分辨率的視頻數(shù)據(jù)；然后，提出一種高速鐵路運(yùn)行環(huán)境視頻自適應(yīng)去模糊方法，利用車載的慣性測量單元測量攝像機(jī)的運(yùn)動軌跡，并設(shè)計(jì)新的去卷積算法復(fù)原空間變化的模糊圖像；最后，利用檢測列車在實(shí)際高速鐵路線路進(jìn)行實(shí)驗(yàn)驗(yàn)證，證明了本文方法的有效性和實(shí)用性。本文方法已推廣應(yīng)用于我國多輛高速綜合檢測列車，為高速鐵路運(yùn)行環(huán)境安全檢查提供有效數(shù)據(jù)保障。

1 車載高速鐵路運(yùn)行環(huán)境視頻采集系統(tǒng)

目前，我國的高速綜合檢測列車配備有車載視頻監(jiān)控系統(tǒng)[19]，視頻圖像分辨率為1 920×1 080，幀率為25 FPS。然而，該系統(tǒng)僅能實(shí)現(xiàn)視頻數(shù)據(jù)的采集和存儲，沒有對視頻進(jìn)行去模糊處理，已無法滿足高速鐵路運(yùn)行環(huán)境安全檢查任務(wù)的需求。

本文提出一種新的車載高速鐵路運(yùn)行環(huán)境視頻采集系統(tǒng)，其架構(gòu)如圖1 所示。該系統(tǒng)由高清攝像機(jī)、信號同步單元、RFID 標(biāo)簽閱讀器、GNSS 單元和慣性測量單元組成。高清攝像機(jī)利用螺栓固定于列車車體，拍攝線路內(nèi)基礎(chǔ)設(shè)施及周邊環(huán)境的視頻圖像，通過千兆數(shù)據(jù)網(wǎng)絡(luò)傳輸至視頻采集服務(wù)器；信號同步單元接收車輪光電編碼器觸發(fā)的距離脈沖信號，發(fā)送至視頻采集服務(wù)器，用于計(jì)算列車當(dāng)前行駛里程和速度；RFID標(biāo)簽閱讀器讀取接觸網(wǎng)桿上安裝的電子里程標(biāo)簽，用于校準(zhǔn)當(dāng)前里程位置；GNSS單元和慣性測量單元用于實(shí)時計(jì)算車體運(yùn)動軌跡，可在無電子里程標(biāo)簽的區(qū)段校準(zhǔn)當(dāng)前里程位置。

系統(tǒng)的視頻圖像分辨率為2 048×1 536，幀率為25 FPS，拍攝的原始視頻圖像如圖2 所示。顯然，檢測列車時速為301 km/h 時，圖像存在較嚴(yán)重的運(yùn)動模糊，需要進(jìn)行去模糊處理。

2 高速鐵路運(yùn)行環(huán)境視頻自適應(yīng)去模糊方法

本文提出的高速鐵路運(yùn)行環(huán)境視頻自適應(yīng)去模糊方法的處理流程如圖3所示，該方法利用慣性測量單元測量攝像機(jī)運(yùn)動參數(shù)，從而解計(jì)算攝像機(jī)運(yùn)動軌跡得到平移矩陣和旋轉(zhuǎn)矩陣，然后，計(jì)算稀疏重采樣矩陣，并與模糊圖像共同輸入到空間變化的去卷積算法，得到復(fù)原圖像。

2.1 空間變化的圖像模糊模型

通常，空間不變的圖像模糊被看作是點(diǎn)擴(kuò)散函數(shù)和加性高斯白噪聲共同作用于清晰圖像的結(jié)果，可形式化為下式：

其中，I表示潛在的清晰圖像，K表示點(diǎn)擴(kuò)散函數(shù)，N表示噪聲，B表示已知的模糊圖像，?表示卷積。

然而，攝像機(jī)在曝光時間內(nèi)的運(yùn)動會導(dǎo)致空間變化的圖像模糊，例如：（1）由于圖像平面的焦距變化而產(chǎn)生的散焦模糊；（2）由于攝像機(jī)平移運(yùn)動導(dǎo)致的運(yùn)動模糊；（3）由于攝像機(jī)的滾動、偏航和俯仰運(yùn)動導(dǎo)致的運(yùn)動模糊。

真實(shí)場景中，點(diǎn)(X,Y,Z)在時刻t的光強(qiáng)度經(jīng)過與攝像機(jī)投影矩陣Pt的變換，投影到圖像平面的(ut,vt)處的結(jié)果為像素值，該過程可表示為：

在曝光時間內(nèi)，如果攝像機(jī)發(fā)生平移或旋轉(zhuǎn)運(yùn)動，則Pt會隨時間而變化，導(dǎo)致場景中同一點(diǎn)每個時刻投影到圖像平面的不同位置，產(chǎn)生圖像模糊。該點(diǎn)的投影軌跡即是PSF。

攝像機(jī)投影矩陣Pt可表示為攝像機(jī)內(nèi)參矩陣A、標(biāo)準(zhǔn)透視投影矩陣C和外參矩陣Et的乘積：

其中，d表示深度值，M是與圖像平面正交的單位向量。

因此，給定t=0 時刻的圖像I0，其后續(xù)時刻的圖像It可表示為：

式中，F(xiàn)t(d)表示稀疏重采樣矩陣（模糊采樣矩陣），用于實(shí)現(xiàn)由平面單應(yīng)性引起的圖像扭曲和重采樣。Ft(d)每行包含權(quán)重參數(shù)，可使用雙線性插值算法計(jì)算圖像平面(ut,vt)處的值作為點(diǎn)(u0,v0,1)T=Ht(d)-1(ut,vt,1)T的插值。

由此，空間變化的圖像模糊模型可表示如下：

2.2 基于慣性測量單元的攝像機(jī)運(yùn)動軌跡測量方法

基于2.1 節(jié)的理論分析，去除空間變化的圖像模糊需要求解4個未知量，即曝光時間內(nèi)的攝像機(jī)旋轉(zhuǎn)矩陣R、平移矩陣T、場景深度d和攝像機(jī)內(nèi)參矩陣A，其中，A可通過攝像機(jī)標(biāo)定獲得。

車載高速鐵路運(yùn)行環(huán)境視頻的模糊是由攝像機(jī)運(yùn)動所導(dǎo)致，因此，可根據(jù)曝光時間內(nèi)攝像機(jī)的運(yùn)動軌跡來計(jì)算旋轉(zhuǎn)矩陣R和平移矩陣T?；诖?，本文提出了一種基于慣性測量單元的攝像機(jī)運(yùn)動軌跡測量方法，根據(jù)慣性測量單元測量的運(yùn)動參數(shù)，計(jì)算攝像機(jī)旋轉(zhuǎn)矩陣和平移矩陣。

慣性測量單元是一種捷聯(lián)慣導(dǎo)裝置，一般由3軸陀螺儀和3 軸加速度計(jì)組成，用于測量載體在空間3 個坐標(biāo)軸的角速度和加速度，即運(yùn)動參數(shù)。本文中，攝像機(jī)和慣性測量單元是通過螺栓固定于列車車體，可看作是剛性連接，即慣性測量單元測量的運(yùn)動參數(shù)同時表示列車車體和車載攝像機(jī)的運(yùn)動參數(shù)。

慣性測量單元測量的角速度是當(dāng)前坐標(biāo)系攝像機(jī)旋轉(zhuǎn)的角速度，測量的加速度是當(dāng)前坐標(biāo)系下平移加速度、旋轉(zhuǎn)產(chǎn)生的向心加速度和重力加速度之和。具體來說，在曝光時刻[ ]0,t內(nèi)，慣性測量單元測量的運(yùn)動參數(shù)如下：

式中，f(·)表示將角度位置轉(zhuǎn)換為旋轉(zhuǎn)矩陣。

然后，可根據(jù)旋轉(zhuǎn)矩陣計(jì)算初始坐標(biāo)系加速度：

本文中，由于攝像機(jī)運(yùn)動頻率高，可將測量的加速度視為關(guān)于恒定重力的正太態(tài)分布，則加速度的平均值即為重力加速度：

2.3 空間變化的去卷積算法

本文基于貝葉斯框架進(jìn)行圖像去卷積，利用已知的模糊圖像B、重采樣矩陣F和噪聲水平σ2，求解最優(yōu)的復(fù)原圖像I′。根據(jù)貝葉斯準(zhǔn)則，求解過程可表示為后驗(yàn)概率分布的最大化，其等價于最小化負(fù)對數(shù)釋然的總和：

需要注意的是，場景深度d仍為未知量。因此，在求解最優(yōu)復(fù)原圖像I′的過程中，需要隱式地計(jì)算場景深度d。具體來說，對于圖像平面中某一點(diǎn)(u,v)，在圖像空間中搜索其潛在的投影結(jié)束點(diǎn)(u′,v′ )，該點(diǎn)處深度d可根據(jù)下式計(jì)算：

3 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)以高速綜合檢測列車為平臺，在實(shí)際的高速鐵路線路進(jìn)行實(shí)驗(yàn)驗(yàn)證，并選用文獻(xiàn)[4]提出的空間變化的高速鐵路圖像去模糊方法進(jìn)行比較，以驗(yàn)證本文方法的有效性和優(yōu)越性。

對比實(shí)驗(yàn)結(jié)果如圖4 所示，其中，第1 行為50～100 km/h 速度的視頻圖像，第2 行為100～200 km/h 速度的視頻圖像，第3 行為200～300 km/h 速度的視頻圖像，第4行為300 km/h以上速度的視頻圖像，不同速度等級視頻圖像的模糊程度不同。為便于觀察去模糊效果，將圖像的局部區(qū)域進(jìn)行了放大顯示。

觀察對比實(shí)驗(yàn)結(jié)果可知，本文方法能夠有效地去除不同速度等級視頻圖像的運(yùn)動模糊。與文獻(xiàn)[4]方法相比，本文方法能夠更好地去除圖像模糊，更多地復(fù)原圖像的細(xì)節(jié)信息，更有利于高速鐵路運(yùn)行環(huán)境安全檢查任務(wù)。

由于無法獲取清晰的參考圖像，無法使用PSNR、RMS等常見的圖像評價指標(biāo)來評價本文方法的去模糊效果。因此，實(shí)驗(yàn)采用無需參考圖像的BRISQUE 指標(biāo)來評價復(fù)原圖像的質(zhì)量[20]，并與文獻(xiàn)[4]方法進(jìn)行比較。具體來說，選取20 幅原始視頻圖像，每種速度等級各5幅，分別使用本文方法和文獻(xiàn)[4]方法進(jìn)行去模糊，得到復(fù)原圖像，然后，計(jì)算每幅圖像的BRISQUE指標(biāo)。對比實(shí)驗(yàn)結(jié)果如圖5所示，其中，BRISQUE值越低，表示圖像質(zhì)量越好。

根據(jù)對比實(shí)驗(yàn)結(jié)果可知，不同速度等級原始圖像的質(zhì)量存在巨大差異，速度等級越低，圖像的模糊程度越低，圖像質(zhì)量越好。在低速度時，本文方法與文獻(xiàn)[4]方法的去模糊效果差異不顯著，但在高速度時，本文方法仍然能夠繼續(xù)保持較低的BRISQUE 指標(biāo)，復(fù)原出質(zhì)量較高的圖像，充分證明了本文方法的有效性和優(yōu)越性。

兩次對比實(shí)驗(yàn)結(jié)果表明，本文方法更適合去除車載高速鐵路運(yùn)行環(huán)境視頻圖像的運(yùn)動模糊，實(shí)現(xiàn)了采集高質(zhì)量運(yùn)行環(huán)境視頻數(shù)據(jù)的目的。

4 結(jié)束語

本文先提出一種新的車載高速鐵路運(yùn)行環(huán)境視頻采集系統(tǒng)，實(shí)現(xiàn)了全線路的運(yùn)行環(huán)境視頻采集。針對車載高速鐵路運(yùn)行環(huán)境視頻存在嚴(yán)重運(yùn)動模糊的問題，提出一種自適應(yīng)圖像去模糊方法，與現(xiàn)有方法相比，本文方法的計(jì)算復(fù)雜度更低，且能夠自適應(yīng)地去不同速度等級的圖像模糊，有利于提升車載高速鐵路運(yùn)行環(huán)境視頻的質(zhì)量，為高速鐵路運(yùn)行環(huán)境安全檢查任務(wù)提供有效數(shù)據(jù)保障。通過兩次對比實(shí)驗(yàn)證明了本文方法的有效性和優(yōu)越性。此外，本文方法已推廣應(yīng)用于我國多輛高速綜合檢測列車，充分說明了方法的實(shí)用性。