徐 亮 肖 晶 王中元

(武漢大學計算機學院 湖北 武漢 430072)

0 引 言

隨著智能交通系統(tǒng)的不斷發(fā)展，對監(jiān)控視頻的自動化處理要求也越來越高。監(jiān)控視頻中，行駛車輛是重點關注對象之一。準確地估計車輛的三維姿態(tài)參數是監(jiān)控視頻自動化處理的基礎，可廣泛應用于交通監(jiān)控、道路執(zhí)法、安全保障，以及監(jiān)控視頻壓縮處理等領域[1]。監(jiān)控視頻中車輛姿態(tài)估計的難點在于圖像數據在采集過程中丟失了三維世界中的深度信息，并且監(jiān)控環(huán)境下的圖像質量較低，大量細節(jié)信息得不到保障。因此，僅利用單幅圖像包含的信息難以恢復出物體的三維姿態(tài)參數。為了準確地理解圖像內容，恢復丟失的深度信息。需要借助先驗知識，如車輛的三維模型，來估計車輛三維姿態(tài)參數[2-3]。

目前，從圖像中恢復目標三維姿態(tài)參數的方法主要分為如下四類：文獻[4]提出一種基于簡單線框模型的車輛姿態(tài)估計方法。該方法使用幾條簡單線框表示車輛的三維模型，并利用線框模型與圖像中車輛輪廓的匹配誤差來評價姿態(tài)參數準確性，通過演化算法優(yōu)化姿態(tài)參數使匹配誤差不斷減小，從而得到最終的位置姿態(tài)參數。該方法計算復雜度較低，但簡單線框模型難以精確表示真實車輛，因此參數估計精度不高。文獻[5-8]提出基于深度學習的目標三維姿態(tài)估計方法。該類方法首先通過目標三維模型渲染出各種不同姿態(tài)下的圖像，以圖像-姿態(tài)參數對作為訓練數據訓練卷積神經網絡，在進行目標姿態(tài)估計時，將測試圖像作為網絡輸入，輸出即為對應姿態(tài)參數。這種基于圖像識別的方法由于不存在嚴格的投影關系方程，因此很難得到目標姿態(tài)參數的準確估計值。文獻[9-10]提出基于深度相機的姿態(tài)估計方法，該類方法通過深度相機來采集圖像及圖像的深度信息用于估計目標姿態(tài)。相比僅利用圖像數據的方法，該類方法能有更好的表現(xiàn)，但是該方法應用場景有限，而且硬件成本很高，不適合應用在監(jiān)控場景下。文獻[11]提出一種基于目標掩碼區(qū)域的姿態(tài)估計方法，該方法首先利用目標顏色直方圖信息估計出目標所在區(qū)域的掩碼圖，接著提取目標和模型的外圍輪廓，通過最小化兩個外輪廓誤差來優(yōu)化姿態(tài)參數。該方法是目前姿態(tài)估計領域綜合效果最好的方法之一，但是由于僅利用了目標的外圍輪廓，沒有充分利用到目標內部的輪廓信息，使得在目標被遮擋及光照復雜的情況不夠魯棒。

針對上述方法姿態(tài)參數估計精度不高、在復雜環(huán)境下魯棒性差等問題，本文提出了一種基于精細模型的車輛姿態(tài)估計方法，主要創(chuàng)新如下：1) 相比文獻[11]僅利用車輛外輪廓，本文利用到了車輛模型的內外全部輪廓，更多特征的利用可以幫助提升估計結果的準確性和魯棒性；2) 由于曲線輪廓間匹配復雜且精度低，本文將模型車輛曲線輪廓用分段直線擬合再與真實車輛輪廓匹配，直線化后的輪廓不僅保留了曲線輪廓的邊緣信息而且簡單有序，能更加充分利用到輪廓的局部特性；3) 采用高斯牛頓算法優(yōu)化姿態(tài)參數，相比文獻[11]中梯度下降法需要更少的迭代次數，從而提升方法的實用性。實驗結果表明輪廓特征的充分利用能夠估計到更加準確的姿態(tài)參數，并且在復雜環(huán)境下具有很好的魯棒性。

1 車輛姿態(tài)估計原理

車輛姿態(tài)估計是利用車輛的三維模型從二維圖像中恢復出車輛的三維姿態(tài)信息，可以看作是相機成像過程的反演。相機成像過程如下式所示：

λm=K[R|t]M

(1)

式中：λ是尺度因子，m=[u,v,1]T是圖像中像素點的齊次坐標，M=[xm,ym,zm，1]T是模型三維點的齊次坐標。K是3×3的相機內參矩陣，每個相機的內參矩陣是固定的，可以提前標定好，本文中假定K是已知的。[R|t]是模型相對相機的外參矩陣，R是3×3的旋轉矩陣，由羅德里格斯變換可以轉化成3×1的歐拉旋轉角r，t是3×1的位置平移向量。

姿態(tài)估計問題就是利用式(1)的投影關系，求解旋轉角r和平移向量t的過程，包含6個未知變量。該過程包含兩個子問題：首先需要建立二維圖像特征與三維模型特征的對應關系。其次是根據建立的對應關系，利用投影方程求解出姿態(tài)參數。而實際中由于目標圖像復雜且往往存在噪聲，很難直接建立二維圖像特征與三維模型特征的準確對應關系[12]。因此估計姿態(tài)時通常將這兩個問題耦合在一起：利用特征匹配構建一個能量函數來衡量當前狀態(tài)下姿態(tài)參數準確性，再從初始值出發(fā)，優(yōu)化姿態(tài)參數最小化能量函數，從而得到最終收斂的姿態(tài)參數，即將姿態(tài)估計問題轉化成一個最優(yōu)化問題以便于求解。

如上所述在一般情況下，姿態(tài)參數有6個未知變量。考慮到實際情況中車輛一般是在地平面上行駛，車輛姿態(tài)相對相機只有3個自由度，即相對地面位置X、Y及在地面上的旋轉角度θ。引入地平面約束后，需要求解的未知變量減少到了3個，求解時能夠減少搜索空間，更易于收斂到準確姿態(tài)。前提是需要先標定好地平面與相機間的外參矩陣P，投影方程便可簡化成下式：

(2)

記p=[X,Y,θ]，即為待求的車輛相對地面的姿態(tài)參數。

2 基于精細模型的車輛姿態(tài)估計方法

本文方法的整體流程圖如圖1所示。對輸入圖像，首先從中檢測車輛，粗略估計車輛的位置和旋轉角作為初始化姿態(tài)參數，利用初始姿態(tài)及標定好的相機參數將車輛三維模型投影到圖像上。接著提取投影區(qū)域的邊緣輪廓，并采用直線擬合，得到模型的直線化輪廓。再計算模型車輛輪廓與真實車輛輪廓間的匹配誤差，采用高斯牛頓優(yōu)化算法最小化匹配誤差，直到匹配誤差小于設定的閾值即停止優(yōu)化，從而求得最終姿態(tài)參數。

圖1 本文方法流程圖

2.1 姿態(tài)參數初始化

基于模型的車輛姿態(tài)估計方法，需要首先確定視頻第一幀圖像中車輛初始姿態(tài)參數，后續(xù)圖像可以采用前一幀求得的姿態(tài)參數作為初始值。初始化結果的好壞對整個過程有重要影響，一個好的初始值通常會更容易收斂到最優(yōu)解。文獻[11]采用人工手動的方式來初始化位置姿態(tài)參數。這種方式繁瑣低效，在很多場合都不適用。本文利用車輛區(qū)域在圖像中位置以及車輛梯度信息對姿態(tài)參數初始化。首先檢測出圖像中車輛的外接矩形框，關于車輛檢測方法在文獻[13]中有詳細論述。粗略假定矩形框的中心即為模型中心的投影點，利用式(2)可以確定車輛模型中心相對地面的位置坐標，以此作為初始化位置參數(X0，Y0)。另外，根據車輛的結構特點，圖像中車輛的梯度方向大多分布于車輛模型坐標系的x軸和y軸。通過提取前景車輛的HOG特征可以檢測到這兩個方向，計算出它們的夾角，并結合投影方程可以初步確定車輛相對Z軸的旋轉角θ0[4]。綜合位置參數和旋轉角參數可以得到初始姿態(tài)參數p0=(X0,Y0,θ0)。

2.2 輪廓提取和匹配

2.2.1 車輛輪廓提取

由于車輛包含豐富的輪廓信息，通常采用輪廓特征來建立二維特征與三維特征的匹配關系。首先利用當前狀態(tài)下姿態(tài)參數，根據式(2)投影方程將精細車輛模型渲染到圖像平面上，再采用Canny邊緣檢測算子分別提取真實車輛輪廓和模型車輛輪廓，如圖2所示。

(a) 真實車輛(b)真實車輛輪廓

(c) 模型車輛(d) 模型車輛輪廓 圖2 車輛輪廓

2.2.2 模型車輛輪廓直線擬合

從圖2(b)-(d)中可以看到真實車輛輪廓和模型車輛輪廓都是由雜亂無規(guī)律的曲線組成，曲線間的匹配需要提取曲線的特征量，包括曲率角、弧長弦長比、區(qū)域面積比等[14]，這些特征量的提取和匹配需要大量計算，加之圖像輪廓中噪聲的干擾，使得曲線匹配過程變得更加復雜困難。相比之下，直線輪廓間的匹配要顯得簡單準確，考慮到車輛自身的剛性結構特點決定了其輪廓包含豐富的直線信息，可以將曲線輪廓看作是多段很短直線的擬合。同時，在輪廓匹配過程中，分段直線能更加突顯出輪廓的局部特性[15]。因此本文采用分段直線來逼近模型車輛的曲線輪廓，再與真實車輛輪廓匹配。

隨機抽樣一致性算法(RANSAC)是一種常用的魯棒估計算法，常被用于在有噪聲的數據中擬合出最佳的直線。本文采用改進的 RANSAC算法來完成曲線輪廓直線擬合的過程，詳細過程如下：

輸入：一幅輪廓圖；

輸出：輪廓擬合后的若干條直線。

步驟1隨機選擇起始點：在現(xiàn)有輪廓點中先隨機選擇一點(x0，y0)，在以該點為中心邊長為10個像素點的正方形框內搜索其他輪廓點,并保存。

步驟2初步擬合直線：利用搜索到的輪廓點，逐個與(x0，y0)組成直線，計算其他輪廓點到直線的距離，設定閾值T，距離小于T的輪廓點判定在該直線的附近，統(tǒng)計每條直線附近輪廓點的個數。附近輪廓點最多的直線作為初步選定的直線，保存該直線方向。

步驟3擴大搜索范圍：同樣以(x0，y0)為中心，在邊長為100個像素點的正方形框內搜索其他輪廓點,并保存。

步驟4確定最終擬合直線：計算搜索到的每個輪廓點到初步選定直線的距離，保存所有距離小于T的輪廓點。沿著直線方向，從保存的輪廓點中找到兩個端點，端點連線即為擬合的直線輪廓。

步驟5刪除已經擬合輪廓點：刪除選定直線附近的輪廓點，若剩下的輪廓點數小于設定的閾值，則保存所有分段直線并退出。

步驟6迭代：返回步驟1。

該方法能高效地用直線來擬合投影車輛的輪廓。直線擬合后，復雜零散的曲線輪廓變成了簡單結構化的直線輪廓。其中距離閾值T與擬合準確度、擬合直線條數n有關。擬合結果見圖3。

(a) T=1 pix，n=392 (b) T=2 pix，n=244

(c) T=3 pix，n=214 (d) T=4 pix，n=182

(d) T=5 pix，n=150 (e) T=6 pix，n=125 圖3 直線擬合曲線輪廓

從圖3中可以看到，閾值T越小，輪廓擬合越精確，直線條數也越多；相反，閾值T越大，輪廓擬合越粗糙，直線條數也越少。當T=3個像素及以上時模型已經開始出現(xiàn)不同程度失真。T=2個像素，模型擬合精確同時直線條數相對最少，本文姿態(tài)估計實驗選擇該閾值。

2.2.3 輪廓匹配

圖4 輪廓匹配示意圖

模型輪廓用分段直線擬合后便只需要比較每段直線輪廓與真實車輛輪廓間的匹配誤差，再將所有直線的匹配誤差累加得到當前姿態(tài)下輪廓匹配誤差。對于每一段模型直線輪廓，沿著其法線方向在固定長度內搜索真實車輛的輪廓點，然后計算搜索到的每一個真實車輛輪廓點到直線輪廓的垂直距離。如圖4所示，ua、ub是直線輪廓的兩個端點，虛線是在其周圍搜索到的真實車輛輪廓點，nab是直線法向量，vj是直線周圍第j個真實車輛輪廓點。該段直線周圍所有真實車輛輪廓點到直線垂直距離的和即為該條直線輪廓的匹配誤差ei：

(3)

所有分段直線的匹配誤差構成當前姿態(tài)參數下的能量函數e=[e1,e2,…,en]。

2.3 優(yōu)化過程

在定義了輪廓間匹配誤差后，輪廓匹配問題就轉化成了一個非線性最優(yōu)化問題，優(yōu)化目標是最小化能量函數，即mine(p)。通過不斷地優(yōu)化姿態(tài)參數來減少匹配誤差，投影輪廓和圖像輪廓也就不斷地靠近，最終收斂到準確的姿態(tài)參數。不同于文獻[11]的梯度下降優(yōu)化方法，本文采用高斯牛頓法來優(yōu)化目標函數，相比梯度下降法需要更少的迭代次數。優(yōu)化過程是從初始姿態(tài)p0開始，根據當前狀態(tài)的匹配誤差計算出下一狀態(tài)的參數增量：

pi+1=pi+Δi

(4)

式中：Δi是第i次迭代增量，高斯牛頓法是通過最小化第i+1次的目標函數來計算Δi的取值。對第i+1次誤差采用一階泰勒展開：

e(pi+Δi)≈e(pi)+JΔi

(5)

式中：J是目標函數e對姿態(tài)參數p的雅克比矩陣，Jij=?ei/?pj，Jij反映了第j個姿態(tài)參數的變化對第i條直線輪廓匹配誤差的影響。通過最小化‖e(pi)+JΔi‖來計算Δi，即：

Δi=arg min‖e(pi)+JΔi‖

(6)

利用最小二乘法可以求得：

Δi=-(JTJ)-1JTei

(7)

從初始值開始，利用上述迭代方法不斷更新姿態(tài)參數，直到匹配誤差小于設定閾值，即認為收斂到最終姿態(tài)。

3 實驗結果

為了驗證本文提出的采用分段直線擬合模型輪廓與真實車輛輪廓匹配，再結合高斯牛頓法優(yōu)化姿態(tài)參數方法的效果，在模擬監(jiān)控系統(tǒng)的沙盤平臺上進行了仿真實驗。沙盤平臺大小是3 m×5 m，上面有車輛行駛，車身長度是120 mm。沙盤上布置有多個1080p的高清監(jiān)控攝像機。利用采集的監(jiān)控視頻作為實驗數據源，車輛的三維模型通過激光掃描方法獲得。實驗數據處理在Visual Studio 2010環(huán)境下，并利用了OpenCV、OpenGL開源庫。

姿態(tài)參數估計結果的評價指標主要包括估計值相對真實解的準確性、在復雜環(huán)境下能否準確收斂的魯棒性。下面將從準確性、魯棒性兩個方面來驗證本文方法的性能，并將文獻[4-5，11]作為對比方法進行對比分析。

3.1 姿態(tài)估計準確性

對監(jiān)控攝像機采集到的一段視頻，首先利用沙盤平臺的CAD模型圖人工標定出每一幀車輛的真實姿態(tài)pE=(XE,YE,θE)。再分別采用本文方法、文獻[4]中基于簡單線框模型的方法 、文獻[5]中基于深度學習的方法和文獻[11]中基于目標外輪廓的方法求解每幀姿態(tài)，記求解出的姿態(tài)參數為(X*,Y*,θ*)。姿態(tài)估計的準確性包括平移誤差ET和旋轉角度誤差ER。

(8)

測試結果如圖5所示。

(a) 平移誤差 (b) 旋轉角誤差 圖5 姿態(tài)誤差對比圖

在測試的16幀圖像中，本文方法在X軸和Y軸的平移誤差平均為1.32 mm，占車身總長度的1.10%，旋轉角度誤差平均為1.04度；而文獻[4]平移誤差平均為5.13 mm，占車身總長度的4.28%，旋轉角度誤差平均為5.64度；文獻[5]平移誤差平均為7.98 mm，占車身總長度的6.65%，旋轉角度誤差平均為9.63度；文獻[11]平移誤差平均為3.75 mm，占車身總長度的3.13%，旋轉角度誤差平均為2.25度。圖5中的實驗結果說明本文方法估計出的車輛平移參數和旋轉角度相較于對比方法都更加準確穩(wěn)定。

3.2 姿態(tài)估計魯棒性

驗證本文方法在復雜環(huán)境下能否準確求解出姿態(tài)參數，從四個方面進行驗證：差的初始值、車輛轉彎、車輛遮擋、復雜光照環(huán)境。測試結果如圖6所示。

(a) 差的初始值 (b) 車輛轉彎

(c) 車輛遮擋 (d) 復雜光照 圖6 本文方法魯棒性驗證

為便于顯示將收斂后的結果放大，圖6中車身上的白色輪廓是姿態(tài)參數收斂后模型車輛的輪廓，圖6實驗結果表明模型車輛輪廓與真實車輛輪廓匹配準確，誤差很小。表1和表2展示了本文方法與對比方法在復雜環(huán)境下求得姿態(tài)參數的平移誤差與旋轉角度誤差。分析表中數據可知，文獻[4-5，11]在復雜環(huán)境下平移誤差占車身比的平均值分別增大3.10%、4.61%、2.49%，旋轉誤差平均值分別增大2.13°、5.66°、2.76°，部分環(huán)境下甚至出現(xiàn)了不能收斂的情況；而本文方法在復雜環(huán)境下平移誤差占車身比平均值僅增大0.38%，旋轉誤差平均值僅增大0.32°，相對一般環(huán)境姿態(tài)參數估計精度并沒有明顯下降。所以即使在復雜環(huán)境下利用本文方法也能準確估計出車輛的姿態(tài)參數，證明本文方法具有很好的魯棒性。

表1 復雜環(huán)境下平移誤差對比(占車身總長百分比) %

表2 復雜環(huán)境下旋轉誤差(度)對比

實驗結果證明，所提出方法姿態(tài)估計準確性有明顯改善，在復雜監(jiān)控環(huán)境下也能表現(xiàn)出很好魯棒性。

4 結 語

本文針對監(jiān)控場景下由于環(huán)境復雜、圖像質量低，從監(jiān)控視頻中恢復車輛三維姿態(tài)變得困難的問題，提出了一種基于精細模型的車輛姿態(tài)估計方法。通過模型車輛輪廓與真實車輛輪廓的匹配誤差構建能量函數來衡量姿態(tài)參數的準確性，為充分利用輪廓信息的局部特性，采用改進的RANSAC算法將模型車輛曲線輪廓用分段直線擬合再與真實車輛匹配，最后采用高斯牛頓優(yōu)化算法最小化匹配誤差，得到最終姿態(tài)參數。實驗結果表明，本文方法姿態(tài)參數估計結果的準確性和穩(wěn)定性相較目前方法有明顯改善，在復雜環(huán)境下能準確地恢復出車輛姿態(tài)參數，具有很好的魯棒性。