陳 明，武一民，高博麟，鄭凱元

（1.河北工業(yè)大學(xué)機械工程學(xué)院，天津300130；2.清華大學(xué)車輛與運載學(xué)院，北京100084）

前言

隨著智能網(wǎng)聯(lián)汽車云控系統(tǒng)和智能交通系統(tǒng)的快速發(fā)展，路側(cè)感知成為了車路協(xié)同感知的重要組成部分，在提高感知精度、擴大感知范圍等方面發(fā)揮著不可或缺的作用［1］。其中在復(fù)雜環(huán)境中利用攝像機跟蹤運動目標(biāo)是路側(cè)感知中十分具有挑戰(zhàn)的問題。目前單攝像機下的目標(biāo)跟蹤方案相對成熟，但受制于有限的視野范圍，基于單攝像機的目標(biāo)跟蹤無法覆蓋更大的區(qū)域。與此同時，大量攝像機往往獨立工作，各個攝像機之間對于目標(biāo)的感知信息不能被充分利用，導(dǎo)致同一目標(biāo)在不同攝像機間被識別為不同身份，為構(gòu)建目標(biāo)的全局軌跡增加了困難。而多攝像機目標(biāo)跟蹤技術(shù)通過利用兩個或兩個以上的攝像機，根據(jù)攝像機部署關(guān)系與目標(biāo)信息，對視野中的同一目標(biāo)進(jìn)行身份一致性標(biāo)記，從而實現(xiàn)跨視野、長時段的目標(biāo)連續(xù)跟蹤。

根據(jù)攝像機間視野的分布情況，研究可分為有重疊視野與無重疊視野兩個方面。在有重疊視野方面，目前主要采用的研究方法有3類。（1）基于特征匹配的目標(biāo)交接法通過提取目標(biāo)的某一外觀特征，或融合多個外觀特征，對目標(biāo)之間的外觀相似程度進(jìn)行度量，將相似度較高的兩目標(biāo)進(jìn)行匹配。所選取的外觀特征包括顏色［2］、輪廓［3］、紋理［4］等，但由于不同攝像機間視角及亮度存在差異，同一目標(biāo)的特征在不同相機間可能會存在較大的差異，影響匹配準(zhǔn)確率。（2）基于環(huán)境信息與攝像機標(biāo)定的交接方法通過對三維環(huán)境建模和標(biāo)定攝像機信息，建立相機與場景的映射關(guān)系，將目標(biāo)映射至同一坐標(biāo)系下進(jìn)行目標(biāo)交接［5-6］。但這類方法從信息的獲取難度和計算的復(fù)雜程度都比較大，實現(xiàn)起來較為困難。（3）基于視野分界線的目標(biāo)交接方法是一種簡單有效的方法，自Khan等［7］提出攝像機視野分界線是進(jìn)行目標(biāo)交接的重要基礎(chǔ)后，很多研究人員采用同步視頻［8］、特征點匹 配［9］等 方 法結(jié)合L-M（levenbergmarquardt）［10］、隨 機 采 樣 一 致 性（random sample consensus，RANSAC）［11］算法來不斷優(yōu)化投影矩陣，以準(zhǔn)確地恢復(fù)視野分界線，進(jìn)而根據(jù)目標(biāo)點與分界線的位置關(guān)系，對目標(biāo)進(jìn)行篩選，從而實現(xiàn)目標(biāo)交接。這類方法易于實現(xiàn)，但忽略了目標(biāo)與目標(biāo)之間的關(guān)系，在面對目標(biāo)密集的場景時，交接的準(zhǔn)確性會受到影響。綜上所述，現(xiàn)有重疊視野內(nèi)的目標(biāo)交接方法一般利用目標(biāo)的位置、外觀信息進(jìn)行交接，但路側(cè)視角下車輛目標(biāo)交接由于場景復(fù)雜，目標(biāo)密集，現(xiàn)有方法存在一定缺陷，需做出進(jìn)一步改進(jìn)。

針對上述問題，本文中提出基于雙向匹配的車輛目標(biāo)交接方法。通過建立兩個具有重疊視野的攝像機的投影關(guān)系，生成視野分界線并劃分重疊視野，將重疊視野內(nèi)的目標(biāo)經(jīng)投影后基于目標(biāo)間的位置信息進(jìn)行雙向的匹配，根據(jù)提出的雙向匹配矩陣與矩陣標(biāo)識符輸出匹配結(jié)果。為了應(yīng)對多個目標(biāo)間距較近時僅依靠位置信息無法區(qū)分目標(biāo)的問題，引入車輛目標(biāo)的外觀特征，根據(jù)顏色直方圖度量車輛外觀的相似度，以提高目標(biāo)交接準(zhǔn)確性。

1 單應(yīng)矩陣

具有重疊視野的攝像機，其公共視野內(nèi)的目標(biāo)在無遮擋情況下可同時被兩個攝像機檢測并投影為坐標(biāo)系下的同一坐標(biāo)點，因此目標(biāo)的位置信息是交接過程中的主要特征之一。通過求解單應(yīng)矩陣，可劃分重疊視野以確定需要交接的感興趣目標(biāo)，并建立目標(biāo)在攝像機間的投影關(guān)系。

當(dāng)圖像中的三維場景點處在近似平面的平面上（如地平面）或在低視差的區(qū)域中，可通過單應(yīng)矩陣，將處在重疊視野的該場景點從一個圖像平面上映射到另一圖像平面上［12］，如圖1所示。

圖1 單應(yīng)變換示意圖

假設(shè)某一實際場景中有一三維場景點處在地平面上，其在攝像機1視野中的像素坐標(biāo)點為p=(x，y，1)，在另一攝像機2視野中的像素坐標(biāo)點為q=(x’，y’，1)，則有如下變換關(guān)系：

即

其中單應(yīng)矩陣Hpq是3×3的非奇異矩陣，具有8個自由度，至少需要4對匹配的坐標(biāo)點對，就可計算出單應(yīng)矩陣。在計算單應(yīng)矩陣時，研究人員普遍采用尺度不變特征變換（scale invariant feature transform，SIFT）、加速魯棒特征（speeded up robust features，SURF）等方法來獲得用于計算單應(yīng)矩陣的特征點。但在路側(cè)視角下的道路場景中效果并不理想，原因主要有三：首先，單應(yīng)矩陣實際上是平面到平面間的映射，當(dāng)攝像機的視野中存在多個平面時，所得的單應(yīng)矩陣并不準(zhǔn)確［13］；其次，在道路場景中，路側(cè)攝像機視角下的道路表面通常具有較為均勻的紋理，往往無法有效地提取出足夠多的特征點；此外，道路表面存在大量形狀、顏色相似的車道線與標(biāo)識線，導(dǎo)致在對數(shù)量較少的特征點進(jìn)行匹配時，還會存在較多誤匹配，最終無法準(zhǔn)確計算單應(yīng)矩陣。

因此采用如下方式：假定兩相鄰攝像機編號為i和j，在兩攝像機的重疊視野內(nèi)，選取不共線的4個標(biāo)定點，在攝像機i視野中表示為P1、P2、P3、P4，攝像機j的視野中為P'1、P'2、P'3、P'4。將標(biāo)定點代入式（2）中計算出攝像機i到攝像機j的單應(yīng)矩陣Hij，另由下式

可求解攝像機j到攝像機i的單應(yīng)矩陣Hji。通過單應(yīng)矩陣Hij與Hji，可將兩攝像機視野平面中的任意一點投影至另一攝像機中。將攝像機i的視野邊界點經(jīng)投影與Hough變換［14］，可生成攝像機i的視野分界線其中E∈{T，B，L，R}，表示攝像機視野的上、下、左、右4條邊界，如圖2所示，得到兩攝像機的重疊視野作為目標(biāo)交接過程的感興趣區(qū)域。

圖2 視野分界線與重疊視野示意圖

2 雙向匹配策略

2.1 單向匹配矩陣

確定單應(yīng)矩陣與重疊視野后，可根據(jù)目標(biāo)的位置信息對目標(biāo)進(jìn)行初步交接。不同于視野分界線法中基于目標(biāo)點與分界線距離的交接判定方式，本文中更關(guān)注目標(biāo)與目標(biāo)間的位置關(guān)系。通過對待交接目標(biāo)的檢測點進(jìn)行單應(yīng)投影，得到待交接目標(biāo)在另一攝像機視野中的投影點，從而進(jìn)行交接。

基于單攝像機的目標(biāo)檢測，可得到單幀每個車輛目標(biāo)的二維檢測框。此時如果直接采用檢測框中點進(jìn)行投影，將會形成刺穿點［13］，無法得到該目標(biāo)正確的中心投影點。因此，選擇車輛檢測框下框線的中點作為該目標(biāo)在當(dāng)前攝像機視野內(nèi)的檢測點，利用式（1）可將攝像機i中該目標(biāo)的檢測點映射至攝像機j的視野中進(jìn)行匹配，如圖3所示。

圖3 車輛目標(biāo)投影匹配示意圖

由此得到重疊視野內(nèi)每個車輛目標(biāo)在圖像坐標(biāo)系下的檢測點與投影點位置坐標(biāo)，然后計算攝像機j中每個待交接目標(biāo)的投影點與該視角下所有檢測點的歐氏距離，得到距離矩陣Dij，公式如下：

式中：f(?)為指示函數(shù)，若“?”為真，則取值為1，若“?”為假，則取值為0；距離誤差閾值Td表示匹配過程中對于投影位置誤差的容許程度。根據(jù)待交接目標(biāo)與候選目標(biāo)的單向匹配結(jié)果，構(gòu)造單向匹配矩陣矩陣中元素值按下式確定：即對于判定單向匹配的待交接目標(biāo)與候選目標(biāo)，其對應(yīng)行列的元素為1，否則為0。

2.2 匹配約束機制

由于目標(biāo)交接的過程是目標(biāo)ID間“一對一”的映射關(guān)系，單向匹配矩陣應(yīng)滿足［15］：

但僅通過上述的單向匹配過程，在目標(biāo)密集的場景，極易出現(xiàn)兩個或兩個以上候選目標(biāo)同時與同一目標(biāo)進(jìn)行匹配，出現(xiàn)“多對一”的匹配結(jié)果。

為了解決匹配過程中存在的關(guān)聯(lián)沖突問題，使關(guān)聯(lián)過程符合匹配一致性原則，提出一種匹配約束機制：如果第m+1個待交接目標(biāo)與最近的候選目標(biāo)的距離小于閾值，判斷最近鄰的候選目標(biāo)是否已被前一待交接目標(biāo)匹配，若未被匹配，則將最近鄰的候選目標(biāo)與當(dāng)前待交接目標(biāo)進(jìn)行匹配。否則，比較匹配沖突的目標(biāo)對的距離，選取距離最近的目標(biāo)對進(jìn)行匹配，另一待交接目標(biāo)與次近鄰的候選目標(biāo)進(jìn)行匹配。

2.3 雙向匹配

在約束機制下得到的單向匹配矩陣，反映了由攝像機i中的待交接目標(biāo)投影至攝像機j后的單向匹配結(jié)果。但僅依靠目標(biāo)單向投影后的位置信息進(jìn)行匹配，效果并不理想，存在較多的錯誤匹配。為了改善這種情況，提出一種雙向匹配策略。該策略的流程如圖4所示。

圖4 雙向匹配策略流程圖

按照2.1節(jié)和2.2節(jié)中的方式將攝像機j中的目標(biāo)向攝像機i中反向投影，投影過程中采用的單應(yīng)矩陣由式（2）獲得，在約束機制下進(jìn)行目標(biāo)匹配并生成單向匹配矩陣AN×Mji，單向匹配矩陣AN×Mji是反向投影（攝像機j到攝像機i）后的目標(biāo)單向匹配結(jié)果。在得到雙向的匹配結(jié)果后，需要將兩次的匹配結(jié)果加以綜合，從而對每個目標(biāo)的交接情況做出判斷。匹配結(jié)果的綜合方式由式（8）表示。

Amatch∈{0，1，2}N×M為雙向匹配矩陣，矩陣中的每個元素作為匹配標(biāo)識符，表示雙向匹配的判定結(jié)果，如式（9）表示：

Amatch(m，n)=2表示雙向的匹配結(jié)果均判定兩目標(biāo)相匹配，此時判定為同一目標(biāo)，進(jìn)行一致性的身份認(rèn)定；Amatch(m，n)=1表示雙向的匹配結(jié)果不一致，此時僅依靠目標(biāo)位置無法做出準(zhǔn)確的交接判定，因此，需要進(jìn)一步依據(jù)兩目標(biāo)的外觀特征進(jìn)行驗證，并以此作為最終的匹配結(jié)果；Amatch(m，n)=0則表示對兩目標(biāo)不做匹配。

3 顏色直方圖匹配

在車輛密集的場景下，車輛間距較小，僅依靠目標(biāo)位置信息進(jìn)行目標(biāo)交接，可能因投影過程中的誤差，導(dǎo)致錯誤交接的發(fā)生。因此引入目標(biāo)外觀特征，在兩次單向匹配結(jié)果不一致時，依靠外觀相似度進(jìn)行二次匹配。為使整個算法的計算復(fù)雜度不至過高，同時保證對低分辨率圖像的匹配結(jié)果的魯棒性，采用車輛的顏色特征，通過提取待匹配目標(biāo)與候選目標(biāo)的顏色直方圖，經(jīng)量化后計算目標(biāo)相似度，進(jìn)而得出匹配結(jié)果。

電子圖像在顯示時一般用RGB顏色模型，但與人眼對顏色的實際感知有比較大的區(qū)別，同樣也并不適合用與車輛外觀的匹配。本文中采用的HSV顏色模型，是一種與人眼的視覺感知相一致的模型，其通過色調(diào)（Hue）、飽和度（Saturation）和亮度（Value）3個與視覺特征有關(guān)的量計算描述，更接近于人們對顏色的主觀認(rèn)識，并且對光照的魯棒性更強，適用于路側(cè)的應(yīng)用場景。

首先將獲取到的RGB模型圖像轉(zhuǎn)化為HSV模型［16］：

接著將三維分量降維，轉(zhuǎn)化為一維顏色特征向量，計算表達(dá)式如下：

式中：QS與QV分別為S和V分量的量化級數(shù)；K為量化后的目標(biāo)直方圖，取值范圍是［0，255］。

Bhattacharyya匹配是度量直方圖相似性的方法之一，其他方法包括相關(guān)匹配、交集匹配等。由于在直方圖相似度的所有方法中，這種方法產(chǎn)生了更精確的匹配［17］，因此采用Bhattacharyya法進(jìn)行度量。Bhattacharyya匹配的表達(dá)式如下：

式中：DB為匹配分?jǐn)?shù)；K1為待交接目標(biāo)的直方圖；K2為候選目標(biāo)直方圖。對于匹配得分，分?jǐn)?shù)越低表示匹配的相似度越高。

4 實驗驗證

為了驗證本文算法的有效性，在真實道路中部署4臺分辨率為640×480的攝像機，覆蓋路段、路口兩個場景，攝像機具體的部署情況如圖5所示。將單個攝像機下目標(biāo)檢測和跟蹤算法處理后得到的數(shù)據(jù)，包括各個攝像機中車輛的ID以及目標(biāo)檢測框的位置與大小，作為本文實驗的輸入數(shù)據(jù)。

圖5 攝像機部署示意圖

圖6 展示了路口場景的兩攝像機在某一幀下的匹配結(jié)果。其中圖6（a）與圖6（b）分別為攝像機1與攝像機2的感知結(jié)果，綠色標(biāo)識為當(dāng)前攝像機的目標(biāo)檢測點，黃色標(biāo)識為來自相鄰攝像機的投影點，車輛目標(biāo)的ID已在圖中標(biāo)出。

圖6 兩攝像機第151幀匹配結(jié)果

正確的匹配方式是ID11與21為同一目標(biāo)，ID12與22為同一目標(biāo)，而ID為13的車輛由于在攝像機1中被完全遮擋，在當(dāng)前幀不進(jìn)行交接。兩攝像機對應(yīng)的單向匹配矩陣如式（15）和式（16）所示。

其中單向匹配矩陣的2行分別對應(yīng)攝像機1中ID為21與22的2個目標(biāo)，3列分別對應(yīng)攝像機2中ID為11、12與13的3個目標(biāo)，各元素表示目標(biāo)兩兩之間的單向匹配結(jié)果。可以看到，攝像機1的匹配結(jié)果是正確的（目標(biāo)11與21相匹配，12與22相匹配），但攝像機2的匹配結(jié)果中出現(xiàn)了錯誤的匹配結(jié)果（目標(biāo)13與22誤匹配），得到的雙向匹配矩陣Amatch如下：

此時攝像機1中ID為22的待交接目標(biāo)有兩個可能的交接目標(biāo)（目標(biāo)12與13），計算兩種匹配組合的顏色直方圖相似度。經(jīng)計算，待交接目標(biāo)與兩候選目標(biāo)的直方圖匹配分?jǐn)?shù)分別為0.413和0.481，說明候選目標(biāo)中的前者與待交接目標(biāo)的直方圖差異更小，相似度更高，故依據(jù)直方圖的二次匹配結(jié)果，將ID為12與22的目標(biāo)相匹配，從而實現(xiàn)正確的目標(biāo)交接。

為進(jìn)一步驗證方法的有效性，本文中分別統(tǒng)計了兩個場景下某一時段車輛目標(biāo)交接的實驗結(jié)果。

4.1 路段場景

路段場景下單幀最大車流量為7輛，目標(biāo)總數(shù)為552，剔除誤檢、漏檢的無效幀后，有效幀數(shù)為252幀。對路段場景劃分其重疊視野后如圖7所示。

圖7 路段場景

實驗選取的指標(biāo)為漏匹配與誤匹配［18］，兩指標(biāo)數(shù)值越小，說明方法的漏匹配與誤匹配個數(shù)越少，匹配的準(zhǔn)確度越高，對比方法為單向匹配，其中路段實驗結(jié)果如表1所示。

表1 路段場景實驗結(jié)果

從實驗結(jié)果可看出，在車輛密度相對較小，道路較為平直的路段場景中，所提出的方法減少了22.22%的漏匹配與28.57%的誤匹配，相比于單向匹配結(jié)果有顯著提升。

4.2 路口場景

路口場景下車輛更加密集，目標(biāo)數(shù)量更多，單幀最大車流量為12輛，有效幀數(shù)為259幀，目標(biāo)總數(shù)為892。路口場景劃分重疊視野后如圖8所示。

圖8 路段場景

統(tǒng)計路口場景下所有幀漏匹配與誤匹配的結(jié)果如表2所示。

表2 路口場景實驗結(jié)果

在路況較為復(fù)雜的路口場景中，道路物理場景復(fù)雜，車輛密度較大，行駛方向多變，增加了目標(biāo)交接的難度，此時無論是漏匹配還是誤匹配，所提出的方法相比于單向匹配都有顯著提升，漏匹配降低了28.89%，誤匹配降低了44.00%。由此可以看出，本文所提出的方法無論在路況簡單的路段場景還是交通環(huán)境復(fù)雜的十字路口，都可以有效地解決重疊視野下車輛目標(biāo)的交接問題。

5 結(jié)論

為了解決路側(cè)視角下車輛目標(biāo)在多攝像機間的目標(biāo)交接問題，提出了雙向匹配目標(biāo)交接方法。利用攝像機間變換關(guān)系對重疊域內(nèi)車輛目標(biāo)進(jìn)行投影，并由此設(shè)計了雙向匹配策略，根據(jù)匹配矩陣標(biāo)識符結(jié)合顏色直方圖相似度輸出結(jié)果。經(jīng)實驗驗證，所提出的方法對比單向匹配方法，在路段場景下漏匹配降低22.22%，誤匹配降低28.57%；路口場景下漏匹配降低28.89%，誤匹配降低44.00%。

由于路側(cè)不同部署位置的攝像機間存在著視角差異、亮度變化等挑戰(zhàn)，雙向匹配交接方法仍有改進(jìn)之處。匹配過程中距離誤差閾值的大小會對漏匹配與誤匹配產(chǎn)生趨勢相反的影響，通過迭代優(yōu)化方法求取最優(yōu)閾值可進(jìn)一步提高交接準(zhǔn)確性。