張月瑩, 殷其昊, 荊根強, 顏露新, 王相勛

(1.浙江省機電產(chǎn)品質量檢測所有限公司，浙江 杭州 310051； 2.交通運輸部公路科學研究所，北京 100088；3.華中科技大學 多譜信息智能處理技術全國重點實驗室，湖北 武漢 430074)

1 引 言

國家標準《汽車、掛車及汽車列車外廓尺寸、軸荷及質量限值》對各類貨車提出了明確的外廓尺寸、軸荷及質量限值要求,貨車的外廓尺寸和軸型、軸距的測量是開展“治超”工作的重要依據(jù)[1]。常見的貨車外廓尺寸測量方法有激光陣列測量方法[2]、機器視覺方法[3]等。而對于貨車軸型識別,則主要有激光雷達法[4]和機器視覺法[5]等方法。近年來,基于神經(jīng)網(wǎng)絡、支持向量機的車型識別方法開始被用于小型車輛品牌型號的識別[6,7], 在各自的場景下均取得了較好的效果,但在治超場景下,由于車輛底盤結構隱蔽,這些方法在涉及驅動軸識別時,難以對貨車的驅動軸和從動軸進行有效辨別。另外,在車速不受控的情況下,對貨車軸距也難以進行準確的測量。

另一方面,在行業(yè)管理過程中,也需要保存清晰完整的車輛底盤圖像信息作為計量依據(jù)。在安防領域,為了檢查車底安全隱患,國內(nèi)外相關研究人員開展了基于線陣或面陣相機圖像拼接的底盤成像技術的設計與開發(fā)。在實際應用中,車輛往往需要在安防人員控制之下有序勻速通過系統(tǒng),獲取完整清晰的底盤圖像,進而對底盤圖像進行定性分析,包括底盤部件異常檢查、人員或物品藏匿的判斷,而在對底盤的結構參數(shù)測量方面則關注較少。在超限治理的動態(tài)、非勻速、不受控的行車條件下,這類技術則相對難以實現(xiàn)底盤結構參數(shù)測量的功能。

為獲取清晰完整的車輛底盤圖像以實現(xiàn)結構參數(shù)測量,需著重解決2個棘手問題:一是超近距、大面積成像造成的圖像畸變;二是車輛行駛非可控、非勻速造成的圖像序列重疊度不均。對于被檢車輛這類非受控目標,當車輛移動速度不均勻時,線陣相機由于按時間均勻采集,會導致底盤圖像沿行車方向上拉伸或壓縮的現(xiàn)象。普通面陣相機雖可以直接拍攝底盤圖像,但由于鏡頭的視場有限,難以獲取完整的底盤圖像。相比之下,魚眼相機可以通過單個攝像頭獲取超大視角的圖像,可以滿足大角度成像需求,在全景圖像拼接[8,9]、大視角范圍物體檢測[10]、大尺寸物體測量[11]等場景下均有較成熟的應用。

對于行駛中的貨車底盤成像場景,相機無法一次性拍攝完整的底盤圖像,需要通過時序上的視頻影像拼接來獲得完整的車輛底盤圖像。關鍵幀提取是目前視頻影像拼接領域廣泛應用的技術之一,現(xiàn)有算法包括基于圖像描述子的算法[12],基于圖像相關系數(shù)的算法[13]和基于深度學習的算法[14]等。然而,由于存在同樣的大畸變、視頻幀重疊度不均等問題,導致這些算法在處理圖像校正、圖像配準等步驟時出現(xiàn)困難,從而影響關鍵幀提取結果。

針對上述存在的問題,本文提出了一種非勻速條件下車輛底盤超近距成像測量方法。該方法利用魚眼相機采集運動車輛底盤的超廣角圖像序列,基于三維成像模型對魚眼圖像進行畸變校正,并設計一種基于圖像內(nèi)容的幀提取方法,解決非勻速條件下對底盤圖像拼接和結構參數(shù)(如軸距)測量的影響。

2 系統(tǒng)流程及視頻采集方案設計

車輛底盤成像系統(tǒng)的算法流程圖如圖1所示,主要流程包括視頻采集、圖像預處理、圖像校正、關鍵幀提取和圖像拼接。

圖1 算法流程圖Fig.1 Technical framework of proposed method

在視頻采集步驟中,通常貨車底盤的離地間隙大約為0.3 m,寬度約2 m至2.5 m。為了使相機能夠拍攝到完整的車輛底盤,需同時滿足近距成像和大視野兩個條件,相機拍攝貨車底盤示意圖如圖2所示。

圖2 相機拍攝貨車底盤視角示意圖Fig.2 Diagram of a truck chassis with a camera

視場角θs的計算公式為

(1)

式中:W表示貨車底盤的寬度;H表示貨車底盤的高度。

當W取2.5 m,H取0.3 mm,可以計算得到相機視場角θs需要大于154°。為保證相機采集到車輛完整底盤圖像信息,這里采用超廣角(魚眼)鏡頭作為成像器件。為盡可能消除光照變化和噪聲帶來的影響,視頻中每一幀圖像均進行了自適應直方圖均衡化及高斯平滑處理。為滿足車長方向的完整、低畸變成像,還需解決圖像校正、拼接等技術難題,相關內(nèi)容將在后續(xù)章節(jié)闡述。

3 車輛底盤圖像畸變校正

3.1 底盤魚眼圖像有效區(qū)域提取

目前提取魚眼圖像有效區(qū)域的主要方法包括面積統(tǒng)計法和線掃描法。面積統(tǒng)計法通過計算圖像的質心來求解魚眼圖像有效區(qū)域的圓心和半徑,其核心思想是統(tǒng)計魚眼圖像中黑色像素點的個數(shù)和分布,因此其結果的準確性很容易受到魚眼圖像中有效區(qū)域中的黑色像素點的影響;而線掃描法利用不同方向上的掃描線對魚眼圖像進行掃描,通過尋找有效圓形區(qū)域的外切線的位置求解魚眼圖像的圓心和半徑。由于只能獲得4個外切點,其結果準確性不易保證。

為解決樣本點較少的問題,本文提出一種改進的線掃描法。該方法采用多采樣點的圓擬合方法提取魚眼圖像的感興趣區(qū)域,將魚眼圖像在垂直與水平兩個方向上均等劃分,并對每條直線在圓上產(chǎn)生的兩個交點的坐標進行閾值設置以獲得邊界點。在實際操作中,若獲得的邊界交點總數(shù)過少(<10個),則算法劃分的份數(shù)增加1份,直到獲取足夠數(shù)量的樣本點。

如圖3所示,在圖例中算法共選取了12個樣本點。

圖3 多點擬合法提取交點示意圖Fig.3 Diagram of intersection points in proposed multi-point fitting method

在算法獲取到足夠多的樣本點后,再通過這些點進行圓擬合,計算得到魚眼圖像有效區(qū)域的圓心坐標和半徑。這里采用Kasa圓擬合法[15]進行對魚眼圖像有效區(qū)域圓心和半徑的求解。

3.2 底盤魚眼圖像畸變校正

獲取魚眼圖像后,通過3D投影模型的方法獲取魚眼圖像中每個像素點與真實圖像坐標點之間的變換關系,并通過雙線性插值進行魚眼圖像的畸變校正。魚眼圖像坐標轉換關系如圖4所示。

圖4 魚眼圖像坐標轉換關系示意圖Fig.4 Diagram of coordinate transformation between fish-eye image and plain image

記魚眼圖像上任意一點q坐標為(u,v),與圓心O(u0,v0)的距離為r,魚眼圖像的有效區(qū)域半徑為R,見圖4(a),則其在以O點為原點的直角坐標系中應滿足:

(2)

圖4(b)展示了魚眼相機成像的模型,由等距模型可以得到:

(3)

式中:f為相機焦距;θ為光線的入射角;φ為魚眼圖像中點q與真實坐標系中X軸正方向的夾角。

點q在真實坐標系中坐標為(x,y,0),則q在單位球面上對應點p1(x1,y1,z1)的坐標為

(4)

將球面中心O與點p1連線,在目標圖像上的交點p(xp,yp,zp)即為點q在目標圖像上的對應點。在等距模型中有zp=RzP=R,依此可以得到點p與p1之間的關系,即:

(5)

聯(lián)立公式(3)和公式(5)可以得到

(6)

最后,令魚眼圖像中O點在校正圖像中坐標保持不變,則q點在校正圖像的最終坐標(i,j)即為

(7)

從而可以得到魚眼圖像有效區(qū)域內(nèi)任一點在校正圖像中的坐標轉換算法,并通過雙線性插值算法得到最終的校正圖像。

4 基于關鍵幀的車輛底盤圖像拼接

4.1 視頻關鍵幀的多步分層提取

本節(jié)提出的關鍵幀提取算法包括初篩和精篩兩個步驟。初篩過程中,通過采樣間隔n對采集視頻幀進行采樣,即每隔n幀提取一幀圖像進行重疊度的計算。經(jīng)估算,當采樣間隔n=2,可保證車輛以30 km/h的速度通過相機時,采樣圖像間的重疊區(qū)域足夠大,滿足拼接所需的重疊度要求。

在視頻采集過程中,貨車會不可避免地出現(xiàn)加減速行為。當速度v減小時,采樣圖像之間的重疊區(qū)域會增加,采樣圖像存在數(shù)量過多和圖像間重疊度過大,帶來計算上的冗余。因此,需要對采樣得到的圖像進行精細篩選,從而緩解上述問題。精篩的具體步驟如下:

1) 選取視頻的首幀圖像作為關鍵幀;

2) 選取后續(xù)第n幀圖像作為候選關鍵幀;

3) 計算當前關鍵幀和候選關鍵幀之間的重疊度大小;

4) 若兩幀間重疊度達到拼接要求 (40%～70%),則將候選關鍵幀加入新的關鍵幀,否則放棄該候選幀,并根據(jù)重疊度大小選取新的候選關鍵幀:若重疊度過大,則選取下一幀,反之則選取上一幀。直到新的候選關鍵幀的重疊度符合拼接需求,將其作為新的關鍵幀;

5) 重復步驟2)～4),直到視頻結束。

可以看到,上述精篩選步驟的關鍵點在于兩幀間的重疊度計算。下文將介紹基于圖像內(nèi)容的重疊度計算方法,即通過圖像配準將兩幅圖像對齊,通過重疊區(qū)域的面積計算得到圖像間的精準重疊度。

4.2 底盤圖像配準

ORB(oriented FAST and rotated BRIEF)算法[16]是常用的圖像配準算法之一,算法通過特征點提取和匹配實現(xiàn)圖像的配準。在車輛底盤圖像配準過程中,匹配算法出現(xiàn)了許多誤匹配點對,其原因一是底盤上存在許多結構相似的部分,導致出現(xiàn)了特征點一對多的現(xiàn)象;二是特征點缺少全局約束,導致一些誤匹配點對只滿足了局部相似,在全圖中并不合理。

在通常情況下,車輛單方向運動,相機兩幀圖像之間相當于做了1次平移變換。因此,可以使用模板匹配算法[17]對圖像進行匹配,以獲得平移變換參數(shù),并利用該平移參數(shù)對特征點對進行二次篩選。模板匹配示意圖如圖5所示。

圖5 模板匹配示意圖Fig.5 Diagram of template matching

首先從待配準圖像中人工選取一塊合適區(qū)域作為模板,將該區(qū)域在固定圖像上進行滑動,并計算該位置模板與對應區(qū)域的歸一化相關系數(shù)作為相似度,計算公式如下:

(8)

式中:T(x′,y′)為模板區(qū)域中坐標點像素值;I(x+x′,y+y′)為固定圖像上坐標點像素值。

滑動完成后,選擇最大相似度對應的區(qū)域作為最佳匹配區(qū)域,從而確定模板區(qū)域在固定圖像中的位置,最終得到兩張圖像之間的平移變換參數(shù):記模板區(qū)域左上角在待配準圖像中坐標為(xb,yb),在固定圖像中坐標為(xa,ya),則兩張圖像之間的平移系數(shù)即為(xa-xb,ya-yb)。通過這一參數(shù)便可以進行匹配點對的進一步篩選:對任意一對匹配點對p和q,在進行平移操作后,p平移到點P1,其與點q的曼哈頓距離<15 pixel,則保留該匹配點對,否則刪除。

最后通過特征點匹配算法[18]對進一步篩選后的特征點進行計算,得到精確的圖像配準結果,即單應性矩陣H。

4.3 重疊度計算

兩張圖像可以通過單應性矩陣H進行精確匹配,多邊形交點示意圖如圖6所示。

圖6 多邊形交點示意圖Fig.6 Diagram of intersection point in polygons

兩者重疊度計算步驟如下:

3)分別計算多邊形I與P的面積AI和AP,則兩幅圖像的重疊度表示為多邊形I與P的面積比值:

(9)

4.4 圖像融合

最后,通過線性約束的加權圖像拼接算法計算拼接圖像各個位置的像素值:

(10)

式中:w1和w2為權值函數(shù),而且w1+w2=1,權值函數(shù)計算公式為

(11)

式中:xmin表示重疊區(qū)域起始位置的橫坐標;xmin≤x≤xmin+xo,xo表示重疊區(qū)域的長度。

5 實驗與結果分析

5.1 魚眼圖像的校正分析

首先針對不同的投影模型展開實驗。從采集的魚眼視頻中人工篩選出的具有代表性的從動軸、驅動軸和傳動軸圖像進行圖像校正實驗。校正效果如圖7所示,其中第一列為原始魚眼圖像,后3列分別為本文圖像校正方法、柱面投影法和經(jīng)緯映射法的畸變校正結果。表1為3種算法所用時間。

表1 3種算法圖像校正時間Tab.1 Time spent for correction of 3 methods

圖7 底盤魚眼圖像校正效果對比圖Fig.7 Comparison between different methods for chassis fish-eye image correction

由圖中結果可見:對于同一張魚眼圖像,3種方法均能在中心區(qū)域獲得較好地校正效果,但柱面投影法和經(jīng)緯映射法均在圖像周圍出現(xiàn)嚴重拉伸。相比之下,本文校正算法則在圖像邊緣區(qū)域仍保持較好的校正效果,其時間消耗也是最少,這對于實時測量應用是很重要的。

5.2 速度自適應的車輛底盤圖像拼接分析

為了驗證本文算法的速度自適應效果,對在不同車速下進行了實驗,速度模式分別為勻速行駛、變速行駛和停車再行駛3種。表2展示了不同速度模式下的數(shù)據(jù)信息。

表2 不同速度模式下的數(shù)據(jù)信息Tab.2 Data information under different speed conditions

由表2可以看出:提取的關鍵幀平均重疊度保持在一定合適的范圍內(nèi),保證了圖像拼接高效可行。相對而言,若使用等時間間隔采樣的方法提取拼接圖像,停車再行駛模式下,相鄰兩幀平均重疊度達到了88.81%,變速行駛模式下平均重疊度也達到了78.58%,過高的重疊度會導致圖像拼接時大量的冗余計算。

針對最具挑戰(zhàn)性的停車再行駛速度模式,進一步進行了車底盤圖像拼接,其拼接結果如圖8所示?？梢杂^察到,間隔采樣下,拼接結果的部分區(qū)域出現(xiàn)了明顯的變形情況。相比之下,基于提取關鍵幀的拼接結果則減少了變形。

圖8 2種算法針對途中停止車輛的底盤拼接結果Fig.8 Results of chassis mosaic by 2 methods

本文算法在3種速度模式下最終得到的底盤圖像結果見圖9。

圖9 不同速度模式下的拼接結果Fig.9 Mosaic results under 3 speed conditions

從圖9可以看到,不同速度模式下的車輛底盤圖像拼接結果基本一致,沒有出現(xiàn)明顯的變形情況,進一步驗證了該算法對車輛行駛速度的自適應性能。

5.3 高速路口貨車底盤拼接實例

為了驗證本文算法在實際場景下的性能,在國內(nèi)某高速公路口搭建了采集環(huán)境,實際采集了部分貨車的底盤視頻數(shù)據(jù),并依序進行了圖像校正、提取和拼接,最終成功獲取了完整的貨車底盤圖像。下面將對實驗結果進行定性及定量分析。

首先是魚眼圖像校正結果,圖10展示了經(jīng)過圖像校正算法后,某貨車的部分底盤圖像示例。

圖10 校正后車底盤圖像Fig.10 Chassis images after correction

關鍵幀提取過程中,初篩步驟從視頻中提取出660幀車底盤圖像,在經(jīng)過精篩步驟后,關鍵幀數(shù)量減小到61張,相鄰關鍵幀的重疊度均維持在 40%～70%。

最后,使用這61張關鍵幀進行了底盤圖像的拼接,拼接結果見圖11。可以看出:拼接后的車底盤圖像清晰展示了貨車底盤的軸型信息,6個輪軸如紅色方框所示。此外,也可以從底盤圖像中快速進行軸型分析,判斷該軸是否為驅動軸(驅動軸如左數(shù)第2、3個紅框所示)。

圖11 六軸貨車的底盤拼接結果Fig.11 The mosaic result of a six-axle truck

為了更精確地分析本文的算法的精確度,在該六軸貨車外選取了二軸、四軸貨車各一輛,結果見圖12,在底盤拼接結果的基礎上進行軸距的定量計算,并與貨車軸距的標準值進行比較,結果如表3～表5所示。表格中貨車標準軸距可以查詢貨車型號獲得,算法的軸距計算則采用了基于圖像空間的像素坐標測量方式,獲取車軸中心點,通過像素間的距離差和預先標定的圖像分辨率計算得到。

表3 二軸貨車軸距比較結果Tab.3 Comparison results of wheelbase of the two-axle truck

表4 四軸貨車軸距比較結果Tab.4 Comparison results of wheelbase of the four-axle truck

表5 六軸貨車軸距比較結果Tab.5 Comparison results of wheelbase of the six-axle truck

圖12 二軸、四軸貨車的底盤拼接結果Fig.12 The mosaic results of two-axle and four-axle trucks

從表3～表5可見:本文方法所得到的貨車軸距測量誤差均<±9%,測量誤差絕對值的均值約為5.0%,結合我國車型信息數(shù)據(jù),可進行車輛軸型的準確判斷。

6 結 論

本文面向交通領域超限超載治理中貨車軸型檢測及軸距測量需求,設計并實現(xiàn)了一套可溯源的貨車底盤成像測量系統(tǒng)。

針對貨車底盤大,成像距離短的問題,使用魚眼相機采集貨車底盤圖像,并提出了基于多點擬合的有效區(qū)域提取算法和基于等距投影模型的魚眼圖像畸變校正方法;針對貨車速度不可控的問題,提出了一種分層的有效幀提取方法,通過計算圖像間的重疊度對圖像進行篩選,避免了圖像采樣不均勻對拼接結果的影響,最終實現(xiàn)了速度自適應的車輛底盤圖像拼接。本文方法在內(nèi)部場地實驗和高速路口現(xiàn)場條件下均取得了良好效果,二軸、四軸和六軸貨車底盤軸距測量誤差均<±9%,均值約為5%。

未來研究的后續(xù)工作包括:

1) 基于現(xiàn)有車輛底盤成像方法實現(xiàn)車軸自動檢測和關鍵參數(shù)的自動化測量;

2) 結合速度自適應的關鍵幀提取策略,反向進行車輛的駕駛行為分析。