王 博，李寶軍，胡 平，梁繼才

（大連理工大學(xué) 汽車工程學(xué)院，遼寧，大連 116023）

一種自動(dòng)提取車身前視圖參數(shù)化模型的方法

王 博，李寶軍，胡 平，梁繼才

（大連理工大學(xué) 汽車工程學(xué)院，遼寧，大連 116023）

車身參數(shù)化模型的自動(dòng)提取有助于進(jìn)一步的車型分析及評價(jià)，提高海量圖像數(shù)據(jù)的重用率，以及提升利用圖像重建三維模型的高效性。通過圖像中Canny特征點(diǎn)的自反對稱對車身前視圖對稱軸的自動(dòng)提取，利用給定的車身參數(shù)化模板，提出了應(yīng)用于車身的利用山谷線的分水嶺方法得到的一種新型圖像分割技術(shù)，結(jié)合動(dòng)態(tài)規(guī)劃的優(yōu)化思想，全自動(dòng)地對車身前視圖參數(shù)化模型進(jìn)行提取。對背景復(fù)雜的高質(zhì)量車身圖像，也可以得到理想的提取效果。

車身圖像分割；點(diǎn)集配準(zhǔn)；參數(shù)化模型；車身CAD

車身二維參數(shù)化模型的提取在快速圖像修改、形狀評價(jià)以及進(jìn)一步三維模型重建等方面發(fā)揮了重要作用，能提升車身CAD應(yīng)用。本文介紹了全自動(dòng)提取車身前視圖參數(shù)化模型的方法，利用可變形的前視圖參數(shù)化模板，通過關(guān)鍵點(diǎn)以及特征曲線的最優(yōu)提取得到車身前視圖的重建。

局部特征提取算子[1-3]是許多計(jì)算機(jī)視覺算法的基礎(chǔ)，應(yīng)用于圖像匹配、目標(biāo)提取和分類、追蹤以及運(yùn)動(dòng)估計(jì)。這些算法使用局部特征來更好地處理尺度變化、旋轉(zhuǎn)以及覆蓋問題。提取到的特征是圖像的子集，通常是孤立點(diǎn)、連續(xù)曲線或連通區(qū)域。Canny提取算子[4]對不同視覺目標(biāo)提取到了有用的結(jié)構(gòu)信息并大大減少了處理的數(shù)據(jù)量。

引用格式：

點(diǎn)集匹配算法是找到一個(gè)空間的轉(zhuǎn)換函數(shù)來配準(zhǔn)兩個(gè)點(diǎn)集。這個(gè)轉(zhuǎn)換的目的是對大量數(shù)據(jù)集建立一個(gè)全局連續(xù)模型，并建立一個(gè)對已知數(shù)據(jù)集的映射函數(shù)來識(shí)別特征或估計(jì)形狀。形狀描述子能夠衡量形狀相似性以及恢復(fù)點(diǎn)集關(guān)聯(lián)性。PR-GLS算法[5]改進(jìn)了形狀上下文[6-7]并得到了更好的匹配結(jié)果。

圖像分割[8-9]是將圖像分割為多個(gè)部分（像素的集合）的方法，用于識(shí)別目標(biāo)或圖像中的其它相關(guān)信息。圖像分割通常用于在圖像中定位目標(biāo)及其邊界。將圖像簡化為一些有意義的區(qū)域的代表，更利于分析。gPb-owt-ucm[10]提供了很好的輪廓提取以及圖像分割結(jié)果。

車身CAE在概念設(shè)計(jì)中的分析，有助于縮短開發(fā)周期[11]。車身參數(shù)化模型的建立有助于對車身CAE的分析。前視圖不同特征線的形狀及拓?fù)潢P(guān)系也可以用于分析不同民族化特征及品牌特征。圖1為前視圖參數(shù)化模型全自動(dòng)提取流程。

圖1 前視圖參數(shù)化模型提取流程

2 車身前視圖對稱軸提取

2.1 特征點(diǎn)提取

作用于車身圖像得到的Canny邊緣特征點(diǎn)如圖2所示。

圖2 Canny邊緣提取算子得到的邊緣特征點(diǎn)

為了得到均勻的邊緣特征點(diǎn)，考慮將相鄰邊緣特征點(diǎn)聯(lián)結(jié)成鏈（圖3）。鑒于車身的造型特征線通常為較長且光滑的曲線，刪除鏈長小于給定閾值（取為20）的點(diǎn)鏈，以減少噪聲邊的影響。對點(diǎn)鏈的數(shù)據(jù)點(diǎn)根據(jù)給定閾值（取為25）進(jìn)行均勻離散化，得到圖像的均勻邊緣特征點(diǎn)（圖4）。

圖3 邊緣特征點(diǎn)聯(lián)結(jié)成長鏈

圖4 均勻邊緣特征點(diǎn)

2.2 車身前視圖對稱軸計(jì)算

由于拍攝角度的問題，部分車身圖像存在偏轉(zhuǎn)，因此需要找到車身的對稱軸，并旋轉(zhuǎn)車身圖像以調(diào)整視角。為了自動(dòng)化提取車身前視圖的對稱軸，考慮到車身前視圖左右兩部分為對稱結(jié)構(gòu)，如果能夠通過每一個(gè)左側(cè)的邊緣特征點(diǎn)得到其對應(yīng)的右側(cè)邊緣特征點(diǎn)，則可以計(jì)算得到對稱軸直線。

圖5 圖像均勻特征點(diǎn)的自反對稱

記車身區(qū)域邊緣特征點(diǎn)為S ={Pi}i=1:N，圖像寬度為image_width，則水平翻轉(zhuǎn)點(diǎn)集為：

采用PR-GLS算法[153]對點(diǎn)集S和ST做匹配，如圖5所示。

得到的匹配結(jié)果為：

對稱軸L為利用最小二乘法計(jì)算點(diǎn)集M所擬合的最優(yōu)直線。

在得到對稱軸后，利用對稱軸以及車身區(qū)域?qū)D像進(jìn)行旋轉(zhuǎn)，以便于精確模型提取。

另一方面，根據(jù)點(diǎn)匹配得到的結(jié)果，可以進(jìn)一步估計(jì)車身前視圖的尺寸，得到包含車身的矩形區(qū)域(rect_min_x, rect_max_x, rect_min_y, rect_max_y)。

3 車身圖像分割

3.1 不同圖像分割技術(shù)比較

gPb-owt-ucm[10]方法在語義層面上得到了很好的輪廓提取以及圖像分割結(jié)果。但經(jīng)過分析，該方法受到閾值的局限，沒有一個(gè)特別合適的閾值適合不同的車身圖像。如圖6所示，（b）為閾值=0時(shí)gPb方法得到的分割結(jié)果，（c）為閾值=0.2時(shí)gPb方法得到的分割結(jié)果。并且很多情況下，所得分割邊界的點(diǎn)與真實(shí)邊界位置有偏差（小于4個(gè)像素）

分水嶺算法[14]是一種基于拓?fù)淅碚摰臄?shù)學(xué)形態(tài)學(xué)的分割方法，其基本思想是把圖像看作是測地學(xué)上的拓?fù)涞孛?，圖像中每一點(diǎn)像素的灰度值表示該點(diǎn)的海拔高度，每一個(gè)局部極小值及其影響區(qū)域稱為集水盆，而集水盆的邊界則形成分水嶺。如圖6d為分水嶺算法得到的圖像分割結(jié)果。

圖6 不同圖像分割技術(shù)

3.2 利用山谷線的車身圖像分割技術(shù)

傳統(tǒng)的分水嶺算法[12]是通過計(jì)算最低注水點(diǎn)開始得到的圖像分割結(jié)果?？紤]到汽車作為工業(yè)產(chǎn)品，光滑的曲線構(gòu)成了車身的外造型。因此，考慮利用山谷線代替注水離散點(diǎn)的方式來利用分水嶺算法計(jì)算車身前視圖的圖像分割結(jié)果，提出了一種利用山谷線得到的車身圖像分割方法。

圖7 改寫Canny算法得到的山谷線

對于山谷線的提取，考慮到Canny算子在計(jì)算過程中是計(jì)算灰度強(qiáng)度變化值大的像素點(diǎn)，改寫Canny算法以計(jì)算灰度強(qiáng)度變化值小的像素點(diǎn)，得到低值點(diǎn)。進(jìn)一步利用Matlab中的bwlabel函數(shù)以8鄰域方式對低谷點(diǎn)進(jìn)行標(biāo)簽化，刪去小于給定閾值（取為5）標(biāo)簽的低谷點(diǎn)，得到如圖7所示的山谷線的結(jié)果。相應(yīng)的以山谷線作為注水離散點(diǎn)的圖像分割結(jié)果，如圖8所示。

圖8 采用山谷線作為注水離散點(diǎn)的圖像分割結(jié)果

進(jìn)一步借助Canny算子提取到的邊緣強(qiáng)度值，重新將每一條邊上的點(diǎn)的強(qiáng)度值再定義為這些點(diǎn)的強(qiáng)度平均值。考慮以下兩種情況對分割的結(jié)果進(jìn)行簡化：（1）以Canny邊緣特征點(diǎn)為基礎(chǔ)，如果某邊上點(diǎn)以給定閾值（取為5）遠(yuǎn)離Canny邊緣特征點(diǎn)的個(gè)數(shù)大于該邊所有點(diǎn)的一半以上，可認(rèn)為該邊為噪聲邊。（2）與圖像邊緣相交的邊為噪聲邊。刪除上述兩種情況的噪聲邊可得到簡化后的分割結(jié)果，如圖9所示。

圖9 刪除噪聲邊所得簡化后的圖像分割結(jié)果

4 參數(shù)化模型自動(dòng)提取

4.1 參數(shù)化模板定義

根據(jù)李慶寶提供的前視圖參數(shù)化模型模板[13]，考慮到不同車型參數(shù)化模型的通用性，重新建立如圖10所示的代表一般車身結(jié)構(gòu)的前視圖參數(shù)化模板。這里僅計(jì)算一個(gè)大燈。

圖10 車身前視圖參數(shù)化模板

4.2 任意兩結(jié)點(diǎn)之間的最優(yōu)路徑

由3.2節(jié)可知，圖像分割的優(yōu)點(diǎn)是分割的邊緣特征點(diǎn)與Canny提取到的邊緣特征點(diǎn)重合率很高，大部分分割的邊緣特征點(diǎn)正好是提取到的Canny邊緣特征點(diǎn)。根據(jù)提取到的車身前視圖的對稱軸，將落在對稱軸上的邊點(diǎn)都設(shè)定為結(jié)點(diǎn)。

因此，對于任意兩個(gè)結(jié)點(diǎn)Pi和Pj，可以由其它結(jié)點(diǎn)聯(lián)結(jié)形成路徑，且不同路徑為將每一條路徑上的邊緣特征點(diǎn)擬合為二次曲線。

計(jì)算對應(yīng)二次曲線對于Canny邊緣特征點(diǎn)的重合率為：

重合率的計(jì)算方式為二次曲線上的點(diǎn)到Canny邊緣的距離小于給定閾值（取為3）的點(diǎn)數(shù)與總數(shù)的比例。選擇最大重合率的路徑為Pi和Pj的最優(yōu)路徑，記為：

4.3 前視圖參數(shù)化模型自動(dòng)提取

通過分析車身前視圖的結(jié)構(gòu)，可以得到關(guān)鍵點(diǎn)的拓?fù)湮恢藐P(guān)系以及特征線的形狀。

由4.2節(jié)可以得到每兩個(gè)結(jié)點(diǎn)之間的最優(yōu)路徑及相對的重合率。利用動(dòng)態(tài)規(guī)劃的方法，對給定關(guān)鍵點(diǎn)序列，按照關(guān)鍵點(diǎn)之間的拓?fù)浼s束，按步驟對車身前視圖的不同部分進(jìn)行參數(shù)化模型的精確提取。將前視圖參數(shù)化模型的自動(dòng)提取分為四部分：（1）外輪廓。（2）車窗。（3）前視圖格柵。（4）車燈。

表1～4分別代表不同部分提取的曲線及相應(yīng)的約束條件，同樣地按照對稱的約束可以得到車身左側(cè)部分模型的提取。對應(yīng)于圖6a的全自動(dòng)提取到的參數(shù)化模型如圖11所示。

在得到自動(dòng)提取到的參數(shù)化模型的基礎(chǔ)上，可以對相連兩個(gè)關(guān)鍵點(diǎn)之間的路徑點(diǎn)擬合為3次Bézier曲線以便于CAD操作，進(jìn)而利用交互微調(diào)的方式可以得到更精確的參數(shù)化模型。

對于車身左側(cè)部分，采用同樣的方法，利用對應(yīng)的關(guān)鍵點(diǎn)的位置約束及特征線的形狀約束提取到左側(cè)的特征線。

表1 外輪廓提取曲線及約束條件

表2 前視圖格柵提取曲線及約束條件

表3 前視圖車窗提取曲線及約束條件

表4 前視圖車燈提取曲線及約束條件

圖11 精確提取的車身前視圖參數(shù)化模型

5 結(jié)論

全自動(dòng)提取車身前視圖參數(shù)化模型的過程中，提出了一種利用特征點(diǎn)自反匹配來提取車身前視圖的對稱軸方法，以及一種應(yīng)用于車身圖像的分割技術(shù)，利用動(dòng)態(tài)規(guī)劃思想對邊緣特征點(diǎn)列尋找最優(yōu)路徑的方法全自動(dòng)提取車身前視圖參數(shù)化模型。

受到圖像質(zhì)量的影響，有部分圖像的特征線得到的結(jié)果有偏差，比如圖11的車身底線。鑒于在提取到部件區(qū)域的情況下，能夠加速提取效果并減少提取時(shí)間，下一步將致力于通過學(xué)習(xí)的方法提取車身部件區(qū)域，進(jìn)一步更精確地重建出各個(gè)視圖的參數(shù)化模型。更多的參數(shù)化模型提取結(jié)果如圖12所示。

圖12 參數(shù)化模型提取結(jié)果示例

另一方面，根據(jù)算法的有效性，對于高質(zhì)量的圖像，結(jié)合其高質(zhì)量的圖像分割結(jié)果以及邊緣特征點(diǎn)提取結(jié)果，即使背景復(fù)雜的車上圖像，也可以得到很好的結(jié)果，如圖13所示。

圖13 背景比較復(fù)雜的車上圖像提取結(jié)果示例

圖14 更多不同車型提取結(jié)果示例

由圖12～14的提取結(jié)果可知，提取結(jié)果基本符合前視圖特征線的位置。鑒于算法提取到的線條是由分割邊界擬合為Bézier曲線得到的，提取精度等同于特征線與圖像邊緣特征點(diǎn)的覆蓋率所采取的閾值為3。下一步工作計(jì)劃會(huì)針對得到的參數(shù)化模型，結(jié)合定義的參數(shù)化模板，進(jìn)一步根據(jù)車上工程約束精確定位關(guān)鍵特征點(diǎn)的位置。

參考文獻(xiàn)（References）：

[1]CHAN T F，VESE L A. Active Contours Without Edges[M]. New York：IEEE Press，2001：266-277.

[2]ABDEL-HAKIM A E，F(xiàn)ARAG A A. CSIFT：A SIFT Descriptor with Color Invariant Characteristics [C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition . New York：IEEE，2006，2：1978-1983.

[3]LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints [M]. Holland：Kluwer Academic Publishers，2004：91-110.

[4]CANNY J. A Computational Approach to Edge Detection[M]. New York：IEEE Computer Society，1986：679.

[5]MA J，ZHAO J，YUILLE A L. Non-Rigid Point Set Registration by Preserving Global and Local Structures [J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2016，25(1)：53.

[6]BELONGIE S，MALIK J，PUZICHA J. Shape Context：A New Descriptor for Shape Matching and Object Recognition [C]// Neural Information Processing Systems Foundation，Granada，Spain，2000.

[7]BELONGIE S，MALIK J，UZICHA J . Shape Matching and Object Recognition Using Shape Contexts [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2002，24(4)：509-522.

[8]YU Y，F(xiàn)ANG C，LIAO Z. Piecewise Flat Embedding for Image Segmentation[C]// IEEE International Conference on Computer Vision，Santiago，Chile，2015，1368-1376.

[9]CHEN L C，PAPANDREOU G，KOKKINOS I，et al.Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs [J]. Computer Science，2014(4)：357-361.

[10]ARBELAEZ P，MAIRE M，F(xiàn)OWLKES C，et al.Contour Detection and Hierarchical Image Segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2010，33(5)： 898.

[11]高巖，周定陸，蔡華國. CAE優(yōu)化技術(shù)在汽車概念設(shè)計(jì)中的應(yīng)用 [J]. 汽車工程學(xué)報(bào). 2012，2(1)：62-65.GAO Yan，ZHOU Dinglu，CAI Huaguo. The Application of CAE Technology in Auto Concept Design [J]. Chinese Journal of Automotive Engineering，2012，2(1)：62-65.(in Chinese)

[12]VINCENT L ，SOILLE P . Watersheds in Digital Spaces：an Efficient Algorithm Based on Immersion Simulations[J]. In IEEE Transactions on Pattern Analysis and Machine Intelligence，1991，13(6)： 583-598.

[13]李慶寶. 基于約束形變的車身快速造型方法研究 [D].大連：大連理工大學(xué)，2013.LI Qingbao. Research on Rapid Styling of Auto Body based on Constrained Morphing [D]. Dalian：Dalian University of Technology，2013.(in Chinese)

A Method of Automatically Extracting the Parametric Model of Vehicle Body Front-view Images

WANG Bo，LI Baojun，HU Ping，LIANG Jicai
（School of Automotive Engineering，Dalian University of Technology，Dalian 116023，Liaoning，China）

For the massive amount of data in images nowadays, automatic detection of automotive parametric model can help further analyze and evaluate different car types and improve the efficiency of 3D model reconstruction from images. Using the front-view parametric template, a new image segmentation method was proposed by applying the method of the watershed algorithm with valley lines. The symmetric axis was computed through the reflexive symmetry of Canny feature points in front-view images of vehicle bodies. Combined with the dynamic programming optimization method, the parametric model of the vehicle body front-view images was automatically constructed. For high precision automotive images with complex background, the desired detection effect can also be obtained.

vehicle body image segmentation；points set registration；parametric model；vehicle body CAD

U462.2

A

10.3969/j.issn.2095-1469.2017.05.03

2017-06-23 改稿日期：2017-07-06

國家自然科學(xué)基金（11472073，61370143）

王博，李寶軍，胡平，等. 一種自動(dòng)提取車身前視圖參數(shù)化模型的方法 [J]. 汽車工程學(xué)報(bào)，2017，7(5)：327-333.

WANG Bo，LI Baojun，HU Ping，et al. A Method of Automatically Extracting the Parametric Model of Vehicle Body Front-view Images[J]. Chinese Journal of Automotive Engineering，2017，7(5)：327-333. (in Chinese)

作者介紹

責(zé)任作者：王博（1987-），女，河南漯河人。博士研究生，主要研究方向?yàn)檐嚿鞢AD。

Tel：18624269087

E-mail：wangbohsd@163.com

李寶軍（1977-），男，山東萊陽人。博士，講師，主要研究方向?yàn)檐嚿鞢AD和CAx集成。

Tel：15104066009

E-mail：bjli@dlut.edu.cn