李寶軍，董 穎，孫瑋雪，趙天鵬，陶 凱

（1.大連理工大學(xué) 汽車工程學(xué)院，遼寧，大連 116024；2.工業(yè)裝備結(jié)構(gòu)分析國(guó)家重點(diǎn)實(shí)驗(yàn)室，遼寧，大連 116024）

在車身概念模型設(shè)計(jì)階段，設(shè)計(jì)師往往用二維草圖來(lái)表達(dá)自己的設(shè)計(jì)意圖。二維草圖中的創(chuàng)作意圖表達(dá)較為簡(jiǎn)單，包含物體形狀、線條等基本信息，但是單幅圖像所包含的幾何信息是有限的，不能完整地表達(dá)設(shè)計(jì)師的創(chuàng)意[1]。如何快速地將單張車身側(cè)視圖或手繪草圖轉(zhuǎn)化為相應(yīng)的三維模型，是一個(gè)極具研究?jī)r(jià)值的課題。通過(guò)傳統(tǒng)的三維建模軟件，例如NX、CATIA、Alias等，利用輸入的多視角圖像，可以手動(dòng)進(jìn)行三維建模，但是該方法需要操作者對(duì)三維建模流程及三維建模軟件有相當(dāng)?shù)牧私猓词故墙?jīng)驗(yàn)豐富、操作熟練的專業(yè)建模人員，往往也需要耗費(fèi)大量的時(shí)間才能完成整個(gè)建模流程。

因此，眾多學(xué)者提出了許多基于單幅圖像的快速建模技術(shù)。根據(jù)二維圖像重建三維模型是一個(gè)病態(tài)問(wèn)題，由于二維圖像中缺少深度信息，所以在重建過(guò)程中需要人為輸入必要的信息才能生成三維模型。大部分方法在重建過(guò)程中需要在輸入的圖像中做一定的標(biāo)注。如XU等[2]對(duì)輸入的圖像進(jìn)行人為分割，通過(guò)建立輸入圖像和已知三維模型之間的關(guān)系來(lái)生成三維模型。還有的研究者利用立方體或圓柱體，將輸入圖像中的物體進(jìn)行人為劃分，從而生成對(duì)應(yīng)的三維模型[3-4]。KHOLGADE等[5]設(shè)計(jì)了一套系統(tǒng)，該系統(tǒng)可以使用戶將三維模型對(duì)應(yīng)到圖片上，從而實(shí)現(xiàn)更進(jìn)一步的圖片編輯，這里指對(duì)圖片中物體對(duì)應(yīng)的三維模型的控制和編輯。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，三維模型的數(shù)字化存儲(chǔ)變得更為容易，海量圖片的獲取更加便捷，大數(shù)據(jù)以及數(shù)據(jù)驅(qū)動(dòng)法的發(fā)展使人們可通過(guò)單視圖推測(cè)物體的三維幾何形狀[6-9]。為了實(shí)現(xiàn)更準(zhǔn)確的重建，部分研究者提出利用一組圖片進(jìn)行三維幾何信息的推斷[10-13]。然而這些方法并沒(méi)有利用三維模型庫(kù)的信息，而且也沒(méi)有對(duì)輸入的圖片作深入的分析，因此所生成的三維模型仍然較為粗糙且不精確。

通過(guò)對(duì)圖像中物體進(jìn)行特征提取、精確識(shí)別，可以實(shí)現(xiàn)物體的分類[14-15]，在三維重建領(lǐng)域，可利用分類識(shí)別法分析物體所屬類型，從而匹配不同的模型庫(kù)實(shí)現(xiàn)三維物體重建。此外，關(guān)鍵點(diǎn)自動(dòng)定位[16]在人臉對(duì)齊、人臉識(shí)別、人臉三維模型重建等領(lǐng)域有廣泛的研究，關(guān)鍵點(diǎn)自動(dòng)定位能夠揭示物體結(jié)構(gòu)信息，同時(shí)可以省去人為標(biāo)注的麻煩。車身側(cè)視圖結(jié)構(gòu)和人臉存在諸多類似，如果對(duì)車身側(cè)視圖加以結(jié)構(gòu)區(qū)分，特征點(diǎn)自動(dòng)標(biāo)注，可以在重建過(guò)程中實(shí)現(xiàn)全自動(dòng)化。即使是對(duì)車身結(jié)構(gòu)沒(méi)有了解的人，也能實(shí)現(xiàn)車身三維模型的重建。

數(shù)據(jù)驅(qū)動(dòng)法在圖像理解和建筑物模型重建領(lǐng)域同樣有廣泛的研究與應(yīng)用[17-18]。通過(guò)對(duì)圖像中隱含知識(shí)和特征的挖掘，并且利用模型庫(kù)中信息的匹配，基于單幅圖像的窗戶模型重建精度有了較大的提升。對(duì)于車身概念模型，不僅要實(shí)現(xiàn)高精度、高效率的建模，還要求輸出格式為參數(shù)化的曲面表示。汽車外形種類繁多，車身結(jié)構(gòu)較為復(fù)雜，上述建模方法雖然在各自領(lǐng)域取得了理想的效果，但是并不能實(shí)現(xiàn)汽車概念模型的全自動(dòng)生成。針對(duì)車身概念模型智能化建模的需要，本文提出“分類而治”的流程：（1）車身側(cè)視圖圖片輸入。（2）車型分類識(shí)別。（3）車身側(cè)面結(jié)構(gòu)關(guān)鍵點(diǎn)定位。（4）二維、三維車身參數(shù)化曲線網(wǎng)及曲面生成。如圖1所示。

圖1 數(shù)據(jù)驅(qū)動(dòng)的基于單視圖生成車身三維模型技術(shù)路線圖

1 自動(dòng)建模算法流程

1.1 車型分類與自動(dòng)識(shí)別

1.1.1 車型分析

汽車側(cè)視圖結(jié)構(gòu)有較大差別，為了實(shí)現(xiàn)高精度的三維曲線和曲面重建，需要根據(jù)不同的車型匹配不同的模型庫(kù)。本文主要考慮常見(jiàn)四門乘用車情形，將車型分為兩大類：三廂車和SUV（包含兩廂車、MPV等車型）。在此基礎(chǔ)上，根據(jù)C柱前小側(cè)窗是否和后車門合為一體的拓?fù)潢P(guān)系，分為有小側(cè)窗類型和無(wú)小側(cè)窗類型。具體分類示意圖如圖2所示，圖2a為車型分類，圖2b為三廂車小側(cè)窗分類，圖2b上圖為無(wú)小側(cè)窗類型，圖2b下圖為有小側(cè)窗類型。SUV車型小側(cè)窗分類法與上述類似。

圖2 車身側(cè)視圖分類

1.1.2 車型自動(dòng)識(shí)別

對(duì)于人臉識(shí)別、物體檢測(cè)等問(wèn)題，CHAN 等[14]提出級(jí)聯(lián)主成分分析（Principle Component Analysis，PCA）網(wǎng)絡(luò)結(jié)合支持向量機(jī)（Support Vector Machine，SVM）的方法，該方法在基于汽車前部視圖的品牌分類識(shí)別研究方面也取得了理想的效果。DALAL等[15]提出利用方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征進(jìn)行物體檢測(cè)，該特征描述子加支持向量機(jī)的方法在行人檢測(cè)和車型識(shí)別中取得了很好的效果。此外，Gabor結(jié)合SVM的方法也可用于車型圖像特征的提取和分類。經(jīng)過(guò)詳細(xì)分析，本文提出一種組合車型識(shí)別法，如圖3所示。

圖3 側(cè)視圖分類識(shí)別流程圖

1.2 車身側(cè)視圖關(guān)鍵點(diǎn)定位

為實(shí)現(xiàn)三維模型的自動(dòng)生成，本節(jié)通過(guò)分析和比較，給出汽車側(cè)視圖的關(guān)鍵特征點(diǎn)（族）定義及其自動(dòng)提取法。

1.2.1 車身側(cè)視圖關(guān)鍵點(diǎn)分析與定義

參考人臉關(guān)鍵點(diǎn)定位問(wèn)題中關(guān)鍵點(diǎn)的定義，關(guān)鍵點(diǎn)大致分為兩類：外輪廓關(guān)鍵點(diǎn)和細(xì)節(jié)特征關(guān)鍵點(diǎn)（眼、鼻、嘴等）。經(jīng)過(guò)對(duì)車身側(cè)視圖二維重建誤差的統(tǒng)計(jì)分析，當(dāng)車身側(cè)視圖關(guān)鍵點(diǎn)數(shù)目為32個(gè)時(shí)，誤差率達(dá)到最低，考慮后續(xù)二維特征線生成和三維曲線、曲面重建的要求，經(jīng)過(guò)測(cè)試，定義車身側(cè)視圖關(guān)鍵點(diǎn)為32個(gè)。如圖4所示，特征點(diǎn)編號(hào)為1-32，其中3-15為車身外輪廓關(guān)鍵點(diǎn)（紅色圓點(diǎn)），16-26為車門及車窗輪廓關(guān)鍵點(diǎn)（藍(lán)色圓點(diǎn)），27、29為腰線前后端點(diǎn)（綠色圓點(diǎn)），28、30為前大燈和后尾燈關(guān)鍵點(diǎn)（綠色圓點(diǎn)），31為后備廂關(guān)鍵點(diǎn)（綠色圓點(diǎn)），1、2、32為參考點(diǎn)（橙色圓點(diǎn)）。由圖可知，本文定義的32個(gè)關(guān)鍵點(diǎn)可以涵蓋車身側(cè)面所有特征，而且SUV和三廂車關(guān)鍵點(diǎn)定義的數(shù)目和位置一致。

圖4 車身側(cè)視圖關(guān)鍵點(diǎn)定義示意圖

1.2.2 車身關(guān)鍵點(diǎn)自動(dòng)檢測(cè)

在人臉關(guān)鍵點(diǎn)定位中，基于局部二值特征回歸[16]算法在識(shí)別精度和識(shí)別效率方面取得了理想結(jié)果。該算法主要利用隨機(jī)森林回歸局部二值特征，學(xué)習(xí)特征映射函數(shù)，進(jìn)一步得到線性回歸函數(shù)，進(jìn)行特征點(diǎn)定位。圖5為采用二值特征回歸法進(jìn)行車身側(cè)視圖關(guān)鍵點(diǎn)定位的流程，本文將采用該方法進(jìn)行特征點(diǎn)自動(dòng)定位。

式中：給定車身初始形狀S0，逐步預(yù)測(cè)形狀增量ΔS，使最終預(yù)測(cè)的車身形狀逼近真實(shí)的車身形狀；Wt? 為線性回歸矩陣；t? 為特征映射函數(shù)；I為輸入的車身側(cè)視圖圖像；t為回歸的階段。回歸是指隨機(jī)初始化的標(biāo)記點(diǎn)回到自己實(shí)際位置中，所以形狀回歸是指標(biāo)記的車身關(guān)鍵點(diǎn)迭代回歸到實(shí)際位置。式中：i代表所有的訓(xùn)練樣本，提取兩個(gè)單元（2l-1，2l），是第i個(gè)訓(xùn)練樣本中，第l個(gè)特征點(diǎn)的位置與真實(shí)特征點(diǎn)之間位置的二維偏置。

通過(guò)式（2）可以求得特征映射函數(shù)?tl。但在這個(gè)過(guò)程中，線性回歸矩陣Wlt和特征映射函數(shù)?lt都是未知的，因此，首先學(xué)習(xí)局部映射函數(shù)來(lái)為每個(gè)標(biāo)記點(diǎn)生成局部二值特征，然后將這些局部二值特征串聯(lián)起來(lái)，得到特征映射函數(shù)。

式中：第一項(xiàng)是回歸目標(biāo)；第二項(xiàng)是通過(guò)L2范數(shù)規(guī)范化對(duì)Wt的長(zhǎng)度約束；λ為控制規(guī)范化的強(qiáng)度。經(jīng)過(guò)式（2）的學(xué)習(xí)，得到了特征映射函數(shù)和局部線性回歸矩陣，舍棄了局部線性回歸輸出，利用得到的特征映射函數(shù)，通過(guò)式（3）學(xué)習(xí)全局線性回歸矩陣 Wt。

圖5 通過(guò)二值特征回歸法進(jìn)行車身側(cè)視圖關(guān)鍵點(diǎn)定位流程

1.3 車身概念模型自動(dòng)生成

從單幅側(cè)視圖中獲得了車型信息和創(chuàng)建三維模型所需的關(guān)鍵點(diǎn)信息之后，本節(jié)采用數(shù)據(jù)驅(qū)動(dòng)的形變模型法，進(jìn)行車身概念二維、三維模型的生成。

1.3.1 車身2D特征曲線生成

采用文獻(xiàn)[19]中的二維車身特征線形變模型生成法，進(jìn)行基于有限關(guān)鍵點(diǎn)的參數(shù)化特征曲線族的重建，從而實(shí)現(xiàn)對(duì)圖像中造型特征信息的捕捉及對(duì)應(yīng)的參數(shù)化模型的自動(dòng)生成。此外，可同時(shí)實(shí)現(xiàn)輸入圖像的特征信息標(biāo)注，將生成的車身特征曲線更新到車身二維造型特征線模型數(shù)據(jù)庫(kù)中。

1.3.2 車身3D特征曲線與曲面生成

采用文獻(xiàn)[20]中的三維車身特征線形變模型生成法，進(jìn)行基于有限關(guān)鍵點(diǎn)的參數(shù)化特征曲線族的重建，結(jié)合二維特征曲線信息的約束，實(shí)現(xiàn)三維模型的自動(dòng)生成。結(jié)合2.1節(jié)中的車型識(shí)別，進(jìn)行分類的參數(shù)化曲面生成，生成的參數(shù)化特征曲線和曲面可按需更新到車身三維造型特征線模型數(shù)據(jù)庫(kù)中。

2 數(shù)值試驗(yàn)

為實(shí)現(xiàn)本文提出的數(shù)據(jù)驅(qū)動(dòng)的汽車概念模型全自動(dòng)建模，首先創(chuàng)建如圖1所示的模型庫(kù)和訓(xùn)練庫(kù)。

2.1 訓(xùn)練庫(kù)與模型庫(kù)的創(chuàng)建

車身側(cè)視圖圖片庫(kù)的創(chuàng)建及其類型標(biāo)注。通過(guò)互聯(lián)網(wǎng)獲取車身側(cè)視圖，這些原始圖片含有大量的背景噪聲，而且圖片尺寸比例不統(tǒng)一，經(jīng)過(guò)測(cè)試和對(duì)比發(fā)現(xiàn)，這樣低質(zhì)量的圖片會(huì)降低特征提取及分類的準(zhǔn)確率，因此對(duì)原始圖片進(jìn)行了去背景以及尺寸歸一化處理，前后車輪不參與后續(xù)三維模型重建，亦作為背景進(jìn)行了處理，最終得到可用圖片數(shù)量為4 157張，車型數(shù)量分布及占比見(jiàn)表1。其中，有無(wú)小側(cè)窗占比指的是占整個(gè)圖片庫(kù)側(cè)視圖數(shù)量的比重?？梢钥吹?，數(shù)據(jù)庫(kù)中車型分布和三廂車有無(wú)小側(cè)窗數(shù)據(jù)分布比較均勻，但是SUV有無(wú)小側(cè)窗數(shù)據(jù)量差異巨大，原因是SUV車型尺寸偏大，出于造型和駕乘人員視野考慮，大部分SUV車型均有小側(cè)窗，這是造成SUV無(wú)小側(cè)窗圖片量過(guò)少的原因。

表1 圖片庫(kù)中不同分類圖片數(shù)量及占比

車身側(cè)視圖特征點(diǎn)數(shù)據(jù)庫(kù)的創(chuàng)建。針對(duì)上述數(shù)據(jù)庫(kù)，創(chuàng)建了其對(duì)應(yīng)的特征點(diǎn)訓(xùn)練庫(kù)，包含兩部分內(nèi)容：一是車身側(cè)視圖圖片，二是與之相對(duì)應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)文件。數(shù)據(jù)庫(kù)中包含不同車型的圖片4 157張，與之相對(duì)應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)文件是4 157個(gè)，文件格式是“*.pts”。

更新文獻(xiàn)[20]中的二維特征線框數(shù)據(jù)庫(kù)（1 000個(gè)模型）及三維特征線框數(shù)據(jù)庫(kù)（200個(gè)模型）。

2.2 車型精確識(shí)別

本部分試驗(yàn)的測(cè)試平臺(tái)為Matlab。電腦配置為：內(nèi)存16 GB，Intel Core i5-4590處理器，主頻3.3 GHz。

試驗(yàn)數(shù)據(jù)包括隨機(jī)選取的950張三廂車圖片和796張SUV圖片。試驗(yàn)方法分別為Gabor、HOG和PCANet三種特征提取法，以及它們與SVM相結(jié)合的分類識(shí)別法。三種算法的單幅側(cè)視圖識(shí)別時(shí)間見(jiàn)表2。

表2 單幅側(cè)視圖識(shí)別時(shí)間

三種基本算法以及本文提出的組合算法所測(cè)得的識(shí)別正確率如圖6所示。由圖可知，采用組合識(shí)別方法在每一類的識(shí)別準(zhǔn)確率方面都是最高的。

圖6 分類識(shí)別準(zhǔn)確率

2.3 車身關(guān)鍵點(diǎn)自動(dòng)提取

基于Matlab平臺(tái)，驗(yàn)證2.2節(jié)中車身側(cè)視圖關(guān)鍵點(diǎn)定位算法的有效性。測(cè)試數(shù)據(jù)包括12幅渲染圖和與之相對(duì)應(yīng)的12幅手繪草圖。采用的誤差統(tǒng)計(jì)方式為相對(duì)誤差，以汽車軸距作為相對(duì)誤差度量基準(zhǔn)。參與誤差統(tǒng)計(jì)的點(diǎn)為除了前后輪心外的剩余30個(gè)點(diǎn)。所用電腦配置為：內(nèi)存16 GB，Intel Core i5-4590處理器，主頻3.3 GHz。單幅車身側(cè)視圖關(guān)鍵點(diǎn)定位所用平均時(shí)間為0.22 s。

對(duì)手繪草圖和渲染圖定位誤差分別進(jìn)行統(tǒng)計(jì)，取所有圖片每個(gè)點(diǎn)的平均誤差，平均誤差統(tǒng)計(jì)結(jié)果如圖7所示。由圖可知，對(duì)于渲染圖來(lái)說(shuō)，所有點(diǎn)的誤差率集中在2%上下，而草圖的誤差率集中在2.5%上下。最終計(jì)算結(jié)果表明渲染圖關(guān)鍵點(diǎn)定位平均誤差率為1.9%，草圖為2.5%。相對(duì)誤差率較大的點(diǎn)集中在20、21、22、27和29。20、21和22是與小側(cè)窗結(jié)構(gòu)相關(guān)的點(diǎn)，可以結(jié)合特征分類進(jìn)行后處理，對(duì)于沒(méi)有小側(cè)窗的車型，調(diào)整點(diǎn)20和點(diǎn)21重合，點(diǎn)22和點(diǎn)23重合。點(diǎn)27和點(diǎn)29是腰線前后端點(diǎn)，這也是不同車型之間差異較大的部分，可以在自動(dòng)定位完成后手動(dòng)調(diào)整其位置，形成不同的設(shè)計(jì)風(fēng)格。

圖7 關(guān)鍵點(diǎn)定位誤差統(tǒng)計(jì)

2.4 車身2D特征線自動(dòng)生成

利用文獻(xiàn)[19]中車身二維特征線自動(dòng)提取工具，將上述得到的車身側(cè)視圖關(guān)鍵點(diǎn)信息讀入系統(tǒng)，即可實(shí)現(xiàn)車身側(cè)視圖二維特征線框的高精度生成。利用自動(dòng)定位特征點(diǎn)得到的二維特征線框如圖8所示，圖中車型為Audi A4L。為了統(tǒng)計(jì)二維重建誤差，度量了手動(dòng)生成二維特征線和自動(dòng)生成二維特征線之間的面積誤差。在三次貝塞爾曲線上進(jìn)行均勻采樣，采樣點(diǎn)的個(gè)數(shù)為100個(gè)，用直線段依次連接采樣點(diǎn)，即可將兩條貝塞爾曲線之間的區(qū)域用小三角形代替，每條貝塞爾曲線之間的面積用采樣得到的三角形面積和代替，統(tǒng)計(jì)發(fā)現(xiàn)二維曲線的面積誤差大部分控制在0.04 m2以下，可以很好地進(jìn)行三維重建。

圖8 二維造型特征線自動(dòng)重建

2.5 車身3D特征線及曲面自動(dòng)生成

首先采用統(tǒng)計(jì)形變模型法進(jìn)行三維曲線模型的重建[19]，然后通過(guò)2.1節(jié)中得到的車型分類結(jié)果，匹配不同的三維造型特征線模型庫(kù)生成三維曲線，最后采用不同的車身曲面分塊生成策略生成了三維曲面模型。三維重建部分不是本文重點(diǎn)闡述的內(nèi)容，在此未做算法詳述，也未考慮三維重建誤差。圖9為采用本文方法重建的部分手繪草圖的3D曲線和曲面模型結(jié)果。對(duì)比傳統(tǒng)的基于四視圖的曲面建模法，本文僅需1～3 min即可實(shí)現(xiàn)從創(chuàng)意草圖到三維參數(shù)化模型的生成。

圖9 手繪草圖三維曲面自動(dòng)建模結(jié)果

3 結(jié)論

為進(jìn)行車身概念模型智能化自動(dòng)建模，本文提出數(shù)據(jù)驅(qū)動(dòng)和基于學(xué)習(xí)的自動(dòng)化三維建模法，完成了從二維車身側(cè)視圖渲染圖或草圖輸入到三維曲線曲面模型的生成，并建立了較為全面的模型庫(kù)，包括車身側(cè)視圖及對(duì)應(yīng)車型標(biāo)注庫(kù)（4 157幅圖片）、關(guān)鍵點(diǎn)坐標(biāo)數(shù)據(jù)庫(kù)（4 157個(gè)pts文件）、二維特征線框數(shù)據(jù)庫(kù)（215個(gè)模型）和三維特征線框數(shù)據(jù)庫(kù)（200個(gè)模型）。實(shí)現(xiàn)了車型分類識(shí)別和關(guān)鍵點(diǎn)定位的自動(dòng)化，并取得了較高的識(shí)別和定位準(zhǔn)確率。這兩部分的智能化是整個(gè)系統(tǒng)智能化的關(guān)鍵，進(jìn)而結(jié)合基于形變模型的數(shù)據(jù)驅(qū)動(dòng)建模法，實(shí)現(xiàn)三維曲面模型的生成。利用本文提出的方法，可以快速實(shí)現(xiàn)大眾設(shè)計(jì)，即使沒(méi)有三維建?；A(chǔ)，只要將自己的創(chuàng)意用二維草圖的形式加以展現(xiàn)，該系統(tǒng)即可生成相應(yīng)的車身三維模型。目前還需在關(guān)鍵點(diǎn)提取精度與魯棒性、三維重建曲面光順兩方面進(jìn)行深入研究，以期達(dá)到更好的效果。