孫 碩，嵇曉強(qiáng)，劉 丹

(長(zhǎng)春理工大學(xué)生命科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022)

面部整容手術(shù)由于不能在術(shù)前對(duì)患者面部進(jìn)行客觀定量的形態(tài)學(xué)評(píng)價(jià)，極易導(dǎo)致手術(shù)結(jié)果的不理想甚至失敗[1]。而且，整形醫(yī)生僅憑專業(yè)知識(shí)與經(jīng)驗(yàn)無(wú)法精準(zhǔn)量化人臉數(shù)據(jù)，手術(shù)過(guò)程缺乏客觀有效指導(dǎo)。

三維重建技術(shù)借助三維掃描設(shè)備采集數(shù)據(jù)，對(duì)采集到的三維數(shù)據(jù)進(jìn)行去噪、計(jì)算機(jī)圖像處理、重建等操作，重塑掃描體形態(tài)[2]。三維重建根據(jù)相機(jī)的不同，可分為單、雙目重建，深度相機(jī)重建三種方式。單目重建常規(guī)上使用運(yùn)動(dòng)結(jié)構(gòu)(structure from motion，SFM)重建算法，該算法可對(duì)多幅無(wú)序圖片進(jìn)行重建；雙目重建利用雙鏡頭拍攝矯正圖片，根據(jù)三角測(cè)量原理恢復(fù)出環(huán)境的三維信息[3]；深度相機(jī)重建主要是對(duì)采集到的深度圖像通過(guò)計(jì)算機(jī)加工處理，深度圖像中的像素值為物體與鏡頭之間的距離，對(duì)其進(jìn)行坐標(biāo)轉(zhuǎn)換得到點(diǎn)云數(shù)據(jù)，處理點(diǎn)云數(shù)據(jù)構(gòu)建三維模型。近年來(lái)，深度相機(jī)獲取深度圖像的技術(shù)得到了完善和進(jìn)步，該方法重建精度高，已成為三維重建的主要方法[4]。

三維重建技術(shù)與被測(cè)物無(wú)接觸，被廣泛用于整形外科人體形態(tài)的建模。Xiao等[5]利用三維重建，對(duì)三維數(shù)據(jù)處理并制作假耳輪廓，為小耳畸形患者提供手術(shù)指導(dǎo)。Jung等[6]對(duì)眼部進(jìn)行三維掃描并重建眼球模型對(duì)眼部疾病進(jìn)行輔助治療。然而，由于三維重建技術(shù)對(duì)硬件設(shè)備和軟件算法都有較高的要求，目前中外成熟完善的重建系統(tǒng)還是很少。東南大學(xué)開發(fā)的虛擬頜面部整形手術(shù)軟件，對(duì)CT掃描圖像進(jìn)行計(jì)算重構(gòu)人臉模型，這種方法工程計(jì)算量大，不易操作，重建精度有待提高[7]；日本大阪醫(yī)學(xué)院于2017年實(shí)現(xiàn)了面部重建和面部整形的3D模擬實(shí)驗(yàn)，但是該技術(shù)重建精度低，無(wú)法滿足手術(shù)要求[8]。

針對(duì)上述問(wèn)題，現(xiàn)設(shè)計(jì)適用于面部虛擬整形的三維人臉重建系統(tǒng)，系統(tǒng)改進(jìn)精配準(zhǔn)算法增強(qiáng)配準(zhǔn)效果，并在最后采用半邊結(jié)構(gòu)的細(xì)分算法提高模型的重建精度，從而提高整形輔助系統(tǒng)的性能，對(duì)于提高手術(shù)成功率，降低手術(shù)風(fēng)險(xiǎn)，具有廣闊的應(yīng)用前景。

1 三維面部數(shù)據(jù)采集

1.1 系統(tǒng)總體設(shè)計(jì)

三維人臉重建系統(tǒng)總體流程圖如圖1所示。首先利用硬件設(shè)備采集不同角度的人臉深度圖像。由于深度圖像中的像素值代表了該點(diǎn)與相機(jī)的距離，利用相機(jī)內(nèi)參通過(guò)坐標(biāo)轉(zhuǎn)換可構(gòu)建出正臉與側(cè)臉的點(diǎn)云模型。接下來(lái)配準(zhǔn)不同角度點(diǎn)云模型，其中粗配準(zhǔn)采用四共面點(diǎn)集(4-points congruent sets，4PCS)算法實(shí)現(xiàn)了正臉與側(cè)臉的點(diǎn)云拼接。改進(jìn)了最近點(diǎn)迭代(iterative closest point，ICP)算法用于點(diǎn)云模型精配準(zhǔn)，從而統(tǒng)一點(diǎn)云數(shù)據(jù)坐標(biāo)系。配準(zhǔn)完成后對(duì)點(diǎn)云表面網(wǎng)格化處理，采用半邊結(jié)構(gòu)的細(xì)分算法進(jìn)一步提升模型精度，最后完成貼圖得到實(shí)際的三維人臉模型。

圖1 三維重建方法流程圖Fig.1 Overall flow chart of 3D reconstruction

1.2 三維數(shù)據(jù)獲取

三維數(shù)據(jù)的獲取是系統(tǒng)設(shè)計(jì)的關(guān)鍵。近年來(lái)同步定位與建圖技術(shù)(simultaneous localization and mapping，SLAM)取得了一系列突破性的發(fā)展[9]，本系統(tǒng)深度圖像的采集裝置采用的是NU3000深度攝像頭模組，該模組集成了專用硬件加速器和數(shù)字信號(hào)處理器(digital signal processor，DSP)微處理器，可執(zhí)行SLAM等高級(jí)算法，且具有集成度高、體積小、速度快、分辨率高等優(yōu)點(diǎn)，其具體性能如下。

(1)具有120萬(wàn)像素，掃描點(diǎn)50萬(wàn)，掃描誤差小于0.4 mm。

(2)擁有多核深度計(jì)算機(jī)視覺(jué)(computer vision，CV)處理器，提升3D圖像處理性能，對(duì)計(jì)算機(jī)視覺(jué)進(jìn)行了優(yōu)化。

(3)可以連接和管理3個(gè)攝像頭：2個(gè)高精度結(jié)構(gòu)光鏡頭作為立體圖像深度來(lái)源，1個(gè)作為RGB傳感器。

(4)含有多個(gè)照明接口，視野范圍25～60 cm。

(5)同步管理各種傳感器，并同時(shí)執(zhí)行定位算法和映射算法，外部具有多個(gè)低功耗雙倍數(shù)據(jù)速率內(nèi)存(low power double data rat，LPDDR)儲(chǔ)存單元。

(6)芯片尺寸大小僅為12 mm×10 mm，低功率、小尺寸，整體模組如圖2所示。

圖2 NU3000攝像頭模組Fig.2 NU3000 camera module

2 點(diǎn)云數(shù)據(jù)處理

2.1 點(diǎn)云數(shù)據(jù)生成

由于點(diǎn)云數(shù)據(jù)可以準(zhǔn)確地記錄物體表面三維形貌、幾何特性以及空間坐標(biāo)信息等[10]，因此系統(tǒng)需要將獲取到的深度圖像轉(zhuǎn)成人臉點(diǎn)云數(shù)據(jù)，點(diǎn)云生成原理如下。

點(diǎn)云數(shù)據(jù)點(diǎn)含x、y、z3個(gè)分量，代表該點(diǎn)空間位置，每個(gè)空間點(diǎn)(x,y,z)在深度圖像上有其對(duì)應(yīng)像素坐標(biāo)(u,v,d)，其中u與v用來(lái)確定像素點(diǎn)在圖像中的位置，d為空間點(diǎn)與相機(jī)之間的距離，此位置可由相機(jī)參數(shù)計(jì)算得出。其轉(zhuǎn)換公式為

(1)

(2)

d=zs

(3)

式中：相機(jī)在x、y兩個(gè)軸上的焦距分別為fx、fy；cx、cy分別為相機(jī)的光圈中心；s為深度圖縮放因子。

(u,v,d)反推(x,y,z)的公式為

z=d/s

(4)

x=(u-cx)z/fx

(5)

y=(v-cy)z/fy

(6)

式中：fx、fy、cx、cy4個(gè)參數(shù)可構(gòu)造相機(jī)內(nèi)參矩陣C，其具體形式為

(7)

已知內(nèi)參矩陣C,則空間位置(x,y,z)與像素坐標(biāo)(u,v,d)便可簡(jiǎn)化成矩陣形式為

(8)

式(8)中：R、t參數(shù)為相機(jī)姿態(tài)；R為旋轉(zhuǎn)矩陣；t為位移矢量，將R設(shè)為單位矩陣I，即所獲單角度點(diǎn)云數(shù)據(jù)無(wú)旋轉(zhuǎn)，同理，所獲數(shù)據(jù)無(wú)平移則t為0；s為深度圖里的數(shù)據(jù)與實(shí)際距離的比例系數(shù)，通常為1 000。

圖3是將NU3 000所采集的深度圖像經(jīng)坐標(biāo)轉(zhuǎn)化得到的正臉與側(cè)臉點(diǎn)云模型。

圖3 人臉點(diǎn)云數(shù)據(jù)Fig.3 Point cloud data of face

2.2 基于KD樹算法的點(diǎn)云數(shù)據(jù)去噪處理

成像設(shè)備受周圍環(huán)境因素的影響，生成的點(diǎn)云數(shù)據(jù)具有一定的冗余數(shù)據(jù)，如測(cè)量時(shí)的背景信息以及噪聲數(shù)據(jù)等[11]。由圖3可知，點(diǎn)云帶有明顯的噪聲點(diǎn)，點(diǎn)云數(shù)據(jù)不平滑且散亂。利用此點(diǎn)云數(shù)據(jù)。重建的人臉模型勢(shì)必效果差，且不準(zhǔn)確。因此在配準(zhǔn)之前需進(jìn)行去噪處理[12]。上述點(diǎn)云數(shù)據(jù)中的數(shù)據(jù)點(diǎn)在空間上缺少數(shù)學(xué)聯(lián)系，為無(wú)序點(diǎn)云，常用的處理算法如平滑濾波，不適用于無(wú)序點(diǎn)云的去噪[13]。系統(tǒng)選擇KD樹算法(K-dimensional tree，KD-tree)，可分析計(jì)算無(wú)序點(diǎn)云的鄰域結(jié)構(gòu)，構(gòu)建其位置關(guān)系。該算法設(shè)置坐標(biāo)方向?yàn)榍蟹址较?，通過(guò)切分點(diǎn)云集，數(shù)據(jù)集即被分為2個(gè)子集，重復(fù)執(zhí)行上述步驟，不斷切分并生成檢索樹。去噪過(guò)程如下。

(1)讀取點(diǎn)云數(shù)據(jù)。

(2)構(gòu)建KD-tree結(jié)構(gòu)，形成鄰域結(jié)構(gòu)。

(3)連接點(diǎn)云數(shù)據(jù)集并求其中一點(diǎn)p的鄰域，計(jì)算這些點(diǎn)與p的距離，求出中值dmid。

(4)設(shè)定閾值，與dmid比較，若dmid較大，則認(rèn)為p點(diǎn)是噪聲點(diǎn)，去除；否則，保留該點(diǎn)。

(5)重復(fù)步驟(3)和步驟(4)，遍歷全部點(diǎn)云數(shù)據(jù)。

(6)輸出點(diǎn)云數(shù)據(jù)。

閾值的大小設(shè)置取決于點(diǎn)云數(shù)據(jù)的疏密程度，點(diǎn)云愈密，閾值愈小。

2.3 基于改進(jìn)ICP算法的點(diǎn)云配準(zhǔn)算法

點(diǎn)云配準(zhǔn)在導(dǎo)航定位、移動(dòng)測(cè)量以及三維重建鄰域等均有應(yīng)用[14]。點(diǎn)云配準(zhǔn)的完整過(guò)程分為粗配準(zhǔn)和精配準(zhǔn)，粗配準(zhǔn)是對(duì)兩組相對(duì)位置未知的點(diǎn)云進(jìn)行匹配，得到的初始轉(zhuǎn)換矩陣作為精配準(zhǔn)所需的參考值，精配準(zhǔn)在此基礎(chǔ)上精確計(jì)算，使點(diǎn)云的位姿差別最小化。傳統(tǒng)的快速點(diǎn)特征直方圖算法(fast point feature histograms，F(xiàn)PFH)在初始配準(zhǔn)過(guò)程中需要人工多次嘗試選擇點(diǎn)云的鄰域半徑，無(wú)法保證效率和結(jié)果[15-16]。4PCS算法由計(jì)算機(jī)進(jìn)行多次計(jì)算實(shí)驗(yàn)，自動(dòng)選取有利條件對(duì)點(diǎn)云進(jìn)行操作，效率更高，系統(tǒng)采用4PCS算法進(jìn)行粗配準(zhǔn)，公式為

(9)

(10)

式中：a、b、c、d、e為基準(zhǔn)點(diǎn)云中確定共面四點(diǎn)基所需的坐標(biāo)點(diǎn)；r1與r2分別為由坐標(biāo)形成的向量的模的比值。利用r1與r2的放射不變性，代入到有目標(biāo)點(diǎn)源q1和q2的待配準(zhǔn)點(diǎn)云中，即可求出共面四點(diǎn)基交點(diǎn)可能出現(xiàn)的位置e1、e2。

圖4為4PCS算法空間拓?fù)浣Y(jié)構(gòu)構(gòu)建與匹配原理圖，其具體步驟如下。

(1)在基準(zhǔn)點(diǎn)云P中尋找共面四點(diǎn)基，圖4中用B={a,b,c,d}表示。

(2)在四點(diǎn)基B中利用式(9)尋找比例因子r1和r2。比例因子在旋轉(zhuǎn)和平移操作中具有放射不變性。

(3)利用式(10)，代入比例因子尋找q1,q2∈Q中4種可能存在交點(diǎn)的位置。

(4)計(jì)算整個(gè)Q中存在的交點(diǎn)位置，ei≈ej表示尋找到的全等四點(diǎn)對(duì)，如圖4中所示e1≈e2，可確定與B={a,b,c,d}對(duì)應(yīng)的全等4點(diǎn)對(duì)為C={q1,q3,q4,q5}。

(5)通過(guò)B={a,b,c,d}和C={q1,q3,q4,q5}可以構(gòu)造矩陣方程BX=C,通過(guò)最小二乘法即可求對(duì)應(yīng)的轉(zhuǎn)換矩陣X。

(6)重復(fù)上述步驟對(duì)共面四點(diǎn)基集合P={B1,B2,…,Bn}可得到全等四點(diǎn)集合D={C1,C2,…,Cn}，n為全等四點(diǎn)集合總數(shù)。

(7)在集合D中，使用最大公共點(diǎn)集策略(largest common pointset，LCP)尋找最優(yōu)全等四點(diǎn)匹配，即分別計(jì)算每個(gè)四點(diǎn)基與全等四點(diǎn)對(duì)的轉(zhuǎn)換矩陣Xn，對(duì)基準(zhǔn)點(diǎn)云P分別使用轉(zhuǎn)換矩陣X1，X2，…，Xn與轉(zhuǎn)換點(diǎn)云Q進(jìn)行匹配，尋找效果最佳的轉(zhuǎn)換矩陣，完成粗配準(zhǔn)即可。

圖5為人臉點(diǎn)云粗配準(zhǔn)過(guò)程及結(jié)果，通過(guò)粗配準(zhǔn)算法成功實(shí)現(xiàn)了人臉正面和側(cè)面的點(diǎn)云拼接，得到了配準(zhǔn)初始位姿。接著對(duì)拼接后的點(diǎn)云數(shù)據(jù)進(jìn)行精配準(zhǔn)，目的是提升旋轉(zhuǎn)矩陣的精確性，從而生成精準(zhǔn)人臉點(diǎn)云。

精配準(zhǔn)的經(jīng)典算法是ICP算法，近年來(lái)對(duì)ICP算法進(jìn)行改良是點(diǎn)云配準(zhǔn)的研究熱點(diǎn)。例如楊正世[17]提出了一種基于全局優(yōu)化和ICP結(jié)合的算法；Bae[18]通過(guò)限制點(diǎn)的曲率變化以及法向量間夾角，剔除錯(cuò)誤點(diǎn)對(duì)，提升配準(zhǔn)精度。

傳統(tǒng)ICP需設(shè)計(jì)評(píng)價(jià)函數(shù)F(α)，對(duì)其進(jìn)行迭代計(jì)算并設(shè)定閾值，迭代結(jié)果應(yīng)小于該閾值。假設(shè)存在點(diǎn)云X、Y(兩點(diǎn)云間有重疊區(qū)域)，令X0=X，Xk為第k次迭代的點(diǎn)云X的數(shù)據(jù)集，可知k≤kmax，則第k次迭代如下所示。

圖4 4PCS算法空間拓?fù)浣Y(jié)構(gòu)構(gòu)建與匹配原理Fig.4 Spatial topology construction and matching principle of 4PCS algorithm

圖5 粗配準(zhǔn)人臉點(diǎn)云Fig.5 Coarse registration of face point cloud

(3)進(jìn)行迭代：Xk+1=αk(Xk)。

(4)如果函數(shù)F(α)滿足迭代條件，F(xiàn)(αk-1)-F(αk)<τ，或者迭代次數(shù)已達(dá)到最大次數(shù)，即k≥kmax,迭代結(jié)束，否則繼續(xù)迭代。

(5)ICP算法經(jīng)k次迭代后，剛體變換α是k次迭代后的一個(gè)級(jí)聯(lián)，即α*=αk，αk-1，…，α1。

系統(tǒng)考慮到配準(zhǔn)速度與精度的要求，簡(jiǎn)化算法步驟，對(duì)傳統(tǒng)ICP點(diǎn)對(duì)點(diǎn)的操作進(jìn)行了改進(jìn)，其原理為：尋求最小化源點(diǎn)云與目標(biāo)點(diǎn)云所在平面間的距離。即將配準(zhǔn)原則由點(diǎn)對(duì)點(diǎn)改為點(diǎn)對(duì)面進(jìn)行，其公式為

(11)

式(11)中：T為變化矩陣；pi、qi為源點(diǎn)云與目標(biāo)點(diǎn)云中的對(duì)應(yīng)點(diǎn)；qi的法向量為ni。

點(diǎn)對(duì)面ICP算法考慮了點(diǎn)云的空間結(jié)構(gòu)，減少了錯(cuò)誤對(duì)應(yīng)點(diǎn)對(duì)，增強(qiáng)了收斂速度，圖6為經(jīng)多次迭代實(shí)現(xiàn)的點(diǎn)云配準(zhǔn)結(jié)果圖。

圖6 精配準(zhǔn)人臉點(diǎn)云Fig.6 Fine registration of face point cloud

2.4 點(diǎn)云數(shù)據(jù)網(wǎng)格化

網(wǎng)格化算法將點(diǎn)云數(shù)據(jù)中的點(diǎn)連成面，呈現(xiàn)人臉表面模型，要求既不能損失人臉細(xì)節(jié)，也不能增添多余的模型結(jié)構(gòu)。常見(jiàn)的網(wǎng)格化算法有克里格算法、彈性網(wǎng)格化算法等[19]，這些算法加快了網(wǎng)格生成的速度，但容易丟失人臉細(xì)節(jié)。利用貪心三角法重構(gòu)人臉表面，可以保證生成網(wǎng)格的穩(wěn)定性，同時(shí)兼顧網(wǎng)格生成速度。該算法首先將點(diǎn)云數(shù)據(jù)通過(guò)法線投影轉(zhuǎn)換到二維坐標(biāo)平面內(nèi)，然后利用空間區(qū)域增長(zhǎng)算法，對(duì)投影面點(diǎn)云做三角化處理，構(gòu)建投影面的拓?fù)溥B接關(guān)系[20]。投影面中的拓?fù)浣Y(jié)構(gòu)經(jīng)反推即可重構(gòu)原始點(diǎn)云數(shù)據(jù)面。生成網(wǎng)格模型如圖7所示。

圖7 生成網(wǎng)格模型Fig.7 Generation of grid model

2.5 改進(jìn)的細(xì)分平滑算法

上述完成的點(diǎn)云數(shù)據(jù)網(wǎng)格化后，雖重建了物體的表面結(jié)構(gòu)，但人臉表面粗糙，且模型部分區(qū)域凹凸不平，導(dǎo)致成像模型精度不夠。為了解決上述問(wèn)題，提出了一種細(xì)化平滑的方法。在循環(huán)細(xì)分算法(Loop)中采用半邊結(jié)構(gòu)，對(duì)三維模型進(jìn)行細(xì)分平滑，改善網(wǎng)格化過(guò)程中錯(cuò)誤的連接面，削減重建模型粗糙度，增強(qiáng)重建模型精度。該網(wǎng)格平滑是一個(gè)具有層次結(jié)構(gòu)的過(guò)程，數(shù)據(jù)包含大量的頂點(diǎn)、邊和平面上鄰接值信息，利用半邊數(shù)據(jù)結(jié)構(gòu)可對(duì)數(shù)據(jù)完整，有效地進(jìn)行存儲(chǔ)。其設(shè)計(jì)思路為創(chuàng)建一種雙向鏈表，對(duì)整體環(huán)的半邊環(huán)進(jìn)行計(jì)算，并借助雙向鏈表可以實(shí)現(xiàn)返回整體環(huán)并選取另一側(cè)環(huán)進(jìn)行計(jì)算，減少一次性處理的數(shù)據(jù)量。圖8為數(shù)據(jù)結(jié)構(gòu)示意圖。

圖8 半邊結(jié)構(gòu)層次圖Fig.8 Hierarchical graph of half edge structure

在圖8中，選取實(shí)體節(jié)點(diǎn)作為結(jié)構(gòu)的根節(jié)點(diǎn)，根節(jié)點(diǎn)利用雙向鏈表的指針指向面、邊和頂點(diǎn)。在該數(shù)據(jù)結(jié)構(gòu)中，通過(guò)人臉模型的前驅(qū)和后繼指針來(lái)訪問(wèn)人臉模型和退出操作，接著設(shè)置訪問(wèn)網(wǎng)格平面指針，該類指針包含兩種類型，一種是經(jīng)上層人臉模型訪問(wèn)網(wǎng)格平面的指針，一種是該層結(jié)構(gòu)同等級(jí)的前驅(qū)訪問(wèn)指針。依次設(shè)置每層訪問(wèn)和退出指針，最后設(shè)置訪問(wèn)新點(diǎn)的指針，生成新細(xì)分點(diǎn)。半邊結(jié)構(gòu)的設(shè)計(jì)可使Loop細(xì)分的運(yùn)行效率和計(jì)算精度大大增加。Loop細(xì)分是一種面分裂逼近細(xì)分模式，細(xì)分過(guò)程中產(chǎn)生兩類新點(diǎn)，一類是新頂點(diǎn)，另一類是每條邊上的細(xì)分點(diǎn)(新邊點(diǎn))。若頂點(diǎn)v的邊鄰點(diǎn)為v1,v2,…,vn，新頂點(diǎn)vv為頂點(diǎn)v的權(quán)值與鄰點(diǎn)的加權(quán)和，公式為

(12)

1-nβ為v的權(quán)值，鄰點(diǎn)權(quán)值為

(13)

新邊點(diǎn)的幾何規(guī)則為:假設(shè)內(nèi)部邊頂點(diǎn)v1、v2共享這條邊的兩個(gè)三角形分別為(v1,v2,v3)、(v1,v2,v4),則新邊點(diǎn)ve為

(14)

模型經(jīng)細(xì)分平滑提升精度后，對(duì)人臉進(jìn)行紋理貼圖，即可獲取三維人臉，所獲模型如圖9所示。

圖9 三維人臉模型Fig.9 3D face model

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證上述人臉模型成像精度，系統(tǒng)做了大量的實(shí)驗(yàn)驗(yàn)證，并且設(shè)計(jì)了對(duì)照試驗(yàn)。目的是采用不同的掃描設(shè)備對(duì)同一對(duì)象進(jìn)行面部三維掃描與重建，比較兩者的測(cè)量精度。實(shí)驗(yàn)對(duì)照組選取Bellus3d面部成像系統(tǒng)，該系統(tǒng)使用兩個(gè)紅外激光投影儀，多個(gè)傳感器，可測(cè)量50萬(wàn)個(gè)三維面點(diǎn)，生成具有多達(dá)100萬(wàn)個(gè)三角形的面網(wǎng)格，并輸出全彩色3D人臉模型。目前已在一些醫(yī)美整形機(jī)構(gòu)得到應(yīng)用，其成像結(jié)果具有一定的代表性。在PC端選擇面部測(cè)量軟件，軟件可以導(dǎo)入由本文模型和經(jīng)bellus3d重建而來(lái)的obj模型文件格式。模型導(dǎo)入后，軟件首先進(jìn)行人臉檢測(cè)識(shí)別導(dǎo)入模型為人臉后，可選擇基于人臉識(shí)別庫(kù)自動(dòng)生成特征點(diǎn)和基于鼠標(biāo)交互式生成特征點(diǎn)的方式。由于人臉識(shí)別庫(kù)是基于人臉模型表面凹凸等特征邊緣進(jìn)行特征點(diǎn)生成，因此生成差異較大，故采取交互式標(biāo)記的方法生成特征點(diǎn)，考慮到現(xiàn)實(shí)測(cè)量中人臉模型表面凹凸帶來(lái)的實(shí)際影響并結(jié)合相關(guān)醫(yī)美理論，為減少人為誤差，選取位置明顯，并不易受形變影響的特征點(diǎn)進(jìn)行標(biāo)記，如鼻尖、鼻根、眼仁等。

對(duì)比實(shí)驗(yàn)過(guò)程如下。

(1)將系統(tǒng)重建三維人臉以obj文件的格式進(jìn)行數(shù)據(jù)存儲(chǔ)。

(2)將obj文件導(dǎo)入到面部測(cè)量軟件中，進(jìn)行人臉檢測(cè)并標(biāo)記面部特征點(diǎn)。

(3)將經(jīng)Bellus3d掃描系統(tǒng)重建的人臉導(dǎo)入到上述人臉測(cè)量軟件中，進(jìn)行人臉檢測(cè)并標(biāo)記進(jìn)行比較的人臉特征點(diǎn)。

(4)特征點(diǎn)標(biāo)記后，測(cè)量軟件對(duì)特征點(diǎn)間的距離進(jìn)行數(shù)值測(cè)量。

(5)由專業(yè)整形醫(yī)師對(duì)真實(shí)人臉進(jìn)行數(shù)值測(cè)量，比較重建人臉與真實(shí)人臉的數(shù)據(jù)。

圖10為對(duì)比試驗(yàn)標(biāo)記圖，圖中依次標(biāo)記的特征點(diǎn)為左瞳仁(點(diǎn)1)、右瞳仁(點(diǎn)2)、鼻尖(點(diǎn)3)、下顎(點(diǎn)4)、鼻根(點(diǎn)5)。

圖11是三維測(cè)量軟件對(duì)標(biāo)記特征點(diǎn)進(jìn)行計(jì)算并得到的數(shù)值結(jié)果，之后由專業(yè)整形醫(yī)師對(duì)真實(shí)人臉進(jìn)行數(shù)值測(cè)量，并與圖11中的數(shù)值進(jìn)行比較。表1為專業(yè)整形醫(yī)師將上述人臉模型分別與真實(shí)人臉進(jìn)行測(cè)量對(duì)比的數(shù)據(jù)及誤差值。通過(guò)對(duì)重建模型與真實(shí)人臉進(jìn)行誤差測(cè)量，并與Bellus3d成像系統(tǒng)重建模型進(jìn)行比較可以看到：本文模型重構(gòu)人臉結(jié)果誤差小于Bellus3d重建模型結(jié)果，證明上述系統(tǒng)提高了重建人臉模型重建精度，并與真實(shí)人臉間差距小于2 mm，可用于虛擬整形，指導(dǎo)醫(yī)師進(jìn)行手術(shù)。

圖10 面部標(biāo)記點(diǎn)對(duì)比Fig.10 Comparison of facial landmarks

表1 誤差對(duì)比Table 1 Error comparison

圖11 特征點(diǎn)間距離Fig.11 Distance between feature points

4 結(jié)論

針對(duì)目前面部整形手術(shù)因缺少三維模型進(jìn)行術(shù)前精確設(shè)計(jì)而導(dǎo)致手術(shù)成功率低的問(wèn)題，開展了三維人臉重建系統(tǒng)研究。介紹了三維重建技術(shù)的原理，詳細(xì)闡述了利用高精度深度相機(jī)獲取的深度圖像通過(guò)轉(zhuǎn)換、拼接、配準(zhǔn)得到精準(zhǔn)的三維人臉點(diǎn)云模型，網(wǎng)格化處理并提出利用半邊結(jié)構(gòu)的細(xì)分算法提高重建人臉模型的精度，最后做了實(shí)際實(shí)驗(yàn)并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析。經(jīng)過(guò)對(duì)比實(shí)驗(yàn)得到以下結(jié)論。

(1)設(shè)計(jì)的三維人臉重建系統(tǒng)能有效提升重建精度，與真實(shí)人臉對(duì)比誤差均值小于2 mm，且小于市場(chǎng)上同類產(chǎn)品(Bellus3d)。

(2)重建的三維人臉模型可直接用于指導(dǎo)醫(yī)生進(jìn)行術(shù)前模擬演示，確定手術(shù)方案，使醫(yī)生和求美者能有效溝通，從而提升手術(shù)成功率。

(3)設(shè)計(jì)的三維重建系統(tǒng)算法重建精度較高，能滿足目前醫(yī)學(xué)整形手術(shù)的需求，但是在重建時(shí)間和掃描環(huán)境影響等方面還有待提高。一方面本文的算法三維重建時(shí)間較長(zhǎng)，重建速度較慢；另一方面，三維掃描設(shè)備在工作時(shí)需要良好的光照環(huán)境，而且要求用戶保持靜止?fàn)顟B(tài)，如果有眨眼或者輕微運(yùn)動(dòng)，都會(huì)導(dǎo)致三維面部模型出現(xiàn)紋理顏色不一致現(xiàn)象，重建效果較差。針對(duì)以上兩點(diǎn)，下一步將加入圖像處理算法來(lái)去除光照不均以及運(yùn)動(dòng)偽影的影響，同時(shí)進(jìn)一步提高重建算法的處理速度。