梁毅途 徐 立， 徐 剛

（1.天鍵醫(yī)療科技（廣東）有限公司，廣東 中山 528400；2.中山市武漢大學(xué)技術(shù)轉(zhuǎn)移中心，廣東 中山 528400）

目前，我國(guó)工業(yè)體系已逐漸完善，類別齊全，系統(tǒng)完備。與此同時(shí)，隨著計(jì)算機(jī)技術(shù)快速進(jìn)步，三維數(shù)字化技術(shù)也快速發(fā)展，但是在工業(yè)制造、醫(yī)療和文物保護(hù)等領(lǐng)域中，該技術(shù)還存在很多問(wèn)題，例如在工業(yè)生產(chǎn)制造過(guò)程中，零部件品種繁多，結(jié)構(gòu)復(fù)雜，這些復(fù)雜、不規(guī)則形體的三維重建需要耗費(fèi)巨大的時(shí)間和人力，但是效率很低，因此有必要研究制定一套快速、全自動(dòng)化三維建模方案。在這些場(chǎng)景中，復(fù)雜、不規(guī)則形體三維重建的關(guān)鍵技術(shù)是精細(xì)、完整地獲取三維準(zhǔn)結(jié)構(gòu)數(shù)據(jù)。本文以人耳為例探討了復(fù)雜結(jié)構(gòu)的三維建模問(wèn)題。人耳形態(tài)各異且耳道無(wú)法直接觀察，因此，對(duì)耳朵這種不規(guī)則形體的建模來(lái)說(shuō)，精準(zhǔn)構(gòu)建耳朵三維模型具有重要的理論意義和實(shí)際價(jià)值。

1 方案總體設(shè)計(jì)

1.1 總體方案

針對(duì)人耳的三維模型重建問(wèn)題，本文提出軟硬件結(jié)合的不規(guī)則形體全自動(dòng)三維掃描重建方案。本文設(shè)計(jì)了一套硬件系統(tǒng)，包括空間位置傳感器、計(jì)算機(jī)、機(jī)械臂、掃描儀、控制器、顯示器、電源和底座，通過(guò)獲取人耳三維點(diǎn)云數(shù)據(jù)，進(jìn)行快速、全自動(dòng)的耳道建模。在軟件部分，通過(guò)獲取各掃描路徑的點(diǎn)云數(shù)據(jù)，進(jìn)行一系列配準(zhǔn)處理，例如噪聲濾波、點(diǎn)云簡(jiǎn)化和點(diǎn)云三維重構(gòu)等，重構(gòu)耳朵的數(shù)據(jù)模型。在此基礎(chǔ)上，通過(guò)耳道數(shù)據(jù)庫(kù)和特征庫(kù)，對(duì)采集的耳道數(shù)據(jù)進(jìn)行匹配算法，找到最佳的耳道模型，完成耳廓三維重建。

1.2 硬件系統(tǒng)構(gòu)成以及選型

本研究基于硬件系統(tǒng)三維掃描人耳，獲得數(shù)據(jù)，快速、全自動(dòng)采集三維點(diǎn)云數(shù)據(jù)。掃描儀獲取的線輪廓二維數(shù)據(jù)經(jīng)過(guò)六自由度機(jī)械臂處理后拓展成空間的三維數(shù)據(jù)。硬件系統(tǒng)由空間位置傳感器、計(jì)算機(jī)、機(jī)械臂、掃描儀、控制器、顯示器、電源和基座組成?！皰呙鑳x+機(jī)械臂+空間位置傳感器”構(gòu)成數(shù)據(jù)采集的核心；“計(jì)算機(jī)”控制機(jī)械臂運(yùn)動(dòng)，采集并處理掃描儀的數(shù)據(jù)；“基座+固定裝置”保證當(dāng)處于不同機(jī)械臂姿態(tài)時(shí)，硬件系統(tǒng)掃描的平穩(wěn)性和可靠性。硬件系統(tǒng)各部分如圖1所示。

圖1 硬件系統(tǒng)各部分示意圖

1.2.1 六自由度機(jī)械臂

本研究使用的機(jī)械臂是國(guó)產(chǎn)六自由度機(jī)械臂安諾5（AR5）。機(jī)械臂由機(jī)器人本體、控制箱和示教器3個(gè)部分組成，如圖2所示。調(diào)整控制機(jī)械臂姿態(tài)，一方面利用控制箱的網(wǎng)線與計(jì)算機(jī)建立連接，計(jì)算機(jī)發(fā)送控制指令給控制箱，控制箱執(zhí)行指令來(lái)控制機(jī)械臂；另一方面可以使用示教盒編程直接控制機(jī)器人本體。

圖2 六自由度機(jī)械臂

本研究選取的線激光輪廓掃描儀是深視智能線激光掃描儀SR6260。掃描儀傳感頭由激光發(fā)射LED單元、傳感頭激光發(fā)射窗口、傳感頭感光窗口和高柔性連接線等組成，并搭配控制器SR7001和供電直流電源采集被測(cè)物體輪廓信息。

1.2.2 空間位置傳感器

當(dāng)多姿態(tài)掃描人耳時(shí)，要求人耳空間位置不變，此時(shí)得到的掃描數(shù)據(jù)是真實(shí)有效的。因此，當(dāng)掃描時(shí)，為保證人耳空間位置相對(duì)不變，須在硬件平臺(tái)中采用1套固定裝置。為判別人耳固定狀態(tài)下掃描效果的優(yōu)劣，采用空間位置傳感器來(lái)記錄人頭的晃動(dòng)量，判斷單次人耳掃描姿態(tài)，剔除不穩(wěn)定掃描結(jié)果，并修正穩(wěn)定掃描結(jié)果。

1.2.3 其他硬件模塊

為實(shí)現(xiàn)空間位置傳感器、機(jī)械臂和掃描儀與計(jì)算機(jī)、供電設(shè)備和控制設(shè)備之間的相對(duì)固定配合，采用艾頓（iOptron）重型立柱三腳架作為基座，用于支撐和固定各硬件模塊。在掃描過(guò)程中，當(dāng)掃描真人人耳時(shí)，為了減少人體晃動(dòng)造成人耳偏移的情況，降低因晃動(dòng)帶來(lái)的誤差，使用側(cè)立板、小平板和左右支撐板等零部件固定人體頭部，這些零部件可縮進(jìn)頭盔，組成1套人體頭部固定裝置。

2 系統(tǒng)軟件設(shè)計(jì)

本文的軟件系統(tǒng)主要包括點(diǎn)云數(shù)據(jù)采集模組、空間位置傳感器定位模組和點(diǎn)云數(shù)據(jù)處理模組3個(gè)模組。采集模組通過(guò)硬件平臺(tái)和線激光輪廓掃描儀獲取二維激光輪廓信息，結(jié)合機(jī)械臂參數(shù)計(jì)算得到三維耳廓數(shù)據(jù)。定位模組利用空間位置傳感器實(shí)時(shí)追蹤頭部固定模塊的靶標(biāo)，通過(guò)數(shù)字圖像處理進(jìn)行靶標(biāo)跟蹤。處理模組則通過(guò)點(diǎn)云配準(zhǔn)、點(diǎn)云提取、點(diǎn)云去噪、點(diǎn)云精簡(jiǎn)、第二道建模和三維建模來(lái)處理不同姿態(tài)下的三維點(diǎn)云數(shù)據(jù)[1]，系統(tǒng)軟件流程如圖3所示。

圖3 系統(tǒng)軟件流程

在掃描前需要設(shè)定掃描參數(shù)，可以選擇左耳掃描、右耳掃描和雙耳掃描3種掃描姿態(tài)，搭載空間位置傳感器，實(shí)時(shí)記錄在掃描過(guò)程中的晃動(dòng)量，同時(shí)顯示相機(jī)的幀率、分辨率等信息。處理模組解算二維線輪部掃描儀的三維數(shù)據(jù)并得到耳朵數(shù)據(jù)處理軟件所需的二進(jìn)制文件。在解算完成后，根據(jù)空間位置傳感器記錄的晃動(dòng)信息得到各掃描姿態(tài)的掃描穩(wěn)定性，如果某姿態(tài)的掃描穩(wěn)定性很差（穩(wěn)定性很好：σ＜0.05 mm；穩(wěn)定性很差：σ＞0.10 mm），則該次掃描數(shù)據(jù)不可信，須重新掃描。

為了高效、全自動(dòng)獲取三維耳廓信息，需要設(shè)定掃描儀的姿態(tài)和運(yùn)行速度，并采用多方向、多角度的掃描策略以完成三維數(shù)據(jù)覆蓋。設(shè)掃描速度為15 mm/s，決定相鄰輪廓線間距，并與二維激光線輪廓掃描儀的X軸分辨率相適應(yīng)。當(dāng)實(shí)際運(yùn)行時(shí)，要保證掃描儀平穩(wěn)且盡量縮短運(yùn)動(dòng)時(shí)間。選擇盡可能少但是覆蓋范圍廣的掃描方向，為獲取雙耳模型，左、右耳分別設(shè)計(jì)7個(gè)掃描方向。以單耳（左耳）掃描姿態(tài)為例，具體掃描方向說(shuō)明見(jiàn)表1。

表1 掃描方向說(shuō)明

在得到粗篩的耳朵模型后，下一步需要從中選擇1個(gè)三維耳朵模型作為掃描的人耳耳道數(shù)據(jù)的補(bǔ)充，這里用的是迭代最近點(diǎn)算法——ICP配準(zhǔn)的精確配準(zhǔn)方法。

采用本方案掃描得到的耳朵點(diǎn)云集設(shè)為P={p1，p2，...pm}，由初篩得到的耳朵模型點(diǎn)云集設(shè)為Q={q1，q2，...qm}，其中m、n為點(diǎn)云集中點(diǎn)的數(shù)量。精配準(zhǔn)須尋找1組R、T，使P中的每個(gè)點(diǎn)經(jīng)過(guò)變換后與Q中的最近點(diǎn)的誤差之和最小，即最小化該目標(biāo)函數(shù)，如公式（1）所示。

式中：f（R，T）為點(diǎn)云集合經(jīng)過(guò)旋轉(zhuǎn)和平移之后的最小平方和；N為點(diǎn)云集合中點(diǎn)的數(shù)量；qi為數(shù)據(jù)點(diǎn)的旋轉(zhuǎn)角；T為平移向量；R為最優(yōu)旋轉(zhuǎn)角；Rpi為原始點(diǎn)云的質(zhì)心旋轉(zhuǎn)角。

設(shè)最大迭代次數(shù)為kmax，單次迭代的均方誤差閾值為ξ，2次迭代的均方誤差之間的差值上限為ε。此時(shí)相似度最高，與耳朵建模效果最佳。

3 耳朵三維建模

在不同方向上得到耳道數(shù)據(jù)后，融合數(shù)據(jù)，就可以得到包括耳道信息的三維數(shù)據(jù)，進(jìn)行數(shù)據(jù)建模。本文采用目前點(diǎn)云重建效果比較好的泊松曲面重建算法，流程如圖4所示。

圖4 泊松曲面重建算法流程

點(diǎn)云數(shù)據(jù)通過(guò)泊松曲面算法進(jìn)行曲面重構(gòu)，設(shè)內(nèi)部指示函數(shù)的梯度為1，設(shè)外部指示函數(shù)的梯度為0，從而替代輸入的源點(diǎn)云數(shù)據(jù)，完成曲面模型構(gòu)建[1]。

3.1 八叉樹(shù)分割點(diǎn)云

重建泊松曲面的第一步是對(duì)融合后的點(diǎn)云構(gòu)建空間三維關(guān)系。節(jié)點(diǎn)函數(shù)F0為記錄點(diǎn)云數(shù)據(jù)的八叉樹(shù)的每個(gè)節(jié)點(diǎn)，如公式（2）所示。

式中：b為八叉樹(shù)節(jié)點(diǎn)的中心；q為目標(biāo)點(diǎn)云；w為節(jié)點(diǎn)寬度；F為基函數(shù)。F0滿足以下2個(gè)條件。1）對(duì)F0線性求和可以準(zhǔn)確表達(dá)向量場(chǎng)V。2）F0代表的泊松方程應(yīng)當(dāng)有解。

3.2 計(jì)算向量場(chǎng)

描述F0與向量場(chǎng)V的對(duì)應(yīng)關(guān)系，設(shè)D為八叉樹(shù)深度，如公式（3）所示。

式中：F（q）為八叉樹(shù)分割點(diǎn)云節(jié)點(diǎn)函數(shù)。

3.3 解算泊松方程

將曲面重建轉(zhuǎn)化為求解高維泊松方程，如公式（4）所示。

式中：c為八叉樹(shù)節(jié)點(diǎn)中心；B（x）為點(diǎn)云在x方向的均方差（距離系數(shù)）函數(shù)；B（y）為點(diǎn)云在y方向的均方差（距離系數(shù)）函數(shù)；B（z）為點(diǎn)云在z方向的均方差（距離系數(shù)）函數(shù)；F（x，y，z）為三維節(jié)點(diǎn)函數(shù)。*n為n個(gè)一樣的函數(shù)連續(xù)卷積操作；B（s）為均方差（距離系數(shù)）函數(shù)，x、y、z分別為該軸方向矩陣上的點(diǎn)云數(shù)據(jù)，如公式（5）所示。

將當(dāng)前臨近的8個(gè)節(jié)點(diǎn)以線性插值的方式分配，N（t）為當(dāng)前節(jié)點(diǎn)p的8個(gè)臨近節(jié)點(diǎn)，根據(jù)指示函數(shù)中表面梯度函數(shù)向量場(chǎng)進(jìn)行模型的表面估計(jì)，如公式（6）所示。

式中：（q）為表面梯度函數(shù)向量場(chǎng)模型的表面；λ為節(jié)點(diǎn)函數(shù)的權(quán)重；t為點(diǎn)云數(shù)據(jù)某點(diǎn)的K領(lǐng)域；FO（q）為點(diǎn)云的旋轉(zhuǎn)曲度；為該節(jié)點(diǎn)頂點(diǎn)的法向量。于是問(wèn)題轉(zhuǎn)為求解最小函數(shù)x，如公式（7）所示。

式中：為向量場(chǎng)V的微分算子。

利用在函數(shù)所在空間的拉普拉斯算子投影與F0組成的向量|?|，向維向量v逼近，求解函數(shù)x，如公式（8）所示。

矩陣L的特點(diǎn)是兼具稀疏與對(duì)稱性，求解該矩陣可以利用多重網(wǎng)格法。

3.4 求取等值面

求取等值面是整個(gè)泊松重建的最后一步，目的是重建模型表面，為了獲取點(diǎn)云的待建曲面，先選定一個(gè)針對(duì)求取等值面的最優(yōu)閾值，完成三角面片拼接，重建表面模型[2]。

掃描前，可以選擇左耳掃描、右耳掃描和雙耳掃描3種掃描方式，掃描儀在運(yùn)動(dòng)過(guò)程中計(jì)算晃動(dòng)量，實(shí)時(shí)顯示相機(jī)的分辨率信息。進(jìn)入數(shù)據(jù)處理階段后，會(huì)融合計(jì)算各方向的數(shù)據(jù)，得到耳朵數(shù)據(jù)處理軟件需要的二進(jìn)制文件。對(duì)耳朵數(shù)據(jù)進(jìn)行提取、去噪和簡(jiǎn)化等預(yù)處理，得到三維模型[2]，如圖5所示。

圖5 耳朵三維模型

4 模型匹配與建模

模型匹配分為粗匹配和精匹配。通過(guò)計(jì)算特征點(diǎn)構(gòu)成的特征矩陣間的漢明距離，粗匹配得到一系列粗篩的耳朵模型，但是具體應(yīng)當(dāng)選擇哪一個(gè)作為最終掃描人耳的耳道數(shù)據(jù)補(bǔ)充是未定的。精匹配是在粗匹配劃定的粗篩模型中進(jìn)行ICP配準(zhǔn)，得到相似度最高的10個(gè)耳朵模型，用相似度最高的耳朵模型來(lái)擬合掃描點(diǎn)云的耳道數(shù)據(jù)，如圖6所示。

圖6 模型擬合

利用本研究硬件系統(tǒng)和耳朵數(shù)據(jù)獲取軟件得到外耳廓三維點(diǎn)云數(shù)據(jù)。通過(guò)建立耳朵數(shù)據(jù)庫(kù)以及耳模匹配，補(bǔ)充外耳廓點(diǎn)云數(shù)據(jù)，得到完整的右耳泊松重建改進(jìn)參數(shù)，重建效果如圖7所示。

圖7 右耳泊松重建改進(jìn)參數(shù)重建效果

5 結(jié)論

復(fù)雜形體能夠利用全自動(dòng)耳道三維重建技術(shù)進(jìn)行三維建模，該技術(shù)究?jī)r(jià)值很高，應(yīng)用前景廣闊。本研究通過(guò)硬件系統(tǒng)和軟件系統(tǒng)的配合，得到了人耳的精確三維模型。研究結(jié)果表明，該技術(shù)在精確度和自動(dòng)化程度上都表現(xiàn)出較高水平，實(shí)用價(jià)值高。未來(lái)研究可以利用優(yōu)化算法提高重建精度，擴(kuò)大應(yīng)用領(lǐng)域，為醫(yī)療、制造等領(lǐng)域提供更強(qiáng)大的技術(shù)支持。該技術(shù)在定制助聽(tīng)器和診斷耳朵疾病等醫(yī)療領(lǐng)域的應(yīng)用，以及結(jié)合現(xiàn)有三維打印技術(shù)，為患者提供個(gè)性化治療方案等方面也具有巨大的潛力。

本研究結(jié)合硬件系統(tǒng)和軟件系統(tǒng)，構(gòu)建了全自動(dòng)耳道三維重建技術(shù)。研究結(jié)果表明，該技術(shù)在精確度和自動(dòng)化程度上都表現(xiàn)出較高水平。未來(lái)研究可以從以下4個(gè)方面進(jìn)行優(yōu)化。1）算法優(yōu)化。進(jìn)一步優(yōu)化現(xiàn)有算法，提高重建精度和速度，為人耳和其他復(fù)雜形體的三維建模提供更強(qiáng)大的技術(shù)支持。2）應(yīng)用領(lǐng)域擴(kuò)大。將該技術(shù)應(yīng)用于更多領(lǐng)域，例如醫(yī)療、制造和藝術(shù)等，為相關(guān)行業(yè)提供高效的三維建模解決方案。3）個(gè)性化治療方案。結(jié)合現(xiàn)有三維打印技術(shù)，為患者提供個(gè)性化治療方案，例如定制助聽(tīng)器和診斷耳朵疾病等。4）疾病診斷與預(yù)防。大量分析耳道三維模型的數(shù)據(jù)有助于發(fā)現(xiàn)耳道形狀與疾病之間的關(guān)聯(lián)，為疾病診斷和預(yù)防提供新思路。