摘" 要：基于混合現(xiàn)實(shí)的可視化技術(shù)，彌補(bǔ)傳統(tǒng)視角的局限性，是智能制造領(lǐng)域提升設(shè)計(jì)精度和生產(chǎn)效率的重要工具。然而因?yàn)閷?shí)際環(huán)境中各種誤差的影響，在混合現(xiàn)實(shí)中進(jìn)行可視化時(shí)位姿估計(jì)效果往往并不理想，無法準(zhǔn)確實(shí)現(xiàn)可視化效果。為此，針對智能制造環(huán)境中的特殊需求，提出一種虛實(shí)空間匹配的位姿估計(jì)方法?；贛R平臺通過使物體剛性連接來設(shè)計(jì)定位算法實(shí)現(xiàn)虛擬物體位姿估計(jì)的標(biāo)定，設(shè)計(jì)人機(jī)交互方案，并構(gòu)建應(yīng)用于CFD物理場結(jié)果的可視化場景，達(dá)到虛實(shí)匹配的效果。最終發(fā)布為一個(gè)通用平臺（UWP）應(yīng)用，使其能在多種設(shè)備上運(yùn)行，從而支持智能制造領(lǐng)域的跨設(shè)備應(yīng)用。

關(guān)鍵詞：CFD; 混合現(xiàn)實(shí); 位姿估計(jì); 人機(jī)交互; 虛實(shí)匹配

中圖分類號：G434" " " 文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號：2095-2945（2025）08-0032-04

Abstract： Visualization technology based on mixed reality makes up for the limitations of traditional perspectives and is an important tool for improving design accuracy and production efficiency in the field of intelligent manufacturing. However， due to the influence of various errors in the actual environment， the pose estimation effect when visualized in mixed reality is often not ideal， and the visualization effect cannot be accurately achieved. To this end， a pose estimation method based on virtual-real space matching is proposed to meet the special needs of intelligent manufacturing environment. Based on the MR platform， a positioning algorithm is designed to realize the calibration of virtual object pose estimation by rigidly connecting objects， a human-computer interaction scheme is designed， and a visualization scene applied to the CFD physical field results is constructed to achieve the effect of virtual-real matching. It was eventually released as a Universal Windows Platform （UWP） application， allowing it to run on multiple devices， thereby supporting cross-device applications in the intelligent manufacturing field.

Keywords： CFD; mixed reality; pose estimation; human-computer interaction; virtual-real matching

在現(xiàn)代技術(shù)環(huán)境中，混合現(xiàn)實(shí)（MR）技術(shù)正逐漸成為增強(qiáng)用戶體驗(yàn)的關(guān)鍵工具[1]，它通過整合物理和數(shù)字環(huán)境，將虛擬內(nèi)容與現(xiàn)實(shí)世界結(jié)合，為用戶提供了前所未有的沉浸式體驗(yàn)[2]。這種技術(shù)非常依賴空間定位的準(zhǔn)確性，因?yàn)樗_保了虛擬對象能夠在物理世界中正確地對齊和交互。雖然目前存在多種復(fù)雜的空間定位方法，但它們常常需要依賴昂貴的硬件或復(fù)雜的計(jì)算[3-4]。因此，開發(fā)一種簡便而有效的定位方法顯得尤為重要，尤其是在資源有限的混合現(xiàn)實(shí)場景中。

目前，在混合現(xiàn)實(shí)環(huán)境下進(jìn)行可視化時(shí)，對真實(shí)物理對象的識別，以及真實(shí)場景和虛擬對象信息的融合、疊加匹配方法的研究還不足[5]。在混合現(xiàn)實(shí)中真實(shí)場景是通過傳感器獲取的實(shí)際環(huán)境信息，而虛擬對象是通過計(jì)算機(jī)生成的虛擬元素[6]。位姿估計(jì)，指的是在三維空間中確定一個(gè)物體的位置和方向。位姿估計(jì)方法的目標(biāo)是將虛擬對象與真實(shí)場景進(jìn)行精準(zhǔn)的對齊和匹配，使得虛擬對象能夠與真實(shí)場景無縫融合，它不僅關(guān)乎視覺呈現(xiàn)的連貫性，也是實(shí)現(xiàn)物理與虛擬互動的基礎(chǔ)[7]。通過位姿估計(jì)，才能正確地在現(xiàn)實(shí)空間將虛擬物體與現(xiàn)實(shí)物體進(jìn)行準(zhǔn)確地疊加和匹配[8]。例如，醫(yī)療模擬、工業(yè)設(shè)計(jì)和遠(yuǎn)程協(xié)作等應(yīng)用場景中[9]，位姿估計(jì)的準(zhǔn)確性直接影響到應(yīng)用的可用性和效果。

本文提出了一種基于平面三點(diǎn)的位姿估計(jì)方法，該方法在混合現(xiàn)實(shí)技術(shù)中應(yīng)用簡單且直觀。通過使用3個(gè)已知的平面點(diǎn)坐標(biāo)和相對應(yīng)的距離，能夠精確地定位和估計(jì)需要定位的點(diǎn)在三維空間中的位置。Microsoft公司推出的HoloLens是一款典型的基于混合現(xiàn)實(shí)技術(shù)的設(shè)備，該設(shè)備擁有定制的全息處理單元，利用它的能力，結(jié)合MR開發(fā)平臺進(jìn)行人機(jī)交互的方案設(shè)計(jì)和相應(yīng)處理，最終實(shí)現(xiàn)將虛擬對象準(zhǔn)確快速地放置在現(xiàn)實(shí)世界的對應(yīng)位置。這種簡便的位姿估計(jì)方法不僅提升了最終用戶的沉浸感，減少了操作流程的繁瑣，也為混合現(xiàn)實(shí)環(huán)境下虛擬內(nèi)容的疊加技術(shù)提供了新的參考方案。

1" 虛實(shí)空間匹配的位姿估計(jì)策略

針對混合現(xiàn)實(shí)設(shè)備的平臺要求和計(jì)算能力的局限性，整體的位姿估計(jì)技術(shù)路線是在PC端和MR端雙端實(shí)現(xiàn)的。首先在PC端完成對目標(biāo)圖像的預(yù)處理，借助MR開發(fā)工具提取出目標(biāo)圖像的關(guān)鍵點(diǎn)信息，并將關(guān)鍵點(diǎn)信息轉(zhuǎn)換成二進(jìn)制格式進(jìn)行數(shù)據(jù)的存儲。在MR端將目標(biāo)圖像導(dǎo)入至MR開發(fā)平臺，設(shè)定好目標(biāo)圖像與虛擬定位點(diǎn)的距離，當(dāng)使用攝像頭時(shí)，事先存儲的關(guān)鍵點(diǎn)信息會與攝像頭所捕捉到的現(xiàn)實(shí)目標(biāo)圖像進(jìn)行特征點(diǎn)的匹配，得到在平臺事先設(shè)定好的標(biāo)定物的位姿信息，通過標(biāo)定物的信息根據(jù)定位算法計(jì)算出該定位點(diǎn)在三維空間中的位姿信息，最后以該點(diǎn)生成整個(gè)定位的虛擬物體。整體技術(shù)路線如圖1所示。

1.1" 自動定位算法

精確地在現(xiàn)實(shí)空間中匹配并顯示虛擬物體是混合現(xiàn)實(shí)技術(shù)研究中的一個(gè)核心問題。當(dāng)前，傳統(tǒng)的定位算法通常依賴于建立識別系統(tǒng)并創(chuàng)建深度學(xué)習(xí)網(wǎng)絡(luò)模型在服務(wù)端進(jìn)行訓(xùn)練，以實(shí)現(xiàn)高精度的位置識別。雖然這種方法能夠提供精確的定位結(jié)果，但其復(fù)雜的操作流程并不完全適合于快速搭建虛擬可視化場景的應(yīng)用需求，也不適用于混合現(xiàn)實(shí)設(shè)備。因此，設(shè)計(jì)旨在探索一種更為高效的定位技術(shù)，以滿足結(jié)果可視化設(shè)計(jì)中有效信息疊加與匹配的需求，簡化操作流程。本文提出了一種基于平面三點(diǎn)定位算法的新方法，該方法能夠從二維平面精確映射到三維空間中，適應(yīng)復(fù)雜的實(shí)際應(yīng)用場景。并設(shè)計(jì)手動定位方法，允許用戶進(jìn)行直觀的姿態(tài)調(diào)整和校正，從而確保疊加匹配技術(shù)的準(zhǔn)確性和實(shí)用性。

系統(tǒng)初步采用了一種目前傳統(tǒng)的混合現(xiàn)實(shí)定位策略，通過在物理環(huán)境中部署特征圖像來記錄位置信息，放置的每個(gè)特征圖像都會含有與之對應(yīng)的坐標(biāo)數(shù)據(jù)。然后通過汲取3個(gè)特征圖像的坐標(biāo)信息來實(shí)現(xiàn)虛擬空間和現(xiàn)實(shí)空間的聯(lián)系?；贛R開發(fā)平臺，應(yīng)用這些坐標(biāo)數(shù)據(jù)進(jìn)行三維到二維空間的轉(zhuǎn)換，從而計(jì)算出虛擬物體在現(xiàn)實(shí)空間的位置。該方法如下。

平面三點(diǎn)定位中通過3個(gè)點(diǎn)在二維平面確定了一個(gè)點(diǎn)的位置，根據(jù)MR平臺使用的左手笛卡爾坐標(biāo)系，當(dāng)處于三維空間的3個(gè)點(diǎn)在同一平面時(shí)，可以忽略Y軸的影響，將定位點(diǎn)計(jì)算轉(zhuǎn)移到二維平面計(jì)算，并將Z軸當(dāng)作二維平面計(jì)算中的Y軸，也就是把各個(gè)點(diǎn)的縱坐標(biāo)轉(zhuǎn)換成豎坐標(biāo)。如圖2所示。

3個(gè)圓兩兩計(jì)算，將得到的3個(gè)點(diǎn)取均值可得該情況下模型的軸心坐標(biāo)

當(dāng)3個(gè)圓不相交的情況，同樣先考慮2個(gè)圓，根據(jù)比例半徑計(jì)算求出C點(diǎn)，最后取均值得到終端坐標(biāo)。此時(shí)的y值對應(yīng)三維空間的z值，通過計(jì)算可得到該模型的軸心點(diǎn)坐標(biāo)，使用MR開發(fā)工具固定模型相對于特征圖像的法向量和三維空間的y值，從而確定模型的朝向與高度，最終定位出整個(gè)虛擬模型在現(xiàn)實(shí)空間的位置。

1.2" 手動定位

在實(shí)現(xiàn)虛擬物體與實(shí)際環(huán)境中的精準(zhǔn)疊加過程中，經(jīng)常會遇到由于光照條件變化、特征圖像識別不準(zhǔn)確等因素影響匹配的準(zhǔn)確性。為應(yīng)對這一問題，設(shè)計(jì)了一個(gè)虛擬用戶界面（UI），用于實(shí)現(xiàn)虛擬物體的手動校準(zhǔn)功能。通過該界面，用戶可以操作一個(gè)虛擬遙桿，調(diào)整預(yù)先計(jì)算出的虛擬物體在二維平面上的坐標(biāo)，具體是調(diào)整其在X軸和Z軸上的相對位置，使虛擬物體能夠與真實(shí)物體實(shí)現(xiàn)完美的重合，從而保障了系統(tǒng)定位的精準(zhǔn)性。

2" 位姿估計(jì)實(shí)驗(yàn)

本文進(jìn)行的位姿估計(jì)實(shí)驗(yàn)是通過在真實(shí)模型上疊加CFD虛擬物理場可視化效果實(shí)現(xiàn)的，設(shè)計(jì)的實(shí)驗(yàn)環(huán)境見表1。

2.1" 搭建混合現(xiàn)實(shí)場景

搭建的混合現(xiàn)實(shí)場景采用MR開發(fā)工具進(jìn)行具體設(shè)計(jì)，通過預(yù)制體實(shí)現(xiàn)了凝視，手勢點(diǎn)擊，語音等操作。響應(yīng)事件時(shí)，場景能夠檢測到并處理時(shí)間以實(shí)現(xiàn)對應(yīng)的反應(yīng)。與PC端的按鈕點(diǎn)擊事件原理類似，用戶可以通過手勢觸碰來選擇不同的功能。此外，用戶還可以通過手勢對疊加的可視化模型進(jìn)行旋轉(zhuǎn)和拖動，從而實(shí)現(xiàn)全方位的展示與學(xué)習(xí)，如圖5所示。

將模型導(dǎo)入MR開發(fā)平臺時(shí)，需將模型的錨點(diǎn)設(shè)在整個(gè)模型的最底面。系統(tǒng)會根據(jù)定位算法計(jì)算出虛擬模型在現(xiàn)實(shí)空間中相對于3個(gè)特征圖像的位置，以此來確定定位點(diǎn)位置，一旦定位點(diǎn)確定，需要規(guī)定好方向向量，并讓預(yù)先導(dǎo)入MR開發(fā)平臺的虛擬模型以定位點(diǎn)為錨點(diǎn)進(jìn)行物體的生成，從而在真實(shí)物體上進(jìn)行疊加，同時(shí)可以選擇將真實(shí)物體的CFD可視化效果在真實(shí)物體上進(jìn)行疊加，實(shí)現(xiàn)溫度場等標(biāo)量物理場和流線的可視化效果展示。

2.2" 位姿估計(jì)驗(yàn)證測試

混合現(xiàn)實(shí)環(huán)境下的位姿估計(jì)以飛機(jī)機(jī)翼與飛機(jī)為例進(jìn)行驗(yàn)證，以MR平臺中特征圖像與虛擬物體的連接關(guān)系正確在現(xiàn)實(shí)環(huán)境放置特征圖像與真實(shí)物體，佩戴Hololens2通過手勢點(diǎn)擊功能UI界面，相對應(yīng)的虛擬模型便會正確匹配疊加到真實(shí)物體上。

以溫度場可視化為例，如圖6、圖7所示，顯示出溫度場在不同角度的可視化效果，并與真實(shí)機(jī)翼與飛機(jī)模型相疊加匹配，實(shí)現(xiàn)位姿估計(jì)。

3" 結(jié)束語

本文使用混合現(xiàn)實(shí)（MR）開發(fā)平臺設(shè)計(jì)了一種基于平面計(jì)算定位點(diǎn)坐標(biāo)的位姿估計(jì)方法，重點(diǎn)在于按照MR平臺要求和頭戴混合現(xiàn)實(shí)設(shè)備計(jì)算能力不足的問題，將操作放在PC端和MR端雙端進(jìn)行，設(shè)計(jì)了簡便快捷的定位方法，只需對特征圖像進(jìn)行計(jì)算便可以得到真實(shí)物體的具體位置，避免了繁瑣的操作流程。實(shí)現(xiàn)了混合現(xiàn)實(shí)環(huán)境下虛擬物體位姿估計(jì)的方法研究，本文搭建的混合現(xiàn)實(shí)場景沉浸感強(qiáng)，克服了傳統(tǒng)計(jì)算機(jī)屏幕視角的局限性。該場景交互性高，能夠滿足用戶的基本手勢和語音交互需求，適用于虛擬教學(xué)的演示。

參考文獻(xiàn)：

[1] 王同聚.虛擬和增強(qiáng)現(xiàn)實(shí)（VR/AR）技術(shù)在教學(xué)中的應(yīng)用與前景展望[J].數(shù)字教育，2017，3（1）：1-10.

[2] 黃進(jìn)，韓冬奇，陳毅能，等.混合現(xiàn)實(shí)中的人機(jī)交互綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（6）：869-880.

[3] 王全玉，米慶，申鵬洋，等.虛擬發(fā)射裝置在投影系統(tǒng)中的定位方法研究[J].系統(tǒng)仿真學(xué)報(bào)，2012，24（10）：2060-2065.

[4] 楊敏華，李利軍，李朝暉.超聲波三維空間定位在虛擬現(xiàn)實(shí)系統(tǒng)中的應(yīng)用[J].計(jì)算機(jī)仿真，2004（11）：145-147，151.

[5] 周忠，周頤，肖江劍.虛擬現(xiàn)實(shí)增強(qiáng)技術(shù)綜述[J].中國科學(xué)：信息科學(xué)，2015，45（2）：157-180.

[6] KHAN D， ULLAH S， RABBI I. Factors affecting the design and tracking of ARToolKit markers[J]. Computer Standards amp; Interfaces， 2015（41）：56-66.

[7] MARCHAND E， UCHIYAMA H， SPINDLER F. Pose estimation for augmented reality： a hands-on survey[J]. IEEE transactions on visualization and computer graphics， 2015，22（12）：2633-2651.

[8] 苑鑫，王海坤，趙曠世，等.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的燃?xì)廨啓C(jī)裝配指導(dǎo)系統(tǒng)研究與實(shí)現(xiàn)[J].熱能動力工程，2022，37（S1）：48-53.

[9] SOLMAZ S， VAN G T. Integration of Interactive CFD Simulations with AR and VR for Educational Use in CRE[M]//Computer Aided Chemical Engineering. Elsevier，2020（48）：2011-2016.