羅 斌

(中國工程物理研究院計算機應(yīng)用研究所，四川綿陽621999)

核輻射環(huán)境增強現(xiàn)實應(yīng)用發(fā)展初探

羅 斌

(中國工程物理研究院計算機應(yīng)用研究所，四川綿陽621999)

初步論述了增強現(xiàn)實技術(shù)在核輻射環(huán)境中的應(yīng)用發(fā)展，首先闡述了增強現(xiàn)實的基本特性，分析了適用于核輻射環(huán)境應(yīng)用的頭部姿態(tài)跟蹤、顯示和人機交互等關(guān)鍵技術(shù)，描述了增強現(xiàn)實技術(shù)在核電站、輻射手套箱、反應(yīng)堆等領(lǐng)域的應(yīng)用發(fā)展現(xiàn)狀，最后討論了發(fā)展趨勢和難點，并進行了總結(jié)。

增強現(xiàn)實；人機交互；核輻射環(huán)境

增強現(xiàn)實(Augmented Reality，AR)[1-4]是在用戶觀察的真實場景或者攝像機視頻圖像中添加計算機生成的文字、3D模型等信息，實現(xiàn)虛實融合視圖的高級人機交互技術(shù)。其基本原理是使用頭部姿態(tài)跟蹤器提供的姿態(tài)信息精確地對準虛擬的物體和攝像機攝取的視頻圖像或者通過透射方式觀看到的自然景象，當用戶在轉(zhuǎn)動或平移頭部時，用戶還能夠在視頻透射式或光學(xué)透射式頭盔顯示器(Head-mounted display，HMD)屏幕上觀看到精確對準的虛實融合圖像。Milgram等[5]使用一個橫跨純真實與純虛擬之間的連續(xù)閉集對虛擬現(xiàn)實(Virtual Reality)、增強現(xiàn)實、增強虛擬(Augmented Virtuality)以及混合現(xiàn)實(Mixed Reality)進行清晰甄別，將增強現(xiàn)實描述為更接近于純真實空間之間的一段連續(xù)空間，如圖1所示。由于用戶不僅可以與增強現(xiàn)實系統(tǒng)的虛擬物體進行交互，而且還可以與真實環(huán)境進行交互，這種高級人機交互能力促使增強現(xiàn)實不僅廣泛應(yīng)用于工業(yè)[6，7]、軍事[8]、醫(yī)學(xué)[9]、文化遺跡[10]、游戲娛樂[11]、導(dǎo)航[12]和教育[13]等領(lǐng)域，而且在核輻射環(huán)境中也具有巨大應(yīng)用潛力。

在核科學(xué)領(lǐng)域，核輻射主要指由放射性物質(zhì)以波或微粒形式發(fā)射出的一種能量，分為天然輻射和人工輻射，前者源自于宇宙射線、陸地輻射源和體內(nèi)放射性物質(zhì)，后者來自于放射性診斷和放射性治療輻射源如X光，放射性藥物、放射性廢物、核武器爆炸以及核反應(yīng)堆和加速器產(chǎn)生的照射等。核輻射環(huán)境是可產(chǎn)生核輻射的工作環(huán)境，本文特指為工業(yè)領(lǐng)域放射性物質(zhì)的加工制造、存儲、實驗以及應(yīng)用環(huán)境。放射性物質(zhì)一般在封閉手套箱內(nèi)進行加工，可利用核反應(yīng)原理產(chǎn)生強輻射，或構(gòu)建各種裂變反應(yīng)堆產(chǎn)生核能，被應(yīng)用于核電站、核動力潛艇和火箭、核裝備等。核輻射環(huán)境的共同特點是安全第一，必須采取核輻射防護措施防止核輻射泄漏造成環(huán)境污染，防止強輻射射線進入人體內(nèi)將對身體健康造成傷害，使人致病、致癌和致死。防輻射措施包括控制工作用戶的受照射時間，增大與輻射源距離以及采用屏蔽物進行隔離等。此外，操作人員與核輻射環(huán)境構(gòu)成一個閉環(huán)工作環(huán)境，操作人員也是影響核輻射環(huán)境安全的要因素。操作人員必須借助于工作手冊熟悉和掌握工作流程，熟練操作設(shè)備，經(jīng)過數(shù)年培訓(xùn)，才能上崗執(zhí)行工作任務(wù)，也必須具備較強的技術(shù)能力和心理素質(zhì)，不能出現(xiàn)任何操作失誤，否則會造成重大經(jīng)濟損失甚至生命危險。因此，改善工作人員的工作環(huán)境，使得操作人員遠離輻射環(huán)境，并結(jié)合使用增強現(xiàn)實技術(shù)對工作過程進行培訓(xùn)和引導(dǎo)，提高工作效率和縮短培訓(xùn)周期，增強核輻射環(huán)境的安全性具有現(xiàn)實意義。

圖1 Milgram等的真實-虛擬連續(xù)閉集示意圖Fig.1 Melgram’reality-virtuality continuum

目前，在國內(nèi)很多大學(xué)和研究機構(gòu)對增強現(xiàn)實進行了深入研究，但目前關(guān)于增強現(xiàn)實在核輻射環(huán)境中的應(yīng)用還未見文獻報道。本文對增強現(xiàn)實技術(shù)及其在核輻射環(huán)境中的應(yīng)用發(fā)展進行初步討論，首先介紹增強現(xiàn)實基本屬性，然后分析適用于核輻射環(huán)境應(yīng)用的增強現(xiàn)實關(guān)鍵技術(shù)，最后闡述增強現(xiàn)實在核輻射工業(yè)環(huán)境中的應(yīng)用現(xiàn)狀，討論了發(fā)展趨勢和技術(shù)難點。

1 增強現(xiàn)實基本屬性

增強現(xiàn)實技術(shù)有其區(qū)別于虛擬現(xiàn)實的三大獨特特性：(1)虛實融合； (2)實時交互；(3)三維注冊。這三大屬性支持增強現(xiàn)實在核輻射環(huán)境中的不同應(yīng)用。

1.1 虛實融合

增強現(xiàn)實的虛實融合方式可分為三類。第一類是二維融合，即直接在視頻圖像上或者在虛擬的二維平面上添加文字、圖片和動畫等2D虛擬對象。這類虛實融合方式主要用于界面虛擬菜單[14]，用于顯示工藝流程手冊，工具圖片，以及工藝操作動畫等，幫助用戶在感知真實視頻圖像環(huán)境的同時，也能即時獲得當前真實環(huán)境所需的信息，比如下一步的工藝操作，圖像中操作設(shè)備的使用方法等，如圖2(a)所示。第二類是三維融合，是在觀察的真實物體上添加3D虛擬對象，并在真實物體移動旋轉(zhuǎn)等的同時，虛擬對象實時地與真實物體對準在一起。這類融合方式主要用于顯示三維模型，以及三維操作動作，比如旋轉(zhuǎn)控制板上的按鈕的等，如圖1(b)所示。第三類融合方式是第一類與第二類的組合，即在用戶觀察的設(shè)備上顯示虛擬信息，當用戶觀察視角變化時，顯示的2D信息可以伴隨真實物體產(chǎn)生移動，但是該虛擬的2D信息會始終面向用戶，信息清晰度隨觀察視距變化而變化，視距越小越清晰，視距越大越模糊。

圖2 增強現(xiàn)實虛實融合方式示意圖Fig.2 virtual-real fusion of AR(a) 二維融合； (b) 三維融合

1.2 實時交互

增強現(xiàn)實的實時交互方式可分為兩類。第一類是用戶通過攝像機提供的圖像與真實環(huán)境進行人機交互，其特點是不需要任何交互媒介，直接利用攝像機提供的視頻作為交互接口，如圖2所示。用戶可以直接通過視頻圖像觀察自己的交互動作，也可以在虛擬的二維或三維信息引導(dǎo)下進行操作動作，比如根據(jù)部件裝配動畫進行裝配等。第二類是用戶與虛實融合視圖中的虛擬信息進行交互，可以單獨使用標志板、人手勢等交互媒介，也可以將人手勢、語音等進行綜合進行多模人機交互，詳見2.3節(jié)具體討論。

1.3 三維注冊

三維注冊是增強現(xiàn)實技術(shù)的核心特征，是指在不同觀察視角條件下，通過實時跟蹤用戶的頭部姿態(tài)，將頭部姿態(tài)的投影矩陣與AR環(huán)境中虛擬攝像機的投影矩陣保持一致，實時對準虛擬的三維信息與真實的環(huán)境。實際應(yīng)用中，由于頭部快速運動或者頭部姿態(tài)估計不精確等原因，虛擬物體并不會完全與真實環(huán)境精確對準。評價虛擬物體與真實環(huán)境對準的標準是注冊誤差[15]，包括靜態(tài)誤差和動態(tài)誤差，前者為描述空間域虛實物體之間的姿態(tài)之差，后者為描述時間域虛實物體之間的時間差。靜態(tài)誤差的來源包括光學(xué)元件畸變、姿態(tài)優(yōu)化估計算法、視參數(shù)、標志物布局結(jié)構(gòu)、圖像噪聲等，一般可采用標定攝像機內(nèi)參數(shù)[16]獲得光學(xué)元件畸變參數(shù)，采用有最小二乘法和隨機抽樣一致性等方法[17]優(yōu)化姿態(tài)估計值等。動態(tài)誤差的來源來自圖像輸入端和圖像顯示端的系統(tǒng)延遲，一般采用濾波方法[18]進行預(yù)測，減小動態(tài)延遲誤差。

2 增強現(xiàn)實關(guān)鍵技術(shù)

構(gòu)建一個面向核輻射環(huán)境應(yīng)用的增強現(xiàn)實系統(tǒng)，重點需要考慮到系統(tǒng)用戶的頭部姿態(tài)跟蹤、融合圖像的顯示、用戶與系統(tǒng)的人機交互等關(guān)鍵技術(shù)問題，本小節(jié)重點介紹和分析核輻射環(huán)境AR應(yīng)用的這幾項關(guān)鍵技術(shù)。

2.1 頭部姿態(tài)跟蹤技術(shù)

頭部姿態(tài)跟蹤技術(shù)[19]包括機械、電磁、GPS、超聲波視覺攝像機以及慣性傳感器等硬件跟蹤技術(shù)和混合跟蹤技術(shù)，其中機械和電磁跟蹤器在對跟蹤較高的AR領(lǐng)域已較少使用。GPS是使用多個衛(wèi)星估計用戶絕對位置的全球?qū)Ш较到y(tǒng)，跟蹤范圍大，穩(wěn)定性好，但無法在室內(nèi)使用；超聲波是根據(jù)超聲波發(fā)射源信號到達接收器之間的時間差、相位差或聲壓差估計位置和方向，精度高，穩(wěn)定性好，但需要超聲波源，成本高，刷新率低，有遮擋；慣性傳感器是使用慣性陀螺儀和微加速計來估計相對位置和方向，體積小、免遮擋，刷新率高，計算負載低，但內(nèi)部漂浮導(dǎo)致精度下降；視覺跟蹤器使用攝像機跟蹤目標，利用計算機視覺技術(shù)計算攝像機姿態(tài)，分為標識(Marker)跟蹤和免標識(Markerless)跟蹤，前者使用LED[20]，二維碼[21]，ARToolKit[21]，AR-Tag[23]等作為攝像機跟蹤目標，成本低廉，可測性好，高精度，穩(wěn)定性好，遮擋，大范圍內(nèi)需布置大量標志板，提前測量標志板；后者使用邊緣[24]、角點[25]和平面[26]，特征不變量[27]等復(fù)雜自然特征作為攝像機跟蹤目標，計算負載高，在動態(tài)環(huán)境下跟蹤不穩(wěn)定；混合跟蹤器是是不同跟蹤器的組合，可實現(xiàn)不同跟蹤器之間的優(yōu)勢互補，實現(xiàn)大范圍室內(nèi)外跟蹤，但需要復(fù)雜的標定和同步方法[28]。

核輻射增強現(xiàn)實環(huán)境下的跟蹤方法選擇取決于具體應(yīng)用和跟蹤范圍。首先，輻射工業(yè)環(huán)境一般都處于室內(nèi)，不能使用GPS，不能在環(huán)境中布置超聲波源和攝像機等，只有慣性傳感器，視覺攝像機和慣性-視覺混合跟蹤器是比較合適的選擇。其次，由于輻射環(huán)境中的場景特征比較復(fù)雜，使用自然特征跟蹤方法，計算負載大，跟蹤不穩(wěn)定，因此使用標識物特征跟蹤，能夠同時確保低負載、高精度和穩(wěn)定性。目前使用的ARToolKit等標志物適用于約3m以內(nèi)的短距離跟蹤；當跟蹤距離擴大時，不可能在環(huán)境中放置大型方塊標志板，但可以使用線型標志物[29]，將線型標識安置在管線等長條型物體上，可有效擴大跟蹤距離。能夠同時進行短距離和長距離跟蹤的方法是使用多尺度標志板[30]，在長距離時跟蹤該標志板的外圓特征，在短距離時跟蹤該標志板的內(nèi)圓特征。最后，在有遮擋的AR環(huán)境，可以選擇使用攝像機-慣性混合傳感器進行跟蹤，既能夠補償慣性漂浮，又能夠解決攝像機遮擋導(dǎo)致的跟蹤失敗問題?？梢?，在核輻射環(huán)境下，標志物跟蹤是最適用的頭部姿態(tài)跟蹤方法。

2.2 顯示技術(shù)

目前AR領(lǐng)域使用的顯示設(shè)備包括計算機顯示器、視網(wǎng)膜顯示器、頭盔顯示器和手持設(shè)備等，其中頭盔顯示器又包括視頻透射HMD、光學(xué)透射HMD[31]、投影式HMD(Head-Mounted Projective Displays，HMPD)[32]等。計算機顯示器是最普通的AR顯示器，視網(wǎng)膜顯示器使用激光將虛實融合的圖像合成在視網(wǎng)膜上，亮度好，電源能耗低、高分辨率，重量輕，目前實際應(yīng)用還少；視頻透射HMD則是將視頻攝像機的真實視頻圖像與計算機生成的虛擬圖形合并顯示在HMD的屏幕上，虛實物體精確對準，高亮度，有時間延遲，圖像分辨率受限制；光學(xué)透射HMD是將用戶人眼觀察到真實的自然場景與HMD上的虛擬圖形合成為虛實融合場景，無時間延遲、無漂浮，無圖像退化，但標定步驟復(fù)雜，同時觀察虛實物體有難度；HMPD綜合使用投影儀和折反射材料將虛擬圖像投影到現(xiàn)實的真實環(huán)境實現(xiàn)融合，免遮擋，可多人觀察融合圖像，但需要在環(huán)境中安裝設(shè)備；投影顯示系統(tǒng)由投影機和顯示屏幕構(gòu)成，供多人觀察融合圖像；手持式設(shè)備包括指平板電腦、移動智能設(shè)備等，體積小、顯示屏幕小、重量輕，工作模式可切換，但顯示器屏幕小，手不能進行操作。AR顯示技術(shù)的發(fā)展趨勢是逐步向高分辨率、大視場、輕量級、完全真實感和交互感、便攜式等方面發(fā)展[33]。

在核輻射特殊工作環(huán)境中使用視網(wǎng)膜顯示器、光學(xué)投射HMD和HMPD是不現(xiàn)實的。在輻射材料封閉儲存環(huán)境中，操作人員只能遠程觀察內(nèi)部場景和進行遠程操作，因此適合選擇大型投影屏幕和計算機顯示器作為遠程顯示終端。在核電站環(huán)境下，操作人員需要大范圍工作，更適用于開發(fā)便攜式AR系統(tǒng)，使用視頻透射HMD和手持式顯示器是合理選擇；在核輻射手套箱環(huán)境下，操作人員工作區(qū)域小，且需要長時間工作，使用輕量級視頻透射HMD是優(yōu)化選擇。

2.3 人機交互技術(shù)

用戶與增強現(xiàn)實系統(tǒng)的人機交互主要表現(xiàn)在與虛擬物體之間的交互，它利用出現(xiàn)在真實環(huán)境中的標志物、手勢、語音等作為交互媒介，通過建立真實物體運動與虛擬物體任務(wù)命令之間的映射關(guān)系，操作真實環(huán)境中的物體，自然直覺地與虛擬物體進行交互，執(zhí)行用戶定義的操作，如圖3所示。標志物AR交互是用戶手持標志物，或者在手上綁定標志物，使用攝像機識別標志物，比如啟動菜單執(zhí)行AR建模任務(wù)[34]。語音交互是將語音語義轉(zhuǎn)換為任務(wù)命令，比如轉(zhuǎn)換為文字顯示以幫助聾啞人進行交流[35]。手勢AR交互是通過識別手勢進行交互，大致可分為三類方式。第一類是將彩色標志物綁定在手指上，使用攝像機跟蹤標志物獲得手指語義，實現(xiàn)虛擬撥號[36]和虛擬鍵盤操作[37]。第二類是3D自然手勢交互，指用攝像機直接跟蹤手指，直接在手上注冊虛擬物體，當手移動旋轉(zhuǎn)時虛擬物體隨之運動[38，39]。第三類是使用攝像機直接跟蹤手指/指尖運動，用手指/指尖實現(xiàn)與虛擬信息/物體的特定交互操作，比如用人手指尖拾取、移動和旋轉(zhuǎn)虛擬物體[40-43]，模擬鼠標交互行為[44]，選擇虛擬菜單執(zhí)行任務(wù)操作等[45-47]。此外，集成語音和手勢的多模交互在實際應(yīng)用中得到用戶更多青睞[48]。

圖3 用戶與AR虛擬物體進行交互Fig.3 AR interaction between users and virtual objects(a) 手持標定板交互； (b) 手指綁定彩色物體交互；(c) 3D手指交互； (d) 2D手指交互

在核輻射環(huán)境下，操作人員一般不使用自然手勢與注冊的虛擬物體進行直接的3D交互，更普遍的用法是通過識別手勢、語音和標志板，并翻譯為自己定義的命令釋義，啟動、終止某一任務(wù)操作，比如用手指模擬點擊虛擬菜單驅(qū)動虛擬的三維物體運動。在反應(yīng)堆遠程操作應(yīng)用中，由于操作用戶已經(jīng)脫離現(xiàn)場環(huán)境，遠程操作人員適合使用傳統(tǒng)的鼠標進行交互。在輻射手套箱特殊環(huán)境中，由于操作人員手戴防輻射手套進行操作，使用語音是最實用的任務(wù)交互方法，可以將防輻射手套顏色制作為與人手相似的皮膚色，直接跟蹤手套皮膚色，獲得防輻射手套指尖像素位置，實現(xiàn)與應(yīng)用系統(tǒng)二維虛擬對象的交互。在核電站便攜式或移動式AR應(yīng)用中，交互方法的選擇較多，可以使用攝像機跟蹤裸手、彩色標志物，或使用語音等。

3 應(yīng)用現(xiàn)狀

隨著增強現(xiàn)實技術(shù)的不斷發(fā)展進步，專家學(xué)者將增強現(xiàn)實基本屬性與核輻射特殊環(huán)境緊密結(jié)合，促進了增強現(xiàn)實技術(shù)在核輻射環(huán)境中的應(yīng)用研究，為操作人員帶來現(xiàn)實的好處，包括讓操作人員遠離輻射環(huán)境，輔助工作人員進行材料加工、設(shè)備維護和遠程操作，提高工作人員的工作效率和增強核輻射環(huán)境中工作人員的安全性。根據(jù)查閱的現(xiàn)有文獻資料，本文從水下核動力堆檢查、核電站維護、輻射材料加工制造等方面，介紹增強現(xiàn)實在核工業(yè)環(huán)境中的應(yīng)用現(xiàn)狀。

3.1 水下核動力堆檢查

增強現(xiàn)實在核輻射工業(yè)環(huán)境中較早的應(yīng)用是水下核動力堆。水下核動力堆主要利用核反應(yīng)過程來推動潛艇等水下機械設(shè)備。通用研究開發(fā)中心的Corby和Nafis[49]開發(fā)了一套增強現(xiàn)實遠程操作系統(tǒng)，用于執(zhí)行水下核動力堆的預(yù)期檢查、補給和修補儲運損耗等任務(wù)。該系統(tǒng)利用CAD模型創(chuàng)建了一個實時合成的水下核反應(yīng)堆虛實圖像，顯示了檢查任務(wù)數(shù)據(jù)，包括當前的實時視頻圖像、過去的視頻圖像和檢查報告，以及過去可靠的檢查決策等數(shù)據(jù)，提高了操作人員檢查任務(wù)的效率。

3.2 核電站維護

核電站利用核反應(yīng)過程，構(gòu)建發(fā)電堆產(chǎn)生電能，包括核材料、載熱體以及相關(guān)的控制設(shè)施、防護設(shè)施和安全系統(tǒng)等。核電站的特點是設(shè)備繁多復(fù)雜、工作區(qū)域大，這給增強現(xiàn)實在核電站的應(yīng)用帶來很大困難。Fuchs等[50]使用基于模型的特征識別方法跟蹤曲面和輪廓表面，開發(fā)了一個遠程呈現(xiàn)操作系統(tǒng)，并與監(jiān)督系統(tǒng)集成，讓操作人員遠程維護核電站的加壓水反應(yīng)堆。德國慕尼黑理工大學(xué)的Klinker等[51]開發(fā)了用于核電站氦激勵裝置維護的便攜式增強現(xiàn)實系統(tǒng)，該系統(tǒng)驗證了交互式電子手冊(interactive electronic technical manuals，IETM)、IETM網(wǎng)絡(luò)傳輸、語音識別分析和LCD平板等輸入輸出用戶接口的實用性，實現(xiàn)了基于組件的系統(tǒng)集成，其界面如圖4所示。日本京都大學(xué)能源科學(xué)研究院的Ishii和Shimoda等對增強現(xiàn)實技術(shù)在核電站的應(yīng)用進行了長期研究，分析了適用于核電站的增強現(xiàn)實關(guān)鍵技術(shù)[52]，提出了面向核電站應(yīng)用的條形碼標志物跟蹤方法[29]，將AR技術(shù)用于核電站的位置導(dǎo)航、危險區(qū)指示、不可見管線提示等維護任務(wù)[53]，拆除核電站過期設(shè)備[54]，并結(jié)合無線射頻識別(Radio Frequency Identification，AFID)技術(shù)開發(fā)了核電站水隔離增強現(xiàn)實系統(tǒng)，實現(xiàn)了閥門指示、導(dǎo)航、確認和任務(wù)步驟管理等功能，使用虛擬信息引導(dǎo)操作人員執(zhí)行閥門維護任務(wù)[55]，如圖5所示。最近，Leutert等[56]在核電站機器人遠程操作中，使用增強現(xiàn)實技術(shù)在用戶觀察的場景中直接自覺地可視化復(fù)雜信息，以支持機器人的遠程檢查、環(huán)境交互等功能。

圖4 核電站氦激勵裝置便攜式AR系統(tǒng)Fig.4 Wearable NPP helium flushing AR system

圖5 核電站水隔離AR系統(tǒng)Fig.5 NPP water isolation AR system(a) 指示閥門;(b) 指示閥門旋轉(zhuǎn)方向

3.3 輻射材料加工制造

輻射手套箱是用于輻射材料加工的特殊封閉環(huán)境，它的特點是潛在的身體健康危險，加工工藝復(fù)雜，操作條件苛刻等。手套箱環(huán)境必須全封閉且箱體具有防輻射功能，操作人員必須手戴防輻射手套與輻射材料接觸，在操作過程中會出現(xiàn)精神緊張和注意力不集中，導(dǎo)致操作失誤的可能性也不可能徹底消除。當前操作人員必須借助于加工手冊熟悉和掌握煩瑣復(fù)雜的加工工藝流程，任何操作失誤都可能損毀材料而導(dǎo)致重大經(jīng)濟損失。手套箱內(nèi)部空間狹小，操作人員必須將戴防輻射手套的手通過操作孔伸入加工環(huán)境內(nèi)進行操作，而且人手臂長度有限，在有限自由度運動空間內(nèi)長時間操作，導(dǎo)致手臂酸痛疲勞和視覺疲勞。其次，操作人員在進行手工操作的同時，還必須透過觀察孔觀察內(nèi)部區(qū)域。針對這些問題，德國慕尼黑理工大學(xué)[57]使用增強現(xiàn)實技術(shù)開發(fā)了醫(yī)用輻射材料加工的手套箱增強現(xiàn)實系統(tǒng)，用于保護用戶免受核放射材料的永久威脅，幫助操作人員完成嚴格而有壓力的復(fù)雜任務(wù)。系統(tǒng)使用一個慣性頭部跟蹤器控制環(huán)境監(jiān)視攝像機的姿態(tài)，確保手套箱外的操作人員能夠通過HMD觀察到手套箱內(nèi)的大部分工作區(qū)域，并使用增強現(xiàn)實技術(shù)在工作區(qū)域添加核輻射、警告、危險區(qū)域等輔助信息，幫助操作人員處理工作任務(wù)、放松決策、減輕壓力和增強操作舒適度。圖6顯示了該系統(tǒng)的工作環(huán)境、解決方案以及手套箱加工過程中的操作任務(wù)和控制面板的增強效果。

圖6 AR在輻射手套箱中的應(yīng)用Fig.6 AR applications for nuclear radioactive glove box(a) 手套箱操作環(huán)境； (b) 手套箱AR解決方案；(c) 手套箱內(nèi)部場景的HMD增強視圖

4 發(fā)展趨勢

目前增強現(xiàn)實技術(shù)在核輻射環(huán)境中的應(yīng)用還處于起步階段，但鑒于增強現(xiàn)實技術(shù)在增強安全性和提高效率等方面的價值體現(xiàn)，增強現(xiàn)實技術(shù)在核輻射環(huán)境中的應(yīng)用將會不斷深入和發(fā)展，主要的發(fā)展趨勢包括以下幾點。

(1) 應(yīng)用范圍向各種反應(yīng)堆等領(lǐng)域擴展。文獻顯示，目前增強現(xiàn)實核輻射環(huán)境的應(yīng)用主要集中在核電站維護和輻射材料加工等方面，而進一步的方向包括各種反應(yīng)堆應(yīng)用，比如研究堆、動力堆、熱室和輻照室等。使用增強現(xiàn)實技術(shù)，可以進行反應(yīng)堆的布局設(shè)計、設(shè)備安裝維護、實驗原理演示和實驗操作訓(xùn)練等，減少工作人員在反應(yīng)堆環(huán)境中的輻射照射時間，提高操作的準確性等。

(2) 增強現(xiàn)實技術(shù)與知識數(shù)據(jù)庫系統(tǒng)結(jié)合。目前的AR核輻射環(huán)境應(yīng)用主要體現(xiàn)在遠程操作、設(shè)備維護和操作引導(dǎo)等實驗性研究，而比較實用的目標是構(gòu)建基于知識數(shù)據(jù)的增強現(xiàn)實系統(tǒng)。這些知識數(shù)據(jù)庫包括當前的環(huán)境傳感器數(shù)據(jù)、任務(wù)流程、CAD模型，以往的操作過程或加工數(shù)據(jù)和專家的歷史經(jīng)驗數(shù)據(jù)等。比如在輻射手套箱材料加工AR應(yīng)用中，實現(xiàn)全工藝加工流程的虛擬培訓(xùn)和操作引導(dǎo)，實現(xiàn)歷史操作數(shù)據(jù)和專家知識數(shù)據(jù)的管理和查詢，為當前操作人員提供豐富的經(jīng)驗和正確的操作選擇等。

(3) 增強現(xiàn)實與機器人結(jié)合。目前的AR輻射環(huán)境應(yīng)用只是從一定程度上降低輻射材料對操作人員的健康威脅。使用機器人代替操作用戶，讓操作人員徹底遠離合輻射環(huán)境，實現(xiàn)機器人遠程呈現(xiàn)、任務(wù)操作、遠程加工等是核輻射環(huán)境AR應(yīng)用的長遠目標。比如在核反應(yīng)堆退役應(yīng)用中，使用機器人進入封閉的輻射環(huán)境，利用AR交互接口實現(xiàn)核廢棄材料的遠程移動、搬運和處理。在輻射材料加工應(yīng)用中，使用機器人遠程搬運、裝卸工件，遠程控制數(shù)控機床進行材料加工等。

5 存在難題

目前，鑒于核輻射環(huán)境的特殊性，依然還存在一些難題需要進一步解決，以滿足更實際的核輻射環(huán)境AR應(yīng)用需求。這些難題包括以下幾個方面。

(1) 核電站大范圍區(qū)域內(nèi)的海量標志物識別技術(shù)。開發(fā)實用的核電站維護AR系統(tǒng)，需要在諸多設(shè)備上安裝數(shù)以千計的標志物，但是目前使用的ARToolKit、ARTag等標志板識別數(shù)目有限，而且它們的開發(fā)平臺自成一系，無法同時集成到一個應(yīng)用系統(tǒng)中，將標志板、AFID和二維碼等目標進行組合是可選的解決途徑，但還需要進一步研究和測試。

(2) 核反應(yīng)堆環(huán)境下的機器人定位跟蹤技術(shù)。使用機器人實現(xiàn)核反應(yīng)堆封閉環(huán)境下的遠程操作，需要對機器人的位置進行精確跟蹤和定位。目前在機器人領(lǐng)域，集成攝像機與慣性傳感器的即時定位與地圖重建等技術(shù)[48]還無法實現(xiàn)室外復(fù)雜場景的跟蹤定位，對于完全封閉、場景未知而且受光照影響的核反應(yīng)堆環(huán)境進行跟蹤定位就更為困難。

6 結(jié)論

增強現(xiàn)實技術(shù)經(jīng)過二十多年發(fā)展已經(jīng)取得重大進步，它與核輻射環(huán)境的特點緊密結(jié)合，促進了增強現(xiàn)實技術(shù)在核輻射環(huán)境中的應(yīng)用，增強了核輻射工業(yè)環(huán)境的安全性。本文對增強現(xiàn)實在核輻射環(huán)境中的應(yīng)用進行了初步論述，論述要點總結(jié)如下：

(1) 增強現(xiàn)實在核反應(yīng)堆、核電站和輻射手套箱等核輻射環(huán)境中的應(yīng)用目標各不相同，在核反應(yīng)堆環(huán)境中主要用于遠程操作，在核電站中主要用于便攜式系統(tǒng)維護，在輻射手套箱中主要用于加工操作引導(dǎo)。增強現(xiàn)實進一步的應(yīng)用方向是研究堆、動力堆等反應(yīng)堆環(huán)境。

(2) 目前在不同核輻射環(huán)境中最穩(wěn)定和實用的姿態(tài)跟蹤方法是標志物跟蹤方法，但對顯示器的選擇各不相同。投影顯示器適合于核反應(yīng)堆遠程操作，輕量級HMD和手持式顯示器適合于核電站便攜式設(shè)備維護，而輕量級HMD適合于輻射手套箱材料加工。

(3) 不同核輻射環(huán)境對人機交互手段要求不同。核反應(yīng)堆遠程操作一般使用傳統(tǒng)的鼠標鍵盤，而核電站和核輻射手套箱環(huán)境使用手勢和語音進行交互更實用。

(4) 增強現(xiàn)實在核輻射環(huán)境中的發(fā)展趨勢是與工作任務(wù)相關(guān)的知識數(shù)據(jù)庫結(jié)合實現(xiàn)歷史經(jīng)驗數(shù)據(jù)集成，長遠目標是與機器人結(jié)合，使用機器人代替操作人員，實現(xiàn)輻射環(huán)境機器人的遠程呈現(xiàn)、任務(wù)操作和遠程加工等功能。

(5) 核輻射環(huán)境AR應(yīng)用的現(xiàn)有難題是核電站大范圍區(qū)域內(nèi)的海量標志物識別技術(shù)，長遠的技術(shù)難題是需要突破核反應(yīng)堆環(huán)境下的機器人定位跟蹤技術(shù)，實現(xiàn)封閉復(fù)雜的核反應(yīng)堆環(huán)境的跟蹤定位。

綜上，增強現(xiàn)實技術(shù)在核輻射環(huán)境可發(fā)揮重要作用，它為改善當前核輻射環(huán)境工作條件，增強操作人員的安全性提供了獨特的技術(shù)途徑。伴隨增強現(xiàn)實跟蹤注冊、人機交互、顯示等關(guān)鍵技術(shù)及其機器人技術(shù)的不斷發(fā)展，增強現(xiàn)實在核輻射環(huán)境中的應(yīng)用必將更為實用和有效，未來實現(xiàn)核輻射環(huán)境下基于增強現(xiàn)實技術(shù)的機器人遠程操作、遠程維護和遠程材料加工將不再是一個夢想，而是一個現(xiàn)實。

[1] Azuma R. A Survey of Augmented Reality，Presence：Teleoperators and Virtual Environments[J].1997，6(4)：355- 385.

[2] Azuma R，Baillot Y，Behringer R，F(xiàn)einer S，Julier S，Macintyre B .Recent Advances in Augmented Reality，Computer Graphics and Applications[J].2001，21(6)：34-47.

[3] Feng Z，Duh H，Billinghurst M.：Trends in Augmented Reality Tracking，Interaction and Display：A Review of Ten Years of ISMAR[C].// Proc. of International Symposium on Mixed and Augmented Reality，2008：193-202.

[4] Jcarmigniani J，F(xiàn)urht B，Anisetti M，et al. Augmented reality technologies，systems and applications[J]. Multimedia Tools and Applications，2011(51)：341-377.

[5] Milgram P，Kishino F . A Taxonomy of Mixed Reality Visual Displays，IEICE Transactions of Information Systems [J]，1994，E77-D(12)：1321- 1329.

[6] Morkos B，Taiber J，Summers J，et al. Mobile devices within manufacturing environment：a BWM applicability study[J]. Int J Interact Des Manuf.，2012(6)：101-111.

[7] Novak-Marcincin J，Barna J，Ja nak M，Novakova-Marcincinova L，F(xiàn)ecova V. Production Processes with integration of CA data in augmented reality environment[C].//16th International Conference on IEEE Intelligent engineering Systems，Lisbon，Portugal：IEEE，2012：77-80.

[8] Julier S，Baillot Y，Lanzagorta M，et al. BARS：Balltlefield augmented reality system[C]. // NATO Symposium on Information Processing Techniques for Military Systems. Istanbul，Turkey：IEEE，2000：9-11.

[9] Kang X，Azizian M，Wilson E，et al. Stereoscopic augmented reality for laparoscopic surgery[J]. Surg. Endosc，2014(28)：2227-2235.

[10] Kang J. ARteleport：digital reconstruction of historical and cultural-heritage sites using mobile augmented reality[C].// IEEE 2012 11th international conference on trust，s ecurity and privacy in computing and communications. IEEE，2012：1666-1675.

[11] Broll W，Lindt I，Herbst I，et al. Toward next-gen mobile AR games[J]，IEEE Computer Graphics and Applications，IEEE，2008，28(4)：40-48.

[12] Li M，Mahnkopf L，Kobbelt. The design of a segway ar-tactile navigation system[J]. Pervasive 2012，LNCS，2012(7319)：161-178.

[13] Matsutomo S，Miyauchi T，Noguchi S，Yamashita H. Real-time visualization system of magnetic field utilizing augmented reality technology for education[J]. IEEE Transactions on magnetics. 2012，48(2)：531-534.

[14] Lee H，Kim D，Woo W. Graphical menus using a mobile phone for wearable AR systems[C].//2011 international symposium on ubiquitous virtual reality. IEEE，2011：55-58.

[15] Holloway R L. Registration error analysis for augm-ented reality [J]. Presence：Teleoperators and Virtual Environments. 1997，6(4)：413-432.

[16] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence [J]，2000，22(11)：1330-1334.

[17] Gelb A，Kasper J F，Nash R A，Price C F，Sutherland A. Applied Optimal Estimation[M]. Massachusetts，US：MIT Press Publication，2001.

[18] Welch G，Bishop G. An introduction to the Kalman filter[EB/OL]，[2015-10-20]：http：//www.sc. unc.edu/～welch/media/pdf/kalman_intro.pdf， March 5，2014.

[19] Baillot Y，Rolland J P，Goon A. A survey of tracking technology for virtual environments [R].Technical Report，University of Central Florida，Orlando FL，USA，1999.

[20] Kishino Y，Tsukamoto M，Sakane Y，et al. Realizing a visual marker using LEDs for wearable on distributed computing environment[C].// Proc. Of IEEE Int’l Conference on distributed computing systems workshops(Int’l Workshop on Smart Appliances and wearable computing(IWSAWC 2003))，IEEE，2003：314-319.

[21] Park N，Lee W，Woo W. Barcode-assisted planar object tracking method for mobile augmented reality[C].// 2011 International Symposium on Ubiquitous Virtual Reality. IEEE，2011：40-43.

[22] Kato H，Billinghurst M. Marker tracking and HMD calibration for a video-based augmented reality conferencing system[C].// Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality(IWAR '99). San Francisco，CA，USA：IEEE，1999：85-94.

[23] Fiala M. ARTag，a fiducial marker system using digital techniques[C].//IEEE Computer Society Conference on Computer Vision and pattern Recognition(CVPR 2005)，IEEE，2005：590- 596.

[24] Heath M，SarKar S，Sanocki T，Bowyer，K. Comparison of Edge Detectors：a Methodology and Initial Study，Computer Vision and Image Understanding [J]，1998，69(1)：38-54.

[25] Schmid C，Mohr R，Bauckhage C. Evaluation of Interest Point Detectors [J]. International Journal of Computer Vision[J]，2000，37(2)：151-172.

[26] Simon G，F(xiàn)itzgibbon A，Zisserman A. Markerless Tracking using Planar Structures in the Scene[C].// Proc. of International Symposium on Augmented Reality. IEEE，2000：120-128.

[27] Lowe D G，Distinctive image features from scale- invariant features [J]. International Journal of Computer Vision，Springer，2004，60(2)：91-110.

[28] 羅斌，王涌天，沈浩，吳志杰，劉越，增強現(xiàn)實混合跟蹤技術(shù)綜述[J].自動化學(xué)報，2013，39(8)：1185-1201.

[29] Bian Z，Ishii，H，Shimoda H，Yoshikawa，H，Morishita Y，Kanehira Y，Izumi M. Development of a Tracking Method for Augmented Reality Applied to NPP Maintenance Work and its Experimental Evaluation[J]. IEICE TRANSACTIONS on Information and Systems，2007，E90-D(6)：963-974.

[30] Ishii H，Yan W，Yang S，Shimoda H，Izumi M. Wide Area Tracking Method for Augmented Reality Supporting Nuclear Power Plant Maintenance Work[J].International Journal of Nuclear Safety and Simulation，2010，1(1)：45-51.

[31] Rolland J P，F(xiàn)uchs H. Optical Versus Video See-Through Head-Mounted Displays in Medical Visualization [J]. Presence：Teleoperators & Virtual Environments. 2000，9(3)：287-309.

[32] Rolland J P，Biocca F，Hamza-Lup F，et al. Development of Head-Mounted Projection Displays for Distributed，Collaborative，Augmented Reality Applications.[J]. Presence：Teleoperators & Virtual Environments. 2005，14(5)：528-549.

[33] Rolland J，Cakmakci O. The past，present，and future of head mounted display designs[C]. //SPIE Proceedings.Optical Design and Testing II. SPIE，2005：368-377.

[34] Piekarski W. 3D modeling with the Tinmith mobile outdoor augmented reality system [J]. IEEE Computer Graphics and Applications，2006，26(1)：14-17.

[35] Mirzaei M R，Ghorshi S，Mortazavi M. Combining augmented reality and speech technologies to help deaf hand hard of hearing people[C]. //The 14th Symposium on virtual and augmented reality.ACM，2012：174 -181.

[36] Mistry P，Maes P. SixthSense：A wearable gestural interface[C]. //Proc. of SIGGRAPH Asia’ 09. Sketch，Yokohama，Japan：ACM，2009：85-92.

[37] Bellabi A，Benbelkacem S，Zenati-henda N，et al. Hand gesture interaction using color-based method for tabletop interfaces[C]//Proc. of IEEE 7th International Symposium on Intelligent Signal Processing. Floriana，Malta：IEEE，2011：1-5.

[38] Lee T，Hollerer T. Hybrid feature tracking and user interaction for marker-less augmented reality[C]//Proc. of the IEEE Virtual Reality. Reno，Nevada，USA：IEEE，2008：145-152.

[39] Choi J，Park H，Park J，et al. Bare-hand-based augmented reality interface on mobile phone [C].//Proc. of 10th IEEE International Symposium on Mixed and Augmented Reality. Basel，Switzerland：IEEE，2011：1-5.

[40] Kojima Y，Yasumuro Y，Sasaki H，et al. Hand manipulation of virtual objects in wear augmented reality[C].//Proc. of the 7th International Conference on Virtual Systems and Multimedia. Washington，DC，USA：IEEE，2001：463-469.

[41] Lee M，Green R，Billinhurst M. 3D natural hand interaction for AR applications[C].//Proc. of the 23rd International Conference on Image and Vision Computing New Zealand. Lincoln，New Zealand：IEEE，2008：1-6.

[42] Parker J R，Baumback M. User interface augmentation：vision and sound [C].//Proc. of International Conference on Information Technology：Coding and Computing.Las Vegas，Nevada，USA：IEEE，2004，vol.1：692-697.

[43] Lee B，Chun J. Interactive manipulation of augmented objects in marker-less AR using vision-based hand interaction[C].//Proc. of the 7th International Conference on Information Technology：New Generations. Las Vegas，Nevada，USA：IEEE，2010：398-403.

[44] McDonald C，Malik S，Roth G. Hand-based interaction in augmented reality[C].//Proc. of IEEE Int. Workshop HAVE，Haptic Virtual Environments and Their Applications. Ottawa，Ontario，Canada：IEEE，2002：55-59.

[45] Oka K，Sato Y，KoiKe H. Real-time fingertip tracking and gesture recognition [J]. IEEE Computer Graphics and Applications，2002，22(6)：64-71.

[46] Heidemann G，Bax I，Bekel H. Multimodal interaction in an augmented reality scenario[C].//Proc. of the 6th International Conference on Multimodal Interface. State College，PA，USA：ACM，2004：53-60.

[47] Henderson S，F(xiàn)einer S. Opportunistic tangible user interfaces for augmented reality[J]. IEEE Transactions on Visualization and Computer Graphics，2010，15(1)：4-16.

[48] Siltanen S，Hakkarainen M，Korkalo O，et al. Multi- modal user interface for augmented reality[C]. //IEEE 7th Workshop on Multimedia Signal Processing. IEEE，2007：78-81.

[49] Corby Jr. N.R and Nafis C.A. Augmented reality telemanipulation system for nuclear reactor inspection[C].// SPIE on Telemanipulator and Telepresence Technologies. SPIE，1994：360-365.

[50] Fuchs P，Nashashibi F，Maman D. Assistance for tele-presence by stereovision-based augmented reality and interactivity in 3D space[J]. Presence：Teleoperators and Virtual Environments. 2012，11(5)：515-535.

[51] Klinker G，Creighton O，Dutoit A H，et al. Augmented maintenance of power plants：a prototyping case study of a mobile AR system[C]. // Proceedings of IEEE and ACM International Symposium on Augmented Reality(ISAR 2001). IEEE，2001：124-133.

[52] Ishii H. Augmented reality：fundamentals and nuclear related applications [J]. Nuclear safety and simulation，2010，1(4)：316-327.

[53] Ishii H，Bian Z，F(xiàn)ujino H，et al. Augmented reality applications for nuclear power plant maintenance work[C]，International Symposium on Symbiotic Nuclear Power Systems for 21st Century(ISSNP)，2007：262-268.

[54] Ishii H，Shimoda H，Nakai T，Izumi M，Bian Z，Morishita Y. Proposal and Evaluation of a Supporting Method for NPP Decommissioning Work by Augmented Reality[C].// The 12th World Multi-Conference on Systemics，Cybernetics，2008(6)：157-162.

[55] Shimoda H，Ishii H，Yamazaki Y，et al. A support system for water system isolation task in NPP by using augmented reality and RFID[C]. // The IEEE 6th International Xonference on Nuclear Thermal Hydraulics，Operations and Safety(NUTHOS-6). Nara Japan，2004：4-8.

[56] Leutert F，Schilling K，Robotik L F，et al. Support of power plant telmaintenance with robots by augmented reality methods[C]. //2012 2nd International Conference on Applied Robotics of the Power Industry(CARPI)，ETH Zurich，Switzerland，IEEE，2012：45-49.

[57] Eursch A. Increased Safety for Manual Tasks in the Field of Nuclear Science using the technology of augmented reality[C].// IEEE Nuclear Science Symposium Conference Record，IEEE，2007，2053-2059.

A primary survey of augmented reality applicationsfor nuclear radiation environments

LUO Bin

(Institute of Computer Application，China Academy of Physics and Engineering，Mianyang of SiChuan Prov.，621999，China)

A primary survey of augmented reality applications for nuclear radiation environments is presented. The element properties of augmented reality is introduced and the key technologies served within nuclear radiation environments are analyzed including head pose tracking，display and human-computer interaction，then the state-of-the-art applications of augmented reality are described in the fields of nuclear power plants，nuclear glove box and nuclear reactor，finally the pending problems and the development tendency are discussed and the summary is made.

Augmented reality；Human-computer interaction；Nuclear radiation environment

2015-12-20

中國工程物理研究院預(yù)先研究項目資助

羅 斌(1974—)，男，侗族，貴州石阡人，高級工程師，博士，從事虛擬現(xiàn)實和增強現(xiàn)實技術(shù)研究

TP391，TL7

A

0258-0918(2016)04-0561-10