馬玥竹，桑 瑋

（上海核工程研究設(shè)計(jì)院有限公司，上海 200233）

0 引言

目前，核電廠的就地運(yùn)維和檢修工作因?yàn)槿狈蓪㈦姀S參數(shù)、房間信息、通道信息、設(shè)備信息等重要信息呈現(xiàn)給運(yùn)維人員的集成平臺(tái)，導(dǎo)致核電廠存在人員誤入危險(xiǎn)區(qū)域、誤入冗余通道的房間及誤操作冗余通道設(shè)備等潛在風(fēng)險(xiǎn)。同時(shí)，就地運(yùn)維人員通過一次側(cè)表計(jì)的讀數(shù)來對(duì)設(shè)備狀態(tài)進(jìn)行評(píng)估，其設(shè)備巡檢及維修的效率也存在瓶頸。上述問題均可歸結(jié)為就地維修人員對(duì)現(xiàn)場(chǎng)工作環(huán)境實(shí)時(shí)認(rèn)知的缺失，為核電廠運(yùn)維增加了一定的安全隱患。

增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality，縮寫AR）作為當(dāng)前最先進(jìn)的交互技術(shù)之一，可通過將虛擬和現(xiàn)實(shí)“無縫”集成的方式，一定程度上解決就地維修人員對(duì)現(xiàn)場(chǎng)工作環(huán)境的實(shí)時(shí)認(rèn)知缺失問題[1]。AR結(jié)合了計(jì)算機(jī)圖形圖像技術(shù)、空間定位技術(shù)、可視化技術(shù)以及交互技術(shù)，可在展現(xiàn)真實(shí)物理環(huán)境信息的同時(shí)，將現(xiàn)實(shí)世界難以實(shí)現(xiàn)的輔助虛擬數(shù)據(jù)信息通過增強(qiáng)現(xiàn)實(shí)設(shè)備疊加顯示在真實(shí)物理環(huán)境中，真實(shí)和虛擬兩種信息相互補(bǔ)充、疊加，具有實(shí)時(shí)交互性。該技術(shù)可將運(yùn)維人員所需的重要信息，通過增強(qiáng)現(xiàn)實(shí)設(shè)備疊加展現(xiàn)在數(shù)據(jù)相關(guān)設(shè)備周邊的方式，支持運(yùn)行人員對(duì)設(shè)備的監(jiān)測(cè)、調(diào)試和檢修活動(dòng)，增強(qiáng)工作人員對(duì)電廠狀態(tài)、設(shè)備狀態(tài)、維修步驟及安保防護(hù)等方面的認(rèn)知，提升核電廠安全、可靠及經(jīng)濟(jì)性，有必要將增強(qiáng)現(xiàn)實(shí)技術(shù)與電廠運(yùn)維緊密結(jié)合。

實(shí)時(shí)音視頻技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)融合，可使就地維修人員在現(xiàn)場(chǎng)看到的真實(shí)環(huán)境疊加參數(shù)信息實(shí)時(shí)傳輸給遠(yuǎn)程專家，遠(yuǎn)程專家即可實(shí)時(shí)輔助就地維修人員。在核電廠大修期間、事故工況下、遇到較為棘手的設(shè)備維修問題或需多人進(jìn)入危險(xiǎn)區(qū)域的情況下時(shí)，可通過就地人員佩戴的AR設(shè)備遠(yuǎn)程連接專家或廠家維修人員等專業(yè)人員，輔助就地人員進(jìn)行設(shè)備維修。專家可在不到達(dá)現(xiàn)場(chǎng)的情況下，通過就地人員的第一視角身臨其境地了解現(xiàn)場(chǎng)真實(shí)狀況，并且同時(shí)可看出AR技術(shù)疊加在設(shè)備旁的設(shè)備參數(shù)等信息，在線提出維修建議，支持就地人員進(jìn)行設(shè)備的檢修，提高就地人員的檢修效率。

1 實(shí)時(shí)音視頻需求

將增強(qiáng)現(xiàn)實(shí)技術(shù)用于就地運(yùn)維的過程中，若能實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)端與遠(yuǎn)程專家的遠(yuǎn)程實(shí)時(shí)音視頻功能，將大大提高就地運(yùn)維人員的工作效率，并將各項(xiàng)活動(dòng)數(shù)據(jù)存檔，提升核電廠活動(dòng)的可追溯性。

增強(qiáng)現(xiàn)實(shí)技術(shù)與實(shí)時(shí)音視頻技術(shù)結(jié)合，需要注意以下幾點(diǎn)：

1）實(shí)時(shí)音視頻功能：在核電廠就地運(yùn)維過程中，實(shí)時(shí)音視頻應(yīng)達(dá)到在網(wǎng)絡(luò)條件允許的情況下就地操縱員可與遠(yuǎn)程專家進(jìn)行實(shí)時(shí)音視頻交互，視頻應(yīng)支持1Mb以下的視頻碼流。由遠(yuǎn)程專家輔助就地操縱員對(duì)設(shè)備進(jìn)行檢修，并且應(yīng)允許多方進(jìn)行實(shí)時(shí)音視頻通信。

2）視頻標(biāo)記功能：遠(yuǎn)程專家應(yīng)可對(duì)視頻畫面進(jìn)行標(biāo)記并傳輸給就地操縱員，標(biāo)記包括文字標(biāo)簽、箭頭、方框橢圓等。

3）跨平臺(tái)性：考慮到市場(chǎng)上增強(qiáng)現(xiàn)實(shí)設(shè)備不同開發(fā)商其運(yùn)行平臺(tái)也有所不同，實(shí)時(shí)音視頻技術(shù)需具有跨平臺(tái)性，不依賴于特定的增強(qiáng)現(xiàn)實(shí)設(shè)備。

2 實(shí)時(shí)音視頻解決方案

根據(jù)上述實(shí)時(shí)音視頻技術(shù)的需求，解決方案采用了網(wǎng)頁技術(shù)通信（Web Real-Time Commutation，縮寫WebRTC）的方式進(jìn)行實(shí)時(shí)音視頻傳輸。

2.1 WebRTC背景

WebRTC是谷歌公司收購的Global IP Solution公司所研發(fā)的一項(xiàng)實(shí)時(shí)通信技術(shù)[2]，該技術(shù)于2010年發(fā)布以來，已成為實(shí)時(shí)通信技術(shù)的熱點(diǎn)。WebRTC技術(shù)可支持網(wǎng)頁瀏覽器進(jìn)行實(shí)時(shí)音視頻對(duì)話，同時(shí)還支持增強(qiáng)現(xiàn)實(shí)、遠(yuǎn)程協(xié)作及文件傳輸?shù)葘?shí)時(shí)性交互式應(yīng)用，目前已被W3C納入了HTML5標(biāo)準(zhǔn)。WebRTC提供了音頻采集、視頻采集、視頻編解碼、網(wǎng)絡(luò)傳輸及顯示等功能，主要是讓開發(fā)者能夠基于瀏覽器，在無需任何插件的情況下，輕量、便捷地開發(fā)出豐富的實(shí)時(shí)多媒體應(yīng)用。在開發(fā)過程中，開發(fā)者也無需關(guān)注多媒體的數(shù)字信號(hào)處理過程，只需編譯Javascript程序即可實(shí)現(xiàn)。

由于WebRTC基于瀏覽器的特性，WebRTC支持跨平臺(tái)：Windows、Linux、Android等平臺(tái)均能通過瀏覽器（幾個(gè)主要瀏覽器如Firefox、Chrome、Opera等均推出了可支持WebRTC的版本）運(yùn)行基于WebRTC開發(fā)的瀏覽器應(yīng)用。

WebRTC技術(shù)的主要優(yōu)點(diǎn)如下：

1）開放的標(biāo)準(zhǔn)：WebRTC已加入到由W3C和IETF標(biāo)準(zhǔn)組織共同定義的開放的HTML5標(biāo)準(zhǔn)中。W3C的WebRTC工作組為開發(fā)者定義了基于瀏覽器的Web API，用于幫助Web應(yīng)用完成Web瀏覽器之間點(diǎn)對(duì)點(diǎn)或點(diǎn)對(duì)多點(diǎn)之間的實(shí)時(shí)通信。

2）靈活的應(yīng)用：WebRTC提供簡(jiǎn)單的、可擴(kuò)展性強(qiáng)的技術(shù)框架。開發(fā)者可以根據(jù)不同的業(yè)務(wù)場(chǎng)景及技術(shù)需求靈活選擇音視頻的路由方式、同用戶間的交互方式、呼叫協(xié)議、身份認(rèn)證及與其他網(wǎng)絡(luò)的互聯(lián)方式等。

3）技術(shù)的融合：WebRTC技術(shù)由于其跨平臺(tái)性及輕量化的特性，可以輕松與其他先進(jìn)技術(shù)相結(jié)合，如虛擬現(xiàn)實(shí)技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)、混合現(xiàn)實(shí)技術(shù)和人臉識(shí)別技術(shù)等。同時(shí)，也可以通過瀏覽器端的通信能力和HTML5技術(shù)靈活開發(fā)出在線的多人實(shí)時(shí)應(yīng)用。

2.2 WebRTC系統(tǒng)架構(gòu)

WebRTC系統(tǒng)架構(gòu)如圖1所示[3]，WebRTC系統(tǒng)架構(gòu)根據(jù)面向用戶的不同，分為3個(gè)部分：

1）面向?yàn)g覽器應(yīng)用開發(fā)者部分：瀏覽器應(yīng)用開發(fā)者可調(diào)用W3C制定的Web API來開發(fā)WebRTC瀏覽器應(yīng)用。

2）面向?yàn)g覽器廠商部分：不同瀏覽器之間的雙向媒體流可通過PeerConnection API來進(jìn)行管理，可發(fā)送和接受媒體流。

3）面向?yàn)g覽器廠商的自定義部分：使用JSEP[4]（JavaScript session establishment protocol，JavaScript會(huì)話建立協(xié)議）進(jìn)行媒體自定義參數(shù)的協(xié)商。

圖1 WebRTC系統(tǒng)架構(gòu)Fig.1 WebRTC Architecture

圖2 遠(yuǎn)程專家客戶端頁面Fig.2 Page of remote expert client

上述三部分內(nèi)容同時(shí)共享WebRTC核心庫，核心庫包括音頻模塊、視頻模塊及傳輸模塊。

2.3 WebRTC解決方案中實(shí)時(shí)音頻處理流程

在增強(qiáng)現(xiàn)實(shí)技術(shù)與實(shí)時(shí)音視頻技術(shù)結(jié)合的解決方案中，音頻處理流程如下：

WebRTC將音頻會(huì)話抽象為一個(gè)通道，如需進(jìn)行多人會(huì)話則需建立多個(gè)通道。以一個(gè)通道為例，實(shí)時(shí)音頻的處理流程包括3個(gè)活動(dòng)線程：錄音線程、音頻接收線程和播放線程。

1）錄音線程：負(fù)責(zé)音頻的采集。首先，通過麥克風(fēng)來采集音頻，當(dāng)采集到的音頻緩存到固定長(zhǎng)度后，統(tǒng)一進(jìn)行音頻處理；隨后，將處理后的音頻送到通道，經(jīng)過音頻編碼解碼器進(jìn)行編碼并封裝成RTP包，通過Socket發(fā)送。

2）音頻接收線程：負(fù)責(zé)接收通過Socket發(fā)送的RTP包，將RTP包解封后解碼音頻數(shù)據(jù)，送入NetEQ音頻模塊緩存。

3）播放線程：負(fù)責(zé)聲音的播放。播放線程首先依次獲取通道中NetEQ音頻模塊存儲(chǔ)的參與了會(huì)話的音頻幀，然后對(duì)這些音頻幀進(jìn)行處理。將已處理過的音頻幀進(jìn)行多通道的混合得到一個(gè)混合音頻，將該混合音頻傳遞給AudioProcessing模塊進(jìn)行分析，分析后音頻可通過播放設(shè)備播放出來。

2.4 WebRTC解決方案中實(shí)時(shí)音頻處理流程

在增強(qiáng)現(xiàn)實(shí)技術(shù)與實(shí)時(shí)音視頻技術(shù)結(jié)合的解決方案中，視頻處理流程如下：

WebRTC可進(jìn)行多路視頻會(huì)話，以一路視頻會(huì)話為例，實(shí)時(shí)視頻的處理流程主要包括6個(gè)活動(dòng)線程：視頻產(chǎn)生線程、視頻采集線程、視頻接收線程、視頻解碼線程、投遞線程和顯示線程。

1）視頻產(chǎn)生線程：由相機(jī)產(chǎn)生視頻畫面，該線程將產(chǎn)生的視頻畫面封裝成視頻幀后以一定幀率投遞到Capturer。

2）視頻采集線程：Capturer采集被投遞的視頻幀，并對(duì)視頻幀進(jìn)行畫面處理。畫面處理完成后，送入視頻編碼解碼模塊進(jìn)行視頻幀的編碼及發(fā)送。

3）視頻接收線程：接收并解析RTP/RTCP數(shù)據(jù)包。

4）解碼線程：由于解碼時(shí)間相對(duì)編碼時(shí)間較長(zhǎng)，因而設(shè)立單獨(dú)解碼線程完成視頻幀的解碼。

5）投遞線程：接收并緩存解碼后的視頻幀投遞給顯示設(shè)備。

6）顯示線程：在視頻顯示設(shè)備中輸出視頻畫面。

3 實(shí)時(shí)音視頻應(yīng)用

實(shí)時(shí)音視頻技術(shù)應(yīng)用在增強(qiáng)現(xiàn)實(shí)平臺(tái)上時(shí)，分為遠(yuǎn)程專家客戶端和就地操縱員端，支持多用戶實(shí)時(shí)音視頻。

3.1 遠(yuǎn)程專家客戶端

遠(yuǎn)程專家客戶端為遠(yuǎn)程專家指導(dǎo)的操作平臺(tái)，遠(yuǎn)程專家可通過該平臺(tái)與就地操縱員進(jìn)行即時(shí)消息通信、視音頻通信，同時(shí)在音視頻通信中提供數(shù)字白板功能。數(shù)字白板功能可在視頻中進(jìn)行簡(jiǎn)單批注，并通過圖片方式發(fā)送給就地操縱員端。

遠(yuǎn)程專家客戶端以專家與就地運(yùn)維人員的遠(yuǎn)程視頻頁面為典型畫面，如圖2所示。左邊部分為數(shù)字白板功能，可實(shí)現(xiàn)對(duì)遠(yuǎn)程視頻的簡(jiǎn)單批注，并發(fā)送給就地運(yùn)維人員的增強(qiáng)現(xiàn)實(shí)顯示終端，如圖3所示。右邊部分為遠(yuǎn)程專家客戶端與就地運(yùn)維人員增強(qiáng)現(xiàn)實(shí)顯示終端的即時(shí)消息功能，可實(shí)現(xiàn)雙方簡(jiǎn)單的文字交流。

圖3 遠(yuǎn)程專家客戶端數(shù)字白板頁面Fig.3 Digital whiteboard of remote expert client

3.2 就地操縱員客戶端

就地操縱員客戶端遠(yuǎn)程協(xié)助。就地操縱員可通過增強(qiáng)現(xiàn)實(shí)顯示終端中的就地操縱員客戶端與遠(yuǎn)程專家進(jìn)行音視頻交互，遠(yuǎn)程專家端發(fā)出的即時(shí)信息、數(shù)字白板信息及遠(yuǎn)程專家視頻畫面均可通過增強(qiáng)現(xiàn)實(shí)顯示終端增強(qiáng)顯示于就地操縱員眼前。就地操縱員可同時(shí)看到上述內(nèi)容及就地真實(shí)物理環(huán)境，提高溝通效率與工作效率。

圖4為就地操縱員客戶端遠(yuǎn)程專家實(shí)時(shí)音視頻頁面。

4 結(jié)束語

WebRTC作為一種構(gòu)建在Web瀏覽器基礎(chǔ)上的實(shí)時(shí)音視頻通信技術(shù)，可使用戶在使用過程中避免安裝插件或軟件的復(fù)雜步驟，直接在支持WebRTC技術(shù)的瀏覽器上進(jìn)行實(shí)時(shí)音視頻通信，用戶體驗(yàn)一致性高。對(duì)于開發(fā)者而言，開發(fā)者不需考慮操作系統(tǒng)及其不同版本，只需關(guān)注功能本身，而不必關(guān)注流媒體信息的處理過程。這種實(shí)時(shí)音視頻技術(shù)對(duì)使用者和開發(fā)者而言都是輕量級(jí)的，利于應(yīng)用的開發(fā)和使用。

圖4 就地操縱員客戶端遠(yuǎn)程專家實(shí)時(shí)音視頻頁面Fig.4 Digital whiteboard of remote expert client

基于WebRTC技術(shù)開發(fā)的實(shí)時(shí)音視頻交互應(yīng)用的跨平臺(tái)性使得其應(yīng)用范圍更加廣泛，在核電廠管理及運(yùn)維的過程中還可以與除了增強(qiáng)現(xiàn)實(shí)技術(shù)以外的其他技術(shù)相融合，如：圖像分割、人臉識(shí)別、基于SIP的VolP電話等技術(shù)。實(shí)時(shí)音視頻技術(shù)與上述技術(shù)的融合對(duì)如何提高核電廠運(yùn)維的安全性、高效性及經(jīng)濟(jì)性是日后還需研究的內(nèi)容。