羅俊 韓輝 徐奎 劉石橋 李小輝 景應(yīng)剛

一、引言

在核電廠大修期間，參與工作人員數(shù)量超過(guò)千人，涉及的專業(yè)眾多，而且人員之間、團(tuán)隊(duì)之間的協(xié)作關(guān)系復(fù)雜，核電廠的廠區(qū)面積大，各個(gè)區(qū)域的通信許可管控嚴(yán)格，導(dǎo)致傳統(tǒng)的面對(duì)面交流方式變得困難重重，不可避免地帶來(lái)了溝通、效率、成本浪費(fèi)等問(wèn)題。核電大修需要更加高效、便捷的溝通方式。

為了提高核電廠相關(guān)設(shè)備維修的溝通和工作效率，基于維修現(xiàn)場(chǎng)已搭建的無(wú)線傳輸網(wǎng)絡(luò)，移動(dòng)終端、觸摸式顯示屏或臺(tái)式工作站等設(shè)備，面向核電大修溝通、對(duì)現(xiàn)場(chǎng)進(jìn)行遠(yuǎn)程可視化技術(shù)支持，開(kāi)發(fā)一套多方視頻會(huì)議通訊網(wǎng)絡(luò)系統(tǒng)與辦公協(xié)作軟件迫在眉睫。

為此，本文設(shè)計(jì)實(shí)現(xiàn)一套遠(yuǎn)程專家支持系統(tǒng)，目標(biāo)是在核電廠智能維修系統(tǒng)中建設(shè)遠(yuǎn)程專家支持應(yīng)用，實(shí)現(xiàn)廠內(nèi)大修指揮中心的大修協(xié)調(diào)人員或廠外專家與檢修現(xiàn)場(chǎng)的視頻通訊，通過(guò)共享實(shí)時(shí)檢修畫面、檢修記錄數(shù)據(jù)和相關(guān)技術(shù)資料，多方專家可實(shí)現(xiàn)遠(yuǎn)程快速維修決策。并提供檢修方案，解決大修過(guò)程中產(chǎn)生的異?；驈?fù)雜問(wèn)題，有效控制大修周期和保證大修質(zhì)量。具體來(lái)說(shuō)，系統(tǒng)功能劃分為四大模塊，分別是遠(yuǎn)程支持、遠(yuǎn)程見(jiàn)證、遠(yuǎn)程會(huì)議和后臺(tái)管理。其中，遠(yuǎn)程支持模塊提供核電廠工作人員在現(xiàn)場(chǎng)遇到的問(wèn)題，或需要請(qǐng)求相關(guān)領(lǐng)域?qū)I(yè)人士進(jìn)行支持時(shí)的問(wèn)題解決功能，廠內(nèi)工作人員發(fā)起遠(yuǎn)程專家支持流程，被邀請(qǐng)或請(qǐng)求的專家在遠(yuǎn)程或核電廠集中場(chǎng)所進(jìn)行應(yīng)答和響應(yīng)。遠(yuǎn)程見(jiàn)證模塊主要提供質(zhì)量控制功能，包括人員遠(yuǎn)程出席見(jiàn)證活動(dòng)的質(zhì)量見(jiàn)證平臺(tái)及電子簽字確認(rèn)等功能。遠(yuǎn)程會(huì)議模塊提供遠(yuǎn)程會(huì)議相關(guān)功能，主要包括通過(guò)手持終端、PC或會(huì)議室召開(kāi)會(huì)議，提供實(shí)時(shí)音視頻通話、會(huì)議室管理、遠(yuǎn)程監(jiān)控視頻接入、會(huì)議歷史管理等功能。

二、系統(tǒng)總體設(shè)計(jì)

遠(yuǎn)程專家支持系統(tǒng)采用B/S三層架構(gòu)體系，將整個(gè)業(yè)務(wù)劃分為數(shù)據(jù)訪問(wèn)層、業(yè)務(wù)邏輯層和表現(xiàn)層。

三、關(guān)鍵算法設(shè)計(jì)

遠(yuǎn)程專家支持系統(tǒng)的技術(shù)關(guān)鍵是實(shí)時(shí)音視頻通信和傳輸，其中，傳輸視頻的幀率是影響所傳輸?shù)囊曨l流暢性的關(guān)鍵參數(shù)，也是客戶對(duì)遠(yuǎn)程視頻支持質(zhì)量判定的直觀體現(xiàn)。隨著高清多媒體技術(shù)的飛速發(fā)展，人們需要高幀率的視頻。在視頻傳輸過(guò)程中，發(fā)送端幀率受視頻采集和編碼器性能影響較大。攝像頭采集視頻數(shù)據(jù)傳輸?shù)骄幋a器，經(jīng)編碼器編碼后的實(shí)際輸入幀率并不等于攝像頭采集到的幀率，即若視頻采集圖片速度快，而編碼器編碼速度慢，則編碼器任務(wù)隊(duì)列中將累積多余的圖片幀，為滿足實(shí)時(shí)視頻會(huì)議的低時(shí)延要求，編碼器需要及時(shí)處理最新的幀，常見(jiàn)措施就是丟幀，即編碼器任務(wù)隊(duì)列中有多個(gè)視頻幀時(shí)，僅對(duì)最新一幀進(jìn)行編碼。該策略將降低發(fā)送端幀率，在實(shí)際應(yīng)用中導(dǎo)致接收端黑屏、卡頓等現(xiàn)象。實(shí)時(shí)視頻會(huì)議情況下，網(wǎng)絡(luò)狀況不佳將導(dǎo)致接收端丟幀。同時(shí)，與編碼類似，解碼也會(huì)導(dǎo)致丟幀。接收端的幀率減少直接影響視頻質(zhì)量。針對(duì)接收端提供良好的幀率提升策略，即在接收端針對(duì)接收到的原視頻幀序列，計(jì)算并插入一組新視頻幀，是十分重要的。傳統(tǒng)的幀率提升方法包括基于運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)姆椒?，而光流算法以其良好的效果得到了學(xué)者們?cè)絹?lái)越多的關(guān)注。但光流算法多通過(guò)采用將雙向光流和附加網(wǎng)絡(luò)（如深度估計(jì)）相結(jié)合的方式來(lái)生成中間幀，難以應(yīng)用于實(shí)時(shí)視頻傳輸?shù)膱?chǎng)景。

（一） 基本思想

為了解決上述問(wèn)題，本文提出一種改進(jìn)的基于流的視頻幀率提升算法。該法以RIFE（Real-Time Intermediate Flow Estimation）方法為基礎(chǔ)，通過(guò)簡(jiǎn)化中間光流估計(jì)模型，以達(dá)到更快的計(jì)算速度，從而滿足遠(yuǎn)程視頻會(huì)議的實(shí)時(shí)性要求。算法由光流估計(jì)和融合網(wǎng)絡(luò)兩部分構(gòu)成，其中，光流估計(jì)用于輸入圖像的中間光流估計(jì)，融合網(wǎng)絡(luò)則是一個(gè)類似U-Net的網(wǎng)絡(luò)結(jié)構(gòu)。經(jīng)后向變形操作后生成對(duì)應(yīng)幀的模糊中間光流，再通過(guò)融合網(wǎng)絡(luò)融合生成最終的結(jié)果。

（二） 算法流程

本文使用一種改進(jìn)的L-K（Lucas-Kanade）金字塔光流法進(jìn)行光流估計(jì)。Lucas-Kanade是由Bruce D. Lucas等人提出的一種兩幀差分光流估計(jì)方法，它假設(shè)光流在像素點(diǎn)的鄰域是一個(gè)常數(shù)，然后使用最小二乘法對(duì)鄰域中的所有像素點(diǎn)求解基本的光流方程。當(dāng)圖片中物體的運(yùn)動(dòng)速度較快時(shí)會(huì)出現(xiàn)跨度較大的情況，此時(shí)算法會(huì)出現(xiàn)較大誤差。因此，在L-K方法基礎(chǔ)上加入圖像金字塔結(jié)構(gòu)，最底層為原始圖像，越往上圖像分辨率越小，上層金字塔中的一個(gè)像素可以代表下層金字塔中的兩個(gè)像素。算法流程包括如下步驟：

1. 金字塔的構(gòu)建

以原始圖像作為金字塔底層，逐層向上，不斷降低分辨率，生成上層的圖像，構(gòu)建圖像金字塔。

2. 基于金字塔的光流計(jì)算

從最上層開(kāi)始，計(jì)算并使得每個(gè)點(diǎn)的鄰域內(nèi)匹配誤差和最小，以得到該層圖像中每個(gè)像素點(diǎn)的光流。同時(shí)，上一層的結(jié)果反饋到下一層作為輸入，繼續(xù)計(jì)算位移，重復(fù)該步驟，得到大致的圖像運(yùn)動(dòng)稀疏光流。

3. 殘余光流計(jì)算

在整個(gè)金字塔迭代過(guò)程中，還需要對(duì)于每一層的殘余光流進(jìn)行計(jì)算，最終得到有效的光流估計(jì)。

四、系統(tǒng)實(shí)現(xiàn)

（一）系統(tǒng)開(kāi)發(fā)環(huán)境

系統(tǒng)開(kāi)發(fā)平臺(tái)的硬件配置為：CPU Corei5-8300H 2.30GHz，硬盤500G（SSD），內(nèi)存20GB。

系統(tǒng)實(shí)現(xiàn)所需相關(guān)軟件包括：操作系統(tǒng)Windows10，數(shù)據(jù)庫(kù)MySQL5.7 社區(qū)版，開(kāi)發(fā)環(huán)境JDK8和Python3.8，開(kāi)發(fā)框架為SpringBoot、Mybatis、Pytorch。

（二）數(shù)據(jù)說(shuō)明

算法在Vimeo90K數(shù)據(jù)集上進(jìn)行訓(xùn)練，包含有分辨率為448 * 256分辨率的3000多組圖像，每組圖像為三元組，即包含3張連續(xù)幀。

（三）實(shí)驗(yàn)及結(jié)果分析

對(duì)系統(tǒng)執(zhí)行功能測(cè)試，并展開(kāi)相關(guān)性能測(cè)試。

1. 系統(tǒng)響應(yīng)能力測(cè)試

測(cè)試系統(tǒng)對(duì)正常請(qǐng)求進(jìn)行及時(shí)響應(yīng)的能力。進(jìn)入系統(tǒng)首頁(yè)，通過(guò)模擬用戶登錄的情況，來(lái)查看系統(tǒng)響應(yīng)能力，測(cè)試結(jié)果表明整個(gè)登錄過(guò)程至進(jìn)入界面耗時(shí)為2.63秒。系統(tǒng)響應(yīng)登錄操作耗時(shí)為1.2秒，反映了本系統(tǒng)能夠在較快的時(shí)間內(nèi)響應(yīng)用戶的需求。

2. 幀率提升算法有效性測(cè)試

分別測(cè)試系統(tǒng)在不使用和使用幀率提升算法的情況下，視頻會(huì)議畫面的質(zhì)量。通過(guò)開(kāi)啟多個(gè)會(huì)議窗口測(cè)試視頻通信結(jié)果，在不使用幀率提升算法的情況下，在網(wǎng)絡(luò)出現(xiàn)波動(dòng)的情況下遠(yuǎn)程會(huì)議視頻會(huì)播放不流暢，出現(xiàn)了明顯的卡頓。使用幀率提升算法后，遠(yuǎn)程會(huì)議視頻能夠保持穩(wěn)定幀率播放，緩解了網(wǎng)絡(luò)波動(dòng)造成的視頻卡頓，為與會(huì)人員提供了更好的觀感。

五、結(jié)語(yǔ)

遠(yuǎn)程專家支持系統(tǒng)開(kāi)發(fā)完成后，經(jīng)測(cè)試后上線運(yùn)行，經(jīng)一個(gè)月的觀察，運(yùn)行穩(wěn)定。使用視頻幀率提升算法后有效提高了視頻會(huì)議時(shí)畫面的流暢度，對(duì)關(guān)鍵場(chǎng)景與見(jiàn)證畫面的展示提供了更好的支持。該系統(tǒng)的投入使用，大大節(jié)省了人力成本，有效解決了現(xiàn)場(chǎng)維修的技術(shù)支持問(wèn)題，提高了質(zhì)量控制等多方面的企業(yè)工作效率。

作者單位：羅俊 中國(guó)核能電力股份有限公司

韓輝、李小輝 江蘇核電有限公司

徐奎、劉石橋、景應(yīng)剛 中核武漢核電運(yùn)行技術(shù)股份有限公司