安進(jìn)朝 馬文學(xué)

摘要：信息技術(shù)和計(jì)算機(jī)技術(shù)在專網(wǎng)通信領(lǐng)域應(yīng)用的不斷深入，為面向應(yīng)急需求的融合指揮手段提供了新的動(dòng)力，經(jīng)多年攻關(guān)和積累，提出了一種異構(gòu)融合技術(shù)并成功應(yīng)用，對(duì)其中協(xié)議接入、媒體處理和業(yè)務(wù)融合3個(gè)關(guān)鍵子模塊的設(shè)計(jì)方案進(jìn)行了闡述，分析了其中涉及到的3種關(guān)鍵技術(shù)：組媒體處理及調(diào)度技術(shù)、弱網(wǎng)視頻優(yōu)化技術(shù)和異構(gòu)系統(tǒng)互聯(lián)互通技術(shù)，給出了異構(gòu)融合技術(shù)的實(shí)現(xiàn)效果和未來(lái)的研究方向。

關(guān)鍵詞：異構(gòu)融合；調(diào)度；統(tǒng)一適配；音視頻優(yōu)化；業(yè)務(wù)開(kāi)發(fā)

中圖分類號(hào)：TP311文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2022）12-67-5

0引言

隨著信息通信和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，國(guó)內(nèi)外在構(gòu)建應(yīng)急指揮調(diào)度系統(tǒng)過(guò)程中積極開(kāi)展了相關(guān)的探索，已經(jīng)逐步從早期的有線電話和無(wú)線對(duì)講階段發(fā)展成為運(yùn)用有線、無(wú)線、衛(wèi)星、網(wǎng)絡(luò)和視頻等多種通信技術(shù)的全面應(yīng)用階段。由于不同網(wǎng)絡(luò)（包括固定網(wǎng)絡(luò)和多種移動(dòng)網(wǎng)絡(luò)等）在傳播特性、帶寬、時(shí)延和覆蓋范圍等方面具有不同的性能[1]，沒(méi)有一種通信制式能解決所有問(wèn)題。近年來(lái)，在“市域社會(huì)治理現(xiàn)代化”戰(zhàn)略及應(yīng)急管理部設(shè)立等大背景下，應(yīng)急管理體制應(yīng)對(duì)的危機(jī)范圍逐漸擴(kuò)大，國(guó)內(nèi)的面向應(yīng)急通信系統(tǒng)的建設(shè)迎來(lái)了新的歷史機(jī)遇和挑戰(zhàn)。針對(duì)突發(fā)事件呈現(xiàn)出事態(tài)多樣多發(fā)、影響更大更廣、處置更難更復(fù)雜的特點(diǎn)，如何保障政府和各行業(yè)應(yīng)急力量及時(shí)準(zhǔn)確了解現(xiàn)場(chǎng)情況，快速有效地進(jìn)行信息溝通，進(jìn)而及時(shí)、科學(xué)地決策，實(shí)現(xiàn)跨區(qū)域、跨部門的統(tǒng)一指揮調(diào)度[2]，已經(jīng)成為一個(gè)重要的研究課題。

1平臺(tái)簡(jiǎn)介

異構(gòu)融合通信平臺(tái)的總體建設(shè)目標(biāo)為應(yīng)急指揮中心系統(tǒng)的支撐技術(shù)平臺(tái)，對(duì)上提供豐富標(biāo)準(zhǔn)的開(kāi)放接口與應(yīng)急各部門通信業(yè)務(wù)應(yīng)用系統(tǒng)對(duì)接，對(duì)下連接各類終端，實(shí)現(xiàn)對(duì)渠道信息接入并有效支撐融合指揮服務(wù)。重點(diǎn)強(qiáng)化在各種突發(fā)事件時(shí)對(duì)事件和現(xiàn)場(chǎng)的快速研判和會(huì)商決策，提高應(yīng)急指揮效能，系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D如圖1所示。

2設(shè)計(jì)方案

異構(gòu)融合通信平臺(tái)總體架構(gòu)分為前端接入層、控制融合平臺(tái)層和服務(wù)接口層4部分，采用全I(xiàn)P網(wǎng)絡(luò)架構(gòu)，融合了專網(wǎng)主流通信技術(shù)，架構(gòu)如圖2所示。

前端接入層主要由各應(yīng)用系統(tǒng)或者定制的專用客戶端實(shí)現(xiàn)，為各類異構(gòu)網(wǎng)絡(luò)提供接入服務(wù)，為互聯(lián)互通提供穩(wěn)定高效的通道；融合平臺(tái)層是這個(gè)系統(tǒng)的核心，提供語(yǔ)音、視頻和數(shù)據(jù)的調(diào)度服務(wù)，多種通信手段的融合[3]，提供多種媒體協(xié)議和控制協(xié)議的擴(kuò)展。

服務(wù)接口層為指揮調(diào)度業(yè)務(wù)提供SDK服務(wù)接口，提供不同系統(tǒng)的對(duì)接能力，供外部業(yè)務(wù)終端或者系統(tǒng)進(jìn)行調(diào)用和集成。

控制融合平臺(tái)層，又細(xì)分為業(yè)務(wù)融合、媒體處理和協(xié)議接入3個(gè)子系統(tǒng)，下面將分別介紹。

2.1業(yè)務(wù)融合子系統(tǒng)

異構(gòu)融合通信平臺(tái)的特點(diǎn)是調(diào)度一體化、無(wú)障礙的互聯(lián)互通和豐富的通信業(yè)務(wù)，在應(yīng)急指揮和公安指揮等多種場(chǎng)景下，多種調(diào)度方式相結(jié)合，視頻實(shí)時(shí)呈現(xiàn)和互動(dòng)，接報(bào)地圖自動(dòng)定位，為輔助指揮中心高效聯(lián)合研判和指揮決策，繁雜的通信方式對(duì)異構(gòu)融合通信平臺(tái)的能力和便捷提出了很高的要求?？刂迫诤献酉到y(tǒng)是融合平臺(tái)層的業(yè)務(wù)控制核心，也是異構(gòu)融合通信平臺(tái)的控制核心，通過(guò)對(duì)各種接入?yún)f(xié)議和業(yè)務(wù)引擎的融合，對(duì)服務(wù)接口層提供語(yǔ)音調(diào)度、視頻調(diào)度、GIS調(diào)度、短數(shù)據(jù)調(diào)度和設(shè)備管理等統(tǒng)一的支撐服務(wù)接口。

結(jié)合AI應(yīng)用技術(shù)，利用人臉識(shí)別、語(yǔ)音撥號(hào)和音視頻綁定等手段，融合通信平臺(tái)層可以為云應(yīng)用提供強(qiáng)大的功能擴(kuò)展。

2.2媒體處理子系統(tǒng)

媒體處理子系統(tǒng)，即平臺(tái)的媒體引擎，為融合平臺(tái)層提供音視頻會(huì)議功能，遵循媒體與信令分離、媒體處理與服務(wù)控制分離的原則，子系統(tǒng)分為服務(wù)接入、服務(wù)控制、媒體控制和媒體處理4層，其中媒體處理屬于媒體面，采用開(kāi)源媒體處理框架。媒體處理子系統(tǒng)與控制融合子系統(tǒng)基于SIP/MSML協(xié)議傳輸媒體控制信令；與視頻網(wǎng)關(guān)、接入網(wǎng)關(guān)以及各類接入終端等接入層設(shè)備基于RTP/RTCP協(xié)議進(jìn)行媒體流的控制和傳輸。

通過(guò)采用優(yōu)秀的會(huì)議混音技術(shù)、視頻會(huì)議自適配技術(shù)、GPU加速技術(shù)、RTP擁塞控制和加密技術(shù)，保障異構(gòu)融合通信平臺(tái)流暢的媒體呈現(xiàn)和視頻源的無(wú)縫接入。

2.3協(xié)議接入子系統(tǒng)

協(xié)議接入子系統(tǒng)融合前端各種不同類型協(xié)議的系統(tǒng)和終端，可以接入多種系統(tǒng)和終端等專網(wǎng)通信產(chǎn)品，實(shí)現(xiàn)互聯(lián)互通?？梢耘c公網(wǎng)通信系統(tǒng)、專網(wǎng)無(wú)線寬窄帶集群系統(tǒng)以及視頻會(huì)議對(duì)接，完成融合指揮調(diào)度。對(duì)外選用了一種標(biāo)準(zhǔn)協(xié)議（SIP協(xié)議）和一種接口（UC服務(wù)接口），接入各種網(wǎng)關(guān)和統(tǒng)一通信服務(wù)，網(wǎng)關(guān)包括語(yǔ)音網(wǎng)關(guān)、寬窄帶集群接入網(wǎng)關(guān)、視頻會(huì)議網(wǎng)關(guān)、衛(wèi)星接入網(wǎng)關(guān)和視頻監(jiān)控接入網(wǎng)關(guān)等。

3關(guān)鍵技術(shù)

3.1組媒體處理及調(diào)度技術(shù)

在視頻指揮調(diào)度應(yīng)用中，網(wǎng)絡(luò)建設(shè)往往不是一次性全部更新，新舊設(shè)備共存是常態(tài)，不同網(wǎng)絡(luò)、不同終端視頻能力差異很大，調(diào)度應(yīng)用中既要保證所有在網(wǎng)的設(shè)備都可以接入，又要體現(xiàn)其中高端設(shè)備的先進(jìn)性和應(yīng)用效果。融合平臺(tái)的媒體引擎設(shè)計(jì)采用全新的多方媒體處理模型，同時(shí)具備媒體能力自動(dòng)適配功能。

目前多方媒體處理框架主要有Mesh，Selective Forwarding Unit（SFU）和Multipoint Conferencing Unit（MCU）3種方案。

Mesh方案，即多個(gè)終端之間兩兩進(jìn)行連接，形成一個(gè)網(wǎng)狀結(jié)構(gòu)，這種方案對(duì)各終端的帶寬要求比較高。Mesh模型示意圖如圖3所示。

MCU方案由一個(gè)服務(wù)器和多個(gè)終端組成一個(gè)星形結(jié)構(gòu)。各終端將自己要共享的音視頻流發(fā)送給服務(wù)器，服務(wù)器端會(huì)將在同一個(gè)房間中的所有終端的音視頻流進(jìn)行混合，最終生成一個(gè)混合后的音視頻流再發(fā)給各個(gè)終端，這樣各終端就可以看到/聽(tīng)到其他終端的音視頻了。實(shí)際上服務(wù)器端就是一個(gè)音視頻混合器，這種方案服務(wù)器的壓力會(huì)非常大。MCU模型示意圖如圖4所示。

SFU（Selective Forwarding Unit）方案，該方案也是由一個(gè)服務(wù)器和多個(gè)終端組成，但與MCU不同的是，SFU不對(duì)音視頻進(jìn)行混流，收到某個(gè)終端共享的音視頻流后，就直接將該音視頻流轉(zhuǎn)發(fā)給房間內(nèi)的其他終端。它實(shí)際上就是一個(gè)音視頻路由轉(zhuǎn)發(fā)器。這樣大大增加了客戶端的靈活性，但是這樣做也有弊端，因?yàn)镾FU不會(huì)對(duì)原視頻做壓縮處理，這對(duì)下行帶寬有很高的要求，若沒(méi)達(dá)到要求，將會(huì)對(duì)音視頻的質(zhì)量產(chǎn)生影響。

針對(duì)SFU帶寬問(wèn)題，目前還有基于SFU的simulcast和SVC分層[6]方案。simulcast方案是通過(guò)分層的方式，可以設(shè)置成2層、3層或是4層甚至更高層次的分辨率，下發(fā)的時(shí)候SFU會(huì)判斷整個(gè)帶寬能否承載下行的數(shù)據(jù)，如果不能承載便選擇低一個(gè)層次的分辨率看能否承載，若不能承載，再選擇更低層次的，依次下去。SVC也是采用分層，但與simulcast不同，后者是獨(dú)立的層，而前者是相互依賴的。SFU-simulcast模型示意圖如圖6所示。SFU-SVC模型示意圖如圖7所示。

上述2種分層方案，都可以有效利用帶寬資源，但需要終端廣泛支持媒體流分層技術(shù)，因此應(yīng)用在融合指揮調(diào)度領(lǐng)域受限很大。

在異構(gòu)融合通信平臺(tái)中，前方應(yīng)急指揮環(huán)境下的終端組網(wǎng)采用了Mesh模型，在與外界網(wǎng)絡(luò)隔離的情況下，可以進(jìn)行應(yīng)急終端中間的多媒體交互。后方處理模型則采用了改進(jìn)的復(fù)合模型，兼顧了MCU和SFU的特點(diǎn)。

會(huì)議中某一會(huì)場(chǎng)不支持當(dāng)前會(huì)議要求的視頻格式時(shí)，媒體引擎需要為該會(huì)場(chǎng)分配額外的圖像編解碼器資源。當(dāng)媒體服務(wù)器中的編解碼器處理資源達(dá)到為每個(gè)會(huì)場(chǎng)都配備1路編解碼器資源時(shí)，就能夠?qū)崿F(xiàn)全適配處理。會(huì)場(chǎng)終端都能夠以最優(yōu)的視頻能力接入，同時(shí)媒體服務(wù)器發(fā)送給會(huì)議終端的視頻碼流也是最優(yōu)的。復(fù)合模型示意圖如圖8所示。

相對(duì)于傳統(tǒng)的指揮調(diào)度平臺(tái)，異構(gòu)融合通信平臺(tái)接入的媒體類型更多，業(yè)務(wù)流程更加復(fù)雜，對(duì)媒體資源的調(diào)度靈活性和能力兼容性有非常高的要求。

本平臺(tái)媒體引擎設(shè)計(jì)采用自適應(yīng)的媒體資源動(dòng)態(tài)調(diào)度方法，根據(jù)不同的調(diào)度業(yè)務(wù)及終端設(shè)備間的媒體協(xié)商，均衡分配相應(yīng)的媒體轉(zhuǎn)發(fā)或轉(zhuǎn)碼資源，對(duì)不同業(yè)務(wù)及終端音視頻能力進(jìn)行適配；使用一種資源占用修正模型，該模型的輸入為資源目標(biāo)類型、當(dāng)前的網(wǎng)絡(luò)丟包、延遲、碼率、編解碼以及處理主機(jī)情況，輸出為修正后的最小資源占用、最優(yōu)資源預(yù)留和資源變化趨勢(shì)，用于準(zhǔn)確地評(píng)估資源占用情況。

該方法根據(jù)業(yè)務(wù)的媒體協(xié)商采用音視頻資源實(shí)時(shí)監(jiān)控策略，同時(shí)基于多目標(biāo)決策和資源修正模型，實(shí)現(xiàn)了轉(zhuǎn)碼、轉(zhuǎn)發(fā)等各類媒體資源的均衡動(dòng)態(tài)分配與控制，突破了指揮調(diào)度中心大規(guī)模并發(fā)多媒體通信的瓶頸，保證了上層多種調(diào)度業(yè)務(wù)的高效穩(wěn)定進(jìn)行。

當(dāng)媒體流經(jīng)過(guò)任意媒體組件時(shí)，將執(zhí)行內(nèi)部動(dòng)態(tài)配置，以便將傳入媒體格式與請(qǐng)求的輸出媒體格式相匹配。如果輸入和輸出格式兼容（在編解碼器級(jí)別），則媒體可以直接傳輸而無(wú)需任何額外的處理。但是，如果輸入和輸出媒體格式不兼容，則啟用內(nèi)部轉(zhuǎn)碼模塊將輸入媒體格式轉(zhuǎn)換為與所需輸出兼容。

3.2弱網(wǎng)視頻優(yōu)化技術(shù)

變分辨率在弱網(wǎng)場(chǎng)景的實(shí)際應(yīng)用中非常常見(jiàn)，網(wǎng)絡(luò)狀況不好的時(shí)候降低分辨率可以降低碼率，減少塊效應(yīng)，網(wǎng)絡(luò)好的時(shí)候增加分辨率可以提升清晰度及主觀體驗(yàn)。

目前主流的視頻編碼標(biāo)準(zhǔn)，比如H.264和H.2655/HEVC[4]，在編碼過(guò)程中如果要進(jìn)行分辨率切換，則必須要先編碼一個(gè)I幀，而I幀只能使用幀內(nèi)預(yù)測(cè)，編碼效率低下。這在弱網(wǎng)變分辨率的時(shí)候就容易造成卡頓。圖9展示了每秒鐘切換分辨率的碼率波動(dòng)效果，高低2個(gè)分辨率，每秒鐘切換一次。