馮九龍

（對外經(jīng)貿(mào)大學(xué)統(tǒng)計(jì)學(xué)院 北京市 100048）

網(wǎng)絡(luò)傳輸?shù)男畔⒅饕婕拔谋拘畔⑦€有不同類型的圖像以及視音頻與三維動(dòng)畫等多媒體數(shù)據(jù)。用戶在使用的過程中不僅對視聽節(jié)目的音質(zhì)與畫質(zhì)有著相對較高的要求同時(shí)還對網(wǎng)絡(luò)帶寬有著相對較高的要求，基于內(nèi)容感知的視頻流媒體漸進(jìn)式流傳輸方式從而有效處理傳輸網(wǎng)絡(luò)帶寬以及平衡播出視頻質(zhì)量還有用戶等待時(shí)間之間的沖突。

1 視頻幀重要性分析

視頻傳輸?shù)馁Y源分配一般是以一組視頻幀作為對象的，在圖像組中的視頻幀展開資源的有效分配，所以進(jìn)行對視頻幀重要性的準(zhǔn)確度量便于展開資源的合理分配，進(jìn)行對重要視頻幀的有效保護(hù)。在H.264 編碼算法中，編碼模式可以對視頻內(nèi)容方面的有關(guān)特性進(jìn)行有效地反映，在該算法中運(yùn)動(dòng)矢量還有參考幀的選擇等方面的參數(shù)能夠進(jìn)行對相鄰幀間場景方面的變化的劇烈程度進(jìn)行有效地反映。

本文主要是通過進(jìn)行對視頻幀內(nèi)的重要的參數(shù)進(jìn)行有效地提取進(jìn)行對數(shù)據(jù)丟失所造成的失真程度的合理判斷，并且對視頻幀內(nèi)的GOP 中的位置予以充分地考慮對視頻幀的丟失從而對GOP 內(nèi)的其他幀的失真所產(chǎn)生的相關(guān)影響，以此為基礎(chǔ)進(jìn)行對GOP 內(nèi)視頻幀的重要性函數(shù)予以有效地確定。在視頻序列內(nèi)，結(jié)合幀的編碼信息，如：將幀類型設(shè)定為K，將鏡頭代表幀設(shè)為W 場景切換幀設(shè)定為P 從而對視頻流內(nèi)的各類型的幀重要性進(jìn)行合理的計(jì)算，其公示為：

在此公式內(nèi)，Ii 所代表的主要為第i 幀的重要性的度量，而Wi所代表的為第i 幀碼率分配的權(quán)重，KI 所代表的為通過有效調(diào)整以后第i 幀分配的碼率，H 所代表的則是視頻幀的重要性的函數(shù)。除此之外，Kgop所代表的未GOP 所具體需要的具體碼率。

2 片層數(shù)據(jù)重要性

對于MGS 編碼來講其各個(gè)子塊的數(shù)據(jù)單元內(nèi)的16 個(gè)系數(shù)屬于4*4 子塊數(shù)據(jù)經(jīng)過證書變換以后從而取得的，所以每個(gè)系數(shù)的重要性也存在著一定程度的差異。結(jié)合片層所涵蓋的系數(shù)的個(gè)數(shù)對片層自重藥性的權(quán)重矢量進(jìn)行有效地定義。對于片層數(shù)據(jù)重要性的分析不僅需要對每層的自重要性系數(shù)同時(shí)片層的參考度矢量也是其中較為重要的一項(xiàng)評價(jià)因素。

并且將片層參考度矢量C=(c0,c1,…,cn-1)，將F={f0,f1,…,fn-1}代表有N 幀所構(gòu)成的編碼圖像組，假如N=4 時(shí)，f2幀的圖像因?yàn)榻?jīng)過雙向預(yù)測獲得所以可以被視為屬于f0還有f4幀圖像的子幀。以此類推從而了解到f0和f2的子幀為f1，f3屬于f2和f4的子幀。因?yàn)閹g預(yù)測的作用，所以父幀相關(guān)數(shù)據(jù)若是出現(xiàn)一定的丟失將會使得子幀出現(xiàn)失真的情況。

3 漸進(jìn)式流傳方式

想要使得網(wǎng)絡(luò)高并發(fā)利用率作用得到充分地發(fā)揮，同時(shí)科學(xué)合理地處理視頻質(zhì)量還有用戶實(shí)時(shí)性請求方面的沖突，在具體視頻編碼還有傳輸?shù)碾A段呃逆，首先應(yīng)當(dāng)對低分辨率的流媒體數(shù)據(jù)的傳送、接收還有顯示，從而在進(jìn)行對更為精細(xì)化的數(shù)據(jù)還有重要性相對較高的數(shù)據(jù)以及保護(hù)性較高的數(shù)據(jù)進(jìn)行傳送還有接收以及顯示，最終進(jìn)行對其他數(shù)據(jù)的有效傳送。結(jié)合幀的重要性進(jìn)行對最優(yōu)碼率分配的有效排序，結(jié)合幀內(nèi)所有片層的具體重要程度進(jìn)行科學(xué)合理的有效排列，及所有重要的編碼的具體范圍能夠經(jīng)過帶寬還有具體需求展開有效地確定。視頻的漸進(jìn)式流傳輸方式在展開編碼重要數(shù)據(jù)的有效保護(hù)過程中，利用冗余備份的方式把此部分重要編碼數(shù)據(jù)轉(zhuǎn)入基本層內(nèi)展開有效地處理。根據(jù)數(shù)據(jù)重要性估計(jì)分析作為基礎(chǔ)，采用合理的計(jì)算方式進(jìn)行對視頻序列質(zhì)量的整體重要性的有效計(jì)算，從而對數(shù)據(jù)的丟棄排序策略予以有效地確定，令在目標(biāo)碼率下視頻序列質(zhì)量保持最優(yōu)的狀態(tài)。

根據(jù)MGS 編解碼進(jìn)行分析可以了解到，進(jìn)行對中間增強(qiáng)層數(shù)據(jù)的有效提取，因?yàn)閷娱g預(yù)測方面的因素進(jìn)而造成了中間增強(qiáng)層數(shù)據(jù)無法取得有效地利用。想要使得層間預(yù)測保持合理的一致性，該方面能夠利用進(jìn)行對MGS 層間的依賴性結(jié)構(gòu)調(diào)整的方法進(jìn)行有效地處理。

4 失真模型預(yù)測

通過以錯(cuò)誤擴(kuò)散的失真建模還有對視頻數(shù)據(jù)負(fù)載對丟包方面的影響，根據(jù)失真模式進(jìn)行分析，網(wǎng)絡(luò)的丟包事件的發(fā)生率還有平均連續(xù)丟包長度、視頻傳輸?shù)呢?fù)載方式還有編碼參數(shù)以及視頻本身的內(nèi)容特性均對最終的視頻失真具有極大程度地影響。以H2.6overRTP 傳輸為例因?yàn)槠渚幋a解碼還有負(fù)載方式方面的特性，丟包情況的存在僅僅是會對現(xiàn)階段GOB 的解碼方面造成一定程度地影響，在傳輸方面具有相對較為良好的魯棒性。借助仿真實(shí)驗(yàn)進(jìn)行對視頻失真度量模型的準(zhǔn)確性的有效驗(yàn)證，通過對編碼器的有效修改從而令編碼器在進(jìn)行編碼的過程中同時(shí)還能夠進(jìn)行對沒整的GOB 的初始失真值的有效計(jì)算。首先若視頻編碼器實(shí)現(xiàn)了對一個(gè)宏塊的編碼的編制，結(jié)合此宏塊所屬的GOB 的編號，從而進(jìn)行對此宏塊所屬的GOB 進(jìn)行記錄。由于編碼器會展開重構(gòu)編碼，完成重構(gòu)編碼以后所獲得的宏塊便是在解碼器段能夠進(jìn)行解碼予以數(shù)據(jù)的恢復(fù)，同時(shí)由編碼器中的幀緩存內(nèi)取得的此宏塊預(yù)測編碼的參考幀數(shù)據(jù)，在編碼器端模擬解碼器端的錯(cuò)誤進(jìn)行機(jī)制的有效恢復(fù)，再取得經(jīng)過錯(cuò)誤隱藏算法后的宏塊，同時(shí)把數(shù)據(jù)還有重構(gòu)編碼以后的宏塊數(shù)據(jù)進(jìn)行與計(jì)算，取得此宏塊的初始失真的有效比較。

表1：Foreman 序列MGS 對各片層的影響

除此之外，結(jié)合GOB 編號對一個(gè)GOB 內(nèi)的各個(gè)宏塊的初始失真進(jìn)行求和從而獲得一個(gè)GOB 的初始失真。然而一個(gè)GOP 中的GOB 的初始失真的平均值便是各個(gè)GOB 的初始失真，通過進(jìn)行平均值的計(jì)算便可以。對視頻傳輸跟蹤文件來講其作用在于把MPEG-2 或H.264 的視頻碼借助NS-2 的接口向仿真網(wǎng)絡(luò)內(nèi)進(jìn)行注入，進(jìn)行對視頻流發(fā)送的具體數(shù)據(jù)的相關(guān)特性進(jìn)行有效地模擬。

本文主要結(jié)合H.264 編碼視頻所生產(chǎn)的兩個(gè)TrafficTracefile 為例，其中一方面涉及較為詳細(xì)的相關(guān)信息，另一個(gè)則只涉及在進(jìn)行模擬過程中所需要的最為核心的幾個(gè)參數(shù)，對于詳細(xì)信息來講其主要涉及RTP 頭部信息還有NALU 頭信息和Slice 的一些頭信息。對于簡單信息來講其通常所涉及的信息有序列號還有發(fā)送的具體時(shí)間以及GOB 大小和數(shù)據(jù)的實(shí)際類型等方面。對于傳輸協(xié)議仿真其主要是在NS-2 的網(wǎng)絡(luò)協(xié)議框架為基礎(chǔ)進(jìn)行建設(shè)的，雖然傳輸協(xié)議具有一定的標(biāo)準(zhǔn)，然而在擁塞控制還有錯(cuò)誤控制方面一般是為應(yīng)用層進(jìn)行預(yù)留的，在進(jìn)行模擬的過程中主要對發(fā)送端的速率控制以及錯(cuò)誤重傳進(jìn)行有效地簡化。在展開對發(fā)送端速率方面的控制過程中若是發(fā)送端采用擁塞控制機(jī)制，則部分?jǐn)?shù)據(jù)包有可能會被發(fā)送端直接拋棄，不進(jìn)行發(fā)送從而實(shí)現(xiàn)對發(fā)送速率的有效控制。在進(jìn)行模擬的過程中假設(shè)發(fā)送端將所有的數(shù)據(jù)進(jìn)行發(fā)送，不對任何數(shù)據(jù)進(jìn)行主動(dòng)性的拋棄，在此情況下所造成的數(shù)據(jù)方面的丟失均是因?yàn)榫W(wǎng)絡(luò)丟包所引起的。若是發(fā)送端其傳輸控制機(jī)制內(nèi)具有錯(cuò)誤重傳，在此環(huán)境下，一些數(shù)據(jù)包均有可能會被傳輸多次。在進(jìn)行仿真模擬的過程中，若是發(fā)送端沒有使用錯(cuò)誤重發(fā)機(jī)制，全部的數(shù)據(jù)包在發(fā)送端在傳輸?shù)倪^程中只會進(jìn)行發(fā)送一次。

5 實(shí)驗(yàn)與結(jié)果分析

因?yàn)镸GS 編碼可以在相對較為明顯的進(jìn)行對計(jì)算復(fù)雜程度的有效下降的基礎(chǔ)上提供同F(xiàn)GS 失真結(jié)果相似，所以其成為現(xiàn)階段使用相對較為廣泛的視頻編碼技術(shù)。本文主要是利用ITU 的視頻質(zhì)量轉(zhuǎn)專家組所提供的標(biāo)準(zhǔn)測試序列作為數(shù)據(jù)源，在ITU-T 標(biāo)準(zhǔn)提案itu-tvcegp206d0 內(nèi)進(jìn)行了對SVC 測試環(huán)境的有效定義，通過借助Mobolelp 模擬測試平臺展開有效的實(shí)驗(yàn)研究，對于視頻質(zhì)量方面的評價(jià)能夠視為對視頻每幀圖像質(zhì)量方面的有效評價(jià)，其主要是把原視頻圖像作為參考展開對度量解碼完成以后視頻圖像還有失真程度方面的有效度量。筆者主要是借助解碼視頻還有原視頻每幀圖像的PSNR 的預(yù)想值評價(jià)視頻質(zhì)量。

關(guān)于數(shù)據(jù)重要性漸進(jìn)式流傳輸測試實(shí)驗(yàn)，在進(jìn)行實(shí)驗(yàn)的過程中主要采用的為Foreman 序列，對于Foreman 序列來講其主要是采用的QCIF 視頻格式并且其幀率主要是保持在每秒15 幀，可以分為8個(gè)圖像組，MGS 堆棧涉及5 個(gè)片層，其系數(shù)矢量為{01384}。對于基本層量化參數(shù)還有質(zhì)量增強(qiáng)層量化參數(shù)分別是42 還有32，其所輸出的編碼數(shù)據(jù)流為32 幀。因?yàn)樵鰪?qiáng)運(yùn)動(dòng)矢量信息通常情況下是存在在MGS 堆棧的受片層內(nèi)，所以筆者在進(jìn)行此次實(shí)驗(yàn)的過程中對于增進(jìn)層運(yùn)行矢量相關(guān)因素對于視頻流所產(chǎn)生的影響不予考慮，從而在此基礎(chǔ)上將首片層的系數(shù)設(shè)置為0。此次試驗(yàn)中主要內(nèi)容為進(jìn)行對編碼數(shù)據(jù)圖像組內(nèi)視頻幀每個(gè)片層展開丟棄解碼影響方面的測試。表1 是Foreman 序列圖像組內(nèi)視頻幀每一片層對視對視頻流質(zhì)量所在成的具體影響程度進(jìn)行了有效地測試統(tǒng)計(jì)，從中可以了解到：不同片層的數(shù)據(jù)對于視頻質(zhì)量所產(chǎn)生的影響存在一定程度的差異，針對此種情況漸進(jìn)式流傳輸方式可以使得視頻質(zhì)量得到一定程度地提高。

關(guān)于漸進(jìn)式流傳輸方式發(fā)送端方面的性能測試實(shí)驗(yàn)，對于此次實(shí)驗(yàn)所需要條件主要為，其借助Foreman 還有Bus 序列。同時(shí)此次實(shí)驗(yàn)所采用的序列所使用的視頻格式為CIF，其幀率保持在每秒30幀的狀態(tài)，8 個(gè)圖像組，MGS 堆棧涉及片層為5 個(gè)，其系數(shù)矢量為{13624}。對于基本層量化數(shù)據(jù)為45 同時(shí)質(zhì)量增強(qiáng)層量化參數(shù)為30，輸出編碼數(shù)據(jù)流為32 幀。性能測試結(jié)果如圖1 所示。

圖1：傳輸性能測試

根據(jù)圖1 可以了解到通過采用基于內(nèi)容感知的漸進(jìn)式流傳輸方式以后，從而實(shí)現(xiàn)了視頻質(zhì)量的有效地提高。在同樣的碼率情況下，同一本碼流傳輸方式進(jìn)行有效地對比，其最高能夠?qū)崿F(xiàn)1.5bB 的性能方面的有效提升。對于采用模擬信號接收端性能測試方面的實(shí)驗(yàn)，對于碼流數(shù)據(jù)經(jīng)過模擬信道出現(xiàn)丟包的階段中，對涉及視覺敏感范圍編碼數(shù)據(jù)的最重要MGS 片層展開有效的冗余保護(hù)。在具體的測試階段，展開了對基本層數(shù)據(jù)還有增強(qiáng)層數(shù)劇分離，主要是通過低差錯(cuò)率同時(shí)還用過了高差錯(cuò)率信道展開了有效的模擬。此次實(shí)驗(yàn)的主要采用的為Foreman 序列，該序列所采用的視頻格式為CIF，其幀率保持在每秒30 幀，具有8 個(gè)圖像組，除此之外，MGS 堆棧主要涉及的片層在3 個(gè)，系數(shù)矢量主要為{583}。基本層量化參數(shù)為50 同時(shí)質(zhì)量增強(qiáng)層量化參數(shù)為25，通過MobileIP 模擬進(jìn)行對環(huán)境差錯(cuò)的有效模擬。經(jīng)過對信道過程中所產(chǎn)生的57 個(gè)數(shù)據(jù)包單元的丟失，在此過程中涉及兩個(gè)關(guān)鍵幀重要數(shù)據(jù)首片層數(shù)據(jù)包單元，丟包率達(dá)到2.7e-001。其所通過信道前碼率為每秒1251Kb，冗余數(shù)據(jù)為每秒53Kb，通過該此實(shí)驗(yàn)可以了解到此方法一方面能夠進(jìn)行對重要數(shù)據(jù)的保護(hù)，另一方面還能夠有效促進(jìn)視頻質(zhì)量的提高。

6 面向未來發(fā)展的趨勢性分析

近些年來，視頻傳輸技術(shù)發(fā)展相對較快，并且其在網(wǎng)絡(luò)視頻、視頻直播得到了相對較為廣泛地應(yīng)用已成為當(dāng)前互聯(lián)網(wǎng)上最具有發(fā)展前景的應(yīng)用之一，因?yàn)楝F(xiàn)階段互聯(lián)網(wǎng)在管理上還有控制機(jī)制上相對較為復(fù)雜，該種情況無法有效滿足實(shí)時(shí)視頻傳輸?shù)南嚓P(guān)要求。根據(jù)視頻編碼的特性借助視頻數(shù)據(jù)間數(shù)據(jù)重要性中所存在的差異，展開非平等性的資源優(yōu)化分配，從而取得最小的端到端傳輸屬于現(xiàn)階段研究的熱點(diǎn)。筆者在研究過程中主要由視頻內(nèi)容進(jìn)行了對視頻數(shù)據(jù)內(nèi)所具有的重要性展開了有效地區(qū)分，然而采用的度量手段仍然是以客觀食品質(zhì)量評價(jià)為基礎(chǔ)的，此類型的方法在度量視頻內(nèi)容對于人們的視覺影響還是具有一定程度的缺陷。根據(jù)視頻序列來講，亮度相對較高還有運(yùn)動(dòng)劇烈以及場景的中間位置等范圍通常情況下更能夠抓住人們的眼球，此部分的數(shù)據(jù)出現(xiàn)丟失或者失真將會引起較為嚴(yán)重的視覺市政。通過客觀視頻質(zhì)量評價(jià)的手段通常不能夠取得此類信息數(shù)據(jù)。以視頻特性作為切入點(diǎn)進(jìn)行對ROI 區(qū)域的檢測、劃分、編碼以及傳輸優(yōu)化可以使得視頻傳輸質(zhì)量得到有效地提升?，F(xiàn)階段大多數(shù)視頻傳輸資源分配方面的算法主要是針對協(xié)議層進(jìn)行的。此類型的算法存在一定程度的局限性。因?yàn)闊o線網(wǎng)絡(luò)資源存在一定程度的限制，傳輸信道因?yàn)闆_突、干擾還有衰退等方面的影響從而會出現(xiàn)一定程度的誤碼，只由單個(gè)協(xié)議層展開資源分配通常情況下無法取得有效的效果，因此應(yīng)當(dāng)由多個(gè)協(xié)議出發(fā)對各協(xié)議層內(nèi)的可控資源的關(guān)系進(jìn)行有效地分析構(gòu)建跨層資源優(yōu)化分配的框架，同時(shí)設(shè)計(jì)可操性較強(qiáng)的尋優(yōu)算法。

7 結(jié)束語

為了使得傳輸網(wǎng)絡(luò)帶寬還有平衡播出視頻的質(zhì)量以及用戶等待時(shí)間件的沖突進(jìn)行合理有效地應(yīng)用，筆者主要基于內(nèi)容感知的視頻流媒體漸進(jìn)式流傳輸方式進(jìn)行了有效地分析。結(jié)合編碼信息進(jìn)行對視頻序列內(nèi)各幀的重要性予以有效地確定性同時(shí)進(jìn)行度幀內(nèi)片層數(shù)據(jù)的重要性進(jìn)行計(jì)算。借助MGS 編碼，在模擬測試平臺展開對數(shù)據(jù)重要性漸進(jìn)式流傳輸測試還有漸進(jìn)式流傳輸方式發(fā)送端性能進(jìn)行了測試。