蔣禮根，郝學元，顏曉紅

(南京郵電大學 電子科學與工程學院，江蘇 南京 210003)

一種高清視頻低延時遠程傳輸方法

蔣禮根，郝學元，顏曉紅

(南京郵電大學 電子科學與工程學院，江蘇 南京 210003)

針對遠程高清視頻傳輸延遲問題，提出了一種改進的DCT系數(shù)量化方法。此方法通過一個自適應取樣函數(shù)對DCT壓縮量化系數(shù)進行了分塊取樣，再對DCT系數(shù)重構(gòu)量化后以百兆以太網(wǎng)的IP包進行實時壓縮傳輸，且接收端通過IDCT變換進行解壓，并加入均值為零的噪聲處理，解決了圖像壓縮的塊效應問題，從而實現(xiàn)遠程實時傳輸高清視頻，滿足了民用中對高清視頻遠程實時傳輸?shù)囊?。關(guān)鍵詞: 低時延；塊效應；DCT系數(shù)量化；以太網(wǎng)

DVI和HDMI都是數(shù)字化視頻接口技術(shù)。以分辨率2 048×1 152的高清視頻流為例，紅綠藍3種顏色構(gòu)成1個像素且每種顏色采用8 bit量化，每秒播放60幀，則1 s的數(shù)據(jù)量將達到約23 Gbyte以上[1]，因此數(shù)字化視頻接口協(xié)議標準規(guī)定其傳輸距離很短。要實現(xiàn)長距離傳輸，必須通過光纖網(wǎng)絡接口才能做到無損實時傳輸[2]，這樣成本很高。而通過普通百兆網(wǎng)絡傳輸，又存在延時大，視頻清晰度不高的問題，不滿足實時監(jiān)控的場景，特別是在電力，空管監(jiān)控場合要求視頻發(fā)送到接收的延時時間在100 ms內(nèi)，而普通的壓縮傳輸方法的延遲時間遠大于100 ms。針對此問題，提出一種改進的DCT系數(shù)量化方法，此算法先對高頻視頻流壓縮處理，通過一個自適應取樣函數(shù)對DCT壓縮量化系數(shù)進行了分塊取樣，對DCT系數(shù)重構(gòu)量化矩陣后以百兆以太網(wǎng)的IP包傳輸且接收端解壓并加入均值為零的噪聲處理，測試結(jié)果表明，此方法有效去除了視頻量化過程中的塊效應問題，最終生成的數(shù)據(jù)流能滿足低延時高清傳輸?shù)囊蟆?/p>

1 系統(tǒng)整體方案設計

此系統(tǒng)設計對視頻流進行實時壓縮到百兆內(nèi)進行遠程實時傳輸。此系統(tǒng)設計的流程是先將服務器輸出的視頻流進行實時壓縮與重編，之后再將信號封裝為IP包格式，通過百兆以太網(wǎng)遠程實時傳輸視頻流信號。接收端通過解壓縮，然后將其送到顯示器顯示。系統(tǒng)功能模塊如圖1所示。

圖1 系統(tǒng)模塊

2 二維整數(shù)DCT算法

絕大多數(shù)圖像的高頻分量較小，并且人的視覺對高頻信息丟失引起的圖像失真并不是很敏銳，通過DCT變換能使得圖像中分布較為均勻的能量向中低頻部分聚集，即使大部分能量集中于較少數(shù)的DCT系數(shù)上，因此傳輸后接收端在解壓時，只要將集中在中低頻區(qū)的能量進行反變換，即可重構(gòu)出原始圖像的主要部分。但由DCT變換公式[3]知，DCT浮點數(shù)的運算量極大，這與所要求的低時延性、低復雜度相矛盾，并且在接收端解碼浮點數(shù)運算帶來精度問題。所以此系統(tǒng)采取二維整數(shù)DCT變換作為本幀內(nèi)壓縮算法。

實現(xiàn)一次二維DCT變換可以看作是實現(xiàn)兩次一維DCT變換，其中先按行進行一維DCT變換，再按列進行一維DCT變換，則二維DCT變換可用矩陣[4]表示為

Y=CXCT

(1)

其中：X為像素值；C為DCT變換矩陣。

在二維DCT變換中，為了減少計算量和降低復雜度使得矩陣C元素全部調(diào)整為整數(shù)，并將比例因子矩陣放到量化過程中，從而實現(xiàn)了變換和量化同時進行，使其編碼速度大大提高。則經(jīng)過推導得二維整數(shù)DCT變換矩陣和變換矩陣Cint[5]分別為

(2)

(3)

其中：E表示比例因子。在此壓縮算法中，先把圖像劃分成多個4×4的像素塊，再分別對像素塊進行二維整數(shù)DCT變換。

通過整數(shù)DCT變換算法，可以很有效地避免IDCT變換時浮點運算帶來的精度誤差，這誤差會造成解碼后的數(shù)據(jù)失配，從而引起漂移，并且把運算大大化簡為加法、減法及移位運算。進一步避免了除法運算，極大地降低了運算量和復雜度，即滿足了低復雜度壓縮算法的設計要求，為此系統(tǒng)遠程傳輸視頻的低時延性提供了基礎。

3 改進的DCT系數(shù)量化算法

3.1 圖像失真原因

采用整數(shù)DCT變換的壓縮算法， 接收端重構(gòu)圖像的失真是主要由整數(shù)DCT變換系數(shù)的量化過程引起的，經(jīng)典的整數(shù)DCT變換系數(shù)量化過程和重構(gòu)過程[6]為

FQ(u,v)=round(FD(u,v)/Q(u,v))

(4)

FR(u,v)=FQ(u,v)Q(u,v)

(5)

其中：FD(u,v)為量化前整數(shù)DCT變換系數(shù)；FQ(u,v)為量化后整數(shù)DCT變換系數(shù)；FR(u,v)為重構(gòu)整數(shù)DCT變換系數(shù)；Q(u,v)為量化過程的量化步長，round(*)為四舍五入函數(shù)。

則整數(shù)DCT變換系數(shù)量化誤差為

ρ(u,v)=FR(u,v)-FD(u,v)

(6)

采用整數(shù)DCT變換時，由于圖像中所有的像素塊(4×4)是相互獨立量化的，以致于鄰塊之間的量化誤差互不相關(guān)。所以對于鄰塊間的邊界像素，若鄰塊之間量化誤差連續(xù)性不強，則使原始光滑的紋理在鄰塊間邊界上發(fā)生較大波動，即會產(chǎn)生塊效應。

考慮到遠程視頻百兆網(wǎng)絡信道帶寬的限制，本地DCT系數(shù)中高頻分量須進行壓縮處理，所以在接收端接收量化誤差越小的像素塊反變換后就與本地此像素塊越接近，反之，圖像遠程傳輸失真很嚴重。

3.2 改進的DCT變換系數(shù)量化算法

現(xiàn)在已有很多可以降低方塊效應的算法，比如文獻[6]雖然對塊效應產(chǎn)生的根本原因進行理論分析及論證，且提出一種迭代計算降低塊效應的具體算法，但是此算法并不能很好地適用于實際應用工程中，主要原因是此算法復雜度與像素塊元素數(shù)呈指數(shù)形式增長，這與此系統(tǒng)所要求的低時延性相違背；可編程循環(huán)去塊濾波算法[7]通過重構(gòu)圖像后對圖像進行去塊濾波來減少塊效應，但是因為原始圖像信息的丟失，此算法并不能很好地消除圖像的塊效應，特別是圖像的真實細節(jié)處。

圖2 量化前像素塊1與鄰塊分布

(7)

其中：ρ1(u,v)，ρ2(u,v)，ρ3(u,v)，ρ4(u,v)，ρ5(u,v)為各像素塊的量化誤差；α為可調(diào)系數(shù)。

具體算法過程如下：

1)采用整數(shù)DCT變換且壓縮DCT系數(shù)；

2)采用邊緣檢測算法[8]檢測出整幅重構(gòu)圖像內(nèi)容的邊緣；

3)在重構(gòu)圖像內(nèi)容的邊緣中，在邊緣的塊效應處計算當前像素塊(4×4)及其他像素塊的量化誤差且根據(jù)式(7)確定取樣矩陣的n值大小(即取樣矩陣非0值的個數(shù)多少)；

4)通過取樣矩陣的n值把DCT系數(shù)劃分為2個區(qū)域(左上角和右下角區(qū)域)，重新調(diào)整左上角區(qū)域量化方法的量化公式為

(8)

(9)

所以每個DCT系數(shù)就會有2種可能的量化值，這樣可組成2n個互不相同的量化系數(shù)矩陣，對每個量化系數(shù)矩陣重構(gòu)FR′(u,v)，且更新計算4條邊的邊界誤差，當4條邊界誤差平方和最小時，量化矩陣值為整數(shù)DCT變換的量化值，即

(10)

5)對所有重構(gòu)圖像內(nèi)容邊緣中的像素塊重復步驟3)和4)；

6)接收方對之前壓縮的DCT系數(shù)采用人為加入期望為0的噪聲處理。

經(jīng)過大量實驗表明，雖然大大降低了塊效應，但同時經(jīng)過整數(shù)IDCT變換可導致圖像的信噪比稍微下降，究其原因，整數(shù)DCT變換屬于酉變換，其擁有能量守恒的性質(zhì)。所以衡量兩者對圖像主觀質(zhì)量上的影響，加上由于F(0,0)、F(1,0)、F(0,1)、F(2,0)、F(0,2)的DCT系數(shù)的量化過程對塊效應影響很大，為了滿足本系統(tǒng)高清視頻遠程傳輸?shù)囊?，所以適當選取n值不小于5。

3.3 重構(gòu)圖像比較與分析

圖3 重構(gòu)圖像塊效應大小比較

此系統(tǒng)對標準視頻流序列News，F(xiàn)oreman采用幀內(nèi)模式編碼且使用H.264視頻編碼器，量化步長取10～20。根據(jù)塊效應測度算法[9]，分別測量采用改進量化算法和未采用改進量化算法的塊效應。圖3中取α=0.9，重構(gòu)圖像塊效應大小由圖3可以看出，改進量化算法可以有效地減少塊效應，特別是當量化步長較大時，改進的量化算法可以得到很好的體現(xiàn)。

圖4 視頻的第10幀重構(gòu)圖像比較

圖4中取α=0.75且量化步長為20時視頻中的第10幀重構(gòu)圖像。其中，圖4a是未采用改進量化算法的重構(gòu)圖像，即通過直接壓縮損失高頻信息，所以重構(gòu)圖像效果最差；圖4b是采用此改進量化算法的重構(gòu)圖像，并且通過加入零均值噪聲解決圖像失真問題，大大改善重構(gòu)圖像效果；圖4c是采用文獻[6]的量化誤差迭代算法降低塊效應重構(gòu)圖像；圖4d是采用文獻[7]的可編程循環(huán)去塊濾波算法重構(gòu)圖像。經(jīng)比較，從人肉眼隱約地觀察出圖4a的效果最差，但是從圖5可以肉眼詳細地看出此改進量化算法效果好。

圖5 視頻的第10幀重構(gòu)圖像局部放大比較

圖5分別為圖4的各個重構(gòu)圖像的局部放大比較?？梢酝ㄟ^肉眼清楚地看出此改進的量化算法具有很好的效果。采用本文提出的方法可以大大降低塊效應，使視頻的主觀質(zhì)量大大改善。

4 硬件仿真與測試

圖6 重量化壓縮算法數(shù)據(jù)輸出與解壓縮算法數(shù)據(jù)輸出(截圖)

將矩陣Y做反變換得到X體現(xiàn)了此整數(shù)變換沒有偏移的特性。由圖6數(shù)據(jù)輸出可知壓縮僅需6個時鐘周期，解壓僅需7個時鐘周期，若在1 s之內(nèi)壓縮、解壓2 048×1 152@60 Hz的圖像，則每秒處理26.542×106個4×4像素塊，再考慮FPGA高速處理的并行能力，理論上完全可以滿足在1 s內(nèi)完成2 048×1 152@60 Hz圖像壓縮和解壓縮。

圖8 實驗初步測試效果

圖7 實驗初步測試結(jié)構(gòu)圖

實驗初步測試結(jié)構(gòu)圖如圖7所示，主機(顯示器的下方)上的視頻流分辨率設置為1 920×1 080@60 Hz，其壓縮比約為6∶1時，畫面清晰流暢且具有高達約36 dB的峰值信噪比效果如圖8所示，且其帶寬為1 920×1 080×60×1.344×3=501.645 312 MHz，采用DVI接口傳輸?shù)絟ost(發(fā)送方)上，再將其壓縮后以百兆網(wǎng)線向client(接收方)發(fā)送IP包，最后在client(接收方)接收后解析出視頻流信息后且經(jīng)過DVI接口發(fā)送給顯示器顯示。實驗測試效果不僅滿足低時延性，而且也滿足高清晰視頻傳輸，極大地滿足了民用高清視頻遠程實時傳輸?shù)囊?，而目前市場上絕大部分同類產(chǎn)品無法滿足低時延性，用戶體驗效果較差。

5 結(jié)論

針對遠程高清視頻傳輸延遲問題，提出一種改進的DCT系數(shù)量化方法且接收端通過IDCT變換進行解壓，并加入均值為零的噪聲處理。該方法不僅可大大降低視頻的塊效應且不能模糊圖像的真實細節(jié)，極大地改善了視頻的主觀質(zhì)量，還解決了高清視頻流遠程傳輸實時性問題。并且對算法模塊進行了仿真及實物驗證，在遠程視頻實時傳輸通信中具有實用性。

[1] 王哲，顏曉紅，郝學元. 一種延長DVI高清視頻傳輸距離的方法[J]. 電視技術(shù)，2014，38(11)：134-146.

[2] SCHLEPPLE N，NISHIGAKI M，UEMURA H，et al. Optoelectronic high-speed HDMI cable with compact optical sub-assembly and 4×3.4 Gbit/s plastic optical fibre link[J]. Electronics letters，2012，48(25)：1611 - 1613.

[3] YU S， SWARTZIANDER E E. DCT implementation with distributed arithmetic[J]. IEEE transactions on computers，2001，50(50)：985-991.

[4] 李清揚，伍瑞卿，樊豐. H.264整數(shù)DCT變換與量化系統(tǒng)實現(xiàn)[J]. 電視技術(shù)，2006，30(8)：29-32.

[5] 韋長江，郝鵬威，石青云. 基于整型DCT變換的圖象編碼研究[J]. 中國圖象圖形學報， 2002，7(3)：287-291.

[6] 王曉玉，楊付正，萬帥. 有效降低方塊效應的DCT系數(shù)量化方法[J]. 中國圖象圖形學報， 2011，16(2)：197-201.

[7] JANHUNEN J，JAASKELAINEN P，HANNUKSELA J， et al. Programmable in-loop deblock filter processor for video decoders[C]// Proc. 2014 IEEE Workshop on Signal Processing Systems (SiPS). [S.l.]：IEEE， 2014：1-6.

[8] LINDEBERG T. Edge detection and ridge detection with automatic scale selection[C]//Proc. 1996 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE，1996：465-470.

[9] 楊付正，常義林，萬帥. 基于塊編碼視頻的無參考質(zhì)量評估[J]. 電子與信息學報，2006(4)：728-731.

蔣禮根(1990— )，碩士生，主研究圖像與通信；

郝學元(1976— )，高級工程師，主要研究方向為圖像與通信；

顏曉紅(1963— )，博士生導師，主要研究方向為物理電子學。

責任編輯：閆雯雯

Method to solve low latency and remote transmission of high-definition video

JIANG Ligen， HAO Xueyuan， YAN Xiaohong

(CollegeofElectronicScienceandEngineering，NanjingUniversityofPostsandTelecommunications，Nanjing210003，China)

To solve the problem of real-time and remote transportation of high-definition video， an improved method of combining DCT coefficient quantization is proposed in this paper. This method is to block DCT coefficient of compression quantitative by an adaptive sampling function， to reconstruct the DCT coefficients quantification matrix and high-definition video is transmissed by 100 Mbit/s Ethernet in real-time compression and transmission， data of the receiver is transformed by IDCT and adding zero-mean noise processing to solve the blocking problem of image compression in order to solve the problem of real-time and remote transportation of high definition video and meet the demand of civilian.

low latency； blocking artifact； DCT coefficient quantization； Ethernet

蔣禮根，郝學元，顏曉紅. 一種高清視頻低延時遠程傳輸方法[J].電視技術(shù)，2017，41(2)：93-97. JIANG L G， HAO X Y， YAN X H. Method to solve low latency and remote transmission of high-definition video[J]. Video engineering，2017，41(2)：93-97.

TN919.3

A

10.16280/j.videoe.2017.02.019

國家自然科學基金項目(11374162)

2016-02-23