張修建，梁偉偉，王 兵，趙 茜，靳 碩

(1.北京航天計(jì)量測試技術(shù)研究所，北京 100076；2.華北計(jì)算技術(shù)研究所，北京 100083)

0 引言

視頻泛指將一系列靜態(tài)影像以電信號(hào)方式加以捕捉、紀(jì)錄、處理、儲(chǔ)存、傳送與重現(xiàn)的各種技術(shù)，隨著通信技術(shù)的不斷發(fā)展和網(wǎng)絡(luò)帶寬的快速增長，視頻不斷應(yīng)用于各種傳統(tǒng)及新興行業(yè)中[1]。而視頻信息自身具備的直觀性和易被視覺接受的特點(diǎn),使其不斷引入航天、航空、無人機(jī)和機(jī)器人等需要實(shí)時(shí)監(jiān)控的行業(yè)中，方便現(xiàn)場環(huán)境和作業(yè)對(duì)象的實(shí)時(shí)遠(yuǎn)程監(jiān)控。

圖像傳輸具有數(shù)據(jù)量大,實(shí)時(shí)性要求高的特點(diǎn),尤其在無線傳輸中更容易受到外界環(huán)境的干擾,為了降低傳輸過程中的誤碼率,提高傳輸鏈路的可靠性,設(shè)計(jì)了一種基于HDLC協(xié)議的傳輸鏈路。高速通信協(xié)議HDLC 是一個(gè)在同步網(wǎng)上傳輸數(shù)據(jù)、面向比特的數(shù)據(jù)鏈路控制協(xié)議。它具有差錯(cuò)檢測功能強(qiáng)大、實(shí)時(shí)和同步傳輸、可靠性高等特點(diǎn)[2]。

為了在圖像傳輸過程中降低誤碼率，并且保證其實(shí)時(shí)性，本文著重設(shè)計(jì)了符合項(xiàng)目要求的編碼模式、壓縮算法和發(fā)送協(xié)議，實(shí)現(xiàn)了視頻壓縮裝置的開發(fā)和實(shí)現(xiàn)。

1 視頻壓縮傳輸裝置原理

視頻壓縮傳輸裝置的原理如圖1中所示，主要分為硬件設(shè)計(jì)和軟件設(shè)計(jì)。軟件是視頻壓縮裝置實(shí)現(xiàn)實(shí)時(shí)壓縮和碼流平穩(wěn)傳輸?shù)暮诵?，在支持視頻采集的硬件電路上，設(shè)計(jì)了視頻采集、H.264編碼、碼流封裝和HDLC發(fā)送等模塊，各功能模塊在DSP/BIOS調(diào)度機(jī)制的作用下統(tǒng)一協(xié)作，共同實(shí)現(xiàn)視頻的實(shí)時(shí)壓縮和碼流的平穩(wěn)傳輸功能。

視頻壓縮裝置的硬件是基于數(shù)字信號(hào)處理器(DSP)和可編程門陣列(FPGA)進(jìn)行設(shè)計(jì)的，圖2為視頻壓縮裝置硬件結(jié)構(gòu)圖。DSP主要完成復(fù)合視頻解碼器的初始化、視頻參數(shù)設(shè)置和視頻的實(shí)時(shí)壓縮； FPGA主要完成時(shí)序控制、通信協(xié)議實(shí)現(xiàn)和碼流等數(shù)據(jù)的傳輸；整機(jī)工作時(shí)可同時(shí)最多接入4路視頻信號(hào)的采集。

圖2 視頻壓縮傳輸裝置硬件結(jié)構(gòu)圖

2 軟件設(shè)計(jì)

軟件設(shè)計(jì)是整個(gè)裝置實(shí)現(xiàn)視頻實(shí)時(shí)壓縮和碼流HDLC傳輸?shù)暮诵?，采用C語言和匯編語言設(shè)計(jì)完成，主要運(yùn)行在DSP內(nèi)，實(shí)現(xiàn)視頻采集、H.264編碼、碼流封裝和HDLC發(fā)送等功能，在FPGA的進(jìn)一步時(shí)序配合下，完成數(shù)據(jù)到下級(jí)控制器的傳輸。

2.1 視頻采集設(shè)計(jì)

參照?qǐng)D1可以看出，視頻壓縮裝置接收攝像頭輸出的PAL制模擬視頻信號(hào)，在DSP內(nèi)的視頻采集功能模塊的控制下, 調(diào)用復(fù)合視頻解碼器將視頻信號(hào)解碼成復(fù)合ITU-R 656格式的視頻信號(hào)；同時(shí)通過預(yù)置參數(shù)的作用，保證捕獲到的圖像特征如大小、幀場模式等，符合后端壓縮編碼器的輸入圖像信號(hào)要求。

在視頻采集的設(shè)計(jì)上，采用實(shí)時(shí)操作系統(tǒng)DSP/BIOS提供的FVID類驅(qū)動(dòng)模型實(shí)現(xiàn)。FVID模型主要由FVID_create、FVID_control、FVID_alloc、 FVID_exchange和FVID_delete函數(shù)構(gòu)成，提供模塊化的讀寫應(yīng)用函數(shù)，可以更加友好、高效地實(shí)現(xiàn)視頻抓取和視頻存儲(chǔ)空間的分配，通過簡單的應(yīng)用程序調(diào)用，即可輕松實(shí)現(xiàn)視頻的循環(huán)采集。圖3顯示的是單幀圖像的采集過程。

圖3 單幀圖像的采集原理

采集參數(shù)設(shè)置是通過參考并設(shè)計(jì)FVID類驅(qū)動(dòng)模型中的FVID_frame和VPORTCAP_Params結(jié)構(gòu)體實(shí)現(xiàn)的，F(xiàn)VID_frame結(jié)構(gòu)體中主要包含的是YUV圖像信號(hào)格式的亮度和色度信息，VPORTCAP_Params結(jié)構(gòu)體包含了捕獲的視頻信號(hào)的詳細(xì)信息，如行數(shù)、列數(shù)、YUV結(jié)構(gòu)、場頻、捕獲模式設(shè)置、水平視頻數(shù)據(jù)是否放縮、水平色度數(shù)據(jù)濾波、奇偶場列的開始和結(jié)束位置、FIFO的門限值等信息。設(shè)備驅(qū)動(dòng)根據(jù)配置參數(shù)計(jì)算緩沖區(qū)的大小并分配緩沖區(qū)，且至少要為每個(gè)FVID通道分配3個(gè)緩沖區(qū)，以確保視頻圖像的捕獲和顯示的連續(xù)性。視頻捕獲前，須正確設(shè)置VPORTCAP_Params結(jié)構(gòu)體中的相關(guān)參數(shù)，以保證獲取符合任務(wù)要求的視頻信號(hào)。

圖像采集的具體過程由FVID模型中的相關(guān)函數(shù)實(shí)現(xiàn)。其中，F(xiàn)VID_create函數(shù)建立一個(gè)FVID通道對(duì)象并初始化，F(xiàn)VID_control函數(shù)發(fā)送控制命令配置復(fù)合解碼器和采集視頻數(shù)據(jù)，F(xiàn)VID_alloc函數(shù)申請(qǐng)采集空間， FVID_exchange函數(shù)通過交換空間采集新的一幀圖像。

2.2 編碼器結(jié)構(gòu)及壓縮算法設(shè)計(jì)

視頻壓縮裝置的編碼器采用H.264標(biāo)準(zhǔn)設(shè)計(jì)，作為新一代壓縮標(biāo)準(zhǔn)的H.264，相比以前的標(biāo)準(zhǔn)(如MPEG-4、H.263等)，在保證相同圖像質(zhì)量的前提下，可以節(jié)約50%的碼率，而且對(duì)網(wǎng)絡(luò)傳輸表現(xiàn)出更好的適應(yīng)性[3]，是當(dāng)下主流的視頻編碼標(biāo)準(zhǔn)。

H.264采用混合編碼技術(shù)，在整數(shù)DCT變換、可變大小的多模式宏塊、環(huán)路濾波、運(yùn)動(dòng)補(bǔ)償、高效的運(yùn)動(dòng)估計(jì)算法等方面引入新技術(shù)，通過每個(gè)模塊的小的技術(shù)改進(jìn)，帶來了系統(tǒng)整體性能的提升，使運(yùn)動(dòng)圖像壓縮技術(shù)上升到了一個(gè)更高的階段。本本采取編碼器結(jié)構(gòu)優(yōu)化和壓縮算法優(yōu)化等技術(shù)途徑，保證壓縮的實(shí)時(shí)性和正確性。

2.2.1 編碼器結(jié)構(gòu)設(shè)計(jì)

視頻壓縮裝置的編碼器采用混合編碼框架設(shè)計(jì)，提供了輸入圖像的寬高、關(guān)鍵幀的間隔、碼率和幀率等控制參數(shù)，編碼器參數(shù)結(jié)構(gòu)定義如下：

typedef struct

{

unsigned int nWidth; //圖象的寬

unsigned int nHeight; //圖象的高

unsigned int nIFrame; // 關(guān)鍵幀的間隔

int bDeblockingFilter; //環(huán)路濾波的標(biāo)志

unsigned int nQualityCtrlMode; //質(zhì)量模式

unsigned int nQP;//量化參數(shù)的設(shè)置 0-51

unsigned int nFPS;//幀率(frame/s)

unsigned int nBitRate;//碼率(bit/s)

unsigned int nFlag;//5bit編碼標(biāo)志位

} YTH264PARAM;

圖4 視頻編碼器結(jié)構(gòu)圖

2.2.2 壓縮算法設(shè)計(jì)

視頻壓縮裝置的多處包含決定編碼功能和效率的復(fù)雜算法。本文只對(duì)關(guān)鍵算法進(jìn)行簡單介紹。幀內(nèi)預(yù)測用來清除空間冗余，幀間預(yù)測用來清除時(shí)間冗余，變換和量化用來消除頻率冗余，環(huán)路濾波用于消除量化噪聲。

幀內(nèi)預(yù)測算法充分利用圖像的空間相關(guān)性, 利用圖像塊周圍的像素來進(jìn)行幀內(nèi)預(yù)測, 提高了編碼效率, 從而減少編碼輸出的碼率。H.264視頻編碼標(biāo)準(zhǔn)在幀間預(yù)測模式中增加了很多關(guān)鍵技術(shù)來提升壓縮性能，在此不再贅述。

為了進(jìn)一步節(jié)省圖像傳輸碼率，需要對(duì)圖像信號(hào)進(jìn)行壓縮，一般采用變換編碼來消處圖像信號(hào)中的相關(guān)性及減少圖像編碼的動(dòng)態(tài)范圍。變換編碼將圖像時(shí)域信號(hào)通過數(shù)學(xué)工具變換成頻域信號(hào)，在頻域中，圖像信號(hào)能量重新分布，且能量大多集中在低頻區(qū)，相對(duì)時(shí)域信號(hào)，碼率會(huì)有較大下降。根據(jù)統(tǒng)計(jì)和經(jīng)驗(yàn)得知，平坦區(qū)域或內(nèi)容緩慢變化區(qū)域占據(jù)一幅圖像的絕大部分，而細(xì)節(jié)區(qū)域或內(nèi)容突變區(qū)域則占小部分。這樣，空間域的圖像變換到頻域，即所謂的變換域，會(huì)產(chǎn)出相關(guān)性很小的一些變換系數(shù)，并可對(duì)其進(jìn)行壓縮編碼。視頻編碼中變換編碼的數(shù)據(jù)源，包括兩種：一是圖像數(shù)據(jù)本身，二是圖像殘差。H.264 把運(yùn)動(dòng)估值和幀內(nèi)預(yù)測的殘差結(jié)果從時(shí)域變換到頻域，使用了類似于4x4 離散余弦變換 DCT(Discrete Cosine Transform)的整數(shù)變換，而不是采用8x8 DCT的浮點(diǎn)數(shù)變換。這種方法的優(yōu)點(diǎn)在于:在編碼器和解碼器中允許精度相同的變換和反變換，便于使用簡單的定點(diǎn)運(yùn)算方式。在 H.264 中，同時(shí)采用整數(shù)運(yùn)算，提高圖像壓縮的實(shí)時(shí)性[5]。

量化編碼是把DCT系數(shù)除以一個(gè)常量，經(jīng)過量化后的結(jié)果是量化步長的整數(shù)倍或?yàn)楦嗟牧阒?，從而達(dá)到了壓縮的目的。在反量化時(shí)，由于量化過程取整或四舍五入，而無法完全恢復(fù)原DCT系數(shù)，從而產(chǎn)生一定的失真。量化的原理公式如公式1所示，反量化的原理公式如公式2所示。由于一般的可編程平臺(tái)沒有提供專用的除法指令，所以視頻編碼標(biāo)準(zhǔn)在量化與反量化的實(shí)際應(yīng)用過程中，采用了查表或移位的方式來實(shí)現(xiàn)，量化步長越小，等級(jí)越多，則碼流大小等級(jí)越豐富。

公式1

F'(x,y)=q(x,y)*Q

公式2

另外，H.264中的Deblocking Filter還能夠根據(jù)圖像內(nèi)容做出判斷，對(duì)由于塊效應(yīng)產(chǎn)生的像素值跳變進(jìn)行平滑，對(duì)每個(gè) 4×4 塊邊界都要進(jìn)行濾波操作，以此達(dá)到平滑濾波邊界的目的。這樣可以消除經(jīng)過反量化和變換后，重建圖像中由于預(yù)測誤差產(chǎn)生的塊效應(yīng)，即塊邊緣處的像素值跳變，從而一來改善圖像的主觀質(zhì)量，二來減少預(yù)測誤差。

2.2.3 碼率控制設(shè)計(jì)

碼率控制算法一般是通過調(diào)整DCT變換系數(shù)的量化參數(shù)，來實(shí)現(xiàn)達(dá)到控制輸出碼流速率的目的。在本文設(shè)計(jì)的H.264視頻編碼中，我們的碼率控制算法主要在GOP層、Frame層以及基本單元層3個(gè)層次上進(jìn)行。

GOP層碼率控制的主要任務(wù)是根據(jù)當(dāng)前的比特率、幀率、緩存區(qū)充滿度、傳輸速度以及GOP幀數(shù)、幀類型來計(jì)算每個(gè)GOP的目標(biāo)比特?cái)?shù)，并且得到各個(gè)GOP的初始量化參數(shù)。其中當(dāng)前GOP目標(biāo)比特根據(jù)網(wǎng)絡(luò)帶寬，幀頻以及GOP中幀的數(shù)目分配。

Frame層控制的主要任務(wù)是根據(jù)已編碼幀實(shí)際消耗的比特?cái)?shù)和GOP層計(jì)算得到的目標(biāo)比特?cái)?shù)，將前兩者比特?cái)?shù)的差值反應(yīng)到當(dāng)前幀的目標(biāo)比特?cái)?shù)，對(duì)當(dāng)前幀的目標(biāo)比特?cái)?shù)進(jìn)行調(diào)整，以便調(diào)整該幀的量化參數(shù)。具體可分為兩步：第一步是考慮緩存容量限制，第二步熬了網(wǎng)絡(luò)帶寬、幀頻、GOP中剩余可分配的比特等限制。

基本單元一般是指一幀或者一個(gè)宏塊。若基本單元層是一幀，那么該層碼率控制的主要任務(wù)就是根據(jù)當(dāng)前幀的目標(biāo)比特?cái)?shù)對(duì)該幀的量化參數(shù)進(jìn)行調(diào)整。若基本單位層是宏塊，那么該層碼率控制的主要任務(wù)就是在該幀目標(biāo)比特?cái)?shù)確定的前提下，根據(jù)每個(gè)宏塊的圖像復(fù)雜度，進(jìn)一步調(diào)整該宏塊的量化參數(shù)。同時(shí)，為了滿足視覺的平滑性，要保證該基本單元層的量化參數(shù)和前一個(gè)基本單元層量化參數(shù)的差值不能太大。一般來說，選擇的基本單元越大，獲得的PSNR越大，但是比特輸出的波動(dòng)也會(huì)變大。反之，選擇的基本單元越小，比特輸出相對(duì)平穩(wěn)，但是獲得的PSNR將會(huì)變小。

3 軟件實(shí)現(xiàn)

本軟件采用多任務(wù)系統(tǒng)，采用DSP/BIOS線程調(diào)度機(jī)制進(jìn)行任務(wù)的管理[6]，設(shè)計(jì)多個(gè)線程同時(shí)運(yùn)行，如圖5所示，每個(gè)線程有獨(dú)立的指令流，完成一個(gè)獨(dú)立的功能模塊，允許優(yōu)先級(jí)高的線程搶占優(yōu)先級(jí)低的線程，線程間可通信和同步處理，通過環(huán)形緩沖區(qū)進(jìn)行數(shù)據(jù)的訪問和存取。

圖5 多線程運(yùn)行原理圖

3.1 視頻采集與編碼線程設(shè)計(jì)

在此線程中，基于圖4的視頻采集原理，設(shè)計(jì)了可同時(shí)采集4路輸入視頻的采集架構(gòu)?；诋a(chǎn)品化設(shè)計(jì)要求，對(duì)于每一路視頻進(jìn)行靈活控制，可直接壓縮編碼，也可以根據(jù)CPU分配的時(shí)間片，在特定的時(shí)間片內(nèi)進(jìn)行壓縮編碼。根據(jù)使用需求，設(shè)計(jì)了兩種視頻壓縮模式：單路切換監(jiān)控模式和4路并行監(jiān)控模式。在實(shí)際工作應(yīng)用場景中，可靈活配置視頻壓縮裝置的視頻監(jiān)控路數(shù)和單路的視頻監(jiān)控時(shí)間。

送入編碼器的視頻經(jīng)壓縮處理后形成H.264碼流，在標(biāo)準(zhǔn)的H.264碼流頭部加入特殊的識(shí)別標(biāo)志、序列號(hào)、碼流大小等關(guān)鍵信息進(jìn)行封裝，形成具有獨(dú)特識(shí)別標(biāo)識(shí)的碼流，保證碼流在傳輸過程中的安全，方便解碼軟件的分析和播放。H.264碼流暫存環(huán)形緩沖區(qū)中，等待后續(xù)的發(fā)送和HDLC傳輸。

3.2 碼流發(fā)送線程設(shè)計(jì)

當(dāng)DSP/BIOS運(yùn)行發(fā)送線程時(shí)，暫存環(huán)形緩沖區(qū)中的H.264碼流按包發(fā)送并進(jìn)行HDLC傳輸，單包的數(shù)據(jù)量過大，積累的碼流數(shù)據(jù)量過多，解碼出來的圖像卡頓；單包的數(shù)據(jù)量過小，每次接收到的碼流數(shù)據(jù)量少，會(huì)導(dǎo)致解碼的圖像花屏，因此，在理想情況下，每幀圖像壓縮形成的碼流，需要及時(shí)地傳輸?shù)浇獯a端進(jìn)行解碼播放，才能保證視頻播放的連續(xù)性。

為了HDLC同步傳輸?shù)倪B續(xù)性，在不發(fā)送H.264碼流的空隙時(shí)間段內(nèi)，循環(huán)發(fā)送4個(gè)字節(jié)的無效數(shù)據(jù)，提高了視頻壓縮裝置的整體數(shù)據(jù)發(fā)送速率，并把無效數(shù)據(jù)重復(fù)有效數(shù)據(jù)的概率降低到2×10-10數(shù)量級(jí)，避免了有效數(shù)據(jù)在解碼端的錯(cuò)誤丟棄，保證了視頻的質(zhì)量和流暢播放。

3.3 環(huán)形緩沖區(qū)設(shè)計(jì)

在主程序中，視頻編碼線程與碼流發(fā)送是兩個(gè)獨(dú)立的線程，它們之間的數(shù)據(jù)共享是通過環(huán)形緩沖區(qū)來完成的。由于是長時(shí)間運(yùn)行，通常對(duì)內(nèi)存的使用有很高的要求，分配頻繁，釋放內(nèi)存容易產(chǎn)生內(nèi)存碎片，必然會(huì)影響軟件長期運(yùn)行的穩(wěn)定性，在這種情況下，使用像動(dòng)態(tài)環(huán)形隊(duì)列這種內(nèi)存性能比較好的數(shù)據(jù)結(jié)構(gòu)就非常合適[7]。用環(huán)形隊(duì)列的緩沖區(qū)，解決多個(gè)線程同時(shí)讀寫緩沖區(qū)的問題，同時(shí)根據(jù)數(shù)據(jù)的重要性可選擇添加互斥訪問保護(hù)機(jī)制。一般來講，隊(duì)列FIFO，從底部添加數(shù)據(jù)，從頂部彈出數(shù)據(jù)。添加新元素的那一端被稱作隊(duì)尾nTail，而彈出元素的那一端被稱作隊(duì)首nHead。環(huán)形隊(duì)列的特點(diǎn)是：不需要進(jìn)行動(dòng)態(tài)的內(nèi)存釋放和分配，使用固定大小的內(nèi)存空間反復(fù)使用。在實(shí)際的隊(duì)列插入和彈出操作中，是不斷交叉進(jìn)行的，當(dāng)push操作時(shí),tail會(huì)增加，而當(dāng)pop操作時(shí)，head會(huì)增加。

1)如果push的速度快的時(shí)候，有可能追上head，這個(gè)時(shí)候說明隊(duì)列已經(jīng)滿了，不能再進(jìn)行push的操作了，需要等待pop操作騰出隊(duì)列的空間。

2)如果pop的操作快的時(shí)候，使得head追上tail，這個(gè)時(shí)候說明隊(duì)列已空了，不能再進(jìn)行pop操作了，需要等待

push進(jìn)來數(shù)據(jù)。

4 結(jié)論

本文以該技術(shù)背景為前提給合在航天領(lǐng)域視頻監(jiān)測的應(yīng)用，探索并實(shí)現(xiàn)了基于HDLC協(xié)議的圖像實(shí)時(shí)壓縮傳輸系統(tǒng)設(shè)計(jì)。視頻采集與編碼線程和碼流發(fā)送線程之間的數(shù)據(jù)共享通過對(duì)環(huán)形緩沖區(qū)來完成的，視頻采集與編碼線程輸出碼流到環(huán)形緩沖區(qū)中，在DSP/BIOS線程調(diào)度機(jī)制下，碼流發(fā)送線程從緩沖區(qū)中取出一定字節(jié)大小的碼流進(jìn)行發(fā)送，按照HDLC傳輸協(xié)議送至通信鏈路中，然后通過UDP協(xié)議送入主機(jī)進(jìn)行解碼播放。

在實(shí)際測試環(huán)境下，輸入視頻的分辨率為352*288，視頻壓縮傳輸裝置以25幀/s的實(shí)時(shí)速率壓縮編碼，以512kbps的碼率寬帶輸出碼流，經(jīng)過中轉(zhuǎn)后送入主機(jī)實(shí)時(shí)解碼播放。通過對(duì)幀頭時(shí)間標(biāo)簽的計(jì)算得出壓縮與處理環(huán)節(jié)的平均總延時(shí)為170ms，4路視頻的平均切換時(shí)間為65ms；采用ITU-T提供的測試序列，計(jì)算得出重建圖像序列平均峰值信噪比PSNR值為37.83dB；連續(xù)運(yùn)行5小時(shí)內(nèi)無圖像丟幀，并能夠準(zhǔn)確的表達(dá)劇烈突變的運(yùn)動(dòng)，達(dá)到了預(yù)期的設(shè)計(jì)目的和控制效果。

[1] 張紀(jì)寬,彭 力,陳志勇.動(dòng)態(tài)復(fù)雜背景下的智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)測量與控制, 2016, 24(7):100-104.

[2] 張文博,左 勇,徐浩然．支持HDLC協(xié)議的紫外通信系統(tǒng)設(shè)計(jì)[J].光通信技術(shù)，2012,36(9):53-56．

[3] 金艷梅.高速視頻會(huì)議系統(tǒng)H.264編碼的優(yōu)化[J].蘭州理工大學(xué)學(xué)報(bào),2015,41(3):108-111.

[4] 柳 春,廉東本.H.264編解碼算法在視頻會(huì)議中的應(yīng)用[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2015,24(4):144-147.

[5] 安向陽,沈庭芝. 基于DSPTMS320DM642的H.264視頻編碼的實(shí)現(xiàn)和優(yōu)化[J]. 微計(jì)算機(jī)信息, 2005(20):128-130.

[6] 彭啟琮,管 慶.DSP集成開發(fā)環(huán)境——CCS及DSP/BIOS的原理與應(yīng)用[M]. 北京:電子工業(yè)出版社，2004.

[7] 詹 英,吳春明,王寶軍.基于RCSW的數(shù)據(jù)流速度異常檢測算法研究[J].電子學(xué)報(bào),2012,40(4):674-680.