王健，辛向龍，張修飛

（1.西北工業(yè)大學(xué)第365所，西安710065；2.西北工業(yè)大學(xué)電子與信息學(xué)院，西安710129）

基于i.MX6無人機視頻碼率受控的壓縮系統(tǒng)設(shè)計*

王健1，辛向龍2，張修飛2

（1.西北工業(yè)大學(xué)第365所，西安710065；2.西北工業(yè)大學(xué)電子與信息學(xué)院，西安710129）

針對無人機數(shù)據(jù)鏈視頻數(shù)據(jù)信道帶寬受限要求，采用飛思卡爾i.MX6的嵌入式視頻處理硬件平臺，設(shè)計無人機視頻H.264壓縮碼率受控系統(tǒng)，解決壓縮編碼的運動估計搜索范圍、最大關(guān)鍵幀間距問題，在數(shù)據(jù)傳輸中采用SPI接口緩沖區(qū)碼率控制機制，控制系統(tǒng)SPI輸出碼率受限的設(shè)計。實驗測試表明，設(shè)計的視頻處理系統(tǒng)視頻壓縮數(shù)據(jù)受控，可根據(jù)無人機無線信道設(shè)計要求，完成無人機視頻壓縮編碼碼率可控視頻傳輸。

i.MX6，H.264，無人機，壓縮編碼

0 引言

隨著無人機在現(xiàn)代戰(zhàn)爭中應(yīng)用越來越多，其在戰(zhàn)場情報偵察、指揮與控制中也開始發(fā)揮重要作用。這些都需要無人機視頻處理系統(tǒng)能夠提供清晰可靠的視頻圖像。由于無人機機載視頻處理系統(tǒng)的壓縮數(shù)據(jù)要與系統(tǒng)任務(wù)設(shè)備和遙測等多種數(shù)據(jù)復(fù)接處理，通過無線信道傳輸?shù)降孛嬲具M行處理［1-2］。因此，設(shè)計的無人機視頻處理系統(tǒng)應(yīng)能夠盡可能恒定輸出數(shù)據(jù)到數(shù)據(jù)鏈復(fù)接設(shè)備，便于與系統(tǒng)任務(wù)設(shè)備和遙測等多種數(shù)據(jù)的復(fù)接和處理。根據(jù)以上要求，設(shè)計無人機視頻碼率受控的壓縮系統(tǒng)，完成編碼控制機制和數(shù)據(jù)處理緩沖機制，解決視頻壓縮數(shù)據(jù)恒定可控問題，滿足無線信道預(yù)留帶寬的目的。

針對無人機機載視頻碼率受控壓縮系統(tǒng)的要求，采用飛思卡爾公司最新的嵌入式視頻編解碼芯片i.MX6作為數(shù)據(jù)處理的核心，攝像頭采集視頻數(shù)據(jù)，經(jīng)H.264壓縮編碼、碼率控制和數(shù)據(jù)緩沖機制處理后，與系統(tǒng)任務(wù)設(shè)備和遙測數(shù)據(jù)復(fù)接，通過無線信道傳送至地面站進行處理。

本文首先介紹碼率受控?zé)o人機實時視頻壓縮處理系統(tǒng)的總體設(shè)計方案；其次，分析編碼器輸出碼率的控制方案，實現(xiàn)穩(wěn)定碼率下的高質(zhì)量的視頻壓縮和傳輸；最后，介紹H.264視頻壓縮編碼流程和編碼參數(shù)的設(shè)計和設(shè)置思想，并給出系統(tǒng)實驗測試和結(jié)論。

1 系統(tǒng)總體設(shè)計方案

視頻壓縮系統(tǒng)采用飛思卡爾公司生產(chǎn)的基于Cortex-A9內(nèi)核的i.MX6雙核處理器，運行頻率可達1.0 GHz，集成了2D和3D圖形處理器、視頻編解碼模塊。視頻編解碼模塊支持H.263、H.264多種視頻編解碼標(biāo)準(zhǔn)，具有64位DDR3儲存器接口。根據(jù)系統(tǒng)處理需要，采用5V@4A的電源供電，設(shè)計4 GB的NandFlash存儲器并且該Flash存儲器支持時鐘速率52 MHz的高速DDR傳輸。為了滿足視頻壓縮處理需要，還設(shè)計了4×256 MB的DDR3 SDRAM存儲器，可滿足無人機視頻壓縮系統(tǒng)的要求。系統(tǒng)總體設(shè)計結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)總體設(shè)計結(jié)構(gòu)圖

2 H.264視頻編碼系統(tǒng)參數(shù)及緩沖區(qū)的設(shè)計

2.1運動估計搜索范圍的設(shè)計

無人機系統(tǒng)要求實時壓縮傳輸視頻數(shù)據(jù)，在能夠保證分辨率情況下，采用低復(fù)雜度，高壓縮比的算法。H.264/AVC是ITU-T和ISO/IEC聯(lián)合推出的視頻壓縮編碼標(biāo)準(zhǔn)，H.264標(biāo)準(zhǔn)注重于解決高效率視頻壓縮和高可靠性視頻傳輸，H.264標(biāo)準(zhǔn)支持幀間編碼和幀內(nèi)編碼；H.264算法還具有高精度運動估計的功能，運動估計的時間占整個視頻編碼時間的60%～80%［3］。因此，如何根據(jù)無人機視頻采集的空間和時間特性，設(shè)置合適的參數(shù)是減少壓縮編碼時間，提高系統(tǒng)實時性的關(guān)鍵。

無人機在執(zhí)行任務(wù)時，大部分情況下巡航高度都在3 000 m左右，空中采集的視頻和地面場景視頻圖像有較大區(qū)別。無人機大部分拍攝時間飛行姿態(tài)較平穩(wěn)，視頻采集中獨立的運動目標(biāo)在整幅圖像中占的比例很小。此外，無人機的飛行速度一般是180 km/h，視頻幀率在25幀/s～30幀/s，兩幀之間大約有80%以上的重疊度。因此，無人機視頻相鄰幀之間大多存在一致的全局運動。針對這個特點，通過不斷測試和實驗將運動估計的搜索范圍參數(shù)（MESearchRange）設(shè)計為3，搜索范圍為水平（-16～15），垂直（-16～15）。運動估計搜索范圍低，既能提高估計速度，減少壓縮編碼的時間，又不會導(dǎo)致圖像質(zhì)量的降低和壓縮碼率的提高，也提高視頻壓縮系統(tǒng)的實時性。

2.2最大關(guān)鍵幀間距的設(shè)計

最大關(guān)鍵幀間距是視頻壓縮編碼中一個重要參數(shù)，關(guān)鍵幀多了，系統(tǒng)同步時很快就能搜索到I幀，但會帶來壓縮數(shù)據(jù)的增加。因此，需要解決關(guān)鍵幀同步和壓縮編碼數(shù)據(jù)之間的矛盾問題。關(guān)鍵幀即I幀，I幀采用幀內(nèi)編碼的方式，其特點是視頻編碼時相關(guān)信息都被保留，在解碼時只需要本幀信息就可以解碼，并且還為P幀解碼提供參考。P幀表示當(dāng)前幀與之前一幀的殘差信息，解碼時需要前一幀的信息加上殘差信息才能獲得當(dāng)前幀圖像。I幀的數(shù)據(jù)量遠大于P幀，所以可以通過合理設(shè)計最大關(guān)鍵幀參數(shù)值gop來改變壓縮比。在一定范圍內(nèi)增大gop值，壓縮編碼過程中P幀的數(shù)量增加，壓縮后的數(shù)據(jù)量減少，壓縮比增加；反之，壓縮編碼過程中的P幀的數(shù)量減少，壓縮后的數(shù)據(jù)量增加，壓縮比減?。?］。

在無人機視頻碼率受控的壓縮編碼軟件的設(shè)計中，設(shè)計控制參數(shù)cmd_line結(jié)構(gòu)體決定最大關(guān)鍵幀間距參數(shù)值gop。當(dāng)最大關(guān)鍵幀參數(shù)值gop值設(shè)計為0，1，5，10，15，20，25，50時，H.264壓縮編碼前和壓縮編碼后的數(shù)據(jù)量大小，測試壓縮比的對比如表1所示。

表1 gop值和壓縮編碼前后參數(shù)對比表

無人機數(shù)據(jù)鏈信道受到干擾時，復(fù)接在信道中的視頻數(shù)據(jù)傳輸?shù)臒o線信道易受噪聲干擾，干擾后需要對接收到的視頻壓縮數(shù)據(jù)重新進行同步。因此，需要盡快在重新接收到的視頻壓縮數(shù)據(jù)中找到I幀數(shù)據(jù)，建立新的同步機制。在編碼軟件設(shè)計中，對機載視頻數(shù)據(jù)進行壓縮時需要對最大關(guān)鍵幀參數(shù)gop值進行設(shè)計。如果設(shè)計gop為0或者較大時，視頻序列中I幀較少，無線信道受到干擾數(shù)據(jù)丟失或數(shù)據(jù)出錯后，接收端對數(shù)據(jù)幀的解碼重建，地面接收時系統(tǒng)同步時間長，實時性降低，所以最大關(guān)鍵幀gop值不能太大。但無人機系統(tǒng)提供的無線信道的帶寬有限，需要在有限帶寬內(nèi)盡可能提供清晰的視頻效果，最大關(guān)鍵幀gop值又不能太小。從表1中可以得知當(dāng)gop值超過15時，隨著gop值的增大壓縮比提高的不明顯，所以gop值應(yīng)該從5～15范圍內(nèi)選擇，本系統(tǒng)通過實際測試選擇gop值為10，此時在數(shù)據(jù)量和信道容錯上都得到了理想的實驗結(jié)果。

2.3緩沖區(qū)碼率控制機制的設(shè)計

2.3.1緩沖區(qū)概述

在編碼器設(shè)計中，緩沖區(qū)的設(shè)計是壓縮編碼數(shù)據(jù)穩(wěn)定傳輸?shù)挠忠魂P(guān)鍵之一，圖2是利用Elecard StreamEye Tools軟件測試沒有經(jīng)過任何緩沖區(qū)設(shè)計的H.264編碼器輸出的碼流分析圖（紅色表示I幀，藍色表示P幀，橫坐標(biāo)為幀編號，縱坐標(biāo)為編碼率bps）。

圖2 未采用碼率控制機制

從圖2可以直觀看出，經(jīng)H.264壓縮后碼流的碼率不穩(wěn)定，波動較大，這種波動較大的輸出碼率不能滿足無線信道的數(shù)據(jù)傳輸要求。因此，根據(jù)SPI接口特性以及網(wǎng)絡(luò)流媒體數(shù)據(jù)服務(wù)端處理機制［4］，本文設(shè)計SPI接口的緩沖區(qū)碼率控制機制，以便解決編碼器輸出碼率波動不滿足信道復(fù)接數(shù)據(jù)傳輸要求的問題。具體分析和設(shè)計如下。

首先，緩沖區(qū)碼率控制機制是一種應(yīng)用級視頻質(zhì)量控制技術(shù)，其思想是在編碼器的輸出端和視頻傳輸復(fù)接接口之間劃分一塊內(nèi)存作為緩沖區(qū)，通過緩沖一定的數(shù)據(jù)量來恒定輸出碼率。如圖3所示，Input_rate（t）表示t時刻已編碼的視頻流入SPI緩沖區(qū)的速度，實際上等于當(dāng)前編碼器的輸出碼率。Output_rate（t）表示t時刻視頻流出SPI緩沖區(qū)的速度，實際上等于SPI接口的視頻傳輸速度。Buffer（t）表示t時刻緩沖區(qū)緩存視頻數(shù)據(jù)的總量。

圖3 緩沖區(qū)表示

如果緩沖區(qū)處于正常工作的狀態(tài)，SPI緩沖區(qū)的輸入和輸出之間應(yīng)該滿足式（1）。

式中，Input_rate（t）表示當(dāng)前編碼器的輸出到SPI接口的碼率，Output_rate（t）表示SPI接口輸出給無線復(fù)接信道的視頻傳輸速度，而視頻編碼碼率和復(fù)接信道視頻傳輸速率之間又沒有必然聯(lián)系，如果不在應(yīng)用級加以控制，很難保證流入緩沖區(qū)的數(shù)據(jù)總量等于流出緩沖區(qū)的數(shù)據(jù)總量，即不滿足式（1），造成緩沖區(qū)的溢出。如果不采用控制機制，則需要將緩沖區(qū)設(shè)置的足夠大，但是緩沖區(qū)過大會消耗大量系統(tǒng)資源，也增加圖像編碼的時延，犧牲系統(tǒng)的實時性，因此，設(shè)計需要在應(yīng)用級加以控制以防止緩沖區(qū)溢出。

2.3.2緩沖區(qū)碼率控制算法的設(shè)計

緩沖區(qū)正常工作的情況下，t時刻緩沖區(qū)內(nèi)已緩存的視頻流大小等于0～t時間段內(nèi)流入緩沖區(qū)的視頻流總量減去0～t時間段內(nèi)流出緩沖區(qū)的視頻流的總量，滿足式（2）。

為防止緩沖區(qū)溢出，應(yīng)該確保Buffer（t）的值不能超過緩沖區(qū)的容量上限。式（2）中，Output_rate（t）是恒定的，則只能通過調(diào)節(jié)Input_rate（t）的大小確保緩沖區(qū)內(nèi)t時刻的數(shù)據(jù)總量不超過緩沖區(qū)容量上限使緩沖區(qū)正常工作。

由上述分析可知，緩沖區(qū)碼率控制算法需要根據(jù)緩沖區(qū)t時刻的占有率來不斷調(diào)整Input_rate（t）。Input_rate（t）是視頻編碼器的輸出碼率，在視頻編碼器的內(nèi)部，可以通過控制量化因子的大小和編碼器輸入幀率的大小來控制Input_rate（t）。量化因子越大，視頻編碼器的輸出碼率越低，但圖像質(zhì)量會變差，所以量化因子的調(diào)節(jié)要保證在視頻質(zhì)量不嚴(yán)重受損的情況下適當(dāng)增大，降低編碼器的耗時，提高壓縮性能［5］，一般選取量化因子的調(diào)節(jié)范圍是0～35。編碼器輸入幀率降低，則編碼器的輸出碼率也會降低，但如果編碼器的輸入幀率過低，也會導(dǎo)致解碼端視頻播放的幀率受到影響，影響顯示效果，一般選取編碼器輸入幀率的調(diào)節(jié)范圍是15～25。該算法需要為緩沖區(qū)設(shè)定兩個占有率的門限，分別是65%、85%。當(dāng)緩沖區(qū)的占有率達到65%時，說明此時緩沖區(qū)已經(jīng)有了要溢出的苗頭，一般調(diào)節(jié)編碼器的量化因子為23，編碼器輸入幀率為20。當(dāng)緩沖區(qū)的占有率達到85%時，說明此時緩沖區(qū)即將要發(fā)生溢出，需要采取措施大幅度降低編碼器輸出碼率，一般調(diào)節(jié)編碼器的量化因子為35，編碼器輸入幀率為15。正常情況下，量化因子為23，編碼器輸入幀率為30。碼率控制算法bitrate_ctl（）具體如下：

3 H.264視頻編碼系統(tǒng)的軟件設(shè)計

飛思卡爾i.MX6的視頻處理單元（VPU，Video Processing Unit）是一個高性能的多標(biāo)準(zhǔn)視頻編解碼器，支持同時進行多視頻片段的多標(biāo)準(zhǔn)編解碼［6］。VPU有兩個總線接口：IP總線和AXI總線，IP總線負(fù)責(zé)寄存器訪問控制，AXI總線負(fù)責(zé)數(shù)據(jù)吞吐。VPU內(nèi)部有一個嵌入位處理器，其控制內(nèi)部的視頻處理子模塊并且與主處理器通過主機接口進行通信。VPU只需要較少的ARM平臺資源，主處理器通過訪問VPU的寄存器去初始化VPU，在幀間隙去設(shè)置參數(shù)，在應(yīng)用程序中，設(shè)計了針對壓縮編碼的API函數(shù)，通過主處理器調(diào)用API去完成視頻處理任務(wù)，以完成各種編解碼工作。本系統(tǒng)主要利用VPU完成視頻的H.264壓縮編碼工作［7］。

由于運動估計搜索范圍和最大關(guān)鍵幀這兩個參數(shù)對H.264視頻編碼器的性能有決定性的作用，因此，在H.264視頻編碼軟件的設(shè)計中，需要對這兩個參數(shù)進行合理設(shè)計，使編碼器表現(xiàn)出最優(yōu)性能。

VPU編碼工作的處理流程如下：

①初始化VPU。初始化VPU硬件、分配數(shù)據(jù)結(jié)構(gòu)和資源，使用VPU之前必須要進行初始化。

②打開編碼器實例，在打開編碼器實例之前，需要獲取物理地址連續(xù)的比特流緩沖區(qū)，再獲取比特流緩沖區(qū)相應(yīng)的虛擬地址，然后將比特流填充到用戶空間的虛擬地址中。

③啟動圖像編碼之前，需要獲取編碼器進行編碼操作所需要的重要參數(shù)幀緩沖區(qū)的大小。

④分配大小合適的幀緩沖區(qū)，然后通知VPU。

⑤生成高層次語法頭。

⑥逐幀圖像進行圖像編碼操作。

⑦等待圖片編碼操作完成這個中斷事件，去檢查VPU是否忙碌，如果VPU不忙，則進行下一步，否則等待。

⑧當(dāng)一幀編碼操作完成后，檢查編碼操作的結(jié)果。

⑨如果還有更多幀圖像需要編碼，返回第4步運行，否則進行下一步。

⑩關(guān)閉編碼器實例來終止一系列操作。

?釋放分配到的內(nèi)存和資源，結(jié)束編碼。

VPU進行編碼操作的流程圖如圖4所示。

圖4 視頻VPU壓縮編碼流程圖

4 實驗測試

系統(tǒng)采用緩沖區(qū)碼率控制機制來控制輸出視頻數(shù)據(jù)的輸出碼率，為了驗證緩沖區(qū)碼率控制機制的實際效果，本文設(shè)計兩組實驗測試效果。

實驗一：碼率控制機制測試。將未采用和采用緩沖區(qū)碼率控制機制壓縮處理的視頻保存到本地存儲介質(zhì)，分別利用Elecard StreamEye Tools軟件對其測試分析，結(jié)果如圖2和下頁圖5所示。從圖中可知，未采用碼率控制機制來控制的輸出碼率波動很大，這樣很不利于視頻數(shù)據(jù)在帶寬受限的無線信道內(nèi)傳輸。

圖5 采用碼率控制機制

實驗二：緩沖區(qū)機制測試。對于碼率受控的無人機實時視頻壓縮處理系統(tǒng)另一個比較重要的性能，就是地面站能夠?qū)崟r快速解壓到無線信道傳輸?shù)膹?fù)接后壓縮數(shù)據(jù)，解壓效果應(yīng)能夠清晰、無丟幀，利于指揮控制人員及時作出正確的決策。實際測試中，在無線信道條件較好時，兩個處理機制都能夠完成解壓清晰的視頻，圖6（a）、圖6（b）是未采用緩沖區(qū)碼率控制機制和采用緩沖區(qū)碼率控制機制進行處理的視頻播放中隨機截一幀的效果圖。從圖中可知，未采用緩沖區(qū)碼率控制機制和采用緩沖區(qū)碼率控制機制進行處理的視頻清晰度一致，達到了設(shè)計要求。但是，實際測試中，當(dāng)未采用緩沖處理機制的壓縮編碼進行處理，需要增大系統(tǒng)緩沖區(qū)，資源占用加大，相應(yīng)處理時延增加，甚至出現(xiàn)處理系統(tǒng)崩潰情況。

5 結(jié)論

根據(jù)無人機數(shù)據(jù)鏈信道要求，設(shè)計了一種無人機視頻碼率受控壓縮處理系統(tǒng)，對視頻采集數(shù)據(jù)進行H.264編碼，在編碼過程中采用編碼參數(shù)優(yōu)化設(shè)計。通過實時調(diào)整量化因子和編碼器的輸入幀率來控制輸出碼率，完成緩沖區(qū)碼率控制機制控制輸出碼率。實驗測試表明系統(tǒng)在滿足視頻壓縮碼率可控條件下，壓縮效果好，視頻顯示清晰，輸出的碼率控制穩(wěn)定，滿足無人機無線信道帶寬受控要求。

圖6 采用緩沖區(qū)的碼率控制機制實驗測試比較

［1］王宏志，蘇令華，王曉紅.基于達芬奇平臺的視頻編解碼器實現(xiàn)［J］.計算機測量與控制，2011，19（5）：1158-1160.

［2］代健美，劉作學(xué)，耿華芳.基于DaVinci技術(shù)的H.264解碼系統(tǒng)［J］.兵工自動化，2012，31（4）：47-50.

［3］畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)-H.264/AVC［M］.北京：人民郵電出版社，2009.

［4］楊格蘭，曹理宇，張建明.基于MPEG-4的流媒體服務(wù)器端緩沖區(qū)管理［J］.計算機工程，2007，33（5）：208-210.

［5］WANG H L，KWONG S.Rate-distortion optimiazation of rate control for H.264 with adaptive initial quantization parameter determination［J］.IEEE Trans.Circuits System Video Technology，2008，18（1）：140-144.

［6］許哲，康永，黃鶯，等.無人機測控系統(tǒng)Turbo-MAP譯碼方法［J］.火力與指揮控制，2015，40（4）：14-17.

［7］王鵬，崔琛，張鑫.雜波環(huán)境中認(rèn)知雷達相位編碼波形設(shè)計［J］.火力與指揮控制，2013，38（12）：180-182.

Design of the Embedded Video Compression System for Video Data Rate Controlled Based on i.MX6

WANG Jian1，XIN Xiang-long2，ZHANG Xiu-fei2
（1.No.365 Institute of Northwestern Polytechnical University，Xi’an 710065，China；
2.School of Electronic and Information Northwestern Polytechnical University，Xi’an 710129，China）

For the output bit rate of UAV airborne video compression system is unstable and the bandwidth of wireless channel is limited.This paper based on i.MX6 video processing hardware platform to compress video data that have been taken by H.264 standard.Basing on the motion estimation search range，the maximum spacing design of the key frames and using buffer rate control mechanisms to control the output bit rate，the problem of wireless channel’s limited bandwidth is solved.The experimental results show that compared with the system which is not used the rate control mechanism；the proposed approach can guarantee the stable output bit rate and small amount of data after processing.

i.MX6，H.264，unmanned aerial vehicle，compression encoding

TP368.1；V279

A

1002-0640（2016）11-0148-05

2015-10-05

2015-11-07

國家自然科學(xué)基金資助項目（61101188）

王?。?972-），男，陜西西安人，博士，副教授。研究方向：視頻壓縮技術(shù)，陣列信號處理，雷達信號處理，三維可視化技術(shù)。