魏建新

（中國飛行試驗(yàn)研究院 陜西 西安 710089）

隨著信息技術(shù)的發(fā)展和社會(huì)的進(jìn)步，人們對(duì)于多媒體業(yè)務(wù)的需求不斷增長，多媒體不再局限于文本、語音和圖片，視頻圖像將為用戶提供功能更強(qiáng)大、更完善的服務(wù)。視頻技術(shù)被廣泛應(yīng)用于視頻會(huì)議、可視電話、視頻點(diǎn)播（VOD）、電子商務(wù)、遠(yuǎn)程教育等多個(gè)領(lǐng)域[1]。與語音、圖片等媒體形式不同，數(shù)字視頻數(shù)據(jù)量龐大，對(duì)存儲(chǔ)器的存儲(chǔ)容量、通信信道的傳輸率以及計(jì)算機(jī)的處理速度等都提出了相當(dāng)高的要求。解決這個(gè)問題單純用增加存儲(chǔ)器容量和通信信道的帶寬以及提高計(jì)算機(jī)的運(yùn)算速度等方法是不經(jīng)濟(jì)也是不現(xiàn)實(shí)的。因此，視頻數(shù)據(jù)的高效編碼技術(shù)意義重大，是降低存儲(chǔ)成本，緩解網(wǎng)絡(luò)帶寬，突破存儲(chǔ)空間和處理器主頻限制的關(guān)鍵技術(shù)。

在飛行試驗(yàn)過程中，將飛機(jī)上所攝取或抽引的圖像畫面[2]通過視頻遙測(cè)傳輸系統(tǒng)實(shí)時(shí)傳輸?shù)降孛姹O(jiān)控站，提供給地面工程技術(shù)人員、指揮人員使其能夠及時(shí)分析和了解實(shí)時(shí)試飛情況，已成為飛行試驗(yàn)中必不可少的一種監(jiān)控手段。隨著數(shù)字技術(shù)的迅猛發(fā)展，數(shù)字視頻在飛行試驗(yàn)方面的應(yīng)用與發(fā)展也日益成熟，圖像畫面的清晰度與模擬視頻信號(hào)相比有了質(zhì)的飛躍。

視頻實(shí)時(shí)采集系統(tǒng)采用C/S模式，服務(wù)器端主要通過采集卡實(shí)時(shí)采集、保存、往客戶端發(fā)送等功能，客戶端主要選擇性的查看某一路視頻數(shù)據(jù)。網(wǎng)絡(luò)傳輸主要采用TCP協(xié)議。要求每秒采最大25幀（設(shè)為可調(diào)），客戶端實(shí)時(shí)顯示最大25幀（設(shè)為可調(diào)），保存為MPEG-4格式，畫面要求為最大分辯率為 1024×768。

1 視頻編解碼技術(shù)

在試飛實(shí)時(shí)監(jiān)控中，對(duì)視頻數(shù)據(jù)編碼來說，所采用的編碼標(biāo)準(zhǔn)應(yīng)該既要保證編碼后的視頻圖像具有高的質(zhì)量和好的兼容性，又要盡可能減小記錄器的容量。圖1為常用的視頻編碼標(biāo)準(zhǔn)的比較。

通過對(duì)以上視頻編碼標(biāo)準(zhǔn)的比較[3-4]，我們覺得MPEG-4更適合在飛行試驗(yàn)實(shí)時(shí)監(jiān)控中對(duì)視頻數(shù)據(jù)編碼的需求。

2 系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)

視頻實(shí)時(shí)采集系統(tǒng)主要實(shí)現(xiàn)對(duì)前端四路視頻數(shù)據(jù)的實(shí)時(shí)采集，在服務(wù)器端可同時(shí)采集和儲(chǔ)存四路視頻數(shù)據(jù)，也可以一次只采集一路視頻數(shù)據(jù)，再經(jīng)網(wǎng)絡(luò)實(shí)時(shí)傳輸?shù)娇蛻舳孙@示，服務(wù)器端也實(shí)時(shí)顯示所采集的視頻。

本系統(tǒng)服務(wù)器端用的是?？低曇曨l采集卡，相應(yīng)的硬件環(huán)境已搭建好，現(xiàn)在主要是將上述的數(shù)據(jù)采集、數(shù)據(jù)傳輸、保存等功能用軟件如何實(shí)現(xiàn)，這也是本論文的主題。系統(tǒng)硬件框架圖見圖2。

圖1 視頻編碼標(biāo)準(zhǔn)的比較Fig.1 Comparison of video coding standard

圖2 系統(tǒng)硬件框架圖Fig.2 The system hardware frame diagram

3 視頻數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

3.1 實(shí)時(shí)采集與處理軟件的設(shè)計(jì)與實(shí)現(xiàn)

圖3為服務(wù)器端實(shí)時(shí)采集、記錄、發(fā)送視頻數(shù)據(jù)的程序流程圖。視頻數(shù)據(jù)量較大 ，這就要求視頻數(shù)據(jù)處理系統(tǒng)具有實(shí)時(shí)處理的特點(diǎn)。在服務(wù)器端的實(shí)現(xiàn)是整個(gè)系統(tǒng)的關(guān)鍵，在此也承擔(dān)了整個(gè)軟件系統(tǒng)的大部分工作，因此對(duì)軟件和硬件方面要求也很高就成為必然。

軟件要實(shí)現(xiàn)對(duì)視頻數(shù)據(jù)的實(shí)時(shí)采集、控制視頻接口、把視頻數(shù)據(jù)實(shí)時(shí)編碼保存并發(fā)送到多個(gè)客戶端。以上是在服務(wù)器上實(shí)現(xiàn)的主要功能。

在采集方面最主要是實(shí)時(shí)性，在此以事件驅(qū)動(dòng)的方法從端口獲取數(shù)據(jù)，采集到視頻數(shù)據(jù)在桌面顯示的同時(shí)再編碼保存，采集的數(shù)據(jù)要用軟件的相應(yīng)模塊處理成以位圖型式的視頻幀流，以利于在服務(wù)器端的顯示和編碼保存，在此采用MPEG-4編碼。有利于向客戶端發(fā)送以幀為單位的視頻數(shù)據(jù)流。

圖3 服務(wù)器端程序流程圖Fig.3 Server-side program flow chart

在軟件實(shí)現(xiàn)方面主要應(yīng)用了相應(yīng)的SDK（Software development kit）和 API（應(yīng)用編程接口）[5]，對(duì)于視頻的采集用SDK和API更加靈活。在服務(wù)器實(shí)現(xiàn)軟件方面主要有以下幾個(gè)主要模塊：一是采集；二是記錄；三是向客戶端發(fā)送；四是圖像的形成；五是桌面顯示；六是對(duì)圖像亮度、顏色、位置等的調(diào)整；七是采集通道、采樣率、采集時(shí)間的選擇。

在服務(wù)器桌面顯示的畫面是沒經(jīng)編碼處理的，但網(wǎng)絡(luò)傳輸和保存的視頻數(shù)據(jù)是經(jīng)MPEG-4編碼的，這樣有效的減輕了網(wǎng)絡(luò)傳輸和服務(wù)器的負(fù)擔(dān)。

圖4 視頻采集服務(wù)器端軟件界面Fig.4 Video capture server software interface

圖5 視頻采集參數(shù)調(diào)整界面Fig.5 Video capture server software interface

3.2 視頻數(shù)據(jù)網(wǎng)絡(luò)傳輸設(shè)計(jì)

用局域網(wǎng)實(shí)時(shí)傳輸視頻數(shù)據(jù)已在一些領(lǐng)域大量的應(yīng)用，局域網(wǎng)以有線局域網(wǎng)居多，因?yàn)橛芯€局域網(wǎng)技術(shù)成熟、傳輸速度快，但是長時(shí)間傳輸大量視頻數(shù)據(jù)時(shí)也會(huì)引起傳輸速率不穩(wěn)定，引起數(shù)據(jù)堵塞，會(huì)導(dǎo)致視頻傳輸?shù)馁|(zhì)量大幅度下降，容易引起畫面的重影、抖動(dòng)、花屏、延遲等現(xiàn)象。

為了在局域網(wǎng)上有效的、高質(zhì)量的實(shí)時(shí)傳輸媒體流，需要多種技術(shù)的支持，包括網(wǎng)絡(luò)傳輸層協(xié)議的選擇、編（解）碼技術(shù)，網(wǎng)絡(luò)傳輸層質(zhì)量控制技術(shù)等等。

網(wǎng)絡(luò)傳輸層質(zhì)量控制技術(shù)采用的是TCP/UDP協(xié)議，UDP是一種不可靠的、無連接的協(xié)議[6]，UDP適用于對(duì)可靠性要求不高的應(yīng)用環(huán)境。它不提供檢錯(cuò)和糾錯(cuò)功能，一旦網(wǎng)絡(luò)出現(xiàn)堵塞時(shí)，大量的數(shù)據(jù)報(bào)文會(huì)丟失。對(duì)于MPEG-4編解碼技術(shù)，是以幀為單位進(jìn)行編解碼的，分為關(guān)鍵幀和非關(guān)鍵幀。在傳輸過程中，由于壓縮率比較高，只要一幀中錯(cuò)一比特位，將影響其后的更多的比特位，直接造成圖像的模糊、花屏等現(xiàn)象。只有等到下一次關(guān)鍵幀的到來才有可能恢復(fù)圖像的清晰。如此一來，只能選擇使用TCP來進(jìn)行網(wǎng)絡(luò)通信，TCP提供可靠的數(shù)據(jù)傳輸，并在相互進(jìn)行通信的設(shè)備或服務(wù)之間保持一個(gè)虛擬連接。TCP在數(shù)據(jù)包接收無序、丟失或在交付期間被破壞時(shí)，負(fù)責(zé)數(shù)據(jù)恢復(fù)。它通過為其發(fā)送的每個(gè)數(shù)據(jù)包提供一個(gè)序號(hào)來完成此恢復(fù)。再輔助以暫停發(fā)送的控制策略，較好的解決局域網(wǎng)中實(shí)時(shí)視頻傳輸容易引起的重影、抖動(dòng)、花屏的問題。為了達(dá)到視頻傳輸?shù)膶?shí)時(shí)性，總的思想是最少的發(fā)送冗余信息，最大程度上發(fā)送最新的視頻數(shù)據(jù)。

在服務(wù)器端視頻采集采用從視頻采集卡捕獲視頻數(shù)據(jù)，經(jīng)相應(yīng)軟件模塊處理成位圖型式的視頻幀，然后用MPEG-4編碼進(jìn)行壓縮，通過TCP實(shí)現(xiàn)壓縮后的視頻數(shù)據(jù)在局域網(wǎng)中的實(shí)時(shí)傳輸，在客戶端接收完的數(shù)據(jù)交給MPEG-4解碼器解碼，最后實(shí)現(xiàn)視頻顯示。如圖6所示。

圖6 網(wǎng)絡(luò)間傳輸流程圖Fig.6 Network transmission flow chart

如果局域網(wǎng)通信速率很高且狀態(tài)穩(wěn)定，則進(jìn)行實(shí)時(shí)視頻傳輸就可以達(dá)到非常好的效果。但是在網(wǎng)絡(luò)出現(xiàn)異常時(shí)會(huì)導(dǎo)致數(shù)據(jù)傳輸率不穩(wěn)定或明顯下降，造成發(fā)送端數(shù)據(jù)積壓。此時(shí)就要采取一定的策略來控制發(fā)送端（服務(wù)器端），以達(dá)到實(shí)時(shí)性的要求，暫停發(fā)送策略很好的解決了這一現(xiàn)象。使用此策略有時(shí)會(huì)有丟幀的現(xiàn)象，但對(duì)客戶端的顯示要求是滿足的，在服務(wù)器端的采集、顯示、保存不受暫停發(fā)送策略的影響，也就是不會(huì)有丟幀的現(xiàn)象，雖然應(yīng)用了暫停發(fā)送策略，但已經(jīng)能夠滿足在客戶端實(shí)時(shí)監(jiān)控需求了。

3.3 實(shí)時(shí)播放軟件設(shè)計(jì)

在客戶端可以自行選擇要顯示的某一路視頻，實(shí)現(xiàn)客戶端時(shí)，主要是要實(shí)時(shí)監(jiān)聽和服務(wù)器網(wǎng)絡(luò)連接狀態(tài)、判斷接收的視頻數(shù)據(jù)是否正常、是否啟用暫停發(fā)送策略等。每秒接收的幀數(shù)可自行調(diào)節(jié)，但不能大于服務(wù)器端每秒采集的幀數(shù)。

在客戶端還要實(shí)時(shí)對(duì)經(jīng)MPEG-4編碼的視頻數(shù)據(jù)進(jìn)行解碼與顯示，MPEG-4解碼速度是完全可以達(dá)到實(shí)時(shí)顯示的要求。

圖7 客戶端程序流程圖Fig.7 Client program flow chart

4 結(jié)束語

圖8 客戶端軟件界面Fig.8 Client software interface

本系統(tǒng)對(duì)四路視頻進(jìn)行實(shí)時(shí)監(jiān)控，并負(fù)責(zé)視頻數(shù)據(jù)的實(shí)時(shí)采集、記錄和視頻編解碼算法的實(shí)現(xiàn)，基于C/S結(jié)構(gòu)的視頻數(shù)據(jù)實(shí)時(shí)采集與傳輸系統(tǒng)，在通過各種測(cè)試后在試運(yùn)行期間能夠?qū)崿F(xiàn)對(duì)四路視頻的實(shí)時(shí)監(jiān)控，并且在飛行試驗(yàn)中得到了相應(yīng)的應(yīng)用，取得了良好的效果。

[1]陳莉.關(guān)于計(jì)算機(jī)多媒體技術(shù)發(fā)展趨勢(shì)的探討[J].電腦知識(shí)與技術(shù)，2012（6）:3-7.CHEN Li.Discussion on the development trend of computer multimedia technology [J].Computer Knowledge and Technology，2012（6）:3-7.

[2]李翠娟，陳川，張曉曦，等.幾種機(jī)載視頻技術(shù)要點(diǎn)分析與發(fā)展趨勢(shì)討論[J].航空計(jì)算技術(shù)，2012（1）:129-131，134.LI Cui-juan，CHEN Chuan，ZHANG Xiao-xi，er al.Several airborne video technology development trend analysis and discussion points[J].Aeronautical Computing Technique，2012（1）:129-131，134.

[3]畢厚杰，王健.新一代視頻壓縮編碼標(biāo)準(zhǔn)[M].北京：人民郵電出版社，2009.

[4]Andy Beach著.視頻壓縮寶典[M].田尊華，程鋼，譯.北京：清華大學(xué)出版社，2009.

[5]劉瑞寧，宋坤.Visual C++從入門到精通[M].北京：清華大學(xué)出版社，2008.

[6]王艷芳，戴永，劉東華，等.基于UDP的數(shù)據(jù)可靠傳輸技術(shù)研究與應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2010（3）:105-108.WANG Yan-fang，DAI Yong，LIU Dong-hua，et al.Research and application of reliable data transmission technology based on UDP[J].Computer Engineering and Applications，2010（3）:105-108.