周 鵬 湯銀煥 黃秋元 楊紀鋒 王福堂

（武漢理工大學信息學院1） 武漢 430070） （上海明波通信技術(shù)有限公司2） 上海 201203）

0 引 言

無線流媒體技術(shù)是無線網(wǎng)絡(luò)技術(shù)、視頻編碼技術(shù)和流媒體傳輸技術(shù)的結(jié)合.在無線網(wǎng)絡(luò)方面，基于IEEE802.n系列的Wi Fi網(wǎng)絡(luò)理論上已經(jīng)能達到108 Mb／s的速率，在視頻編解碼方面，MPEG4已經(jīng)得到學術(shù)界和工業(yè)界的認可［1－3］，也成為當前視頻編碼領(lǐng)域最為熱門的研究領(lǐng)域之一.RTP／RTCP協(xié)議是為了在分組網(wǎng)絡(luò)中傳遞實時業(yè)務而設(shè)計的，如今已經(jīng)在有實時性要求的領(lǐng)域得到了廣泛的應用.當前，基于無線網(wǎng)絡(luò)的流媒體傳輸技術(shù)是無線網(wǎng)絡(luò)應用的一個研究熱點，同時也是難點.

本系統(tǒng)由2部分實現(xiàn)：采集音視頻并壓縮發(fā)送音視頻信號的發(fā)送端和接收并解碼播放音視頻信號的接收端.發(fā)送端和接收端在硬件平臺上是完全相同的，通過軟件來將其設(shè)定為發(fā)送端和接收端，以實現(xiàn)兩者之間實時的無線視頻流式傳輸.

1 系統(tǒng)結(jié)構(gòu)

1.1 硬件結(jié)構(gòu)

硬件主要包括處理器、音視頻采集單元、Wi Fi傳輸模塊、存儲模塊、以太網(wǎng)接口以及串口調(diào)試單元組成.結(jié)構(gòu)如圖1所示.

圖1 無線傳輸系統(tǒng)結(jié)構(gòu)圖

處理器采用飛思卡爾半導體Dragon Ball家族的最新成員i.MX27芯片作為多媒體應用處理器，可以對前端送來的視頻信號進行H.264編碼和本地存儲，且通過無線wifi傳輸.NAND Flash是程序存儲器單元；LPDDR存儲數(shù)據(jù)；無線模塊采用usb接口的wifi模塊TL－WN321 G＋；codec使用wolfson的WM8976，采用麥克風錄音或者AV線從電視機錄音，播放使用揚聲器、耳機或者AV線輸入到電視；視頻encode芯片是TVP5150，decode芯片是CH7024，從CMOS攝像機OV2640或者TVIN錄制視頻流，由TVOUT播放或者LCD顯示.

在無線傳輸系統(tǒng)中，通過軟件分別將兩塊板子設(shè)置為發(fā)送端和接收端，發(fā)送端的開發(fā)板就選中codec的錄音功能和video的視頻采集功能，接收端的功能是codec播放聲音和視頻解碼顯示.

1.2 軟件結(jié)構(gòu)

系統(tǒng)的軟件架構(gòu)采用C／S架構(gòu)，軟件設(shè)計分為發(fā)送端軟件和接收端軟件.發(fā)送端軟件設(shè)計分為音視頻采集、音視頻壓縮和音視頻發(fā)送3個功能模塊；客戶端軟件設(shè)計分為音視頻接收、音視頻解碼和音視頻播放3個功能模塊.系統(tǒng)軟件結(jié)構(gòu)如圖2所示.

圖2 無線傳輸系統(tǒng)軟件結(jié)構(gòu)

工作流程：發(fā)送端，視頻采集模塊分別從前端攝像機和麥克風采集視頻和音頻信號，視頻信號經(jīng)過A／D轉(zhuǎn)換和i.MX27應用處理器芯片進行壓縮編碼后生成MPEG4格式的視頻流，而音頻信號經(jīng)過A／D轉(zhuǎn)換生成I2S標準的數(shù)字音頻格式，將這些音視頻流通過流媒體服務器打包成RTP數(shù)據(jù)包，通過wifi無線模塊發(fā)送到網(wǎng)絡(luò)中；接收端通過wifi無線模塊從網(wǎng)絡(luò)中接收到RTP包，解包，通過i.MX27解壓縮，經(jīng)過D／A轉(zhuǎn)換為視頻和音頻信號，送到LCD視頻顯示，及揚聲器進行聲音的播放.

2 流媒體傳輸RTP／RTCP協(xié)議

2.1 RTP／RTCP介紹

由于TCP的重發(fā)機制帶來較大的時延，UDP本身又不提供任何Qos保證，因此IETF制定了實時傳輸協(xié)議RTP和實時傳輸控制協(xié)議RTCP來滿足多媒體實時傳輸?shù)男枨?RTP通常使用UDP來進行多媒體數(shù)據(jù)的傳輸，但如果需要的話可以使用TCP或者AT M等其他協(xié)議.

實時傳輸協(xié)議（real－time transport protocol，PRT）是在Inter net上處理多媒體數(shù)據(jù)流的一種網(wǎng)絡(luò)協(xié)議，利用它能夠在一對一（unicast，單播）或者一對多（multicast，多播）的網(wǎng)絡(luò)環(huán)境中實現(xiàn)傳流媒體數(shù)據(jù)的實時傳輸，其目的是提供時間信息和實現(xiàn)流同步.整個RTP協(xié)議由兩個密切相關(guān)的部分組成：RTP數(shù)據(jù)協(xié)議和RTP控制協(xié)議兩個關(guān)系十分密切的子協(xié)議.RTP和RTCP配合使用，能以有效的反饋和最小的開銷使傳輸效率最佳化，因而特別適合傳送網(wǎng)絡(luò)視頻流數(shù)據(jù).在RTP會話期間，各參與者周期性地傳送RTCP包.RTCP包中含有已發(fā)送的數(shù)據(jù)包的數(shù)量、丟失的數(shù)據(jù)包的數(shù)量等統(tǒng)計資料.

一個視頻或音頻RTP包的組成如圖3所示.

圖3 一個視頻／音頻RTP包

2.2 基于RTP／RTCP的音視頻傳輸

為了更加快速地在項目中應用RTP協(xié)議實現(xiàn)流媒體的傳輸，一般會選擇使用一些RTP庫，例如使JRTPLIB庫，CCRtp庫，Ort p庫等，我們選用Ortp庫作為第三方庫.Ortp是一個支持RTP以及RFC3550協(xié)議的庫，該庫純使用C語言實現(xiàn)，可以工作于windows，Linux，以及Unix平臺.該系統(tǒng)是在linux下實現(xiàn)的，所以要將Ort p庫移植到linux系統(tǒng)下.對于大部分基于RTP／RTCP的應用程序來說，類RTPSession是最主要的類.

發(fā)送視頻的程序?qū)崿F(xiàn)步驟如下.

在進行RTP流媒體傳輸之前，首先要對RTP進行初始化，初始化函數(shù)如下：

ortp＿init（）；

ortp＿scheduler＿init（）；

然后對RTP收發(fā)進行初始化，先要生成Rtp Session類的一個實例來表示此次RTP send對話，創(chuàng)建的Rtp Session的一個實例是m＿Session＿send，m＿Session＿send＝rtp＿session＿new（RTP＿SESSION＿SENDRECV）；

接下來設(shè)置該實例使用調(diào)度管理功能，使用阻塞模式，發(fā)送數(shù)據(jù)的目標地址和監(jiān)聽端口號，以及發(fā)送數(shù)據(jù)的負載格式，設(shè)置如下：

rtp＿session＿set＿scheduling＿mode（m＿Session＿send，1）；

rtp＿session＿set＿blocking＿mode（m＿Session＿send，1）；rtp＿session＿set＿remote＿addr（m＿Session＿send，"192.168.2.60"，5060）；

rtp＿session＿set＿payload＿type（m＿Session＿send，34）；

其中，payload的格式在payloadtype.h中有詳細的定義，在發(fā)送音頻的時候要注意payload值的變換.

然后進行視頻采集、MPEG4編碼，最后將編碼好的MPEG4視頻流打成RTP包，如下

m1＝rtp＿session＿create＿packet（m＿Session＿send，header Size，（char＊）data，size）；

返回mbl k＿t結(jié)構(gòu)的RTP包，將該RTP包發(fā)送出去到目的地址，實現(xiàn)函數(shù)如下

rtp＿session＿send m＿with＿ts（m＿Session＿send，m1，0）；

視頻接收的程序?qū)崿F(xiàn)如下步驟：

初始化RTP和發(fā)送端一樣，也需要先生成Rtp Session類的一個實例m＿Session＿recv，模式設(shè)置同發(fā)送端，同時要注意接收監(jiān)聽端口要和發(fā)送端的一致，接收的IP設(shè)置為"0.0.0.0"，然后進行RTP包的接收，

rtp＿session＿recv m＿with＿ts（m＿Session＿recv，0）；

由下面函數(shù)進行時間戳同步，

rtp＿session＿get＿current＿recv＿ts（m＿Session＿recv）；

同時將接收到的RTP包進行還原，送到處理器解碼顯示，至此視頻端RTP收發(fā)已經(jīng)實現(xiàn).

3 Wi Fi模塊的設(shè)計

3.1 Wi Fi技術(shù)介紹［4－5］

目前，主要的無線接入技術(shù)主要包括802.11，802.15，802.16，802.20標準.無線局域網(wǎng)就是基于其中的802.11標準.802.11b是所有無線局域網(wǎng)標準中被使用最為廣泛的標準，它的工作頻率為2.4 GHz，傳輸速率為11 Mb／s.另外還有兩種802.11空間的協(xié)議，包括（a）和（g），它們也是公開使用的，但802.11b在世界上最為常用.Wi Fi（wireless fidelity）就是基于802.11b標準建立的，它具有部署方便、成本低、傳輸速率高、抗干擾能力強、靈活性好等優(yōu)點.Wi Fi的覆蓋半徑基本上能達到100 m左右，而普通的藍牙技術(shù)基本上只能覆蓋15 m左右的半徑區(qū)域.而且 Wi Fi網(wǎng)絡(luò)的建設(shè)成本相對于傳統(tǒng)的局域網(wǎng)布線成本要低，Wi Fi網(wǎng)絡(luò)只需安裝一定數(shù)量的無線網(wǎng)絡(luò)節(jié)點（Access Point）就可以滿足指定區(qū)域信號的覆蓋，可以避免固定局域網(wǎng)繁瑣的布線工程.

3.2 Wi Fi模塊的實現(xiàn)

本系統(tǒng)采用的Wi Fi模塊是TL－WN321G＋，此模塊是TP－Link的rt73芯片，是一款USB接口的Wi Fi設(shè)備.該模塊支持IEEE 802.11b和IEEE 802.11g無線標準，最大支持54 Mb／s的傳輸速率，是USB2.0的接口類型，工作頻段是2.4～2.4835 GHz，室內(nèi)最遠傳輸100 m，室外300 m的距離.

要使用該無線模塊，需將其驅(qū)動移植到linux平臺上，由于其使用的是rt73芯片，rt73有開源的linux驅(qū)動.從網(wǎng)絡(luò)上下載rt73源碼到內(nèi)核linux2.6.19下，進行該驅(qū)動的移植，配置內(nèi)核支持Wi Fi網(wǎng)絡(luò)，生成rt73.ko，拷貝到相應文件系統(tǒng)下，同時也要移植相應的加密工具.使用的時候?qū)i Fi模塊插入usb接口，ins mod驅(qū)動模塊，設(shè)置無線模塊的IP，將無線模塊激活，這樣就可以使用Wi Fi模塊進行音視頻的無線傳輸，同時為了增加無線網(wǎng)絡(luò)的穩(wěn)定性，需要一臺無線路由器建立連接點.

4 結(jié)束語

本系統(tǒng)實現(xiàn)了音視頻流通過無線網(wǎng)絡(luò)的實時傳輸，視頻和音頻是分開進行的.該系統(tǒng)視頻部分實現(xiàn)了從CMOS攝像頭采集視頻，由i.MX27進行MPEG4編碼，組成RTP／RTCP包通過 Wi Fi無線網(wǎng)絡(luò)發(fā)送出去，并由接收端接收解碼顯示出來，音頻部分實現(xiàn)了從麥克風錄音，由codec芯片編碼成PCM流，然后組成RTP／RTCP包，通過Wi Fi網(wǎng)絡(luò)發(fā)送，在接收端接收解碼播放.

［1］孔永鋒，施偉斌，基于RTP＆RTCP的 MPEG4嵌入式Linux無線視頻監(jiān)控系統(tǒng)［J］.儀表技術(shù)，2009（8）：35－38.

［2］賀 禮，陳前斌，唐 倫，隆克平.基于3 G無線網(wǎng)絡(luò)實時傳輸MPEG4流媒體的設(shè)計與實現(xiàn)［J］.計算機應用研究，2008，25（6）：121－124.

［3］張 偉.基于RTP和 MPEG4的流媒體系統(tǒng)研究［J］，科技資訊，2007（24）：166－167.

［4］陳文周.Wi Fi技術(shù)研究及應用［J］.數(shù)據(jù)通信，2008（2）：14－17.

［5］Doxygen，ORTP API documentation，Rev0.14.2［EB／OL］.［2008－02－02］，htt p：／／www.antisip.co m／doc／ortp.