蘇育挺，金富玉，張承乾

(天津大學(xué) 電子信息工程學(xué)院，天津 300072)

隨著因特網(wǎng)的飛速發(fā)展，基于網(wǎng)絡(luò)的即時(shí)通信工具已從早期的消息聊天逐漸發(fā)展成為具備音視頻聊天功能的綜合應(yīng)用程序。目前已經(jīng)實(shí)現(xiàn)的音視頻通信方式主要包括點(diǎn)對(duì)點(diǎn)視頻通信、視頻會(huì)議系統(tǒng)、語(yǔ)音電話等，其傳輸服務(wù)質(zhì)量的優(yōu)劣已成為衡量即時(shí)通信系統(tǒng)整體性能的一個(gè)關(guān)鍵性指標(biāo)。

在現(xiàn)有的即時(shí)通信系統(tǒng)中，實(shí)現(xiàn)音視頻通信的核心組件包括音視頻處理框架和即時(shí)通信協(xié)議兩個(gè)部分。音視處理框架集成了音視頻采集、音視頻編解碼、音視頻分流控制、音視頻數(shù)據(jù)流網(wǎng)絡(luò)擁塞控制等技術(shù)模塊，能夠完成音視頻數(shù)據(jù)流的采集、編碼、分流等基本處理流程;即時(shí)通信協(xié)議則負(fù)責(zé)為音視頻數(shù)據(jù)協(xié)商傳輸通道，并且在協(xié)商好的傳輸通道上建立對(duì)應(yīng)的連接，從而為音視頻數(shù)據(jù)的順暢傳輸提供保障。

1 即時(shí)通信協(xié)議

即時(shí)通信協(xié)議是進(jìn)行即時(shí)通信必須遵循的信息規(guī)范，主要負(fù)責(zé)完成用戶信息傳輸通道協(xié)商，客戶端與服務(wù)器通信信令傳輸控制等任務(wù)。XMPP是主流即時(shí)通信協(xié)議之一，是基于可擴(kuò)展標(biāo)記語(yǔ)言(XML)的協(xié)議，其繼承了在XML的高可擴(kuò)展性，可以通過(guò)發(fā)送擴(kuò)展的信息來(lái)處理用戶需求。目前最常用的即時(shí)通信協(xié)議體系主要是SIP和XMPP協(xié)議體系，兩者都可以完成音視頻通信功能。另外，一些商業(yè)公司自行開(kāi)發(fā)私有的即時(shí)通信協(xié)議實(shí)現(xiàn)了相對(duì)封閉的通信環(huán)境，例如QQ和MSN。

XMPP協(xié)議是個(gè)總稱，包括核心協(xié)議，擴(kuò)展協(xié)議等。核心協(xié)議只規(guī)定了很小、很基本的一些功能，大部分功能都是在擴(kuò)展協(xié)議中規(guī)定的。實(shí)際上，XMPP協(xié)議只是作為協(xié)商協(xié)議應(yīng)用，真正的P2P連接和實(shí)時(shí)通信是通過(guò)其擴(kuò)展協(xié)議實(shí)現(xiàn)的。Jingle就是典型的擴(kuò)展協(xié)議案例。

Jingle［6］是Google開(kāi)發(fā)的XMPP協(xié)議上的擴(kuò)展，其解決了在XMPP協(xié)議體系下點(diǎn)對(duì)點(diǎn)的P2P連接問(wèn)題。Jingle協(xié)議提供了多種傳輸方式用于數(shù)據(jù)傳輸，而針對(duì)多媒體數(shù)據(jù)的最為常見(jiàn)的模式是兩種UDP傳輸方式。一種傳輸模型是RAWUDP［9］，RAWUDP是在UDP協(xié)議上發(fā)送媒體數(shù)據(jù)包的傳輸通道模型，可以實(shí)現(xiàn)在同一局域網(wǎng)下的P2P連接，沒(méi)有網(wǎng)絡(luò)穿越功能，無(wú)法實(shí)現(xiàn)遠(yuǎn)程通信;另一種模型則是功能更為強(qiáng)大的 ICE－UDP［8］，ICE－UDP 也是在 UDP協(xié)議上發(fā)送媒體數(shù)據(jù)包，并且可以實(shí)現(xiàn)具有防火墻的網(wǎng)絡(luò)穿越和ICE連接性檢查，實(shí)現(xiàn)遠(yuǎn)程通信。ICE是標(biāo)準(zhǔn)的建立P2P連接性檢查的協(xié)議，其自身不能獨(dú)立工作，必需在信號(hào)通道的協(xié)調(diào)下建立連接，而XMPP協(xié)議就可以作為ICE通道協(xié)商的協(xié)議標(biāo)準(zhǔn)。

基于Jingle/XMPP協(xié)議實(shí)現(xiàn)的即時(shí)通信框圖如圖1所示。Jingle通過(guò)XMPP完成P2P通道的協(xié)商任務(wù)，同時(shí)通過(guò)Jingle協(xié)議建立P2P通道并進(jìn)行連接性檢查，然后建立并完成RTP會(huì)話，從而完成音視頻通信。如果選擇ICE－UDP通道傳輸模型進(jìn)行RTP視頻數(shù)據(jù)傳輸，XMPP服務(wù)器可以使用STUN［2］服務(wù)器收集用戶的地址，包括NAT［3］后面的私有地址以及NAT與互聯(lián)網(wǎng)連接的公共地址，并且以此為基礎(chǔ)建立映射機(jī)制，完成會(huì)話參與者跟具體的網(wǎng)絡(luò)地址間的轉(zhuǎn)換和NAT穿越。

圖1 Jingle/XMPP通信NAT穿越

2 音視頻處理框架

即時(shí)通信系統(tǒng)中的音視頻處理框架主要為用戶提供一組多媒體數(shù)據(jù)處理的接口，用戶可以用這些接口實(shí)現(xiàn)從多媒體采集卡上獲得數(shù)據(jù)，進(jìn)行壓縮編碼、格式轉(zhuǎn)換、數(shù)據(jù)封包等一系列操作，從而完成多媒體的實(shí)時(shí)處理傳輸功能，大大簡(jiǎn)化多媒體處理的復(fù)雜性。目前具有二次開(kāi)發(fā)功能的音視頻處理框架包括Gstreamer，Directshow，Opencore等。其中DirectShow是微軟公司在ActiveMovie和Video for Windows基礎(chǔ)上推出的基于COM的流媒體處理開(kāi)發(fā)包。運(yùn)用DirectShow可以很方便地從支持Windows驅(qū)動(dòng)模型的采集卡上捕獲數(shù)據(jù)，并進(jìn)行相應(yīng)的后期處理乃至存儲(chǔ)到文件中。OpenCore則是手機(jī)操作系統(tǒng)Android的多媒體核心，OpenCore的代碼非常龐大，是一個(gè)基于C++的實(shí)現(xiàn)，定義了全功能的操作系統(tǒng)移植層，各種基本的功能均被封裝成類的形式，各層次之間的接口多使用繼承等方式。而基于Linux平臺(tái)的GStreamer則是完全開(kāi)源的多媒體框架庫(kù)，利用其可以構(gòu)建一系列媒體處理模塊，包括從簡(jiǎn)單的Ogg播放功能到復(fù)雜的音頻混音和視頻非線性編輯處理。Gstreamer應(yīng)用非常廣泛，大多數(shù)手機(jī)平臺(tái)及個(gè)人電腦Linux平臺(tái)均采用Gstreamer進(jìn)行音視頻處理開(kāi)發(fā)。

2.1 Gstreamer音視頻處理

Gstreamer通過(guò)其模塊化設(shè)計(jì)理念，更加便于構(gòu)建流媒體應(yīng)用程序。它將各個(gè)模塊封裝起來(lái)，以元件的形式提供給用戶使用。用戶可以利用庫(kù)中原有的元件進(jìn)行應(yīng)用程序的編程，同樣也可以編寫(xiě)元件，然后插入到庫(kù)中，以便日后調(diào)用時(shí)使用。如果只利用庫(kù)中的元件來(lái)實(shí)現(xiàn)特定功能，只需要采用模塊化的方式編寫(xiě)應(yīng)用程序［4］。Gstreamer實(shí)現(xiàn)局域網(wǎng)內(nèi)簡(jiǎn)單多媒體音視頻傳輸發(fā)送端的框圖如圖2所示。對(duì)于視頻數(shù)據(jù)流，Gstreamer在發(fā)送端將攝像頭(v4l2src1)采集的數(shù)據(jù)依次經(jīng)過(guò)色度空間轉(zhuǎn)換(ffmpegcsp1)、H263 視頻編碼(ffenc_h263p1)、RTP［1］載荷頭添加(rtph263ppay1)，在gstrtpbin中實(shí)現(xiàn)實(shí)時(shí)傳輸協(xié)議(RTP)和實(shí)時(shí)傳輸控制協(xié)議(RTCP)數(shù)據(jù)包整合，并添加發(fā)送報(bào)告的背景時(shí)鐘時(shí)間戳，便于在接受端進(jìn)行音視頻同步播放，然后發(fā)到UDP端口(udpsink)。在接收端，從UDP端口截獲的數(shù)據(jù)依次經(jīng)過(guò) RTP和RTCP數(shù)據(jù)包解析、RTP載荷頭解碼、H263解碼器解碼視頻數(shù)據(jù)、色度空間轉(zhuǎn)換，最后經(jīng)過(guò)視頻顯示插件顯示到窗口中。其中g(shù)strtpbin是進(jìn)行RTP會(huì)話管理的核心組件，可以完成RTP數(shù)據(jù)包傳輸控制、RTCP數(shù)據(jù)包生成、沖突檢測(cè)、音視頻分流等任務(wù)。

圖2 Gstreamer音視頻通信發(fā)送端

2.2 Farsight視頻會(huì)議框架

通過(guò)Gstreamer開(kāi)發(fā)庫(kù)中的基礎(chǔ)元件可以完成音視頻處理的功能，并且可以進(jìn)行簡(jiǎn)單的局域網(wǎng)內(nèi)視頻通信。但是，在視頻會(huì)議等復(fù)雜應(yīng)用中經(jīng)常包含多個(gè)多媒體會(huì)話，而且多媒體會(huì)話之間的協(xié)調(diào)非常復(fù)雜，需要通過(guò)更為高層的處理框架來(lái)實(shí)現(xiàn)會(huì)話管理的功能。Farsight是以Gstreamer為基礎(chǔ)開(kāi)發(fā)的視頻會(huì)議框架，它能夠提供一套完整的為多媒體流協(xié)議編寫(xiě)插件的應(yīng)用程序接口，同時(shí)還為用戶提供API調(diào)用這些插件。即時(shí)通信應(yīng)用程序可以使用Farsight進(jìn)行音視頻會(huì)議，而無(wú)須擔(dān)心底層的數(shù)據(jù)流和NAT穿越的問(wèn)題。因?yàn)镕arsight［5］是以Gstreamer為基礎(chǔ)進(jìn)行開(kāi)發(fā)，所以開(kāi)發(fā)新的元件能夠和已有的Gstreamer元件整合，實(shí)現(xiàn)完成視頻會(huì)議功能的多媒體框架。Farsight可以包含多路音視頻會(huì)話流，包含多個(gè)會(huì)話參與者，具有強(qiáng)大的音視頻會(huì)話管理功能。它通過(guò)模塊化設(shè)計(jì)為許多即時(shí)通信軟件提供音視頻會(huì)議的服務(wù)，大大擴(kuò)展了多媒體處理的功能，并且可以實(shí)現(xiàn)更為強(qiáng)大的視頻會(huì)議功能。目前很多即時(shí)通信客戶端軟件都采用Farsight完成音視頻通信。本文以Gstreamer/Farsight音視頻處理框架為重點(diǎn)，詳述其內(nèi)部結(jié)構(gòu)及功能實(shí)現(xiàn)。

Farsight中包括4個(gè)核心概念:會(huì)議(Conference)、會(huì)話(Session)、參與者(Participant)、流(Stream)。會(huì)話參與者是指多媒體數(shù)據(jù)源，可以是音頻或視頻等;會(huì)話則代表一路音頻或視頻會(huì)話，通常有一個(gè)媒體類型和一個(gè)輸出端;會(huì)議則代表一個(gè)多媒體會(huì)議，可以包含多路會(huì)話，并且完成多路會(huì)話的協(xié)調(diào)管理;當(dāng)參與者加入到會(huì)話中，就將多媒體數(shù)據(jù)引入會(huì)話中，使得數(shù)據(jù)能夠流動(dòng)，從而構(gòu)成數(shù)據(jù)流。另外，F(xiàn)arsight實(shí)現(xiàn)了網(wǎng)絡(luò)層的抽象，即將網(wǎng)絡(luò)抽象為一個(gè)發(fā)射器對(duì)象，當(dāng)數(shù)據(jù)流被創(chuàng)建時(shí)就會(huì)建立發(fā)射器對(duì)象，然后通過(guò)設(shè)置發(fā)射器參數(shù)確定發(fā)送的目的地址。實(shí)際上，F(xiàn)arsight并沒(méi)有參與多媒體數(shù)據(jù)的采集和打包工作，它只是為多媒體數(shù)據(jù)流傳輸?shù)骄W(wǎng)絡(luò)端進(jìn)行發(fā)送提供了一個(gè)通道，并且對(duì)通道進(jìn)行協(xié)調(diào)管理，保證不同的會(huì)話參與者與其特定的數(shù)據(jù)流綁定以防止收發(fā)混淆。

Farsight實(shí)現(xiàn)RTP視頻會(huì)議的結(jié)構(gòu)如圖3所示，其中FsRTPConference是Farsight框架下的一種插件，主要的RTP會(huì)話管理功能都在這個(gè)組件中實(shí)現(xiàn)。FsRTPConference中可以同時(shí)存在多路FsSession，每一路FsSession因參與者或音媒體源的不同代表不同的多媒體會(huì)話。編解碼器在雙方建立連接前無(wú)法確定，只有當(dāng)通信雙方的客戶端協(xié)商之后，才會(huì)根據(jù)具體的編解碼器名字調(diào)用并進(jìn)行插件的連接。Farsight通過(guò)將gstrtpbin封裝到FsRTPConference中，添加一些其他的必要組件，實(shí)現(xiàn)RTP會(huì)話。RTP管理器主要由gstrtpbin負(fù)責(zé)完成RTP會(huì)話管理的操作。在發(fā)送端，視頻源和音頻源通過(guò)Sink接入到會(huì)話中，編解碼器協(xié)商成功后，將編碼器與數(shù)據(jù)源和過(guò)濾元件連接，然后通過(guò)RTP混合器將音視頻數(shù)據(jù)發(fā)送到RTP管理器中，完成RTCP數(shù)據(jù)包的生成以及RTP會(huì)話的管理。最后，經(jīng)過(guò)數(shù)據(jù)發(fā)射器將數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)通道中。在接收端，數(shù)據(jù)流同樣要經(jīng)過(guò)類似的信息解碼過(guò)程得到音視頻數(shù)據(jù)。

圖3 Farsight視頻會(huì)議框架

在發(fā)送端，數(shù)據(jù)發(fā)射器在Farsight中通常有多種插件選擇，例如多播UDP插件、Libnice插件等，目的是為了實(shí)現(xiàn)底層數(shù)據(jù)傳輸?shù)倪B接性檢查。Libnice是實(shí)現(xiàn)了ICE和STUN協(xié)議規(guī)范的軟件庫(kù)，開(kāi)發(fā)者以此為基礎(chǔ)完成nice插件，可以實(shí)現(xiàn)基于ICE的數(shù)據(jù)發(fā)送。但是Libnice中只定義了如何在P2P連接確立后進(jìn)行連接性檢查，以及如何在確定的P2P連接上進(jìn)行數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)穿越，并沒(méi)有定義如何進(jìn)行P2P連接，即P2P通道的協(xié)商任務(wù)。Jingle協(xié)議規(guī)范則定義了P2P通道建立連接及通道協(xié)商的任務(wù)。目前，Jingle協(xié)議已經(jīng)在Libpurple(多協(xié)議會(huì)話開(kāi)發(fā)庫(kù))中實(shí)現(xiàn)。

3 即時(shí)通信系統(tǒng)中音視頻通信的實(shí)現(xiàn)

為了開(kāi)發(fā)的便捷，Pidgin軟件的開(kāi)發(fā)者將負(fù)責(zé)通信部分與圖形用戶界面部分分開(kāi)，分離出來(lái)的核心代碼構(gòu)成即時(shí)通信客戶端開(kāi)發(fā)的核心部分，被稱為L(zhǎng)ibpurple。這個(gè)程序庫(kù)已被Adium與Proteus這些客戶端使用。完成分離后，開(kāi)發(fā)者將有可能以各自的圖形程序庫(kù)編寫(xiě)自己的客戶端接口。

在Libpurple中，為實(shí)現(xiàn)多媒體通信，開(kāi)發(fā)者將基于Farsight的多媒體處理框架進(jìn)行繼承和封裝，實(shí)現(xiàn)即時(shí)通信協(xié)議，并提供接口供用戶使用，用戶可利用應(yīng)用程序接口編寫(xiě)程序?qū)崿F(xiàn)網(wǎng)絡(luò)層的連接。使用者可以使用Libpurple直接編寫(xiě)即時(shí)通信程序的核心代碼，并構(gòu)建應(yīng)用程序。同時(shí)，Libpurple實(shí)現(xiàn)了許多即時(shí)通信協(xié)議的通信，例如MSN，XMPP，AIM等協(xié)議，同時(shí)完成了媒體后端流處理與相應(yīng)即時(shí)通信協(xié)議的協(xié)同工作。

Libpurple在Farsight的基礎(chǔ)上進(jìn)行開(kāi)發(fā)，實(shí)現(xiàn)了一套具備自身特點(diǎn)的流媒體模式。通過(guò)對(duì)Lipurple庫(kù)的理解分析［10］，得到了Libpurple實(shí)現(xiàn)音視頻數(shù)據(jù)流控制及會(huì)話管理的方法，如圖4所示。

圖4 Libpurple音視頻通信模式

圖4中Src是音視頻數(shù)據(jù)源，傳輸?shù)紽sSession進(jìn)行音視頻流整合、RTCP包生成、數(shù)據(jù)流管理等操作。Volume和level則分別表示音頻的音量與消息控制插件。Libpurple采用FsSession做會(huì)話管理，并在FsSession的基礎(chǔ)上添加Gstreamer基礎(chǔ)元件進(jìn)行控制，完成自己需要的功能。FsSession通過(guò)選擇不同的連接通道，將音視頻數(shù)據(jù)流通過(guò)發(fā)送器進(jìn)行發(fā)送。Libpurple中實(shí)現(xiàn)了Jingle協(xié)議進(jìn)行RTP通信的規(guī)范，并提供兩種數(shù)據(jù)通道，RAWUDP和ICEUDP供用戶使用。在進(jìn)行具體RTP視頻通信時(shí)，程序根據(jù)不同情況選擇不同的通道使用。圖4選擇RAWUDP作為數(shù)據(jù)發(fā)送通道，用戶也可以選擇其他通道進(jìn)行數(shù)據(jù)發(fā)送。為了與Jingle協(xié)議合作完成音視頻通信，Libpurple建立了一個(gè)組件對(duì)象purplemedia，這個(gè)對(duì)象在Farsight組件中提取相關(guān)的參數(shù)信息，例如編解碼器信息、發(fā)送目的地址等，并傳遞給Jingle協(xié)議，便于Jingle協(xié)議進(jìn)行通道協(xié)商。當(dāng)有新的即時(shí)通信協(xié)議需要利用Farsight完成視頻通信時(shí)，開(kāi)發(fā)者往往需要以Libpurple為基礎(chǔ)進(jìn)行開(kāi)發(fā)，完成即時(shí)通信協(xié)議在Libpurple上的移植，以實(shí)現(xiàn)視頻通信。

在眾多采用Libpurple庫(kù)開(kāi)發(fā)的即時(shí)通信軟件客戶端中，Pidgin是最成功的，也是少數(shù)幾個(gè)可以實(shí)現(xiàn)音視頻通信的案例。Pidgin是一款支持多協(xié)議客戶端的圖形化即時(shí)通信應(yīng)用程序，它可以使用AIM，Jabber，MSN，Yahoo等即時(shí)通信軟件的帳號(hào)進(jìn)行登錄。并采用Libpurple作為開(kāi)發(fā)庫(kù)，利用圖形開(kāi)發(fā)工具包編寫(xiě)用戶界面及各種事件提醒和任務(wù)管理，從而實(shí)現(xiàn)在多種即時(shí)通信協(xié)議基礎(chǔ)上的音視頻通信。

4 總結(jié)

目前，即時(shí)通信系統(tǒng)層出不窮，相比于諸如Skype、騰訊等商業(yè)公司開(kāi)發(fā)的即時(shí)通信系統(tǒng)框架，具有開(kāi)源特性的即時(shí)通信開(kāi)發(fā)模式發(fā)展更加快速，技術(shù)更新更加頻繁，能夠?yàn)橛脩籼峁└鼮樨S富和個(gè)性化的應(yīng)用模式，因此更受到研發(fā)人員的關(guān)注。而以Farsight/Gstreamer音視頻處理框架為代表的通用音視頻處理框架，為音視頻處理在即時(shí)通信環(huán)境下的實(shí)現(xiàn)提供了有力的技術(shù)基礎(chǔ)，使音視頻通信變得非常簡(jiǎn)單，并且大大擴(kuò)展了多媒體通信的功能。在Linux環(huán)境下實(shí)現(xiàn)音視頻通信的客戶端軟件有限，其中通信效果最好的Pidgin和Empathy均采用Gstreamer/Farsight作為其開(kāi)發(fā)音視頻功能的基本庫(kù)，通過(guò)Jingle/XMPP等協(xié)議實(shí)現(xiàn)連接，完成音視頻通信。因此，充分了解即時(shí)通信系統(tǒng)后端音視頻處理的技術(shù)，將為研究人員開(kāi)發(fā)音視頻通信系統(tǒng)提供非常大的幫助。

［1］ SCHULZRINNE H，CASNER S，F(xiàn)REDERICK R.RFC3550－RTP:A transport protocol for real－time applications［S］.2003.

［2］ ROSENBERG J，MAHY R，MATTHEWS P.RFC5389:Session traversal utilities for NAT(STUN)［S］.2008.

［3］ROSENBERG J.RFC5245:a protocol for network address translator(NAT)traversal for offer/answer protocols［S］.2010.

［4］ TAYMANS W，BAKER S，WINGO A，et al.Gstreamer application development［M/OL］.［2011－06－18］.http://gstreamer.freedesktop.org/data/doc/gstreamer/head/manual/html/index.html.

［5］ CRETE O.Audio/video communications framework［EB/OL］.［2011－06－18］.http://www.freedesktop.org/wiki/Software/Farstream.

［6］ LUDWIG S，BEDA J，SAINT－ANDRE P，et al.Jingle［EB/OL］.(2009－12－23)［2011－06－18］.http://www.xmpp.org/extensions/xep－0166.html.

［7］ LUDWIG S，SAINT－ANDRE P，EGAN S，et al.Jingle RTP sessions［EB/OL］.(2009－12－23)［2011－06－18］.http://www.xmpp.org/extensions/xep－0167.html.

［8］ BEDA J，LUDWIG S，SAINT－ANDRE P，et al.Jingle ICE－UDP transport method［EB/OL］.(2009－06－10)［2011－06－18］.http://www.xmpp.org/extensions/xep－0176.html.

［9］ BEDA J，SAINT－ANDRE P，LUDWIG S，et al.Jingle raw UDP transport method［EB/OL］.(2009－12－23)［2011－06－18］.http://www.xmpp.org/extensions/xep－0177.html.

［10］ ATALLAH D，AURICH P，BAILEY J，et al.Farsight2 backend for media API［CP/OL］.［2011－06－18］.http://pidgin.sourcearchive.com/documentation/1:2.7.3－1ubuntu1/backend－fs2_8h.html.