賈瑋瑋

（96616部隊(duì)，北京 100085）

即時(shí)通信系統(tǒng)中的音視頻處理技術(shù)分析

賈瑋瑋

（96616部隊(duì)，北京 100085）

在對(duì)即時(shí)通信系統(tǒng)中音視頻處理技術(shù)進(jìn)行研究的過(guò)程中，我們應(yīng)當(dāng)從即時(shí)通信協(xié)議的概念及內(nèi)容入手，并且掌握音視頻處理框架，最后掌握即時(shí)通信系統(tǒng)中音視頻通信的實(shí)踐過(guò)程，加強(qiáng)對(duì)即時(shí)通信系統(tǒng)中音視頻處理技術(shù)的了解。

即時(shí)通信系統(tǒng)；音視頻；處理技術(shù)

從目前即時(shí)通信系統(tǒng)中的音視頻處理技術(shù)來(lái)看，該技術(shù)的應(yīng)用有效地解決了音視頻處理問(wèn)題，并且保證了即時(shí)通信系統(tǒng)能夠正常工作。按照即時(shí)通信系統(tǒng)的工作原理以及信號(hào)傳輸原理，音視頻處理在即時(shí)通信系統(tǒng)中需要遵守專(zhuān)門(mén)的即時(shí)通信協(xié)議，同時(shí)視頻處理也有固定的框架需要遵守，我們還應(yīng)根據(jù)音視頻通信的需要，探討即時(shí)通信系統(tǒng)中音視頻通信的實(shí)現(xiàn)過(guò)程，掌握即時(shí)通信系統(tǒng)音視頻處理技術(shù)的要點(diǎn)。

1　即時(shí)通信協(xié)議的概念及內(nèi)容

1.1即時(shí)通信協(xié)議的概念

即時(shí)通信協(xié)議是進(jìn)行即時(shí)通信必須遵循的信息規(guī)范，主要負(fù)責(zé)完成用戶(hù)信息傳輸通道協(xié)商，客戶(hù)端與服務(wù)器通信信令傳輸控制等任務(wù)。

即時(shí)通信作為一種新的信息傳輸方式，在傳輸過(guò)程中需要遵守相應(yīng)的通信協(xié)議，只有按照即時(shí)通信協(xié)議的規(guī)定進(jìn)行信號(hào)傳輸，才能夠保證信號(hào)傳輸通道的及時(shí)性和有效性。從目前即時(shí)通信協(xié)議的概念來(lái)看，即時(shí)通信協(xié)議是即時(shí)通信系統(tǒng)中的一個(gè)重要的規(guī)范，也是即時(shí)通信系統(tǒng)的通信基礎(chǔ)。如果沒(méi)有即時(shí)通信協(xié)議作為輔助，那么即時(shí)通信系統(tǒng)在工作過(guò)程中將無(wú)法達(dá)到預(yù)期的工作目標(biāo)。與此同時(shí)，即時(shí)通信系統(tǒng)需要在多個(gè)信號(hào)傳輸點(diǎn)進(jìn)行信號(hào)傳輸，只有具備了完善的通信協(xié)議，才能夠在各個(gè)信號(hào)傳輸點(diǎn)之間建立起完善的信號(hào)傳輸通道，為信號(hào)傳輸?shù)於己玫幕A(chǔ)。參考其他的通信系統(tǒng)，在信號(hào)傳輸之前建立完善的通信協(xié)議，是信號(hào)傳輸系統(tǒng)工作的重要選擇。所以，明確即時(shí)通信協(xié)議的概念，并且根據(jù)即時(shí)通信系統(tǒng)的工作需要建立完善的即時(shí)通信協(xié)議，對(duì)于提高即時(shí)通信系統(tǒng)的工作效率和滿(mǎn)足即時(shí)通信系統(tǒng)工作要求具有重要意義。

1.2即時(shí)通信協(xié)議的內(nèi)容

XMPP是主流即時(shí)通信協(xié)議之一，是基于可擴(kuò)展標(biāo)記語(yǔ)言（Extensible Markup Language，XML）的協(xié)議，其集成了在XML的高可擴(kuò)展性，可以通過(guò)發(fā)送擴(kuò)展的信息來(lái)處理用戶(hù)的需求。目前最常用的即時(shí)通信協(xié)議體系主要是會(huì)議初始化協(xié)議（Session Initiation Protocol，SIP）和可擴(kuò)展通信和表示協(xié)議（Extensible Messaging and Presence Protocol，XMPP）協(xié)議體系。

從目前即時(shí)通信協(xié)議的發(fā)展來(lái)看，即時(shí)通信協(xié)議類(lèi)型較多，在通信協(xié)議的制定和應(yīng)用過(guò)程中，也存在多種應(yīng)用方式。但是究其主要類(lèi)型，目前即時(shí)通信協(xié)議主要形成了兩種通信協(xié)議體系。這兩種通信協(xié)議體系能夠基本滿(mǎn)足即時(shí)通信系統(tǒng)的工作需要，并且在信號(hào)傳輸過(guò)程中，能夠與其他的信號(hào)傳輸系統(tǒng)進(jìn)行有效的對(duì)接，避免了通信協(xié)議銜接的困難，使得通信協(xié)議銜接能夠達(dá)到無(wú)障礙銜接，提高通信協(xié)議銜接的有效性。從這一點(diǎn)來(lái)看，即時(shí)通信協(xié)議是即時(shí)通信系統(tǒng)工作過(guò)程中的重要基礎(chǔ)，即時(shí)通信協(xié)議體系的建立和完善及其應(yīng)用對(duì)于即時(shí)通信系統(tǒng)的工作有著重要的影響?；诋?dāng)前即時(shí)通信系統(tǒng)的工作需求和用戶(hù)的現(xiàn)實(shí)需求，即時(shí)通信協(xié)議按照現(xiàn)有的協(xié)議體系進(jìn)行發(fā)展，能夠提高即時(shí)通信系統(tǒng)的有效性，并且保證即時(shí)通信系統(tǒng)能夠得到有效的運(yùn)用。

2　音視頻處理框架

2.1Gstreamer音視頻處理

Gstreamer通過(guò)其模塊化設(shè)計(jì)，更加便于構(gòu)建流媒體應(yīng)用程序。它將各個(gè)模塊封裝起來(lái)，以元件的形式提供給用戶(hù)使用。用戶(hù)可以利用庫(kù)中原有的元件進(jìn)行應(yīng)用程序的編程。

在即時(shí)通信系統(tǒng)中音視頻的處理需要按照專(zhuān)門(mén)的處理框架來(lái)構(gòu)建相應(yīng)的處理系統(tǒng)，其中，音視頻處理框架主要采取了模塊化設(shè)計(jì)的方式，其中最重要的框架是Gstreamer框架，將各個(gè)音視頻處理功能變成了具體的模塊，并且，將模塊封裝起來(lái)，在用戶(hù)使用過(guò)程中可以直接調(diào)用相應(yīng)的功能模塊，就能夠?qū)崿F(xiàn)音視頻的處理。這種音視頻處理框架減輕了用戶(hù)的選擇負(fù)擔(dān)，能夠根據(jù)用戶(hù)的現(xiàn)實(shí)需求進(jìn)行有效的調(diào)用，對(duì)于提高音視頻處理效果和滿(mǎn)足音視頻處理需要具有重要意義。與此同時(shí)，Gstreamer音視頻處理框架，能夠做到根據(jù)用戶(hù)的實(shí)際需求進(jìn)行有針對(duì)性的選擇，在具體的音視頻處理過(guò)程中，能夠與其他的處理程序進(jìn)行有效的融合，既提高音視頻處理效果，同時(shí)也能夠保證音視頻的處理達(dá)到相應(yīng)的處理標(biāo)準(zhǔn)。所以，我們應(yīng)當(dāng)掌握Gstreamer音視頻處理框架，并對(duì)這一框架有較為深入的了解。

2.2Farsight視頻會(huì)議框架

Farsight是以Gstreamer為基礎(chǔ)開(kāi)發(fā)的視頻會(huì)議框架，它能夠提供一套完整的為多媒體流協(xié)議編寫(xiě)插件的應(yīng)用程序接口，同時(shí)還為用戶(hù)提供應(yīng)用程序編程接口（Application Programming Interface，API）調(diào)用這些插件。

在音視頻處理框架中，除了Gstreamer音視頻處理框架之外，在Gstreamer音視頻處理框架的基礎(chǔ)上，又發(fā)展產(chǎn)生了Farsight視頻會(huì)議框架，這種視頻會(huì)議框架既能夠提高音視頻處理的效果，同時(shí)又能夠滿(mǎn)足音視頻處理的需要，對(duì)于快速處理音視頻和進(jìn)行音視頻電話(huà)會(huì)議有著重要的推動(dòng)和促進(jìn)作用，這一音視頻處理框架在實(shí)際的運(yùn)用過(guò)程中得到了多數(shù)用戶(hù)的追捧，并且取得了積極的應(yīng)用成效。這一視頻會(huì)議框架，由于以Gstreamer音視頻處理框架為基礎(chǔ)，在關(guān)鍵功能上對(duì)Gstreamer音視頻處理框架進(jìn)行了有效的修補(bǔ)和升級(jí)，同時(shí)在整體功能上也有更強(qiáng)的針對(duì)性，為此我們應(yīng)當(dāng)加強(qiáng)對(duì)Farsight視頻會(huì)議框架的了解。將Farsight的視頻會(huì)議框架作為當(dāng)前音視頻處理技術(shù)的主要框架來(lái)了解，同時(shí)在即時(shí)通信系統(tǒng)中有效地應(yīng)用Farsight視頻會(huì)議框架，保證音視頻處理能夠達(dá)到預(yù)期目標(biāo)。

3　即時(shí)通信系統(tǒng)中音視頻通信的實(shí)現(xiàn)

3.1即時(shí)通信系統(tǒng)的開(kāi)發(fā)思路

為了開(kāi)發(fā)的便捷，Pidgin軟件的開(kāi)發(fā)者將負(fù)責(zé)通信部分與圖形用戶(hù)界面部分分開(kāi)，分離出來(lái)的核心代碼構(gòu)成即時(shí)通信客戶(hù)端開(kāi)發(fā)的核心部分，被稱(chēng)為L(zhǎng)ibpurple。這個(gè)程序已被Adium與Proteus這些客戶(hù)端使用。

在即時(shí)通信系統(tǒng)音視頻通信實(shí)現(xiàn)過(guò)程中，首先應(yīng)當(dāng)掌握即時(shí)通信系統(tǒng)的開(kāi)發(fā)思路。從目前即時(shí)通信系統(tǒng)的開(kāi)發(fā)思路來(lái)看，主要的開(kāi)發(fā)思路是將負(fù)責(zé)通訊部分圖形用戶(hù)界面部分分開(kāi)，保證即時(shí)通信系統(tǒng)在音視頻處理過(guò)程中能夠有專(zhuān)屬代碼進(jìn)行應(yīng)用。同時(shí)還能夠根據(jù)通信的實(shí)際需要，進(jìn)行通信協(xié)議和源代碼的完善，使得即時(shí)通信系統(tǒng)在音視頻通信過(guò)程中能夠有正確的思路作為支撐。從當(dāng)前即時(shí)通信系統(tǒng)中音視頻通信框架的構(gòu)建來(lái)看，這種即時(shí)通信系統(tǒng)開(kāi)發(fā)思路，能夠滿(mǎn)足音視頻通信需要。并且由于將通信部分與圖形用戶(hù)界面部分分開(kāi)，使得音視頻通信功能得到了有效地加強(qiáng)，對(duì)于提高語(yǔ)音視頻通信能力和滿(mǎn)足音視頻通信需要起到了重要的促進(jìn)作用。因此我們應(yīng)當(dāng)重視即時(shí)通信系統(tǒng)開(kāi)發(fā)思路的研究，并且在即時(shí)通信系統(tǒng)中音視頻通信的實(shí)現(xiàn)過(guò)程，將開(kāi)發(fā)思路作為重要的因素來(lái)看待。

3.2即時(shí)通信系統(tǒng)流媒體模式分析

在Libpurple中，為實(shí)現(xiàn)多媒體通信，開(kāi)發(fā)者將基于Farsight的多媒體處理框架進(jìn)行繼承和封裝，實(shí)現(xiàn)即時(shí)通信協(xié)議，并提供接口供用戶(hù)使用。

在即時(shí)通信系統(tǒng)音視頻通信實(shí)踐過(guò)程中，流媒體模式成了保證音視頻通信能夠有效實(shí)現(xiàn)的關(guān)鍵模式。通信協(xié)議是在原有通信協(xié)議的基礎(chǔ)上進(jìn)行的升級(jí)和再造，對(duì)于提高通信協(xié)議的適用性和做好與其他通信接口的對(duì)接有著重要的作用。與此同時(shí)，流媒體模式也是用語(yǔ)音視頻通信的信號(hào)傳輸，對(duì)于解決信號(hào)傳輸過(guò)程中的傳輸困難和信號(hào)不穩(wěn)定問(wèn)題都有著較大的幫助。因此我們應(yīng)當(dāng)認(rèn)識(shí)到流媒體模式的優(yōu)點(diǎn)，并且在即時(shí)通信系統(tǒng)音視頻實(shí)現(xiàn)過(guò)程中，將流媒體模式作為主要的信號(hào)傳輸模式來(lái)看待，積極利用流媒體模式所形成的新的通信協(xié)議，做好與其他接口的對(duì)接。

3.3即時(shí)通信系統(tǒng)音視頻通信模式分析

Farsight通過(guò)選擇不同的連接通道，將音視頻數(shù)據(jù)流通過(guò)發(fā)送器進(jìn)行發(fā)送。Libpurple中實(shí)現(xiàn)了Jingle協(xié)議進(jìn)行RTP通信的規(guī)范，并提供兩種數(shù)據(jù)通道，RAWUDP和ICE-UDP供用戶(hù)使用。

在即時(shí)通信系統(tǒng)中，音視頻通信模式關(guān)系到音視頻通信的質(zhì)量和通信的效果，這種雙通道的音視頻通訊模式具有一定的優(yōu)勢(shì)，在實(shí)際的運(yùn)用過(guò)程中也取得了積極的效果，能夠解決音視頻通信數(shù)據(jù)擁堵問(wèn)題，同時(shí)能夠根據(jù)客戶(hù)的實(shí)際需要進(jìn)行合理地選擇和調(diào)整，在實(shí)際應(yīng)用過(guò)程中有較強(qiáng)的優(yōu)勢(shì)。按照目前即時(shí)通信系統(tǒng)音視頻通信的實(shí)際需要，雙數(shù)據(jù)通道的通信模式得到了具體的應(yīng)用，在實(shí)際的應(yīng)用過(guò)程中也取得了積極的效果，既滿(mǎn)足了用戶(hù)的實(shí)際需求，同時(shí)也提高了音視頻通信效率，對(duì)于滿(mǎn)足音視頻通信需要和解決音視頻通信過(guò)程中存在的問(wèn)題具有重要作用。

4　結(jié)語(yǔ)

通過(guò)本文的分析可知，在即時(shí)通信系統(tǒng)中對(duì)音視頻進(jìn)行處理應(yīng)當(dāng)掌握具體的音視頻處理技術(shù)，結(jié)合音視頻處理實(shí)際，在即時(shí)通信系統(tǒng)中，要想提高音視頻處理效果，就應(yīng)當(dāng)掌握即時(shí)通信協(xié)議的概念和內(nèi)容，并且對(duì)音視頻處理框架有正確的認(rèn)識(shí)，同時(shí)還應(yīng)當(dāng)做好對(duì)即時(shí)通信系統(tǒng)中音視頻通信實(shí)現(xiàn)過(guò)程的了解，為即時(shí)通信系統(tǒng)音視頻處理奠定良好的技術(shù)基礎(chǔ)，滿(mǎn)足音視頻處理的實(shí)際需要。

[1]黃偉敏.基于XMPP協(xié)議的Android即時(shí)通信系統(tǒng)設(shè)計(jì)[J].電子設(shè)計(jì)工程，2011（8）：57-58.

[2]馬瑞竹，吳錦強(qiáng)，屈靜.關(guān)于通信系統(tǒng)的應(yīng)用研究[J].中國(guó)新技術(shù)新產(chǎn)品，2011（2）：51.

[3]孫震強(qiáng)，董智明.利用即時(shí)通信實(shí)現(xiàn)人機(jī)共享的方案研究[J].移動(dòng)通信，2010（15）：44-46.

[4]苑為，陶卓彬.即時(shí)通信軟件點(diǎn)對(duì)多音視頻交互功能分析與實(shí)現(xiàn)[J].電腦編程技巧與維護(hù)，2010（19）：58-61.

[5]魏明亮.基于RCS的即時(shí)通信系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)與驗(yàn)證[D].北京：北京郵電大學(xué)，2011.

[6]范治宇.基于Web的移動(dòng)P2P即時(shí)通信系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].長(zhǎng)春：吉林大學(xué)，2011.

Analysis of audio and video processing technology in real time communication system

Jia Weiwei
（96616 Troops, Beijing 100085, China）

In the research process of audio and video processing technology in instant communication system, we should start from the concept and content of instant communication protocol, grasp the audio and video processing framework, finally master the practice process of audio and video communication in instant communication system, and strengthen the acquaintance of audio and video processing technology in instant communication system.

instant communication system; audio and video; processing technology

賈瑋瑋（1981— ），女，北京。