張麗紅

（廈門視誠科技有限公司，福建 廈門 361101）

0 引言

伴隨遠(yuǎn)程會(huì)議、在線教育、網(wǎng)絡(luò)直播等深入人們的日常工作、教育和生活之中，越來越多的場景對(duì)大規(guī)模實(shí)時(shí)音視頻技術(shù)提出更高要求。因此，需要強(qiáng)有力的視頻處理設(shè)備，對(duì)視頻進(jìn)行高效處理，尤其是對(duì)多路音視頻的實(shí)時(shí)處理。而mini設(shè)備就具備這一特點(diǎn)。

1 概述

mini設(shè)備是一款用于直播的迷你信號(hào)切換器，圖1是mini視頻處理器的系統(tǒng)連接簡圖。mini設(shè)備自帶 TFT 屏幕可以實(shí)時(shí)預(yù)監(jiān)4路HDMI1.4輸入源，輸入源可以來自電腦、筆記本、攝像機(jī)、DVD等，輸入的模擬音頻可以鏈接話筒；mini設(shè)備有兩種輸出接口，分別是HDMI1.4和USB3.0，其中USB3.0輸出口可用于直播推流，整體輸出相當(dāng)于常規(guī)USB網(wǎng)絡(luò)攝像頭，可順利搭配視頻軟件來使用。mini設(shè)備支持音控臺(tái)的音視頻同步切換功能，可以靈活運(yùn)用在會(huì)議、小型化錄播、直播、小演藝廳等場景中。

圖1 min視頻處理器的系統(tǒng)連接簡圖

2 系統(tǒng)總體框架

作為一個(gè)完整的音視頻處理系統(tǒng)，mini設(shè)備不但具備音視頻信號(hào)的采集功能，更重要的是能對(duì)圖像和音頻進(jìn)行實(shí)時(shí)處理。mini設(shè)備選用XILINX公司的Artrix7系列XC7A200TFFG1156-1型號(hào)的FPGA芯片作為核心處理單元，硬件系統(tǒng)框圖如圖2所示。整機(jī)設(shè)備具有速度快、集成度高、功耗低、可靠性強(qiáng)、可測可驗(yàn)證等特點(diǎn)。

如圖2所示，1路模擬音頻經(jīng)過CS5340音頻A/D轉(zhuǎn)換器轉(zhuǎn)換成數(shù)字音頻，再進(jìn)入FPGA主芯片；4路HDMI IN輸入源經(jīng)過IT6604解碼芯片后輸出RGB視頻流和IIS數(shù)字音頻，再并行進(jìn)入FPGA主芯片；MCU作為整個(gè)系統(tǒng)的主控制器，負(fù)責(zé)驅(qū)動(dòng)系統(tǒng)的外圍芯片，并通過SPI協(xié)議配置FPGA主芯片的各種參數(shù)，如輸出視頻的行場時(shí)序，圖層的大小和位置等。mini設(shè)備提供了1路模擬音頻輸出口，芯片采用CS4344音頻D/A轉(zhuǎn)換器；1路TFT LCD屏幕接口，用于實(shí)時(shí)預(yù)監(jiān)4路HDMI IN輸入源；2路輸出端口分別是HDMI1.4和USB3.0，可以輸出多種不同分辨率的信號(hào)，時(shí)序部分嚴(yán)格遵守CEA-861標(biāo)準(zhǔn)[1]。

圖2 mini的硬件系統(tǒng)框圖

3 FPGA設(shè)計(jì)方案

由mini的硬件系統(tǒng)框圖可知，F(xiàn)PGA芯片輸入端有4路TTL視頻流和5路數(shù)字音頻；輸出端有3路TTL視頻流和3路數(shù)字音頻；DDR3（Double Data Rate 3）作為輸入模塊與輸出模塊之間的視頻數(shù)據(jù)緩存器，F(xiàn)PGA芯片作為主控制器，采用硬件描述語言verilog[2]實(shí)現(xiàn)了整個(gè)設(shè)計(jì)的功能。

3.1 FPGA設(shè)計(jì)流程圖

mini設(shè)備的FPGA設(shè)計(jì)流程圖如圖3所示，F(xiàn)PGA主芯片主要完成5路數(shù)字音頻切換輸出，包含音量調(diào)整和音柱顯示功能，及4路視頻信號(hào)無縫切換輸出，包含圖層縮放、圖層疊加、特效切換等功能。

圖3 FPGA設(shè)計(jì)流程圖

3.2 FPGA視頻處理

FPAG視頻處理方案如圖4所示，視頻處理[3]主要涉及到圖像縮小、放大[4]和疊加處理。LCD液晶屏[5]可以實(shí)時(shí)預(yù)監(jiān)4路HDMI 1.4輸入信號(hào)，4路視頻源縮小后田字拼接顯示，且每路信號(hào)都畫了邊框，綠色邊框是分界線，紅色邊框是主輸出正在顯示的畫面，黃色邊框是當(dāng)前正在編輯的畫面，每路信號(hào)都有OSD字幕，顯示輸入源的分辨率信息。

圖4 FPGA視頻處理方案

PST（PRESET）是預(yù)切畫面，PGM（PROGRAM）是主輸出畫面，即實(shí)際播放的畫面。PST和PGM之間可以做各種特效切換，PST和PGM都可以實(shí)現(xiàn)畫中畫輸出，可在任意設(shè)置進(jìn)行圖層縮放操作，可裁剪選取圖像的任意部分以供輸出，第2個(gè)圖層可以實(shí)現(xiàn)摳圖效果，主輸出畫面可以添加LOGO[6]。

PVW（PREVIEW）是預(yù)監(jiān)畫面，它由4路輸入源，和PST、PGM畫面組合成，可以對(duì)主輸出提前設(shè)置，看效果是否可以。PVW畫面上每個(gè)子圖層都有音柱，可以直觀顯示每路信號(hào)的音量大小。PVW畫面上的邊框和OSD字幕定義同LCD屏一致。

3.3 FPGA音頻處理

FPAG音頻處理方案如圖5所示，音頻標(biāo)準(zhǔn)采用IIS Philips標(biāo)準(zhǔn)，音頻格式是將24位數(shù)據(jù)封裝在32位幀中，音頻處理主要涉及到音頻解碼、音頻編碼和音頻混音處理。音頻偵測模塊用于偵測是否有音頻輸入，選擇有音頻輸入的3個(gè)時(shí)鐘分別作為混音處理的主時(shí)鐘、串行時(shí)鐘和幀時(shí)鐘。

圖5 FPGA音頻處理方案

4 驗(yàn)證與測試

測試平臺(tái)的實(shí)物如圖6所示，4路HDMI輸入源的狀態(tài)可以通過TFT LCD屏實(shí)時(shí)監(jiān)看。板子通過USB3.0接口連接到電腦上，將視頻信號(hào)采集到電腦中，然后通過推流軟件將視頻流通過網(wǎng)絡(luò)直播出去，圖8是板子通過OSB推流軟件打開USB3.0正在播放的視頻源。從圖7和圖8可以看出紅色邊框信號(hào)源是PGM主輸出畫面，黃色邊框信號(hào)源是PST預(yù)切畫面。板子通過HDMI1.4輸出口連接到液晶顯示器上顯示，圖9是第4個(gè)信號(hào)源摳圖之后的PVW畫面效果。

圖6 測試平臺(tái)

圖7 USB3.0輸出的PVW畫面

圖8 HDMI1.4輸出的PVW畫面

5 結(jié)論

基于FPGA的多路音視頻控制系統(tǒng)的實(shí)現(xiàn)是在充分的理論分析與市場需求基礎(chǔ)上做出的系統(tǒng)設(shè)計(jì)，是一款小型現(xiàn)場制作切換臺(tái)，方便攜帶。測試結(jié)果表明，本系統(tǒng)工作穩(wěn)定可靠，可滿足于多路的高性能的實(shí)時(shí)圖像處理系統(tǒng)要求。此外，系統(tǒng)采用了FPGA設(shè)計(jì)方案，集成度高、設(shè)計(jì)靈活，可以根據(jù)客戶的要求進(jìn)行系統(tǒng)重構(gòu)，方便快捷，具有較高的應(yīng)用價(jià)值。