鄒冬月，劉得軍，劉嘉軒，高倩

（1.中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院，北京 102249；2.北京富力天創(chuàng)科技有限公司 北京 100085）

1 引言

隨著信息技術(shù)的飛速發(fā)展，視頻行業(yè)經(jīng)歷了由模擬到數(shù)字的演進(jìn)，行業(yè)內(nèi)推出了眾多可滿(mǎn)足不同應(yīng)用場(chǎng)景的數(shù)字視頻接口。串行數(shù)字接口（Serial Digital Interface，SDI）是一種由電影與電視工程師協(xié)會(huì)（SMPTE）制定的非壓縮數(shù)字視頻接口標(biāo)準(zhǔn)［1］。SDI接口具有高清實(shí)時(shí)、非壓縮、利用率高的特點(diǎn)，可充分保證圖像的原始性和完整性，因而廣泛應(yīng)用于展廳、廣播電臺(tái)等專(zhuān)業(yè)領(lǐng)域。根據(jù)傳輸帶寬的不同，SDI接口可分為SD-SDI、HD-SDI、3G-SDI和12G-SDI［2］，主要支持1280×720、1920×1080、3840×2160、4096×2160四種分辨率下不同刷新率的視頻傳輸［3-4］。

在實(shí)際應(yīng)用中，視頻源種類(lèi)眾多。在視頻電子標(biāo)準(zhǔn)協(xié)會(huì)VESA-2008標(biāo)準(zhǔn)中，包含了640×350～2560×1600多達(dá)幾十種不同分辨率的視頻格式［5］。為實(shí)現(xiàn)多種分辨率視頻SDI高清傳輸，人們將視頻縮放算法和像素點(diǎn)擴(kuò)充方法引入至SDI顯示系統(tǒng)中。文獻(xiàn)［6］設(shè)計(jì)的大視場(chǎng)相機(jī)的嵌入式成像采集顯示系統(tǒng)，利用雙線(xiàn)性插值縮放算法將Camera Link接口輸入的2048×2048@100視頻實(shí)時(shí)轉(zhuǎn)換為3種低分辨率的視頻圖像，并采用像素點(diǎn)填充的方法，最終轉(zhuǎn)化成SDI制式顯示，利用該系統(tǒng)可實(shí)現(xiàn)大視場(chǎng)高分辨率視頻低分辨率SDI輸出顯示，但最終顯示的視頻未做裁剪處理，帶有黑色邊框，顯示效果欠佳。文獻(xiàn)［7］利用縮放算法，將Camera Link或千兆網(wǎng)口輸入的圖像轉(zhuǎn)換為標(biāo)清SDI輸出。文獻(xiàn)［8］進(jìn)行視頻無(wú)縫切換研究時(shí)，采用雙線(xiàn)性插值方法對(duì)輸入視頻圖像做縮放處理，將輸入視頻分辨率轉(zhuǎn)換為預(yù)設(shè)的1080P分辨率顯示，實(shí)現(xiàn)了480P、720P到1080P的視頻實(shí)時(shí)縮放，縮放后的視頻均以1080P格式傳輸，但該方法只能處理有限分辨率的視頻，靈活性較低。

以上方案多將縮放算法應(yīng)用于系統(tǒng)中，但縮放算法較復(fù)雜，處理時(shí)占用較多內(nèi)部資源，且多設(shè)備連用時(shí)，反復(fù)縮放會(huì)導(dǎo)致視頻圖像失真，無(wú)法將其應(yīng)用于對(duì)畫(huà)質(zhì)要求較高的場(chǎng)景中。為了克服以上方案的缺陷，本文提出了像素點(diǎn)擴(kuò)充與視頻裁剪相結(jié)合的方案。系統(tǒng)發(fā)送端可將任意分辨率的視頻擴(kuò)充成固定的符合SDI標(biāo)準(zhǔn)的視頻格式，接收端利用裁剪模塊還原視頻，實(shí)現(xiàn)原分辨率視頻點(diǎn)對(duì)點(diǎn)輸出。

2 多分辨率SDI傳輸系統(tǒng)設(shè)計(jì)

2.1 4K傳輸系統(tǒng)總體構(gòu)成

圖1多分辨率視頻傳輸處理系統(tǒng)工作流程圖Fig.1 Working flow chart of the multi-resolution video transmission processing system

圖1 是多分辨率視頻傳輸處理系統(tǒng)的工作流程圖。圖中白色方框部分為4K視頻傳輸主系統(tǒng)，分為發(fā)送端和接收端，系統(tǒng)包括視頻采集、緩存、處理、傳輸和顯示5部分。本設(shè)計(jì)基于賽靈思Kintex-7系列XC7K70TFBG676-2芯片開(kāi)發(fā)，利用HDMI 2.0接口接收和顯示視頻信號(hào)，使用4.25G SFP+光電轉(zhuǎn)換模塊和單模光纖實(shí)現(xiàn)視頻數(shù)據(jù)在物理信道中的傳輸。

首先，系統(tǒng)發(fā)送端利用解碼芯片實(shí)現(xiàn)HDMI信號(hào)解碼，并將解碼后的像素?cái)?shù)據(jù)RGB、像素時(shí)鐘Pclk和行場(chǎng)同步信號(hào)傳輸至FPGA輸入I/O口。數(shù)據(jù)進(jìn)入FPGA后，視頻采集模塊對(duì)4K視頻流進(jìn)行色彩空間轉(zhuǎn)換、YC 4∶4∶4轉(zhuǎn)YC 4∶2∶2、像素時(shí)鐘和數(shù)據(jù)位寬處理等操作。之后，經(jīng)采集模塊處理后的數(shù)據(jù)傳輸至由DDR3和FIFO組成的緩存模塊中，完成4K四畫(huà)面視頻分割、時(shí)鐘轉(zhuǎn)換和數(shù)據(jù)緩存工作。最后，發(fā)送端將分割后的4路1080P視頻流組幀成SDI格式，經(jīng)由賽靈思GTX IP核進(jìn)行并串轉(zhuǎn)換后，送至光纖信道中進(jìn)行高速串行傳輸。

系統(tǒng)接收端進(jìn)行串并轉(zhuǎn)換、SDI解碼、標(biāo)識(shí)位解嵌和顯示處理，輸出20位YC視頻數(shù)據(jù)、像素時(shí)鐘Pclk_out和同步信號(hào)至FPGA輸出I/O。最后，利用HDMI專(zhuān)用編碼芯片實(shí)現(xiàn)LVDS至HDMI的信號(hào)轉(zhuǎn)換。

2.2 多分辨率SDI傳輸系統(tǒng)工作原理

為實(shí)現(xiàn)系統(tǒng)的多分辨率傳輸功能，系統(tǒng)在4K傳輸?shù)幕A(chǔ)上增加了分辨率檢測(cè)模塊、像素點(diǎn)擴(kuò)充模塊和裁剪模塊，以實(shí)現(xiàn)4K、1080P、1280P、1360P等多種分辨率自適應(yīng)傳輸，主要工作模塊如圖1中灰色模塊部分所示。系統(tǒng)通過(guò)分辨率檢測(cè)模塊確定接收的視頻源信息，當(dāng)檢測(cè)到4K視頻源時(shí)，視頻流進(jìn)入4K視頻處理系統(tǒng)，進(jìn)行四畫(huà)面分割操作。

當(dāng)檢測(cè)到的視頻流為1080P及以下時(shí)，則輸入至多分辨率處理系統(tǒng)，進(jìn)行像素點(diǎn)擴(kuò)充操作。該操作可將低于1080P的視頻流擴(kuò)充成符合SDI標(biāo)準(zhǔn)的1080P視頻流。選擇第一路3G-SDI通道傳輸，并關(guān)閉其他通道各模塊使能信號(hào)。為實(shí)現(xiàn)收發(fā)端信息準(zhǔn)確交互，系統(tǒng)在標(biāo)識(shí)位嵌入模塊將分辨率信息嵌入至視頻流消隱區(qū)特定位置，接收端裁剪模塊根據(jù)標(biāo)識(shí)位解嵌模塊提供的像素信息準(zhǔn)確恢復(fù)視頻流，并輸出對(duì)應(yīng)像素時(shí)鐘。

3 4K視頻傳輸系統(tǒng)關(guān)鍵模塊

3.1 4K視頻采集模塊

4K視頻流經(jīng)解碼芯片后，輸出6路位寬為8 bit，以雙路雙邊沿方式采樣的RGB 4∶4∶4視頻信號(hào)至FPGA入口。視頻采集模塊的工作原理圖如圖2所示，包括色彩空間轉(zhuǎn)換、YC 4∶4∶4轉(zhuǎn)YC 4∶2∶2、像素時(shí)鐘和數(shù)據(jù)位寬處理等操作，最終轉(zhuǎn)化為32 bit位寬的YC 4∶2∶2視頻數(shù)據(jù)。數(shù)據(jù)以297 MHz的時(shí)鐘頻率傳輸，每個(gè)時(shí)鐘周期下傳輸2個(gè)像素點(diǎn)數(shù)據(jù)。采用雙像素方式傳輸4K視頻數(shù)據(jù)，可降低數(shù)據(jù)傳輸?shù)臅r(shí)鐘頻率，避免FPGA在進(jìn)行高速數(shù)據(jù)傳輸時(shí)出現(xiàn)時(shí)序不收斂狀況。

圖2 視頻采集部分工作流程圖Fig.2 Working folw chart of video capture part

3.2 4K視頻分割模塊

本系統(tǒng)傳輸?shù)氖?K UHD視頻，總像素點(diǎn)數(shù)為4400×2250（行×列），有效像素點(diǎn)為3840×2160，行數(shù)和行像素點(diǎn)數(shù)均為1920×1080的2倍。為滿(mǎn)足多屏顯示拼接屏使用需求，本系統(tǒng)采用將4K視 頻 分 割成4路1920×1080P@60視 頻 的 方式傳輸。分割時(shí)采用SQD四畫(huà)面分割的方式［9］，將行列進(jìn)行等比四畫(huà)面均分。四畫(huà)面分割示意圖和位寬變化如圖3所示。

利用FPGA進(jìn)行邏輯實(shí)現(xiàn)時(shí)，首先要根據(jù)原始de使能信號(hào)生成行場(chǎng)計(jì)數(shù)器h_cntr和v_cntr。根據(jù)計(jì)數(shù)器的計(jì)數(shù)值和圖3所示規(guī)則進(jìn)行4路數(shù)據(jù)分配，并生成新的de_1～de_4信號(hào)。視頻數(shù)據(jù)只在de_1～de_4為高時(shí)分別存入4路FIFO中，并分別緩存至DDR3對(duì)應(yīng)地址空間。本系統(tǒng)利用賽靈思MIG IP核控制外部DDR3緩存芯片，DDR3的讀寫(xiě)位寬為128 bit，讀寫(xiě)時(shí)鐘為200 MHz。為保證視頻流穩(wěn)定傳輸，本設(shè)計(jì)選擇3幀循環(huán)存儲(chǔ)的方式，在DDR3內(nèi)部設(shè)計(jì)了12個(gè)地址空間［10］。利用兩級(jí) 深度分別 為2048和4096的異步FIFO作為中間件，實(shí)現(xiàn)跨時(shí)鐘域處理和位寬的轉(zhuǎn)換功能，協(xié)助DDR3完成4路數(shù)據(jù)流分割。最終，輸出4路位寬為16 bit的1920×1080P@60數(shù)據(jù)流。

圖3 4K視頻4畫(huà)面分割原理圖Fig.3 Schematic diagram of 4K video 4 screen split

3.3 3G-SDI編碼模塊

圖4一行SDI幀格式Fig.4 Video SDI line structure

圖4 所示為一行3G-SDI視頻數(shù)據(jù)幀格式，由圖4可知，標(biāo)準(zhǔn)SDI結(jié)構(gòu)中的有效視頻區(qū)域以SAV（Start of Active Video）為幀頭，以EAV（End of Active Video）為幀尾。4字節(jié)的SAV和EAV由3ffh、000h、000h和狀態(tài)字XYZ構(gòu)成。10 bitXYZ數(shù)據(jù)中包含3 bit狀態(tài)信息、3 bit固定信息、4 bit校驗(yàn)信息。本設(shè)計(jì)利用自編程邏輯在視頻流中插入EAV、SAV等時(shí)鐘定位信號(hào)，利用SMPTE SD/HD/3G-SDI 3.0 IP核 實(shí) 現(xiàn)NRZI編 碼、CRC校驗(yàn)、VPID、TRS、行號(hào)插入等復(fù)雜功能。

4 多分辨率視頻傳輸系統(tǒng)關(guān)鍵模塊

4.1 分辨率檢測(cè)模塊

分辨率檢測(cè)模塊根據(jù)輸入的有效區(qū)使能信號(hào)de生成像素點(diǎn)計(jì)數(shù)器p_cntr、行計(jì)數(shù)器l_cntr和消隱區(qū)計(jì)數(shù)器vb_cntr。利用FPGA進(jìn)行系統(tǒng)實(shí)現(xiàn)時(shí)，首先，系統(tǒng)在de上升沿時(shí)p_cntr開(kāi)始計(jì)數(shù)，當(dāng)檢測(cè)到de下降沿時(shí)p_cntr停止計(jì)數(shù)，將該計(jì)數(shù)值傳遞至像素點(diǎn)數(shù)寄存器p_num中。同時(shí)，vb_cntr開(kāi)始計(jì)數(shù)，l_cntr數(shù)值加一。由于最大行消隱區(qū)不超過(guò)1000像素點(diǎn)，當(dāng)vb_cntr計(jì)數(shù)到遠(yuǎn)大于1000時(shí)（本設(shè)計(jì)選擇8000作為判斷節(jié)點(diǎn)），系統(tǒng)已處于場(chǎng)消隱區(qū)，完成一幀計(jì)數(shù)工作，將l_cntr數(shù)值傳遞至行數(shù)寄存器l_num中。最終輸出p_num和l_num至其他模塊。

為使接收端能準(zhǔn)確判斷視頻流分辨率信息，規(guī)定將分辨率檢測(cè)模塊檢測(cè)出的分辨率信息嵌入至視頻流消隱行第四行的第10個(gè)像素點(diǎn)位置。接收端標(biāo)識(shí)位解嵌模塊在對(duì)應(yīng)位置提取此信息供裁剪模塊調(diào)用。表1給出了不同分辨率對(duì)應(yīng)標(biāo)識(shí)信息，同時(shí)也可根據(jù)使用需要增加其他分辨率不高于1080P的視頻源。

表1 分辨率對(duì)應(yīng)標(biāo)識(shí)信息Tab.1 Resolution corresponding to identification information

4.2 像素點(diǎn)擴(kuò)充模塊

像素點(diǎn)擴(kuò)充模塊可將任意分辨率視頻統(tǒng)一擴(kuò)充成符合SDI傳輸標(biāo)準(zhǔn)的1920×1080P@60視頻格式。模塊內(nèi)部由FIFO+DDR3結(jié)構(gòu)的組合緩存器和擴(kuò)充邏輯組成。利用FIFO解決了兩種分辨率視頻時(shí)鐘不同步的問(wèn)題，使用DDR3保證了視頻流穩(wěn)定傳輸。

擴(kuò)充邏輯使用1920×1080P@60的148.5 MHz時(shí)鐘使能，并在該時(shí)鐘下進(jìn)行行場(chǎng)計(jì)數(shù)，產(chǎn)生0～2199的像素點(diǎn)計(jì)數(shù)器（1080P視頻的行總像素點(diǎn)數(shù)）、0～1124的行計(jì)數(shù)器（1080P視頻的和總行數(shù)）和0～1919范圍內(nèi)拉高的輸出使能信號(hào)De_out。擴(kuò)充邏輯根據(jù)視頻源格式檢測(cè)模塊的提供的分辨率標(biāo)識(shí)信息和行場(chǎng)計(jì)數(shù)器，生成FIFO的讀使能信號(hào)Rd_de。當(dāng)計(jì)數(shù)器計(jì)數(shù)在有效視頻時(shí)鐘周期內(nèi)時(shí)，Rd_de為1，模塊輸出有效視頻數(shù)據(jù)；計(jì)數(shù)在有效視頻區(qū)結(jié)束點(diǎn)到2199期間時(shí)，Rd_de為0，此時(shí)視頻流暫存于DDR3中，模塊填充全0像素?cái)?shù)據(jù)輸出。圖5是以1280×720P@60分辨率視頻為例的擴(kuò)充邏輯內(nèi)部信號(hào)時(shí)序圖。

圖5 擴(kuò)充邏輯信號(hào)時(shí)序圖Fig.5 Extended logic signal sequence diagram

4.3 裁剪模塊

接收端裁剪模塊可將1920×1080P@60 SDI格式信號(hào)還原成原始分辨率視頻，再輸出至HDMI編碼芯片。模塊內(nèi)部主要由FIFO、DDR3和裁剪邏輯組成。裁剪邏輯根據(jù)標(biāo)識(shí)位解嵌模塊提供的像素信息（表1）生成行場(chǎng)計(jì)數(shù)器，控制生成FIFO的讀取使能信號(hào)和像素時(shí)鐘。以1280×720P@60視頻為例，當(dāng)行計(jì)數(shù)器計(jì)數(shù)在1～720且像素點(diǎn)計(jì)數(shù)器的計(jì)數(shù)在1～1280時(shí)，使FIFO的讀使能和視頻的輸出使能信號(hào)拉高，輸出有效視頻流。在其他時(shí)鐘周期內(nèi)，使能信號(hào)拉低，視頻流暫存于DDR3中。同時(shí)，接收端按照表1的規(guī)則，利用鎖相環(huán)PLL輸出視頻源對(duì)應(yīng)的像素時(shí)鐘。裁剪后的視頻變化示意圖如圖6所示。

圖6 裁剪后視頻變化示意圖Fig.6 Schematic diagram of video change after clipping

5 測(cè)量實(shí)驗(yàn)與結(jié)果

5.1 實(shí)驗(yàn)環(huán)境

圖7為系統(tǒng)整體測(cè)試架構(gòu)圖。測(cè)試系統(tǒng)利用電視盒子和專(zhuān)用分辨率轉(zhuǎn)換盒配合，輸入不同分辨率的測(cè)試視視頻（RGB色域，10 bit色深）。通過(guò)可傳輸4K@60視頻的HDMI 2.0接口和HDMI連接線(xiàn)將測(cè)試視頻流傳輸至輸入板卡中。測(cè)試所用輸入輸出板卡為視頻開(kāi)發(fā)板。輸入輸出板卡間利用4.25G SFP+光電轉(zhuǎn)換模塊和光纖進(jìn)行視頻信息傳輸。系統(tǒng)外接信號(hào)監(jiān)控電腦，利用Vivado的邏輯分析儀（ILA）和JTAG下載線(xiàn)，抓取輸入輸出各模塊關(guān)鍵信號(hào)，輔助進(jìn)行板級(jí)調(diào)試和模塊測(cè)試。

圖7系統(tǒng)整體測(cè)試架構(gòu)圖Fig.7 Overall system test architecture

5.2 系統(tǒng)模塊化測(cè)試

圖8 是四畫(huà)面分割模塊進(jìn)入FIFO之前的32位數(shù)據(jù)時(shí)序圖。從圖8可以看出，分割后的4路視頻流data_0、data_1、data_2、data_3分別對(duì)應(yīng)相應(yīng)的使能信號(hào)data_valid_0、data_valid_1、data_valid_2、data_valid_3。圖8展 示 了4K視 頻 第1079和1080行的數(shù)據(jù)流，展現(xiàn)了4路分割后的視頻流數(shù)據(jù)，仿真結(jié)果符合3.2節(jié)的設(shè)計(jì)規(guī)則，該模塊可完成視頻4路裁剪工作。

圖8 四畫(huà)面分割模塊時(shí)序仿真Fig.8 Timing simulation of four picture segmentation module

圖9展示了用于實(shí)現(xiàn)多分辨率傳輸功能的像素點(diǎn)填充模塊的仿真時(shí)序圖。輸入分辨率為1280×720P@60的測(cè)試源，圖中y/c_in為輸入視頻流，de_in為輸入使能信號(hào)，y/c_out_1080為擴(kuò)充后的視頻流。由圖9可知，0～1279為原像素點(diǎn)信息，1280～1919部分進(jìn)行了像素點(diǎn)填充（全0），輸出使能信號(hào)由原來(lái)的0～1279像素區(qū)間變?yōu)?～1919，故該模塊實(shí)現(xiàn)了像素點(diǎn)擴(kuò)充功能。

圖9 像素點(diǎn)填充模塊時(shí)序仿真Fig.9 Timing simulation of pixel filling module

5.3 系統(tǒng)功能測(cè)試

圖10 展示了4K視頻以4路1920×1080P@60視頻流展現(xiàn)的最終顯示效果，圖中上下左右4路均為分割后未拼接的1920×1080P@60視頻流，由圖可知，系統(tǒng)實(shí)現(xiàn)了4K@604路分割功能。同時(shí)，接收端的DDR3先緩存4路視頻，再同時(shí)取出，保證了4路視頻同步傳輸，確保終端顯示的4路視頻信號(hào)無(wú)卡頓和掉幀現(xiàn)象。

圖10 4K分割分割后的4路1080P視頻顯示Fig.104K segmented four channel 1080P video display

為體現(xiàn)系統(tǒng)的多分辨率傳輸特性，進(jìn)行多分辨系統(tǒng)功能測(cè)試時(shí)采用了與模塊測(cè)試不同分辨率的輸入源。圖11為系統(tǒng)傳輸單路非標(biāo)準(zhǔn)分辨率視頻時(shí)顯示效果圖。視頻源分辨率為1024×768，刷新率為60 Hz，利用系統(tǒng)第一路傳輸4K以下分辨率視頻。圖11（a）為發(fā)送端進(jìn)行像素點(diǎn)填充后，接收端并未進(jìn)行裁剪操作的顯示效果圖，圖中總分辨率為1920×1080P@60，左上部分為1024×768P@60的像素點(diǎn)數(shù)據(jù)，右下部分為填充過(guò)的黑場(chǎng)信息。圖11（b）為接收端進(jìn)行裁剪后最終顯示效果圖（利用裁剪模塊將填充后的黑場(chǎng)裁除），圖中展示的即為裁除后的原分辨率1024×768P@60視頻顯示效果。由圖11可知，多分辨率視頻傳輸系統(tǒng)可以實(shí)現(xiàn)低于1920×1080P@60分辨率視頻的擴(kuò)充和裁剪功能。

圖11 （a）1024×768P@60未裁剪前顯示圖；（b）1024×768P@60裁剪后顯示圖。Fig.11（a）1024×768P@60 display diagram before clipping；（b）1024×768P@60 display diagram after clipping.

6 結(jié)論

本文設(shè)計(jì)了基于FPGA的多分辨率自適應(yīng)SDI視頻傳輸系統(tǒng)。以4K視頻傳輸為基礎(chǔ)，增加了分辨率檢測(cè)模塊和像素點(diǎn)擴(kuò)充模塊，使低于1080P的多種分辨率視頻均能以1080P的格式在光纖信道中傳輸，突破了SDI只可傳輸固定分辨率的局限。同時(shí)，系統(tǒng)采用的像素點(diǎn)擴(kuò)充與裁剪相結(jié)合方法，避免了傳輸過(guò)程中對(duì)像素點(diǎn)的縮放處理，可充分保留原始像素信息，保證視頻的清晰度。經(jīng)實(shí)驗(yàn)驗(yàn)證，該系統(tǒng)能夠自適應(yīng)接收識(shí)別3840×2160P@60、1920×1080P@60、1280×720P@60和1024×768P@60等分辨率視頻。相較于縮放方法，本設(shè)計(jì)在多路環(huán)入環(huán)出的應(yīng)用場(chǎng)景下，視頻失真率更低、清晰度更高。本系統(tǒng)具有靈活性好、成本低、適用場(chǎng)景多樣的特點(diǎn)，可廣泛應(yīng)用于展會(huì)、會(huì)議室、多功能大廳等場(chǎng)所。