俞瑾珂

摘 要：課題研究是基于DSP的雙路視頻動(dòng)態(tài)顯示系統(tǒng)，通過串行口實(shí)現(xiàn)系統(tǒng)與電腦主機(jī)的交互。雙路視頻動(dòng)態(tài)顯示系統(tǒng)包括單路畫面顯示、組合顯示、畫中畫顯示、混合縮放和alpha混合顯示，以雙路視頻分別采集的兩幀圖像作為設(shè)計(jì)對(duì)象進(jìn)行特效算法的設(shè)計(jì)和實(shí)現(xiàn)。電腦主機(jī)可以通過串行口控制DSP系統(tǒng)的特效顯示動(dòng)態(tài)切換。實(shí)驗(yàn)結(jié)果驗(yàn)證了系統(tǒng)設(shè)計(jì)的正確性，它在多路視頻監(jiān)控、視覺特效顯示等領(lǐng)域具有比較高的使用價(jià)值。

關(guān)鍵詞：雙路視頻；特效顯示；混合顯示；多路視頻監(jiān)控

中圖分類號(hào)：TP37 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.15913/j.cnki.kjycx.2016.22.069

現(xiàn)如今，不管是安防系統(tǒng)，還是各種需要實(shí)時(shí)檢測(cè)目標(biāo)狀態(tài)的領(lǐng)域，多路視頻的采集及其按照用戶的各種需求控制視頻顯示方式十分常見。各個(gè)行業(yè)的技術(shù)水平在不斷提高，人們對(duì)多路視頻的要求也越來(lái)越高，以滿足不同情況下的需求。多路視頻采集及其特效混合顯示是安防、舞臺(tái)轉(zhuǎn)播、新聞轉(zhuǎn)播等方面的重要組成部分，是一種高效實(shí)用的綜合性系統(tǒng)。當(dāng)然，因?yàn)槎嗦芬曨l的特效混合顯示能夠?qū)Χ嗦穲D像進(jìn)行多樣的實(shí)時(shí)處理，所以，在多種場(chǎng)合都會(huì)應(yīng)用它。隨著計(jì)算機(jī)和網(wǎng)絡(luò)的迅速發(fā)展，圖像處理與數(shù)字信息傳輸技術(shù)也不斷發(fā)展，多路視頻的采集及其混合特效顯示也隨之發(fā)展，并且在視頻顯示模式上應(yīng)用了許多圖像處理的算法，提高了圖像質(zhì)量，使視覺效果越來(lái)越好。

現(xiàn)今，多路視頻采集與顯示活躍在各個(gè)領(lǐng)域，比如鋼鐵冶煉，利用視頻監(jiān)控來(lái)代替人工監(jiān)控，有效避免了工人在高溫環(huán)境下的作業(yè)危險(xiǎn)；在農(nóng)業(yè)中，則利用雙路視頻實(shí)時(shí)記錄農(nóng)作物的生長(zhǎng)情況，以便更詳細(xì)地了解農(nóng)作物的生長(zhǎng)；在日常生活中，多路視頻的運(yùn)用更是數(shù)不勝數(shù)，包括各種生活的實(shí)際需要、娛樂需要和監(jiān)控需要等。

在視頻、圖像處理中，每一幀圖片都是由分辨率所對(duì)應(yīng)數(shù)量的像素組成的，每個(gè)像素的表示則是由幾個(gè)不同的顏色通道組成，而顏色通道則對(duì)應(yīng)著色彩空間，即用若干維度的變量來(lái)表示某一色彩。在色彩空間中，同樣有著如同幾何空間一樣的三維描述方式，它一般會(huì)用3種相對(duì)獨(dú)立的通道來(lái)表述顏色，但從不同的角度來(lái)描述就會(huì)有不同的色彩空間，它們從不同的角度去衡量對(duì)象時(shí)有不同的側(cè)重點(diǎn)。常見的色彩空間有RGB、HSV和YUV等。

本文主要提出了一種基于DSP高速計(jì)算系統(tǒng)的實(shí)時(shí)雙路視頻動(dòng)態(tài)特效顯示設(shè)計(jì)方案，實(shí)驗(yàn)結(jié)果驗(yàn)證了包括組合特效、混合特效、alpha混合等特效效果設(shè)計(jì)的正確性。

1 雙路視頻動(dòng)態(tài)特效顯示系統(tǒng)與特效設(shè)計(jì)

1.1 雙路視頻動(dòng)態(tài)特效顯示系統(tǒng)

本設(shè)計(jì)以雙路視頻信號(hào)采集、處理和顯示為內(nèi)容，基于DSP硬件平臺(tái)，利用視頻解碼芯片和2個(gè)捕獲視頻端口VPO、VP1組成了既互相獨(dú)立又互相聯(lián)系的雙通道視頻捕獲系統(tǒng)，以此實(shí)現(xiàn)對(duì)輸入視頻的雙通道實(shí)時(shí)采集。這樣做的目的是設(shè)計(jì)一種基于DSP的雙路視頻信號(hào)實(shí)時(shí)動(dòng)態(tài)顯示系統(tǒng)，實(shí)現(xiàn)多種雙路視頻交互功能，包括單獨(dú)顯示、組合顯示、畫中畫顯示和畫面縮放，并支持混合特效顯示，以滿足多種情況下的顯示需求。這是一種低成本的視頻信號(hào)特效顯示系統(tǒng)方案。

1.2 雙路視頻動(dòng)態(tài)特效設(shè)計(jì)

1.2.1 畫中畫特效設(shè)計(jì)

畫中畫指的是在一段視頻中的一個(gè)小面積區(qū)域上播放另外一段視頻，而本設(shè)計(jì)中還添加了畫中畫區(qū)域的放大、縮小、移動(dòng)。它的實(shí)現(xiàn)方式是，在576×720分辨率的幀圖片下，利用攝像頭采集到的兩路視頻幀，通過輸出到特定緩存區(qū)來(lái)改變不同像素的色彩空間值，從而達(dá)到畫中畫的顯示效果，繼而再通過主機(jī)與DSP的串行通信，實(shí)現(xiàn)對(duì)畫中畫區(qū)域大小、移動(dòng)等操作。具體操作就是將capFrameBuf_1根據(jù)指定的范圍縮小，capFrameBuf_2不變，分別賦值給disFrameBuf的不同區(qū)域。畫中畫分為背景與景中畫，所以，需要定義景中畫的范圍，其余的則都是背景。本設(shè)計(jì)中利用景中畫起始坐標(biāo)、大小來(lái)確定景中畫位置，并且通過串口來(lái)控制起始坐標(biāo)、大小，從而實(shí)現(xiàn)對(duì)畫中畫整體效果的控制。

1.2.2 混合縮放特效設(shè)計(jì)

圖像縮放是數(shù)字圖像處理中經(jīng)常用到的，因?yàn)樵O(shè)計(jì)中需要將某個(gè)尺寸的圖片放大或縮小到另一個(gè)尺寸，所以，本設(shè)計(jì)使用了消耗資源最少的最近鄰插值。最近鄰插值是一種比較方便、簡(jiǎn)單的縮放方式，縮放方案就是將像素指標(biāo)設(shè)置為相距其最短的像素指標(biāo)，如圖1所示。在縮小的過程中，如果2∶1縮小，在最近鄰插值中，實(shí)際上是簡(jiǎn)化4個(gè)像素為1個(gè)，即直接將左上角的像素指標(biāo)作為縮小后的像素指標(biāo)。在放大的過程中，如果1∶2放大，在最近鄰插值中，實(shí)際上是將1個(gè)像素?cái)U(kuò)張為4個(gè)，即直接以左上角的像素指標(biāo)作為放大后圖像的4個(gè)像素指標(biāo)。最近鄰插值的優(yōu)點(diǎn)是方便、簡(jiǎn)單、計(jì)算量很小、消耗資源少，直接賦值即可，很適合實(shí)時(shí)性的處理，缺點(diǎn)就是產(chǎn)生的圖像局部有塊狀。

1.2.3 alpha混合特效設(shè)計(jì)

alpha混合在游戲領(lǐng)域的應(yīng)用十分廣泛，目的就是實(shí)現(xiàn)2幀圖片的可調(diào)節(jié)的半透明混合顯示。在實(shí)現(xiàn)過程中，對(duì)于2幀圖片的對(duì)應(yīng)像素，可將其RGB分量按權(quán)重相加得到新的像素RGB

———————————————————————————

*[基金項(xiàng)目]上海市科委科技支撐項(xiàng)目支持（編號(hào)：16441905302）

分量，從而得到alpha混合的初步效果。在alpha混合處理中，它能夠達(dá)到2幀圖片的任意比例透明混合，也可以在圖像上添加透明的視覺特效，比如光源、煙霧和火光等。

在alpha混合中，有一個(gè)特別需要注意的地方，就是防止色彩的失真。alpha混合算法是在RGB空間進(jìn)行處理的，所以，對(duì)于那些原本不是用RGB色彩空間表示的，就需要轉(zhuǎn)換，轉(zhuǎn)換公式為：

公式中有許多浮點(diǎn)數(shù)的計(jì)算，并且參數(shù)經(jīng)過一定的近似，會(huì)在空間轉(zhuǎn)化過程中造成色彩的失真，并且在alpha混合計(jì)算時(shí)的乘除法也會(huì)造成色彩的失真。因此，在DSP系統(tǒng)的處理過程中，需要控制參數(shù)的精度，使程序運(yùn)行的速度在達(dá)到要求的情況下盡量削弱色彩的失真度。當(dāng)然，最好的方式就是只通過位運(yùn)算，避免乘除運(yùn)算。

2 動(dòng)態(tài)特效顯示實(shí)驗(yàn)結(jié)果

2.1 畫中畫組合特效顯示

圖2是畫中畫效果的畫面記錄。圖2（a）為初始化景中畫大小的畫面，圖2（b）和圖2（c）為通過串口來(lái)控制景中畫大小和位置之后的畫面。圖2（b）是改變大小后的效果，圖2（c）是改變位置后的效果。經(jīng)實(shí)驗(yàn)測(cè)試，畫中畫效果程序周期大概在20幀/s，測(cè)試方案是：在程序中添加變量frame記錄處理幀數(shù)，運(yùn)行程序，經(jīng)過一段時(shí)間后暫停程序，記錄frame，再繼續(xù)運(yùn)行程序，經(jīng)過10 s，暫停程序，記錄frame。2個(gè)frame相減除以10就是每秒處理的平均幀數(shù)。

2.2 混合縮放特效顯示

圖3為混合縮放效果的實(shí)驗(yàn)記錄，圖3（a）左上角縮小圖為視頻1，整體為視頻2。圖3（b）和圖3（c）是視頻1和視頻2的轉(zhuǎn)換過程。圖3（d）右上角為視頻2，整體為視頻1。混合縮放實(shí)現(xiàn)的是類似各種直播場(chǎng)合切換分會(huì)場(chǎng)與主會(huì)場(chǎng)的效果。當(dāng)畫面1為主顯示畫面時(shí)，將畫面2縮小置于主畫面的左上角；同理，當(dāng)畫面2為主顯示畫面時(shí)，將畫面1縮小后顯示于主畫面右上角。本設(shè)計(jì)實(shí)現(xiàn)了兩路視頻的顯示切換，同時(shí)，保留非主顯示畫面的縮小畫面。

2.3 alpha混合特效顯示

圖4為alpha混合效果的實(shí)驗(yàn)記錄圖，它表現(xiàn)了2幀在不同alpha值下的混合效果。其中，下半部分的圖像沒有處理，是一路原圖像，將上下2幅圖作對(duì)比，上半部分圖像的alpha混合效果更為明顯。圖4（a）到圖4（d）分別是alpha值從小到大的一組圖片，圖4（a）視頻1比例最大，圖4（d）視頻2比例最大。文中已經(jīng)提到，由于視頻數(shù)據(jù)采集緩存區(qū)capFrameBuf里的數(shù)據(jù)是YUV格式，而alpha混合算法需要的是RGB格式，因此，在轉(zhuǎn)換過程中，計(jì)算誤差等原因會(huì)導(dǎo)致色彩失真。圖4中，書架比較亮的地方就出現(xiàn)了色彩失真的情況。在實(shí)驗(yàn)設(shè)計(jì)中，嘗試對(duì)高亮度區(qū)域進(jìn)行限制處理。這樣做，雖然在一定程度上緩解了失真程度，但還是殘留著一些失真的像素。

3 結(jié)束語(yǔ)

本文簡(jiǎn)要介紹了一個(gè)在電腦主機(jī)上通過串口控制的雙路視頻特效顯示系統(tǒng)設(shè)計(jì)方案，它能夠根據(jù)用戶需求對(duì)兩路圖像進(jìn)行切換單獨(dú)顯示、組合顯示、畫中畫顯示、畫面縮放和alpha顯示等，并在每個(gè)顯示特效中控制各種參數(shù)的變化，比如畫中畫的畫面大小，支持添加用戶可選的圖像增強(qiáng)算法，以適應(yīng)不同的拍攝環(huán)境。實(shí)驗(yàn)結(jié)果表明，畫中畫組合特效、縮放特效、alpha混合特效滿足系統(tǒng)的設(shè)計(jì)需求，在多種圖像顯示系統(tǒng)中具有比較強(qiáng)的使用性。

致謝：筆者在暑期項(xiàng)目實(shí)踐和文中所述研究工作的設(shè)計(jì)中，得到了上海大學(xué)圖像處理實(shí)驗(yàn)室陸小鋒老師和張偉特同學(xué)的大力支持。感謝為該設(shè)計(jì)工作提供實(shí)驗(yàn)條件和儀器設(shè)備的所有朋友。

參考文獻(xiàn)

[1]張軍，趙靜.DSP芯片的特點(diǎn)及其應(yīng)用[J].現(xiàn)代電子技術(shù)，2001（11）：79-81.

[2]薛長(zhǎng)松，李書義.基于DM642的雙通道視頻采集系統(tǒng)[J].河南大學(xué)學(xué)報(bào)，2007，37（3）：305-306.

[3]于進(jìn)才，馬嵐.PAL制、NTSC制與CIF的轉(zhuǎn)換原理[J].現(xiàn)代電視技術(shù)，2003（11）：78-80.

[4]臧博，吳裕斌，曹丹華.基于GIO/FVID的DSP視頻處理驅(qū)動(dòng)程序[J].技術(shù)縱橫，2006（8）：27-30.

[5]Lissner I，Urban P.Toward a Unified Color Space for Perception-Based Image Processing.IEEE Transactions on Image Processing，2012，21（3）：1153-1168.

[6]李秀英，袁紅.幾種圖像縮放算法的研究[J].現(xiàn)代電子技術(shù)，2012，35（5）：48-51.

[7]鄧林華，柳光乾，李學(xué)寶.基于插值算法的圖像縮放的應(yīng)用研究[J].微計(jì)算機(jī)信息，2010，26（11）：23-24.

[8]Cho，Dongwook，Bui.Fast image enhancement in compressed wavelet domain.Signal Processing，2014，98（4）： 295-307.

〔編輯：白潔〕