楊小光

（中國電子科技集團公司 第四十一研究所，安徽 蚌埠233006）

0 引言

實時視頻拼接技術在測試測量、軍事監(jiān)控、生物醫(yī)學、汽車導航等領域有著廣泛的應用需求。視頻拼接技術是從圖像拼接技術發(fā)展而來，在二維圖像處理的基礎上利用了增加的時間維度信息，成為三維的處理過程。隨著視頻技術以及大規(guī)模集成電路的發(fā)展，視頻信號拼接技術的應用越來越廣泛。本設計采取基于幀存儲器AL422的視頻拼接技術實現(xiàn)視頻雙顯，切換平滑、流暢，充分滿足了設計要求。

1 原理介紹[1]

視頻拼接原理如圖1所示，兩路圖像傳感器CMOSX、CMOSY在兩個方向X、Y上對物體成像，在外部時鐘驅動下完成光電轉換，輸出視頻圖像信息及同步控制信號。兩組CMOS輸出同步信號輸入到FPGA，以合成各組控制信號，如讀、寫使能信號，讀寫復位信號，輸出使能信號等。

圖1 視頻拼接原理圖

兩組緩存器在FPGA輸出控制信號的作用下，分別存儲一路壓縮的CMOS視頻數(shù)據，且滿幀視頻數(shù)據只占據緩存的一半空間，數(shù)據的輸出和存儲作乒乓切換，以使圖像顯示流暢。在數(shù)據存儲的同時將兩個壓縮的圖像拼接成完整的一幀圖像輸出，同時輸出行、場同步信號顯示圖像，如圖2所示。

圖2 緩存讀、寫乒乓操作

圖像傳感器采用Omni Vision公司的OV7141[2]型CMOS芯片，輸出VGA（640×480）格式視頻，幀頻30fps，數(shù)據格式YUV/YCbCr 4:2:2。因此一幀視頻數(shù)據量為600K字節(jié)。

緩沖器采用Aver Logic公司推出的AL422[3]視頻幀存儲器，存儲容量為384K字節(jié)，工作頻率可達50MHz，該芯片的主要特點如下：

（1）支持VGA、CCIR、NTSC、PAL與HDTV分辨率；

（2）可進行獨立的讀/寫操作，可接受不同的I/O數(shù)據率；

（3）可高速異步串行存取，讀寫時鐘周期為20ns；

（4）內含輸出使能控制，并能夠自行刷新數(shù)據。

2 視頻拼接控制信號的產生

視頻拼接的本質是控制幀存儲器有規(guī)律的做讀、寫切換，在時間軸上重構成完整的視頻數(shù)據流輸出。CMOS輸出數(shù)據及同步信號，通過對場同步信號（VSYNC）、行同步信號（HREF）、像素時鐘（PCLK）的處理，產生幀存儲器AL422的讀、寫控制信號，進行視頻數(shù)據的壓縮、復原、存儲、拼接。視頻拼接的信號主要分為以下幾類：寫相關控制信號、讀相關控制信號、VGA信號。

2.1 寫控制信號模塊

寫控制信號模塊主要利用CMOS芯片產生的行、場同步信號以及像素時鐘產生幀存儲器AL422的寫相關控制信號，主要有寫復位信號(/WRST)、寫使能信號(/WE)、寫時鐘信號(WCLK)，信號產生原理如圖3所示。

圖3 幀存儲器寫控制信號合成框圖

（1）寫時鐘信號

本設計中，寫時鐘信號（WCLK）直接由CMOS像素時鐘PCLK直接提供。并且視頻數(shù)據以X方向時序為基準，因此CMOS_X時鐘同步所有的信號處理模塊。

（2）寫復位信號

幀存儲器的地址是由內部地址計數(shù)器控制，在寫使能信號（/WE）有效時，對寫時鐘進行計數(shù)，到達地址末端或寫復位信號有效時，計數(shù)器自動清零。圖像存儲對應拼接顯示，采用隔行抽取數(shù)據的方法壓縮，幀存儲器存儲兩幀壓縮圖像，因此每兩場數(shù)據復位一次。場同步信號、寫復位信號時序如圖4所示。

圖4 場同步信號、寫復位信號時序圖

（3）寫使能信號

幀存儲器寫使能信號(/WE)控制寫操作，在其有效期間地址計數(shù)器隨時鐘信號增長，并在時鐘的上升沿將數(shù)據寫入存儲器。當/WE處于高電平時，地址計數(shù)器停止計數(shù)，寫操作被禁止。有規(guī)律的控制寫使能信號，可以方便的對視頻數(shù)據進行壓縮。

拼接雙顯是在縱向上壓縮圖像，采取隔行存儲數(shù)據的方法，只存儲一幀圖像（480行）中的240行，因此寫使能（/WE）信號相對于行同步信號隔行反轉。并且由于采用黑白顯示，因此只存儲亮度信號Y，而丟棄色度信號Cb，Cr，寫使能信號在像素時鐘PCLK的下降沿反轉，甄別亮度信號和色度信號。對應與雙顯的寫使能信號將是在隔行有效的基礎疊加隔像素有效。

2.2 讀控制信號模塊

幀存儲器讀控制信號包括讀使能（/RE）、讀復位（/RRST）、數(shù)據輸出使能（/OE）、讀時鐘（RCLK），信號產生原理如圖5所示。該模塊使用的行同步信號，場同步信號均通過對像素時鐘的計數(shù)產生的?？刂朴肰GA信號在時序上提前于輸出用VGA信號，以利于幀存儲器輸出數(shù)據與輸出VGA信號同步。由于在數(shù)據存儲時丟棄了色度信號，因此在輸出時需恢復色度信號。

圖5 幀存儲器讀控制信號合成框圖

（1）讀復位信號（/RRST）

幀存儲器的讀、寫操作是相互獨立的，可以同時操作，但是不能同時操作同一個存儲單元，理想狀態(tài)是讀、寫地址計數(shù)器相差128個單元。讀地址計數(shù)器同時受讀復位信號（/RRST）、讀使能信號（/RE）、讀時鐘（RCLK），在RCLK作用下不斷刷新，單調增長。當?shù)刂酚嫈?shù)器達到最大，或者讀復位信號有效，地址計數(shù)器將清零。拼接雙顯模式下，幀存儲器存儲兩幀壓縮圖像，因此每讀兩場數(shù)據地址復位一次。場同步信號、讀復位信號時序如圖6所示。讀復位信號與寫復位信號波形一致，然而讀復位信號時序上落后于寫復位信號200個行同步周期。

圖6 場同步信號、讀復位信號時序圖

（2）讀使能信號（/RE）

兩個幀存儲器（X、Y）的讀取控制，交替輸出視頻數(shù)據，是拼接視頻的關鍵部分。拼接雙顯讀使能信號如圖7所示，在視頻輸出的場同步信號前半幀期間，X幀存儲器的讀使能信號有效，輸出視頻數(shù)據，構成上半屏壓縮圖像，于此同時Y幀存儲器的讀操作被禁止。當處于下半幀期間情況相反，Y幀存儲器讀使能信號有效，輸出數(shù)據，構成下半屏數(shù)據，而X幀存儲器的讀操作被禁止。兩幀存儲器在半幀切換信號控制下，做乒乓切換，輪流輸出數(shù)據構成視頻圖像。另外，由于存儲器中僅存儲了亮度信號，在讀取數(shù)據時需將地址計數(shù)器的刷新頻率降低一倍，以便于輸出數(shù)據時恢復色度信號。因此對像素時鐘進行二分頻，低電平讀取存儲器的數(shù)據作為亮度信號，高電平存儲器讀禁止，地址計數(shù)器維持不變，輸出端輸出固定值0x80作為色度信息。

圖7 拼接雙顯讀使能信號細節(jié)

3 結論

文中介紹了基于AL422幀存儲器的視頻拼接技術原理，并用硬件描述語言VHDL實現(xiàn)，圖像顯示流暢，切換靈活，獲得很好的效果。

［1］劉杰，牛燕雄，董偉.基于FPGA的視頻信號發(fā)生器設計與應用研究[J].2009，3，29（3）.

［2］http://www.omnivision.com OV7141.pdf[OL].

［3］http://www.averlogic.com AL422.pdf[OL].