孫軍文，肖金明，王中訓(xùn)

（煙臺(tái)大學(xué) 光電信息科學(xué)技術(shù)學(xué)院，山東 煙臺(tái) 264005）

一般視頻處理后的實(shí)時(shí)顯示終端不能脫離PC機(jī)的束縛，而且數(shù)字圖像傳感器輸出的圖像幀率也比較低，分辨率也隨著半導(dǎo)體行業(yè)的發(fā)展有了很大的提高，因此為了輸出的圖像能直接在VGA顯示器上顯示，需要對(duì)圖像進(jìn)行幀率提升、彩色空間轉(zhuǎn)換等處理。FPGA器件具有可重復(fù)編程的靈活性以及并行處理能力，并且隨著微處理器、專用硬件單元、DSP算法以及IP核的嵌入使其功能越來(lái)越強(qiáng)大。本系統(tǒng)的設(shè)計(jì)是基于Altera公司的EP2S60系列的開發(fā)板，板上集成兩片SDRAM存儲(chǔ)芯片、視頻輸入接口和VGA輸出接口[1]。

1 系統(tǒng)方案

設(shè)計(jì)的實(shí)時(shí)視頻信號(hào)處理顯示平臺(tái)總框圖如圖1所示。

圖1 實(shí)時(shí)視頻信號(hào)處理顯示平臺(tái)總框圖Fig.1 Diagram of real-time video signal processing and display platform

CCD數(shù)字圖像傳感器[2]輸出分辨率為 720×576，幀率為25 Hz的8位YCbCr彩色空間信號(hào)，進(jìn)入FPGA后，F(xiàn)PGA內(nèi)部的圖像處理模塊將視頻信號(hào)從YCbCr信號(hào)轉(zhuǎn)換成RGB空間信號(hào)，同時(shí)分辨率提升到1024*768，存儲(chǔ)控制模塊將幀數(shù)據(jù)存入SDRAM作為緩存,采用“乒乓”存儲(chǔ)機(jī)制，然后通過(guò)同步VGA顯示控制模塊產(chǎn)生的60 Hz1024×768的行、場(chǎng)掃描時(shí)序把每幀圖像的幀頻從25 Hz提高到60 Hz并輸出，經(jīng)過(guò)DA和VGA接口后實(shí)時(shí)的顯示在VGA顯示器上。

2 系統(tǒng)內(nèi)部模塊設(shè)計(jì)

2.1 圖像處理模塊

圖像處理部分內(nèi)部功能模塊如圖2所示。

圖2 圖像處理部分內(nèi)部功能框圖Fig.2 Diagram of image processing part of internal function

輸入的 8 位圖像信號(hào)以 YCbCr（4：2：2）格式進(jìn)入輸入緩存FIFO，然后通過(guò)格式轉(zhuǎn)換模塊將8位的YCbCr信號(hào)轉(zhuǎn)換為16位的YCbCr信號(hào)，方法為在連續(xù)兩個(gè)時(shí)鐘下讀取兩次8位的數(shù)據(jù)然后合并到一個(gè)16位寄存器中，接著將16位的YCbCr（4：2：2） 格式信號(hào)采用臨近差值算法生成 24 位的 YCbCr（4：4：4）格式信號(hào)，再將24位的YCbCr格式信號(hào)根據(jù)CCIR-601標(biāo)準(zhǔn)轉(zhuǎn)換到 RGB（8：8：8）彩色空間，數(shù)字 YCbCr彩色空間到 RGB彩色空間轉(zhuǎn)換的公式[4]為：

其中 Y 的取值范圍是 （16，240），Cb、Cr的取值范圍是（16，235），所有運(yùn)算均調(diào)用FPGA內(nèi)部自帶的乘法和實(shí)現(xiàn)。最后將24位的RGB彩色空間信號(hào)輸出到緩存FIFO，供SDRAM存儲(chǔ)使用[7]。圖像處理模塊設(shè)計(jì)如圖3所示。

圖3 圖像處理模塊設(shè)計(jì)原理圖Fig.3 Diagram of image processing module

2.2 存儲(chǔ)控制模塊

存儲(chǔ)控制部分內(nèi)部功能模塊如圖4所示。

圖4 存儲(chǔ)控制部分內(nèi)部功能框圖Fig.4 Diagram of storage control part

寫SDRAM存儲(chǔ)模塊判斷緩存FIFO中的RGB信號(hào)即像素點(diǎn)數(shù)據(jù)長(zhǎng)度滿足720個(gè)時(shí)，向SDRAM控制器發(fā)出啟動(dòng)存儲(chǔ)請(qǐng)求，然后SDRAM控制器從緩存FIFO中依次讀取數(shù)據(jù)存入片外的SDRAM中，存576次后即為一幀圖像的數(shù)據(jù)，在SDRAM的2個(gè)Bank中各存入一幀圖像數(shù)據(jù)，采用乒乓存儲(chǔ)機(jī)制進(jìn)行對(duì)幀數(shù)據(jù)的讀出操作。由于采集到的圖像幀頻為25 Hz，要提高到VGA顯示的刷新頻率60 Hz，因此時(shí)序發(fā)生器要控制讀SDRAM存儲(chǔ)模塊對(duì)SDRAM的幀數(shù)據(jù)進(jìn)行讀出，平均每幀圖像數(shù)據(jù)要讀取的次數(shù)為2.4次，規(guī)定每5幀為一次循環(huán)，這 5 幀數(shù)據(jù)共讀取 12 次，比例為 2∶3∶2∶3∶2，同時(shí)，每幀的數(shù)據(jù)分576行次讀出打入緩存FIFO，但每次均寫入3行，此處是為后級(jí)幀放大做準(zhǔn)備，只要FIFO中的數(shù)據(jù)為空時(shí)，就立刻打入幀圖像的下3行數(shù)據(jù)。SDRAM控制器模塊設(shè)計(jì)如圖5所示。

圖5 SDRAM控制器模塊設(shè)計(jì)原理圖Fig.5 Diagram of SDRAM controller module

2.3 VGA顯示控制模塊

VGA顯示控制部分內(nèi)部功能模塊如圖6所示。

圖6 VGA顯示控制部分內(nèi)部功能Fig.6 Internal functions of VGA display and control

VGA顯示控制模塊主要是產(chǎn)生滿足分辨率為1 024×768的行頻和場(chǎng)頻，因此還要對(duì)720×576的分辨率進(jìn)行放大，采用的方法是選擇2個(gè)互質(zhì)的整數(shù)m和n，使其比值m/n與給定的放大比例盡可能接近。 720×7≈1 024×5，576×4≈768×3，因此水平方向的5個(gè)原始像素點(diǎn)放大為7個(gè)新像素點(diǎn)，垂直方向的3個(gè)原始像素點(diǎn)放大為4個(gè)新像素點(diǎn)，所以前一級(jí)每次存入緩存有3行數(shù)據(jù)，水平和垂直方向上的像素放大函數(shù)如下所示。

其中g(shù)表示原始輸入的像素?cái)?shù)據(jù)，f表示放大處理后輸出的新像素?cái)?shù)據(jù)。 分辨率提高后的數(shù)據(jù)再寫入下一級(jí)緩存FIFO，然后依次讀入VGA控制模塊，在像素時(shí)鐘的同步下輸出給DA進(jìn)而通過(guò)VGA接口顯示在屏幕上。VGA顯示控制模塊設(shè)計(jì)如圖7所示。

圖7 VGA顯示控制模塊設(shè)計(jì)原理圖Fig.7 Diagram of VGA display and control module

2.4 視頻輸出效果圖

圖8所示為本系統(tǒng)采集處理后分辨率為1 024×768的視頻圖像截圖?？梢钥闯鼋?jīng)FPGA處理后的圖像比較清晰[9]，可以滿足一般的使用需求。

圖8 視頻輸出效果圖Fig.8 Result of video output

3 結(jié) 論

本項(xiàng)目設(shè)計(jì)的基于FPGA的實(shí)時(shí)視頻信號(hào)處理平臺(tái)實(shí)現(xiàn)了輸入圖像的格式轉(zhuǎn)換、彩色空間轉(zhuǎn)換、幀率提高和像素放大等功能，整個(gè)數(shù)據(jù)流處理過(guò)程均在100 MHz的同步時(shí)鐘下完成，達(dá)到了視頻采集顯示的實(shí)時(shí)性，且脫離了原始PC機(jī)的束縛，實(shí)現(xiàn)了系統(tǒng)的小型化，便于推廣和應(yīng)用。但是本設(shè)計(jì)也存在一些可以優(yōu)化的方面，例如可以將圖像輸出分辨率設(shè)置成多種模式，通過(guò)外部按鍵根據(jù)用戶使用需求來(lái)控制分辨率的大小，還可以將視頻輸入端改成多通道輸入，對(duì)不同區(qū)域的視頻信息進(jìn)行切換顯示或同時(shí)顯示。

[1]郭祥東.基于FPGA的視頻圖像采集系統(tǒng)的設(shè)計(jì)[J].九江學(xué)院學(xué)報(bào)，2009（6）：15-18.

GUO Xiang-dong.Design of video capture system based on FPGA[J].Joumal of Jiujiang University，2009（6）：15-18.

[2]米本和也，陳榕庭.CCD/CMOS圖像傳感器基礎(chǔ)與應(yīng)用[M].北京：科學(xué)出版社，2006.

[3]趙雅興.FPGA原理、設(shè)計(jì)與應(yīng)用[M].天津：天津大學(xué)出版社，1999.

[4]朱虹.數(shù)字圖像處理基礎(chǔ)[M].北京：科學(xué)出版社，2005.

[5]Rafael C.Gonzalez&RichardE.Woods.數(shù)字圖像處理 [M].2版.北京：電子工業(yè)出版社，2003.

[6]吳繼華，王誠(chéng).Altera FPGACPLD設(shè)計(jì)[M].北京：人民郵電出版社，2005.

[7]陳忠平.基于Quartus II的FPGACPLD設(shè)計(jì)與實(shí)踐 [M].北京：電子工業(yè)出版社，2010.

[8]夏宇聞.數(shù)字系統(tǒng)設(shè)計(jì)—Verilog實(shí)現(xiàn)[M].北京：高等教育出版社，2006.

[9]焦賓，呂霞付，李愿，等.基于CPLD的嵌入式真彩色液晶顯示卡的設(shè)計(jì)[J].工業(yè)儀表與自動(dòng)化裝置，2012（2）：55-58.

JIAO Bin，Lv Xia-fu，LI Yuan，et al.The design of the embedded true color LCD display card based on CPLD[J].Industrial Instrumentation&Automation，2012（2）：55-58.