許逸飛　樊超

摘要：為了獲得高精度的圖像，同時(shí)在滿足微型化的要求下，本文使用CMOS圖像傳感器與FPGA構(gòu)建了相機(jī)系統(tǒng)，本文在分析CMOS圖像傳感器MT9J003原理的基礎(chǔ)上設(shè)計(jì)和實(shí)現(xiàn)一種基于FPGA的全高清CMOS相機(jī)，利用FPGA作為相機(jī)系統(tǒng)控制及系統(tǒng)時(shí)序生成的核心部件，最終輸出HDMI全高清彩色視頻。

關(guān)鍵詞：圖像傳感器；CMOS相機(jī)；全高清；FPGA

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）03-0270-02

隨著CMOS成像技術(shù)的不斷發(fā)展， CMOS圖像傳感器工藝的不斷進(jìn)步，當(dāng)前CMOS相機(jī)不斷進(jìn)步，CMOS圖像傳感器在功耗、成本以及集成度方面體現(xiàn)的優(yōu)勢(shì)越來越明顯，CMOS圖像傳感器不斷向主流和高端方向挺進(jìn)[1]。CMOS圖像傳感器由于采用標(biāo)準(zhǔn)CMOS制造工藝，集成了A/D轉(zhuǎn)換器以及底層驅(qū)動(dòng)電路，使得CMOS圖像傳感器非常有利于FPAG對(duì)其像元進(jìn)行操作，本文在分析Aptina公司CMOS圖像傳感器MT9J003原理的基礎(chǔ)上設(shè)計(jì)和實(shí)現(xiàn)一種基于FPGA的全高清CMOS相機(jī)，相機(jī)通過HDMI接口輸出全高清視頻，分辨率可達(dá)到1920X1080（60Hz）。

1 系統(tǒng)結(jié)構(gòu)

CMOS相機(jī)的系統(tǒng)結(jié)構(gòu)如圖所示，前端CMOS成像電路主要是圖像傳感器MT9J003的外圍電路，保證MT9J003可以正常工作；系統(tǒng)控制及處理電路主要是對(duì)MT9J003的HiSPi[2]的數(shù)據(jù)進(jìn)行串并轉(zhuǎn)換同時(shí)實(shí)現(xiàn)MT9J003的功能配置以滿足不同的應(yīng)用需求；后端顯示電路主要是根據(jù)相應(yīng)的視頻接口輸出相應(yīng)制式的視頻格式；供電電路用于將輸入系統(tǒng)的28V直流電轉(zhuǎn)換成系統(tǒng)中其他電路所需的電壓，以保證系統(tǒng)正常工作。按照系統(tǒng)的整體功能，CMOS相機(jī)可以分為以下幾個(gè)部分：前端CMOS成像電路、系統(tǒng)控制及處理電路、后端視頻顯示電路、供電電路。

為了使相機(jī)輸出全高清視頻，MT9J003需工作在1080P模式下并且能通過HiSPi接口輸出視頻數(shù)據(jù)；為了使系統(tǒng)微型化，集成度更高，采用CMOS傳感器中集成的A/D轉(zhuǎn)換器，A/D的精度可達(dá)12bit，CMOS傳感器將A/D轉(zhuǎn)換器集成在每一個(gè)像素單元里，每一個(gè)像素單元輸出的是數(shù)字信號(hào)，這樣工作速度才能更快，功耗更低；對(duì)于1080p 60Hz的視頻，每個(gè)像素點(diǎn)用12bit表示，其一副圖像的大小為：1920X1080X12=24883200bit，1秒的數(shù)據(jù)量就是1424Mbps，因此系統(tǒng)處理的視頻信號(hào)數(shù)據(jù)量非常大，所以需要采用FPGA等高速器件來進(jìn)行系統(tǒng)控制及視頻處理。

2 系統(tǒng)設(shè)計(jì)

根據(jù)上述電路功能的劃分，CMOS相機(jī)的具體實(shí)現(xiàn)框圖如下：

CMOS相機(jī)共包括以下功能電路：

1）圖像傳感器電路，主要是圖像傳感器的外圍電路；

2）串并轉(zhuǎn)換電路，主要是將圖像傳感器輸出的串行HiSPi數(shù)據(jù)轉(zhuǎn)換成并行數(shù)據(jù)，采用Lattice公司的FPGA實(shí)現(xiàn)；

3）系統(tǒng)控制電路，可以通過E2PROM配置圖像傳感器工作在需要的模式；

4）視頻處理電路，主要是將圖像傳感器輸出的并行數(shù)據(jù)進(jìn)行線性化、濾波、白平衡、Gamma校正、Bayer格式解析、色彩空間轉(zhuǎn)換以及視頻時(shí)序重組以滿足后端視頻輸出電路的要求，采用DDRII作為視頻緩存電路；

5）視頻輸出電路，主要由HDMI編碼器組成以滿足系統(tǒng)的視頻輸出接口要求；

6）復(fù)位、時(shí)鐘及供電電路。

2.1 CMOS傳感器電路

MT9J003是一款循序掃描以輸出固定幀頻數(shù)據(jù)流的數(shù)字圖像傳感器，它采用片上鎖相環(huán)產(chǎn)生內(nèi)部時(shí)序，輸入時(shí)鐘為6～48MHz，片上ADC分辨率為12bit[3]。傳感器的核心是1000萬像素的像素單元陣列，在時(shí)鐘和控制電路的作用下，逐行對(duì)像素陣列進(jìn)行讀取數(shù)據(jù)和復(fù)位，而像元?jiǎng)t在復(fù)位和讀取數(shù)據(jù)的間隙感光成像。讀取的數(shù)據(jù)經(jīng)過模擬信號(hào)鏈進(jìn)行排序，進(jìn)而通過分辨率為12位的ADC，陣列中每個(gè)像素的值對(duì)應(yīng)一個(gè)12位的數(shù)據(jù)輸出，ADC輸出的數(shù)據(jù)進(jìn)而經(jīng)過一系列的數(shù)字化處理后輸出。MT9J003的圖像數(shù)據(jù)是以循序掃描的方式讀出的，有效圖像數(shù)據(jù)被水平消隱和垂直消隱所包圍，其中水平消隱和垂直消隱的數(shù)量可以由編程控制。MT9J003 的數(shù)據(jù)輸出是由PIXCLK進(jìn)行同步的，當(dāng)LV為高電平時(shí)，一個(gè)像素的值在一個(gè)PIXCLK周期內(nèi)通過12位的DOUT輸出，像素時(shí)鐘頻率可以由傳感器的主輸入時(shí)鐘和內(nèi)部PLL配置決定。

2.2 串并轉(zhuǎn)換

MT9J003要輸出系統(tǒng)所要求的高清視頻分辨率，需通過CMOS圖像傳感器的高速串行HiSPi接口。HiSPi接口是由Aptina公司開發(fā)的一種開放存取、可擴(kuò)展的高速串行像素接口。為了使系統(tǒng)能輸出正確的視頻，必須將HiSPi接口的串行數(shù)據(jù)轉(zhuǎn)換成并行數(shù)據(jù)，然后才能在FPGA里進(jìn)行相關(guān)的視頻處理操作。HiSPi的解串工作用Lattice公司的FPGA完成。

串并轉(zhuǎn)換之后的信號(hào)包括時(shí)鐘信號(hào)、數(shù)據(jù)信號(hào)、場(chǎng)同步信號(hào)及行同步信號(hào)。

2.3 視頻處理電路

視頻處理電路主要是對(duì)傳感器輸出的視頻信號(hào)進(jìn)行處理以滿足系統(tǒng)對(duì)視頻質(zhì)量及視頻接口的要求，該部分電路由Lattice公司的FPGA ECP3-70實(shí)現(xiàn)，該型FPGA具有豐富的圖像處理IP庫(kù)，通過使用外掛DDRII存儲(chǔ)資源實(shí)現(xiàn)線性化、濾波、Bayer序列解析、校正、降噪、白平衡、色彩空間轉(zhuǎn)換以及VESA時(shí)序生成等功能[4]，具體實(shí)現(xiàn)如下圖所示：

經(jīng)過FPGA處理之后的視頻已經(jīng)是符合VESA制式的數(shù)字RGB信號(hào)，同時(shí)包括行同步信號(hào)、列同步信號(hào)以及數(shù)據(jù)有效信號(hào)，這一組數(shù)字信號(hào)送入到相應(yīng)的HDMI編碼器ADV7513即可輸出1080p的HDMI視頻。

3 結(jié)束語

本文介紹了一種CMOS圖像傳感器與FPGA構(gòu)建的相機(jī)系統(tǒng)，該系統(tǒng)采用的高性能圖像傳感器配合FPGA實(shí)現(xiàn)的圖像處理算法，最終能成功輸出高質(zhì)量的HDMI全高清視頻，該系統(tǒng)由于采用了性能強(qiáng)大的FPGA，使得系統(tǒng)功能非常容易擴(kuò)展[5]，可以廣泛應(yīng)用在多功能顯示系統(tǒng)、視景增強(qiáng)等領(lǐng)域。

參考文獻(xiàn)：

[1] 劉新明.基于CMOS圖像傳感器的相機(jī)系統(tǒng)設(shè)計(jì)[D].中國(guó)科學(xué)院研究生院西安光學(xué)精密機(jī)械研究所.2009.

[2] High-Speed Serial Pixel （HiSPi） Interface Specification Data Sheet[Z]. www.aptina.com，2011.

[3] CMOS Digital Image Sensor MT9J003 Data Sheet[Z].www.aptina.com，2009.

[4] 張濤，王成龍，趙新宇.一種CMOS相機(jī)色彩還原算法[J].液晶與顯示.2014，29（5）.

[5] 劉美瑩，王虎等.FPGA的大面陣CMOS相機(jī)系統(tǒng)的設(shè)計(jì)[J].紅外與激光工程.2013，（Z2）.