袁鵬程， 李俊山， 孫富禮， 王 燦

(上海無(wú)線電設(shè)備研究所，上海201109)

0 引言

目前圖像傳感器的集成工藝已經(jīng)非常成熟，超高速、超高分辨率的圖像傳感器已經(jīng)被廣泛應(yīng)用在很多領(lǐng)域。然而由于制作工藝的局限，導(dǎo)致圖像傳感器各個(gè)像素的參數(shù)特性各不相同[1]，從而在同等條件的曝光下各個(gè)像素輸出的信號(hào)存在不一致性，這種不一致性導(dǎo)致了輸出圖像的不均勻性。其次，隨著曝光時(shí)間增加圖像傳感器的光子轉(zhuǎn)換曲線呈現(xiàn)出非線性，這種非線性現(xiàn)象降低了圖像傳感器動(dòng)態(tài)范圍，導(dǎo)致輸出圖像對(duì)比度較差，因此對(duì)圖像傳感器進(jìn)行校正處理是很有必要的。

大部分的圖像傳感器校正方法著重對(duì)圖像傳感器的非均勻性進(jìn)行校正，對(duì)圖像傳感器非線性進(jìn)行校正的方法多數(shù)是基于伽瑪校正或?qū)①が斝Ｕ芍岭娐分衃2]，而伽瑪校正并不能很好地抑制圖像傳感器的非均勻性，且大多數(shù)方法僅針對(duì)某一類圖像傳感器進(jìn)行校正，并不具備通用性。因此提高圖像對(duì)比度的方法大多還是基于較為經(jīng)典的數(shù)字圖像處理算法例如直方圖均衡、指數(shù)校正、對(duì)數(shù)校正(伽瑪校正)、二值化等方法[3-8]，然而這類圖像處理算法僅僅是對(duì)圖像進(jìn)行校正而非圖像傳感器，這樣會(huì)導(dǎo)致校正算法并不能識(shí)別出照片灰度值中的噪聲部分，也就是說使用這些方法并不能校正圖像的非均勻性，并且這類算法每拍一張照片就需要對(duì)其進(jìn)行處理，操作繁瑣。

針對(duì)以上問題，為了解決傳統(tǒng)圖像傳感器校正方法只是單一的對(duì)圖像傳感器非均勻性或者非線性進(jìn)行校正且通用性較差的問題，本研究提出一種基于像素光子轉(zhuǎn)換特性的圖像傳感器校正方法，該方法可以抑制圖像傳感器的非均勻性、校正圖像傳感器的非線性現(xiàn)象、補(bǔ)償圖像傳感器的暗噪聲以及缺陷像素，從而提高圖像傳感器輸出圖像的均勻性以及對(duì)比度。

1 圖像傳感器非線性校正方法

在圖像傳感器中，每個(gè)像素都有對(duì)應(yīng)的灰度響應(yīng)曲線。

如圖1所示，如果將圖像傳感器的每個(gè)像素點(diǎn)的灰度響應(yīng)曲線都繪制出來(lái)，就會(huì)出現(xiàn)一簇灰度響應(yīng)曲線，由于這些曲線的不一致性，導(dǎo)致在相同的光照和曝光時(shí)間下，各個(gè)像素輸出的灰度值會(huì)有差異，最終輸出的圖像上會(huì)存在很多亮暗點(diǎn)。

圖1 均勻曝光下像素灰度響應(yīng)曲線

除了像素點(diǎn)之間光子轉(zhuǎn)換曲線的不一致性以外，單個(gè)像素的灰度響應(yīng)曲線并不是嚴(yán)格線性的。圖2為某科學(xué)級(jí)CCD 圖像傳感器的光子轉(zhuǎn)換曲線，圖中虛線表示的是該像素實(shí)際的灰度響應(yīng)曲線?？梢钥吹?，該像素在曝光量120 lx·ms之前基本都保持線性。然而隨著曝光時(shí)間增加，響應(yīng)曲線逐漸偏離線性并且曝光時(shí)間越長(zhǎng)該現(xiàn)象越嚴(yán)重，這是由于像素中捕獲電荷的電勢(shì)阱捕獲電荷的能力在接近飽和值得時(shí)候會(huì)降低，從而導(dǎo)致光電轉(zhuǎn)換效率降低，無(wú)法保持線性。這種轉(zhuǎn)換曲線的非線性現(xiàn)象會(huì)導(dǎo)致圖像傳感器的動(dòng)態(tài)范圍降低，并且輸出的圖像對(duì)比度較差。而理想的圖像傳感器轉(zhuǎn)換曲線應(yīng)該為圖中實(shí)線所示的一條一次函數(shù)，且每一個(gè)像素的轉(zhuǎn)換曲線都應(yīng)如此。

圖2 圖像傳感器實(shí)際與理想光子轉(zhuǎn)換曲線對(duì)比圖

針對(duì)以上問題，本文提出一種基于像素光子轉(zhuǎn)換特性的圖像傳感器校正方法。首先將圖像傳感器均勻曝光，并采集從無(wú)光到飽和曝光之間i張曝光量等差遞增的圖像數(shù)據(jù)，然后繪制出圖像傳感器所有像素的灰度響應(yīng)曲線，由圖2可以看出，每個(gè)像素的響應(yīng)曲線基本可以分為兩段，分別是線性段與非線性段，可以用一個(gè)分段函數(shù)來(lái)描述單個(gè)像素的響應(yīng)曲線

式中：Ei為第i 張照片所對(duì)應(yīng)的曝光量(時(shí)間)，μEi為在曝光量Ei下該像素所輸出的灰度值;μmax為線性段像素輸出的最大的灰度值;a1、b1、a2、b2、c2為函數(shù)表達(dá)式的擬合系數(shù)。

對(duì)于一個(gè)圖像傳感器來(lái)說，由于存在多個(gè)像素且每個(gè)像素的響應(yīng)曲線都不一樣，所以不同像素的擬合系數(shù)也各不一樣。假設(shè)一個(gè)M ×N 像素的圖像傳感器，那么其中的任意一個(gè)像素(m，n)的響應(yīng)曲線可表示為

式中：Ei為曝光量;μEi[m][n]是曝光量Ei下圖像傳感器第(m，n)個(gè)像素對(duì)應(yīng)的灰度值;μmax[m][n]是線性區(qū)域最大灰度值;a1[m][n]、b1[m][n]、a2[m][n]、b2[m][n]、c2[m][n] 是第(m，n)個(gè)像素灰度值和曝光時(shí)間的最小二乘擬合系數(shù)，這些系數(shù)可以結(jié)合等差遞增的圖像數(shù)據(jù)擬合求得并組成矩陣A、B 和C，如式(3)、(4)、(5)所示。

矩陣A、B、C 被稱為圖像傳感器的特征矩陣，利用這三個(gè)矩陣可以描述出圖像傳感器所有像素點(diǎn)的灰度響應(yīng)曲線，并且特征矩陣也是校正算法中的關(guān)鍵素材。

假設(shè)使用圖像傳感器進(jìn)行曝光并輸出一張圖像，那么可以得到該圖像對(duì)應(yīng)的灰度值矩陣為

通過上述特征矩陣A、B、C 與式(2)，利用特征矩陣中對(duì)應(yīng)像素的擬合系數(shù)可以反演出每個(gè)像素的當(dāng)前灰度值所對(duì)應(yīng)的曝光量或輻照時(shí)間

由于理想圖像傳感器的光子轉(zhuǎn)換曲線應(yīng)該是一條線性的直線，那么可以將理想的圖像傳感器灰度響應(yīng)曲線表達(dá)式定義為一個(gè)一次函數(shù)，將式(7)帶入理想的弧度轉(zhuǎn)換曲線中，即可計(jì)算出對(duì)應(yīng)曝光下理想的灰度值矩陣，即理想的圖像

式中：k、Ub為適當(dāng)?shù)某?shù)和常數(shù)矩陣，使傳感器的動(dòng)態(tài)范圍最大，且每個(gè)像素的具有相同或相近的光電轉(zhuǎn)換曲線，可根據(jù)圖像實(shí)際情況設(shè)置不同的目標(biāo)值。例如，一個(gè)最大灰度級(jí)數(shù)為x，飽和曝光量為Emax，則k=x/Emax，Ub為圖像的整體亮度參數(shù)，一般情況下為0，在輸出圖像整體較暗時(shí)可以增大該參數(shù)得到更清晰的圖像。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 圖像傳感器測(cè)試系統(tǒng)

由于本論文提出的校正方法需要將圖像傳感器置于均勻曝光環(huán)境下進(jìn)行成像進(jìn)而測(cè)試圖像傳感器的光子轉(zhuǎn)換曲線，因此本研究依照“1288測(cè)試標(biāo)準(zhǔn)”，搭建了一套圖像傳感器測(cè)試系統(tǒng)。裝置大致組成如圖3所示。

為了驗(yàn)證校正算法的效果，本論文分別以一款科學(xué)級(jí)CCD 與科學(xué)級(jí)CMOS圖像傳感器作為實(shí)驗(yàn)對(duì)象來(lái)驗(yàn)證算法的正確性以及適應(yīng)性。其中，CCD 圖像傳感器為五級(jí)實(shí)驗(yàn)片，分辨率為1 024×1 024(100 萬(wàn)像素)，片上有兩列缺陷像素。CMOS 圖像傳感器為一級(jí)片，分辨率為2 352×1 728(400萬(wàn)像素)。

由于該測(cè)試裝置中CCD 驅(qū)動(dòng)電路使用的AD 轉(zhuǎn)換芯片輸出為12 位，即最大輸出為4 096 DN。為了達(dá)到最好的校正效果，本實(shí)驗(yàn)中將目標(biāo)響應(yīng)曲線設(shè)定為正比例函數(shù)Uideal=27.31E，該目標(biāo)響應(yīng)曲線在圖像傳感器達(dá)到最大曝光150 lx·ms時(shí)灰度輸出值為4 096，滿足12位AD 轉(zhuǎn)換芯片的最大輸出，且正比例函數(shù)是嚴(yán)格線性的。

2.2 像素灰度響應(yīng)曲線校正結(jié)果

理想的像素灰度響應(yīng)曲線應(yīng)是一條一次函數(shù)，然而由于工藝的限制，每個(gè)像素的PTC 各不一樣，甚至?xí)休^大的差別，這就導(dǎo)致了圖像的不一致性，以本實(shí)驗(yàn)中的CCD 圖像傳感器為例，由圖5中校正前像素的灰度響應(yīng)曲線圖可看出該圖像傳感器存在以下幾個(gè)缺陷，在曝光量為0 lx·ms時(shí)各個(gè)像素輸出灰度值并不為0，具有比較大的暗噪聲現(xiàn)象;絕大多數(shù)像素動(dòng)態(tài)范圍沒有達(dá)到12位AD 的最大輸出僅有(500～3 500)DN;各個(gè)像素間呈現(xiàn)出了明顯的不均勻性;從曝光量為飽和曝光的一半開始，大部分響應(yīng)曲線呈現(xiàn)出非線性現(xiàn)象，曲線趨于平緩，導(dǎo)致達(dá)到飽和光強(qiáng)是輸出灰度值范圍僅為(3 500～3 800)DN;并且存在少數(shù)的缺陷像素，這些像素的灰度響應(yīng)曲線與多數(shù)像素存在較大的不一致性。

圖5 CCD 圖像傳感器500像素PTC校正前曲線

圖6 CCD 圖像傳感器500像素PTC校正后曲線

由圖5、6中校正后像素的灰度響應(yīng)曲線前后對(duì)比可以看到，經(jīng)過校正后圖像傳感器的暗噪聲得到了有效抑制，各個(gè)像素在曝光量為0 lx·ms時(shí)幾乎沒有灰度輸出;圖像傳感器的一致性得到了明顯的改善，在飽和曝光下各像素灰度跨度約為100 DN，與校正前相比灰度跨度縮小60%;響應(yīng)曲線非線性現(xiàn)象也得到了明顯校正，動(dòng)態(tài)范圍由校正前的(500～3 500)DN 擴(kuò)展為(0～4 096)DN，相比校正前提高36.5%;且缺陷像素得到很好的校正;非線性現(xiàn)象得到明顯校正。由響應(yīng)曲線對(duì)比可看出，該校正方法可以同時(shí)校正圖像傳感器的不均勻性以及非線性現(xiàn)象，此外該校正方法對(duì)于缺陷像素同樣有較好的校正效果。

2.2 像素灰度響應(yīng)曲線校正結(jié)果

為了驗(yàn)證校正方法對(duì)圖像傳感器成像的非均勻性校正效果，實(shí)驗(yàn)對(duì)CCD 以及CMOS圖像傳感器進(jìn)行均勻曝光。圖7、8為CMOS圖像傳感器校正前均勻曝光的照片原圖及灰度統(tǒng)計(jì)直方圖。

圖7 CMOS圖像傳感器校正前均勻曝光圖像

圖8 CMOS圖像傳感器校正前均勻曝光灰度直方圖

校正前CMOS圖像傳感器具有較嚴(yán)重的非均勻性，由灰度直方圖中的統(tǒng)計(jì)數(shù)據(jù)可得，均勻曝光下CMOS 圖像傳感器的灰度分布跨度約為(636～771)DN。

圖9、10為CMOS圖像傳感器校正后在相同條件下均勻曝光的圖像與灰度直方圖，由左邊的均勻曝光照片可看出經(jīng)過校正后，CMOS圖像傳感器輸出圖像的非均勻性得到明顯改善。從右邊的灰度直方圖中可得，均勻曝光下CMOS圖像傳感器校正后的的灰度分布跨度約為(680～722)DN，相比與校正前像素的一致性提高68%。

圖9 CMOS圖像傳感器校正后均勻曝光圖像

圖10 CMOS圖像傳感器校正后均勻曝光灰度直方圖

然后將校正前后的CCD 圖像傳感器分別在相同條件下進(jìn)行均勻曝光成像，得到了CCD 圖像傳感器校正前后的均勻曝光圖像以及像素灰度統(tǒng)計(jì)直方圖。

圖11為CCD 圖像傳感器校正前后均勻曝光圖像對(duì)比圖，其中左圖為校正前輸出圖像，右圖為校正后輸出圖像。由于CCD 圖像傳感器的噪聲性能相比于CMOS 圖像傳感器較好，所以CCD圖像傳感器的非均勻性并不是很嚴(yán)重。但是從左圖中可看出，該CCD 圖像傳感器有兩行缺陷像素，經(jīng)過校正后，兩行缺陷像素得到了較好校正。校正前后圖對(duì)比可看出校正后的圖像變暗了一些，這是因?yàn)樾Ｕ蟾飨袼剌敵龌叶戎械陌翟肼暡糠直灰种?，所以輸出灰度值減小。

圖11 CCD 圖像傳感器校正前后均勻曝光圖像對(duì)比圖

圖12、13分別為CCD 圖像傳感器校正前后均勻曝光像素直方圖對(duì)比圖，由圖12可看出，校正前CCD 圖像傳感器在均勻曝光下輸出圖像的灰度分布跨度約為(2 190～2 300)DN，將縱軸顯示范圍減小，放大直方圖的底部可看出部分像素的灰度與大部分像素相差較大，即為缺陷像素。校正后CCD 圖像傳感器在均勻曝光下輸出圖像統(tǒng)計(jì)直方圖如圖13所示，經(jīng)校正后可看出，圖像灰度整體由2 300 DN 減小至1 800 DN，即經(jīng)校正后暗噪聲的抑制量為500 DN;輸出圖像的灰度分布范圍約為(1 780～1 840)DN，相比與校正前像素的一致性提高45%。

圖12 CCD 圖像傳感器校正前均勻曝光灰度直方圖

2.4 實(shí)際拍攝圖像校正結(jié)果及適應(yīng)性驗(yàn)證

為了驗(yàn)證校正方法對(duì)圖像傳感器成像的非線性校正效果，實(shí)驗(yàn)使用校正前后的CCD 圖像傳感器在相同環(huán)境及相同曝光時(shí)間下對(duì)物體進(jìn)行成像曝光，然后對(duì)比其輸出圖像的質(zhì)量以及視覺效果，并且對(duì)輸出圖像的灰度分布進(jìn)行直方圖統(tǒng)計(jì)，計(jì)算圖像傳感器動(dòng)態(tài)范圍及圖像對(duì)比度的校正效果。圖14、15為CCD 圖像傳感器校正前拍攝石膏像及灰度直方圖。

圖14 CCD 圖像傳感器校正前拍攝實(shí)物圖

需要注意的是，在實(shí)際拍攝中，以塊黑色攝影布作為背景然后將石膏像放置在攝影布上作為拍攝對(duì)象且在右側(cè)放置了一個(gè)光源照射在拍攝對(duì)象上，然而由圖14中照片可看出，校正前圖像的對(duì)比度較低，石膏像以及背景的區(qū)分度并不明顯。由灰度直方圖中也可看出，照片的灰度分布范圍僅為(500～3 500)DN。

圖16、17為CCD 圖像傳感器校正后拍攝石膏像及灰度直方圖。由照片可看出，相比于校正前輸出的圖像，該圖像石膏像右側(cè)的高亮部分亮度增加，而背景的亮度下降，圖像整體對(duì)比度得到明顯改善。由灰度直方圖中也可看出，照片的灰度分布范圍擴(kuò)展為(0～3 800)DN，相比于校正前提高26.7%。同時(shí)輸出圖像中的缺陷像素行也得到明顯校正。

圖17 CCD 圖像傳感器校正后拍攝實(shí)物灰度直方圖

為了驗(yàn)證算法的適應(yīng)性，實(shí)驗(yàn)對(duì)其他物體拍攝了照片，并且輸出各圖像校正前后的像素灰度直方圖，計(jì)算圖像對(duì)比度的改善效果。

圖18、19為CCD 圖像傳感器校正前拍攝茶壺及灰度直方圖，該茶壺主體為黑色，茶壺上的花紋以紅色和白色為主。

由圖13中照片可看出，校正前圖像的對(duì)比度較低，尤其是茶壺上的花紋細(xì)節(jié)部分對(duì)比度不明顯。由灰度直方圖中可看出，照片的灰度分布范圍僅為(500～2 800)DN。

圖18 CCD 圖像傳感器校正前拍攝茶壺照片

圖19 CCD 圖像傳感器校正前拍攝茶壺灰度直方圖

圖20 CCD 圖像傳感器校正后拍攝茶壺照片

圖21 CCD 圖像傳感器校正后拍攝茶壺灰度直方圖

圖20、21為CCD 圖像傳感器校正后拍攝茶壺及灰度直方圖。由照片可看出，相比于校正前輸出的圖像，該圖像茶壺的主體更接近于真實(shí)物體的黑色，而茶壺上的反光效果及花紋細(xì)節(jié)更加明顯，照片整體對(duì)比度得到明顯改善。由灰度直方圖中也可看出，照片的灰度分布范圍擴(kuò)展為(0～3 700)DN，相比于校正前提高50.7%，輸出圖像中的缺陷像素行同樣得到了校正。

3 結(jié)論

本論文針對(duì)傳統(tǒng)圖像傳感器校正方法只是單一的對(duì)圖像傳感器非均勻性或者非線性進(jìn)行校正且通用性較差的問題，提出了一種基于像素光子轉(zhuǎn)換特性的圖像傳感器校正方法，設(shè)計(jì)了基于FPGA 時(shí)序控制的圖像數(shù)據(jù)采集電路采集實(shí)驗(yàn)所需數(shù)據(jù)，針對(duì)一款CCD 及CMOS圖像傳感器進(jìn)行校正。經(jīng)過實(shí)驗(yàn)驗(yàn)證，該校正方法可以同時(shí)校正圖像傳感器的不均勻性以及非線性現(xiàn)象，此外該校正方法對(duì)于缺陷像素同樣有明顯的校正效果。經(jīng)該方法校正后的圖像傳感器輸出圖像均勻性、對(duì)比度、像素分布范圍均有顯著提升，解決了傳統(tǒng)圖像傳感器校正方法只是單一的對(duì)圖像傳感器非均勻性或者非線性進(jìn)行校正且通用性較差的問題，且該方法適用于CCD 圖像傳感器以及CMOS圖像傳感器，具有明顯的通用性。