李 響，李明偉，孫 怡

（1.大連理工大學(xué) 信息與通信工程學(xué)院，遼寧 大連 116024；2.大連海洋大學(xué) 信息工程學(xué)院，遼寧 大連 116023）

引言

圖像去模糊是圖像與計(jì)算機(jī)視覺應(yīng)用中的一個(gè)重要問題[1]。產(chǎn)生圖像運(yùn)動(dòng)模糊的原因是，在傳感器的曝光時(shí)間內(nèi)，運(yùn)動(dòng)目標(biāo)與靜態(tài)相機(jī)之間產(chǎn)生了較大的相對(duì)位移所致。一般圖像模糊模型可表示為

式中：L代表目標(biāo)的原始清晰圖像；K表示在圖像采集時(shí)目標(biāo)與相機(jī)的相對(duì)運(yùn)動(dòng)（模糊核）；η表示疊加的成像系統(tǒng)噪聲；B表示降質(zhì)后的圖像；符號(hào)?代表卷積。由于原始圖像及其成像系統(tǒng)的降質(zhì)情況未知，因此，僅由實(shí)際采集到的圖像去重建清晰圖像是一個(gè)不可逆的病態(tài)問題[2]。在目前的圖像復(fù)原研究中，甚少考慮圖像采集過程出現(xiàn)的問題對(duì)圖像質(zhì)量的影響，只是針對(duì)模糊圖像本身進(jìn)行數(shù)學(xué)建模反演、恢復(fù)重建。圖像在采集過程中發(fā)生信息損失不能在后續(xù)的復(fù)原中恢復(fù)。因此只針對(duì)采集圖像進(jìn)行圖像恢復(fù)重建，而不考慮圖像采集過程的信息損失，這種圖像復(fù)原是不完善的。

通常的成像方式是控制相機(jī)快門一次開啟形成曝光，曝光時(shí)間決定了成像的空間分辨能力。根據(jù)信號(hào)時(shí)頻關(guān)系，曝光時(shí)間越長（越寬），其頻域帶寬越窄，保留目標(biāo)的高頻分量越少，對(duì)運(yùn)動(dòng)目標(biāo)的成像越模糊[3]。為減少頻域中高頻信息的損失，有學(xué)者[4-10]提出將一次曝光轉(zhuǎn)換為依據(jù)特定編碼的多次曝光模式，進(jìn)而保留原有目標(biāo)圖像更多的信息。在編碼曝光研究實(shí)驗(yàn)中，簡單的方法是采集多幀連續(xù)圖像疊加融合成編碼曝光圖像[6,11-14]，這種方式只是模擬編碼曝光產(chǎn)生過程，而非真正的單張編碼曝光圖像。另外也有利用圖像傳感器測試平臺(tái)來獲得編碼曝光圖像。

上述編碼曝光圖像都要經(jīng)過后處理解碼，才能得到去運(yùn)動(dòng)模糊的清晰圖像。本文設(shè)計(jì)的編碼曝光相機(jī)，針對(duì)應(yīng)用需求，將編碼曝光過程和清晰圖像的解碼復(fù)原輸出過程集成在一起，實(shí)現(xiàn)了對(duì)CCD器件持續(xù)編碼曝光控制和一次電荷轉(zhuǎn)移輸出，并用FPGA 的硬件邏輯結(jié)合IP 核的方式實(shí)現(xiàn)高速智能化解碼。

1 編碼曝光原理與實(shí)現(xiàn)

1.1 編碼曝光去模糊原理

編碼曝光模型是將一個(gè)完整的曝光時(shí)間分成m個(gè)相等時(shí)間的時(shí)隙，每個(gè)時(shí)隙是否曝光由對(duì)應(yīng)位的二進(jìn)制編碼決定，這里編碼長度和時(shí)隙數(shù)量相等。若編碼k=(k1,k2···km)，則對(duì)應(yīng)的編碼曝光模糊核可由ki確定。若ki= 1，表示該時(shí)隙曝光；若ki= 0，表示該時(shí)隙不曝光，其中i∈[0,m]。為方便研究，（1）式的圖像采集模型用矩陣形式表示為

利用Toeplitz 矩陣可將圖像與模糊核之間的矩陣卷積轉(zhuǎn)化為矩陣乘積。以一維信號(hào)為例，若采集長度為n的一維信號(hào)與長度為m的單一方向運(yùn)動(dòng)模糊核卷積運(yùn)算，則（2）式可由下式表示成：

從信號(hào)的模糊情況來看，當(dāng)模糊核K中的數(shù)據(jù)全為1 時(shí)，即為一般意義下的連續(xù)運(yùn)動(dòng)模糊。當(dāng)模糊核K中的數(shù)據(jù)不全為1 時(shí)，表示為非連續(xù)或間斷的運(yùn)動(dòng)模糊。從快門曝光角度看，編碼曝光是按照一定頻率由預(yù)先設(shè)定的編碼來控制快門的開啟和閉合?，F(xiàn)以成像系統(tǒng)與目標(biāo)物體的一維相對(duì)線性運(yùn)動(dòng)為例，說明編碼曝光成像和復(fù)原過程，如圖1 所示。若存在任意一維信號(hào)l，通過預(yù)設(shè)編碼k=(k1,k2···km)=(1 100 101)的成像系統(tǒng)曝光，其采集信號(hào)是長度為(n+m-1)模糊信號(hào)B，可以用l與k二者的卷積表示?？梢钥闯?，圖1 的結(jié)果獲得方式和（3）式的表達(dá)方式一致。

按（3）式的轉(zhuǎn)換計(jì)算方法，圖1 中采集信號(hào)B中每一位是否存在累積變化與ki當(dāng)前數(shù)值是否為1 有關(guān)。若ki中的值為1，代表曝光，B的累積量增加；ki為0 時(shí)，代表不曝光，B的累積量不變。

與此同時(shí)，（2）式亦可表達(dá)為（4）式的形式，我們可以在數(shù)據(jù)復(fù)原階段利用（4）式進(jìn)行解碼。當(dāng)l與k二者做單一方向相對(duì)運(yùn)動(dòng)時(shí)，先通過預(yù)設(shè)編碼k構(gòu)造Toeplitz 矩陣形式的模糊核K，之后利用采集信號(hào)B來恢復(fù)重建一維信號(hào)l。

圖1 一維相對(duì)運(yùn)動(dòng)與卷積計(jì)算之間的關(guān)系示意圖Fig.1 Schematic diagram of relationship between 1-D relative motion and convolution calculation

與一維信號(hào)相似，當(dāng)出現(xiàn)二維圖像信號(hào)L時(shí)，該模型可理解為二維目標(biāo)L與K之間單一方向移動(dòng)獲得模糊圖像B。當(dāng)解碼復(fù)原圖像時(shí)，可以根據(jù)編碼時(shí)的二進(jìn)制序列和模糊長度構(gòu)造模糊核K，其圖像采集及理想的重建解碼過程可以由L=B/K獲得。該過程如圖2 所示，圖中的模糊核K即為（4）式所構(gòu)造，并可應(yīng)用到解碼過程中。

圖2 編碼曝光圖像采集及圖像重建解碼過程Fig.2 Image acquisition of coded exposure and process of restored image

1.2 CCD 成像的工作時(shí)序

CCD 成像過程如圖3 所示。圖3 中的灰色矩形陣列代表圖像元陣列。當(dāng)受光照射時(shí)，像元陣列將入射光轉(zhuǎn)化為電荷，在外加襯底柵極電極下形成電荷勢阱，襯底每吸收一個(gè)光子就會(huì)形成一個(gè)電子-空穴對(duì)[15]，并在外加電場作用下移動(dòng)形成“光生電荷”，如圖3 中水滴形狀。

勢阱電壓控制像元光生電荷的累積過程，襯底信號(hào)SUB 控制勢阱電壓，因此SUB 信號(hào)就是曝光的控制變量。SUB 為1 時(shí)，像元累積電荷；SUB 為0 時(shí)，像元不累積電荷。因此在采集圖像時(shí)需要一個(gè)SUB 信號(hào)控制所有像元在同一時(shí)刻曝光，再由垂直、水平同步脈沖共同驅(qū)動(dòng)，將累積的電荷輸出形成像元陣列的所有電荷。如圖4 所示，垂直同步脈沖VD 驅(qū)動(dòng)光生電荷在垂直移位寄存器內(nèi)向水平移位寄存器移動(dòng)。像元陣列中所有列在同一個(gè)VD 信號(hào)下同時(shí)驅(qū)動(dòng)光生電荷一起移動(dòng)。當(dāng)光生電荷到達(dá)水平移位寄存器后，按順序由水平同步脈沖驅(qū)動(dòng)電荷向外輸出。因此一個(gè)VD 信號(hào)周期內(nèi)，需要輸出同時(shí)到達(dá)水平移位寄存器的一行光生電荷，由水平同步脈沖HD 信號(hào)驅(qū)動(dòng)順序輸出。再經(jīng)過“電荷-電壓”、電壓放大、“模-數(shù)”轉(zhuǎn)換完成后，形成數(shù)字圖像陣列，即為一幅數(shù)字圖像。

圖3 CCD 像元累積電荷轉(zhuǎn)移示意圖Fig.3 Schematic diagram of accumulative charge transfer in pixels of CCD

圖4 一般CCD 圖像的輸出時(shí)序Fig.4 Output sequence of traditional CCD image

1.3 編碼曝光的時(shí)序設(shè)計(jì)

普通的曝光過程一個(gè)像元累積一次、生成并轉(zhuǎn)移光生電荷。為了得到編碼曝光圖像，需要每個(gè)像元完成多次曝光、多次累積電荷，并一次轉(zhuǎn)移輸出電荷。因此我們將原有的一次曝光分割成若干 更小的曝光時(shí)隙，該時(shí)隙的分布和預(yù)設(shè)的編碼相關(guān)，一個(gè)像元就會(huì)多次累積曝光電荷。該過程可以由SUB 控制，如圖5 所示，編碼“10…1…1”加入曝光過程控制SUB 后，會(huì)得到與編碼相對(duì)應(yīng)的編碼曝光圖像輸出。若將電荷累積集中輸出，即形成編碼曝光圖像。由SUB 控制電荷是否累積，由VD 和HD 控制電荷是否轉(zhuǎn)移并形成輸出圖像。

圖5 像元曝光累積編碼曝光電荷輸出時(shí)序Fig.5 Charge cumulative of coded exposure in pixels and their time sequence

2 編碼曝光相機(jī)系統(tǒng)設(shè)計(jì)

2.1 編碼曝光系統(tǒng)的硬件設(shè)計(jì)

如圖6 所示，核心控制器選用Xilinx 公司Spartan 6 系列的XC6SLX45T-3FG484C。該芯片共484 個(gè)引腳，其中DDR3 存儲(chǔ)器、程序存儲(chǔ)器以及88E1111 千兆網(wǎng)物理層芯片分別接于廠家典型系統(tǒng)默認(rèn)引腳，以便利用現(xiàn)有資源；設(shè)計(jì)的模塊外接引腳盡量布置在同一個(gè)BANK 內(nèi)，全局時(shí)鐘使用48 MHz 外部晶振；W25Q64 為64 Mbit 的配置程序存儲(chǔ)器；DDR3 數(shù)據(jù)存儲(chǔ)器MT41J64M16LA 有1 024 M數(shù)據(jù)存儲(chǔ)空間，存儲(chǔ)圖像數(shù)據(jù)和運(yùn)算中間結(jié)果；高靈敏度CCD 圖像傳感器ICX204AL 有效像素為1 024 × 768，幀率為60 frame/s；CXD3400N 作為場時(shí)序驅(qū)動(dòng)器提供列向的三態(tài)電壓時(shí)序驅(qū)動(dòng)（XV2A、XSG1、XV2B、XSG2）及襯底信號(hào)驅(qū)動(dòng)（XSUB）；12 位CCD 信號(hào)處理器AD9949 作為行驅(qū)動(dòng)信號(hào)發(fā)生器（H1、H2），并提供生成信號(hào)（CCDIN）的模數(shù)轉(zhuǎn)換；88E1111 是千兆網(wǎng)物理層芯片，通過RJ45 構(gòu)成網(wǎng)絡(luò)通信接口。

圖6 編碼曝光相機(jī)系統(tǒng)電路框圖Fig.6 Circuit block diagram of coded exposure camera system

CXD3400N 接收FPGA 發(fā)出的垂直時(shí)鐘轉(zhuǎn)移控制信號(hào)（XV1、XV2A/XV2B、XV3）和襯底控制信號(hào)XSUB，向ICX204AL 發(fā)送電荷累積和電荷垂直移位的時(shí)序信號(hào)，其中XSUB 是編碼曝光信號(hào)，V2A/V2B 是三電平結(jié)構(gòu)；FPGA 向AD9949 提供主時(shí)鐘（CLK）、垂直同步脈沖（VD）和水平同步脈沖（HD），F(xiàn)PGA 通過SPI 總線接口控制AD9949 生成水平時(shí)鐘轉(zhuǎn)移信號(hào)（H1、H2）和復(fù)位時(shí)鐘信號(hào)（RG），AD9949 也是CCD 信號(hào)的模數(shù)信號(hào)轉(zhuǎn)換器，將模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，通過D[7…0]輸出到FPGA，F(xiàn)PGA 的DDR3 控制核將圖像數(shù)據(jù)發(fā)送到存儲(chǔ)器MT41J64M16LA。當(dāng)圖像采集完成后，F(xiàn)PGA 中圖像重建模塊恢復(fù)出清晰圖像，通過網(wǎng)絡(luò)通信接口輸出，可由上位機(jī)接受顯示。

編碼曝光相機(jī)系統(tǒng)結(jié)構(gòu)如圖7 所示，主要由核心控制模塊和外部芯片功能模塊組成。核心控制模塊的功能設(shè)計(jì)如下：外部晶振通過全局時(shí)鐘引腳到核心控制模塊中的基準(zhǔn)時(shí)鐘模塊，作為系統(tǒng)的時(shí)鐘基準(zhǔn)。時(shí)序模塊產(chǎn)生CCD 傳感器的驅(qū)動(dòng)時(shí)序。曝光編碼模塊作為傳感器配置模塊的輸入變量，向圖像采集模塊的時(shí)序驅(qū)動(dòng)模塊提供曝光序列。傳感器配置模塊同時(shí)對(duì)處理模塊產(chǎn)生的垂直同步脈沖和水平同步脈沖信號(hào)進(jìn)行編輯。圖像讀取模塊利用DDR 控制模塊將數(shù)據(jù)保存在數(shù)據(jù)存儲(chǔ)器中，這時(shí)得到了編碼曝光圖像數(shù)據(jù)。隨后核心控制器中的解碼重建模塊讀取數(shù)據(jù)存儲(chǔ)器中編碼曝光圖像，進(jìn)行片內(nèi)解碼得到清晰復(fù)原圖像。圖像數(shù)據(jù)經(jīng)千兆網(wǎng)模塊可輸出顯示，也可以直接輸出編碼曝光圖像。命令模塊接受網(wǎng)絡(luò)的輸入信號(hào)，可以進(jìn)行系統(tǒng)設(shè)置。千兆網(wǎng)模塊和DDR 控制均為廠家提供的資源。

圖7 CCD 編碼曝光相機(jī)系統(tǒng)結(jié)構(gòu)Fig.7 Structure diagram of CCD coded exposure camera system

編碼曝光圖像采集及輸出時(shí)序圖如圖8 所示。由于ICX204AL 總像素為1 034 × 792，輸出一幅圖像需要VD 控制信號(hào)1 034 個(gè)，且每個(gè)VD 信號(hào)含792 個(gè)HD 信號(hào)。相機(jī)快門開關(guān)由SUB 信號(hào)控制，HD 信號(hào)為低電平時(shí)，垂直時(shí)鐘信號(hào)按V1、V2A/V2B、V3 順序開始工作，并將存于垂直移位寄存器中的光生電荷向水平移位寄存器移動(dòng)。V2A/V2B的高電平信號(hào)決定了新一行圖像的起始位置。

圖8 編碼曝光圖像采集及輸出時(shí)序圖Fig.8 Schematic diagram of image acquisition and timing sequence output with coded exposure

2.2 編碼曝光系統(tǒng)的軟件設(shè)計(jì)

編碼曝光解碼圖像程序流程圖如圖9 所示。曝光編碼在控制像元曝光襯底信號(hào)SUB 的同時(shí)，也被用作圖像復(fù)原時(shí)構(gòu)造模糊核K，以便解碼復(fù)原。若已經(jīng)得到編碼曝光模糊圖像B，利用L=B/K解碼獲得清晰圖像輸出。上述過程由FPGA的硬件邏輯實(shí)現(xiàn)。

文獻(xiàn)[16]中提出，同一目標(biāo)以不同相對(duì)速度通過采集相機(jī)時(shí)，在采集圖像的像平面中位置不同，導(dǎo)致采集的模糊圖像不同，即可以認(rèn)為由不同模糊核造成。由于模糊核是由預(yù)設(shè)編碼的Toeplitz矩陣形式和與其等寬且不等長的模糊尺度構(gòu)成，因此采用結(jié)構(gòu)相似性與圖像熵的聯(lián)合估計(jì)方法[16]確定圖像模糊核的模糊尺度，并與二進(jìn)制編碼一起構(gòu)造模糊核。具體編碼曝光解碼復(fù)原過程如下：

1）在核心控制器內(nèi)預(yù)設(shè)碼長為m的二進(jìn)制編碼序列k；

2）通過設(shè)定模糊尺度與k共同構(gòu)造模糊核K；

3）通過L=B/K解碼獲得清晰圖像，并輸出顯示。

3 編碼曝光圖像復(fù)原性能實(shí)驗(yàn)

3.1 編碼曝光復(fù)原圖像性能理論分析

從信號(hào)生成角度看：CCD 成像芯片之所以能夠產(chǎn)生圖像信號(hào)，是由于CCD 的感光像元作用。當(dāng)外界有入射光到達(dá)像元后，光生電荷隨之產(chǎn)生，其數(shù)量與入射光的光通量呈線性關(guān)系。因此，當(dāng)不考慮其他因素時(shí)，曝光時(shí)間長短決定了入射光線的光通量的大小，進(jìn)而反應(yīng)了光生電荷的多少。長時(shí)間曝光比短時(shí)間曝光圖像電壓更高，信號(hào)更強(qiáng)，從外界來看圖像更亮。當(dāng)外部環(huán)境較暗時(shí)，適當(dāng)延長曝光時(shí)間，可以有效解決圖像信號(hào)不足。當(dāng)外部環(huán)境較亮，長時(shí)間曝光易出現(xiàn)圖像飽和。

圖9 嵌入式編碼曝光系統(tǒng)程序流程圖Fig.9 Flow chart of program design for embedded coded exposure system

從噪聲角度分析：令目標(biāo)物體與相機(jī)圖像平面上獲得單位時(shí)間內(nèi)的平均圖像強(qiáng)度為i，利用噪聲仿射模型[17]可將噪聲分為獨(dú)立于圖像信號(hào)存在的噪聲和依存于圖像信號(hào)存在的噪聲。

獨(dú)立于圖像信號(hào)存在的噪聲由暗電流噪聲、放大器噪聲、AD 量化誤差等因素綜合表現(xiàn)，該噪聲與采集信號(hào)無關(guān)，其灰度級(jí)方差可表示為。與此同時(shí)，依存于圖像信號(hào)的噪聲與光通量和光-電轉(zhuǎn)換過程的不確定性有關(guān)。該噪聲信號(hào)隨測量信號(hào)的增加而增大。當(dāng)曝光時(shí)間變長時(shí)，光通量變大，該信號(hào)也隨之變大。令該噪聲信號(hào)與常數(shù)C有關(guān)，當(dāng)曝光時(shí)間為t時(shí)，該光子噪聲的方差值為Ct。

因此，總體噪聲可以表示為

采集圖像的信噪比為

當(dāng)曝光時(shí)間t較長時(shí)，即時(shí)，有：

當(dāng)曝光時(shí)間t較短時(shí)，即時(shí)，有：

若當(dāng)i、C、σgray為常數(shù)，信噪比SNRcapture均隨曝光時(shí)間t增加。因此當(dāng)只考慮曝光時(shí)間t這一因素時(shí)，增加曝光時(shí)間可以提升信噪比。短時(shí)曝光（t較?。┲歇?dú)立于信號(hào)存在的噪聲對(duì)信噪比影響較大。若在單位時(shí)間內(nèi)可獲得足夠光照（即i足夠大），則短時(shí)曝光（t較?。┮部色@得較高的信噪比。

我們利用多次生成、一次轉(zhuǎn)移光生電荷的曝光方式，累積光生電荷建立仿真模型。將單一的曝光時(shí)間分割成若干時(shí)隙，各時(shí)隙持續(xù)時(shí)間總和與原來的單次曝光時(shí)間相等。這些時(shí)隙中，只有部分參與曝光，因此，該種方法根據(jù)光通量可以分成普通單次曝光、編碼曝光、短時(shí)曝光。

實(shí)驗(yàn)中，選取一般單次曝光、編碼曝光、短時(shí)曝光成像質(zhì)量研究其異同，如圖10 所示。其中清晰圖像如圖10（a）所示，單次曝光模型使用全“1”編碼模擬目標(biāo)圖像運(yùn)動(dòng)后的疊加，其過程如圖10（b）所示，其疊加的模糊圖像如圖10（c）所示，利用P an[18]方法的復(fù)原圖像如圖10（d）所示。編碼曝光圖像的模擬運(yùn)動(dòng)圖像是按照編碼規(guī)律，抽取普通曝光模型中對(duì)應(yīng)位的圖像進(jìn)行疊加，其過程如圖10（e）所示，疊加的模糊圖像如圖10（f）所示；利用本方法復(fù)原結(jié)果如圖10（g）所示，經(jīng)亮度調(diào)整后圖像如圖10（h）所示。短時(shí)單次曝光圖像中取一般曝光時(shí)間的前1/3 進(jìn)行“短時(shí)”設(shè)計(jì)，因此該模糊圖像圖10（j）的光通量是一般單次曝光圖像圖10（c）的1/3，其復(fù)原圖像如圖10（k）所示，亮度調(diào)整后如圖10（l）所示。同時(shí)，為了模擬曝光時(shí)的信噪比，在合成圖像過程中均在每幅移動(dòng)圖像移動(dòng)疊加前，加入0.005 的高斯噪聲。由于信號(hào)持續(xù)時(shí)間導(dǎo)致信號(hào)強(qiáng)度不同，在一般曝光下噪聲影響最小，編碼曝光次之，噪聲對(duì)短時(shí)曝光的影響最大。

在圖10 的復(fù)原圖像中，編碼曝光快門轉(zhuǎn)換過程是間斷的，該編碼的使用將原來的窄帶濾波器轉(zhuǎn)變?yōu)閷拵V波器，有效避免了頻域幅值的零點(diǎn)，以保存更多的高頻信息。相比于一般曝光采集的運(yùn)動(dòng)模糊圖像圖10（c），編碼曝光圖像包含了更多的高頻信息，如圖10（f）所示。當(dāng)復(fù)原正確時(shí)，這些高頻信息將組成一張完整清晰的復(fù)原圖像，如圖10（g）所示。在普通曝光下圖像復(fù)原時(shí)，一般曝光模型在頻域中幅值會(huì)出現(xiàn)“零”的情況，使得一些高頻信息在圖像采集時(shí)即損失，無法通過后續(xù)算法恢復(fù)，導(dǎo)致復(fù)原圖像振鈴效應(yīng)明顯，如圖10（d）所示。相對(duì)而言，短時(shí)曝光采集圖像圖10（j）中由于采集圖像時(shí)接收的光通量不足，即使相對(duì)移動(dòng)造成模糊小，噪聲淹沒部分圖像信號(hào)，已經(jīng)失去原有圖像部分特征，導(dǎo)致復(fù)原圖像異常。可以看出，編碼曝光是在損失較小信噪比的前提下，在采集階段保護(hù)并正確復(fù)原運(yùn)動(dòng)模糊圖像的一種有效方法。

3.2 編碼曝光圖像復(fù)原實(shí)驗(yàn)

編碼曝光相機(jī)設(shè)計(jì)實(shí)物如圖11 所示。

實(shí)驗(yàn)采用m= 31 位近似最優(yōu)編碼碼字（k=1111111111111000010011101000111）[3]設(shè)計(jì)，該碼字被Raskar[19]等學(xué)者證明了在編碼曝光中使用可以更多地保留高頻信息。與單次普通曝光方法相比，在相同的圖像采集時(shí)間內(nèi)，普通曝光方法全時(shí)曝光，編碼曝光是非全時(shí)曝光。使用上述編碼時(shí)，用n代表碼長，這里n= 31；用s代表“1”的個(gè)數(shù)，這里s= 21，也即在31 個(gè)時(shí)隙中有21 個(gè)時(shí)隙的像元參與接受光信號(hào)。因此，當(dāng)其他條件完全相同時(shí)，利用該編碼的光通量是普通曝光的s/n=21/31，使整體圖像偏暗。

圖10 一般曝光、編碼曝光、短時(shí)曝光的采集運(yùn)動(dòng)模糊圖像、曝光模型、復(fù)原圖像之間的對(duì)比Fig.10 Comparison among motion blurred images, exposure models and restored images under general exposure, coded exposure and short-time exposure conditions

圖11 編碼相機(jī)硬件電路實(shí)物圖Fig.11 Hardware circuit diagram of coded camera

在編碼曝光時(shí)間內(nèi)，被測物體在相機(jī)鏡頭前做快速的單一方向移動(dòng)，曝光結(jié)束后獲得編碼曝光圖像，通過已知編碼設(shè)計(jì)，并估計(jì)模糊核長度，從而得到模糊核，恢復(fù)圖像。該過程獲得的編碼曝光圖像如圖12 所示。圖12（a）是靜止清晰圖像，圖12（b）是編碼曝光圖像，圖12（c）為本文方法恢復(fù)重建圖像。

為了客觀評(píng)價(jià)圖像復(fù)原質(zhì)量，我們使用了SMD、SMD2、Energy、Brenner 等無參考質(zhì)量評(píng)價(jià)方式對(duì)復(fù)原質(zhì)量進(jìn)行測評(píng)。由于高頻分量在運(yùn)動(dòng)模糊圖像中有損失，呈現(xiàn)細(xì)節(jié)模糊，但圖像復(fù)原正確，高頻圖像細(xì)節(jié)信息清楚，因此可以利用高頻信息數(shù)量表示圖像清晰程度，即選用灰度差分函數(shù)（SMD）和灰度差方函數(shù)（SMD2）。這兩者分別表示圖像中相鄰像素差的絕對(duì)值之和以及相鄰像素差的乘積之和。由于自然圖像邊緣清晰、明顯，為了突出目標(biāo)圖像的特征，選用能量梯度函數(shù)（Energy）和Brenner 梯度函數(shù)（Brenner），分別表示圖像中相鄰像素的梯度之和以及相隔像素的差方之和。同時(shí)，圖12 的實(shí)驗(yàn)中清晰圖像已知，我們加入了圖像結(jié)構(gòu)相似性評(píng)價(jià)。如表1 所示，在全參考圖像質(zhì)量評(píng)價(jià)的圖像結(jié)構(gòu)相似性以及無參考圖像質(zhì)量評(píng)價(jià)方面，復(fù)原圖像均高于模糊圖像指數(shù)值，說明復(fù)原圖像質(zhì)量得到提升。

圖12 清晰圖像、編碼曝光圖像與復(fù)原圖像Fig.12 Clear image, coded exposure image and restored image

表1 圖12 中編碼曝光實(shí)驗(yàn)的圖像質(zhì)量評(píng)價(jià)指數(shù)Table 1 Image quality evaluation index of coded exposure for Fig.12

為了獲得同一條件下的對(duì)比實(shí)驗(yàn)，在同一個(gè)編碼曝光相機(jī)上，采用全“1”的碼字，類比一般單次相機(jī)曝光模型。需要獲得同一條件下的運(yùn)動(dòng)模糊圖像，拍攝時(shí)物體的運(yùn)動(dòng)在伺服系統(tǒng)下進(jìn)行，保持速度、光照等外部條件接近一致。由于Pan[18]的基于強(qiáng)度和梯度先驗(yàn)的L0 正則化圖像去模糊方法，對(duì)文字和圖形圖像均具有很強(qiáng)的重建能力，因此本文選取該方法與本文的編碼相機(jī)恢復(fù)方法進(jìn)行對(duì)比，獲得的模糊圖像及其復(fù)原圖像如圖13 所示。

在圖13 中，編碼曝光圖像13（a）與普通曝光模糊圖像13（c）相比，視覺上的模糊程度是相近的，但編碼曝光亮度偏暗。然而，由于編碼曝光圖像中隱含著圖像的高頻信息，因此重建恢復(fù)圖像在文字筆畫及結(jié)構(gòu)上更加清晰，如編碼曝光的恢復(fù)圖像的放大圖13（e）中，中文的“碩士”、“采集”與普通曝光恢復(fù)圖像13（f）中相應(yīng)二字清晰度更高。在英文方面，“Embedded”和“System”等單詞可讀性亦更強(qiáng)。為了客觀評(píng)價(jià)圖像復(fù)原質(zhì)量，選取上述無參考圖像質(zhì)量評(píng)價(jià)指標(biāo)，如表2 所示。

圖13 本文采集編碼曝光復(fù)原圖像與普通曝光去模糊方法[18]復(fù)原圖像對(duì)比Fig.13 Comparison between restored images of coded exposure restored method and general exposure deblurred method[18]

表2 圖13 中編碼曝光實(shí)驗(yàn)的圖像質(zhì)量評(píng)價(jià)指標(biāo)Table 2 Image quality evaluation index of coded exposure for Fig.13

從表2 中可以看出，一般單次曝光和編碼曝光的復(fù)原圖像均比模糊圖像指標(biāo)要高，說明恢復(fù)了部分高頻信息。經(jīng)過進(jìn)一步對(duì)比指標(biāo)的提升率發(fā)現(xiàn)，圖13 中測試圖像的各測試指標(biāo)平局值從一般曝光情況下的36.32%提高到編碼曝光條件下的69.47%，復(fù)原后圖像質(zhì)量的指標(biāo)平均值提高了近1 倍，說明編碼曝光條件下的復(fù)原能力要更強(qiáng)。

4 結(jié)論

本文設(shè)計(jì)了一種運(yùn)動(dòng)圖像去模糊的嵌入式編碼曝光相機(jī)系統(tǒng)。利用CCD 襯底控制技術(shù)，實(shí)現(xiàn)持續(xù)編碼曝光控制和一次電荷轉(zhuǎn)移讀出光生電荷，從而獲得編碼曝光圖像。同時(shí)，將圖像的解碼過程在同一控制器中實(shí)現(xiàn)，獲得清晰運(yùn)動(dòng)復(fù)原圖像。實(shí)驗(yàn)結(jié)果表明，本文所設(shè)計(jì)的嵌入式圖像系統(tǒng)能夠解決運(yùn)動(dòng)模糊圖像的復(fù)原問題。以較低成本實(shí)現(xiàn)較高幀率相機(jī)的清晰復(fù)原圖像，并利用無參考圖像評(píng)價(jià)指標(biāo)測試，與一般曝光相比，相關(guān)指標(biāo)提升的平均值約為一般普通曝光相關(guān)指標(biāo)值的2 倍。