亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        編碼曝光相機(jī)系統(tǒng)設(shè)計(jì)

        2020-03-05 03:11:52李明偉
        應(yīng)用光學(xué) 2020年1期
        關(guān)鍵詞:信號(hào)

        李 響,李明偉,孫 怡

        (1.大連理工大學(xué) 信息與通信工程學(xué)院,遼寧 大連 116024;2.大連海洋大學(xué) 信息工程學(xué)院,遼寧 大連 116023)

        引言

        圖像去模糊是圖像與計(jì)算機(jī)視覺應(yīng)用中的一個(gè)重要問題[1]。產(chǎn)生圖像運(yùn)動(dòng)模糊的原因是,在傳感器的曝光時(shí)間內(nèi),運(yùn)動(dòng)目標(biāo)與靜態(tài)相機(jī)之間產(chǎn)生了較大的相對(duì)位移所致。一般圖像模糊模型可表示為

        式中:L代表目標(biāo)的原始清晰圖像;K表示在圖像采集時(shí)目標(biāo)與相機(jī)的相對(duì)運(yùn)動(dòng)(模糊核);η表示疊加的成像系統(tǒng)噪聲;B表示降質(zhì)后的圖像;符號(hào)?代表卷積。由于原始圖像及其成像系統(tǒng)的降質(zhì)情況未知,因此,僅由實(shí)際采集到的圖像去重建清晰圖像是一個(gè)不可逆的病態(tài)問題[2]。在目前的圖像復(fù)原研究中,甚少考慮圖像采集過程出現(xiàn)的問題對(duì)圖像質(zhì)量的影響,只是針對(duì)模糊圖像本身進(jìn)行數(shù)學(xué)建模反演、恢復(fù)重建。圖像在采集過程中發(fā)生信息損失不能在后續(xù)的復(fù)原中恢復(fù)。因此只針對(duì)采集圖像進(jìn)行圖像恢復(fù)重建,而不考慮圖像采集過程的信息損失,這種圖像復(fù)原是不完善的。

        通常的成像方式是控制相機(jī)快門一次開啟形成曝光,曝光時(shí)間決定了成像的空間分辨能力。根據(jù)信號(hào)時(shí)頻關(guān)系,曝光時(shí)間越長(越寬),其頻域帶寬越窄,保留目標(biāo)的高頻分量越少,對(duì)運(yùn)動(dòng)目標(biāo)的成像越模糊[3]。為減少頻域中高頻信息的損失,有學(xué)者[4-10]提出將一次曝光轉(zhuǎn)換為依據(jù)特定編碼的多次曝光模式,進(jìn)而保留原有目標(biāo)圖像更多的信息。在編碼曝光研究實(shí)驗(yàn)中,簡單的方法是采集多幀連續(xù)圖像疊加融合成編碼曝光圖像[6,11-14],這種方式只是模擬編碼曝光產(chǎn)生過程,而非真正的單張編碼曝光圖像。另外也有利用圖像傳感器測試平臺(tái)來獲得編碼曝光圖像。

        上述編碼曝光圖像都要經(jīng)過后處理解碼,才能得到去運(yùn)動(dòng)模糊的清晰圖像。本文設(shè)計(jì)的編碼曝光相機(jī),針對(duì)應(yīng)用需求,將編碼曝光過程和清晰圖像的解碼復(fù)原輸出過程集成在一起,實(shí)現(xiàn)了對(duì)CCD器件持續(xù)編碼曝光控制和一次電荷轉(zhuǎn)移輸出,并用FPGA 的硬件邏輯結(jié)合IP 核的方式實(shí)現(xiàn)高速智能化解碼。

        1 編碼曝光原理與實(shí)現(xiàn)

        1.1 編碼曝光去模糊原理

        編碼曝光模型是將一個(gè)完整的曝光時(shí)間分成m個(gè)相等時(shí)間的時(shí)隙,每個(gè)時(shí)隙是否曝光由對(duì)應(yīng)位的二進(jìn)制編碼決定,這里編碼長度和時(shí)隙數(shù)量相等。若編碼k=(k1,k2···km),則對(duì)應(yīng)的編碼曝光模糊核可由ki確定。若ki= 1,表示該時(shí)隙曝光;若ki= 0,表示該時(shí)隙不曝光,其中i∈[0,m]。為方便研究,(1)式的圖像采集模型用矩陣形式表示為

        利用Toeplitz 矩陣可將圖像與模糊核之間的矩陣卷積轉(zhuǎn)化為矩陣乘積。以一維信號(hào)為例,若采集長度為n的一維信號(hào)與長度為m的單一方向運(yùn)動(dòng)模糊核卷積運(yùn)算,則(2)式可由下式表示成:

        從信號(hào)的模糊情況來看,當(dāng)模糊核K中的數(shù)據(jù)全為1 時(shí),即為一般意義下的連續(xù)運(yùn)動(dòng)模糊。當(dāng)模糊核K中的數(shù)據(jù)不全為1 時(shí),表示為非連續(xù)或間斷的運(yùn)動(dòng)模糊。從快門曝光角度看,編碼曝光是按照一定頻率由預(yù)先設(shè)定的編碼來控制快門的開啟和閉合?,F(xiàn)以成像系統(tǒng)與目標(biāo)物體的一維相對(duì)線性運(yùn)動(dòng)為例,說明編碼曝光成像和復(fù)原過程,如圖1 所示。若存在任意一維信號(hào)l,通過預(yù)設(shè)編碼k=(k1,k2···km)=(1 100 101)的成像系統(tǒng)曝光,其采集信號(hào)是長度為(n+m-1)模糊信號(hào)B,可以用l與k二者的卷積表示??梢钥闯?,圖1 的結(jié)果獲得方式和(3)式的表達(dá)方式一致。

        按(3)式的轉(zhuǎn)換計(jì)算方法,圖1 中采集信號(hào)B中每一位是否存在累積變化與ki當(dāng)前數(shù)值是否為1 有關(guān)。若ki中的值為1,代表曝光,B的累積量增加;ki為0 時(shí),代表不曝光,B的累積量不變。

        與此同時(shí),(2)式亦可表達(dá)為(4)式的形式,我們可以在數(shù)據(jù)復(fù)原階段利用(4)式進(jìn)行解碼。當(dāng)l與k二者做單一方向相對(duì)運(yùn)動(dòng)時(shí),先通過預(yù)設(shè)編碼k構(gòu)造Toeplitz 矩陣形式的模糊核K,之后利用采集信號(hào)B來恢復(fù)重建一維信號(hào)l。

        圖1 一維相對(duì)運(yùn)動(dòng)與卷積計(jì)算之間的關(guān)系示意圖Fig.1 Schematic diagram of relationship between 1-D relative motion and convolution calculation

        與一維信號(hào)相似,當(dāng)出現(xiàn)二維圖像信號(hào)L時(shí),該模型可理解為二維目標(biāo)L與K之間單一方向移動(dòng)獲得模糊圖像B。當(dāng)解碼復(fù)原圖像時(shí),可以根據(jù)編碼時(shí)的二進(jìn)制序列和模糊長度構(gòu)造模糊核K,其圖像采集及理想的重建解碼過程可以由L=B/K獲得。該過程如圖2 所示,圖中的模糊核K即為(4)式所構(gòu)造,并可應(yīng)用到解碼過程中。

        圖2 編碼曝光圖像采集及圖像重建解碼過程Fig.2 Image acquisition of coded exposure and process of restored image

        1.2 CCD 成像的工作時(shí)序

        CCD 成像過程如圖3 所示。圖3 中的灰色矩形陣列代表圖像元陣列。當(dāng)受光照射時(shí),像元陣列將入射光轉(zhuǎn)化為電荷,在外加襯底柵極電極下形成電荷勢阱,襯底每吸收一個(gè)光子就會(huì)形成一個(gè)電子-空穴對(duì)[15],并在外加電場作用下移動(dòng)形成“光生電荷”,如圖3 中水滴形狀。

        勢阱電壓控制像元光生電荷的累積過程,襯底信號(hào)SUB 控制勢阱電壓,因此SUB 信號(hào)就是曝光的控制變量。SUB 為1 時(shí),像元累積電荷;SUB 為0 時(shí),像元不累積電荷。因此在采集圖像時(shí)需要一個(gè)SUB 信號(hào)控制所有像元在同一時(shí)刻曝光,再由垂直、水平同步脈沖共同驅(qū)動(dòng),將累積的電荷輸出形成像元陣列的所有電荷。如圖4 所示,垂直同步脈沖VD 驅(qū)動(dòng)光生電荷在垂直移位寄存器內(nèi)向水平移位寄存器移動(dòng)。像元陣列中所有列在同一個(gè)VD 信號(hào)下同時(shí)驅(qū)動(dòng)光生電荷一起移動(dòng)。當(dāng)光生電荷到達(dá)水平移位寄存器后,按順序由水平同步脈沖驅(qū)動(dòng)電荷向外輸出。因此一個(gè)VD 信號(hào)周期內(nèi),需要輸出同時(shí)到達(dá)水平移位寄存器的一行光生電荷,由水平同步脈沖HD 信號(hào)驅(qū)動(dòng)順序輸出。再經(jīng)過“電荷-電壓”、電壓放大、“模-數(shù)”轉(zhuǎn)換完成后,形成數(shù)字圖像陣列,即為一幅數(shù)字圖像。

        圖3 CCD 像元累積電荷轉(zhuǎn)移示意圖Fig.3 Schematic diagram of accumulative charge transfer in pixels of CCD

        圖4 一般CCD 圖像的輸出時(shí)序Fig.4 Output sequence of traditional CCD image

        1.3 編碼曝光的時(shí)序設(shè)計(jì)

        普通的曝光過程一個(gè)像元累積一次、生成并轉(zhuǎn)移光生電荷。為了得到編碼曝光圖像,需要每個(gè)像元完成多次曝光、多次累積電荷,并一次轉(zhuǎn)移輸出電荷。因此我們將原有的一次曝光分割成若干 更小的曝光時(shí)隙,該時(shí)隙的分布和預(yù)設(shè)的編碼相關(guān),一個(gè)像元就會(huì)多次累積曝光電荷。該過程可以由SUB 控制,如圖5 所示,編碼“10…1…1”加入曝光過程控制SUB 后,會(huì)得到與編碼相對(duì)應(yīng)的編碼曝光圖像輸出。若將電荷累積集中輸出,即形成編碼曝光圖像。由SUB 控制電荷是否累積,由VD 和HD 控制電荷是否轉(zhuǎn)移并形成輸出圖像。

        圖5 像元曝光累積編碼曝光電荷輸出時(shí)序Fig.5 Charge cumulative of coded exposure in pixels and their time sequence

        2 編碼曝光相機(jī)系統(tǒng)設(shè)計(jì)

        2.1 編碼曝光系統(tǒng)的硬件設(shè)計(jì)

        如圖6 所示,核心控制器選用Xilinx 公司Spartan 6 系列的XC6SLX45T-3FG484C。該芯片共484 個(gè)引腳,其中DDR3 存儲(chǔ)器、程序存儲(chǔ)器以及88E1111 千兆網(wǎng)物理層芯片分別接于廠家典型系統(tǒng)默認(rèn)引腳,以便利用現(xiàn)有資源;設(shè)計(jì)的模塊外接引腳盡量布置在同一個(gè)BANK 內(nèi),全局時(shí)鐘使用48 MHz 外部晶振;W25Q64 為64 Mbit 的配置程序存儲(chǔ)器;DDR3 數(shù)據(jù)存儲(chǔ)器MT41J64M16LA 有1 024 M數(shù)據(jù)存儲(chǔ)空間,存儲(chǔ)圖像數(shù)據(jù)和運(yùn)算中間結(jié)果;高靈敏度CCD 圖像傳感器ICX204AL 有效像素為1 024 × 768,幀率為60 frame/s;CXD3400N 作為場時(shí)序驅(qū)動(dòng)器提供列向的三態(tài)電壓時(shí)序驅(qū)動(dòng)(XV2A、XSG1、XV2B、XSG2)及襯底信號(hào)驅(qū)動(dòng)(XSUB);12 位CCD 信號(hào)處理器AD9949 作為行驅(qū)動(dòng)信號(hào)發(fā)生器(H1、H2),并提供生成信號(hào)(CCDIN)的模數(shù)轉(zhuǎn)換;88E1111 是千兆網(wǎng)物理層芯片,通過RJ45 構(gòu)成網(wǎng)絡(luò)通信接口。

        圖6 編碼曝光相機(jī)系統(tǒng)電路框圖Fig.6 Circuit block diagram of coded exposure camera system

        CXD3400N 接收FPGA 發(fā)出的垂直時(shí)鐘轉(zhuǎn)移控制信號(hào)(XV1、XV2A/XV2B、XV3)和襯底控制信號(hào)XSUB,向ICX204AL 發(fā)送電荷累積和電荷垂直移位的時(shí)序信號(hào),其中XSUB 是編碼曝光信號(hào),V2A/V2B 是三電平結(jié)構(gòu);FPGA 向AD9949 提供主時(shí)鐘(CLK)、垂直同步脈沖(VD)和水平同步脈沖(HD),F(xiàn)PGA 通過SPI 總線接口控制AD9949 生成水平時(shí)鐘轉(zhuǎn)移信號(hào)(H1、H2)和復(fù)位時(shí)鐘信號(hào)(RG),AD9949 也是CCD 信號(hào)的模數(shù)信號(hào)轉(zhuǎn)換器,將模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào),通過D[7…0]輸出到FPGA,F(xiàn)PGA 的DDR3 控制核將圖像數(shù)據(jù)發(fā)送到存儲(chǔ)器MT41J64M16LA。當(dāng)圖像采集完成后,F(xiàn)PGA 中圖像重建模塊恢復(fù)出清晰圖像,通過網(wǎng)絡(luò)通信接口輸出,可由上位機(jī)接受顯示。

        編碼曝光相機(jī)系統(tǒng)結(jié)構(gòu)如圖7 所示,主要由核心控制模塊和外部芯片功能模塊組成。核心控制模塊的功能設(shè)計(jì)如下:外部晶振通過全局時(shí)鐘引腳到核心控制模塊中的基準(zhǔn)時(shí)鐘模塊,作為系統(tǒng)的時(shí)鐘基準(zhǔn)。時(shí)序模塊產(chǎn)生CCD 傳感器的驅(qū)動(dòng)時(shí)序。曝光編碼模塊作為傳感器配置模塊的輸入變量,向圖像采集模塊的時(shí)序驅(qū)動(dòng)模塊提供曝光序列。傳感器配置模塊同時(shí)對(duì)處理模塊產(chǎn)生的垂直同步脈沖和水平同步脈沖信號(hào)進(jìn)行編輯。圖像讀取模塊利用DDR 控制模塊將數(shù)據(jù)保存在數(shù)據(jù)存儲(chǔ)器中,這時(shí)得到了編碼曝光圖像數(shù)據(jù)。隨后核心控制器中的解碼重建模塊讀取數(shù)據(jù)存儲(chǔ)器中編碼曝光圖像,進(jìn)行片內(nèi)解碼得到清晰復(fù)原圖像。圖像數(shù)據(jù)經(jīng)千兆網(wǎng)模塊可輸出顯示,也可以直接輸出編碼曝光圖像。命令模塊接受網(wǎng)絡(luò)的輸入信號(hào),可以進(jìn)行系統(tǒng)設(shè)置。千兆網(wǎng)模塊和DDR 控制均為廠家提供的資源。

        圖7 CCD 編碼曝光相機(jī)系統(tǒng)結(jié)構(gòu)Fig.7 Structure diagram of CCD coded exposure camera system

        編碼曝光圖像采集及輸出時(shí)序圖如圖8 所示。由于ICX204AL 總像素為1 034 × 792,輸出一幅圖像需要VD 控制信號(hào)1 034 個(gè),且每個(gè)VD 信號(hào)含792 個(gè)HD 信號(hào)。相機(jī)快門開關(guān)由SUB 信號(hào)控制,HD 信號(hào)為低電平時(shí),垂直時(shí)鐘信號(hào)按V1、V2A/V2B、V3 順序開始工作,并將存于垂直移位寄存器中的光生電荷向水平移位寄存器移動(dòng)。V2A/V2B的高電平信號(hào)決定了新一行圖像的起始位置。

        圖8 編碼曝光圖像采集及輸出時(shí)序圖Fig.8 Schematic diagram of image acquisition and timing sequence output with coded exposure

        2.2 編碼曝光系統(tǒng)的軟件設(shè)計(jì)

        編碼曝光解碼圖像程序流程圖如圖9 所示。曝光編碼在控制像元曝光襯底信號(hào)SUB 的同時(shí),也被用作圖像復(fù)原時(shí)構(gòu)造模糊核K,以便解碼復(fù)原。若已經(jīng)得到編碼曝光模糊圖像B,利用L=B/K解碼獲得清晰圖像輸出。上述過程由FPGA的硬件邏輯實(shí)現(xiàn)。

        文獻(xiàn)[16]中提出,同一目標(biāo)以不同相對(duì)速度通過采集相機(jī)時(shí),在采集圖像的像平面中位置不同,導(dǎo)致采集的模糊圖像不同,即可以認(rèn)為由不同模糊核造成。由于模糊核是由預(yù)設(shè)編碼的Toeplitz矩陣形式和與其等寬且不等長的模糊尺度構(gòu)成,因此采用結(jié)構(gòu)相似性與圖像熵的聯(lián)合估計(jì)方法[16]確定圖像模糊核的模糊尺度,并與二進(jìn)制編碼一起構(gòu)造模糊核。具體編碼曝光解碼復(fù)原過程如下:

        1)在核心控制器內(nèi)預(yù)設(shè)碼長為m的二進(jìn)制編碼序列k;

        2)通過設(shè)定模糊尺度與k共同構(gòu)造模糊核K;

        3)通過L=B/K解碼獲得清晰圖像,并輸出顯示。

        3 編碼曝光圖像復(fù)原性能實(shí)驗(yàn)

        3.1 編碼曝光復(fù)原圖像性能理論分析

        從信號(hào)生成角度看:CCD 成像芯片之所以能夠產(chǎn)生圖像信號(hào),是由于CCD 的感光像元作用。當(dāng)外界有入射光到達(dá)像元后,光生電荷隨之產(chǎn)生,其數(shù)量與入射光的光通量呈線性關(guān)系。因此,當(dāng)不考慮其他因素時(shí),曝光時(shí)間長短決定了入射光線的光通量的大小,進(jìn)而反應(yīng)了光生電荷的多少。長時(shí)間曝光比短時(shí)間曝光圖像電壓更高,信號(hào)更強(qiáng),從外界來看圖像更亮。當(dāng)外部環(huán)境較暗時(shí),適當(dāng)延長曝光時(shí)間,可以有效解決圖像信號(hào)不足。當(dāng)外部環(huán)境較亮,長時(shí)間曝光易出現(xiàn)圖像飽和。

        圖9 嵌入式編碼曝光系統(tǒng)程序流程圖Fig.9 Flow chart of program design for embedded coded exposure system

        從噪聲角度分析:令目標(biāo)物體與相機(jī)圖像平面上獲得單位時(shí)間內(nèi)的平均圖像強(qiáng)度為i,利用噪聲仿射模型[17]可將噪聲分為獨(dú)立于圖像信號(hào)存在的噪聲和依存于圖像信號(hào)存在的噪聲。

        獨(dú)立于圖像信號(hào)存在的噪聲由暗電流噪聲、放大器噪聲、AD 量化誤差等因素綜合表現(xiàn),該噪聲與采集信號(hào)無關(guān),其灰度級(jí)方差可表示為。與此同時(shí),依存于圖像信號(hào)的噪聲與光通量和光-電轉(zhuǎn)換過程的不確定性有關(guān)。該噪聲信號(hào)隨測量信號(hào)的增加而增大。當(dāng)曝光時(shí)間變長時(shí),光通量變大,該信號(hào)也隨之變大。令該噪聲信號(hào)與常數(shù)C有關(guān),當(dāng)曝光時(shí)間為t時(shí),該光子噪聲的方差值為Ct。

        因此,總體噪聲可以表示為

        采集圖像的信噪比為

        當(dāng)曝光時(shí)間t較長時(shí),即時(shí),有:

        當(dāng)曝光時(shí)間t較短時(shí),即時(shí),有:

        若當(dāng)i、C、σgray為常數(shù),信噪比SNRcapture均隨曝光時(shí)間t增加。因此當(dāng)只考慮曝光時(shí)間t這一因素時(shí),增加曝光時(shí)間可以提升信噪比。短時(shí)曝光(t較?。┲歇?dú)立于信號(hào)存在的噪聲對(duì)信噪比影響較大。若在單位時(shí)間內(nèi)可獲得足夠光照(即i足夠大),則短時(shí)曝光(t較?。┮部色@得較高的信噪比。

        我們利用多次生成、一次轉(zhuǎn)移光生電荷的曝光方式,累積光生電荷建立仿真模型。將單一的曝光時(shí)間分割成若干時(shí)隙,各時(shí)隙持續(xù)時(shí)間總和與原來的單次曝光時(shí)間相等。這些時(shí)隙中,只有部分參與曝光,因此,該種方法根據(jù)光通量可以分成普通單次曝光、編碼曝光、短時(shí)曝光。

        實(shí)驗(yàn)中,選取一般單次曝光、編碼曝光、短時(shí)曝光成像質(zhì)量研究其異同,如圖10 所示。其中清晰圖像如圖10(a)所示,單次曝光模型使用全“1”編碼模擬目標(biāo)圖像運(yùn)動(dòng)后的疊加,其過程如圖10(b)所示,其疊加的模糊圖像如圖10(c)所示,利用P an[18]方法的復(fù)原圖像如圖10(d)所示。編碼曝光圖像的模擬運(yùn)動(dòng)圖像是按照編碼規(guī)律,抽取普通曝光模型中對(duì)應(yīng)位的圖像進(jìn)行疊加,其過程如圖10(e)所示,疊加的模糊圖像如圖10(f)所示;利用本方法復(fù)原結(jié)果如圖10(g)所示,經(jīng)亮度調(diào)整后圖像如圖10(h)所示。短時(shí)單次曝光圖像中取一般曝光時(shí)間的前1/3 進(jìn)行“短時(shí)”設(shè)計(jì),因此該模糊圖像圖10(j)的光通量是一般單次曝光圖像圖10(c)的1/3,其復(fù)原圖像如圖10(k)所示,亮度調(diào)整后如圖10(l)所示。同時(shí),為了模擬曝光時(shí)的信噪比,在合成圖像過程中均在每幅移動(dòng)圖像移動(dòng)疊加前,加入0.005 的高斯噪聲。由于信號(hào)持續(xù)時(shí)間導(dǎo)致信號(hào)強(qiáng)度不同,在一般曝光下噪聲影響最小,編碼曝光次之,噪聲對(duì)短時(shí)曝光的影響最大。

        在圖10 的復(fù)原圖像中,編碼曝光快門轉(zhuǎn)換過程是間斷的,該編碼的使用將原來的窄帶濾波器轉(zhuǎn)變?yōu)閷拵V波器,有效避免了頻域幅值的零點(diǎn),以保存更多的高頻信息。相比于一般曝光采集的運(yùn)動(dòng)模糊圖像圖10(c),編碼曝光圖像包含了更多的高頻信息,如圖10(f)所示。當(dāng)復(fù)原正確時(shí),這些高頻信息將組成一張完整清晰的復(fù)原圖像,如圖10(g)所示。在普通曝光下圖像復(fù)原時(shí),一般曝光模型在頻域中幅值會(huì)出現(xiàn)“零”的情況,使得一些高頻信息在圖像采集時(shí)即損失,無法通過后續(xù)算法恢復(fù),導(dǎo)致復(fù)原圖像振鈴效應(yīng)明顯,如圖10(d)所示。相對(duì)而言,短時(shí)曝光采集圖像圖10(j)中由于采集圖像時(shí)接收的光通量不足,即使相對(duì)移動(dòng)造成模糊小,噪聲淹沒部分圖像信號(hào),已經(jīng)失去原有圖像部分特征,導(dǎo)致復(fù)原圖像異常。可以看出,編碼曝光是在損失較小信噪比的前提下,在采集階段保護(hù)并正確復(fù)原運(yùn)動(dòng)模糊圖像的一種有效方法。

        3.2 編碼曝光圖像復(fù)原實(shí)驗(yàn)

        編碼曝光相機(jī)設(shè)計(jì)實(shí)物如圖11 所示。

        實(shí)驗(yàn)采用m= 31 位近似最優(yōu)編碼碼字(k=1111111111111000010011101000111)[3]設(shè)計(jì),該碼字被Raskar[19]等學(xué)者證明了在編碼曝光中使用可以更多地保留高頻信息。與單次普通曝光方法相比,在相同的圖像采集時(shí)間內(nèi),普通曝光方法全時(shí)曝光,編碼曝光是非全時(shí)曝光。使用上述編碼時(shí),用n代表碼長,這里n= 31;用s代表“1”的個(gè)數(shù),這里s= 21,也即在31 個(gè)時(shí)隙中有21 個(gè)時(shí)隙的像元參與接受光信號(hào)。因此,當(dāng)其他條件完全相同時(shí),利用該編碼的光通量是普通曝光的s/n=21/31,使整體圖像偏暗。

        圖10 一般曝光、編碼曝光、短時(shí)曝光的采集運(yùn)動(dòng)模糊圖像、曝光模型、復(fù)原圖像之間的對(duì)比Fig.10 Comparison among motion blurred images, exposure models and restored images under general exposure, coded exposure and short-time exposure conditions

        圖11 編碼相機(jī)硬件電路實(shí)物圖Fig.11 Hardware circuit diagram of coded camera

        在編碼曝光時(shí)間內(nèi),被測物體在相機(jī)鏡頭前做快速的單一方向移動(dòng),曝光結(jié)束后獲得編碼曝光圖像,通過已知編碼設(shè)計(jì),并估計(jì)模糊核長度,從而得到模糊核,恢復(fù)圖像。該過程獲得的編碼曝光圖像如圖12 所示。圖12(a)是靜止清晰圖像,圖12(b)是編碼曝光圖像,圖12(c)為本文方法恢復(fù)重建圖像。

        為了客觀評(píng)價(jià)圖像復(fù)原質(zhì)量,我們使用了SMD、SMD2、Energy、Brenner 等無參考質(zhì)量評(píng)價(jià)方式對(duì)復(fù)原質(zhì)量進(jìn)行測評(píng)。由于高頻分量在運(yùn)動(dòng)模糊圖像中有損失,呈現(xiàn)細(xì)節(jié)模糊,但圖像復(fù)原正確,高頻圖像細(xì)節(jié)信息清楚,因此可以利用高頻信息數(shù)量表示圖像清晰程度,即選用灰度差分函數(shù)(SMD)和灰度差方函數(shù)(SMD2)。這兩者分別表示圖像中相鄰像素差的絕對(duì)值之和以及相鄰像素差的乘積之和。由于自然圖像邊緣清晰、明顯,為了突出目標(biāo)圖像的特征,選用能量梯度函數(shù)(Energy)和Brenner 梯度函數(shù)(Brenner),分別表示圖像中相鄰像素的梯度之和以及相隔像素的差方之和。同時(shí),圖12 的實(shí)驗(yàn)中清晰圖像已知,我們加入了圖像結(jié)構(gòu)相似性評(píng)價(jià)。如表1 所示,在全參考圖像質(zhì)量評(píng)價(jià)的圖像結(jié)構(gòu)相似性以及無參考圖像質(zhì)量評(píng)價(jià)方面,復(fù)原圖像均高于模糊圖像指數(shù)值,說明復(fù)原圖像質(zhì)量得到提升。

        圖12 清晰圖像、編碼曝光圖像與復(fù)原圖像Fig.12 Clear image, coded exposure image and restored image

        表1 圖12 中編碼曝光實(shí)驗(yàn)的圖像質(zhì)量評(píng)價(jià)指數(shù)Table 1 Image quality evaluation index of coded exposure for Fig.12

        為了獲得同一條件下的對(duì)比實(shí)驗(yàn),在同一個(gè)編碼曝光相機(jī)上,采用全“1”的碼字,類比一般單次相機(jī)曝光模型。需要獲得同一條件下的運(yùn)動(dòng)模糊圖像,拍攝時(shí)物體的運(yùn)動(dòng)在伺服系統(tǒng)下進(jìn)行,保持速度、光照等外部條件接近一致。由于Pan[18]的基于強(qiáng)度和梯度先驗(yàn)的L0 正則化圖像去模糊方法,對(duì)文字和圖形圖像均具有很強(qiáng)的重建能力,因此本文選取該方法與本文的編碼相機(jī)恢復(fù)方法進(jìn)行對(duì)比,獲得的模糊圖像及其復(fù)原圖像如圖13 所示。

        在圖13 中,編碼曝光圖像13(a)與普通曝光模糊圖像13(c)相比,視覺上的模糊程度是相近的,但編碼曝光亮度偏暗。然而,由于編碼曝光圖像中隱含著圖像的高頻信息,因此重建恢復(fù)圖像在文字筆畫及結(jié)構(gòu)上更加清晰,如編碼曝光的恢復(fù)圖像的放大圖13(e)中,中文的“碩士”、“采集”與普通曝光恢復(fù)圖像13(f)中相應(yīng)二字清晰度更高。在英文方面,“Embedded”和“System”等單詞可讀性亦更強(qiáng)。為了客觀評(píng)價(jià)圖像復(fù)原質(zhì)量,選取上述無參考圖像質(zhì)量評(píng)價(jià)指標(biāo),如表2 所示。

        圖13 本文采集編碼曝光復(fù)原圖像與普通曝光去模糊方法[18]復(fù)原圖像對(duì)比Fig.13 Comparison between restored images of coded exposure restored method and general exposure deblurred method[18]

        表2 圖13 中編碼曝光實(shí)驗(yàn)的圖像質(zhì)量評(píng)價(jià)指標(biāo)Table 2 Image quality evaluation index of coded exposure for Fig.13

        從表2 中可以看出,一般單次曝光和編碼曝光的復(fù)原圖像均比模糊圖像指標(biāo)要高,說明恢復(fù)了部分高頻信息。經(jīng)過進(jìn)一步對(duì)比指標(biāo)的提升率發(fā)現(xiàn),圖13 中測試圖像的各測試指標(biāo)平局值從一般曝光情況下的36.32%提高到編碼曝光條件下的69.47%,復(fù)原后圖像質(zhì)量的指標(biāo)平均值提高了近1 倍,說明編碼曝光條件下的復(fù)原能力要更強(qiáng)。

        4 結(jié)論

        本文設(shè)計(jì)了一種運(yùn)動(dòng)圖像去模糊的嵌入式編碼曝光相機(jī)系統(tǒng)。利用CCD 襯底控制技術(shù),實(shí)現(xiàn)持續(xù)編碼曝光控制和一次電荷轉(zhuǎn)移讀出光生電荷,從而獲得編碼曝光圖像。同時(shí),將圖像的解碼過程在同一控制器中實(shí)現(xiàn),獲得清晰運(yùn)動(dòng)復(fù)原圖像。實(shí)驗(yàn)結(jié)果表明,本文所設(shè)計(jì)的嵌入式圖像系統(tǒng)能夠解決運(yùn)動(dòng)模糊圖像的復(fù)原問題。以較低成本實(shí)現(xiàn)較高幀率相機(jī)的清晰復(fù)原圖像,并利用無參考圖像評(píng)價(jià)指標(biāo)測試,與一般曝光相比,相關(guān)指標(biāo)提升的平均值約為一般普通曝光相關(guān)指標(biāo)值的2 倍。

        猜你喜歡
        信號(hào)
        信號(hào)
        鴨綠江(2021年35期)2021-04-19 12:24:18
        完形填空二則
        7個(gè)信號(hào),警惕寶寶要感冒
        媽媽寶寶(2019年10期)2019-10-26 02:45:34
        孩子停止長個(gè)的信號(hào)
        《鐵道通信信號(hào)》訂閱單
        基于FPGA的多功能信號(hào)發(fā)生器的設(shè)計(jì)
        電子制作(2018年11期)2018-08-04 03:25:42
        基于Arduino的聯(lián)鎖信號(hào)控制接口研究
        《鐵道通信信號(hào)》訂閱單
        基于LabVIEW的力加載信號(hào)采集與PID控制
        Kisspeptin/GPR54信號(hào)通路促使性早熟形成的作用觀察
        久久久精品免费观看国产| 精品国产a一区二区三区v| 亚洲欧洲国产码专区在线观看| 亚洲综合中文字幕日韩| 精品国产乱码久久久久久婷婷 | 免费播放成人大片视频| 黑人巨大精品欧美一区二区免费| 亚洲一区 日韩精品 中文字幕| 在线观看欧美精品| 日韩国产欧美成人一区二区影院| 亚洲最新中文字幕一区| 国产精品久久熟女吞精| 亚洲tv精品一区二区三区| 人人人妻人人澡人人爽欧美一区| 久久久久亚洲av无码专区| 色噜噜狠狠色综合欧洲| 日本一区二区三区综合视频| 亚洲色图在线免费观看视频| 最近中文字幕完整版免费| 国产爆乳乱码女大生Av| 色佬易精品视频免费在线观看| 天堂资源中文网| 亚洲国产另类久久久精品黑人| 亚洲三级香港三级久久| 亚洲六月丁香色婷婷综合久久| 欧美性猛交xxxx免费看蜜桃 | 欲妇荡岳丰满少妇岳| 亚洲男人在线无码视频| 国产偷拍自拍在线观看| 一区二区三区四区草逼福利视频 | 国产国产人免费人成免费视频| 国产成人av一区二区三区无码| 亚洲精品中文字幕尤物综合 | 国产精品久线在线观看| 国产精品18禁久久久久久久久| 日韩精品有码中文字幕| 日本在线观看不卡一区二区| 国产a级三级三级三级| 久久av高潮av无码av喷吹| 无码一级视频在线| 麻豆国产成人av高清在线|