摘要：數(shù)字對(duì)焦光場(chǎng)成像技術(shù)是一種新型的計(jì)算成像技術(shù)，利用光學(xué)手段獲取四維光場(chǎng)信息，通過(guò)重構(gòu)二維空間信息和一維深度信息，達(dá)到先拍攝后對(duì)焦的目的。研究光場(chǎng)圖像數(shù)字對(duì)焦重構(gòu)算法，利用TI公司推出的DaVinci系列處理器DM6467對(duì)數(shù)字對(duì)焦重構(gòu)算法進(jìn)行硬件仿真，通過(guò)改變對(duì)焦系數(shù)，得到不同深度的對(duì)焦圖像。同時(shí)，根據(jù)C64x+DSP核的特點(diǎn)，通過(guò)循環(huán)分解、項(xiàng)目級(jí)優(yōu)化等方法對(duì)代碼進(jìn)行一定的優(yōu)化，使代碼執(zhí)行效率提高了18倍左右，對(duì)實(shí)現(xiàn)光場(chǎng)成像系統(tǒng)的小型化和實(shí)時(shí)化具有重要的指導(dǎo)意義。

關(guān)鍵詞：數(shù)字對(duì)焦； 圖像重構(gòu)； DM6467； 算法優(yōu)化

中圖分類號(hào)：TN919.8534文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1004373X(2012)04009104

Implementation of digital refocusing reconstruction algorithm based on DaVinci technology

PENG Dingguo1， YUAN Yan1， ZHOU Zhiliang2， YANG Wanglin1

(1. MOE Key Laboratory of Precision Optomechatronics Technology， Beijing University of Aeronautics and Astronautics， Beijing 100191，China;

2. China University of Science and Technology， Hefei 230026， China)

Abstract： The digital refocusing lightfield photography is a new kind of computational photography， which capturs fourdimensional lightfield information by optical methods and reconstructs twodimensional spatial information and onedimensional depth information in object space to photograph focused at different depths. Based on the research of digital refocusing reconstruction algorithms， the hardware implementation of digital refocusing algorithms for reconstruction of lightfield images is presented. The DM6467 processor， one of TI's DaVinci series， is utilized as the processing platform. Images at different depths are reconstructed by changing refocusing coefficient. Moreover， code optimization methods such as cyclic decomposition， projectlevel optimization and so on are proposed according to the C64x+dsp core， which improves the code excutive efficiency by a factor of 18. It has a instructive significance for realizing a portable and realtime lightfield imaging system in the future.

Keywords： digital refocusing; image reconstruction; DM6467; algorithm optimization

收稿日期：20110915

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(60972088)；長(zhǎng)江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃資助(IRT0705)0引言

傳統(tǒng)成像技術(shù)所成的圖像僅僅反應(yīng)了物面光波場(chǎng)的二維空間分布，丟失了光波場(chǎng)的方向信息；而光場(chǎng)成像技術(shù)作為一種新型的計(jì)算成像技術(shù)，可以在一次曝光中，同時(shí)記錄下入射光線的空間分布信息和傳播方向信息，從而獲得比傳統(tǒng)成像技術(shù)所成圖像信息更加豐富的光場(chǎng)四維圖像。通過(guò)復(fù)現(xiàn)光波場(chǎng)的二維空間分布和二維方向信息，重構(gòu)物空間的二維空間信息和一維深度信息，達(dá)到先拍攝后對(duì)焦的目的。

光場(chǎng)成像系統(tǒng)結(jié)構(gòu)復(fù)雜，光場(chǎng)圖像分辨率高，數(shù)據(jù)量大，圖像重構(gòu)算法運(yùn)算量較大，圖像的后期處理依賴于高性能的PC機(jī)，不利于系統(tǒng)的小型化、便攜化，不利于光場(chǎng)相機(jī)的應(yīng)用和推廣［1］。嵌入式系統(tǒng)具有便攜、低成本、低功耗等特點(diǎn)，它以應(yīng)用為中心，以計(jì)算機(jī)技術(shù)為基礎(chǔ)、軟硬件可裁剪、適應(yīng)應(yīng)用系統(tǒng)對(duì)功能、可靠性、成本、體積、功耗嚴(yán)格要求的專用計(jì)算機(jī)系統(tǒng)［2］。嵌入式微處理器發(fā)展迅速，主頻越來(lái)越高，功能越來(lái)越強(qiáng)，TMS320DM6467數(shù)字媒體處理器是一款基于DSP的SoC，集成了297 MHz 時(shí)鐘速率ARM926EJS內(nèi)核、594 MHz時(shí)鐘速率的C64x+DSP內(nèi)核［3］，其雙核架構(gòu)的片上系統(tǒng)，既能勝任復(fù)雜的系統(tǒng)管理任務(wù)，又能滿足實(shí)時(shí)算法處理的需求，特別適用于實(shí)時(shí)音視頻和圖像處理領(lǐng)域［4］，為光場(chǎng)圖像處理系統(tǒng)的小型化、實(shí)時(shí)化提供了一個(gè)良好的平臺(tái)。

本文介紹光場(chǎng)成像技術(shù)基本原理，分析數(shù)字對(duì)焦圖像重構(gòu)技術(shù)的特點(diǎn)，在TI 公司的DM6467平臺(tái)上實(shí)現(xiàn)光場(chǎng)圖像數(shù)字對(duì)焦重構(gòu)算法，并對(duì)其進(jìn)行優(yōu)化，為光場(chǎng)成像技術(shù)系統(tǒng)的小型化、實(shí)時(shí)化以及光場(chǎng)相機(jī)的應(yīng)用做出了探索性的研究。

1光場(chǎng)成像原理

光場(chǎng)成像的概念由Marc Levoy和Ren Ng等人提出并發(fā)展［5］。主要是指通過(guò)在傳統(tǒng)光學(xué)成像系統(tǒng)中利用孔徑分割或加入調(diào)制掩模［6］的方法來(lái)獲得目標(biāo)光輻射的空間分布和輻射傳輸?shù)姆较蛐畔?。圖1為利用微透鏡實(shí)現(xiàn)孔鏡分割的光場(chǎng)成像系統(tǒng)基本原理結(jié)構(gòu) ［7］。

圖1光場(chǎng)相機(jī)基本結(jié)構(gòu)圖1所示微透鏡的作用是將主鏡的光瞳成像在探測(cè)器上并覆蓋若干個(gè)探測(cè)器像元，相當(dāng)于將主鏡光瞳分割成若干個(gè)子孔徑。假設(shè)微透鏡陣列中含有M×M個(gè)微透鏡單元，每個(gè)微透鏡覆蓋N×N個(gè)探測(cè)器像元，那么主鏡光瞳被分割為N×N個(gè)子孔徑。這樣探測(cè)器像元輸出信號(hào)就對(duì)應(yīng)目標(biāo)點(diǎn)通過(guò)主光瞳的某個(gè)子孔徑的能量變換。成像系統(tǒng)內(nèi)的光場(chǎng)分布由于微透鏡的作用而轉(zhuǎn)化為探測(cè)器像元的輸出信號(hào)，且與微透鏡位置反映的兩維空間位置信息和覆蓋的探測(cè)器像元反映的兩維方向信息分別相對(duì)應(yīng)，成功實(shí)現(xiàn)了四維光場(chǎng)的解析。這時(shí)成像系統(tǒng)最終合成的圖像空間分辨率為M×M，方向分辨為N×N，得到的四維光場(chǎng)為M×M×N×N。

2數(shù)字對(duì)焦與圖像重構(gòu)

2.1數(shù)字對(duì)焦的基本原理

如圖2所示假設(shè)平面 (u，v) 是成像系統(tǒng)的光瞳面，平面 (x，y) 是探測(cè)器面，兩平面間的距離為F，則LF(x，y，u，v)就代表成像系統(tǒng)內(nèi)的光場(chǎng)［5］，且與物空間的目標(biāo)光場(chǎng)存在對(duì)應(yīng)關(guān)系。

圖2相機(jī)內(nèi)光場(chǎng)參數(shù)表示由積分成像理論［8］可知，此時(shí)通過(guò)探測(cè)器得到的光強(qiáng)度分布為：EF(x，y)=1F2LF(x，y，u，v)dudv(1)如果探測(cè)器沒(méi)有放置在成像系統(tǒng)的實(shí)際像面上，即出現(xiàn)離焦的情形，設(shè)此時(shí)實(shí)際像面為(x′，y′)，光瞳與探測(cè)器距離仍為F，光瞳與實(shí)際像面距離為F′，設(shè)定參數(shù)α=F′/F，參數(shù)關(guān)系如圖3所示(為方便起見(jiàn)用一維空間表示)。則實(shí)際光場(chǎng)變?yōu)椋篖(F′=αF)(x′，y′，u，v)=LF(u+(x′－u)/α，v+

(y′－v)/α，u，v)=LF(u(1－1/α)+

x′/α，v(1－1/α)+y′/α，u，v)(2)實(shí)際像面的光強(qiáng)度分布為:EF′(x′，y′)=1α2F2LF(u(1－1/α)+x′/α+

(v(1－1/α)+y′/α，u，v)dudv(3)這一定義就是數(shù)字對(duì)焦的理論基礎(chǔ)，由此可以用一次成像所獲得的光場(chǎng)來(lái)計(jì)算出不同對(duì)焦深度的圖像。

圖3離焦情況下的光場(chǎng)2.2圖像重構(gòu)算法簡(jiǎn)介

數(shù)字對(duì)焦重構(gòu)算法主要是基于積分成像理論，以公式(1)~式(3)為基礎(chǔ)，根據(jù)所要求的對(duì)焦深度，選取不同的α值進(jìn)行積分，從而得到不同深度的對(duì)焦圖像。圖4是數(shù)字對(duì)焦的流程圖，其中LF是對(duì)光場(chǎng)進(jìn)行追蹤得到的探測(cè)器面上的光場(chǎng)分布。

圖4數(shù)字對(duì)焦圖像重構(gòu)流程3DM6467 DaVinci技術(shù)簡(jiǎn)介

TMS320DM6467是基于DaVinci技術(shù)的最先進(jìn)的數(shù)字媒體處理器系列之一，內(nèi)部集成了高性能的DSP核、ARM核和豐富的片上外設(shè)，還特別包含了2個(gè)高清視頻/圖像協(xié)處理器（HDVICP）［9］。它采用高性能的C64x+內(nèi)核和ARM926EJS內(nèi)核，工作頻率分別高達(dá)594 MHz和297 MHz。

圖像重構(gòu)算法主要運(yùn)行在DSP端，故算法的優(yōu)化要充分考慮TMS320C64x+DSP內(nèi)核的特點(diǎn)。TMS320C64x+ DSP內(nèi)核構(gòu)建在超長(zhǎng)指令字(VLLW)體系結(jié)構(gòu)的基礎(chǔ)上，具有較強(qiáng)的運(yùn)算性能，其主要結(jié)構(gòu)特點(diǎn)為：

(1) C64x+片內(nèi)有2個(gè)數(shù)據(jù)通道、8個(gè)功能單元和2個(gè)一般目的寄存器組(A和B)。而8個(gè)功能單元和2個(gè)寄存器組又分成了相同的2組，每組占用一個(gè)數(shù)據(jù)通道。2個(gè)數(shù)據(jù)通道之間包含有2個(gè)數(shù)據(jù)交叉通路。

(2) C64x+DSP采用超長(zhǎng)指令字(VLIW)，即在每個(gè)時(shí)鐘周期最高可提供8條32位指令，總字長(zhǎng)為256位的指令包同時(shí)分配到8個(gè)并行處理單元。在594 MHz的時(shí)鐘頻率下，當(dāng)片內(nèi)8個(gè)處理單元同時(shí)運(yùn)行時(shí)，其最大處理能力可以達(dá)到4 800 MIPS。

(3) C64x+DSP具有雙16 b擴(kuò)充功能，在一個(gè)周期內(nèi)能完成雙16位的乘法、加減法、比較、移位等操作。C64x+通過(guò)把DSP運(yùn)算壓縮在較少的周期里，從而在通信和圖像處理領(lǐng)域得到廣泛的使用。

4算法的實(shí)現(xiàn)及優(yōu)化

4.1算法實(shí)現(xiàn)

實(shí)驗(yàn)的軟件開(kāi)發(fā)環(huán)境是CCS3.3，實(shí)驗(yàn)中通過(guò)仿真器將PC 機(jī)與DSP開(kāi)發(fā)板連接，在CCS3.3 編譯環(huán)境下完成算法的DSP 化，并對(duì)算法進(jìn)行了優(yōu)化。通過(guò)光場(chǎng)成像系統(tǒng)得到光場(chǎng)圖像(空間分辨率為1 800×1 800)，并將其預(yù)處理為四維光場(chǎng)，然后對(duì)其進(jìn)行數(shù)字對(duì)焦。設(shè)微透鏡陣列含有300×300個(gè)單元，每個(gè)微透鏡下面覆蓋6×6個(gè)像元，由光場(chǎng)成像原理可知，最終合成圖像的空間分辨為300×300，方向分辨率為6×6。實(shí)驗(yàn)中，主透鏡焦距為100 mm，光瞳與探測(cè)器距離為200 mm，實(shí)際像面與光瞳的距離為205 mm，對(duì)焦系數(shù)為 (目標(biāo)像距/探測(cè)像距)α=1.025。圖5(a)為原始光場(chǎng)圖像(1 800×1 800)及其局部放大圖。改變對(duì)焦系數(shù)α的值，運(yùn)行數(shù)字對(duì)焦重構(gòu)算法，將得到不同深度的重構(gòu)圖像(空間分辨率為300×300)。圖(b)是α＝0.975時(shí)，經(jīng)過(guò)數(shù)字對(duì)焦的得到的重構(gòu)圖像，由圖可以看出，圖像較為模糊，是一幅離焦的圖像。圖(c)是α＝1時(shí)得到的重構(gòu)圖像。圖(d)是α＝1.025時(shí)得到的重構(gòu)圖像，通過(guò)數(shù)字對(duì)焦技術(shù)， 使得光場(chǎng)圖像重新對(duì)焦在虛擬的對(duì)焦平面，從而得到清晰的圖像，達(dá)到先拍照后對(duì)焦的目的。

4.2算法優(yōu)化

TMS320C64x+DSP的硬件資源為高性能提供了必要條件，TI公司還提供了性能優(yōu)良的開(kāi)發(fā)工具CCS3.3［10］，充分利用這些資源，對(duì)程序代碼進(jìn)行優(yōu)化，能夠改善代碼的性能。

(1) 去除冗余代碼。分析代碼，去除沒(méi)有必要的運(yùn)算，盡量將循環(huán)體內(nèi)的運(yùn)算移到循環(huán)體外，減少重復(fù)運(yùn)算的次數(shù)，提高代碼的性能。

(2) 項(xiàng)目級(jí)的優(yōu)化。項(xiàng)目級(jí)優(yōu)化主要是對(duì)CCS提供的各種編譯參數(shù)進(jìn)行選擇、搭配、調(diào)整，如“pm”選項(xiàng)能夠聯(lián)合所有源程序文件進(jìn)行程序級(jí)優(yōu)化；“mt”選項(xiàng)是向編譯器說(shuō)明在代碼中沒(méi)有使用混迭技術(shù)，可以更積極地優(yōu)化；“o”選項(xiàng)可以使能軟件流水及其它優(yōu)化方法等。本文在編譯時(shí)，聯(lián)合使用了“pm”與“o3”編譯選項(xiàng)來(lái)調(diào)用最高級(jí)別的軟件流水級(jí)優(yōu)化，增大了軟件編譯成DSP代碼的并行性，并改善了循環(huán)代碼的編排［11］。

(3) 循環(huán)分解。DM6467嵌入式平臺(tái)有2條獨(dú)立的數(shù)據(jù)通路，8個(gè)功能單元，并行化的運(yùn)算能力較高，但是如果程序中判斷跳轉(zhuǎn)較多，程序的循環(huán)嵌套的深度過(guò)多，都將嚴(yán)重影響DSP發(fā)揮其并行性效果。DSP的并行性效果還體現(xiàn)在僅對(duì)內(nèi)部循環(huán)執(zhí)行軟件流水。本文在滿足算法要求的情況下，展開(kāi)循環(huán)體較小的內(nèi)循環(huán)，使之有利于軟件流水線的分工

圖5不同深度的數(shù)字對(duì)焦重構(gòu)圖像4.3優(yōu)化結(jié)果及分析

本文使用了CCS3.3 clock 工具對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，表1給出了優(yōu)化前后的比較結(jié)果(DSP主頻為594 MHz)。

表1代碼優(yōu)化前后性能比較

優(yōu)化方法時(shí)鐘周期提升倍數(shù)無(wú)(原始代碼)3 544 902 5181第一步去除冗余代碼748 533 5064.7第二步項(xiàng)目級(jí)優(yōu)化462 629 7817.7第三步展開(kāi)循環(huán)194 940 73718

通過(guò)對(duì)源程序進(jìn)行優(yōu)化，代碼的性能得到了較大幅度的提升，但是由于重構(gòu)算法運(yùn)算量較大，程序運(yùn)行消耗的時(shí)鐘周期仍然較長(zhǎng)，因此可以對(duì)算法進(jìn)行改善，對(duì)程序進(jìn)行進(jìn)一步的優(yōu)化，如對(duì)耗時(shí)較大的代碼采用線性匯編等優(yōu)化措施。

5結(jié)語(yǔ)

本文闡述光場(chǎng)成像技術(shù)的基本原理，分析了光場(chǎng)成像數(shù)字對(duì)焦重構(gòu)技術(shù)的特點(diǎn)，在DM6467平臺(tái)上實(shí)現(xiàn)了光場(chǎng)圖像的數(shù)字對(duì)焦重構(gòu)，得到了不同深度的重構(gòu)圖像；并對(duì)算法進(jìn)行了一定的優(yōu)化，代碼的執(zhí)行效率提高了18倍，為探索光場(chǎng)成像系統(tǒng)的小型化提供了重要的基礎(chǔ)和依據(jù)。

參考文獻(xiàn)

［1］平生一笑，Chopper.告別失焦：光場(chǎng)相機(jī)初探［J］.微型計(jì)算機(jī)，2008(16):98100.

［2］駱飛.ARM嵌入式系統(tǒng)實(shí)驗(yàn)開(kāi)發(fā)平臺(tái)研究與實(shí)現(xiàn)［D］.成都：西南交通大學(xué)，2006.

［3］高平.基于TMS320DM6467的多功能多媒體處理平臺(tái)的軟件設(shè)計(jì)［D］.天津:天津大學(xué)，2009.

［4］胡新華，鄧元勇，王先平.基于達(dá)芬奇技術(shù)SMFT終端實(shí)時(shí)圖像處理系統(tǒng)研制［J］.光電子激光，2008，19(10):1517.

［5］REN N， LEVOY M， BR?DIF M， et al. Light field photography with a handheld plenoptic camera， CSTR 200502 \\[R\\]. USA: Stanford University， 2005.

［6］VEERARAGHAVAN A，RASKAR R， AGRAWAL A， et al. Dappled photography mask enhanced cameras for heterodyned light fields and coded aperture refocusing \\[J\\]. ACM Transactions on Graphics， 2007， 26 (3): 6978.

［7］ADELSON T， WANG J Y A. Single lens stereo with a plenoptic camera \\[J\\]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1992， 14 (2): 99106.

［8］NGR. Fourier slice photography \\[J\\]. ACM Transactions on Graphics， 2005， 24 (3): 735744.

［9］Texas Instruments. Digital media systemonchip， TMS320DM6467 \\[R\\]. USA: Texas Instruments， 2009.

［10］李方慧，王飛，何佩琨.TMS320C6000系列DSPs原理與應(yīng)用［M］.北京：電子工業(yè)出版社，2003.

［11］王翠，張剛.基于DM6446的價(jià)格匹配函數(shù)優(yōu)化方法［J］.太原理工大學(xué)學(xué)報(bào)，2008(9):710.

［12］秦臻，曹劍中.基于TMS320DM365的高速網(wǎng)絡(luò)攝像機(jī)的設(shè)計(jì)\\[J\\].電子設(shè)計(jì)工程，2011(10)：121124.

［13］楊娟，楊濟(jì)民，李大鵬，等.基于達(dá)芬奇技術(shù)的三維全息顯示系統(tǒng)研究\\[J\\].現(xiàn)代電子技術(shù)，2011，34(12)：7274.