李 闖

(吉林建筑大學(xué)，吉林 長春 130000)

1 引言

虛擬現(xiàn)實技術(shù)(人工智能、傳感器技術(shù)、實時計算等)能夠提供更真實逼真的用戶體驗，為人類在探索和觀察世界方面提供了極大的方便[1-2]。而隨著虛擬現(xiàn)實技術(shù)的不斷發(fā)展，用戶對成像效果要求也越來越高，因此在虛擬現(xiàn)實中圖像信息采集也變得尤為重要[3]。

近幾年，有專家學(xué)者提出了一些相對成熟的圖像采集方法，如文獻[4]中的多幀圖像信息采集處理方法和文獻[5]中的圖像信息數(shù)據(jù)高速采集方法。然而上述方法采集到的圖像雖能夠反映出目標個體的外觀和品質(zhì)，但是存在信息采集延遲的現(xiàn)象，導(dǎo)致采集的同步性較差。

為此，本研究研究了一種虛擬現(xiàn)實中圖像合成信息同步采集方法。在拍攝運動物體時，采用多CCD攝像機在不同角度、不同空間位置進行拍攝，并分析相機的高度及光軸大小。通過對虛擬現(xiàn)實的具體情況研究得出，使用四個攝像機能夠有效的對圖像進行同步采集。同時，為提高攝像機與采集端之間的傳輸速度，以FPGA技術(shù)為圖像采集的控制電路，通過PCI總線建立圖像采集系統(tǒng)和上位機之間的通信連接，并用PCI9054橋芯片實現(xiàn)PIC與采集端的鏈接。為增強圖像合成的最終效果，對通過遺傳算法和Powell算法相結(jié)合對采集后的圖像信息參數(shù)進行優(yōu)化，完成配準處理。經(jīng)對比分析可知，與傳統(tǒng)方法相比，本文方法的信息采集延遲較短，圖像呈現(xiàn)效果更清晰，說明該方法具有較高的應(yīng)用價值。

2 采集方法設(shè)計

本研究采用多CCD同步采集方式，通過將面陣CCD攝相機采集到的圖像實時傳輸?shù)娇蛻舳藖韺崿F(xiàn)圖像傳輸。在虛擬現(xiàn)實中圖像合成信息同步采集過程中，每個單獨攝像機具體安裝方法如圖1所示。

圖1 測量系統(tǒng)平面圖

然而，隨著實際應(yīng)用對圖像同步采集要求的逐步提高，使用傳統(tǒng)的單一攝影機已難以滿足現(xiàn)實采集需求。為解決這一問題，分別使用多個攝像機在不同空間尺度、不同方位對拍攝目標進行拍攝，然后整理匹配各個不同攝像機的拍攝信息，從而獲得全面且完整的視場信息。

CCD攝像機是由彩色和黑白相機兩部分組成，彩色攝像模式能夠完整的還原拍攝目標的顏色及細節(jié)信息，而黑白攝像機則主要用來拍攝色彩信息較簡單的目標[6]。分析相機的高度及光軸大小后，本研究決定使用視場角為40度的CCD攝像頭。通過對虛擬現(xiàn)實的具體情況研究得出，使用四個攝像機能夠有效的對圖像進行同步采集，其平面圖如圖2。

圖2 攝像機平面圖

圖中

(1)

(2)

CB=4×AB=36m

(3)

CCD是一種半導(dǎo)體成像器材，也是一種大規(guī)模的集成電路光學(xué)器件，核心原件為CCD傳感器，工作原理是通過鏡頭將拍攝目標聚焦在電耦合器上，經(jīng)過一系列的處理過程進行成像顯示，其具體工作過程如圖3所示。

圖3 CDD工作原理示意圖

從圖3中可以看出，光線在通過攝像機鏡頭時發(fā)生散射，光經(jīng)過散射后聚焦在CCD傳感器上形成模擬圖像信號[7]，模擬信號經(jīng)模數(shù)轉(zhuǎn)換器處理后，獲得數(shù)字圖像信號，最后利用圖像處理器呈現(xiàn)出完整的圖像信息并且進行儲存。圖中的感光傳感器是通過電荷進行存儲轉(zhuǎn)移的，該方法對于人眼識別更為適合。

一般來說，CCD可以分為線陣CCD和面陣CCD，面陣CCD能夠精準的拍攝二維圖像，并且可以快速成像，顯示出拍攝目標；線陣CCD是拍攝一維圖像的，通過對圖像的掃描，做三次曝光。結(jié)合虛擬現(xiàn)實圖像合成采集的具體需要，本研究選擇面陣CCD。

CCD攝像機由色彩矩陣、水平垂直移位器、輸出放大器和A/D轉(zhuǎn)換器幾部分組成。各個色彩矩陣中存在紅、綠、藍慮片，當拍攝目標經(jīng)過這些慮片時會形成像素點，與此同時也會產(chǎn)生相對應(yīng)的電荷，鄰近的移位寄存器就會將形成的電荷儲存，然后經(jīng)輸出放大器和A/D轉(zhuǎn)換器輸輸出圖像。而CCD內(nèi)部像素點的多少會直接影響輸出圖像的最終效果[8]，也就是說像素點越多，寄存器儲存的電荷就越多，那么最終獲得的物體影像就越清晰，更接近物體真實狀態(tài)。

為了保證四臺CCD攝像機能夠?qū)崿F(xiàn)同步采集，需要保證四臺機器同時觸發(fā)[9]。因此，構(gòu)建同步信號電路為攝像機提供同步信號?，F(xiàn)階段大部分CCD攝像機都有內(nèi)、外同步兩種功能，更先進的一些的不僅擁有輸出端口還存在外同步輸入端口來實現(xiàn)攝像機的同步觸發(fā)。

當對靜態(tài)物體進行拍攝時，只需要一臺攝像機，所以不需要輸入同步觸發(fā)信號，只要將輸出線和對應(yīng)的采集系統(tǒng)直接連接即可獲得既定圖像。而當對運動物體進行拍攝時，由于需要使用多個攝像機來確保夠能夠準確捕捉到運動物體完整的運動狀態(tài)，攝像機沒有同步啟動就會導(dǎo)致畫面獨立。因此，在這種情況下就要通過攝像機的外同步端口進行連接，通過同步觸發(fā)信號對攝像機進行控制以達到精準的同步拍攝。外同步連接示意圖如圖4所示。

圖4 外同步方式連接示意圖

傳統(tǒng)的圖像采集控制電路有以PC為核心、以DSP信號為核心、以FPGA為核心等。近幾年，隨著人們對FPGA的不斷深入研究，F(xiàn)PGA技術(shù)[10]成為了較為常用的圖像采集系統(tǒng)的解決方案。其較為典型的系統(tǒng)框圖如圖5所示。

圖5 典型的FPGA采集系統(tǒng)框圖

圖像緩存的主要過程如下：首先兩片SDRAM通過雙時鐘FIFO有效的實現(xiàn)數(shù)據(jù)接收，為使采集更具有效性，使用乒乓操作[11]對兩片SDRAM進行處理。圖像緩存結(jié)構(gòu)如圖6所示。

圖6 圖像緩存處理模塊結(jié)構(gòu)

采用PCI總線建立圖像采集系統(tǒng)和上位機之間的通信連接，該方法可以同時控制多個外圍設(shè)備，數(shù)據(jù)傳輸能力較強，反應(yīng)較快，適合數(shù)據(jù)量較大數(shù)據(jù)傳輸，同時通過PCI9054橋芯片實現(xiàn)PIC與采集端的鏈接。則系統(tǒng)的總體結(jié)構(gòu)如圖7所示。

圖7 圖像合成信息同步采集系統(tǒng)框架

3 虛擬現(xiàn)實圖像信息配準

為能夠更好地實現(xiàn)圖像合成，對采集到的虛擬現(xiàn)實圖像進行圖像配準，其流程如下：

1)對圖像進行特征提取獲得特征點，找到提取后的特征點對；

2)對特征點對進行匹配，獲得與之相應(yīng)的圖像空間坐標參數(shù)；

3)通過圖像參數(shù)進行圖像配準。

在虛擬現(xiàn)實圖像中，SURF特征點[12]包含位置、方向、尺度等圖像信息，具有較高的獨立性和魯棒性，所以本研究將SURF作為特征提取目標。設(shè)圖像I(X)中的任意特征點為X=(x，y)，則積分圖像I∑(X)為

(4)

則尺度為σ的圖像信息矩陣H(X，σ)為

(5)

式(5)中，Lxx(X，σ)、Lxy(X，σ)、Lyy(X，σ)是對二階導(dǎo)數(shù)和圖像卷積的描述。

以此為基礎(chǔ)建立圖像金字塔，在各個尺度上對特征點進行定位，即可獲得較為穩(wěn)定的特征點。

若聯(lián)合概率使用聯(lián)合直方圖來表示，則圖像A、B的歸一化信息可以表示為

(6)

式(6)中，H(A)、H(B)為圖像A、B的熵，H(A，B)為聯(lián)合熵，則H(A)、H(B)可以定義為

(7)

(8)

式中，PA(i)為A的概率分布，PB(j)為B的概率分布，若PA，B(i，j)表示A、B的聯(lián)合概率，N表示直方圖級數(shù)，則通過聯(lián)合概率PA，B(i，j)可求得

(9)

圖像信息配準需要使用多參數(shù)優(yōu)化算法在多維數(shù)空間搜索到最優(yōu)的多個配準參數(shù)，目前基于圖像配準的優(yōu)化算法有很多，考慮到虛擬現(xiàn)實對算法的需求，模擬圖像亞像素精度平移，對PV和HPV差值在x、y軸方向的合成信息曲線進行考察如圖8所示。

圖8 圖像合成信息平移量曲線

遺傳算法的核心是隨機產(chǎn)生不同個體并將其組成不同種群，然后按照自然淘汰、基因變異等順序不停優(yōu)化，最終獲得最優(yōu)參數(shù)值。該方法能夠在全局范圍內(nèi)搜索極值，但是不能進一步細化搜索，所以其局部優(yōu)化能力較弱。Powell算法能夠進行多尺度、多方向的搜索，其局部尋優(yōu)性能較強，但是該方法依賴于起始點的選擇，如果沒有準確的選擇起始點，則會造成搜索結(jié)果存在誤差等問題。

綜上所述，將兩種方法結(jié)合既能夠更好的進行全局化搜索又能在極值點范圍內(nèi)進行更完善的細化搜索。在尋找全局極值點的過程中，使用較為簡易的PV差值法進行搜索，在細化搜索的過程中使用HPV差值法對搜索到的全局信息進行優(yōu)化。使用結(jié)合算法的具體配準過程如下：

a)用PV差值算法計算虛擬現(xiàn)實圖像合成信息，利用遺傳算法初步搜索優(yōu)化參數(shù)。

b)將優(yōu)化的參數(shù)作為Powell算法的起始點，使用HPV差值算法對合成信息進行計算，并且進行細化搜索。

c)獲得配準的最優(yōu)參數(shù)。

d)完成信息配準合成全過程。

4 實驗與結(jié)果分析

為證明所提的虛擬現(xiàn)實中圖像合成信息同步采集方法的有效性，設(shè)計對比實驗加以驗證。所用的對比方法分別為文獻[4]中的多幀圖像信息采集處理方法和文獻[5]中的圖像信息數(shù)據(jù)高速采集方法。

首先，為判斷本文方法的時效性，以圖像采集延遲為檢驗指標，在不同的采集間隔時間下，對分辨率不同的單幅/多幅畫面進行采集，統(tǒng)計本文方法的采集延遲時間，結(jié)果如表1所示。

表1 圖像采集延遲測試

根據(jù)表1數(shù)據(jù)可以看出，圖像采集過程的延遲量除了受分辨率和畫面數(shù)影響之外，還收到采集間隔時間的影響。當間隔時間為1秒時，圖像采集過程最多會有179毫秒的延遲；當時間間隔為5秒時，圖像采集過程最多會有54毫秒的延遲；當時間間隔大于10秒時,,圖像采集過程最多會有0.14毫秒的延遲，此時，延遲時間可以忽略不計。

此外，不論是單幅畫面圖像還是多幅畫面圖像，盡管圖像分辨率和采集間隔時間不斷發(fā)生變化，但應(yīng)用本文方法后， 圖像采集延遲始終較小，均處于200毫秒以下。這是因為本文方法以FPGA技術(shù)為控制電路，通過攝像機連接接口將圖像數(shù)據(jù)傳輸至FPGA緩存模塊中，再通過PCI接口傳輸?shù)接嬎銠C內(nèi)，簡化了以往復(fù)雜的傳輸步驟，從而有效減少了圖像信息采集過程的延遲。

為進一步驗證本文方法的圖像采集性能，將本文方法與2種對比方法進行性能對比分析。

實驗的硬件環(huán)境如下：Intel(R)Core(TM)2Duo 2.20GHz處理器，內(nèi)存為512MB，硬盤空間為10GB。軟件環(huán)境如下：Windows XP操作系統(tǒng)，網(wǎng)絡(luò)協(xié)議為TCP/IP。利用不同方法采集同一場景中的信息，得到對比結(jié)果如圖9所示。

圖9 不同方法采集結(jié)果

根據(jù)圖9可以看出，利用文獻[4]方法采集到的圖像噪點信息明顯，而文獻[5]方法采集到的圖像對比度偏低。而利用本文方法采集到的圖像清晰度明顯，且圖像平滑度較高。綜上可知，本文方法有效提高了圖像信息的采集效果，也充分證明了本文方法的可行性和有效性。

5 結(jié)束語

為更有效地采集圖像合成信息，本文提出虛擬現(xiàn)實中圖像合成信息同步采集方法。并通過實驗結(jié)果表明了該方法的適時性能較高，采集效果更好，具有較高的應(yīng)用價值。