吳換霞，張 眾

(1.信陽(yáng)農(nóng)林學(xué)院信息工程學(xué)院，河南 信陽(yáng) 464000；2.蘭州大學(xué)信息科學(xué)與工程學(xué)院，甘肅 蘭州 730000)

1 引言

在數(shù)字圖像處理技術(shù)日益發(fā)展與成熟的背景下，數(shù)字圖像的相關(guān)處理中有關(guān)圖像壓縮、融合以及邊緣檢測(cè)等方面的技術(shù)正朝著高精度與高質(zhì)量的目標(biāo)發(fā)展[1，2]。圖像三維重構(gòu)為計(jì)算機(jī)視覺(jué)中基礎(chǔ)性問(wèn)題，利用三維圖像重建將圖像劃分為有意義可利用的區(qū)域或子集，配準(zhǔn)、識(shí)別目標(biāo)圖像，并實(shí)現(xiàn)圖像三維再現(xiàn)與細(xì)節(jié)描述，完成計(jì)算機(jī)視覺(jué)導(dǎo)航以及目標(biāo)檢測(cè)。三維圖像重建相關(guān)技術(shù)的深入研究在虛擬現(xiàn)實(shí)和遙感監(jiān)測(cè)等方面均有著十分關(guān)鍵的實(shí)際意義[3]。綜上可以看出，三維圖像重建是當(dāng)前亟待解決的問(wèn)題，已經(jīng)引起了該領(lǐng)域相關(guān)專家學(xué)者的重視與研究。

于天慧[4]等人將RANSAC、斜率統(tǒng)計(jì)法引入至圖像三維重構(gòu)的誤匹配剔除中。強(qiáng)化RANSAC剔除效果的可管控性能以增強(qiáng)極線約束為重點(diǎn)優(yōu)化傳統(tǒng)的RANSAC，給出迭代下斜率一致性法在RANSAC運(yùn)行前實(shí)行誤匹配剔除操作，進(jìn)而實(shí)現(xiàn)RANSAC計(jì)算量以及收斂速度等方面的優(yōu)化，利用深度一致性法實(shí)現(xiàn)圖像重建外匹配點(diǎn)剔除，得到特征點(diǎn)三維坐標(biāo)之后通過(guò)OpenGL完成紋理貼圖，以此能夠較為清晰精準(zhǔn)地重構(gòu)出場(chǎng)景細(xì)節(jié)。劉慧[5]等人依據(jù)UTM-30LX型的激光傳感器構(gòu)建室內(nèi)靶標(biāo)識(shí)別測(cè)試平臺(tái)，利用所建平臺(tái)對(duì)復(fù)雜路況進(jìn)行模擬，并設(shè)計(jì)出了滾轉(zhuǎn)角和俯仰角等一系列姿態(tài)角，同時(shí)提出根據(jù)極坐標(biāo)值和三角函數(shù)實(shí)現(xiàn)重新匹配和檢測(cè)幀等的偏移矯正，實(shí)現(xiàn)目標(biāo)三維圖像的重構(gòu)。

為了提高三維圖像重建精度和重構(gòu)效率，提出基于絕對(duì)二次曲線像的三維圖像重建方法，設(shè)計(jì)圖像重建框架，根據(jù)中值濾波算法完成圖像濾波預(yù)處理，在此基礎(chǔ)上采用絕對(duì)二次曲線像及歐式重構(gòu)技術(shù)完成三維圖像重建。

2 三維圖像重建預(yù)處理

2.1 基于多線程調(diào)度法的圖像重建框架

依據(jù)圖像與色彩處理法及多線程調(diào)度法實(shí)現(xiàn)三維圖像的信息處理，通過(guò)客戶機(jī)或服務(wù)器模型設(shè)計(jì)并構(gòu)建虛擬現(xiàn)實(shí)視景的應(yīng)用支撐層次，配置中間件實(shí)現(xiàn)三維圖像重建的各項(xiàng)配置工作，得到總架構(gòu)如圖1所示[6]。

圖1 基于多線程調(diào)度法的圖像重建框架

2.2 三維圖像分層重建功能結(jié)構(gòu)

在三維圖像分層重建過(guò)程中，針對(duì)圖像的原始數(shù)據(jù)實(shí)行預(yù)處理操作，將其轉(zhuǎn)換成三維數(shù)據(jù)場(chǎng)，把通過(guò)虛擬現(xiàn)實(shí)技術(shù)和各項(xiàng)技術(shù)相結(jié)合所得到的數(shù)據(jù)當(dāng)成準(zhǔn)備組織區(qū)域，以此為依據(jù)實(shí)現(xiàn)三維圖像重建與可視化。所設(shè)計(jì)的基于絕對(duì)二次曲線像的三維圖像重建技術(shù)一共分為三個(gè)部分：圖像導(dǎo)入顯示、預(yù)處理、分層重構(gòu)。

2.3 圖像導(dǎo)入與預(yù)處理

三維圖像的導(dǎo)入顯示主要功能是為各圖像格式提供相應(yīng)支持，以此高效實(shí)現(xiàn)數(shù)據(jù)的讀取、存儲(chǔ)以及轉(zhuǎn)換等一系列操作。利用C++語(yǔ)言設(shè)計(jì)并構(gòu)建需要的接口，通過(guò)該接口完成圖像導(dǎo)入顯示處理。

引入中值濾波法針對(duì)圖像進(jìn)行預(yù)處理操作。中值濾波法運(yùn)行的實(shí)質(zhì)是一種能夠高效抑制噪聲干擾的非線性信號(hào)預(yù)處理法，該法的運(yùn)行原理為將圖像中某點(diǎn)值利用該點(diǎn)附近范圍內(nèi)各點(diǎn)值中值描述，以此使周圍像素值和實(shí)際值更加相近，進(jìn)而實(shí)現(xiàn)單獨(dú)噪聲點(diǎn)的抑制和排除[7，8]。該法具備操作簡(jiǎn)單、效率高及去噪效果好等一系列優(yōu)越性，在相應(yīng)條件下，可以高效完成圖像預(yù)處理。

針對(duì)圖像實(shí)行中值濾波預(yù)處理操作，獲取相應(yīng)輸出值，表達(dá)式為

Yi，j=medianXin

=median[Xi+m，j=n;(m，n)∈w]{Xi，j;(i，j)∈Z2}

(1)

式(1)中，w代表平面窗口的規(guī)格，m代表窗口水平方向尺寸，n代表窗口垂直方向尺寸，Xi，j代表圖像中一個(gè)像素點(diǎn)，坐標(biāo)為(i，j)，Yi，j代表利用中值濾波處理之后的輸出值，Z2代表數(shù)據(jù)串符號(hào)。

對(duì)中值濾波處理之后的圖像進(jìn)行分割，以進(jìn)一步提高圖像三維重構(gòu)的精確性。選擇的分割方法為Canny算子下的圖像邊緣檢測(cè)和區(qū)域分割法。根據(jù)M、N用來(lái)對(duì)基于Canny算子進(jìn)行描述，表達(dá)式為

(2)

利用M、N兩個(gè)算子得到濾波之后圖像的各像素梯度及方向，表達(dá)式為

(3)

通過(guò)得到的圖像各像素梯度和方向，繪制出圖像灰度直方圖，利用區(qū)域分割法完成對(duì)其閾值精準(zhǔn)分割。

3 基于絕對(duì)二次曲線像的三維圖像分層重建

在上述圖像處理的基礎(chǔ)上，如何通過(guò)圖像場(chǎng)景中結(jié)構(gòu)信息完成分層重構(gòu)是一個(gè)關(guān)鍵問(wèn)題。在重構(gòu)過(guò)程中，對(duì)無(wú)窮遠(yuǎn)平面單應(yīng)矩陣進(jìn)行計(jì)算，實(shí)現(xiàn)仿射重構(gòu)，對(duì)絕對(duì)二次曲線像進(jìn)行計(jì)算，進(jìn)一步進(jìn)行歐氏重構(gòu)。其中，獲得歐氏度量結(jié)果后，結(jié)合攝像機(jī)內(nèi)參數(shù)等相關(guān)信息，即能夠由攝影重構(gòu)實(shí)現(xiàn)歐氏重構(gòu)恢復(fù)，通過(guò)這兩步計(jì)算結(jié)構(gòu)即可實(shí)現(xiàn)三維圖像分層重構(gòu)。

3.1 圖像無(wú)窮遠(yuǎn)平面的單應(yīng)矩陣和仿射重構(gòu)設(shè)計(jì)分析

假設(shè)π∞代表空間中一個(gè)無(wú)窮遠(yuǎn)的平面，m′、m″分別代表其上一點(diǎn)M′的匹配點(diǎn)，設(shè)定有一個(gè)可逆的矩陣H∞，可以使sm″=H∞m′，其中，s代表常數(shù)因子。綜上，稱H∞表示的是π∞有關(guān)兩個(gè)視點(diǎn)的單應(yīng)矩陣

H∞=KRK-1

(4)

式(4)中，K代表攝像機(jī)的內(nèi)參數(shù)矩陣，R代表旋轉(zhuǎn)矩陣。假設(shè)場(chǎng)景中包括三組平行的直線，且每?jī)山M直線間線性無(wú)關(guān)，那么能夠通過(guò)三個(gè)隱消點(diǎn)與一對(duì)極點(diǎn)對(duì)π∞單應(yīng)矩陣進(jìn)行計(jì)算。

據(jù)此得出π∞單應(yīng)矩陣表達(dá)式為

H∞=A(2)(A(1))-1

(5)

(6)

根據(jù)上述計(jì)算與分析可知，π∞單應(yīng)矩陣能夠根據(jù)仿射重構(gòu)計(jì)算得到，同時(shí)反過(guò)來(lái)同樣成立。在此，不失一般性，把第一個(gè)攝像機(jī)坐標(biāo)系當(dāng)成世界坐標(biāo)系。由此，基于上述分析，則P′(1)=[I0]、P′(2)=[Ae′]為仿射重構(gòu)的仿射點(diǎn)，e′代表第二幅圖像極點(diǎn)。綜上，綜上所述，π∞單應(yīng)矩陣可表示為

H∞=A

(7)

相反，假設(shè)獲取了π∞單應(yīng)矩陣H∞，那么仿射重構(gòu)下攝影機(jī)投影矩陣表達(dá)式為

(8)

3.2 絕對(duì)二次曲線像及歐氏重構(gòu)設(shè)計(jì)分析

假設(shè)絕對(duì)二次曲線為Ω∞，其在像平面中的像不會(huì)因攝像機(jī)位置和姿態(tài)變化產(chǎn)生變化[9，10]。設(shè)定三維空間中隨機(jī)點(diǎn)齊次坐標(biāo)是(x，y，z，t)，那么Ω∞方程滿足式(9)

(9)

根據(jù)式(9)能夠推出式(10)

(x，y，z)I3×3(x，y，z)T=0

(10)

由此能夠觀察出，Ω∞即為π∞上根據(jù)單位矩陣I3×3所描述的一條根據(jù)虛點(diǎn)所構(gòu)建的二次曲線。在攝像機(jī)進(jìn)行剛體運(yùn)動(dòng)(Rt)過(guò)程中，需要考慮到Ω∞在攝像機(jī)像平面內(nèi)的像ω′。針對(duì)隨機(jī)(x，y，z，0)T∈Ω，相應(yīng)像點(diǎn)(u，v，1)∈ω′，有

(u，v，1)T=sK(Rt)(x，y，z，0)T

=sKR(x，y，z)T

(11)

綜上，則Ω∞的像還是一條二次曲線，同時(shí)只和攝像機(jī)中內(nèi)參數(shù)存在相關(guān)性，和其剛體運(yùn)動(dòng)不存在關(guān)系。

假設(shè)場(chǎng)景中一對(duì)正交直線，其方向是a(1)、a(2)，在圖像中消影點(diǎn)是v1、v2，那么v1=Ka(1)、v2=Ka(2)，則

(12)

因此已知一幅圖像中有一對(duì)正交直線消影點(diǎn)，能夠獲取一個(gè)有關(guān)ω′的線性約束表達(dá)式

(13)

設(shè)定5對(duì)以上的正交方向消失點(diǎn)，那么能夠進(jìn)行線性求解。通常單幅圖像能夠獲取三個(gè)正交方向給出的有關(guān)的3個(gè)約束方程，由此在同一場(chǎng)景中兩幅圖像能夠獲取ω′的約束方程為6個(gè)，以此足夠?qū)Ζ亍溥M(jìn)行求解[11，12]。

3.3 三維圖像歐式重構(gòu)設(shè)計(jì)

假設(shè)已知Ω∞在圖像中像是ω′，同時(shí)已經(jīng)獲取仿射重構(gòu)，與之相應(yīng)的攝像機(jī)投影矩陣根據(jù)P′=[Aa]表示。設(shè)定在單應(yīng)矩陣H影響下，P′變換合成歐氏坐標(biāo)系下投影矩陣P′M′有如式(14)的表現(xiàn)形式

P′M′=P′H-1=[M′M′m′M′]

(14)

因有P′=[Aa]，因此H-1可表示為

(15)

那么有

(16)

但是，Ω∞像的對(duì)偶和C′和P′M′之間關(guān)系為

(17)

這是由于攝像機(jī)投影矩陣能夠分解成M′M′=KR，且C′=ω′-1=KKT，由此得出

(18)

(19)

根據(jù)式(18)所示的三維變換實(shí)現(xiàn)圖像的歐式重構(gòu)，完成三維圖像重建。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證基于絕對(duì)二次曲線像的三維圖像重建技術(shù)的有效性，設(shè)計(jì)仿真。實(shí)驗(yàn)平臺(tái)搭建在matlab軟件上，選用Intel Pentium處理裝置，主頻為3.0GHz。在TCGA-COAD 癌癥CT影像數(shù)據(jù)庫(kù)(http:∥dataju.cn/Dataju/web/datasetInstanceDetail/315)中選擇1幅醫(yī)學(xué)三維圖像，如圖2所示。

圖2 原始三維圖像示意圖

在上述實(shí)驗(yàn)環(huán)境下，選擇文獻(xiàn)[4]方法、文獻(xiàn)[5]方法為實(shí)驗(yàn)對(duì)比方法，分別采用基于絕對(duì)二次曲線像的三維圖像重建技術(shù)及兩種對(duì)比方法重建圖2所示三維圖像，得到重建效果對(duì)比圖如圖3所示。

圖3 不同成果圖像重建效果對(duì)比結(jié)果

分析圖3能夠得出，采用文獻(xiàn)[4]方法重建三維圖像，得到的圖像清晰度較差，文獻(xiàn)[5]方法得到的重建圖像較為模糊，難以分辨圖像信息；而采用所提基于絕對(duì)二次曲線像的三維圖像重建技術(shù)得到的重建圖像清晰度高，能夠清醒分辨出圖像信息，重建效果好。

在上述實(shí)驗(yàn)結(jié)果的基礎(chǔ)上，進(jìn)一步測(cè)試所提方法的重建耗時(shí)，在數(shù)據(jù)庫(kù)中選擇10張三維圖像，分別采用以上三種方法重建圖像，得到重建時(shí)間對(duì)比結(jié)果如圖4所示。

圖4 不同成果圖像重建時(shí)間對(duì)比結(jié)果

分析圖4可知，在10張圖像的重建過(guò)程中，采用文獻(xiàn)[4]方法所用的重建時(shí)間為42s，文獻(xiàn)[5]方法的重建時(shí)間為55s，而采用所提基于絕對(duì)二次曲線像的三維圖像重建技術(shù)的重建時(shí)間為18s，由此可知，所提方法的重建時(shí)間較短，重建效率高。與文獻(xiàn)成果相比，基于絕對(duì)二次曲線像的三維圖像重建技術(shù)更具可靠性。該方法根據(jù)多線程調(diào)度法實(shí)現(xiàn)三維圖像的信息處理，通過(guò)客戶機(jī)或服務(wù)器模型設(shè)計(jì)并構(gòu)建虛擬現(xiàn)實(shí)視景的應(yīng)用支撐層次，配置中間件實(shí)現(xiàn)三維圖像重建的各項(xiàng)配置工作，可以有層次有順序地實(shí)現(xiàn)圖像重建。在圖像重建前，先針對(duì)圖像進(jìn)行了濾波處理，對(duì)圖像中的噪聲進(jìn)行了抑制，又對(duì)圖像進(jìn)行了分割，能夠有效確認(rèn)其中的重要且有意義的像素點(diǎn)。最后通過(guò)仿射重構(gòu)和歐氏重構(gòu)實(shí)現(xiàn)了最終的圖像分層重構(gòu)，提高了圖像重建精度和效率，滿足了三維圖像重建的精確性和實(shí)時(shí)性需求。

5 結(jié)束語(yǔ)

三維重建作為計(jì)算機(jī)視覺(jué)領(lǐng)域重要任務(wù)之一，在圖像處理中研究意義重大。鑒于當(dāng)前相關(guān)研究成果存在性能待完善的問(wèn)題，提出基于絕對(duì)二次曲線像的三維圖像重建技術(shù)。過(guò)程中，先針對(duì)重構(gòu)框架進(jìn)行了設(shè)計(jì)，然后依據(jù)所建框架，對(duì)圖像重建的功能和流程進(jìn)行分析設(shè)計(jì)，并著重分析了圖像濾波處理和分割操作，為接下來(lái)的圖像重建奠定基礎(chǔ)，最后利用絕對(duì)二次曲線像仿射重構(gòu)和歐氏重構(gòu)完成了三維圖像的分層重建。經(jīng)實(shí)驗(yàn)驗(yàn)證，所提方法能夠高效實(shí)現(xiàn)圖像重建，性能優(yōu)越，可為該領(lǐng)域發(fā)展提供借鑒。

在未來(lái)的研究中，關(guān)于圖像重建之前的處理可做進(jìn)一步優(yōu)化和分析，例如紋理與顏色識(shí)別等，以使圖像重建更具精確性。