鄭雨豪 王子洵 賴曉桑 肖 靈 邱觀秀 蘇秉華

北京理工大學(xué)珠海學(xué)院 廣東 珠海 519088

1 引言

三維影像的記錄和重現(xiàn)技術(shù)應(yīng)用范圍十分廣泛,可以應(yīng)用于虛擬主持人、虛擬實(shí)驗(yàn)室、虛擬會(huì)議、虛擬旅游、3D網(wǎng)絡(luò)教學(xué)、醫(yī)療研究、電影制作、文物及產(chǎn)品展示等,具有重要的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。

人眼所接收到的光信息是客觀三維世界物體在視網(wǎng)膜上的二維投影,大腦視覺(jué)皮層通過(guò)分析三維世界的二維投影規(guī)律,將視網(wǎng)膜上的二維影像重建為三維模型,幫助人感知三維物體、理解三維世界。該生理功能所依賴的信息包括雙目視差、空間遮擋、光影關(guān)系(反光、陰影、明暗分界等)以及透視關(guān)系(近大遠(yuǎn)小),這些信息所同樣可以被圖像傳感器記錄下來(lái),因此通過(guò)模擬大腦皮層的視覺(jué)處理機(jī)制,對(duì)三維物體的二維投影圖像進(jìn)行三維重建具有可行性。

三維重建問(wèn)題在傳統(tǒng)的數(shù)學(xué)模型上通常以三角函數(shù)方程組的形式來(lái)表達(dá),這一形式可以幫助利用現(xiàn)有的空間幾何知識(shí)進(jìn)行計(jì)算。然而,任何模型的參數(shù)都存在不準(zhǔn)確之處,需要根據(jù)可用的實(shí)驗(yàn)數(shù)據(jù)(即灰盒建模)進(jìn)行糾正,可以采用基于遺傳算法、神經(jīng)網(wǎng)絡(luò)和神經(jīng)模糊系統(tǒng)的智能優(yōu)化算法,也可以使用基于最小二乘法和最大似然法的不同數(shù)學(xué)方法來(lái)實(shí)現(xiàn)參數(shù)校正問(wèn)題,Hopfield神經(jīng)網(wǎng)絡(luò)正是一種可用于上述灰盒模型實(shí)時(shí)校正參數(shù)來(lái)解決優(yōu)化問(wèn)題的類腦計(jì)算算法。

本文旨在運(yùn)用基于Hopfield神經(jīng)網(wǎng)絡(luò)的類腦計(jì)算算法模仿人腦視覺(jué)皮層加工處理來(lái)自雙眼的光信息,合成三維立體影像的機(jī)制,設(shè)計(jì)一種可記錄和重建物體三維影像的設(shè)備。

2 類腦計(jì)算技術(shù)

類腦計(jì)算又稱神經(jīng)形態(tài)計(jì)算,是借鑒動(dòng)物神經(jīng)系統(tǒng)的信息處理模式和結(jié)構(gòu)的計(jì)算理論、體系結(jié)構(gòu)、芯片設(shè)計(jì)以及數(shù)學(xué)模型與算法的總稱,在算法層面較為常見(jiàn)的有脈沖神經(jīng)網(wǎng)絡(luò)、Hopfield遞歸神經(jīng)網(wǎng)絡(luò)等。本文旨在運(yùn)用基于Hopfield神經(jīng)網(wǎng)絡(luò)的類腦計(jì)算算法模仿人腦視覺(jué)皮層加工處理來(lái)自雙眼的光信息,合成三維立體影像的機(jī)制,設(shè)計(jì)一種可記錄和重建物體三維影像的設(shè)備。

Hopfiled神經(jīng)網(wǎng)絡(luò)是一個(gè)單層遞歸神經(jīng)網(wǎng)絡(luò)模型,由物理學(xué)家約翰·霍普菲爾德于1982年提出,一種結(jié)合存儲(chǔ)系統(tǒng)和二元系統(tǒng)的單層反饋網(wǎng)絡(luò),具有n個(gè)神經(jīng)元節(jié)點(diǎn),每個(gè)神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點(diǎn)沒(méi)有自反饋。每個(gè)節(jié)點(diǎn)都可處于一種可能的狀態(tài),即當(dāng)該神經(jīng)元所受的刺激超過(guò)其閾值時(shí),神經(jīng)元就處于一種狀態(tài),否則神經(jīng)元就始終處于另一狀態(tài)。該網(wǎng)絡(luò)的所有神經(jīng)節(jié)點(diǎn)之間兩兩相互連接,形成一個(gè)無(wú)分層結(jié)構(gòu)的球狀全連接網(wǎng)絡(luò)模型,網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 Hopfiled神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

3 三維圖像重建

平面影像的三維重建工作核心在于從兩個(gè)(或多個(gè))視點(diǎn)獲取同一物體不同視角度的圖像,通過(guò)計(jì)算空間點(diǎn)在不同圖像中的位置偏差(即視差),根據(jù)三角測(cè)量原理來(lái)確定物體表面各點(diǎn)的距離信息(即景深)。正如人腦視覺(jué)皮層對(duì)視網(wǎng)膜二維影像的三維感知,如果只有單眼的視覺(jué)影像,則大腦只能利用固有經(jīng)驗(yàn)對(duì)物體的空間遮擋、光影、透視關(guān)系等要素進(jìn)行分析,確定大致的三維形狀,而難以估計(jì)物體的距離信息。這一規(guī)律最直觀的現(xiàn)象是觸筆實(shí)驗(yàn):實(shí)驗(yàn)者雙手持兩支鉛筆,雙臂張開(kāi)而后合攏,試圖讓兩支鉛筆的筆尖相互觸碰。當(dāng)試驗(yàn)者閉上一只眼睛時(shí),很難讓兩只鉛筆的筆尖準(zhǔn)確碰到一起,這即是大腦皮層無(wú)法通過(guò)單眼視覺(jué)估計(jì)距離信息的體現(xiàn)。

運(yùn)用計(jì)算機(jī)對(duì)二維圖像進(jìn)行三維重建時(shí)也會(huì)遇到這一問(wèn)題,因此本文利用兩個(gè)或兩個(gè)以上的圖像傳感器從不同角度獲取被測(cè)物體圖像(多機(jī)位)或單個(gè)圖像傳感器在不同角度獲取被測(cè)物體圖像形成圖像序列(單機(jī)位多角度),再將圖像信息導(dǎo)入計(jì)算機(jī),運(yùn)用基于Hopfield遞歸神經(jīng)網(wǎng)絡(luò)的類腦算法對(duì)視差、空間遮擋、光影關(guān)系和透視關(guān)系進(jìn)行分析,實(shí)現(xiàn)平面圖像的三維重建。

通過(guò)comsol軟件及實(shí)物試驗(yàn)進(jìn)行三維影像記錄與重建的試驗(yàn)設(shè)計(jì)與仿真測(cè)試,同時(shí)運(yùn)用編寫(xiě)的三維重建算法對(duì)獲得的多角度圖組進(jìn)行測(cè)試,仿真結(jié)果和實(shí)物試驗(yàn)結(jié)果都表明算法具有良好的三維重建效果,其原因在于本文運(yùn)用類腦算法模仿大腦皮層視覺(jué)處理的過(guò)程,在Hopfield遞歸神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入非線性權(quán)重向量計(jì)算函數(shù),對(duì)二維圖像的視差、空間遮擋、反光、陰影、明暗分界以及透視關(guān)系等信息進(jìn)行處理,實(shí)現(xiàn)二維圖像的三維重建,相對(duì)于傳統(tǒng)三維重建算法具有更加逼真的效果、更快的圖像處理速度更快和更高的效率。

圖2左右側(cè)分別為兩個(gè)不同角度拍攝的三維物體實(shí)景圖像,將這一組圖片導(dǎo)入基于Hopfield遞歸神經(jīng)網(wǎng)絡(luò)的類腦計(jì)算算法,可重建出該物體在視場(chǎng)范圍內(nèi)的三維圖像,從而得到視角范圍內(nèi)(即圖2兩圖拍攝角度之間的角度)任意角度的擬合圖像,由于計(jì)算機(jī)上無(wú)法直接顯示三維圖像,故在視角范圍內(nèi)從左到右依次截取6個(gè)角度的重建圖像如圖3所示。

圖2 拍攝的三維物體圖像

圖3 從左到右依次截取6個(gè)角度的三維重建圖像

4 結(jié)論

本文運(yùn)用類腦算法模仿大腦皮層視覺(jué)處理的過(guò)程,在Hopfield遞歸神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入非線性權(quán)重向量計(jì)算函數(shù),對(duì)二維圖像的視差、空間遮擋、反光、陰影、明暗分界以及透視關(guān)系等信息進(jìn)行處理,實(shí)現(xiàn)二維圖像的三維重建,相對(duì)于傳統(tǒng)三維重建算法具有更加逼真的效果、更快的圖像處理速度更快和更高的效率。