莊 佳,石 林

(常州大學,江蘇 常州 213164)

1 引言

VR技術是在數(shù)字技術的幫助下產(chǎn)生虛擬圖像[1]的一種方法,利用VR技術可創(chuàng)造出現(xiàn)實世界無法呈現(xiàn)的場景,為消費者帶來全新的感官體驗,VR技術獲取圖像的途徑主要是圖像特征融合[2,3],但VR技術應用過程中不可避免會產(chǎn)生一定的圖像場景重建誤差,在校正這些誤差的過程中,很多數(shù)量較少且不明顯的誤差容易被忽略,導致虛擬場景圖像的誤差校正效果不理想。

呂麗軍[4]等人首先利用光學系統(tǒng)的主光線將錯誤圖像與正確圖像一起投影到平面上,獲取兩者之間的曲線,其次對曲線進行擬合并計算出該曲線的逆函數(shù),從而復原帶有誤差的圖像,實現(xiàn)圖像誤差校正。段靜彧[5]等人首先將圖像轉(zhuǎn)換成數(shù)字信號,并對信號進行視差函數(shù)配準,完成圖像模板匹配,將其視為圖像誤差校正的基礎,其次計算出圖像的實際誤差,將誤差進行插值處理,以此生成誤差補償結(jié)果,實現(xiàn)圖像誤差校正。

以上二種方法均沒有提前預測VR圖像特征融合誤差,導致在計算過程數(shù)據(jù)量巨大,同時提高錯誤校正發(fā)生率,大大加長校正時間,存在校正準確率低、誤差預測準確性低、校正所需時間長和校正效果差的問題。

為了解決上述算法中存在的問題,提出VR圖像特征融合誤差半監(jiān)督校正算法。經(jīng)研究發(fā)現(xiàn),機器學習可有效提高校正精度,機器學習是人工智能的主要表示,其中的半監(jiān)督式學習可通過推導部分數(shù)據(jù)獲取,經(jīng)過訓練將相同的誤差類別分類到一起進行校正,加強整體校正精度。

2 VR圖像特征融合誤差預測

對于已經(jīng)完成特征融合[6,7]后的VR圖像其中不可避免會出現(xiàn)融合誤差,因此完成圖像融合后還需進行誤差校正[8],為最大程度提高校正精度,需對可疑區(qū)域完成定位進而完成圖像特征融合誤差的預測[9,10]。

2.1 VR圖像特征提取

卷積神經(jīng)網(wǎng)絡[11]是目前最高效的誤差定位方法,由于卷積神經(jīng)的特殊組成結(jié)構(gòu)可分別完成定位所需的內(nèi)容,從而提高定位精度,通過卷積神經(jīng)網(wǎng)絡訓練模型提取出圖像特征,在網(wǎng)絡模型的反向傳播特性以及誤差函數(shù)的幫助下調(diào)整神經(jīng)網(wǎng)絡參數(shù),其中誤差函數(shù)的表達式為

(1)

基于誤差函數(shù)以及網(wǎng)絡訓練模型對圖像特征進行提取,首先將原始圖像轉(zhuǎn)換成HSV模式以此提出圖像的顏色特征向量,為減少直方圖維數(shù)以此增強校正效率,可均勻量化圖像的顏色空間,將圖像顏色特征進行加權歸一化處理[12]后得出圖像特征,其結(jié)果表達式為

H=βHa+Hb(1-β)

(2)

式中,Ha表示圖像誤差區(qū)域直方圖特征,Hb表示沒有誤差區(qū)域的直方圖特征,β表示相應圖像區(qū)域的面積,H表示經(jīng)過歸一化處理后的圖像特征。

除顏色以外的特征在提取時可將無誤差的圖像與有誤差的圖像進行映射,通過計算兩種圖像之間的映射函數(shù)完成特征提取[13,14],其映射計算公式為

C(x)→NTm

(3)

式中,C(x)表示映射函數(shù),N表示目標圖像的特征數(shù)量,Tm表示實數(shù)向量。

通過映射生成誤差圖像的空間維數(shù)計算公式為

W=ε(1+e)2

(4)

其中,W表示帶有誤差特征的圖像空間維數(shù),ε表示空間維度向量,e表示映射參數(shù)。

進而計算出特征融合圖像的向量,其運算表達式為

p=Bi(x)·WC(x)

(5)

式中,p表示圖像的向量,Bi(x)表示第i個圖像的特征。

根據(jù)式(5)即完成圖像的特征提取。

2.2 圖像特征融合誤差定位

根據(jù)提取出的特征進行誤差區(qū)域相似度的計算,在相似度計算結(jié)果的幫助下對每類相似的特征進行分類,并運算出不同區(qū)域之間的距離,在特征相似度計算中歐式距離是最有效的計算方法,其中區(qū)域距離的表達式可設置為

F(c,d)=(Hc-Hd)TA(Hc-Hd)

(6)

式中,F(c,d)表示特征區(qū)域c和特征區(qū)域d之間的歐式距離,A表示特征相似矩陣,即特征維數(shù)之間的聯(lián)系權重,T表示特征向量。

假設特征之間的相似度為akj,其表達式為

(7)

式中,fkj表示特征k和j之間的距離,fmax表示特征間的最長距離。

為更好描述圖像特征間的相似性,同時明確定位出誤差區(qū)域,定義出參考區(qū)域的距離,其表達式為

(8)

式中,Oi表示參考區(qū)域距離,φ表示特征點的權重向量,V表示圖像特征。

通過計算特征間的距離并對其進行加權處理,得出最符合圖像的平滑因子,進而得出特征相似度,特征相似度就是經(jīng)過外部加權歸一化處理后的特征歐式距離,其表達式為

Dis(a,b)=F(a,b)(1-γ)+γF(a,b)

(9)

式中,Dis(a,b)表示特征間的相似度,γ表示歸一化參數(shù)。

根據(jù)相似度公式計算出特征間距離,并與參考區(qū)域距離進行比較,若大于參考距離,則進行標記,從而定義出可疑區(qū)域。

2.3 圖像特征融合誤差預測

在可疑區(qū)域中預測出存在誤差的圖像區(qū)域,即將標記出的可疑區(qū)域視為目標區(qū)域進行預測,首先構(gòu)建圖像訓練樣本與預測樣本之間的多元線性回歸矩陣,其表達式為

(10)

其中,κ表示多線性回歸系數(shù),τ表示各個樣本的殘差值,r表示與目標樣本相鄰的樣本像素。

其中回歸系數(shù)κ的運算表達式為

κi=(YTY)-1YTY

(11)

其中,T表示轉(zhuǎn)置符號。

進而計算出圖像融合特征的預測值,其表達式為

r′a,b=J(τ1ra,b-1+τ3ra-1,b+τ2ra-1,b-1)

(12)

其中,J表示每種特征的評價分數(shù),r表示圖像特征融合誤差預測樣本。

將目標預測樣本與全新樣本預測值進行比較即可生成VR圖像特征融合的誤差預測值,其運算表達式為

D1=round(ra,b-r′a,b)

(13)

式中,D1即為誤差預測值。

3 圖像特征融合誤差半監(jiān)督校正

半監(jiān)督式學習算法[15]在機器學習中是較為容易實現(xiàn)的一種算法,它可以忽略數(shù)據(jù)是否被標記的同時完成數(shù)據(jù)的分類,加強系統(tǒng)的泛化能力,半監(jiān)督式誤差校正可通過少量被標記以及大量未被標記的樣本進行訓練完成誤差校正,即在預測的誤差數(shù)據(jù)中提取訓練樣本,并在半監(jiān)督式學習下對樣本的特征信息進行分類。

為加強分類精度,基于VR圖像特征融合的誤差預測值,在半監(jiān)督式學習下添加支持向量機,首先對預測數(shù)據(jù)中已被標記的數(shù)據(jù)進行分類,假設預測數(shù)據(jù)中被標記的數(shù)據(jù)集合為(y1,z1),(y2,z2),…,(yn,zn),未被標記的數(shù)據(jù)集合為y′1,y′2,…,y′3,其中支持向量機的公式如下所示

(14)

其中,B表示支持向量機的參數(shù),C表示支持向量機中的影響因素,i和j均表示1～n的正整數(shù),v表示特征的權重,φi表示分類系數(shù)。

通過半監(jiān)督式學習算法對分類器進行訓練,生成誤差特征的期望向量以及方差向量,其表達式如下所示

(15)

當i和n相等,即可得出分類器,否則重新選取標記的樣本進行訓練直至i和n相等得出分類器。

利用訓練出的分類器對大量未被標記的數(shù)據(jù)進行分類,在預測誤差樣本中任意選取未被標記的樣本進行分類,為更加貼近未被標記的樣本,需在已生成的分類器的基礎上進行修改,即將式(15)優(yōu)化成下列式子

(16)

通過式(15)和(16)分類器對標記的誤差數(shù)據(jù)以及未標記的圖像誤差數(shù)據(jù)進行分類即可獲取最具影響力的結(jié)果。

VR圖像由于特征融合錯誤導致的圖像誤差是系統(tǒng)固有的,因此也將這種誤差稱之為系統(tǒng)誤差,根據(jù)VR技術得出這種誤差的數(shù)學模型公式為

fd(z)=fc(z)fs(z)

(17)

其中,fd(z)表示分類出的誤差圖像區(qū)域,fs(z)表示原始VR圖像,fc(z)表示特征融合誤差函數(shù),z表示圖像中特征點。

進而得出特征融合誤差就是乘性誤差,這種誤差的校正最優(yōu)方法就是系統(tǒng)校正,通過上式可知原始圖像的生成公式為

(18)

利用上式對原始圖像的復原較為困難,為方便運算可提前設定條件進行還原,假設VR圖像中所有特征融合誤差種類相同,設誤差為j,此時的原始圖像表達式為

(19)

將每種誤差進行設定,根據(jù)上式計算出每種誤差的修正系數(shù),以此完成誤差校正。

4 實驗結(jié)果與分析

對所提算法、文獻[4]算法和文獻[5]算法進行校正準確率、誤差預測準確性、校正所需時間和校正效果進行測試,設計仿真。具體測試結(jié)果如下所示。

4.1 校正準確率指標

VR圖像特征融合誤差校正算法必須保證校正精度,為驗證所提算法的優(yōu)劣,對所提算法、文獻[4]算法以及文獻[5]算法的校正準確率進行比較。

現(xiàn)在同一環(huán)境下選取帶有不同誤差類型的VR圖像,分別通過三種算法進行校正,將校正結(jié)果準確率進行比較,其結(jié)果如圖1所示。

圖1 不同算法下的校正準確率

為保證實驗真實性,分別對十組不同的誤差進行校正,根據(jù)實驗結(jié)果可看出,每組實驗結(jié)果均是所提算法的準確率最高,其余兩種算法的實驗結(jié)果準確率均遠遠低于所提算法,因為所提算法在進行誤差校正前對誤差數(shù)據(jù)進行預測,提前將數(shù)據(jù)量降低,使得后續(xù)的校正計算僅僅在預測數(shù)據(jù)中進行校正即可,保證校正效率,降低將正確融合特征視為誤差的概率,從而提高校正精度。

4.2 誤差預測準確性指標

在進行VR圖像特征誤差校正過程中,對誤差進行預測是提高校正精度的最常用手段,經(jīng)過預測可排除大部分正確融合數(shù)據(jù),降低在校正過程中錯誤校正的風險,因此預測誤差的精度也是決定校正結(jié)果好壞的關鍵因素。

為得出最優(yōu)校正算法,隨機選取100組帶有特征融合誤差的VR圖像,通過三種校正算法進行誤差預測,判斷出精度最高的預測算法即為最優(yōu)校正算法,其實驗結(jié)果如圖2所示。

圖2 三種算法的誤差預測準確性

圖3 三種算法的誤差校正效果圖

誤差預測準確性是正確預測誤差數(shù)量與實際圖像中所存在的誤差之比,經(jīng)過對圖2的分析,誤差預測準確性最高的算法即為所提算法,因為經(jīng)比較發(fā)現(xiàn)每組實驗下的預測準確性最高的均是所提算法,從而驗證所提算法的優(yōu)越性。

4.3 校正時間指標

VR系統(tǒng)在生成圖像過程中不僅要求圖像的質(zhì)量也講究生成時間,圖像誤差的校正也包括在圖像生成時間內(nèi),因為校正時間的長短也影響系統(tǒng)圖像的生成效率,所以現(xiàn)將校正所用時間當成驗證校正誤差算法優(yōu)劣的一項指標。

為保證外界環(huán)境不影響實驗結(jié)果,現(xiàn)保證三種算法所處的環(huán)境以及受到的影響均一致,隨機選取幾組誤差圖像進行校正,計算其校正所需時間,結(jié)果如表1所示。

表1 三種算法的校正耗時/s

經(jīng)過對表1的分析,所以算法的校正時間均在0.5秒以下,文獻[4]算法較文獻[5]算法其校正效率更高些,時間均控制在1秒以下,而文獻[5]算法的一部分校正時間已經(jīng)超過1秒,因此證明所提算法是最優(yōu)誤差校正算法。

4.4 校正效果

對誤差進行校正后最直觀的效果評價方法就是看校正結(jié)果是否對稱,現(xiàn)隨機選取一張帶有誤差的VR圖像,在三種算法下進行圖像的校正,看最終的校正效果。

將三種算法的校正效果與原始誤差圖進行比較,校正效果最優(yōu)的是所提算法,該算法將不對稱以及變形的部位全部還原,所以所提算法是最優(yōu)的圖像誤差校正算法。

5 結(jié)束語

本研究提出了一種VR圖像特征融合誤差半監(jiān)督校正算法,該算法首先預測出VR圖像特征融合誤差,其次根據(jù)預測結(jié)果在半監(jiān)督式機器學習的幫助下進行誤差校正,實現(xiàn)VR圖像特征融合誤差校正,解決了校正準確率低、誤差預測準確性低、校正所需時間長和校正效果差的問題,提高用戶體驗感,保證圖像質(zhì)量。