徐亞
(云南能源職業(yè)技術學院,云南曲靖,655000)
圖像復原是針對降質的模糊圖像進行恢復的過程,依據各種先驗條件,通過建立圖像復原數學模型,將模糊圖像根據模糊核所在位置劃分為局部模糊圖像,在不同像素的位置條件下,對局部模糊圖像進行修復復原[1]。傳統(tǒng)的模糊圖像復原方法包括非盲復原與盲復原兩種類型[2]。依據模糊圖像的退化模型進行卷積求解,通過求解的模糊核函數,實現模糊圖像的PSF迭代復原[3]。傳統(tǒng)的模糊圖像復原方法由于噪聲分布具有一定的隨機性,在卷積計算求解過程中,會導致復原圖像與原始圖像的均方差存在一定的偏差,使圖像局部出現極值點,降低修復后的圖像質量[4]。深度殘差網絡作為一種表示學習的方法,適用于具有較多復雜結構的高維數據中,打破圖像無損復原方法中圖像識別的制約,加速圖像復原過程中的各項數據分析[5]。通過自動發(fā)現并檢測數據的特征變化,進行多層次的學習,將非線性的模塊進行深度組合,轉換為較高級別的模塊[6]。深度殘差網絡通常能夠根據圖像的特征,對圖像進行位置與方向上的深度檢測,改善了復原過程中函數復雜的情況[7]。深度殘差網絡能夠根據圖像的身份映射,構建對應的學習框架,能夠有效地提高模糊圖像無損復原的精度與圖像質量[8]。
綜上所述,本文針對模糊圖像的問題,提出了基于深度殘差網絡的局部模糊圖像無損復原方法設計,改善傳統(tǒng)模糊圖像復原方法的不足。
針對局部模糊圖像無損復原工作,首先,本文構建了深度殘差網絡模型,通過模型提取局部模糊圖像的各項參數,為后續(xù)評估圖像噪聲的敏感性提供重要依據[9]。
在殘差單元中輸入圖像,在圖像中添加對應的信息標簽,完成圖像預測嵌入強度的操作。深度殘差網絡的基本殘差單元如圖1所示。
圖1 深度殘差網絡的基本殘差單元結構圖
為了提高模型的精確度,增加相關的圖像樣本數量,并將圖像劃分為45*45的圖像塊,構建圖像殘差單元[10]。根據殘差網絡結構的不斷加深,訓練集的準確率會出現短暫性的下降趨勢,為了避免對模型的網絡梯度造成影響,應當構建堆疊網絡的結構,提升模型的性能。設置模型中x表示殘差單元的輸入, ()Hx表示模型中殘差單元的輸出,則深度殘差學習是多個含有參數的網絡層共同學習輸入與輸出之間的殘差,表達式為:
在本文構建的深度殘差網絡模型中,設置殘差單元的表達式為:
其中,F(x,{Wi})表示模型中網絡學習的殘差函數;W1、 2W分別表示函數的權重;σ表示深度殘差網絡激活函數。
在本文構建的模型中,為了操作的簡便性,采用元素相加的方式進行模型間的連接。保證模型中圖像輸入向量與殘差函數維度的一致性,減少額外參數的引入,降低深度殘差網絡模型計算的復雜度。
設置深度殘差網絡模型一共包括15層,根據圖像模糊核大小的不同,將模型的結構層次進行劃分,保證每一個結構層中包含較多的特征信息。在網絡步長為4的結構層中進行圖像采樣,保持步長與圖像邊緣的填充一致。依據模糊核的設計規(guī)則,設定圖像的嵌入強度,結合梯度下降方法,將權重函數的損失降到最小,對深度殘差網絡激活函數進行歸一化處理,隨機選取32個圖像作為模型中的網絡訓練樣本。
為了降低圖像像素溢出的概率,在進行局部模糊圖像無損復原之前,對圖像的像素進行可逆性調整,獲取到圖像的小波變換分解圖像。基于深度殘差網絡模型的相關參數,計算局部模糊圖像的嵌入強度。
基于上述構建的深度殘差網絡模型完畢后,獲取到圖像的嵌入強度、殘差網絡激活函數等參數。接下來,本文通過殘差分塊的方式提取局部模糊圖像的各項特征。在殘差網絡深度不斷增加的背景下,模糊圖像的重建能力會相應地發(fā)生變化,圖像的特征在傳輸過程中會出現一定的波動。根據模型的卷積層結構,提取出具有先驗信息的特征條件,分別添加具有參數特征的元素,采用分類網絡作為圖像特征提取網絡,用于局部模糊圖像的特征提取網絡訓練中,這一過程如圖2所示。
圖2 局部模糊圖像特征提取過程
根據網絡的分支訓練,獲取圖像監(jiān)督信息,利用中間幀調節(jié)圖像中的結構信息。采用堆疊深度殘差塊的方式,增加特征提取網絡的深度,提高提取的效率與精度。在圖像的特征圖中,加入共享相同的卷積核組,對特征圖進行離散卷積操作,獲取到方便于檢測的局部圖像特征。當局部模糊圖像的特征圖大小發(fā)生變化時,表明圖像內的模糊核數量也發(fā)生了改變。此時,應當保持深度殘差網絡模型每一層的結構相同,控制殘差網絡激活函數的變化。
將局部模糊圖像進行像素強度劃分,劃分為位置像素強度不同的模塊,進行矩陣疊加操作,通過多層使用的圖像網絡,將深度殘差網絡模型中的任意兩個結構層次進行連接,設置每一層結構的輸入都是所有層結構的并集處理結果,減少在特征提取過程中梯度彌散的情況。設定殘差分塊的圖像層次特征融合結構輸出為:
其中,M0表示第一層模型結構的輸出;表示特征融合結構的級聯操作;b表示特征融合結構的常量?;诙喑叨鹊臍埐罘謮K方式,學習模型中不同結構層次下的圖像特征,結合模糊圖像的初始化信息,將多個尺度下的模糊圖像特征進行融合,保證每個模糊圖像中使用不同的模糊核。對于局部模糊圖像的殘差學習部分,為了提高模糊圖像特征提取的效率,采用全連接殘差分塊的方式,在各個元素間建立快捷連接,全方位地提高圖像特征信息的提取性能。
根據上述的局部模糊圖像特征提取結果,對圖像的模糊核尺寸進行如下計算。采用卷積算法進行預輸入參數操作,根據局部模糊圖像模糊核的非有效區(qū)域,估計圖像模糊核的寬度與高度。在圖像模糊核的尺寸計算中,首先,確定圖像的模糊核模塊bp,根據模糊核模塊估計圖像相應的模糊核尺寸s= {w,h}。其中,w和h分別代表圖像模糊核的寬度與高度。
將圖像模糊核的尺寸計算看作向量的回歸處理問題,設置訓練回歸器r,圖像模塊的真實尺寸向量為gts,根據向量的映射作用,將尺寸計算的誤差范圍縮小,得出圖像模塊真實尺寸向量的表達式為:
其中,ε表示訓練回歸器的系數。通過表達式可以得出模糊核的尺寸向量。本文設計的基于深度殘差網絡的局部模糊圖像無損復原方法中,由于構建的模型存在全連接層,在輸入圖像尺寸時應當輸入具體的固定值,對于模糊核尺寸的計算具有一定的幫助。保證局部模糊圖像與模糊核的尺寸的縮放比例大小接近,存在較小的差異性。根據局部模糊圖像的變化,記錄模糊核尺寸的縮放比例,將訓練集圖像數據的標簽表達為:
式中,W表示局部模糊圖像的具體寬度;H表示局部模糊圖像的具體高度,根據尺寸縮放比例的相對變化能夠獲取深度殘差網絡的局部模糊圖像模糊核尺寸。
基于上述得到的計算結果,得出圖像相應的模糊核,采用非盲解卷積的方法,對局部模糊圖像進行正則化潛像復原。首先,減少局部模糊圖像的曝光時間,提高圖像的信噪比,降低模糊圖像傳輸介質的噪聲影響。
將擴散函數的卷積結果加入噪聲的過程描述中,調節(jié)局部模糊圖像的噪聲功率譜密度,將圖像的噪聲帶寬調節(jié)為大于圖像的帶寬。局部模糊圖像在噪聲的影響下,經過一定的周期變化,最終生成局部模糊退化圖像,結合逆濾波方法,對局部模糊圖像進行復原操作,實現圖像去模糊的目標。
綜上所述,基于深度殘差網絡的局部模糊圖像無損復原流程如圖3所示。
圖3 基于深度殘差網絡的局部模糊圖像無損復原流程
為了驗證本文提出的基于深度殘差網絡的局部模糊圖像無損復原方法的有效性,進行了如下實驗分析。
本次實驗采用的原始圖像數據為256×256像素大小的局部模糊圖像,對圖像進行拼接處理,使圖像數據具有左右對稱的特性。采用某實驗室的開放數據集,對局部模糊圖像進行相應的特征標記,將標記后的圖像進行模塊劃分。設置本次實驗中數據集的圖像數量為3000,其中,訓練集圖像的數量為2000,測試數據集數量為1000,將局部模糊圖像無損復原的訓練與測試原始數據進行對應的文件劃分?;诒疚臉嫿ǖ纳疃葰埐罹W絡模型初始化處理圖像參數,獲取到模糊圖像的殘差函數與殘差表達式。設置本次實驗訓練數據集在每個周期內的迭代訓練次數為100,在每次迭代訓練后,記錄模糊圖像的網絡權重,根據網絡權重判斷圖像輸出矩陣的均值。
首先對本文方法展開初步驗證,利用本文方法對圖4中的局部模糊圖像進行處理,處理過程及結果如圖5所示。
圖4 原始圖像
觀察圖4、圖5可知,圖4中,左側花朵存在局部模糊情況,經本文方法處理后,局部模糊情況消失,初步驗證了本文方法具有有效性。
圖5 處理過程及結果圖
為了使實驗的結果更加具有說服力,選取MLP圖像復原方法與模糊圖像邊緣復原方法,共同與本文提出的無損復原方法進行對比,對比三種復原方法圖像的峰值信噪比與復原后圖像的結構相似度,根據對比結果對模糊圖像復原的整體性能進行評價,結果如表1、表2所示。
表1 三種模糊圖像復原方法峰值信噪比
表2 三種模糊圖像復原方法復原后圖像結構相似度
如表1、表2所示,本文提出的基于深度殘差網絡的局部模糊圖像無損復原方法在峰值信噪比與圖像的結構相似度方面,均較傳統(tǒng)的復原方法相比存在較大的優(yōu)勢,復原后的圖像結構相似度較高,表明與原圖更加接近,復原得到的圖像質量更好。
綜上所述,針對傳統(tǒng)模糊圖像復原方法在圖像質量方面的不足,本文提出了基于深度殘差網絡的局部模糊圖像無損復原方法。在傳統(tǒng)圖像復原方法的基礎上,融入了深度殘差網絡模型,避免圖像在復原過程中出現像素溢出的情況,保證了局部模糊圖像的完整性,對于出現的噪聲信號攻擊具有較強的穩(wěn)健性,提高了無損復原的局部模糊圖像的魯棒性。