賴秦榮，狄嵐

江南大學 人工智能與計算機學院，江蘇 無錫 214122

在圖像處理領(lǐng)域中，圖像插值算法一直是圖像處理的難題，該技術(shù)的目標是將一張低分辨率圖像通過插值算法處理轉(zhuǎn)換為高分辨率圖像。目前，圖像插值技術(shù)已經(jīng)廣泛應(yīng)用于醫(yī)學影像診斷、圖像重構(gòu)、計算機視覺、道路車輛監(jiān)控等多個領(lǐng)域。圖像插值技術(shù)按照插值處理方式差異主要分為線性插值算法與非線性插值算法2 大類。線性插值算法經(jīng)典的中包括最近鄰插值、雙線性插值算法[1]，這2 種算法處理的圖像邊緣鋸齒現(xiàn)象明顯以及出現(xiàn)邊緣輪廓模糊不清的情況，因此不適合處理有著復(fù)雜邊緣細節(jié)的圖像。雙三次插值[2]、基于區(qū)域關(guān)系插值、三次B 樣條插值[3]、蘭索斯（Lanczos）插值[4]等算法有著更為復(fù)雜的函數(shù)模型，且在算法思想上引入了待插值像素點周圍已知像素點灰度值變化和灰度值變化率的影響因素，但上述插值算法核函數(shù)都具有低通濾波的性質(zhì)，會破壞圖像高頻區(qū)域，處理后的圖像邊緣依然會出現(xiàn)模糊失真的現(xiàn)象。為了解決傳統(tǒng)線性插值存在的問題，數(shù)字圖像處理領(lǐng)域?qū)＜议_始研究非線性插值算法，從變換域角度引入了小波變換插值[5-12]，先分離圖像的高頻與低頻信息，然后針對圖像高頻信息進行處理。該算法能較好保持圖像邊緣細節(jié)，但存在著插值模型復(fù)雜和高頻信息處理時會帶來噪聲等問題。從人類視覺系統(tǒng)角度出發(fā)，圖像插值質(zhì)量的關(guān)鍵是圖像邊緣區(qū)域信息的有效保持，有許多基于邊緣區(qū)域的圖像插值算法[5]，其中有一種新的邊緣定向插值算法(new edge-directed interpolation, NEDI)[13]，其根據(jù)經(jīng)驗閾值將圖像劃分為邊緣與非邊緣區(qū)域，利用局部協(xié)方差插值模型處理邊緣區(qū)域，利用雙線性插值處理非邊緣區(qū)域，完成圖像插值得到高分辨率圖像。該算法極大地提高了圖像邊緣質(zhì)量。但是存在著2 大問題：1）算法通過經(jīng)驗閾值完成邊緣分割，這導(dǎo)致對于不同圖片邊緣的處理時具有較大隨意性；2）對于邊緣區(qū)域的插值處理上，NEDI 算法沒有較好考慮邊緣輪廓的連續(xù)性，這導(dǎo)致圖像的邊緣結(jié)構(gòu)沒有很好地保留下來。

針對上述NEDI 算法存在的問題，本文提出一種基于像素差分網(wǎng)絡(luò)[14]和邊緣方向插值的圖像縮放算法。1）針對NEDI 算法劃分邊緣時經(jīng)驗閾值選擇隨意性的問題，本文算法改用像素差分網(wǎng)絡(luò)劃分邊緣，替代原有劃分邊緣方法；2）針對保持邊緣輪廓連續(xù)性的問題，本文算法通過對邊緣點局部區(qū)域內(nèi)邊緣線方向線性插值保持邊緣輪廓的連續(xù)性，同時也保持邊緣結(jié)構(gòu)的完整性。實驗表明，本文提出的算法相較于NEDI 算法對于各種圖片能在保持圖像結(jié)構(gòu)性不變的情況下，獲得較高的峰值信噪比，而與其他圖像插值算法相比，同樣具有較好的評價指標數(shù)據(jù)。

1 NEDI 算法

NEDI 算法輸入原圖像，通過經(jīng)驗閾值劃分區(qū)域，插值點像素值低于閾值的像素點將分到非邊緣區(qū)域，超過閾值像素點分到邊緣區(qū)域，邊緣區(qū)域采用協(xié)方差自適應(yīng)插值，非邊緣區(qū)域采用雙線性插值，最終插值結(jié)果合并得到結(jié)果圖像。自適應(yīng)協(xié)方差插值算法的示意如圖1。圖1 中C(x,y)為待插值像素點，其余點為原圖像像素點。

圖1 自適應(yīng)協(xié)方差插值算法

圖1 中待插值像素點C的像素點灰度值是加權(quán)平均四周相鄰像素點值所得結(jié)果。下面為權(quán)重系數(shù)a的計算流程：原圖像記為X，結(jié)果圖像記作Y，Y圖像是X圖像進行2 倍插值后所得，即Y2i,2j=Xi,j，則Y2i+1,2j+1計算為

式中：Y2(i+k),2(j+1)為原圖像像素值，Y2i+1,2j+1為結(jié)果圖像中待插值點像素值，a2k+1為權(quán)重系數(shù)，k與i的取值范圍為[0,3]。

然后根據(jù)維納濾波原理[15]計算a2k+1，算出最小均方誤差(minimum mean squared error, MMSE )，線性插值系數(shù)為

式中：Y=[y1,···yk,···,yM2]T為圖像中局部窗口為M×M像素向量矩陣組成的，C為4×M2的矩陣，第k列向量yk是沿著待插值像素點對角線方向上4 個最近鄰像素點的值。根據(jù)式(1)~式(3)，求得最終的權(quán)重系數(shù)為

通過上述處理流程，NEDI 算法將一張低分辨率圖轉(zhuǎn)換為一張高分辨率圖，同時保持了較好的圖像觀賞性。但是根據(jù)算法處理流程可以看出，人工選取經(jīng)驗閾值存在局限性，以及算法并沒有針對圖像邊緣輪廓的連續(xù)性進行處理以保持圖像邊緣結(jié)構(gòu)。

2 基于像素差分網(wǎng)絡(luò)和邊緣方向插值的圖像插值算法

本文通過對NEDI 算法的分析，采用像素差分網(wǎng)絡(luò)劃分邊緣替代經(jīng)驗閾值劃分邊緣區(qū)域與非邊緣區(qū)域，對于非邊緣區(qū)域選擇雙線性插值算法處理，對于邊緣區(qū)域采用邊緣線方向選擇線性插值的方式保證邊緣輪廓連續(xù)性，保留圖像邊緣結(jié)構(gòu)。本文算法框架如圖2。

圖2 本文算法框架

2.1 像素差分網(wǎng)絡(luò)劃分邊緣

像素差分網(wǎng)絡(luò)核心是通過將傳統(tǒng)檢測算子集成卷積神經(jīng)網(wǎng)絡(luò)運算。一方面?zhèn)鹘y(tǒng)邊緣檢測算子基于梯度計算像素差編碼用于邊緣檢測的梯度信息，對于不同邊緣采用不同算子可以簡單高效完成邊緣檢測，但另一方面?zhèn)鹘y(tǒng)邊緣算子結(jié)構(gòu)淺，無法處理大量圖像特征，而引入卷積神經(jīng)網(wǎng)絡(luò)后可以很好地處理大量邊緣信息，且相較于香草卷積(vanilla convolution)像素差分網(wǎng)絡(luò)提出一種通過計算圖像中像素點間的像素差與核權(quán)重卷積生成輸出特征的卷積 (pixel difference convolution,PDC)，卷積公式為

式中：xi、為 輸入圖像像素；wi為k×k卷積核權(quán)重；P為當前局部卷積中選取的像素差對集合，像素差分網(wǎng)絡(luò)中定義了3 種PDC 的計算方式，分別為基于角度差的像素卷積(pixel difference convolution based on angular differences, APDC)、基于中心差的像素卷積 (pixel difference convolution based on central differences, CPDC)、基于徑向差的像素卷積(pixel difference convolution based on radial differences,RPDC)，計算方式如圖3~5。

圖3 基于角度差的像素卷積

圖4 基于中心差的像素卷積

圖5 基于徑向差的像素卷積

以APDC 為例，按圖3 中箭頭方向依次相減得到像素差后乘以卷積核權(quán)重，計算結(jié)果最終可以轉(zhuǎn)化為普通卷積。

基于式(4)，在訓練階段可以通過運用2 倍的算力訓練差分卷積，而推理階段的速度與普通卷積神經(jīng)網(wǎng)絡(luò)一致。像素差分網(wǎng)絡(luò)的結(jié)構(gòu)如圖6。

圖 6 像素差分網(wǎng)絡(luò)結(jié)構(gòu)

像素差分網(wǎng)絡(luò)使用了大量深度可分離卷積，整個主干有4 個階段，其中除第1 階段外，每一階段有4 個Block 塊，每個Block 塊中依次進行深度卷積、Relu 以及單點卷積。深度卷積層中采用PDC 對3×3殘差塊中普通卷積進行替換。結(jié)束后都會進行一次下采樣(2×2P)，這樣的主干結(jié)構(gòu)沒有過多分支，具有快速推理和易于訓練效果。

在側(cè)結(jié)構(gòu)上首先構(gòu)建多尺度特征提取模塊(compact dilation convolution based module, CDCM)豐富多尺度邊緣信息，接收輸入n×C個通道，產(chǎn)生M(M

圖7 各階段生成邊緣圖示例

2.2 邊緣線插值保持邊緣輪廓的連續(xù)性

通過像素差分網(wǎng)絡(luò)進行邊緣提取后，把整幅圖像劃分為非邊緣區(qū)域和邊緣區(qū)域。對于非邊緣區(qū)域采用雙線性插值，而在邊緣區(qū)域中連續(xù)輪廓存在邊緣點構(gòu)成邊緣線的情況，則對于邊緣線方向采用線性插值實現(xiàn)圖像縮放后的邊緣輪廓具有一定的連續(xù)性，對于非邊緣線方向則采用協(xié)方差自適應(yīng)插值，邊緣線方向例子如圖8。

圖8 以C1 為中心的局部領(lǐng)域邊緣線

圖8 中C1為邊緣點，以它為中心的3×3 鄰域內(nèi)有8 個鄰接點，其中C1、C2、C3構(gòu)成一條邊緣線，對于這樣的邊緣線方向的點需采用線性插值，計算公式為

式中：F(x,y)為待插值像素點，f(x1,y1)以及f(x2,y2)為原圖像邊緣線方向的像素點，u是權(quán)重系數(shù)：

通過對邊緣線方向點的插值運算，保證了一定的邊緣輪廓的連續(xù)性，同時也保留了邊緣結(jié)構(gòu)的完整性。

基于像素差分網(wǎng)絡(luò)保留邊緣結(jié)構(gòu)的圖像插值算法步驟如下：

輸入低分辨率灰度圖像。

輸出高分辨率灰度圖像。

1) 將圖像輸入深度可分離卷積層處理；

2) 利用多尺度特征提取模塊(compact dilation convolution based module, CDCM)豐富多尺度邊緣信息；

3) 根據(jù)空間注意力機制模塊來消除特征圖像中的背景噪聲；

4) 利用1×1卷積層進一步將圖像特征量縮小到單一通道圖，通過插值將圖像還原至原來大??；

5) 使用Sigmoid 函數(shù)創(chuàng)建各階段邊緣圖，再通過4 個階段產(chǎn)生的單獨通道特征圖與級聯(lián)、單點卷積融合后提取最終圖像邊緣；

6) 通過邊緣提取后遍歷判斷所有像素點所處區(qū)域，運用雙線性插值算法處理非邊緣區(qū)域，運用協(xié)方差自適應(yīng)插值邊緣點區(qū)域，最后為采用線性插值算法完成對邊緣線方向點的處理；

7) 合并插值結(jié)果，完成圖像插值。

3 實驗與結(jié)果分析

3.1 邊緣提取模型選擇實驗

本文通過比較不同邊緣檢測模型性能以及效果來說明最終采用模型為像素差分網(wǎng)絡(luò)模型的相關(guān)原因。

首先通過在Multicue[16]數(shù)據(jù)集上，使用像素差分網(wǎng)絡(luò)模型(pixel difference networks, PiDiNet)以及部分先進邊緣檢測模型BDCN[17]和RCF[18]進行性能測試，指標數(shù)據(jù)結(jié)果如表1 所示，其中加粗數(shù)據(jù)為最佳數(shù)據(jù)。

表1 神經(jīng)網(wǎng)絡(luò)模型指標數(shù)據(jù)

評價指標以最佳數(shù)據(jù)集尺度 (optimal dataset scale, ODS)、平均絕對誤差 (mean absolute error, MAE)、最佳圖像尺度 (optimal image scale, OIS)等為主。其中在ODS 和OIS 上數(shù)據(jù)越接近1 越好，而平均絕對誤差數(shù)據(jù)越接近0 越佳。可以從表1看出，像素差分網(wǎng)絡(luò)在ODS 和OIS 上雖然不是最佳，但在MAE 上要優(yōu)于其他模型，ODS 和OIS 數(shù)據(jù)來自于文獻[14]。

其次是通過對不同邊緣檢測模型邊緣提取圖像效果比較，如圖9 所示。BDCN 測試模型基本上能提取出圖像邊緣輪廓，但細節(jié)部分不夠清晰；而RCF 測試模型提取邊緣圖較為模糊，邊緣細節(jié)缺失多；PidiNet 測試模型相較于前2 種測試模型，在圖像細節(jié)上要更加清晰，能體現(xiàn)出圖像邊緣的梯度變化，總體上PidiNet 模型更為優(yōu)秀。

圖9 神經(jīng)網(wǎng)絡(luò)模型效果比較

最后是通過在NVIDIA RTX 2080 Ti 上比較不同邊緣檢測模型在BSDS500 數(shù)據(jù)集上的運行效率，即f/s，如圖10。結(jié)合表1 和圖9，可以看出像素差分網(wǎng)絡(luò)模型在保持不錯的邊緣檢測性能的同時，運行效率上有著明顯的優(yōu)勢，因此本文算法上最終選擇像素差分網(wǎng)絡(luò)模型劃分邊緣來替代NEDI 原有劃分邊緣方法。

圖10 NVIDIA RTX 2080t 上的運行效率

3.2 比較插值算法實驗過程

本文中的比較不同插值算法的實驗環(huán)境為Window 10、Intel(R) Core i5-9300H、OpenCv3.4.3、pytorch1.9、Cuda10.2。實驗過程：首先對每一張輸入的圖像進行降采樣處理，降采樣處理的方式中輸入?yún)?shù)cv2.INTER_NEAREST 給resize 函數(shù)，對每張輸入圖像進行縮小處理，把圖像的長寬縮小為原圖像的一半；之后每一張圖像采用不同圖像插值算法處理放大一倍。與原圖像對比給定評價指標峰值信噪比（peak signal to noise ratio, PSNR）、結(jié)構(gòu)相似性（structural similarity, SSIM）[19]以及運行時間等結(jié)果數(shù)據(jù)。PSNR 主要反映了插值圖像與原始圖像的相似度，是通過比較插值圖像與原始圖像的差剖面，依據(jù)可視誤差得到的數(shù)據(jù)，其數(shù)值越大表示插值效果越好。相較PSNR 而言，SSIM 的評價方式更符合人類視覺系統(tǒng)，判斷標準是圖像差值前的亮度、對比度和結(jié)構(gòu)等3 個方面。加權(quán)乘積后獲取子圖部分的相似度，累積全部子圖結(jié)構(gòu)相似度值并取平均得到SSIM 值，其數(shù)值越接近1，插值效果越好。

3.3 結(jié)果分析

比較不同插值算法的實驗結(jié)果分析主要分為2 方面：1) 主觀角度從人眼視覺上對插值結(jié)果的對比；2) 客觀角度對PSNR、SSIM 以及運行時間等結(jié)果數(shù)據(jù)對比。圖11 是對甜椒灰度圖和山魈灰度圖局部區(qū)域放大圖像。

圖11 原圖像的局部區(qū)域放大圖

3.3.1 主觀分析

從主觀分析的角度，針對甜椒灰度圖和山魈灰度圖局部區(qū)域放大圖像，將本文算法和最近鄰插值、雙線性插值、雙三次插值、三次B 樣條插值、蘭索斯插值、區(qū)域關(guān)系插值、小波變換插值、NEDI、BDCN+NEDI 以及RCF+NEDI 等10 種不同插值算法進行了對比，圖12 和圖13 是處理后圖像的局部比對。

圖12 不同插值算法構(gòu)建甜椒灰度圖的局部圖像效果對比

圖13 不同插值算法構(gòu)建山魈灰度圖的局部圖像效果對比

從圖12 中可以看出最近鄰算法、蘭索斯算法處理后的局部區(qū)域圖像邊緣有明顯鋸齒，而雙線性插值、區(qū)域關(guān)系插值、BDCN+NEDI、RCF+NEDI處理后的局部區(qū)域圖像會出現(xiàn)邊緣模糊不清的情況，小波變換插值處理后局部區(qū)域圖像亮度會發(fā)生較明顯提高，相較于其他算法，本文算法插值以及NEDI 算法效果主觀上更接近原圖。

而從圖13 中可以明顯看到三次B 樣條插值、RCF+NEDI 以及區(qū)域關(guān)系插值處理后的局部圖像的眼睛部分模糊，最鄰近算法、雙線性插值、雙立方插值算法、BDCN+NEDI 以及NEDI 算法對毛發(fā)的處理效果較為粗糙，毛發(fā)細節(jié)沒有較好保留，而從視覺上觀察，本文算法在這一點的處理上要好于其他插值算法所表現(xiàn)出來的結(jié)果。

3.3.2 客觀分析

從客觀分析的角度，本文實驗部分選取了12幅灰度圖像作為實驗測試圖像(如圖14)，從PSNR與SSIM 評價指標結(jié)果數(shù)據(jù)角度分析。如表2 所示，比較11 種不同算法之間數(shù)據(jù)異同，其中加粗字體數(shù)據(jù)為最佳數(shù)據(jù)，表示該算法數(shù)據(jù)上好于其他算法。

表2 圖14 中圖像的不同插值算法PSNR 和SSIM 對比

圖14 測試灰度圖像

通過表2 中數(shù)據(jù)分析可知，本文算法相較于其他算法，在PSNR 和SSIM 結(jié)果數(shù)據(jù)上都有所領(lǐng)先。其中相較于NEDI 算法，本文算法在保持結(jié)構(gòu)相似性的同時，處理后大部分圖像在峰值信噪比數(shù)據(jù)上有所提升，領(lǐng)先了0.02~0.2 dB，也有部分處理后圖像峰值信噪比數(shù)據(jù)以及結(jié)構(gòu)相似性數(shù)據(jù)上存在持平或者下降。

對不同圖片基本上有所提升也說明本文算法具有一定的普適性。因為涉及到具體的應(yīng)用層面上，時間復(fù)雜度是每一個算法不可避免要考慮的問題，所以需要從時間復(fù)雜度角度分析數(shù)據(jù)，本文實驗中以不同插值算法的具體運行時間來表示，如表3 為不同插值算法運行10 次的運行時間的平均值。取10 次運行時間平均值的目的是為了降低實驗中存在的偶然誤差，可以結(jié)合表2、表3 中數(shù)據(jù)看出，區(qū)域關(guān)系插值、BDCN+NEDI、RCF+NEDI、NEDI 算法的平均運行時間長，而且本文算法在評價指標數(shù)據(jù)領(lǐng)先的情況下，相較于NEDI算法在運行時間上遠遠降低，這對未來圖像處理領(lǐng)域中實現(xiàn)本文算法的應(yīng)用提供了良好的基礎(chǔ)依據(jù)。

表3 圖14 中圖像不同插值算法10 次運行時間平均值s

4 結(jié)論

本文在通過分析NEDI 算法存在的問題基礎(chǔ)上，通過像素差分網(wǎng)絡(luò)模型提取邊緣和邊緣線方向插值保證邊緣輪廓來實現(xiàn)了對算法的改進，提出了基于像素差分網(wǎng)絡(luò)和邊緣方向插值的圖像縮放算法。通過實驗表明，本文算法能在提高圖像分辨率的基礎(chǔ)上保留圖像所具有的邊緣結(jié)構(gòu)，有較低的時間復(fù)雜度，同時對于不同圖像該算法有較好的普適性。雖然算法取得了一定的效果，但未來還需做進一步的研究，主要有以下方面：1）本文實驗中對圖像僅進行了最近鄰降采樣后放大一倍圖像的操作，而在實際中圖像處理方面，需要能做到任意倍數(shù)縮放后都能得到高分辨率圖像。2）本文實驗中以像素差分網(wǎng)絡(luò)實現(xiàn)邊緣提取后的圖像仍然會有出現(xiàn)邊緣模糊的情況。這些都是后續(xù)研究中需要關(guān)注和解決的問題。