張乾闖，郭晨霞,2，楊瑞峰,2，陳曉樂

（1.中北大學(xué) 儀器與電子學(xué)院，山西 太原 030051；2.山西省自動化檢測裝備與系統(tǒng)工程技術(shù)研究中心，山西 太原 030051）

引言

光纖陀螺儀(fiber optic gyroscope,FOG)是一種光纖傳感器設(shè)備，它基于Sagnac 效應(yīng)測量載體相對于慣性空間的角速度[1]，在軍事等領(lǐng)域中有廣泛應(yīng)用。在影響FOG 性能的眾多因素中，光纖環(huán)(fiber optic coil,FOC)的繞制質(zhì)量是影響光纖陀螺測量精度的關(guān)鍵因素，但是由于光纖材料的直徑微小，只有125 μm，因此對FOC 圖像的分辨率有極高的要求。

圖像超分辨率(super-resolution,SR)是一種通過超分模型，將低分辨率圖像(low-resolution,LR)或者是圖像序列進行恢復(fù)得到高分辨率(highresolution,HR)圖像的圖像處理技術(shù)?，F(xiàn)有的圖像SR 方法可以分為：基于插值[2]、基于重建[3-4]和基于學(xué)習(xí)[5]的方法?；诓逯档姆椒ㄍㄟ^內(nèi)插函數(shù)重建HR 圖像，簡潔高效，但通常會模糊重建圖像的邊緣和紋理?；谥亟ǖ姆椒ㄍǔ８鶕?jù)一些圖像先驗提出假設(shè)，如稀疏先驗，重建過程非常耗時。而基于深度學(xué)習(xí)的方法[6-8]直接學(xué)習(xí)從LR 圖像到HR 圖像的映射關(guān)系，通過加深或加寬網(wǎng)絡(luò)[9-11]來提高性能，但也加重了運算負擔(dān)。因此，設(shè)計輕量級SR 網(wǎng)絡(luò)至關(guān)重要。

FOC 圖像不同于自然圖像，其包含更豐富的紋理，需要特定的網(wǎng)絡(luò)來還原細節(jié)特征。其次，由于深度模型帶來的運算負擔(dān)，將現(xiàn)有的SR 方法直接應(yīng)用于FOC 圖像會存在適應(yīng)性問題。并且，利用遞歸卷積塊[12]、組卷積或深度卷積[13-14]構(gòu)建的輕量級網(wǎng)絡(luò)，其計算復(fù)雜度與具有獨立展開塊的網(wǎng)絡(luò)相同。最后，相對較少的訓(xùn)練樣本，會使得訓(xùn)練更加困難。

因此，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的圖像超分辨率方法，來提高光纖環(huán)繞制FOC 圖像的分辨率。首先設(shè)計了提取梯度信息的雙分支網(wǎng)絡(luò)，利用梯度學(xué)習(xí)分支提取豐富的幾何結(jié)構(gòu)信息，同時引入多階段特征遷移機制來指導(dǎo)圖像信息重建過程，從而獲得滿意的SR 結(jié)果。另外引入了輕量級殘差塊(lightweight residual block,LRB)來改進網(wǎng)絡(luò)結(jié)構(gòu)。實驗表明，本文方法可以實現(xiàn)出色的超分辨率性能，并且在效率和性能方面優(yōu)于其他先進網(wǎng)絡(luò)。

1 本文方法

1.1 雙分支網(wǎng)絡(luò)結(jié)構(gòu)

在圖像采集過程中，與原始HR 圖像相比，LR 圖像丟失了部分視覺細節(jié)。丟失的視覺細節(jié)本質(zhì)上是高頻的，其主要包含在圖像梯度場中。大多數(shù)超分辨率卷積神經(jīng)網(wǎng)絡(luò)都沒有充分利用圖像的梯度信息，而梯度信息的提取有助于圖像邊緣的高分辨率恢復(fù)。為了重建更清晰的紋理邊緣，本文提出一種基于深度學(xué)習(xí)的雙分支網(wǎng)絡(luò)用于實時超分辨率光纖環(huán)繞制圖像。如圖1所示，網(wǎng)絡(luò)包含一個圖像信息分支和一個梯度信息分支。圖像信息分支作為主路徑用于圖像特征提取，而梯度信息分支用于捕獲豐富的高頻特征以進一步促進梯度流和低級特征的傳輸。兩者通過多階段特征遷移策略進行聯(lián)合優(yōu)化，使得網(wǎng)絡(luò)在不增加額外參數(shù)的情況下獲得更好的圖像重建效果。

圖1 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure diagram of proposed algorithm

給定LR 圖像X，首先從中提取梯度圖。通過計算相鄰像素之間的差異來獲取梯度圖，則像素點(x，y)水平和垂直方向的梯度分別為

梯度圖更加注重于高頻細節(jié)，許多緩慢變化的低頻區(qū)域的值將接近于零。梯度圖Xg可由（2）式獲得：

然后LR 圖像和梯度圖像分別沿各自路徑進行特征提取和非線性映射。特征提取模塊使用兩個3×3 卷積層來提取淺層特征。由多個輕量級殘差塊(LRB)組成的鏈式結(jié)構(gòu)同時作用于兩個分支進行非線性特征映射，輸出增強后的特征分量，結(jié)果分別表示為XI,n、XG,n。隨后，將來自梯度信息分支的結(jié)果和圖像信息分支的結(jié)果以像素形式相加，即Xadd=XI,n+XG,n。最后將Xadd輸入到重建塊以獲得最終的超分辨率重建結(jié)果Y，該部分由兩個堆疊的轉(zhuǎn)置卷積構(gòu)成。在網(wǎng)絡(luò)中采用全局殘差學(xué)習(xí)，以進一步促進梯度流和淺層特征的傳輸。此過程可表示為

式中：Fre表示重建塊的函數(shù)；Fbic表示雙三次上采樣操作。

1.2 輕量級殘差塊

受線性壓縮跳躍連接[15]的啟發(fā)，本文構(gòu)造了輕量級殘差塊(LRB)，如圖2所示。LRB 包含兩個特征映射單元，后跟一個局部殘差連接。線性壓縮層(linearly compressive layer,LCL)被集成到局部跳躍連接。線性壓縮層通過1×1 卷積，將輸入特征通道數(shù)由C壓縮為C/2。壓縮后的特征可以視作先前特征的緊湊表示，這使得后續(xù)層能夠重用先前特征。然后利用卷積層來探索新的特征，其輸出通道數(shù)也為C/2。因此，壓縮后的特征與新探索的特征進行級聯(lián)后的特征數(shù)仍為C。本文設(shè)定LRB 中輸入特征的通道數(shù)為64。線性壓縮跳躍連接繼承了原始密集連接的優(yōu)越性，隨著網(wǎng)絡(luò)深度的增加，保持當(dāng)前層的參數(shù)和計算量不變，極大地降低了計算成本。假設(shè)第l 個特征映射單元的輸入為Xl,in，上述過程可以表示為

圖2 LRB 結(jié)構(gòu)細節(jié)Fig.2 Diagram of structure details of LRB

式中：DWConv 表示3×3 深度可分離(depthwise)卷積層，上標(biāo)為輸入通道數(shù)，下標(biāo)為輸出通道數(shù)；FLCL表示LCL 函數(shù)；[…] 表示串聯(lián)(concatenate)操作。每個卷積層之后緊跟一個參數(shù)整流線性單元(parametric rectified linear unit,PReLU)。

為了充分利用分層特征，在兩個特征映射單元之后，使用局部特征融合(local feature fusion,LFF)層來進一步融合級聯(lián)特征，由1×1 卷積層實現(xiàn)。此外，還采用局部殘差學(xué)習(xí)來促進LRB 中的信息流動。因此，LRB 的輸出為

式中：Hn和Hn-1分別表示LRB 的輸入和輸出；FLFF表示局部特征融合函數(shù)。

1.3 多階段遷移學(xué)習(xí)

梯度信息對于獲得豐富的結(jié)構(gòu)特征至關(guān)重要。因此，本文在信息流和梯度流之間建立橫向連接，允許在兩個流之間傳輸特征。在圖像信息分支的每個LRB 前引入了特征遷移的工作機制，以通過多條路徑將不同級別的特征從一個流傳輸?shù)搅硪粋€流，如圖1所示。通過多階段特征遷移，圖像信息流的訓(xùn)練受益于來自梯度信息流的豐富信息。通過這種方式，信息分支可以輕松獲得梯度高級特征，在不增加參數(shù)的情況下提高了圖像信息分支的有效性。該過程可以表示為

式中：Fn表示圖像信息分支中的第n個LRB 函數(shù)；XI,n和XI,n-1表示圖像信息分支中第n個LRB 的輸出和輸入；XG,n表示梯度信息分支中第n個LRB的輸出。

1.4 成像系統(tǒng)退化模型分析

雖然雙三次下采樣的退化模型在重建精度上取得了很大的進步，但現(xiàn)實成像系統(tǒng)中的退化模型往往會偏離這些假設(shè)，從而不可避免地導(dǎo)致訓(xùn)練真實場景超分辨率模型的嚴重惡化。系統(tǒng)成像過程中造成圖像劣化的因素有很多，如光學(xué)系統(tǒng)的散焦、衍射極限、圖像傳感器的點擴散函數(shù)(point spread function,PSF)、溫度變化或振動引起的模糊等。不同的模糊因素會導(dǎo)致圖像對比度差，清晰度下降，最終影響圖像質(zhì)量。為了簡化重建模型，一般只考慮光學(xué)模糊和散焦模糊。在實際應(yīng)用中，光學(xué)成像系統(tǒng)受衍射極限和噪聲的影響，其光能傳播分布不均勻，一般可以假設(shè)為高斯分布。由于成像過程中離焦的不可避免的影響，將PSF 建模為各向異性高斯模糊核，可以表述為

式中σx和σy分別表示x和y方向的標(biāo)準差。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集與訓(xùn)練細節(jié)

為了解決FOC 圖像數(shù)據(jù)集缺乏的問題，所提出的網(wǎng)絡(luò)使用通用圖像作為輔助數(shù)據(jù)進行訓(xùn)練，然后將學(xué)習(xí)到的知識轉(zhuǎn)移到FOC 圖像。本文選擇來自DIV2K 數(shù)據(jù)集的200 張高質(zhì)量圖像來訓(xùn)練模型。對于FOC 圖像，將CCD 相機捕獲的原始分辨率為 2 592×1 944 像素的FOC 圖像定義為HR。為了生成LR 圖像，應(yīng)用第1.4 節(jié)描述的退化模型來合成訓(xùn)練數(shù)據(jù)。模糊核σx和σy的寬度從[0.2,4]中隨機采樣，核大小固定為15×15。經(jīng)過人工篩選，獲得在不同照度、曝光值和增益場景下拍攝的150 幅高質(zhì)量灰度圖像，其中100 張圖像用于訓(xùn)練，其余圖像用于測試。輸入圖片大小被水平裁剪為160×160 像素，步幅為140 像素。采用Adam[16](adaptive momentum estimation,Adam)算法進行優(yōu)化，設(shè)置β1為0.9，β2為0.999，初始學(xué)習(xí)率為0.000 1。每次訓(xùn)練的批尺寸(batch size)為16。模型使用PyTorch 框架實現(xiàn)，并基于NVIDIA Quadro P4000 GPU 對其進行訓(xùn)練。在最終模型中，每個分支的LRB 數(shù)量設(shè)置為3，以平衡性能和模型參數(shù)。除LFF、LCL 和反卷積層外，所有卷積的內(nèi)核大小、步長和填充分別設(shè)置為3、1 和1。

2.2 損失函數(shù)和評價指標(biāo)

引入損失函數(shù)的目的是預(yù)測并最小化真實圖像和重建圖像之間的差異。本文選擇L1 損失作為損失函數(shù)，因為它比L2 損失更符合人類視覺系統(tǒng)。此外，L1 損失更穩(wěn)健，通常不受異常值的影響。給定訓(xùn)練圖像對{xi,yi}，Yi表示真實圖像。損失函數(shù)如下：

式中：F表示從LR 訓(xùn)練塊xi生成HR 圖像的映射函數(shù)。采用峰值信噪比[17](peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性指數(shù)(structural similarity,SSIM)作為質(zhì)量評估指標(biāo)。

2.3 模型分析

為了驗證本文方法的有效性，進行了一系列實驗來分別驗證不同部分的作用。實驗結(jié)果如表1所示。

表1 4 種模型在4 倍比例因子下的PSNR/SSIM 值Table 1 PSNR/SSIM values for four models at 4× scale factors

通過調(diào)整兩個分支的輸入，將圖像梯度分支的輸入設(shè)置為0，此模型記為A(Model-A)。在模型B(Model-B)中，將圖像梯度分支的輸入也設(shè)置為LR 圖像，即兩個分支都輸入LR 圖像。通過比較表1所示的結(jié)果，可以得出結(jié)論，梯度信息能夠輔助圖像重建過程從而實現(xiàn)更出色的性能。另外，為了研究多階段特征遷移機制對整個模型的影響，設(shè)計了一個沒有特征遷移的雙分支網(wǎng)絡(luò)結(jié)構(gòu)，記為模型C(Model-C)。將其與本文的完整模型進行對比，結(jié)果表明多階段特征遷移機制有利于提高模型性能。

此外，為了驗證不同退化模型的影響，分別用3 種退化模型對HR 圖像進行下采樣來產(chǎn)生訓(xùn)練對并進行了3 組實驗。3 種退化模型分別是異步高斯核(asynchronous Gaussian kernel,Asyn-Gau)、雙三次圖像插值(Bicubic)和散焦模糊(Disk)。Disk內(nèi)核半徑從區(qū)間[1,4]均勻采樣。圖3 顯示了網(wǎng)絡(luò)對于不同退化模型的收斂曲線，可以看出使用Asyn-Gau 訓(xùn)練的模型在PSNR 方面實現(xiàn)了卓越的能力，這表明了本文退化模型的優(yōu)勢。

圖3 測試集在4 倍放大因子下不同退化模型的迭代曲線Fig.3 Iterative curves of different degradation models at 4×scale factors for test set

圖4 顯示了上述不同版本模型的重建效果圖。為了便于觀察，對圖像某區(qū)域進行了局部放大。首先，如果去掉梯度分支，網(wǎng)絡(luò)則無法恢復(fù)清晰的圖像(圖4(c))。其次，模型B(圖4(d))和C(圖4(e))的整體視覺效果相比較而言清晰度有所提高，但與圖4(h)相比仍然模糊。最后，在Bicubic 退化模型下的重建效果在視覺上與disk 和Asyn-Gau 區(qū)別不大。然而，使用所提出的Asyn-Gau 在PSNR 方面取得了更好的結(jié)果。

圖4 不同模型下的效果比較Fig.4 Comparison of effects under different models

2.4 實驗結(jié)果分析

將本文方法與幾種先進的SR 方法在不同的比例因子(2×、3×和4×)下進行比較，包括雙三次圖像插值法(Bicubic)、基于稀疏表示[3]的方法(sparse coding super-resolution,ScSR)、基于自相似性的方法[4](self-exemplars super-resolution,SelfExSR)、基于超分辨率重建卷積神經(jīng)網(wǎng)絡(luò)[6](convolutional neural networks for super-resolution,SRCNN)、基于深度卷積神經(jīng)的網(wǎng)絡(luò)模型[7](deep convolutional networks for super-resolution,VDSR)、基于深度遞歸殘差網(wǎng)絡(luò)[12](deep recursive residual network,DRRN)、基于拉普拉斯金字塔的超分辨率網(wǎng)絡(luò)[18](Laplacian pyramid super-resolution network,LapSRN)和基于深度即插即用的超分辨率方法[19](deep plug-and-play superresolution,DPSR)。所有基于模型的方法都在本文數(shù)據(jù)集上進行了訓(xùn)練。

表2 總結(jié)了不同算法的量化結(jié)果。除了廣泛使用的PSNR 和SSIM 評估指標(biāo)外，還采用了另一個評估指標(biāo)— 信息保真度準則[20](information fidelity criterion,IFC)?？傮w而言，無監(jiān)督方法的表現(xiàn)非常差，基于神經(jīng)網(wǎng)絡(luò)的方法優(yōu)于無監(jiān)督方法。對于PSNR 和SSIM 值，本文方法在3 個比例因子下均展現(xiàn)了最佳性能。觀察到SelfExSR 在IFC的所有方法中得分最高，但很明顯SelfExSR 的結(jié)果存在嚴重的偽影，這可能是導(dǎo)致結(jié)果較高的原因。

表2 一些先進網(wǎng)絡(luò)的平均 PSNR、SSIM 和 IFC 結(jié)果對比Table 2 Comparison of average results of PSNR,SSIM and IFC for some advanced networks

為了展示不同方法重建后的視覺質(zhì)量，裁剪部分區(qū)域放大后顯示在圖5 中。顯然本文模型獲得的重建圖像中的邊緣比其他圖像中的邊緣更清晰，也更接近HR 圖像。

圖5 在4×比例因子下不同方法的視覺比較Fig.5 Visual comparison of different methods for 4× scale factors

除了上述對合成下采樣FOC 圖像的實驗外，本文還對分辨率為 1 280×1 024 像素的真實低質(zhì)量FOC 圖像進行了實驗，這些圖像由1.3×106像素的CCD 相機拍攝。圖6 和圖7 分別顯示了對相機分辨率不足和失焦導(dǎo)致的真實低質(zhì)量圖像進行4 倍重建后的視覺比較。可以發(fā)現(xiàn)，大多數(shù)比較模型恢復(fù)的SR 圖像都存在不同程度的模糊。相比之下，本文模型比其他比較方法恢復(fù)了更精細的邊緣和更可靠的紋理細節(jié)，說明了本文方法在實際應(yīng)用中的優(yōu)勢。

圖6 真實LR 圖像上的結(jié)果Fig.6 Results on real LR image

圖7 真實LR 圖像上的結(jié)果Fig.7 Results on real LR image

2.5 效率評估

本小節(jié)進一步分析了所提出方法的時間復(fù)雜度。不同方法的運行時間、參數(shù)數(shù)量如表3所示。結(jié)果顯示本文方法比其他方法更快更輕。DRRN 雖然參數(shù)較少，但它是最耗時的，本文算法可以用較少的參數(shù)獲得更好的性能?？傮w而言，所提出的方法在效率上與這些比較方法相比具有很強的競爭力，同時可以獲得更好的結(jié)果。因此，對光纖繞線質(zhì)量進行在線監(jiān)測更為有效和實用。

表3 各算法的運行時間和參數(shù)量Table 3 Running time and parameters of different algorithms

3 結(jié)論

本文提出了一種用于光纖環(huán)繞制圖像SR 的輕量級網(wǎng)絡(luò)。網(wǎng)絡(luò)通過梯度信息分支提取豐富的梯度信息，用于指導(dǎo)邊緣高頻細節(jié)的恢復(fù)。高效的線性壓縮跳躍連接減少了原始密集連接的參數(shù)和計算，深度可分離卷積進一步降低了計算成本。與先進的輕量級方法相比，所提出的網(wǎng)絡(luò)在效率和性能方面都領(lǐng)先于其他方法，因此它更易部署在實際應(yīng)用中，并為光纖繞線質(zhì)量監(jiān)測提供了有力的保障。未來我們將進一步開發(fā)和尋求新的符合實際成像系統(tǒng)特性的退化模型，實現(xiàn)對PSF 和噪聲的準確估計。