王亞剛 王 萌

（西安郵電大學計算機學院 西安 710121）

1 引言

數(shù)字圖像的空間分辨率是衡量圖像質(zhì)量的一種非常重要的指標。圖像的空間分辨率高意味著有更高的像素密度，能夠為圖像內(nèi)容的分析與處理提供更為豐富的像素信息。提高圖像的空間分辨率，最直接的辦法是提高圖像采集設備傳感器的密度，但是在目前的工藝水平下，傳感器的密度已經(jīng)接近極限。如何通過特定的技術(shù)手段在不改變成像系統(tǒng)硬件的前提下提高獲取圖像的質(zhì)量，一直以來都是圖像處理領(lǐng)域一個重要的研究內(nèi)容。超分辨率［1］（Super Resolution，SR）就是由低分辨率圖像重建出高分辨率圖像的一種軟件技術(shù)。

近年來，隨著深度學習技術(shù)的發(fā)展，基于學習［2］的超分辨算法是一種非常有前途的圖像重建方法。深度學習強調(diào)以大數(shù)據(jù)為驅(qū)動進行端到端學習。為了進一步提高基于單幅彩色圖像的超分辨率重建［3］速度，降低學習訓練過程的復雜度，本文在極限學習機（Extreme Learning Machine，ELM）的基礎(chǔ)上［4］，提出了一種基于Softplus+HKELM的圖像超分辨率重建算法。

2 ELM

ELM是一種單隱藏層前饋神經(jīng)網(wǎng)絡［5］（Single Hidden Layer Feed-forward Neural network，SLFN），與傳統(tǒng)的基于梯度的學習算法相比，ELM具有更快的學習速度與更高的精度［6］。ELM網(wǎng)絡的泛化性能，使其可以在樣本的學習過程中建立記憶，從而可以將未知的模型判為最接近的模型。

ELM網(wǎng)絡結(jié)構(gòu)由輸入層，隱藏層和輸出層組成。在圖1中，展示了一種具有n個輸入神經(jīng)元，j個隱藏層神經(jīng)元與m個輸出神經(jīng)元的ELM網(wǎng)絡模型。

圖1 ELM網(wǎng)絡結(jié)構(gòu)

對N個不同的學習樣本：

其中隱藏層神經(jīng)元的輸出用下面的公式表達：

輸出層神經(jīng)元可以用下面的公式表達：

在上面的公式中g(shù)（x）表示ELM隱藏層的激活函數(shù)，β表示隱藏層與輸出層之間的權(quán)值，w表示輸入層與隱藏層之間的權(quán)值，b表示隱藏層神經(jīng)元的偏置。

使用H表示隱藏層與輸出層之間的連接權(quán)值矩陣，Y表示訓練數(shù)據(jù)集的目標矩陣，所以式（2）可以縮寫為如下：

如果隱藏層激活函數(shù) g（wi，bi，xi）是無限可微的，那么ELM網(wǎng)絡只需要設定隱藏層神經(jīng)元節(jié)點個數(shù)，而無需動態(tài)調(diào)整輸入的權(quán)值與隱藏層的偏置［7～8］。其中 Sigmoid 函數(shù)是隱藏層最常用的激活函數(shù)。Sigmoid是連續(xù)光滑嚴格單調(diào)的S型閾值函數(shù)，函數(shù)定義如下：

在訓練ELM前，我們需要根據(jù)樣本的特征向量與樣本的種類，分別去確定輸入層神經(jīng)元個數(shù)和輸出層神經(jīng)元個數(shù)。最后還要根據(jù)特定環(huán)境決定隱藏層的激活函數(shù)與隱藏層神經(jīng)元的數(shù)量。

在訓練之前ELM能夠隨機的產(chǎn)生w和b，ELM的整個訓練過程無需迭代，一次就能完成，所以和其他神經(jīng)網(wǎng)絡算法相比，極限學習機的速度非常快。

2.1 RELM

雖然ELM具有很快的學習速度和較好的泛化能力，但是仍然也有一些不足之處。根據(jù)統(tǒng)計學理論，我們知道實際的風險包括兩個部分，經(jīng)驗風險和結(jié)構(gòu)風險［9］。但是，ELM只考慮了經(jīng)驗風險，而沒有考慮結(jié)構(gòu)風險，因而可能會導致過度擬合的問題。此外，ELM的魯棒性和可控性較差。

在文獻［10］中，為了防止過擬合，Deng等提出了一種結(jié)合經(jīng)驗風險和結(jié)構(gòu)風險的正則化極限學習機RELM。RELM通過添加輸出權(quán)值的平方項約束，不僅有效地避免了過擬合的出現(xiàn)，而且提高了極限學習機的性能。RELM的數(shù)學描述如下，其中C表示正則化參數(shù)，C可以調(diào)節(jié)經(jīng)驗風險與結(jié)構(gòu)風險各自的比例。

通過設置式（6）的梯度，可以得到如下公式：

如果H中行數(shù)大于列數(shù)，也就是訓練樣本的數(shù)量大于隱藏層神經(jīng)元的個數(shù)，那么隱藏層與輸出層之間的連接權(quán)值矩陣β就可以用如下公式表示：

相反，如果訓練樣本的數(shù)量少于隱藏層節(jié)點的個數(shù)，那么β就可以由下面的式（9）表示：

2.2 KELM

Huang等［11］在 ELM 中引入了核函數(shù)（kernel function）。與傳統(tǒng)的神經(jīng)網(wǎng)絡一樣，ELM核函數(shù)的選擇也是一個核心問題。使用適當?shù)暮撕瘮?shù)在很大程度上決定了最后訓練的ELM的性能，因為核函數(shù)的選擇對網(wǎng)絡學習率和學習效果都有非常大的影響。

基于核函數(shù)的極限學習機KELM的輸出層神經(jīng)元可以看成一種非線性映射樣本。當映射未知時，HHT可由核函數(shù)替代：

所以式（9）就可以表示為式（11）：

其中ΩELM，j=h（xi）h（xj）=K（xi，xj），ΩELM代表核函數(shù)矩陣，H=［h（x1）t…h(huán)（xN）T］T代表隱藏層的輸出矩陣，將輸入數(shù)據(jù)xi映射到隱藏層特征空間，其與輸出值yi和輸出節(jié)點數(shù)沒有關(guān)系。其中核函數(shù)矩陣為

式（12）只與輸入數(shù)據(jù)xi和訓練樣本的數(shù)量N相關(guān)，所以KELM的輸出函數(shù)的完整表示為如式（13）：

3 Softplus+HKELM超分辨率算法

通常情況下，ELM的隱藏層激活函數(shù)為Sigmoid，這是一種在判別時采用雙側(cè)抑制的函數(shù)。不過在一些值函數(shù)單調(diào)時，這種雙側(cè)抑制會增加廢運算?；诖耍疚氖褂眯滦托拚€性函數(shù)Softplus［12］作為極限學習機的激活函數(shù)。Softplus激活函數(shù)采用單側(cè)抑制，并且興奮邊界寬廣，是一種非線性并且連續(xù)可微的函數(shù)。Softplus激活函數(shù)是Relu函數(shù)［13］的改進版本，其繼承了Relu函數(shù)運算速度快、泛化性能好的優(yōu)點。在文獻［14］中，Glorot X等通過實驗證明了Softplus激活函數(shù)具有更好的泛化能力。并且，Softplus激活函數(shù)是一種比傳統(tǒng)的Sigmoid激活函數(shù)更加接近生物學特征的激活函數(shù)，與傳統(tǒng)的函數(shù)相比基于Softplus激活函數(shù)的ELM模型的整體性能更好，網(wǎng)絡結(jié)構(gòu)更加優(yōu)化。其函數(shù)定義如下：

為了更加有效地提高訓練效果，避免局部最小值的出現(xiàn)，本文選擇使用結(jié)合較強學習能力的本地核函數(shù)與泛化能力好的全局核函數(shù)的混合（Hybrid）核函數(shù)極限學習HKELM。

在圖像視覺中，因為人最敏感的是圖像的亮度信息，對彩色圖像，我們只處理其亮度，其它通道采用經(jīng)典的二次三項插值算法［15］（bicubic）進行放大?；赟oftplus+HKELM進行圖像超分辨率重建的主要步驟如圖2所示。

圖2 Softplus+HKELM超分辨率算法框圖

在圖2中，設高分辨率圖像為HR。HR下采樣且模糊處理后得到低分辨率圖像LR，LR再通過圖像插值算法進行放大得到ELM網(wǎng)絡輸入圖像I0，HR與I0相減就是圖像的高頻信息：

設I0（i，j）為插值后低分辨率輸入圖像中坐標為（i，j）的像素值，那么I0（i，j）與其周圍的8個像素點可變成一個9維的特征向量，設其為

然后分別對I0（i，j）的橫縱方向進行一階與二階求導，可得5個導數(shù)，與前面的9個像素點的值即可組成一個14維的特征向量：

對于訓練輸入圖像I0的每個像素值I0（i，j），將得到的14維特征向量作為輸入，HF中坐標（i，j）對應的像素值作為其標簽，那么基于極限學習機的圖像超分辨率重建算法的訓練的過程可分為如下幾個步驟。

步驟1：確定隱藏層神經(jīng)元的個數(shù)，隨機設置隱藏層的偏置b、輸入層和隱藏層之間權(quán)值w；

步驟2：選擇一種無限可微的函數(shù)Softplus作為ELM隱藏層的激活函數(shù)，然后計算隱藏層的輸出矩陣H；

步驟3：計算隱藏層與輸出層之間的權(quán)值β，β=HTH，HT是輸出矩陣H的逆矩陣。

對于任意的低分辨率圖像矩陣I0，在訓練好的ELM模型輸入端輸入每個像素對應的14維特征向量，輸出端就會輸出相應圖像的高頻信息HF，將其與低分辨率圖像矩陣I0相加，即可得到重建后的高分辨率圖像HR：

4 實驗分析

本文實驗運行在fedora 26操作系統(tǒng)中，所用平臺為基于docker的tensorflow機器學習架構(gòu)。使用標準的USB-SIPI數(shù)據(jù)庫圖像對模型進行訓練與測試。使用峰值信噪比（PSNR）與結(jié)構(gòu)相似度（SSIM）評價圖像重建質(zhì)量。為了使實驗更具說服力，本文實驗分別統(tǒng)計了基于Sigmoid激活函數(shù)與基于Softplus激活函數(shù)的三種極限學習機模型ELM、RELM、HKELM的訓練學習時間。從表1中可以明顯看出，基于Softplus+HKELM的神經(jīng)網(wǎng)絡模型所用的訓練時間要比傳統(tǒng)的Sigmoid激活函數(shù)很多，是所有網(wǎng)絡中訓練時間最少的一個。

表1 訓練時間

表2是基于Sigmoid激活函數(shù)的極限學習機模型對低分辨率圖像超分辨率重建后測試的PSNR值與SSIM值。

表2 基于Sigmoid激活函數(shù)

表3是本文提出的基于Softplus激活函數(shù)的極限學習機超分辨重建的測試結(jié)果。

在表2和表3中K表示圖像放大系數(shù)。對比表2和表3可以看出，對于測試圖像baboon，客觀上來說基于Softplus激活函數(shù)的極限學習機超分辨率重建效果要比基于Sigmoid激活函數(shù)的高，在同樣的硬件條件與軟件平臺環(huán)境下，基于Softplus+HKELM超分辨率算法的測試的PSNR與SSIM的值最高，這也就表示圖像的內(nèi)容豐富，能夠恢復圖像本身更多的細節(jié)信息。

表3 基于Softplus激活函數(shù)

圖3 Sigmoid激活函數(shù)

圖4 Softplus激活函數(shù)

評價一幅重建圖像質(zhì)量的好壞有兩種方式有主觀評價與客觀評價。為了更直觀地說明基于Softplus+HKELM的超分辨率算法重建后圖像的質(zhì)量更好，在圖3與圖4中，分別展示了基于Sigmoid激活函數(shù)與基于Softplus激活函數(shù)超分辨率重建后圖像的主觀效果。

對比圖3與圖4，可以明顯地看出，對于不同的K值，圖4中相應的基于Softplus激活函數(shù)的極限學習機模型ELM、RELM與HKELM的主觀視覺都要比傳統(tǒng)基于Sigmoid函數(shù)的好很多，重建后能夠展示更多的圖像細節(jié)信息。其中本文提出的基于Softplus+HKELM重建的圖像效果最好，圖像的細節(jié)最為豐富。

5 結(jié)語

極限學習機最大的優(yōu)勢在于模型僅通過矩陣乘法和求逆運算即可進行參數(shù)求解。為了進一步提高彩色圖像超分辨率重建的計算效率，本文提出了一種基于Softplus+HKELM的超分辨率重建算法。Softplus+HKELM算法結(jié)合了Softplus激活函數(shù)泛化能力好與HKELM學習能力強等各自的優(yōu)勢，在訓練過程中能夠?qū)W習到最好的網(wǎng)絡參數(shù)。最后的實驗表明不論是主觀評價還是客觀評價，重建的圖像質(zhì)量都要明顯好于傳統(tǒng)的Sigmoid激活函數(shù)與極限學習機網(wǎng)絡。所以這充分說明基于Softplus+HKELM的彩色圖像超分辨率重建算法不僅在訓練過程中能夠?qū)W到更好的映射關(guān)系，而且進一步降低了極限學習機訓練的復雜度，提高了超分辨重建的速度。