王廬華

摘 要：利用深度展開的方法來設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò)在如今成為了一種經(jīng)典的優(yōu)化方法。文章提出了一種新的基于深度學(xué)習(xí)和壓縮感知的重構(gòu)算法用于序列信號重構(gòu)。該模型設(shè)計(jì)理念是通過用近端梯度下降方法來對模型做迭代展開。在MNIST數(shù)據(jù)集上的實(shí)驗(yàn)表明，該模型表現(xiàn)要優(yōu)于一些先進(jìn)的基于壓縮感知的模型以及其他基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型。

關(guān)鍵詞：稀疏信號重構(gòu);深度學(xué)習(xí);循環(huán)神經(jīng)網(wǎng)絡(luò)

0 引言

從小部分隨機(jī)測量值中重構(gòu)一個(gè)稀疏信號是許多工程任務(wù)中的基礎(chǔ)問題，包括生物工程，模式識(shí)別，無線通信等?，F(xiàn)存的解決方案主要分為兩種：一種是傳統(tǒng)的基于壓縮感知的算法[1]，它主要是利用信號的稀疏性和結(jié)構(gòu)先驗(yàn)來從無限的可能解中找到唯一的真實(shí)解。然而，這種方法的缺點(diǎn)是在重構(gòu)算法中，信號的先驗(yàn)的手寫設(shè)計(jì)受限于一些通用先驗(yàn)，例如稀疏性和一些已知支撐，所以往往只能取得有限的重構(gòu)效果。另一種方案則是利用大量數(shù)據(jù)集和深度神經(jīng)網(wǎng)絡(luò)[2]，對原信號和重構(gòu)信號直接映射，利用深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力來對信號進(jìn)行重構(gòu)。但這種方法存在以下弊端：第一，在許多實(shí)際問題上，可能并沒有足夠多的數(shù)據(jù)可以用來訓(xùn)練。第二，深度神經(jīng)網(wǎng)絡(luò)把信號重構(gòu)問題視作一個(gè)“黑盒”，從而弱化了一些已知先驗(yàn)信息的作用。本文提出了一種折中的方式，通過深度展開的方法將兩種方案的優(yōu)點(diǎn)結(jié)合起來，即同時(shí)利用信號先驗(yàn)和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，從而可以在有限的數(shù)據(jù)集上大幅度提高信號的重構(gòu)效果。

1 方法詳述

本文所提的方案主要用于解決序列稀疏信號重構(gòu)問題。問題的數(shù)學(xué)模型可以表述為：

其中，Ω表示已知的先驗(yàn)信息，方便起見，本文考慮其中一類子問題：

其中，h是一個(gè)K維的稀疏向量，F(xiàn)代表兩個(gè)相鄰系數(shù)信號之間的映射關(guān)系。λ1和λ2代表著正則化參數(shù)，均為非負(fù)值。注意到表達(dá)式（2）是由一個(gè)二范數(shù)代表的光滑可微項(xiàng)和兩個(gè)一范數(shù)之和代表的非光滑項(xiàng)組合而成，因此本文利用近端梯度下降方法[3]和軟閾值方法[4]對（1）式進(jìn)行求解。本文所使用的軟閾值方法如圖1所示。

利用上述方法推導(dǎo)之后，得到h的第k輪迭代過程的表達(dá)式可以表述成：

其中，C代表F與上一時(shí)刻的信號h的乘積，D是小波基字典，A是隨機(jī)生成的高斯測量矩陣。下面簡述所提算法的具體實(shí)現(xiàn)流程：

（1）輸入。高斯測量矩陣，原始信號y。

（2）輸出。重構(gòu)信號的稀疏表示x。第一，遍歷所有時(shí)間序列。第二，在每個(gè)時(shí)間刻進(jìn)行K輪迭代。第三，每一輪迭代過程中利用軟閾值算法得到該輪的重構(gòu)信號值。第四，將上述得到的重構(gòu)信號代入（2）式，重復(fù)迭代。第五，直到迭代次數(shù)達(dá)到K為止。

2 實(shí)驗(yàn)結(jié)果

本文的實(shí)驗(yàn)數(shù)據(jù)選擇的是MNIST數(shù)據(jù)集，首先需要對數(shù)據(jù)進(jìn)行預(yù)處理，裁剪出中央部分，使得裁剪后的圖片大小尺寸為128*128像素點(diǎn)。處理后的圖片一共有40 000張，其中訓(xùn)練集是從其中隨機(jī)挑選的32 000張圖片組成，剩余的數(shù)據(jù)則用作測試集。

為了證明本文模型的有效性，本文也選擇了幾種基于傳統(tǒng)壓縮感知的方法和基于深度學(xué)習(xí)的方法用作比較，包括BP， IRL1，MCS，LSTM等。其中，前三種屬于傳統(tǒng)算法，是利用信號的先驗(yàn)信息來對信號進(jìn)行恢復(fù)，因此模型并不需要數(shù)據(jù)來進(jìn)行訓(xùn)練。對于LSTM而言，它是隸屬于深度學(xué)習(xí)的模型方法，本質(zhì)上是一個(gè)多層的RNN模型。在這次實(shí)驗(yàn)中，筆者將K值均設(shè)置為3，即在每一個(gè)時(shí)刻的迭代次數(shù)均為3輪。選擇平均均方誤差作為訓(xùn)練集的損失函數(shù)，其他參數(shù)使用的均為默認(rèn)值。最后，使用PSNR值作為測試信號重構(gòu)效果的最終指標(biāo)：

不同采樣率下各種方法的PSNR值如表1所示，其展示了在采樣率分別為12.5%，25%，37.5%以及50%的情況下，各種方法的表現(xiàn)結(jié)果?？梢院芮逦目闯?，在各個(gè)采樣率之下，該模型都要明顯優(yōu)于其他方法，且隨著采樣率的提高，這種優(yōu)勢就越為明顯。

3?結(jié)語

本文提出了一種新的模型方法，結(jié)合了目前主流的兩類信號重構(gòu)的優(yōu)勢，利用深度學(xué)習(xí)強(qiáng)大的學(xué)習(xí)能力，可以在模型中訓(xùn)練所有參數(shù)。同時(shí)，需要指出的是，在該模型中，每個(gè)參數(shù)都具有可編譯性，這意味著與一般的深度模型相比，所需要的訓(xùn)練數(shù)據(jù)量要遠(yuǎn)遠(yuǎn)低于正常標(biāo)準(zhǔn)。在MNIST數(shù)據(jù)集上與其他模型的實(shí)驗(yàn)結(jié)果顯示，該模型取得了最優(yōu)的重構(gòu)信號表現(xiàn)。

[參考文獻(xiàn)]

[1]石光明，劉丹華，高大化，等.壓縮感知理論及其研究進(jìn)展[J].電子學(xué)報(bào)，2009（5）：1070-1081.

[2]孫志軍，薛磊，許陽明，等.深度學(xué)習(xí)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2012（8）：2806-2810.

[3]李興怡，岳洋.梯度下降算法研究綜述[J].軟件工程，2020（2）：1-4.

[4]方勇，戚飛虎.基于軟閾值的小波圖像增強(qiáng)方法[J].計(jì)算機(jī)工程與應(yīng)用，2002（23）：16-19.

（編輯 姚 鑫）