衛(wèi)小強(qiáng)

（洛陽師范學(xué)院，河南 洛陽 471934）

基于深度學(xué)習(xí)的過完備字典稀疏表示的矩陣分析

衛(wèi)小強(qiáng)

（洛陽師范學(xué)院，河南 洛陽 471934）

本文從數(shù)學(xué)的角度探討了外部輸入信息與過完備字典之間的關(guān)系問題即相關(guān)性問題，研究了過完備字典與稀疏表示的內(nèi)在聯(lián)系，在此基礎(chǔ)上對過完備字典進(jìn)行分析和修正，以提高深度學(xué)習(xí)的層次且增加對環(huán)境的適應(yīng)性，為今后對字典的設(shè)計(jì)奠定了基礎(chǔ)。

機(jī)器學(xué)習(xí)；過完備字典；稀疏表示；OMP

1 前言

人類對客觀世界的認(rèn)識(shí)，得益于對自身大腦認(rèn)知的理解。在此基礎(chǔ)上，人工智能和人工神經(jīng)網(wǎng)絡(luò)的研究正是在此展開的。正如人類大腦理解的過程，人工神經(jīng)網(wǎng)絡(luò)對事物認(rèn)識(shí)也是從低層次的具體明暗、顏色、深度、邊緣等特征開始，而后在更高層次去提取事物更抽象的特征，即各種形式的具體的組合到更高層次的抽象概括的融合。其中伴隨著認(rèn)知深度的提高、分類等過程。所以人工網(wǎng)絡(luò)一般由輸入層，隱含層以及輸出層構(gòu)成。這些層次之間有極為復(fù)雜的相互聯(lián)系。由于目前對于神經(jīng)網(wǎng)絡(luò)的技術(shù)尚在研究探索階段，所以目前輸入層主要功能是接收外部信息，隱含層作為網(wǎng)絡(luò)的核心，通過對樣本的訓(xùn)練，不斷改變完善其相應(yīng)的權(quán)值去適應(yīng)匹配外部輸入的信息，輸出層是對外部信息進(jìn)行最高級別的抽象概括的組合表示。隱含層的層次越多，可接收外部信息的能力和適應(yīng)性也相應(yīng)越強(qiáng)，但層次結(jié)構(gòu)也會(huì)越復(fù)雜，極大增加了時(shí)間的開銷。本文的核心在于隱含層的理解和分析，因?yàn)樗袚?dān)了承上啟下的功能，對于外部輸入信息進(jìn)行以智能的過完備字典形式的“特征學(xué)習(xí)”，通過它也可以進(jìn)行特征表示空間之間的轉(zhuǎn)換，這樣才能使我們需要的某些特征更清晰地抽象概括分離出來，所以需對中間隱含層應(yīng)承擔(dān)的功能進(jìn)行研究探討和界定。

2 經(jīng)典的人工智能模型的數(shù)學(xué)理解

人工智能的隱含層的核心功能是將信號從某一變換域轉(zhuǎn)變?yōu)榱硪蛔儞Q域空間，這種變換可以通過一個(gè)自適應(yīng)的變換矩陣來實(shí)現(xiàn)。將一個(gè)高維的信號特征，轉(zhuǎn)變?yōu)橐粋€(gè)低維的相應(yīng)的更抽象概括的特征。其中這個(gè)變換矩陣為一隨外部環(huán)境信息的變化通過反饋而自適應(yīng)修正的過完備字典。我們通過樣本學(xué)習(xí)來求解這個(gè)凸優(yōu)化問題的相關(guān)系數(shù)。上述的數(shù)學(xué)模型可用Y=AX的矩陣表達(dá)式進(jìn)行描述。A為Rm×n的矩陣，其中m＜＜n，要求A為滿秩矩陣。而X∈Rn，Y∈Rm，由矩陣分析理論，當(dāng)m＜＜n時(shí)，這個(gè)矩陣方程是多解的。即X中的非零元的個(gè)數(shù)盡可能少。從以上分析，給定樣本空間的過完備矩陣Am×n，m＜＜n，為了重構(gòu)向量Y，則需對A進(jìn)行研究分析其最佳拓?fù)浣Y(jié)構(gòu)，使得信號在經(jīng)過隱含層的稀疏分解處理后，其函數(shù)表達(dá)式系數(shù)不包含較多相關(guān)和重疊的成份，即冗余部份。使稀疏分解后的信息主要成分并沒有丟失而是更為集中。用以評價(jià)衡量稀疏程度的指標(biāo)：①0-范數(shù)：X中的非零的個(gè)數(shù)。②稀疏因子：X中非零元與X行數(shù)之比的相對參數(shù)。③非線性逼近誤差：評定能量的集中程度的指標(biāo)。

3 過完備字典與稀疏表示的關(guān)系

輸入信息經(jīng)過過完備字典的分解處理也就是將信息在過完備字典相應(yīng)矩陣的求解的數(shù)學(xué)處理過程，要獲得稀疏系數(shù)，即通過一系列矩陣相關(guān)運(yùn)算，找出在字典矩陣中與外部信號最匹配的幾列向量，在此基礎(chǔ)上用這幾列向量和計(jì)算獲得的稀疏系數(shù)兩者去重構(gòu)信號。上述這些要求：①過完備字典必須有與外部信號相關(guān)的原子（即列向量），外部信號與字典變換基相關(guān)性不大，得到的變換系數(shù)有可能不是稀疏系數(shù)，這關(guān)系到稀疏表示的準(zhǔn)確性和高效性。②過完備字典自身的結(jié)構(gòu)。若過完備字典列向量僅僅是兩兩相關(guān)，而非兩兩正交，這樣的隨后矩陣的運(yùn)算中多次的迭代后會(huì)造成次優(yōu)解的存在，即局部優(yōu)解的存在?；谏鲜鰞牲c(diǎn)我們需要對過完備字典的選擇進(jìn)行規(guī)范：①根據(jù)外部信息的大體類型確定過完備字典類型，以便可通過字典矩陣分解獲得稀疏系數(shù)表示。②在計(jì)算中，對過完備字典進(jìn)行整合，使其矩陣列向量兩兩正交，標(biāo)準(zhǔn)化，即施密特正交化。以便在求解過程中可求得全局最優(yōu)解，而非次優(yōu)解。

4 對于過完備字典構(gòu)成的算法研究

通過研究匹配追蹤算法（MP）和正交匹配算法（OMP）來計(jì)算L-0范數(shù)矩陣求解問題可知，信號在過完備字典矩陣中的稀疏分解是核心環(huán)節(jié)。外部信號為Y，其長度為n，而過完備字典為D，矩陣D的每一列為字典的一個(gè)原子，必要條件是每一列向量的長度等于外部信號的長度。為了字典構(gòu)成的最優(yōu)化需要將所有列向量正交歸一化，即||Xi||=1。將輸入信號與字典矩陣每一列進(jìn)行乘法運(yùn)算，找出最大的一列作為與Y最匹配或相關(guān)的原子，再求出相應(yīng)的殘差值γ。經(jīng)過多次學(xué)習(xí)，在算法上即經(jīng)過多次迭代計(jì)算，直至達(dá)到預(yù)先設(shè)定的閾值結(jié)束。最后的輸入信號Y可表示為與其最相關(guān)的線性組合加上殘差值γ'。當(dāng)γ'小于設(shè)定閾值時(shí)，則Y可由這些原子來線性表示。若選定的字典矩陣與外部輸入信號有很好的相關(guān)性即匹配性，則重構(gòu)效果較好，若選定的字典矩陣與信號相關(guān)性不大，則效果不佳。另一方面過完備字典矩陣太大，即包含原子數(shù)較多時(shí)，計(jì)算變得較為復(fù)雜，所以需要在字典構(gòu)成上加以研究，對字典進(jìn)行分類：通過將最鄰近的樣本分類，得到含有k個(gè)樣本的分類集合，Y={yi}Ni=1(N≥k)，將再通過樣本類的模糊分配，延伸至對與樣本相關(guān)的字典分類，如k-SVD算法。用樣本分類的實(shí)質(zhì)是找到一個(gè)與之相關(guān)的字典，使其誤差值E最小。即

其中，C為稀疏系數(shù)，對于某些k值，有?i,xi=ek。相應(yīng)算法如下：

①通過對大量樣本進(jìn)行分類，進(jìn)一步分類過完備字典。使其也分成若干個(gè)字典矩陣，使某一子字典對應(yīng)某一樣本分類，在信號輸入時(shí)，不需復(fù)雜的矩陣計(jì)算方法去驗(yàn)證是否與其中一類相關(guān)，只需憑借一些優(yōu)化快速近似算法如濾波器去并行計(jì)算哪一些字典矩陣與輸入信號相關(guān)性更大，即更能稀疏表示。這些過完備子字典均放置至數(shù)據(jù)庫待選，以應(yīng)對各大類輸入信號。

②當(dāng)選定一類與信號較為匹配的字典矩陣后，還需對該子字典矩陣進(jìn)行更新。這些涉及到不僅更新子字典矩陣的列向量，還有其對應(yīng)的稀疏系數(shù)，即

k積樣本誤差。在更新中，其中在一次迭代中第k-1項(xiàng)是固定不變的，僅一次更新第k項(xiàng)，一直到所有的字典原子列向量與相應(yīng)的稀疏系數(shù)全更新完畢后，循環(huán)結(jié)束。

③避免次優(yōu)值和過擬合方面的補(bǔ)償算法。

在字典中對于累積到一定次數(shù)不用或相關(guān)性較小的列元素，則被認(rèn)為是具有過緊結(jié)構(gòu)的列向量，可進(jìn)行移除，但需對相應(yīng)位置用其他弱相關(guān)的信號元素來替代。此外算法中允許列的數(shù)目增加以加強(qiáng)對外部信息處理的適應(yīng)性和相關(guān)性。

5 結(jié)束語

本文在對深度學(xué)習(xí)的字典稀疏表示的討論中，重點(diǎn)分析研究了作為學(xué)習(xí)模型核心的過完備字典的矩陣構(gòu)成，它是信號重構(gòu)的關(guān)鍵。它不僅被要求與輸入信號具有較強(qiáng)的相關(guān)性或匹配性，還要求具備一定的適應(yīng)性，可以自我進(jìn)化，根據(jù)輸入信號進(jìn)一步改進(jìn)，提高其相關(guān)性即學(xué)習(xí)能力，同時(shí)其計(jì)算復(fù)雜度不宜太高。在今后的研究中需對次優(yōu)解和過學(xué)習(xí)進(jìn)一步研究。

[1]何艷敏，甘濤，陳武凡．基于稀疏表示的兩級圖像去噪[J]．電子信息學(xué)報(bào)，2012，34(9)：2268-2272．

[2]張春梅，尹忠科，肖明霞．基于冗余字典的信號超完備表示與稀疏分解[J]．科學(xué)通報(bào)，2006，51（6）：628-633。

[3]E．Cande’s and J．Romberg．Recovery of sparse signals via convex programming[J]．Technal，Pasadena，CA，Tech．Rep．，Oct，2005．

[4]MALLAT S，ZHANG Z．Matching pursuits with time-frequency dictionary[J]．IEEE transactions on Signal Processing，1993，41(12)：3397-3415．

[5]M Aharon，M Elad，and A Bruchstein．K-SVD：An Algorithm for Designing over Complete Dictionaries for Sparse Representation[J]．IEEE Transaction on Signal Processing，2006，54(11)：4311-4321．

[6]J．A．Tropp．Greed is good：Algorithmic results for sparse approximation．IEEE Trans Inf．Theory，2004(50)：2231-2242．

The MatrixAnalysis on Over-complete Dictionary and Sparse Representation Based on Deep Learning

Wei Xiaoqiang
(LuoYang Normal University,LuoYang 471934,Henan)

The paper inquiries into the relativity problem between input information and over-complete dictionary from the mathematical viewpoint and their inner relationships.On this foundation,we analyze and revise the over-complete dictionaries to enhance the level and adaptability of deep learning,and lay the foundations of the dictionary design in the future.

machine study;over-complete dictionary;sparse representation;OMP

TN911.7

A

1008-6609(2017)07-0097-03

衛(wèi)小強(qiáng)（1972-），男，山西陽城人，碩士研究生，講師，研究方向?yàn)橛?jì)算機(jī)應(yīng)用、彩色圖像處理算法研究。