尹宏偉，李凡長

蘇州大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215000

針對圖像序列的譜深度學(xué)習(xí)算法*

尹宏偉，李凡長+

蘇州大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215000

為了更好地理解圖像序列的隱藏深度信息，需要分析數(shù)據(jù)的隱藏結(jié)構(gòu)。目前，多采用譜流形學(xué)習(xí)算法學(xué)習(xí)高維采樣數(shù)據(jù)的低維嵌入坐標(biāo)，從而獲取數(shù)據(jù)的隱藏結(jié)構(gòu)。譜流形學(xué)習(xí)算法一般是基于所研究的高維數(shù)據(jù)分布在單個流形上的前提假設(shè)，并不支持圖像序列中存在的多流形結(jié)構(gòu)。結(jié)合圖像序列的結(jié)構(gòu)特點，提出了一種針對圖像序列的譜深度學(xué)習(xí)算法（spectral deep learning，SDL）。通過建立混合多流形模型，保持流形局部變化的平滑和連續(xù)，利用流形對齊建立層次流形的映射關(guān)系，得到圖像序列的深度低維嵌入坐標(biāo)。最后通過實驗證明了算法在混合多流形數(shù)據(jù)集和圖像序列數(shù)據(jù)集上的有效性。

圖像序列；譜流形學(xué)習(xí)；混合多流形；局部切空間；層次流形

1 引言

視覺是人類最高級的感知器官，具有直觀、信息量大、作用距離遠(yuǎn)等突出優(yōu)點。在人類視覺系統(tǒng)中，圖像是人對視覺感知的物質(zhì)再現(xiàn)，在很多具體應(yīng)用中人們都希望能夠通過圖像的形式直觀呈現(xiàn)出來。因此，圖像在人類認(rèn)知中扮演著非常重要的角色，是人們獲取信息的重要途徑。對于人類視覺系統(tǒng)，將同一空間（或時間）、不同時間（或空間）在內(nèi)容和順序上緊密關(guān)聯(lián)的圖像收集在一起，則構(gòu)成了一個圖像序列（image sequence）。例如：一個人從嬰兒時期到兒童時期，再到青少年時期，最后到中老年時期的各個成長階段的照片構(gòu)成了一個典型的圖像序列。該圖像序列蘊含了一個人的許多顯性與隱性信息，例如年齡增長造成的外表變化，閱歷增長造成的思維方式轉(zhuǎn)變，性格差異導(dǎo)致的表情和體態(tài)的變化等。如果以一個人成長的圖像序列為對象展開研究分析，對其性格特點、成長環(huán)境、職業(yè)特點等隱藏信息的了解將更加全面準(zhǔn)確，這是僅僅依靠單一圖像或者無序圖像集合所不能達(dá)到的。

圖像序列作為人類對外部世界感知和認(rèn)知的基本對象，已成為認(rèn)知科學(xué)和計算機科學(xué)等領(lǐng)域研究者的普遍共識。在實際生產(chǎn)生活中，圖像序列數(shù)據(jù)的種類繁多。例如：在同一場景內(nèi)拍攝的人體動作行為圖像序列；衛(wèi)星拍攝到的同一地區(qū)在不同時間或不同季節(jié)的遙感圖像序列；醫(yī)療機構(gòu)通過超聲波成像設(shè)備記錄的某個患者在不同時間節(jié)點的某個身體部位的圖像序列；交通監(jiān)控設(shè)備拍攝的同一路段在不同時間的車輛通行情況；利用多部攝像機對同一目標(biāo)從多個視角拍攝形成的多視角圖像序列；生物信息學(xué)中蛋白質(zhì)圖像序列和DNA圖像序列等。由于圖像序列中包含的信息繁多且過于復(fù)雜，特別是隱藏的深度信息或知識，使得對圖像序列中的深度信息進(jìn)行有效和高效的理解與認(rèn)知是一個有價值的同時也是非常困難的研究課題。

為了分析數(shù)據(jù)隱藏的內(nèi)部結(jié)構(gòu)，文獻(xiàn)[1]提出流形學(xué)習(xí)的概念（manifold learning），認(rèn)為非線性流形是人類感知的基礎(chǔ)，經(jīng)過自然長期進(jìn)化，人腦能夠使用非線性流形表達(dá)對外界對象的認(rèn)知，基于認(rèn)知流形和拓?fù)溥B續(xù)性，人腦也可能是以穩(wěn)態(tài)流形的形式存儲視覺記憶。目前，流形學(xué)習(xí)方法多基于經(jīng)典的譜圖理論，該理論始于圖和流形的傅里葉分析，以流形上微分算子為對象，將流形的微分結(jié)構(gòu)和全局分析結(jié)合形成了譜流形學(xué)習(xí)的理論基礎(chǔ)[2-3]。

本文為了獲取圖像序列隱藏的深度信息，從分析圖像序列數(shù)據(jù)的隱藏結(jié)構(gòu)出發(fā)，基于譜流形學(xué)習(xí)的理論，提出了譜深度學(xué)習(xí)算法（spectral deep learning，SDL）。不同于傳統(tǒng)譜流形學(xué)習(xí)的單流形模型，圖像序列數(shù)據(jù)分布在多個光滑流形上，并且流形之間存在交集，本文提出了基于圖像序列的混合多流形模型。不同于一般深度學(xué)習(xí)利用神經(jīng)網(wǎng)絡(luò)構(gòu)建深度結(jié)構(gòu)的方法，本文利用流形對齊的方法建立流形之間的映射關(guān)系，構(gòu)建一個層次流形的分析模型，利用流形映射挖掘數(shù)據(jù)深度隱藏結(jié)構(gòu)，獲取圖像序列的深度信息。

本文組織結(jié)構(gòu)如下：第2章介紹了基于圖像序列數(shù)據(jù)分析和應(yīng)用的相關(guān)算法；第3章介紹了譜流形學(xué)習(xí)算法的基本步驟，并且結(jié)合圖像序列數(shù)據(jù)結(jié)構(gòu)特點，提出了基于圖像序列的混合多流形深度模型；第4章針對混合多流形模型中流形之間存在交集的問題，通過局部切空間表示流形局部結(jié)構(gòu)，引入了流形對齊的概念建立流形之間的映射，分析了混合多流形模型的整體結(jié)構(gòu)，提出了譜深度學(xué)習(xí)算法；第5章在人工數(shù)據(jù)集和圖像序列數(shù)據(jù)集上分別進(jìn)行實驗，分析了實驗結(jié)果，驗證了算法的有效性；最后對本文進(jìn)行總結(jié)和展望，提出了譜深度學(xué)習(xí)算法未來的研究方向。

2 相關(guān)內(nèi)容

早期圖像序列分析與應(yīng)用技術(shù)集中在遙感圖像和醫(yī)學(xué)圖像分析領(lǐng)域，多通過定義圖像外觀模型的表示方法，利用圖像之間相似度函數(shù)分析圖像序列的時空變化，獲取圖像序列的深度信息[4-7]。文獻(xiàn)[8]利用稀疏編碼技術(shù)對心臟的超聲圖像序列進(jìn)行分類研究，主要完成心臟超聲圖像序列中的血栓形成和梳狀肌的分類過程，通過提出新的分類器模型，取得了不錯的實驗結(jié)果。文獻(xiàn)[9]提出一種面向人體冠脈內(nèi)超聲圖像序列的平面剛體運動補償措施，開展了超聲圖像序列的定量分析，例如心肌運動分析，能為心臟疾病的診斷和縱向療法療效評估提供重要的心臟功能參數(shù)。文獻(xiàn)[10]采用基于主成分分析的方法對遞變能量X射線圖像序列進(jìn)行融合，通過圖像序列的各主成分，獲取融合圖像，實現(xiàn)了融合權(quán)值的自適應(yīng)獲取。結(jié)果表明，基于X射線圖像有效區(qū)域提取的融合方法的融合結(jié)果接近實際圖像。針對基于外觀模型的表示方法在實際使用中容易受到缺少圖像、污漬斑點以及超聲波成像本身特點所帶來的噪音影響的問題，文獻(xiàn)[11]針對圖像序列運動估計的相似度函數(shù)展開了研究，通過對像素強度和超聲散斑特性的兩類相似度函數(shù)在仿真的超聲圖像序列上用圖像塊匹配方法進(jìn)行分析，并采用運動矢量場角度誤差評估其在超聲圖像序列上進(jìn)行運動估計的優(yōu)劣，對不同超聲研究領(lǐng)域中運動估計及相似度函數(shù)的選擇具有一定的指導(dǎo)意義。

近年來，面向人體行為與運動模式的圖像序列分析成為計算機視覺和模式識別領(lǐng)域中最活躍的研究課題之一，如虛擬現(xiàn)實、智能監(jiān)控、感知接口等的驅(qū)動。文獻(xiàn)[12]提出了現(xiàn)實世界中人體運動圖像序列研究的3個問題，分別是人體運動建模，連續(xù)幀中的特征點通訊和遮擋區(qū)域分析。人體運動模型是畫中人物的關(guān)鍵幀建模和身體部位的廣義錐近似。閉塞區(qū)域分析主要通過模型和差圖像研究遮擋檢測。在此基礎(chǔ)上，文獻(xiàn)[13]對基于計算機視覺的人體運動分析的最新研究進(jìn)展進(jìn)行了全面綜述，重點介紹了一般的人體運動分析系統(tǒng)（即人體檢測）、人體運動圖像序列跟蹤和人體活動理解三方面。針對各方面的方法進(jìn)行了評估，并就現(xiàn)有研究面對的挑戰(zhàn)性難題和未來的研究方向進(jìn)行了系統(tǒng)性討論。

為了更好地表示圖像序列的連續(xù)性時空變化，文獻(xiàn)[14]對多視角圖像序列中的人體運動加以研究，通過隱馬爾可夫模型對多視角圖像序列中的任意運動序列進(jìn)行捕捉，有效提高了人體動作捕捉的精準(zhǔn)度。文獻(xiàn)[15]探討了隱馬爾可夫模型在描述動態(tài)圖像序列時的一些問題，分析了不同的隱馬爾可夫鏈形狀和分類方法對其性能的影響?；陔[馬爾可夫模型的融合方法及融合性能的影響因素的研究，引入了因子隱馬爾可夫模型作為特征融合方法，發(fā)展了圖模型理論對動態(tài)圖像序列進(jìn)行描述和分類。利用因子隱馬爾可夫模型具有的多層結(jié)構(gòu)，不必通過多類特征的串聯(lián)就可以達(dá)到特征融合的目的，是一種非線性的特征融合方法，有效彌補了單個特征的不足，在圖像序列分析中具有較好的表達(dá)描述能力。

為了研究圖像序列連續(xù)性時空變化的深度結(jié)構(gòu)，文獻(xiàn)[16]針對人體行為動作的視覺特性，構(gòu)建包含粗略層、中間層和細(xì)微層的自上至下層次化模型，將流形學(xué)習(xí)方法應(yīng)用到行為分層的過程中，消除了行為劃分的不確定性。文獻(xiàn)[17]針對圖像序列中的視覺跟蹤問題，把圖像序列看作單流形結(jié)構(gòu)，通過流形結(jié)構(gòu)的分析獲取樣本壓縮后的低維特征，通過流形排序算法，得到樣本點中與目標(biāo)相似度排名，從而確認(rèn)圖像序列中的目標(biāo)物體。

圖像序列時空變化的一個重要起因是運動，包括攝像機運動和場景中的物體運動等。圖像序列運動估計是通過對圖像序列的分析，得到圖像全局運動量或局部物體運動量的一種重要技術(shù)方法。為了更好地表示圖像序列的深度流形結(jié)構(gòu)，文獻(xiàn)[18]通過引入流形之間距離度量來尋找數(shù)據(jù)點的最近鄰，從而建立多流形LLE算法框架，在處理數(shù)據(jù)分類問題時又引入點到流形的距離度量。但是這種距離度量更多地依靠先驗經(jīng)驗和幾何直觀，算法泛化能力不佳。文獻(xiàn)[19]通過對流形局部結(jié)構(gòu)的估計，獲得局部切空間，利用局部切空間來度量流形之間的相似度。在整體結(jié)構(gòu)分析上通過利用拉普拉斯特征映射算法框架融合局部度量，實現(xiàn)了多流形的劃分。文獻(xiàn)[20]基于混合概率密度模型提出了多層次流形學(xué)習(xí)框架。首先利用單個概率密度模型捕捉子流形的結(jié)構(gòu)，然后建立多層次的混合概率模型分析多流形的整體結(jié)構(gòu)。文獻(xiàn)[21]在傳統(tǒng)流形學(xué)習(xí)基礎(chǔ)上，利用部分樣本的先驗內(nèi)蘊坐標(biāo)或者局部樣本之間相關(guān)對應(yīng)信息，將不同數(shù)據(jù)集對齊到統(tǒng)一的低維流形上。通過這種流形對齊的方法可以建立流形之間的映射關(guān)系，從而進(jìn)一步建立多層次流形結(jié)構(gòu)。文獻(xiàn)[22]在此基礎(chǔ)上利用層次流形學(xué)習(xí)算法，分析圖像序列的區(qū)域差異，挖掘圖像序列的深度信息。通過應(yīng)用在心臟醫(yī)學(xué)圖像序列和大腦3D圖像序列上，驗證了這種層次化流形的思想在圖像序列分析中具有良好的識別效果，能針對圖像的時序變化特點，分析不同尺度上的結(jié)構(gòu)變化。

3 學(xué)習(xí)模型

3.1 譜流形學(xué)習(xí)

目前，譜流形學(xué)習(xí)中典型算法包括：等距映射算法（isometric mapping，Isomap）、拉普拉斯特征映射[23]（laplacian eigenmap，LE）、局部線性嵌入[24]locally linear embedding，LLE）、局部切空間算法[25]locality tangent space alignment，LTSA）、核主成分分析（kernel principal components analysis，KPCA）等。這些算法可以分為局部保持方法和全局保持方法。局部保持方法主要是通過建立局部模型刻畫局部結(jié)構(gòu)的幾何特性，然后整合對齊所有交疊的局部幾何模型發(fā)現(xiàn)全局幾何特性，最后通過全局低維坐標(biāo)表示出來。全局保持方法是通過計算樣本和其余所有樣本的關(guān)系，得到全局度量矩陣，轉(zhuǎn)化為內(nèi)積矩陣，利用矩陣的譜分解獲得觀測數(shù)據(jù)的內(nèi)在低維坐標(biāo)。

雖然刻畫數(shù)據(jù)結(jié)構(gòu)的方式和采用的微分算子不同，但是它們的核心思想和基本框架一致。假定高維樣本分布于單個光滑流形上，結(jié)合微分流形的幾何結(jié)構(gòu)和譜方法的代數(shù)分析，在高維觀測空間和潛在低維空間之間建立隱式非線性映射，獲取高維樣本數(shù)據(jù)在低維空間上的內(nèi)蘊坐標(biāo)，從而發(fā)現(xiàn)隱含在高維數(shù)據(jù)的低維非線性結(jié)構(gòu)[26]。

下面給出譜流形學(xué)習(xí)的基本步驟[27]。假定樣本數(shù)據(jù)集A包含n個樣本點，每個樣本點用列向量x表示，可以對應(yīng)任意目標(biāo)對象，其中xi∈?d，d表示樣本點的維數(shù)，1≤i≤n。

步驟1構(gòu)建鄰接矩陣。針對樣本數(shù)據(jù)集A構(gòu)建鄰接矩陣W∈?n×n，鄰接關(guān)系的定義可以采用最近鄰法或者球鄰域法。樣本之間相似度權(quán)值計算可采用熱核函數(shù)，其中表示相鄰樣本之間的歐式距離，σ是規(guī)模參數(shù)：

步驟2構(gòu)建度矩陣。定義樣本數(shù)據(jù)集的度矩陣D，對角元素等于鄰接矩陣列向量和：

步驟3構(gòu)建微分算子。定義流形上微分算子L，可采取以下幾種定義方法，其中dmax表示度矩陣D中最大的元素，I表示單位矩陣：

步驟4獲取內(nèi)蘊坐標(biāo)。解廣義特征值Le=λDe，L算子有n個實特征值λ1≥λ2≥…≥λn，每個特征值λi對應(yīng)一個特征向量ei。選取前k個特征值對應(yīng)的特征向量{e1,e2,…,ek}，組成矩陣Y=?n×k。樣本點xi在流形上的內(nèi)蘊低維坐標(biāo)是矩陣Y的對應(yīng)第i行的行向量。

根據(jù)以上過程描述，標(biāo)準(zhǔn)譜流形學(xué)習(xí)采用最近鄰法計算樣本數(shù)據(jù)A的鄰接矩陣W的復(fù)雜度為O(n(n×d))，計算度矩陣的復(fù)雜度為O(n)，算子L是半正定的對稱矩陣，對其進(jìn)行譜分解的復(fù)雜度為O(n3)。因此當(dāng)d?n時，標(biāo)準(zhǔn)譜流形學(xué)習(xí)算法時間復(fù)雜度為O(n3)。

3.2 圖像序列

從圖像序列的角度出發(fā)，觀察圖像集合。圖1記錄高爾夫擊球動作，盡管都是相似的擊球動作，但是按照不同擊球的角度，相同的動作可以分為兩個不同圖像序列；圖2由同一部攝像機記錄同一人的動作集合，但是按照運動種類分為不同的圖像序列；圖3是由多部攝像機拍攝的行車圖像，其中（a）屬于同一攝像機，（b）是3部攝像機從不同角度拍攝。根據(jù)時間和拍攝角度，可以判斷只有下方最左邊的圖像屬于同一序列，后兩幅圖像是由不同角度攝像機拍攝的。

Fig.1 Golfball action圖1 高爾夫擊球動作

Fig.2 Human motion sequences圖2 人體動作序列

通過觀察可以發(fā)現(xiàn)在圖像序列中存在如下結(jié)構(gòu)特點：

（1）圖像集合中按照不同判斷標(biāo)準(zhǔn)存在多個圖像序列；

Fig.3 Car moving sequence圖3 汽車行駛圖像序列

（2）圖像序列內(nèi)部存在連續(xù)變化關(guān)系，這種關(guān)系是按照時序變化的；

（3）不同圖像序列之間存在高度相似的部分，但是根據(jù)序列連續(xù)變化的特點可以區(qū)分。

結(jié)合圖像序列的結(jié)構(gòu)特點和譜流形學(xué)習(xí)的思想，把圖像序列結(jié)構(gòu)抽象為流形結(jié)構(gòu)。如圖4所示，圖像集合中存在多個流形結(jié)構(gòu)，單個圖像序列分布在單個光滑流形上，而屬于不同序列的圖像樣本分布在不同的流形上。

如果不同流形之間不存在交集部分，采用基于局部結(jié)構(gòu)保持的傳統(tǒng)譜流形學(xué)習(xí)算法可以獲取圖像序列的本征坐標(biāo)，進(jìn)一步可以實現(xiàn)基于多流形的聚類。但是圖4中不同動作序列中存在相似度較高的動作幀，這表示在圖像序列集合中建立多流形模型，不同流形之間存在交集。傳統(tǒng)的譜流形學(xué)習(xí)算法核心在于盡量縮小類內(nèi)的距離，同時增大類間的距離，并沒有考慮數(shù)據(jù)空間結(jié)構(gòu)問題，無法克服多流形之間存在交集的問題。圖5所示圖像序列來自卡內(nèi)基梅隆大學(xué)的人體動作圖像數(shù)據(jù)（MoCap data）。圖中從左往右依次顯示的是8個不同時間點時人體行走分解動作的骨架圖像?？梢杂^察到人體行走動作隨著時間逐漸變化，每個時刻的動作與相鄰時刻動作區(qū)別較小，這表示圖像序列整體變化具有平緩性。圖6所示圖像序列是網(wǎng)球從桌子的一端滾動到另外一端?？梢杂^察到無論網(wǎng)球運動速度快或慢，其運動軌跡是不會變化的，仍然是從左端逐漸滾動到右端，這表示圖像序列內(nèi)部結(jié)構(gòu)具有不變性。

Fig.4 Human motion sequences圖4 人體動作序列

Fig.5 Motion sequence of human walking圖5 人體行走動作序列

Fig.6 Image sequence of ball rolling圖6 網(wǎng)球滾動圖像序列

通過觀察得出圖像序列內(nèi)部結(jié)構(gòu)的關(guān)鍵特點：相鄰圖像之間的變化是連續(xù)且平緩的，不會產(chǎn)生突變的情況；圖像序列的內(nèi)部結(jié)構(gòu)具有不變性，不會因為變化速率改變序列內(nèi)部結(jié)構(gòu)；不同圖像序列之間存在交集部分，相似圖像序列之間的交集部分明顯增多。根據(jù)圖像序列的這些特點，可以推斷出在基于圖像序列構(gòu)建的混合多流形模型中，同一圖像序列分布的單流形結(jié)構(gòu)是光滑和平緩的，當(dāng)兩個流形存在交集部分時，應(yīng)該選擇變化方向趨于平緩的流形結(jié)構(gòu)。在進(jìn)行混合多流形結(jié)構(gòu)分析時，把平滑性作為構(gòu)建目標(biāo)流形的標(biāo)準(zhǔn)之一，能夠有效區(qū)分流形之間的交集部分[22]。當(dāng)流形之間的交集部分較多且復(fù)雜時，單層流形映射不能充分反映流形的本質(zhì)結(jié)構(gòu)，需要逐層剖析流形的交集部分。圖7顯示兩個二維光滑流形的聚類問題。左邊第一幅圖表示所有輸入的樣本點，隨后從左往右3幅子圖分別表示不同的聚類情況，只有最右邊圖中的聚類方式符合光滑和平緩條件。

Fig.7 Clustering of two dimensional manifold圖7 二維光滑流形聚類

3.3 學(xué)習(xí)模型

綜上所述，在圖像序列結(jié)構(gòu)學(xué)習(xí)中存在兩個關(guān)鍵問題，分別是單流形的局部結(jié)構(gòu)表示分析和多流形的整體結(jié)構(gòu)聚類分析。當(dāng)流形之間交集部分較多時，需要通過多層流形映射逐層剖析流形結(jié)構(gòu)，可以幫助分析和理解圖像集合內(nèi)部隱藏的序列結(jié)構(gòu)?；趫D像序列的結(jié)構(gòu)特點，結(jié)合多流形學(xué)習(xí)框架[28]提出了混合多流形深度學(xué)習(xí)模型，表述如下：記高維混合數(shù)據(jù)集，其中X包含n個樣本點，n=n1+n2+…+nc，數(shù)據(jù)集總共包含c個單流形結(jié)構(gòu)，每個流形包含nc個樣本點。高維數(shù)據(jù)和低維流形之間對應(yīng)關(guān)系符合式（1）：

其中，C(xi)是流形上的分類函數(shù)，將數(shù)據(jù)點xi劃分給對應(yīng)的單流形；是數(shù)據(jù)點xi對應(yīng)單流形上的第k層的光滑映射，通過該映射找到單流形在第k層對應(yīng)的內(nèi)蘊坐標(biāo)（低維嵌入）yi；dc是單流形的本征維數(shù)，不同的單流形的本征維數(shù)可能不同。

4 模型分析

4.1 局部結(jié)構(gòu)

在基于圖像序列的混合多流形模型中，3.2節(jié)指出關(guān)鍵問題在于區(qū)分不同單流形的交集部分。結(jié)合圖像序列中相鄰圖像之間變化的平緩性和連續(xù)性的結(jié)構(gòu)特點，可以通過單流形的平緩性來表示這種結(jié)構(gòu)特點。在歐式空間中，一般采用高斯曲率度量曲線或者曲面的彎曲程度，曲率值大表示曲線或者曲面的彎曲程度大，反之亦然。在光滑流形上，一般采用里奇曲率（Ricci curvature）度量流形結(jié)構(gòu)的扭曲程度。為了反映流形幾何結(jié)構(gòu)的扭曲程度，里奇曲率采用合并不同角度的黎曼曲率的方式[29]。根據(jù)里奇曲率的觀點，流形上某一點x處的流形彎曲程度用該點和其領(lǐng)域ε(x)內(nèi)所有點之間的曲率和來表示，流形上所有點的曲率總和sum()表示流形整體結(jié)構(gòu)的彎曲程度，如式（2）所示。

其中，C(x)表示流形上某一點x處的曲率和；xi∈ε(x)表示樣本點的近鄰點；θ(x,xi)表示相鄰點之間的曲率值。曲率的計算由定義1引出。

定義1[29]{a1,a2,…,ap}和{b1,b2,…,bq}是正交向量組，r(A,B)表示由正交向量組生成的線性子空間A=span{a1,a2,…,ap}和B=span{b1,b2,…,bq}之間的角度值，矩陣W表示子空間之間對應(yīng)的內(nèi)積，。

定義2[30]設(shè)是一個m維光滑流形，x∈。光滑流形在點x的切向量v是滿足下列條件的一個映射→?：

條件（1）、（2）說明v是從到?的線性映射，條件（3）稱為Leibniz法則。表示光滑流形上x處的全體光滑函數(shù)集合，?表示實數(shù)域。

定理1[30]設(shè)是一個m維光滑流形，x∈。用Tx表示在點x處的全體切向量的集合，則在Tx中有自然的線性結(jié)構(gòu)，使得Tx稱為m維的向量空間，向量空間Tx稱為光滑流形在點x的切空間，如圖8所示。

Fig.8 Tangent space ofxandyon manifold圖8 光滑流形上點x和點y的切空間

由定義2和定理1可知，流形上某一點x處存在一個自然的線性子空間，即切空間Tx。由定義1可知利用x的線性子空間可以表示該點處的彎曲程度，進(jìn)而獲取流形整體結(jié)構(gòu)的彎曲程度[31]。通過流形上點對之間的最近鄰關(guān)系獲取流形上任一點x的切空間，以雅可比矩陣（Jacobian matrix）的形式表示為Fx，如式（4）所示：

其中，Gx=(-xi1T)，xi表示流形上某一點坐標(biāo)，表示該點的k最近鄰坐標(biāo)矩陣。根據(jù)矩陣?yán)碚撝械娜鹄潭ɡ韀32]Rayleigh quotient）可知，最優(yōu)解是矩陣的前d大特征值對應(yīng)的特征向量。d表示流形局部結(jié)構(gòu)的本征維數(shù)，可以通過定義固定閾值方法得到該維數(shù)，或者通過求取特征值間最大譜間隙的方法求取[33]。

4.2 整體結(jié)構(gòu)

從聚類的角度出發(fā)分析混合多流形模型的整體結(jié)構(gòu)，每個單流形視作一類，不同的單流形視為異類。盡量保持同一單流形結(jié)構(gòu)的連續(xù)性和平緩性，單流形上的類內(nèi)結(jié)構(gòu)利用曲率和表示，如式（5）所示，不同流形之間的結(jié)構(gòu)同樣利用曲率表示為，如式（6）所示：

當(dāng)流形之間交集部分較多時，利用流形對齊[34]建立流形之間的映射關(guān)系和流形深度結(jié)構(gòu)，通過逐層映射獲取深度嵌入。如圖9所示，保持上層流形的結(jié)構(gòu)，在下層映射時采用遞歸的劃分方法，不斷將圖像分割為大小相等的區(qū)域進(jìn)行映射。例如可以把一幅圖像分割為面積相等的4部分，然后遞歸地把子圖像分割為面積相等的4部分，對應(yīng)每個部分的坐標(biāo)稱為該圖像的區(qū)域坐標(biāo)。對于某一完整樣本點的上層嵌入坐標(biāo)y，對應(yīng)下層流形上的深度嵌入坐標(biāo)z的目標(biāo)函數(shù)如式（8）所示：

其中，α是決定流形之間映射程度的權(quán)重系數(shù)，較大的系數(shù)α能夠加強兩層流形之間的同構(gòu)性，較小的α能增強對于流形交集部分的展開。wij表示該樣本點與其近鄰樣本點區(qū)域坐標(biāo)之間的相似度權(quán)值。第一項表示層次流形之間相似度權(quán)值，第二項表示保持當(dāng)前層的流形結(jié)構(gòu)。對y求導(dǎo)，可以獲取該目標(biāo)函數(shù)的解析解：

其中，Z是樣本點在下層流形上的區(qū)域嵌入坐標(biāo)；I是單位矩陣；L是基于相似度矩陣W構(gòu)建的區(qū)域拉普拉斯矩陣；Y是上層流形的坐標(biāo)。

圖9所示為層次流形之間的映射關(guān)系，左邊是沒有采用流形對齊的流形映射，獲取的嵌入坐標(biāo)不能保持上下層流形之間的同構(gòu)關(guān)系；右邊是采用流形對齊后的流形映射，上下層流形之間維持了較好的同構(gòu)關(guān)系。

Fig.9 Map of hierarchy manifold圖9 層次流形之間的映射

4.3 譜深度學(xué)習(xí)算法

基于圖像序列的結(jié)構(gòu)特點，在譜流形學(xué)習(xí)框架的基礎(chǔ)上，通過流形局部結(jié)構(gòu)的表示和多流形整體結(jié)構(gòu)的層次映射，提出了譜深度學(xué)習(xí)算法，獲取圖像序列的深度嵌入坐標(biāo)。譜深度學(xué)習(xí)算法與單層譜流形學(xué)習(xí)算法相比較，算法復(fù)雜度主要增加在區(qū)域拉普拉斯算子的計算上。雖然在通過流形對齊獲取下層嵌入坐標(biāo)時，需要根據(jù)具體劃分方式計算樣本與其近鄰之間區(qū)域坐標(biāo)的相似度權(quán)值，從而獲取區(qū)域坐標(biāo)的微分算子。但是下層坐標(biāo)可以通過求導(dǎo)求取，不需要再次使用譜分解方法求解近似解。如果在流形映射時，區(qū)域劃分為l塊，算法增加的時間復(fù)雜度為O(ln2)。因為在上層流形嵌入坐標(biāo)的獲取中，采用譜分解，時間復(fù)雜度為O(n3)，所以算法時間復(fù)雜度仍然是O(n3)?？梢园l(fā)現(xiàn)當(dāng)樣本維數(shù)較小時，譜深度學(xué)習(xí)算法主要的時間耗費在對微分算子進(jìn)行譜分解上。

算法1譜深度學(xué)習(xí)算法

步驟1獲取流形局部結(jié)構(gòu)。利用k最近鄰算法獲取樣本xi的k近鄰，通過切空間表示流形上xi的局部結(jié)構(gòu)，F(xiàn)x由式（4）獲取。

步驟2構(gòu)建鄰接矩陣?；诹餍尉植拷Y(jié)構(gòu)保持構(gòu)建W，其中σ1是距離規(guī)模參數(shù)，σ2用來控制曲率高斯核所占比重：

步驟3構(gòu)建度矩陣。定義樣本數(shù)據(jù)集的度矩陣D，對角元素等于鄰接矩陣列向量和：

步驟4構(gòu)建微分算子。構(gòu)建流形上的拉普拉斯算子L，半正定對稱矩陣L=D-W。

步驟5獲取單層流形嵌入坐標(biāo)。解廣義特征值Le=λDe，選取前k個特征值對應(yīng)的特征向量{e1,e2,…,ek}。樣本點xi通過單層流形映射獲取的嵌入坐標(biāo)yi是特征向量作為列向量組成矩陣的行向量{e1(i),e2(i),…,ek(i)}。

步驟6獲取流形深度嵌入坐標(biāo)。通過流形對齊，建立流形映射，根據(jù)式（9）獲取數(shù)據(jù)點在下層流形上的深度嵌入坐標(biāo)。

5 仿真實驗

實驗首先在兩個人工數(shù)據(jù)集上驗證SDL算法，分別是MNIST手寫體數(shù)據(jù)集和卡內(nèi)基梅隆大學(xué)的MoCap人體動作數(shù)據(jù)集。第一步利用人工數(shù)據(jù)集和手寫體數(shù)據(jù)集模擬混合多流形模型，分析SDL算法針對混合多流形的聚類效果。第二步利用MoCap人體動作數(shù)據(jù)集測試SDL算法在真實圖像序列數(shù)據(jù)集上的聚類效果，通過聚類效果說明算法學(xué)習(xí)圖像序列隱藏結(jié)構(gòu)的能力。

5.1 多流形聚類分析

構(gòu)建兩個人工數(shù)據(jù)集，包括大小球和交叉板。其中大小球包括1 000個三維數(shù)據(jù)點，500個來自外層大球，500個來自內(nèi)層小球，對應(yīng)沒有交集的兩個流形；交叉板有600個三維數(shù)據(jù)點，兩個平面各自包含300個數(shù)據(jù)點，對應(yīng)存在交集部分的兩個流形。MNIST手寫體包括(1～10)10個數(shù)字的手寫體，維數(shù)是784。為了模擬混合多流形，選擇1、2、7近似度較高的3種手寫體數(shù)字，分別選取300個數(shù)據(jù)點，對應(yīng)3個子流形，如圖10所示。

Fig.10 Handwritten data set圖10 手寫體數(shù)據(jù)集

對人工數(shù)據(jù)集和MNIST手寫體數(shù)據(jù)集進(jìn)行聚類分析，聚類結(jié)果評價采用Rand Index score，得分越接近1表示聚類效果越好。實驗采用k-means、Isomap、LE和LLE作為對比算法。實驗結(jié)果如表1所示。從實驗結(jié)果可以發(fā)現(xiàn)，大小球數(shù)據(jù)集內(nèi)部兩個流形之間不存在交集，傳統(tǒng)譜流形學(xué)習(xí)算法LLE和LE能夠比較理想地獲取其內(nèi)部結(jié)構(gòu)，SDL算法在該數(shù)據(jù)集上表現(xiàn)同樣很好。數(shù)據(jù)集交叉板中，流形之間存在交集，所有算法的表現(xiàn)都出現(xiàn)不同程度的下降，但是SDL算法下降幅度最小。手寫體數(shù)據(jù)集內(nèi)3個子流形之間同樣存在交集，SDL算法聚類評分最高。圖11所示為算法在3個數(shù)據(jù)集（依次為大小球、交叉板、手寫體）上的聚類效果比較，SDL算法效果明顯優(yōu)于傳統(tǒng)譜流形學(xué)習(xí)算法。這證明了相比較傳統(tǒng)譜流形學(xué)習(xí)算法，SDL算法由于在處理多流形交集時的能力，獲取的深度嵌入坐標(biāo)反映了混合多流形的真實結(jié)構(gòu)。

Table 1 Cluster analysis of experimental result 1表1 實驗結(jié)果聚類分析1

Fig.11 Algorithm comparison and analysis on 3 data sets圖11 3種不同數(shù)據(jù)集上的算法比較

5.2 圖像序列聚類分析

MoCap圖像序列是卡內(nèi)基梅隆大學(xué)建立的人體動作序列數(shù)據(jù)集。該數(shù)據(jù)集利用關(guān)節(jié)點軌跡記錄了不同的人體動作序列，其中不但包括行走、跑步、轉(zhuǎn)彎等簡單的動作，還包括類似于舞蹈、運動等復(fù)雜動作。數(shù)據(jù)集以動作幀的形式，按照動作序列發(fā)生時間順序存儲。

第一組圖像序列實驗采用動作（a）～（e）作為測試數(shù)據(jù)集，共計1 782個樣本點，維數(shù)是62。包括跳躍（a）、向前跳躍（b）、左轉(zhuǎn)彎（c）、行走（d）和跑步（e），如圖12所示?；旌蟿幼餍蛄校╝，b）作為測試集1，混合動作序列（a，b，c）作為測試集2，混合動作序列（a，b，c，d）作為測試集3，混合動作序列（a，b，c，d，e）作為測試集4。聚類結(jié)果評價標(biāo)準(zhǔn)仍然采用Rand Index score，實驗采用k-means、LLE和LE算法作為對照組，各算法參數(shù)均設(shè)為最優(yōu)值實驗結(jié)果，如表2所示。

通過實驗發(fā)現(xiàn)，當(dāng)測試數(shù)據(jù)集中包含動作序列種類較少時，通過SDL算法聚類效果提高程度不明顯，但是隨著測試數(shù)據(jù)集包含圖像序列類別數(shù)目的逐步增加，SDL算法的聚類效果明顯優(yōu)于對比算法。這說明SDL算法在處理包含多個流形結(jié)構(gòu)的圖像序列數(shù)據(jù)時，優(yōu)于其他算法。

Fig.12 Action sequences圖12 動作序列

Table 2 Cluster analysis of experimental result 2表2 實驗結(jié)果聚類分析2

Fig.13 3 dimensional coordinates of sequences(a,b),(d,e)圖13 動作序列（a，b）和（d，e）的三維坐標(biāo)

Fig.14 Dance image sequences圖14 舞蹈動作序列

Fig.15 3 dimensional coordinates of dance image sequences圖15 舞蹈動作序列的三維坐標(biāo)

圖13所示為流形本征維數(shù)設(shè)為3時，通過SDL算法獲取的測試數(shù)據(jù)集嵌入坐標(biāo)。圖中左側(cè)是跳躍動作（a）和向前跳躍動作（b）；右側(cè)是行走動作（d）和跑步動作（e）。通過SDL算法獲取的深度嵌入坐標(biāo)在序列（d）和序列（e）上具有較好區(qū)分能力；在兩個相似動作序列（a，b）上有部分重疊區(qū)域，這是序列（a）和序列（b）中有部分動作高度相似，難以區(qū)分。

第二組圖像序列實驗采用更加復(fù)雜的人體動作序列，舞蹈動作1和舞蹈動作2作為測試集，如圖14所示。通過SDL算法獲取復(fù)雜舞蹈動作序列的深度嵌入坐標(biāo)在三維空間的可視化，如圖15所示?？梢悦黠@發(fā)現(xiàn)兩個人體復(fù)雜動作被明顯區(qū)分，證明了SDL算法在復(fù)雜圖像序列數(shù)據(jù)上的結(jié)構(gòu)學(xué)習(xí)能力。

6 總結(jié)和展望

本文針對圖像序列的結(jié)構(gòu)特點，得出圖像序列中相鄰圖像之間具有高度相似性，圖像之間的變化具有連續(xù)性和平緩性的結(jié)論；不同圖像序列之間存在交集，單層流形映射無法區(qū)分的問題。結(jié)合譜流形學(xué)習(xí)和流形深度結(jié)構(gòu)，提出了一種譜深度學(xué)習(xí)算法。為了反映單流形結(jié)構(gòu)的連續(xù)性和平緩性，利用流形上存在的天然線性空間，及其局部切空間表示流形的局部結(jié)構(gòu)。利用流形對齊建立層次流形之間的深度映射關(guān)系，既保持了單層映射的局部結(jié)構(gòu)，又保持了層次流形之間的同構(gòu)性。實驗證明通過SDL算法提高了混合多流形的聚類效果，獲取的圖像序列深度嵌入坐標(biāo)不僅能夠?qū)W習(xí)圖像序列的深度結(jié)構(gòu)，并且具有一定的時域劃分能力。

同時SDL算法存在一些需要改進(jìn)和進(jìn)一步研究的問題。首先，在處理混合多流形數(shù)據(jù)時，利用譜方法獲取切空間的譜表示的維數(shù)設(shè)定問題大多依靠經(jīng)驗，不同維數(shù)的譜表示對算法效果存在影響。其次，基于切空間曲率的局部結(jié)構(gòu)表示方法難以適應(yīng)更加復(fù)雜的數(shù)據(jù)。作者在實驗中嘗試過一些子空間曲率的計算辦法，但實驗效果并不理想，如何更好地表示流形的局部結(jié)構(gòu)還有待研究。另外，利用流形對齊的方法建立流形映射關(guān)系只是一種簡單的構(gòu)建方法，只能在尺度的層次上進(jìn)一步學(xué)習(xí)流形結(jié)構(gòu)，隨著深度的增加，算法效果的提高逐漸停滯。如何更好地建立深度流形，反映更深層的流形本質(zhì)結(jié)構(gòu)還有待研究。

更重要的是，SDL算法對于圖像序列的劃分是基于圖像之間相似度和序列連續(xù)變化的原理，并沒有充分利用圖像的時序特點。因為譜流形學(xué)習(xí)能夠?qū)W習(xí)數(shù)據(jù)的空間結(jié)構(gòu)；而概率模型譜學(xué)習(xí)，特別是馬爾可夫模型，能夠反映數(shù)據(jù)之間的時間關(guān)系。如果將兩者結(jié)合起來，利用某一時刻或一段時間內(nèi)的流形結(jié)構(gòu)變化預(yù)測后續(xù)結(jié)構(gòu)，實現(xiàn)基于圖像序列的預(yù)測是進(jìn)一步研究的方向。

References:

[1]Tenenbaum J B,De Silva V,Langford J C.A global geometric framework for nonlinear dimensionality reduction[J]. Science,2000,290(5500):2319-2323.

[2]Chung F R K.Spectral graph theory[M].[S.l.]:American Mathematical Society,1997.

[3]Belkin M,Niyogi P.Towards a theoretical foundation for Laplacian-based manifold methods[J].Journal of Computer and System Sciences,2008,74(8):1289-1308.

[4]Chen Zhongbiao,He Yijun,Zhang Biao,et al.A new algorithm to retrieve wave parameters from marine X-band radar image sequences[J].IEEE Transactions on Geoscience and Remote Sensing,2014,52(7):4083-4091.

[5]Chen Wei.Current motion tracking from satellite image sequence with global similarity optimization model[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53 (2):1008-1015.

[6]Zhai Dongli.Research on navigation algorithm for soft landing asteroid based on image sequence[D].Harbin:Harbin Institute of Technology,2006.

[7]Deng Jiaxian,Wu Chengke,Li Yunsong,et al.An algorithm for multi-spectral image series coding[J].Acta Optica Sinica, 2005,24(11):1499-1502.

[8]Hou Xiaofang,Zhu Penghua,Ma Yanxin.Classification of cardiac ultrasound image sequences based on sparse representation[J].Journal of Software,2014,9(9):2309-2314.

[9]Sun Zheng,Wang Jianjian.Compensation of inplane rigid motion for in vivo intracoronary ultrasound image sequence [J].Computers in Biology and Medicine,2013,43(9):1077-1085.

[10]Wei Jiaotong.The research of multi-energy X-ray image stack fusion algorithm[D].Taiyuan:North University of China, 2014.

[11]Akita K.Image sequence analysis of real world human motion[J].Pattern Recognition,1984,17(1):73-83.

[12]Wang Liang,Hu Weiming,Tan Tieniu.Recent developments in human motion analysis[J].Pattern Recognition,2003,36 (3):585-601.

[13]Peng Bo,Yang Xianfeng.Investigation of similarity functions for ultrasound image sequence motion estimation[J]. Computer Simulation,2012,29(9):258-261.

[14]Liu Yanan,Jia Liankun,Yu Wenyu.Capturing human motion based on modified hidden Markov model in multiview image sequences[J].Journal of Multimedia,2014,9 (1):92-98.

[15]Chen Changhong.Dynamic image sequence representation and classification with application to human motion analysis[D].Xi’an:Xidian University,2009.

[16]Chen Shaorong,Wang Hongqiang,Li Xiang.Manifold learning based layer model for video action recognition[J].Computer Simulation,2011,28(12):272-276.

[17]Zhou Tao,He Xiangjian,Xie Kai,et al.Robust visual tracking via efficient manifold ranking with low-dimensional compressive features[J].Pattern Recognition,2015,48(8):2459-2473.

[18]Hettiarachchi R,Peters J F.Multi-manifold LLE learning in pattern recognition[J].Pattern Recognition,2015,48(9):2947-2960.

[19]Gong Dian,Zhao Xuemei,Medioni G.Robust multiple manifolds structure learning[C]//Proceedings of the 29th International Conference on Machine Learning,Edinburgh,Scotland,Jun 26-Jul 1,2012.

[20]Wang Xiaoxia,Tiňo P,Fardal M A.Multiple manifolds learning framework based on hierarchical mixture density model[C]//LNCS 5212:Proceedings of the 2008 European Conference on Machine Learning and Knowledge Discovery in Databases,Antwerp,Belgium,Sep 15-19,2008.Berlin, Heidelberg:Springer,2008:566-581.

[21]Ham J,Lee D D,Saul L K.Semi-supervised alignment of manifolds[C]//Proceedings of the 21st Conference on Uncertainty in Artificial Intelligence,Edinburgh,Scotland,Jul 26-29,2005:120-127.

[22]Bhatia K K,Rao A,Price A N,et al.Hierarchical manifold learning[C]//LNCS 7510:Proceedings of the 15th International Conference on Medical Image Computing and ComputerAssisted Intervention,Nice,France,Oct 1-5,2012.Berlin, Heidelberg:Springer,2012:512-519.

[23]Belkin M,Niyogi P.Laplacian eigenmaps for dimensionality reduction and data representation[J].Neural Computation, 2003,15(6):1373-1396.

[24]Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290(5500): 2323-2326.

[25]Zhang Zhenyue,Zha Hongyuan.Principal manifolds andnonlinear dimensionality reduction via tangent space alignment[J].Journal of Shanghai University:English Edition, 2010,26(4):406-424.

[26]Ham J,Lee D D,Mika S,et al.A kernel view of the dimensionality reduction of manifolds[C]//Proceedings of the 21st International Conference on Machine Learning,Banff,Canada,Jul 4-8,2004.New York:ACM,2004:47-57.

[27]Xu Rong,Jiang Feng,Yao Hongxun.Overview of manifold learning[J].CAAI Transactions on Intelligent Systems, 2006,1(1):44-51.

[28]Wang Yong,Jiang Yuan,Wu Yi,et al.Spectral clustering on multiple manifolds[J].IEEE Transactions on Neural Networks,2011,22(7):1149-1161.

[29]Tyagi H,Vural E,Frossard P.Tangent space estimation for smooth embeddings of Riemannian manifolds[J].Information and Inference,2013,2(1):69-114.

[30]Chen Xingshen.Lectures on differential geometry[M].Beijing:Peking University Press,2001.

[31]Chen Weihuan.An introduction to differentiable manifold [M].Beijing:Higher Education Press,2001.

[32]Huang Tingzhu,Zhong Shouming.Matrix theory[M].Beijing:Higher Education Press,2003.

[33]Smith A K,Huo Xiaoming,Zha Hongyuan.Convergence and rate of convergence of a manifold-based dimension reduction algorithm[C]//Proceedings of the Advances in Neural Information Processing Systems,Vancouver,Canada, Dec 8-11,2008.Red Hook,USA:Curran Associates,2008: 1529-1536.

[34]Bhatia K K,Rao A,Price A N,et al.Hierarchical manifold learning for regional image analysis[J].IEEE Transactions on Medical Imaging,2014,33(2):444-461.

附中文參考文獻(xiàn)：

[6]翟冬麗.基于圖像序列的小行星軟著陸導(dǎo)航方法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2006.

[7]鄧家先,吳成柯,李云松,等.干涉多光譜衛(wèi)星圖像序列編碼[J].光學(xué)學(xué)報,2005,24(11):1499-1502.

[10]魏交統(tǒng).遞變能量X射線圖像序列融合算法研究[D].太原:中北大學(xué),2014.

[13]彭博,楊先鳳.超聲圖像序列運動估計相似度函數(shù)研究[J].計算機仿真,2012,29(9):258-261.

[15]陳昌紅.動態(tài)圖像序列建模與分類及其在人體運動分析中的應(yīng)用[D].西安:西安電子科技大學(xué),2009.

[16]陳紹榮,王宏強,黎湘.基于流形學(xué)習(xí)的視頻序列行為分層算法[J].計算機仿真,2011,28(12):272-276.

[27]徐蓉,姜峰,姚鴻勛.流形學(xué)習(xí)概述[J].智能系統(tǒng)學(xué)報, 2006,1(1):44-51.

[30]陳省身.微分幾何講義[M].北京:北京大學(xué)出版社,2001.

YIN Hongwei was born in 1990.He is a Ph.D.candidate at Soochow University.His research interests include machine learning and spectral manifold learning,etc.

尹宏偉（1990—），男，安徽宿松人，蘇州大學(xué)計算機科學(xué)與技術(shù)學(xué)院博士研究生，主要研究領(lǐng)域為機器學(xué)習(xí)，譜學(xué)習(xí)等。

LI Fanzhang was born in 1964.He received the M.S.degree in computer science and technology from University of Science and Technology of China in 1995.Now he is a professor and Ph.D.supervisor at Soochow University. His research interests include artificial intelligence and machine learning,etc.

李凡長（1964—），男，云南宣威人，1995年于中國科技大學(xué)獲得碩士學(xué)位，現(xiàn)為蘇州大學(xué)教授、博士生導(dǎo)師，主要研究領(lǐng)域為人工智能，機器學(xué)習(xí)等。

Spectral Deep LearningAlgorithm for Image Sequence*

YIN Hongwei,LI Fanzhang+
College of Computer Science and Technology,Soochow University,Suzhou,Jiangsu 215000,China
+Corresponding author:E-mail:lfzh@suda.edu.cn

To better understand the hidden depth information of image sequence,people need to figure out the hidden data structure of the image sequence.At present,spectral manifold learning is efficient to learn the low dimensional embedding coordinates projected from the high dimensional sample data and thereby learning the manifold structure. Since the conventional method based on the hypothesis which the sample data are distributed on one single manifold, does not support hybrid multiple manifold model.Combined with the structure characteristics of image sequence,this paper presents a new algorithm called spectral deep learning(SDL)algorithm.Through setting up multimanifold mixed model,this algorithm preserves the continuity and smoothness of the local changes on the manifold.Through a method called manifold alignment,this algorithm establishes the mapping between the hierarchy manifold to find the deep low dimensional embedding coordinates of the image sequence.The experiments illustrate the validity of hybrid multiple manifold and image sequence data set of this algorithm．

image sequence;spectral manifold learning;hybrid multiple manifold;local tangent space;hierarchy manifold

10.3778/j.issn.1673-9418.1603047

A

：TP181

*The National Natural Science Foundation of China under Grant Nos.61033013,60775045(國家自然科學(xué)基金).

Received 2016-02,Accepted 2016-04.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-04-19,http://www.cnki.net/kcms/detail/11.5602.TP.20160419.1143.008.html

YIN Hongwei,LI Fanzhang.Spectral deep learning algorithm for image sequence.Journal of Frontiers of Computer Science and Technology,2017,11(3)：414-426.