杜柏陽(yáng) ,孔祥玉 ,馮曉偉

(1.火箭軍工程大學(xué)導(dǎo)彈工程學(xué)院,陜西西安 710025; 2.火箭軍工程大學(xué)核工程學(xué)院,陜西西安 710025)

1 引言

在現(xiàn)代信號(hào)處理中,許多問(wèn)題可以轉(zhuǎn)化協(xié)相關(guān)矩陣的分解問(wèn)題,從而通過(guò)奇異值分解的方法最終有效地解決[1].奇異特征空間提取方法廣泛應(yīng)用于信息產(chǎn)業(yè)等領(lǐng)域,例如低秩優(yōu)化[2]、人臉識(shí)別[3]、功耗分析[4]、故障診斷[5]、波達(dá)角估計(jì)[6]等.通常,主奇異特征向量(principal singular component,PSC)指的是在由兩路輸入信號(hào)得來(lái)的協(xié)相關(guān)矩陣中,與幾個(gè)主要奇異值對(duì)應(yīng)的特征向量,該向量是成對(duì)存在的,區(qū)分為左和右兩個(gè)向量.由這些特征向量張成的空間稱為主奇異特征子空間(principal singular subspace,PSS).

實(shí)現(xiàn)奇異特征提取的最初方法主要依賴矩陣分解理論[7–8],基于矩陣分解的處理算法具有良好的魯棒性,但他們是批處理算法,只能處理離線數(shù)據(jù),因而該類方法計(jì)算效率很是受限,而且對(duì)硬件設(shè)備要求比較高.神經(jīng)網(wǎng)絡(luò)算法具有在線學(xué)習(xí)的特點(diǎn),能夠?qū)崿F(xiàn)奇異特征的在線提取,因而被廣泛開(kāi)展研究,例如Hebbian規(guī)則算法[9–10].早期的神經(jīng)網(wǎng)絡(luò)算法需要將協(xié)相關(guān)矩陣R改造成RTR或者RRT.這種做法確保了被分解矩陣的對(duì)稱性,但是還存在秩缺失情況下的算法穩(wěn)定性問(wèn)題[11],這在實(shí)際應(yīng)用中是不可避免的.針對(duì)這個(gè)問(wèn)題,有學(xué)者提出基于梯度的神經(jīng)網(wǎng)絡(luò)算法[12–14],降低了對(duì)協(xié)相關(guān)矩陣的要求.Kung和Diamantaras[13]提出了互相關(guān)神經(jīng)網(wǎng)絡(luò)(cross-correlation neural network,CNN)模型,該模型可以直接從高維信息流中提取互相關(guān)特征.然而,這一類算法能提取信號(hào)特征中與最大的奇異值相對(duì)應(yīng)的一對(duì)奇異成分,還沒(méi)有考慮在信號(hào)中提取奇異特征子空間的問(wèn)題.目前,針對(duì)奇異特征子空間提取方法的研究亟待進(jìn)行.

通常來(lái)講,諸如Hebbian類的神經(jīng)網(wǎng)絡(luò)算法大多是通過(guò)優(yōu)化信息準(zhǔn)則的方式獲得的[15].信息準(zhǔn)則包含算法的優(yōu)化目標(biāo),由梯度下降法、牛頓法等不同方法進(jìn)行推導(dǎo),可得到相應(yīng)的特征提取算法.優(yōu)化方式不同,對(duì)應(yīng)的算法也不盡相同.因而信息準(zhǔn)則對(duì)于優(yōu)化算法的搜索方向,提高算法的自穩(wěn)定性,以及擴(kuò)展算法的形式等具有十分重要的意義.Feng等[16]在Kung等[13]的CNN模型基礎(chǔ)上,設(shè)計(jì)了新的優(yōu)化框架,并給出了一個(gè)信息準(zhǔn)則

其中: U ∈RM×r和V ∈RN×r分別為左右奇異特征向量張成的奇異子空間,當(dāng)r1時(shí),U和V 退化為單個(gè)主奇異特征向量.該信息準(zhǔn)則表達(dá)了算法優(yōu)化目標(biāo)的核心內(nèi)容,即尋找能夠使矩陣UTRV 的秩最小的左右奇異子空間.該信息準(zhǔn)則的提出對(duì)于后來(lái)學(xué)者[17–18]的研究工作具有一定的啟發(fā)意義.一方面,該信息準(zhǔn)則本身體現(xiàn)了從信息角度對(duì)奇異特征信息提取過(guò)程的物理意義;另一方面,該信息準(zhǔn)則為后續(xù)信息準(zhǔn)則在數(shù)學(xué)和物理兩種意義上的延伸提供了借鑒和參考的依據(jù),可以豐富算法的功能,提高算法在工程中的應(yīng)用價(jià)值.

眾所周知,在實(shí)際工程應(yīng)用中,收斂性和自穩(wěn)定性是神經(jīng)網(wǎng)絡(luò)算法十分重要的性質(zhì).收斂性是算法最基本的性能,這里不做贅述.自穩(wěn)定性是指算法不限定于特定的初始設(shè)定值,在信息變化較大的情況下,算法依然保持收斂的性質(zhì).Kong等[17]分析Kung等[13]的算法表明,該算法在某些情況下不具有自穩(wěn)定性,特別是當(dāng)協(xié)相關(guān)矩陣接近奇異狀態(tài)的時(shí)候.這在一定程度上降低了Kung算法在實(shí)際應(yīng)用中的價(jià)值.

在本文中,針對(duì)輸入信號(hào)奇異特征的在線提取問(wèn)題,作者提出一種新的信息準(zhǔn)則,采用梯度下降法推導(dǎo)出對(duì)應(yīng)的奇異子空間提取算法.通過(guò)李雅普諾夫函數(shù)方法對(duì)提出的算法進(jìn)行收斂性分析,求解算法實(shí)現(xiàn)收斂的基本條件.通過(guò)常微分方程(ordinary differential equation,ODE)方法對(duì)提出的算法進(jìn)行自穩(wěn)定分析,求解算法實(shí)現(xiàn)自穩(wěn)定的基本條件.最后通過(guò)MATLAB仿真驗(yàn)證算法的理論分析結(jié)果,檢驗(yàn)算法的性能,為該算法在實(shí)際生產(chǎn)生活中的應(yīng)用奠定了良好的基礎(chǔ).

2 信息準(zhǔn)則和算法的提出

對(duì)于一個(gè)N維數(shù)據(jù)序列{y(k)}和M維數(shù)據(jù)序列{x(k)},定義其協(xié)相關(guān)矩陣為RxvE[y(k)xT(k)].根據(jù)該定義,獲取協(xié)相關(guān)矩陣必定要求遍歷全部輸入信號(hào),而這對(duì)在線的信號(hào)處理過(guò)程是無(wú)法實(shí)現(xiàn)的.為實(shí)現(xiàn)算法在線提取信號(hào)特征,需要通過(guò)在線估計(jì)的方式求得信號(hào)的協(xié)相關(guān)矩陣[19].估計(jì)的方式大體分為兩種情況.如果兩個(gè)數(shù)據(jù)序列同為平穩(wěn)序列,那么它們的協(xié)相關(guān)矩陣可以估計(jì)為

其中R(k)為第k次迭代中協(xié)相關(guān)矩陣的估計(jì).當(dāng)兩個(gè)數(shù)據(jù)序列任一個(gè)是緩變序列時(shí),它們的協(xié)相關(guān)矩陣被估計(jì)為

其中α為遺忘因子,通過(guò)遺忘因子可以保證過(guò)去輸入的權(quán)重總是小于最近輸入的權(quán)重.一般來(lái)說(shuō),α ∈(0,1)其具體取值需要依賴于信號(hào)的性質(zhì),緩變序列的變化越緩慢的系統(tǒng)α的取值越接近1,反之則越接近0.相比而言,第2種估計(jì)方式相比于第1種估計(jì)方式,更加重視鄰近迭代中的信號(hào)信息.

對(duì)一個(gè)矩陣特征值分解,可以分為兩個(gè)部分[1]:

其中:L1[l1l2··· lr]∈RM×r和R1[r1r2···rr]∈RN×r分別為左右主奇異特征向量張成的PSS,奇異特征值則由矩陣S1diag{σ1,σ2,···,σr}∈Rr×r對(duì)角線上各個(gè)元素表示.本文僅討論主奇異值為正的情況.是最小均方誤差意義下對(duì)R陣的r秩估計(jì),是R陣的主要成分,r小于等于M和N中的較小者.表示R矩陣SV D的次要成分,其中L2[lr+1lr+2··· lM]∈RM×(M?r), R2[rr+1rr+2··· rN]∈RN×(N?r).另外,IminM,N?r都是正交矩陣.

構(gòu)造一個(gè)新型的信息準(zhǔn)則如下:

對(duì)該信息準(zhǔn)則細(xì)節(jié)分析通過(guò)兩個(gè)定理[1]給出.

定理1L1和R1為R的左右主奇異特征矩陣,Λ為奇異值矩陣為S1,則存在旋轉(zhuǎn)矩陣QU和QV,使J(U,V)處于平衡狀態(tài),其中:QU

證 J(U,V)存在平衡狀態(tài)的充分必要條件是存在U和V,使J(U,V)對(duì)U的偏導(dǎo)數(shù)和對(duì)V 的偏導(dǎo)數(shù)0同時(shí)成立,于是有

對(duì)式(6)等號(hào)兩邊同時(shí)左乘UT,對(duì)式(7)等號(hào)兩邊同時(shí)左乘VT,可得

式(8)與式(9)相加,并化簡(jiǎn)可得

再由UTRV(VTRTU)T,將式(9)等式兩邊同時(shí)轉(zhuǎn)置,再與式(8)相減可得

考慮到式(10)–(11)對(duì)任意J(U,V)和R都成立,則設(shè)U[u1u2··· ur], V[v1v2··· vr],代入式(10)–(11)中,可得方程組

對(duì)式(12)分析可得

對(duì)式(13)分析可得

聯(lián)立式(14)–(17),可得U和V 均為單位正交矩陣.再結(jié)合式(6)–(7)可得

已知L1和R1為左右奇異矩陣,S1為奇異值矩陣,則U和V 在L1和R1空間的投影分別為QU.由

可得QU和QV為旋轉(zhuǎn)矩陣.

下面進(jìn)行充分性證明,已知U和V 均為單位正交矩陣,UTRVVTRTU,代入式0 和0,并化簡(jiǎn)可得

由rank(L1)rank(R1)r,J(U,V)僅與前r個(gè)成分相關(guān),可知式(23)–(24)的解空間維度均為0,因而0 成立.證畢.

注1本文算法主要適用于實(shí)數(shù)域的信號(hào),或者經(jīng)過(guò)轉(zhuǎn)化最終在實(shí)數(shù)域?qū)π盘?hào)進(jìn)行處理,因而J(U,V)規(guī)定QU和QV的取值空間為{(QU,QV)|ΛQV>0}.

定理2當(dāng)且僅當(dāng)UL1QU, VR1QV, QU和QV為旋轉(zhuǎn)矩陣時(shí),J(U,V)全局極小,極小值為?2tr(S1). QU和QV為非旋轉(zhuǎn)矩陣時(shí)的平衡點(diǎn)均為J(U,V)的鞍點(diǎn).

證由式(5)容易看出,當(dāng)→∞或者→∞時(shí),J(U,V)也是趨向于無(wú)窮大的.因而J(U,V)是一個(gè)有下界而無(wú)上界的函數(shù).根據(jù)文獻(xiàn)[21],函數(shù)的極值可通過(guò)計(jì)算Hessian矩陣判斷.

由于計(jì)算過(guò)程復(fù)雜,計(jì)算步驟相似,本文主要說(shuō)明式(25)的推導(dǎo)過(guò)程.由UL1QU, VR1QV可知

然后,二階微分為

那么,可得

其中: ?表示直積運(yùn)算;Krr表示一個(gè)r2×r2的置換矩陣,;式(29)是通過(guò)如下公式計(jì)算而來(lái)的:

其中: ?(X)為被二階微分的函數(shù),X ∈Rp×q.分析式(29)可知等式右邊的3項(xiàng)式子均為對(duì)角線矩陣,由QU和QV為旋轉(zhuǎn)矩陣可知對(duì)角線矩陣分別為Ir?S1+S1?I,2Ir?S1和2S1?Ir.(U,V)矩陣的對(duì)角線元素均大于零,那么J(U,V)為正定函數(shù).由此得證,UL1QU,VR1QV就是J(U,V)全局極小點(diǎn).將UL1QU,VR1QV代入式(5)可得該處的值為?2tr(S1).

下面證明其他平衡點(diǎn)均為鞍點(diǎn).判斷一個(gè)平衡點(diǎn)為鞍點(diǎn)的標(biāo)準(zhǔn)[14]是在平衡點(diǎn)無(wú)限小的鄰域內(nèi)存在一點(diǎn)(U′,V′),使J(U′,V′)

注2通過(guò)分析定理2可知,信息準(zhǔn)則只有全局極值點(diǎn)而不存在局部極小點(diǎn),由此可得,該信息準(zhǔn)則的梯度下降搜索算法總能夠全局收斂到期望的主奇異子空間.

下面采用梯度下降法求解單層神經(jīng)網(wǎng)絡(luò)算法.

分別對(duì)U和V 對(duì)信息準(zhǔn)則J(U,V)求梯度可得

該梯度函數(shù)可以理解為信息準(zhǔn)則在(U,V)的動(dòng)力學(xué)系統(tǒng),按照梯度下降法[22]的基本思路,認(rèn)為此時(shí)算法的梯度即為U 和V 的更新方向,即為?UJ(U,V)??U和?VJ(U,V)??V,于是可知自適應(yīng)算法如下:

其中學(xué)習(xí)因子η ∈(0,1),U(k)和V(k)為k時(shí)刻的狀態(tài)向量.特別注意的是,當(dāng)r1時(shí),矩陣U和V 就退化為兩個(gè)狀態(tài)向量u ∈RM×1和v ∈RN×1,算法可以實(shí)現(xiàn)單個(gè)主奇異特征向量的提取,

這個(gè)算法可以適用于一些應(yīng)用中僅需要提取最大的奇異特征向量的情況.

3 算法的性能分析

本文考察算法的性能主要從收斂性和自穩(wěn)定性兩個(gè)角度分別展開(kāi).收斂性是算法能夠完成基本提取任務(wù)所必須具備的性能,收斂性能的優(yōu)劣對(duì)算法質(zhì)量評(píng)價(jià)具有決定性意義.本文主要采用李雅普諾夫方法對(duì)收斂性展開(kāi)分析,從而得到理論結(jié)果.自穩(wěn)定性也是算法非常重要的性質(zhì).算法如果僅在特定初始條件以及限定的干擾條件下具備良好的收斂性能,那么它的應(yīng)用范圍會(huì)受到很大的限制.具備良好的自穩(wěn)定性的算法相比不具有該性能的算法擁有更高的應(yīng)用價(jià)值.本文通過(guò)ODE方法,開(kāi)展對(duì)算法自穩(wěn)定性的分析.

3.1 算法收斂性分析

對(duì)式(40)–(41)進(jìn)行分析可知,在學(xué)習(xí)因子足夠小的情況下,該式可以通過(guò)一個(gè)連續(xù)時(shí)間的常微分方程來(lái)近似[23]:

算法(40)–(41)的收斂性條件等價(jià)于式(44)–(45)的全局收斂條件,因此考慮采用李雅普諾夫理論分析式(44)–(45)的全局收斂性.顯然,信息準(zhǔn)則J(U,V)是有下界的,連續(xù)而且還是連續(xù)可微的,滿足作為常微分公式李雅普諾夫函數(shù)的條件.具體條件通過(guò)定理3分析可得.

定理3考慮初始狀態(tài)(U0,V0),如果學(xué)習(xí)因子足夠小,并且狀態(tài)向量(U(t),V(t))滿足ODE約束,那么當(dāng)時(shí)間t →∞時(shí),狀態(tài)向量以概率1收斂到固定點(diǎn)(L1QU,R1QV).

證根據(jù)式(5)可設(shè)計(jì)一個(gè)能量函數(shù)

研究該式可以發(fā)現(xiàn),當(dāng)t →∞時(shí),∥U∥F和∥V ∥F有上界,此時(shí)E(U,V)存在上界,那么對(duì)應(yīng)的自變量(U,V)就存在一個(gè)有界的定義域.容易知道,E(U,V)是連續(xù)函數(shù),而且是一階微分連續(xù)函數(shù).那么,對(duì)E(U,V)求梯度可得

由此,根據(jù)微分矩陣的鏈?zhǔn)揭?guī)則[24],可以求解E(U,V)的微分

證畢.

注3收斂性分析的內(nèi)容結(jié)合了前期對(duì)信息準(zhǔn)則的分析結(jié)論,這表明李雅普諾夫意義下的能量函數(shù),在一定程度上同表達(dá)信息分布的信息準(zhǔn)則在信息論分析的角度具有相關(guān)性.

3.2 算法自穩(wěn)定性分析

自穩(wěn)定性是指算法迭代過(guò)程中,以任意初始值開(kāi)始,狀態(tài)向量總是能夠移動(dòng)到一個(gè)特定的點(diǎn),其具體表現(xiàn)是狀態(tài)向量的模值總是收斂到一個(gè)固定值.有學(xué)者[25]通過(guò)研究多個(gè)算法的穩(wěn)定發(fā)現(xiàn),缺乏自穩(wěn)定性能的算法是潛在發(fā)散的,因此對(duì)自穩(wěn)定性能的分析十分必要.根據(jù)范數(shù)理論狀態(tài)向量U的自穩(wěn)定性按照F范數(shù)意義下的穩(wěn)定性展開(kāi)分析.

定理4在學(xué)習(xí)因子足夠小,輸入的向量有界,并且初始狀態(tài)模量存在上界2r的情況下,在算法(40)–(41)中,U和V 的F范數(shù)總能夠收斂到常數(shù)1.

證首先求解U(k+1)和V(k+1)的F范數(shù),根據(jù)式(40)–(41)可知

其中考慮到學(xué)習(xí)因子足夠小,高階項(xiàng)o(η2)對(duì)范數(shù)影響在后續(xù)的研究中可以被忽略.由此可知

經(jīng)過(guò)式(50)中關(guān)于矩陣的跡的一些數(shù)學(xué)計(jì)算和推導(dǎo),可得∥U(k)兩步之間模值關(guān)系的幾種不同的情況:

該式表明,狀態(tài)向量的模值比例情況可分為如下3種:當(dāng)∥U(k)<2r時(shí),算法狀態(tài)向量的模值在本次更新過(guò)程中會(huì)增大,而且在∥U(k)>2r時(shí)會(huì)減小,最終的趨勢(shì)是狀態(tài)向量的模值∥U(k)能夠逐漸穩(wěn)定在常數(shù)2r附近.這表明,提出的算法的收斂性能不依賴于狀態(tài)向量之前的數(shù)值,在協(xié)方差穩(wěn)定的情況下總是使得狀態(tài)向量向著確定的方向收斂.這表明該算法具有自穩(wěn)定性.證畢.

4 仿真實(shí)驗(yàn)

仿真實(shí)驗(yàn)主要從3個(gè)角度展開(kāi),首先從狀態(tài)矩陣的模值和方向余弦兩個(gè)方面體現(xiàn)所提出算法的收斂性;其次驗(yàn)證算法的自穩(wěn)定性;最后通過(guò)所提出算法在高維波束頻率估計(jì)的應(yīng)用,展示該算法在實(shí)際應(yīng)用算例中的性能.在算例1和算例2中,蒙特卡洛仿真次數(shù)為40,實(shí)驗(yàn)的結(jié)果就是這40次獨(dú)立運(yùn)行結(jié)果的平均.

4.1 算例1:算法收斂性驗(yàn)證

其中: ui和vi(i0,1,···,4)分別為一個(gè)七維和五維的正交離散余弦基函數(shù);A0是一個(gè)對(duì)角矩陣,從上到下分別為10,10,10,2,10?2.理論上,通過(guò)式(53)計(jì)算出來(lái)的協(xié)方差矩陣,其奇異值就等于A0矩陣對(duì)角線上的各個(gè)元素.設(shè)置三重根10,并且條件數(shù)為104,此時(shí)協(xié)方差矩陣是病態(tài)的.并且所提取的奇異子空間對(duì)應(yīng)信號(hào)前3個(gè)主奇異特征成分所張成的子空間.另外根據(jù)定理約束,確定學(xué)習(xí)因子η0.1,狀態(tài)向量的初始值U0和V0都是隨機(jī)生成的,其中每一個(gè)列向量的模值均為1.本文通過(guò)對(duì)比所提出算法,Kong算法[17]和Kaiser算法[20]體現(xiàn)出所提出算法在收斂速度、收斂精度等方面的優(yōu)良性能.

為清晰地描述算法的收斂速度和精度,分別從方向和長(zhǎng)度兩個(gè)方面定義狀態(tài)矩陣的方向余弦和模值長(zhǎng)度.一般而言,狀態(tài)矩陣最終收斂到的子空間總是與前3個(gè)主奇異特征向量張成的子空間存在一個(gè)旋轉(zhuǎn)矩陣的相位差,因此定義Ulss[u1lssu2lssu3lss]在k時(shí)刻的方向余弦為

其中l(wèi)j和rj分別為協(xié)方差矩陣的真實(shí)的左右奇異成分.這樣無(wú)需預(yù)先計(jì)算旋轉(zhuǎn)關(guān)系矩陣,就可以驗(yàn)證兩個(gè)子空間等價(jià).另外,子空間的模值長(zhǎng)度通過(guò)狀態(tài)向量的2范數(shù)估計(jì)

為了更清晰的展現(xiàn)子空間的空間特性,考察子空間正交性,定義向量的正交積為

去掉重復(fù)的計(jì)算,分別計(jì)第1個(gè)值為第一、二向量的正交積,第2個(gè)值為第二、三向量的正交積,第3個(gè)值為第一、三向量的正交積.

如圖1所示,在左空間中,本文所提出算法的方向余弦變化情況用實(shí)線表示,Kong算法的余弦變化情況用虛線表示,Kaiser算法的余弦變化情況用段線表示,與前3個(gè)最大奇異特征值相對(duì)應(yīng)的3個(gè)特征向量分別用紅綠藍(lán)3種顏色標(biāo)示.容易看出,3種算法的3條線都是逐漸收斂到1的位置,這表明算法能夠在方向上跟蹤得到輸入信號(hào)的左奇異特征子空間.3種算法中,本文提出的算法明顯需要最少的迭代步數(shù),并且算法到達(dá)1以后,存在最小的波動(dòng)變化.右空間的分析與此相似.這驗(yàn)證了理論分析的結(jié)果.

圖1(a) 左奇異子空間的方向余弦收斂過(guò)程Fig.1(a) Direction cosine convergence of the left principal singular subspace

圖1(b) 右奇異子空間的方向余弦收斂過(guò)程Fig.1(b) Direction cosine convergence of the right principal singular subspace

圖2展示的是各個(gè)算法模值變化的情況,各種線條對(duì)應(yīng)的算法以及向量與圖1相同,以左空間為例,本文所提出算法的模值變化情況用實(shí)線表示,Kong算法的模值變化情況用虛線表示,Kaiser算法的余弦變化情況用段線表示,3個(gè)向量分別用紅綠藍(lán)3種顏色標(biāo)示.圖中顯示,3種算法不同向量的曲線都是逐漸收斂到一個(gè)固定的實(shí)數(shù)值的位置,其中,本文提出算法和Kaiser算法都是收斂到1的,Kong算法的曲線則收斂到1.44附近.顯然,本文算法的各個(gè)曲線都是以最少的迭代次數(shù)收斂到穩(wěn)定狀態(tài)的,這體現(xiàn)了本文提出算法在收斂速度方面的優(yōu)越性.另外,本文提出算法的曲線在收斂到1以后,幾乎看不到任何波動(dòng)的跡象,而Kong算法和Kaiser算法在收斂到穩(wěn)定狀態(tài)的初期存在一定的波動(dòng).這又說(shuō)明了本文提出算法在收斂精度方面的優(yōu)勢(shì).對(duì)右空間的分析也能夠得到相似的結(jié)論.

圖3中,以左空間為例,本文所提出算法的正交積的變化情況用實(shí)線表示,Kong算法的正交積的變化情況用虛線表示,Kaiser算法的正交積變化情況用段線表示,3個(gè)向量分別用紅綠藍(lán)3種顏色標(biāo)示.3種算法的各條曲線均不為零則表明3條向量存在不相互垂直的部分,經(jīng)過(guò)短期震蕩后,3條線均收斂到零值,此時(shí)各個(gè)向量完全正交,并一直保持到最后.右空間的分析與此相似.但是需要指出的是,圖3(b)中由于Kaiser算法的曲線變化幅值較大,故將圖中?0.1 ～0.4的部分放大,用來(lái)顯示本文算法和Kong算法的曲線變化情況.

圖2(a) 左奇異子空間的模值長(zhǎng)度收斂過(guò)程Fig.2(a) Norm convergence of the left principal singular subspace

圖2(b) 右奇異子空間的模值長(zhǎng)度收斂過(guò)程Fig.2(b) Norm convergence of the right principal singular subspace

圖3(a) 左奇異子空間的各向量正交積曲Fig.3(a) Orthogonality of each vector in the left principal singular subspace

圖3(b) 右奇異子空間的各向量正交積曲線Fig.3(b) Orthogonality of each vector in the right principal singular subspace

另外,本文還比較了算法的計(jì)算復(fù)雜性.本文提出算法的計(jì)算復(fù)雜度每次更新分別需MNr+5Mr2+Nr2和MNr+5Nr2+Mr2個(gè)浮點(diǎn)計(jì)算.Kong算法的計(jì)算復(fù)雜度為每次更新分別需MNr+4Mr2+Nr+Mr和MNr+4Nr2+Nr+Mr個(gè)浮點(diǎn)運(yùn)算.Kaiser算法的計(jì)算復(fù)雜度每次更新均需要2MNr+Mr2+Nr2個(gè)浮點(diǎn)運(yùn)算.

4.2 算例2:算法自穩(wěn)定性

與第4.1節(jié)算例1相似,本算例的輸入序列x(k)和y(k)均為高斯白噪聲序列,并同樣將他們的關(guān)系設(shè)置為y(k)Ax(k),并且A值保持不變.不同之處是本算例研究目的著重在初始狀態(tài)矩陣的模值,算法對(duì)收斂性的保持狀態(tài).因此,設(shè)置3種不同情況展開(kāi)驗(yàn)證.具體而言,首先隨機(jī)生成一組向量作為狀態(tài)向量的初始值U(0)和V(0),然后將該向量的范數(shù)規(guī)范為2.2,1.7和1.0,分別對(duì)應(yīng)大于、等于以及小于√這3種情況,最后分別驗(yàn)證這樣的設(shè)置下算法狀態(tài)矩陣的F范數(shù)變化情況.其中,狀態(tài)矩陣的列數(shù)r3,根據(jù)定理4可知,F范數(shù)最終穩(wěn)定在√處.另外,根據(jù)定理約束,確定學(xué)習(xí)因子η0.1.

算法自穩(wěn)定性的仿真結(jié)果如圖4所示.圖4(a)和4(b)分別表示左和右奇異子空間的變化情況,3種初始條件的變化曲線分別用實(shí)線、虛線和點(diǎn)線表示.在左空間中,不同模值的初始狀態(tài)使3條曲線起始于完全不同的3個(gè)位置,但是在無(wú)論哪一種初始條件情況下,算法總是最終穩(wěn)定在√這同一條曲線上.

由此,可以說(shuō)明該算法具有良好的自穩(wěn)定性.另外,狀態(tài)空間收斂到穩(wěn)定狀態(tài)的迭代次數(shù)也是十分接近,這一方面呼應(yīng)了算例1中的算法迭代次數(shù),另一方面也體現(xiàn)出了算法收斂的行為具有相似性.右空間的變化情況與左空間類似,在左空間中相應(yīng)的結(jié)論也適用于右空間.

圖4(b) 算法自穩(wěn)定性數(shù)值驗(yàn)證(右空間)Fig.4(b) Self-stabilizing property verification in the right principal singular subspace

4.3 算例3:本文算法在高維波束頻率分析中的應(yīng)用

本算例是驗(yàn)證提出方法在高維波束跟蹤問(wèn)題中的應(yīng)用效果.設(shè)置高維波束存在3個(gè)階段的變化,階段之間的變化是突然的,每個(gè)階段都存在3個(gè)頻率,具體的波束函數(shù)如下設(shè)置.

其中:n(k)∈[?0.5,0.5]表示白噪聲,τ是噪聲信號(hào)的系數(shù).有興趣的讀者可通過(guò)文獻(xiàn)[1]了解關(guān)于該波函數(shù)的詳細(xì)知識(shí).高維波束頻率分析問(wèn)題可以通過(guò)提取兩個(gè)數(shù)據(jù)流的主奇異成分獲得.這兩個(gè)數(shù)據(jù)流可以構(gòu)造為

其中:K為樣本總數(shù),M為x數(shù)據(jù)流的維度數(shù),N為y數(shù)據(jù)流的維度數(shù).

圖5展示出了算法在頻率的跟蹤速度和估計(jì)精度兩個(gè)方面的性能.圖中藍(lán)色虛曲線表示通過(guò)奇異值分解,紅色實(shí)曲線表示本文算法跟蹤的子空間方法對(duì)頻率的估計(jì).從算法曲線在不同階段間的表現(xiàn)來(lái)看,算法能夠在150次迭代中成功跟蹤發(fā)生激烈變化的頻率,體現(xiàn)了跟蹤算法的快速性.算法在每后半階段中,震蕩幅度逐漸減小,最終與奇異值分解方法的曲線高度重合,這體現(xiàn)了算法具有較高的估計(jì)精度.總之,本文提出算法在高維波束頻率估計(jì)問(wèn)題中有良好的效果.

圖5 本文算法在頻率估計(jì)中的變化曲線Fig.5 Evolution curves of the proposed algorithm for estimating the frequencies

5 結(jié)論

本文提出了一種新型的主奇異子空間跟蹤算法.首先提出一種新的信息準(zhǔn)則,理論分析了信息準(zhǔn)則極值點(diǎn)的存在性和唯一性.然后基于提出的信息準(zhǔn)則,通過(guò)梯度下降法推導(dǎo)出一種神經(jīng)網(wǎng)絡(luò)搜索算法,實(shí)現(xiàn)了對(duì)輸入信號(hào)主奇異子空間的跟蹤.算法的收斂性和自穩(wěn)定性分別通過(guò)李雅普諾夫函數(shù)方法和ODE方法進(jìn)行了分析.最后,不同形式的MATLAB仿真驗(yàn)證實(shí)驗(yàn)表明,該算法具有較快的收斂速度,較高的收斂精度以及良好的自穩(wěn)定性能.因此,提出算法具有較高的實(shí)際應(yīng)用價(jià)值.