亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        結構化信號處理理論和方法的研究進展

        2015-11-02 02:10:45李廉林周小陽崔鐵軍
        雷達學報 2015年5期
        關鍵詞:范數(shù)復原信號處理

        李廉林 周小陽 崔鐵軍

        ①(北京大學信息科學技術學院 北京 100871)

        ②(東南大學毫米波國家重點實驗室 南京 210096)

        結構化信號處理理論和方法的研究進展

        李廉林*①周小陽②崔鐵軍②

        ①(北京大學信息科學技術學院北京100871)

        ②(東南大學毫米波國家重點實驗室南京210096)

        結構化信號處理是近年來信息領域發(fā)展極為迅猛的一個研究分支,它革新了以Nyquist-Shannon理論為基礎的信號處理經(jīng)典體系的眾多結論,開啟了面向對象的信息處理的大門,促使挖掘信號的結構性與自適應測量有機結合,推動了信息論、電子學、醫(yī)療、應用數(shù)學、物理等領域的發(fā)展。結構化信號處理研究結構化信號的獲取、表征、復原及應用等問題,主要包含4方面內容:(1)研究結構化信號表征與測度的模型和理論;(2)研究結構化信號的復原模型、理論及算法實現(xiàn);(3)研究信號獲取的新體制;(4)研究結構化信號處理的應用。該文以數(shù)據(jù)和先驗兩類信息源的融合為主線,討論了結構化信號處理在信號表征和大尺度信號復原等方面的最新研究結果,并對該領域的發(fā)展進行了展望。

        結構化信號;稀疏信號處理;奈奎斯特采樣定理;任務驅動信號處理

        1 引言

        結構化(包括稀疏)信號處理是過去10多年間信息領域發(fā)展最為迅猛的一個研究分支,它革新了人們對信息領域眾多理論方法的認知,極大推動了通信、醫(yī)療、電子學、雷達、應用數(shù)學、物理等學科的發(fā)展。結構化信號處理是“實驗-理論-計算-數(shù)據(jù)挖掘”這種科學發(fā)展模式的必然產(chǎn)物,是信息論、數(shù)值計算、概率與統(tǒng)計等多學科融合發(fā)展的結果(圖1)。結構化信號處理研究結構化信號的獲取、表征、復原及應用等問題,具體包含4方面的研究內容[1-3]:(1)研究結構化信號表征與測度的模型和理論;(2)研究結構化信號的復原模型、理論及算法實現(xiàn);(3)研究信號獲取的新體制;(4)研究結構化信號處理的應用。

        圖1 結構化信號處理與信息論等學科之間的關系Fig.1 The relation of structural signal processing to other disciplines

        經(jīng)典信號處理根植于20世紀初由Kotelnikov,Nyquist,Shannon及Whittaker等人建立的連續(xù)信號采樣理論(Nyquist-Shannon信號采樣理論):為保證信號的無失真處理,信號的采樣頻率必須不低于該信號最大頻率的2倍。從線性代數(shù)的角度,經(jīng)典信號處理體系處理完備或超完備線性方程組y=Ax,其中dim(y)≥dim(x),其核心是測量數(shù)據(jù)y∈ Y完備地包含了目標信號x∈X的全部信息,兩者之間滿足一一對應關系,其中X和Y是兩個賦范線性空間;利用經(jīng)典線性代數(shù)(或矩陣求逆)方法能夠從數(shù)據(jù)y復原信號x。為論述方便,本文分別稱y和x為數(shù)據(jù)和目標信號。以Nyqusit-Shannon理論為核心的經(jīng)典信號處理體系為人們打開從模擬(Analogy)時代進入數(shù)字(Digital)時代的大門,拓展了模擬信息處理的能力,提供了更有效的信息感知和處理技術。隨著數(shù)據(jù)和信息量的爆炸性發(fā)展(摩爾定律,Moore's Law),以經(jīng)典信號理論為指導的數(shù)字時代展現(xiàn)了前所未有的挑戰(zhàn)和機遇:海量數(shù)據(jù)處理。例如,以1米分辨率、900平方公里觀測帶內的星載合成孔徑雷達(SAR)成像為例,數(shù)據(jù)量將達到幾個GB,若要同時獲取多極化等多維度信息,產(chǎn)生的數(shù)據(jù)量至少要增加4~8倍[4]。在這樣的時代背景下,結構化(包括稀疏)信號處理應運而生。結構化信號處理以挖掘和利用目標信號或數(shù)據(jù)的結構為核心,以發(fā)展有效的信息獲取、重構和解譯等方法為宗旨,促進信息及其相關學科的發(fā)展。經(jīng)典信號處理堅信的理念是“Let data say themselves···”。結構化信號處理不僅僅只關心數(shù)據(jù),在處理數(shù)據(jù)的同時挖掘信號本身內在蘊含的信息(先驗,prior)。也可以說結構化信號處理處理更廣義的數(shù)據(jù):狹義數(shù)據(jù)和先驗。與之相比,經(jīng)典信號處理僅考慮目標信號本身,不考慮信號內在固有的信息(盡管這些信息已被很好認知或將被認知),因此經(jīng)典信號處理的許多結論過于保守和悲觀。例如,Nyquist-Shannon定理本身就過于悲觀,它僅利用了信號的帶寬信息;Rayleigh分辨率也是一個過于悲觀的結論,它也是只利用系統(tǒng)帶寬信息的產(chǎn)物。結構化信號處理不僅處理數(shù)據(jù),而且挖掘利用目標信號的先驗,將目標信號的先驗知識有機融入信號的獲取和處理中,為發(fā)展高性能信息感知奠定了基礎。以壓縮感知為例,它利用信號的稀疏性或可壓縮性,在信號獲取的同時進行信號壓縮,有效地緩解了數(shù)據(jù)獲取和通信的壓力[5-17]。表1比較了經(jīng)典信號處理和結構化信號處理兩種體系的重要差異。

        信號結構性的一個代表性例子就是信號的稀疏性(Sparsity)。例如,如果圖像的像素之間具有相關性,那么該圖像在離散余弦或某種小波變換域是稀疏的。目前流行的各種圖像或視頻壓縮技術正是利用了這種結構性。對信息領域的多數(shù)科研工作者而言,稀疏這個術語并不陌生,這里對稀疏信號的發(fā)展歷史作個回顧。1795年,Prony提出了噪聲干擾情況下從稀疏復指數(shù)函數(shù)的線性組合中估計復指數(shù)參數(shù)的方法(Prony方法)[18]。1809年,Laplace提出Laplace分布以及l(fā)1測度的概念,Gauss對該工作評價是“Laplace made use of another principle for the solution of linear equations,the number of which is greater than the number of unknown quantities,···”[19,20]。1907年,Caratheodory理論證明:對于k個正弦波線性組合的信號,如果已知它在t=0處及其它任意2k個位置處的測量值,該信號就可以唯一確定[21,22];顯然Caratheodory方法所需的測量數(shù)據(jù)數(shù)2k+1遠小于Nyquist-Shannon理論所需的采樣點數(shù)。1938年,Beuring研究了基于l1范數(shù)最小化方法的時域稀疏信號(Spike信號)的完整頻域譜復原問題[23],其方法與目前壓縮感知領域的信號復原方法非常相似。1973年,Clearbout和Muir針對地震波反卷積問題提出了數(shù)據(jù)擬合誤差的l1范數(shù)最小化問題,并提出與之對應的線性規(guī)劃算法[24]。1979年,Taylor等人進一步研究了數(shù)據(jù)擬合誤差的l1范數(shù)最小化的l1范數(shù)正則化問題[25]。1986年,Stantosa和Symes提出了數(shù)據(jù)擬合誤差最小l2范數(shù)最小化的l1范數(shù)正則化問題,并從理論上揭示了稀疏性與l1范數(shù)正則化之間的關系[26,27]。1986年,Coifman和Wickerhauser等人提出了稀疏分解的概念,幾乎與此同時,Mallat和Zhang在小波分析的基礎上也提出了信號在超完備字典上分解的思想。斯坦福大學的Tibshirani等人[28]和Chen等人[29]分別從機器學習和信號處理的角度幾乎同一時間(盡管論文發(fā)表日期分別是1996年和1998年,有趣的是兩組作者的辦公室在斯坦福大學同一院系的同一個走廊)提出了l1范數(shù)正則化的稀疏線性模型。盡管稀疏信號處理方法得到了長足發(fā)展,人們也清晰地意識到在一些情況下利用目標信號的稀疏性可以有效地正則化病態(tài)問題,克服經(jīng)典信號處理方法遇到的種種制約;但是這些方法是啟發(fā)式的,缺乏理論支撐。其中一個亟需解決的根本性問題是:在什么條件下目標信號的稀疏性能保證病態(tài)問題的精確、穩(wěn)定求解。直至2004年至2009年,Candes,Tao,Romberg和Donoho等人提出了壓縮感知理論[5-17],該理論首次回答了精確穩(wěn)定求解線性病態(tài)問題所需要的目標信號稀疏性和問題病態(tài)性(測量數(shù)據(jù))之間需要滿足的關系(例如,Candes-Romberg-Tao定理[16]),它明確了觀測數(shù)據(jù)和目標信號先驗(稀疏性或可壓縮性)有機融合對精確穩(wěn)定重構目標信號的作用。從這個角度而言,目前在電磁(包括雷達)成像等眾多應用所謂的“壓縮感知成像方法”只是稀疏驅動成像,并不是真正意義上的壓縮感知成像。自從壓縮感知提出以來,以挖掘利用目標信號結構性為核心的信息感知和處理方法得到了前所未有的發(fā)展,并推動了信號獲取體制的改革。以壓縮感知理論為代表的結構化信號感知方法革命性地發(fā)展了以Nyquist-Shannon理論、經(jīng)典線性代數(shù)及Gaussian假設檢驗等為基石的經(jīng)典信號處理體系,開啟了面向對象的信號處理的大門,促使將挖掘利用信號結構化特性與智能測量有機結合,積極地推動了信息論、電子、醫(yī)療、應用數(shù)學、物理等學科的發(fā)展[30-39]。

        表1 經(jīng)典信號處理和結構化信號處理兩種體系的差異Tab. 1 Comparisons between classical signal processing and structural signal processing

        結構化信號處理的研究在國外迅速開展的同時,國內在該領域的研究也開始起步。2007年,中國科學院電子學研究電磁場理論與應用研究室的李芳課題組在國內率先開展了稀疏信號處理方面的研究,向寅的博士論文首次將稀疏信號處理引入聚束合成孔徑雷達成像領域,將稀疏信號處理引入電磁逆散射問題,發(fā)展了若干分辨率增強的新型電磁逆散射算法[40]。張文吉的博士論文將稀疏信號處理引入穿墻雷達成像,研究了稀疏信號處理在降低穿墻雷達數(shù)據(jù)量和提高成像質量方面的作用[41]。劉艷麗的博士論文將稀疏成像引入電離層層析成像,降低了電離層層析成像的病態(tài)性,提高了成像效果[42]。2009年,由中科院電子所牽頭的稀疏微波成像項目列入了我國973計劃資助[4],隨后國家自然科學基金委也陸續(xù)資助了其它多項關于稀疏信號處理研究的重大和重點項目。在這些項目資助下,中科院電子所、中科院數(shù)學與系統(tǒng)應用研究所、西安電子科技大學、北京理工大學、北京航空航天大學、西安交通大學、國防科技大學、清華大學等單位在結構化信號處理領域(主要是應用領域)開展了廣泛的研究,例如,西安電子科技大學保錚課題組在稀疏雷達(ISAR,InSAR)成像方面的研究[43,44]、西安電子科技大學石光明課題組在圖像處理方面的研究[45]、西安交通大學徐宗本課題組在稀疏信號復原算法方面的研究[46]、國防科技大學金添課題組在稀疏穿墻雷達成像應用方面的研究[47]等等,使我國在稀疏信號處理領域的研究得到了長足發(fā)展。我國在稀疏信號處理領域發(fā)表論文數(shù)方面超歐美國家的論文數(shù)(是美國的2倍,德國的8倍左右),但從具有原創(chuàng)性和高影響力的論文方面來看,我國在結構化信號處理方面的研究還具有較大差距(見圖2)。

        目前雖然稀疏信號處理理論和方法都獲得了長足發(fā)展,但是人們對信號結構性的挖掘和利用仍不夠充分,尚在起步階段,亟待建立更有效的信號結構性模型和測度,建立以此為基礎的有效信號獲取及高效復原算法體系,以及推動這些研究成果在相關應用領域的發(fā)展。

        圖2 自2000年以來WEB-OF-SCIENCE統(tǒng)計的美國、中國及德國等的關于稀疏信號處理的論文發(fā)表(第1行)和論文引用(第2行)情況Fig. 2 The Web-of-Science statistical results on published paper (the first row)and citation (the second row)of structural signal processing since 2000 for USA (first column),China (second column),and Germany (third column)

        2 結構化信號感知問題的數(shù)學描述

        其中表示數(shù)據(jù)獲取噪聲和模型誤差等因素。利用Bayes公式得x的后驗概率為:

        其中為目標信號x的似然估計(Maximum Likelihood),它解釋了數(shù)據(jù)y對x估計的貢獻;Pr(x)表示x的先驗信息,它解釋了目標信號x的先驗對參數(shù)估計的作用。盡管式(2)清楚地詮釋了觀測數(shù)據(jù)(data)和目標信號先驗(prior)對重建x的作用,但在它提出后的100多年里先驗項Pr(x)的作用并沒有被充分挖掘利用,它僅用來抑制噪聲和防止數(shù)據(jù)過擬合,或簡單地約束估計參數(shù)的有效范圍。直到最近隨著結構化信號處理和深度學習研究的興起,先驗Pr(x)對觀測體制和數(shù)據(jù)參數(shù)估計精度的作用才得到足夠重視。目前已發(fā)展了一些信號結構性Pr(x)的描述方法,大致包括4類。

        (1)獨立同分布的稀疏模型

        這類模型的發(fā)展歷史最為久遠、研究最為深刻、內容最為豐富。從范數(shù)測度的角度來講,-logPr(x)通常取為lp(0≤p≤1)范數(shù)或非負函數(shù)φ(xi)=|xi|p[48-57]。如果目標信號x本身不是稀疏的,那么可以考慮該信號在某種變換域(例如小波變換、人工訓練字典域[58]等)下是稀疏的。針對lp(0≤p≤1)范數(shù)誘導的稀疏性,目前發(fā)展了成熟的算法解決該類結構化信號的復原[48-57],例如MP/ OMP/CoSaMP等貪婪算法、LASSO算法、基追蹤算法、迭代加權算法等。從統(tǒng)計角度來講,P(xi)不僅可以為Cauchy分布、Gaussian-Bernoulli分布、Laplace分布、加權Laplace分布、t-student等良好定義的概率分布;也可以是混合高斯分布(其中N(xi|0,s)表示零均值、s方差的高斯分布,r(s)表示某種預先定義的概率分布)、或由受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)學習的分布P(xi)= Pr(xi|h)(其中h表示{0,1}N二進制隱藏向量)等。

        (2)非交疊稀疏組

        盡管上面的獨立同分布的稀疏性及l(fā)p(0≤p≤1)范數(shù)等稀疏測度能很好地描述信號的結構性,并且在眾多應用領域得到了廣泛的應用,但是大多數(shù)實際問題中信號具有除了信號元素稀疏性之外更豐富的結構,這種結構性信息的利用將有助于提升信號獲取和處理的性能。例如,很多微波遙感圖像具有分區(qū)連續(xù)特性(Region-based smooth或Block-based smooth);大多數(shù)雷達監(jiān)測信號具有準周期特性,其時頻譜具有良好的聚類現(xiàn)象;小波系數(shù)的樹狀結構等。針對此類結構性信號的研究也相對成熟,目前已發(fā)展了系統(tǒng)的理論、算法和應用體系,例如,基于模式的壓縮感知理論(Model-CS理論)[59],基于l1/lp(0≤p≤∞)混合范數(shù)的稀疏分組測度[60-72],基于非局部梯度的Non-local TV信號模型和信號復原算法[73],Group-LASSO算法和Group稀疏Bayesian信號復原算法[60-72]。

        (3)相互交疊稀疏組

        上述信號結構化模型屬于淺層結構,它僅考慮了統(tǒng)計獨立稀疏組的簡單特性,沒有考慮稀疏分組之間的依賴關系(如圖3-圖5從不同角度演示了不同的信號結構性)??紤]不同組之間的相關性屬于深度學習的內容,目前發(fā)展了一些簡單的方法,相關研究屬于起步階段。2009年Jacob等人[64]和2012年Obozinski和Bach等人[74]提出了含隱藏變量的互相

        圖3 范數(shù)誘導的稀疏表征方法的3維示意圖。||x1,2||2+|x3|球表示無交疊的混合范數(shù),第2排的3個圖表示有交疊的混合范數(shù)球Fig. 3 Illustration of norm-inducing sparse measures in threedimensional case

        圖4 信號的多層結構性描述。第1行表示向量是稀疏的,第2行用黑色方框標出了該向量是具有分組稀疏性,第3行用紅色方框進一步表示該向量具有“天藍色-淺藍色-深紅色”特定模式的深層結構性Fig. 4 Hierarchal structural illustration. The first row corresponds to the i.i.d. sparse vector,and the second row for grouped sparse vector in red rectangle,and the third line for group mode with some certain structure

        圖5 結構化信號復原算法的研究體系,它主要包括針對具體應用建立合適的優(yōu)化目標函數(shù)模型,充分利用數(shù)據(jù)和先驗兩種信息源。根據(jù)實際應用對精度和效率的需求,調整價格函數(shù)的數(shù)學形態(tài)(包括可分解性、光滑性、凸性等)等4個方面Fig. 5 The basic requirements on the efficient reconstruction algorithm of very-large-scale structural signals

        交疊組的稀疏測度:

        并且發(fā)展了有效的結構化信號重建理論和onepass算法;隨后,2015年Shervashidze和Bach提出采用多任務學習(Multi-task learning)方法估計)的方法。除了采用范數(shù)或與其關聯(lián)的概率分布作為信號結構性的測度外,也有其它描述方法。2012年Peleg等人采用限制玻爾茲曼學習機(Restricted Boltzmann Machine)描述具有一般信號的結構性[75],Dremeau等人利用統(tǒng)計物理的平均場理論和變分Bayesian方法提出了一種更有效的結構化信號重建方法[76]等。

        (4)基于機器學習的信號結構建模

        值得說明的是上述前3類信號結構性測度需已知信號的結構性模型,例如,信號的稀疏變換域,或者稀疏組的結構(Probabilistic or deterministic graphic model),因此如何構造信號的結構性模型成為一個公開的挑戰(zhàn)性研究課題。目前常用的策略包括3類:(1)使用多個經(jīng)典的變換域構造超完備字典,(2)基于大量樣本采用確定性或者統(tǒng)計性訓練的方法構造元素獨立[58,59]或具有結構[65,77,78]的超完備字典,(3)將區(qū)域分割或者聚類等方法引入算法復原過程,該方法無需訓練樣本,在信號重構過程中自適應引入信號結構型的度量。

        除了上述4類模型外,我們要強調的是在許多實際應用中還有一類重要的問題需引起研究者的關注。在這類問題中目標信號本身不具備結構性,但它在某種非線性變換的情況下卻具有良好的結構性。例如,森林的微波遙感圖像類似于零均值的隨機數(shù),它本身沒有結構性,但是通過方差或者其它度量變換下圖像會變成典型的分段連續(xù),呈現(xiàn)良好的結構性[1]。相信這類問題將會引起結構化信號領域的研究者的高度關注。

        下面重點介紹式(2)的最大后驗估計或者是模式分析:

        式(4a)的等價表述方式為:

        其中γ為正則化參數(shù)(用最優(yōu)化或統(tǒng)計分析的語言)。如果Pr(x)取元素獨立同分布的Laplace分布,那么此時優(yōu)化問題式(4)變?yōu)榇蠹沂熘膌1范數(shù)正則化的稀疏優(yōu)化問題。針對該問題,壓縮感知理論上明確指出了先驗和數(shù)據(jù)兩重信息的融合對測量體制的影響,并給出了信號稀疏度(先驗)、觀測數(shù)據(jù)、以及測量方式之間的定量關系,這就是著名的約束等容(Restricted Isometric Property,RIP)定理(Candes-Romberg-Tao定理[16])。下面給出作者2010年提出的廣義RIP定義[79,80]:

        上述定理是Candes-Romberg-Tao定理的推廣,它適應于任意稀疏字典和測量矩陣。在這里我們要強調的是,盡管RIP在壓縮感知和其它結構化信號感知中扮演著重要的角色,但判定某種測量方式是否滿足RIP或其它類似特性卻是一個公開的難題。除特殊情況外(例如,過于保守的相關性分析Coherence-based analysis[1,2],高斯隨機矩陣等特殊的測量方法等),目前可行的方式是采用蒙特卡洛方法計算Donoho-Tanner相轉換曲線 (Phase-transition method[13,81])。壓縮感知理論自誕生以來,經(jīng)過多年的發(fā)展其內涵和外延均得到了極大的發(fā)展。例如,2006年Raraniuk等人提出了基于模式的壓縮感知方法yi=gi(<ai,x>)(i=1,2,…,M)的結構化信號感知問(Model-based CS)[59],2010年Candes等人提出了低秩矩陣填充(Low-rank matrix completion)理論及算法[82],2011年Duarte和Elad提出了結構化壓縮感知理論和方法[3]等。近年來結構化信號的非線性感知成為信號處理領域的一個重要研究分支,例如,壓縮相位復原(Compressive Phase Retrieval)問題[83,84]、1-bit壓縮感知(one-bit compressive sensing,也稱指數(shù)測量(Single-index measurement)[85,86])問題[85-90]等。尤其是對壓縮相位復原問題的研究較為深入,建立了與經(jīng)典壓縮感知理論相對應的系統(tǒng)理論和算法體系。2015年Thrampoulidis等人對非線性稀疏感知問題作了一個突破性的工作,理論上證明了非線性測量)(i=1,2,M)的結構化信號感知問題與某個線性測量(其中μ和σ是與非線性函數(shù)gi有關的已知參數(shù))的魯棒性廣義LASSO問題minx]的解在統(tǒng)計平均意義上是等價的,該工作為研究結構化信號的非線性感知開辟了一條新思路[83]。最近,Brunton,Proctor以及Kutz等人采用通過結構化信號處理復原數(shù)據(jù)的非線性物理方程[91]。

        3 大尺度結構化信號感知問題的信號復原 算法

        信號復原算法是稀疏信號處理體系的核心組成部分,它是直接影響稀疏信號處理體系能否實用的關鍵。稀疏信號復原算法的設計主要從以下4個方面入手考慮[92-96]:(1)針對具體應用建立合適的優(yōu)化目標函數(shù)模型,充分利用數(shù)據(jù)和先驗兩種信息源;(2)根據(jù)實際應用對精度和效率的需求,調整價格函數(shù)的數(shù)學形態(tài)(包括可分解性、光滑性、凸性等);(3)結合價格函數(shù)具體的數(shù)學形態(tài)設計迭代策略,建立實現(xiàn)超線性收斂速度的算法;(4)針對具體應用實現(xiàn)算法的并行化。對應這4個組成部分,信號復原算法的評價體系包含4個方面:即目標函數(shù)模型是否充分挖掘了數(shù)據(jù)和先驗兩種信息源、目標函數(shù)的數(shù)學形態(tài)是否具有低復雜性、優(yōu)化迭代策略是否超收斂以及算法是否可以并行化處理。

        下面介紹兩種信號復原的算法模型:最大后驗估計(Maximum A Posteriori)和最大均值對數(shù)后驗估計(Maximum Mean log Posteriori),它們的定義分別如下:

        將式(10)代入式(8)和式(9)得到:

        其中Lt(yt,x)=(yt-At(x))2/2,M是觀測數(shù)據(jù)的總個數(shù)。

        式(11)和式(12)的區(qū)別是前者不需要數(shù)據(jù)y的概率模型,而后者需要已知數(shù)據(jù)的概率模型,稱之為統(tǒng)計優(yōu)化問題(Stochastic Optimization)。特別地,如果數(shù)據(jù)y是統(tǒng)計均勻分布,那么式(11)和式(12)是等價的;從這個角度,式(11)是式(12)的一種特例。除非特殊情況(例如,A(x)=Ax且先驗P(x)是高斯分布),式(11)和式(12)沒有解析解,需采用迭代算法求解。如上所述,目前發(fā)展了大量信號復原算法求解問題式(11),例如匹配追蹤算法、概率匹配追蹤算法、壓縮采樣匹配追蹤算法(CoSaMP)、迭代硬門限算法、迭代軟門限算法、迭代加權算法、梯度投影算法、基追蹤算法、Nesterov算法(或NESTA算法)、Split-Bregman迭代算法、亞梯度迭代算法方法等。這些方法均具有堅實優(yōu)化理論作基礎(例如,算法的收斂性、計算復雜性、精度等),但這些優(yōu)化算法的每一步迭代需要遍歷所有觀測數(shù)據(jù),同時又需要處理信號的所有維度,這導致了處理海量數(shù)據(jù)大尺度優(yōu)化問題的主要技術瓶頸。由于被觀測對象的結構性和觀測數(shù)據(jù)的海量性和冗余性,大多數(shù)海量數(shù)據(jù)大尺度稀疏優(yōu)化問題的數(shù)據(jù)在統(tǒng)計上是獨立同分布的,海量數(shù)據(jù)存在嚴重的冗余,少部分數(shù)據(jù)甚至極少部分數(shù)據(jù)就足以反映數(shù)據(jù)集的統(tǒng)計規(guī)律。利用這個特性,在線學習的優(yōu)化方法成為處理海量數(shù)據(jù)大尺度優(yōu)化問題的一個重要工具,它的迭代策略是[97,98]:

        其中μt表示更新步長,)分別表示Lt(yt,x)和logP(x)對x的梯度。針對問題式(11),迭代格式式(13)可用序列式或隨機方式選取觀測數(shù)據(jù);針對問題式(12),數(shù)據(jù)yt需利用P(y)的統(tǒng)計模型生成。由式(13)可知,在線學習優(yōu)化方法的核心思想是每步迭代處理一個或少數(shù)幾個數(shù)據(jù)點,與批處理的優(yōu)化算法相比大大縮減了內存開銷;但也正是每次僅僅優(yōu)化單個數(shù)據(jù)點造成的損失,收斂速度不可避免地會受到影響。然而如前所述,大尺度電磁成像(例如,多維度微波遙感)觀測數(shù)據(jù)統(tǒng)計上獨立同分布,并且這些海量數(shù)據(jù)呈現(xiàn)高度的冗余性,少部分數(shù)據(jù)甚至極少部分數(shù)據(jù)就足以反映整個數(shù)據(jù)集的統(tǒng)計規(guī)律。因此只要針對部分樣本點運行隨機優(yōu)化步驟后,優(yōu)化問題解的精度就呈現(xiàn)出穩(wěn)定的趨勢,這就是在線學習優(yōu)化方法特別適合求解大尺度結構化信號感知問題的主要原因。與在線學習方法相對偶,有效求解大尺度優(yōu)化問題的另一類隨機優(yōu)化方法是坐標下降(Randomized Coordinate Descent,簡稱RCD(在不同的文獻中對其稱呼不同,例如,信號處理領域稱之為SPSA優(yōu)化方法,醫(yī)療成像領域稱之為Order-Set優(yōu)化方法等;另外,該方法與變分Bayesian和Approximate Message Passing等方法有很大相似性,與交替迭代方法具有相同的思想))。RCD優(yōu)化方法的迭代步驟就是固定其他維坐標,一次僅對選中的1維坐標或少數(shù)幾個坐標進行優(yōu)化求解。RCD優(yōu)化方法具有重要的理論基礎,它更新一次的計算復雜度僅為O(M),具有低的計算復雜性。RCD優(yōu)化方法以簡潔的操作流程和快速的實際收斂效果,成為處理海量數(shù)據(jù)大尺度稀疏優(yōu)化問題的重要方法之一[99-100]。

        為進一步提高算法性能,使其有效處理海量數(shù)據(jù)的大尺度稀疏優(yōu)化問題,目前已經(jīng)發(fā)展了一些非常有用的輔助技術。針對l1范數(shù)正則化的稀疏優(yōu)化問題,可以采用價格函數(shù)的1階泰勒級數(shù)展開結合軟門限方法進行解析求解[50,93-95,98-106],或采用Split技術結合軟門限方法處理(例,交替迭代乘子法,ADMM[107])。改善優(yōu)化價格函數(shù)的強凸性也可有效加快算法的收斂速度,例如,增強拉格朗爾方法(Augmented Lagrangian Method),Bregman距離輔助方法。為增強價格函數(shù)的強凸性,在凸優(yōu)化框架下考慮式(11)和式(12):

        其中ψ是連續(xù)光滑的強凸函數(shù)。從優(yōu)化算法角度,信號復原算法的性能對迭代步長的選擇特別敏感,主要表現(xiàn)在兩個方面:(1)引入一些常規(guī)性的迭代步長選擇機制,使算法具有超線性的收斂速度[1]。常用的方法是線性搜索,但是對于一些復雜的應用問題,線性搜索缺乏步長解析解,需依賴耗時的計算,需發(fā)展一些加速技術[50,93-95,98-106];(2)Nesterov等加速技術能使目標函數(shù)在迭代初期急劇下降,但在迭代后期會進入震蕩或緩慢下降階段,為解決這個問題需采用一些warm restart技術[107,108]。結構化信號優(yōu)化問題經(jīng)常是非凸的,為了解決非凸性優(yōu)化問題,Hazan等人提出了準凸性概念和局部Lipschitz,并在此基礎上提出了歸一化統(tǒng)計梯度方法,有效解決了非凸優(yōu)化的偽解問題[103]。

        在線學習優(yōu)化和隨機坐標優(yōu)化這兩種方法在求解高維大樣本問題時簡單、高效,各有特點和優(yōu)勢。在線學習優(yōu)化方法主要利用大規(guī)模數(shù)據(jù)獨立同分布的統(tǒng)計規(guī)律;而坐標優(yōu)化主要利用目標信號結構化的特性,有復雜性較低的計算目標函數(shù)及其梯度的技巧。在線優(yōu)化和坐標優(yōu)化方法充分地利用了大尺度優(yōu)化問題自身的特點,很好地滿足了大尺度結構化信號感知問題的實際需求。

        [1]李廉林,李芳. 稀疏信號處理講義[M]. 北京大學內部講義,2015.

        Li Lian-lin and Li Fang. Lecture on Sparse Signal Processing (Preprint)[M]. Peking University,2015.

        [2]Elad M. Sparse and redundant representation modeling-what next?[J]. IEEE Signal Processing Letters,2012,19(12): 922-928.

        [3]Duarte M F and Eldar Y C. Structured compressed sensing: from theory to applications[J]. IEEE Transactions on Signal Processing,2011,59(9): 4053-4085.

        [4]吳一戎. 稀疏微波成像理論、體制和方法研究,國家973項目申請書(項目首席科學家: 吳一戎,中國科學院電子學研究所),2010.

        Wu Yi-rong. Sparse microwave imaging: theories,methods,and systems,The proposal submitted to the National Basic Research Program of China,Leading Scientist: Wu Yirong,Institute of Electronics,Chinese Academy of Sciences,2010.

        [5]Candes E J and Tao T. Near-optimal signal recovery from random projections: universal encoding strategies?[J]. IEEE Transactions on Information Theory,2006,52(12): 5406-5425.

        [6]Donoho D L. Neighborly polytopes and sparse solutions of underdetermined linear equations[J]. Preprint,2005.

        [7]Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory,2006,52(4): 1289-1306.

        [8]Donoho D L. For most large underdetermined systems of linear equations the minimal l1-norm solution is also the sparsest solution[J]. Communications on Pure and Applied Mathematics,2006,59(7): 797-829.

        [9]Donoho D L and Elad M. Optimally sparse representation in general (nonorthogonal)dictionaries via l1minimization[J]. Proceedings of the National Academy of Sciences,2003,100(5): 2197-2202.

        [10]Donoho D L and Elad M. On the stability of the basis pursuit in the presence of noise[J]. Signal Processing,2006,86(3): 511-532.

        [11]Donoho D L,Elad M,and Temlyakov V N. Stable recovery of sparse overcomplete respresentations in the presence of noise[J]. IEEE Transactions on Information Theory,2006,52(1): 6-18.

        [12]Donoho D L and Jared T. Sparse nonnegative solution of underdetermined linear equations by linear programming[J]. Proceedings of the National Academy of Sciences,2005,102(27): 9446-9451.

        [13]Donoho D L and Tanner J. Precise undersampling theorems[J]. Proceedings of the IEEE,2010,98(6): 913-924.

        [14]Donoho D L and Tsaig Y. Fast solution of l1-norm minimization problems when the solution may be sparse[J]. IEEE Transactions on Information Theory,2008,54(11): 4789-4812.

        [15]Candes E J,Romberg J,and Tao T. Robust uncertainty principles: exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory,2006,52(2): 489-509.

        [16]Candès E J,Romberg J K,and Tao T. Stable signal recovery from incomplete and inaccurate measurements[J]. Communications on Pure and Applied Mathematics,2006,59(8): 1207-1223.

        [17]Candès E J and Tao T. Decoding by linear programming[J]. IEEE Transactions on Information Theory,2005,51(12): 4203-4215.

        [18]Prony R. Essai experimental et analytique sur les lois de la Dilatabilit_e des uideselastiques et sur celles de la Force expansive de la vapeur de l'eau et de la vapeur de l'alkool,a dierentes temperatures. J. de l' Ecole Polytechnique,F(xiàn)loreal et Prairial III,1795,1(2): 24-76.

        [19]Tarantola A. Inverse Problem Theory and Method for Model Parameter Estimation[M]. SIAM Press.

        [20]Jaynes E. Probability Theory: The Logic of Science[M]. Cambridge University Press,2003.

        [21]Carathéodory C. über den Variabilit?tsbereich der Koeffizienten von Potenzreihen,die gegebene Werte nicht annehmen[J]. Mathematische Annalen,1907,64(1): 95-115.

        [22]Carathéodory C. über den variabilit?tsbereich der fourier'schen konstanten von positiven harmonischen funktionen[J]. Rendiconti Del Circolo Matematico Di Palermo,1911,32(1): 193-217.

        [23]Beurling A. Sur les integrales de Fourier absolument convergentes et leur application a une transformation fonctionelle[C]. In Proc. Scandinavian Math. Congress,Helsinki,F(xiàn)inland,1938.

        [24]Claerbout J F and Muir F. Robust modeling of erratic data[J]. Geophysics,1973,38(5): 826-844.

        [25]Taylor H,Banks S,and McCoy J. Deconvolution with the l1norm[J]. Geophysics,1979,44(1): 39-52.

        [26]Santosa F and Symes W W. Linear inversion of band-limited reflection seismograms[J]. SIAM Journal on Scientific and Statistical Computing,1986,7(4): 1307-1330.

        [27]Santosa F and Symes W. Inversion of impedance profile from band-limited data[C]. International Geoscience and Remote Sensing Symposium,1983.

        [28]Tibshirani R. Regression shrinkage and selection via the Lasso[J]. Journal of the Royal Statistical Society, Series B,1996,58(1): 267-288.

        [29]Chen S,Donoho D,and Saunders M. Atomic decomposition by basis pursuit[J]. SIAM Journal on Scientific Computing,1998,20(1): 33-61.

        [30]Samadi S,Cetin M,and Masnadi-Shirazi M. Sparse representation-based synthetic aperture radar imaging[J]. IET Radar,Sonar & Navigation,2011,5(2): 182-193.

        [31]Soldovieri F,Solimene R,and Ahmad F. Sparse tomographic inverse scattering approach for through-thewall radar imaging[J]. IEEE Transactions on Instrumentation & Measurement,2012,61(12): 3340-3350.

        [32]Oliveri G,Rocca P,and Massa A. A bayesian-compressivesampling-based inversion for imaging sparse scatterers[J]. IEEE Transactions on Geoscience & Remote Sensing,2011,49(10): 3993-4006.

        [33]Desmal A and Bagci H. Shrinkage-thresholding enhanced Born iterative method for solving 2D inverse electromagnetic scattering problem[J]. IEEE Transactions on Antennas & Propagation,2014,62(7): 3878-3884.

        [34]Solimene R,Ahmad F,and Soldovieri F. A novel CSTSVD strategy to perform data reduction in linear inverse scattering problems[J]. IEEE Geoscience & Remote Sensing Letters,2012,9(5): 881-885.

        [35]Winters D W,Van Veen B D,and Hagness S C. A sparsity regularization approach to the electromagnetic inverse scattering problem.[J]. IEEE Transactions on Antennas & Propagation,2010,58(1): 145-154.

        [36]Huang Q,Qu L,Wu B,et al.. UWB through-wall imaging based on compressive sensing[J]. IEEE Transactions on Geoscience & Remote Sensing,2010,48(3): 1408-1415.

        [37]Yoon Y S and Amin M G. Through-the-wall radar imaging using compressive sensing along temporal frequency domain[C]. 2010 IEEE International Conference on Acoustics,Speech,and Signal Processing,2010: 2806-2809.

        [38]Leigsnering M,Ahmad F,Amin M G,et al.. Compressive sensing based specular multipath exploitation for throughthe-wall radar imaging[C]. 2013 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP),2013: 6004-6008.

        [39]Zhu X X and Bamler R. Super resolving SAR tomography for multidimensional imaging of urban areas: compressive sensing-based TomoSAR inversion[J]. IEEE Signal Processing Magazine,2014,31(4): 51-58.

        [40]向寅. 壓縮采樣、稀疏約束成像及等效輻射源無相位逆散射[D]. [博士論文],中國科學院研究生院,2010.

        Xiang Yin. Study of compressed sampling,sparse imaging its applications in phaseless inverse scattering[D]. [Ph.D. dissertation],University of Chinese Academy of Sciences,2010.

        [41]張文吉. 電磁逆散射成像方法及壓縮感知理論在成像中的應用[D]. [博士論文],中國科學院研究生院,2009.

        Wenji Zhang,Study of fast methods of electromagnetic inverse scattering and compressive electromagnetic imaging[D]. [Ph.D. dissertation],University of Chinese Academy of Sciences,2009.

        [42]劉艷麗. 基于拋物線方程的電波傳播問題及電離層成像研究[D]. [博士論文],中國科學院研究生院,2009.

        Yanli Liu,Study of parabolic equations based radio wave propagation and its applications in ionosphere tomography[D]. [Ph.D. dissertation],University of Chinese Academy of Sciences,2009.

        [43]Xu G,Xing M D,Xia X G,et al.. Sparse regularization of interferometric phase and amplitude for InSAR image formation based on bayesian representation[J]. IEEE Transactions on Geoscience & Remote Sensing,2015,53(4): 2123-2136.

        [44]Zhang L,Qiao Z J,Xing M,et al.. High-resolution ISAR imaging with sparse stepped-frequency waveforms[J]. IEEE Transactions on Geoscience & Remote Sensing,2011,49(11): 4630-4651.

        [45]石光明,劉丹華,高大化,等. 壓縮感知理論及其研究進展[J].電子學報,2009,37(5): 1070-1078.

        Guangming Shi,Danhua Liu,Dahua Gao,et al.. Theory of compressive sensing and its recent progress,Recent progress on theory and compressive sensing[J]. Chinese Journal of Electronics,2009,37(5): 1070-1078.

        [46]Xu Z,Chang X,Xu F,et al.. L1/2regularization: a thresholding representation theory and a fast solver[J]. IEEE Transactions on Neural Networks & Learning Systems,2012,23(7): 1013-1027.

        [47]黃曉濤,楊俊剛,金添. 壓縮感知雷達成像[M]. 北京: 科學出版社,2014.

        Huang Xiao-tao,Yang Jun-gang,and Jin Tian. Compressed Radar Imaging[M]. Beijing: Science Press,2014.

        [48]Mallat S and Zhang Z. Matching pursuit in a timefrequency dictionary[J]. IEEE Transactions on Signal Processing, 1993,41(12): 3397-3415.

        [49]Needell D and Tropp J A. CoSaMP: iterative signal recovery from incomplete and inaccurate samples[J]. Applied & Computational Harmonic Analysis,2008,26(12): 93-100.

        [50]Nesterov Y. Introductory Lectures on Convex Optimization: A Basic Course[M]. Kluwer Academic Publishers,2004.

        [51]Wainwright M J. Structured regularizers for highdimensional problems: statistical and computational issues[J]. Social Science Electronic Publishing,2014,1(1): 233-253.

        [52]Donoho D and Tsaig Y. Fast solution of l1 norm minimization problems when thesolution may be sparse[J].IEEE Transactions on Information Theory,2008,54(11): 4789-4812.

        [53]Chen S S,Donoho D L,and Saunders M A. Atomic decomposition by basis pursuit[J]. SIAM Review,2001,43(1): 129-159.

        [54]Koh K,Kim S J,and Boyd S. An interior-point method for large-scale l1-regularized logistic regression[J]. Journal of Machine Learning Research,2007,8(3): 1519-1555.

        [55]Shevade S K and Keerthi S S. A simple and efficient algorithm for gene selection using sparse logistic regression[J]. Bioinformatics,2003,19(17): 2246-2253.

        [56]Hui Z and Trevor H. Regularization and variable selection via the elastic net[J]. Journal of the Royal Statistical Society,2005,67(2): 301-320.

        [57]Candès E J,Wakin M B,and Boyd S P. Enhancing sparsity by reweighted l1minimization[J]. Journal of Fourier Analysis & Applications,2008,14: 877-905.

        [58]Tosic I and Froccard P. Dictionary learning[J]. IEEE Signal Processing Magazine,2011: 27-38.

        [59]Aharon M,Elad M,and Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing,2006,54(11): 4311-4322.

        [60]Van den Berg E,Schmidt M,F(xiàn)riedlander M P,et al.. Group sparsity via linear-time projections[R]. Technical Report,University of British Columbia,2008,Technical Report Number TR-2008,2008.

        [61]Friedman J,Hastie T,and Tibshirani R. A note on the group lasso and a sparse group lasso[J]. Preprint arXiv:1001:0736v1,2010.

        [62]Huang J and Zhang T. The benefit of group sparsity[J]. Annals of Statistics,2009,38(4): 1978-2004.

        [63]Huang J,Zhang T,and Metaxas D. Learning with structured sparsity[J]. Journal of Machine Learning Research,2011,12(7): 3371-3412.

        [64]Jacob L and Obozinski G. Group lasso with overlaps and graph lasso[C]. Proceedings of the 26th International Conference on Machine Learning,2009.

        [65]Jenatton R,Audibert J Y,and Bach F. Structured variable selection with sparsity-inducing norms[J]. Journal of Machine Learning Research,2011,12(10): 2777-2824.

        [66]Baraniuk R G,Cevher V,Duarte M F,et al.. Model-based compressive sensing[J]. IEEE Transactions on Information Theory,2010,56(4): 1982-2001.

        [67]He L and Carin L. Exploiting structure in wavelet-based bayesian compressive sensing[J]. IEEE Transactions on Signal Processing,2009,57(9): 3488-3497.

        [68]He L,Chen H,and Carin L. Tree-structured compressive sensing with variational bayesian analysis[J]. IEEE Signal Processing Letters,2010,17(3): 233-236.

        [69]Eldar Y C,Kuppinger P,and B?lcskei H. Block-sparse signals: uncertainty relations and efficient recovery[J]. IEEE Transactions on Signal Processing,2010,58(6): 3042-3054.

        [70]Yuan M and Lin Y. Model selection and estimation in regression with grouped variables[J]. Journal of the Royal Statistical Society,2006,68(1): 49-67.

        [71]Robert T,Michael S,Saharon R,et al.. Sparsity and smoothness via the fused lasso[J]. Journal of the Royal Statistical Society,2005,67(1): 91-108.

        [72]Amit Y,F(xiàn)ink M,Srebro N,et al.. Uncovering shared structures in multiclass classification[C]. Twenty-fourth International Conference on Machine Learning,2007: 17-24.

        [73]Gilboa G and Osher S. Nonlocal operators with applications to image processing[J]. SIAM Journal on Multiscale Modeling & Simulation,2008,7(3): 1005-1028.

        [74]Bach F and Obozinski G. Structured sparsity through convex optimization[J]. Statistical Science,2011,27(4): 450-468.

        [75]Peleg T,Eldar Y C,and Elad M. Exploiting statistical dependencies in sparse representations for signal recovery[J]. IEEE Transactions on Signal Processing,2012,60(5): 2286-2303.

        [76]Dremeau A,Herzet C,and Daudet L. Boltzmann machine and mean-field approximation for structured sparse decompositions[J]. IEEE Transactions on Signal Processing,2012,60(7): 3425-3438.

        [77]Marlin B M and Murphy K P. Sparse Gaussian graphical models with unknown block structure[C]. ICML'09 Proceedings of the 26th International Conference on Machine Learning,2009: 705-712.

        [78]Marlin B M,Schmidt M,and Murphy K P. Group sparse priors for covariance estimation[C]. Appears in Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence,2012: 383-392.

        [79]Li L. Note on RIP-based co-sparse analysis[OL]. http://arxiv.org/abs/1202.2037.

        [80]Pournaghi R and Wu X. Coded acquisition of high frame rate video[J]. IEEE Transactions on Image Processing,2013,23(12): 5670-5682.

        [81]Donoho D and Tanner J. Observed universality of phase transitions in high-dimensional geometry,with implications for modern data analysis and signal processing[J]. Philosophical Transactions A:Mathematical, Physical and Engineering Sciences,2009,367(1906): 4273-4293.

        [82]Candès E J and Recht B. Exact matrix completion via convex optimization[J]. Foundations of Computational Mathematics,2008,9(6): 717-772.

        [83]Thrampoulidis C,Abbasi E,and Hassibi B. The LASSO with non-linear measurements is equivalent to one with linear measurements[OL]. http://arxiv.org/abs/1506.02181.

        [84]Candes E J and Plan Y. Matrix completion with noise[J]. Proceedings of the IEEE,2009,98(6): 925-936.

        [85]Hardle W,Hall P,and Ichimura H. Optimal smoothing in single-index models[J]. The Annals of Statistics,1993,21(1): 157-178.

        [86]Hristache M and Spokoiny V. Direct estimation of theindex coefficient in a single-index model[J]. The Annals of Statistics,2001,29(3): 595-623.

        [87]Gopi S,Netrapalli P,Jain P,et al.. One-bit compressed sensing: provable support and vector recovery[C]. In International Conference on Machine Learning,2013.

        [88]Jacques L,Laska J,Boufounos P,et al.. Robust 1-bit compressive sensing via binary stable embeddings of sparse vectors[J]. arXiv:1104.3160,2011.

        [89]Plan Y and Vershynin R. One-bit compressed sensing by linear programming[J]. Communications on Pure & Applied Mathematics,2013,66(8): 1275-1297.

        [90]Plan Y and Vershynin R. Robust 1-bit compressed sensing and sparse logistic regression: a convex programming approach[J]. IEEE Transactions on Information Theory,2013,59(1): 482-494.

        [91]Bahmani S and Romberg J. Efficient compressive phase retrieval with constrained sensing vectors. arXiv: 1507. 08254v1,2015.

        [92]Cevher V,Becker S,and Schmidt M. Convex optimization for big data: Scalable,randomized,and Parallel algorithms for big data analytics[J]. IEEE Signal Processing Magazine,2014,31(5): 32-43.

        [93]Slavakis K,Giannakis G B,and Mateos G. Modeling and Optimization for Big Data Analytics: (Statistical)learning tools for our era of data deluge[J]. IEEE Signal Processing Magazine,2014,31(5): 18-31.

        [94]Yuan G X,Chang K W,Hsieh C J,et al.. A comparison of optimization methods and software for large-scale L1-regularized linear classification[J]. Journal of Machine Learning Research,2010,11(2): 3183-3234.

        [95]Fercoq O,Qu Z,Richtarik P,et al.. Fast distributed coordinate descent for non-strongly convex losses[OL]. http://arxiv.org/abs/1405.5300.

        [96]Bertsekas D P and Tsitsiklis J N. Parallel and Distributed Computation: Numerical Methods[M]. Prentice Hall,1989.

        [97]Nemirovski A,Juditsky A,Lan G,et al.. Robust stochastic approximation approach to stochastic programming[J]. SIAM Journal on Optimization,2009,19(4): 1574-1609.

        [98]Kushner H and Yin G. Stochastic Approximation Algorithms and Applications[M]. New York: Springer,1997.

        [99]Nesterov Y. Efficiency of coordinate descent methods on huge-scale optimization problems[J]. SIAM Journal on Optimization, 2012,22(2): 341-362.

        [100]Richtárik P and Taká M. Iteration complexity of randomized block-coordinate descent methods for minimizing a composite function[J]. Mathematical Programming,2014,144(1): 1-38.

        [101]Nesterov Y. Gradient methods for minimizing composite objective function[OL]. http://eonpapers.repec.org/paper/ corlouvco/2007076.htm.

        [102]Fercoq O and Richtarik P. Accelerated,parallel and proximal coordinate descent[OL]. http://arXiv:1312.5799.

        [103]Hazan E,Levy K,and Shalev-Shwartz S. Beyond convexity: stochastic quasi convex optimization[OL]. http://arxiv.org/abs/1507.02030.

        [104]Qu Z,Richtarik P,and Zhang T. Randomized dual coordinate ascent with arbitrary sampling[OL]. http://arxiv.org/abs/1411.5873.

        [105]Hardt M,Recht B,and Singer Y. Train faster,generalize better: stability of stochastic gradient descent[OL]. http://arxiv.org/abs/1509.01240.

        [106]Johnson R and Zhang T. Accelerating stochastic gradient descent using predictive variance reduction[C]. Advances in Neural Information Processing Systems,2013,26: 315-323.

        [107]Boyd S,Parikh N,Chu E,et al.. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends in Machine Learning,2011,3(1): 1-122.

        [108]Su W,Boyd S,and Candes E J. A differential equation for modeling nesterov's accelerated gradient method: theory and insights[OL]. http://arxiv.org/abs/1503.01243.

        李廉林(1980-),男,山西平遙人,2006年獲得中科院電子所博士學位,現(xiàn)任北京大學信息科學技術學院特聘研究員,博士生導師,研究方向為超分辨電磁成像、電磁大數(shù)據(jù)處理以及超寬帶雷達系統(tǒng)。E-mail: lianlin.li@pku.edu.cn

        周小陽(1979-),男,博士,東南大學毫米波國家重點實驗室副教授,研究方向為計算電磁學高頻近似方法與雷達信號處理。

        E-mail: xyzhou@seu.edu.cn

        崔鐵軍(1965-),男,東南大學毫米波國家重點實驗室教授、博士生導師,目前主要研究方向為計算電磁學及其快速算法、新型人工電磁材料的理論、實驗及應用研究、目標特性與目標識別、大型軍用目標的精確電磁仿真等。

        E-mail: tjcui@seu.edu.cn

        Perspectives on Theories and Methods of Structural Signal Processing

        Li Lian-lin①Zhou Xiao-yang②Cui Tie-jun②

        ①(School of Electronics Engineering and Computer Science,Peking University,Beijng 100871,China)
        ②(State Key Laboratory of Millimeter Waves,Southeast University,Nanjing 210096,China)

        Over the past decade structural signal processing is an emerging field,which gained researchers' intensive attentions in various areas including the applied mathematics,physics,information theory,signal processing,and so on. The structural signal processing is a paradigm of making the revolutionary refresh on theories and methods in the nutshell of traditional signal processing based on the well-known Nyquist-Shannon theory,which will render us a new perspective on the adaptive data acquisition in the task-driven manner. Basically,the structural signal processing includes four research contents (MAMA): (a)Measures for the structural signal,(b)Algorithms for reconstructing the structural signal at the low-complexity computational cost,(c)Methods for smart data acquisition at the low hardware cost and system complexity,and (d)Applications of structural signal processing in applied fields. This paper reviews on the recent progress on the theory and algorithms for structural signal processing,which will provides hopefully useful guide for readers of interest.

        Structural signal processing; Sparse signal processing; Task-driven signal processing; Nyquist-Shannon theory

        The National Natural Science Foundation of China (61471006)

        TN911.7

        A

        2095-283X(2015)-05-0491-12 DOI:10.12000/JR15111

        李廉林,周小陽,崔鐵軍. 結構化信號處理理論和方法的研究進展[J]. 雷達學報,2015,4(5): 491-502.

        10.12000/JR15111.

        Reference format:Li Lian-lin,Zhou Xiao-yang,and Cui Tie-jun. Perspectives on theories and methods of structural signal processing[J]. Journal of Radars,2015,4(5): 491-502. DOI: 10.12000/JR15111.

        2015-10-08;改回日期:2015-11-08

        李廉林lianlin.li@pku.edu.cn

        國家自然科學基金(61471006)

        猜你喜歡
        范數(shù)復原信號處理
        溫陳華:唐宋甲胄復原第一人
        淺談曜變建盞的復原工藝
        陶瓷學報(2020年6期)2021-01-26 00:38:22
        毓慶宮惇本殿明間原狀陳列的復原
        紫禁城(2020年8期)2020-09-09 09:38:04
        《信號處理》征稿簡則
        信號處理(2018年5期)2018-08-20 06:16:02
        《信號處理》第九屆編委會
        信號處理(2018年5期)2018-08-20 06:16:00
        《信號處理》征稿簡則
        信號處理(2018年8期)2018-07-25 12:25:42
        《信號處理》第九屆編委會
        信號處理(2018年8期)2018-07-25 12:24:56
        基于加權核范數(shù)與范數(shù)的魯棒主成分分析
        矩陣酉不變范數(shù)H?lder不等式及其應用
        一類具有準齊次核的Hilbert型奇異重積分算子的范數(shù)及應用
        国内激情一区二区视频| 色婷婷五月综合亚洲小说| 亚洲人成影院在线无码观看| 最新永久免费AV网站| 国产高清人肉av在线一区二区| 国内精品久久久久影院优| 精品国模一区二区三区| 日韩欧美在线播放视频| 亚洲国产综合久久精品| 我和丰满妇女激情视频| 无码人妻精品丰满熟妇区| 无码人妻少妇久久中文字幕蜜桃 | 亚洲精品aa片在线观看国产| 亚洲黄色尤物视频| 国产视频免费一区二区| 欧美男生射精高潮视频网站| 国产亚洲人成a在线v网站| 久久亚洲日本免费高清一区| 午夜一区二区三区福利视频| 欧美黑人又粗又大xxxx| 国精产品一品二品国在线| 久久久久久久久高潮无码| 亚洲一品道一区二区三区| 综合色区亚洲熟妇另类| 国产又爽又黄的激情精品视频| 青青草久热手机在线视频观看| 99久久婷婷国产亚洲终合精品 | 男女爱爱好爽视频免费看| 午夜视频网址| 国产少妇高潮在线视频| 99久热在线精品视频观看| 国产精品露脸视频观看| 一区二区三区在线蜜桃| 91超精品碰国产在线观看| 男同gay毛片免费可播放| 久久精品爱国产免费久久| 国产韩国一区二区三区| 娜娜麻豆国产电影| 国产精品毛片无遮挡高清| 一级午夜理论片日本中文在线| 亚洲中国精品精华液|