陳澤偉,嚴遠鵬
(廣東工業(yè)大學,廣東 廣州 510006)
近年來,高級輔助駕駛系統(tǒng)(Advanced Driver Assistance System,ADAS)已經(jīng)成為汽車無人駕駛的重要基礎(chǔ)輔助系統(tǒng),其涵蓋多種多樣的功能,如自適應(yīng)巡航(Adaptive Cruise Control,ACC)、前向碰撞預(yù)警(Forward Collision Warning,FCW)、自動緊急制動(Autonomous Emergency Braking,AEB)以及盲點檢測(Blind Spot Detection,BSD)等。車載毫米波雷達憑借其優(yōu)勢逐漸成為ADAS 中不可或缺的傳感器之一。然而,在一段道路上,當多輛車上裝載的多個毫米波雷達系統(tǒng)同時在相近的頻段工作時,會造成嚴重的毫米波雷達相互干擾問題,影響車載雷達的正常探測工作,甚至會因此引發(fā)交通事故。
隨著近幾年深度學習算法的快速發(fā)展,用深度學習模型抑制毫米波雷達干擾逐漸成為一個熱點研究方向。相比于傳統(tǒng)的毫米波雷達干擾抑制方法,在處理更加復(fù)雜的多干擾或強干擾場景時,深度學習模型有更大的優(yōu)勢。在時頻域中,毫米波雷達的目標信號和干擾信號都被轉(zhuǎn)換為二維圖像的特征信息。深度學習模型能夠通過對大量數(shù)據(jù)集的學習,提取毫米波雷達時頻圖中的目標特征并抑制干擾特征,干擾抑制效果會優(yōu)于在一維時域信號上處理。Nicolae-Catalin Ristea等人提出了用全卷積網(wǎng)絡(luò)來處理雷達時頻域干擾數(shù)據(jù),作者使用仿真數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集,沒有實際考慮真實實測數(shù)據(jù)集對干擾抑制模型的影響,這是因為在實際實驗中要測得大量多樣性場景的實測數(shù)據(jù)樣本存在一定困難。
生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)是由Goodfellow 等人在2014年提出一種無監(jiān)督深度學習模型,GAN 模型通過不斷對抗訓(xùn)練能夠生成樣本數(shù)據(jù)。GAN 模型在最近幾年受到大量關(guān)注并且被運用于圖像超分辨率、圖像翻譯、圖像生成等眾多不同的圖像處理處理領(lǐng)域。然而,盡管GAN 擁有強大的圖像處理能力,其同時也存在著模型訓(xùn)練不穩(wěn)定,容易發(fā)生梯度消失甚至模式崩潰等嚴重問題。針對GAN 存在的眾多缺點,研究者們提出了各種改進的GAN 模型。Radford 等人在2015年提出了深度卷積生成對抗網(wǎng)絡(luò)(Deep Convolutional Generative Adversarial Networks,DCGAN)。DCGAN 模型把卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)和GAN 結(jié)合起來,在GAN 的基礎(chǔ)上采用了深度卷積網(wǎng)絡(luò)結(jié)構(gòu)。DCGAN把CNN 在圖像特征提取方面的優(yōu)勢和GAN 強大的數(shù)據(jù)生成能力融合起來,使DCGAN 模型在圖像數(shù)據(jù)的處理能力和穩(wěn)定生成圖像的能力都有了一定程度的提升。但DCGAN 并沒有在損失函數(shù)做出改進,模型仍然存在訓(xùn)練不穩(wěn)定,生成圖像單一等不足之處。
為了解決在訓(xùn)練深度學習干擾抑制模型過程中實測樣本不足的問題,本文提出R-DCGAN(Radar-Deep Convolutional Generative Adversarial Networks)模型來生成毫米波雷達時頻圖樣本。R-DCGAN 在傳統(tǒng)DCGAN 的基礎(chǔ)上,根據(jù)生成毫米波雷達時頻圖的實際需求,在具體的網(wǎng)絡(luò)層上做出調(diào)整,使用帶梯度懲罰項的Wasserstein 距離替代原始的損失函數(shù)。帶梯度懲罰的Wasserstein 距離克服了原始損失函數(shù)容易造成訓(xùn)練過程中梯度消失的問題,同時又避免了WGAN( Wasserstein GAN)中Lipschitz 約束帶來的鑒別器模型參數(shù)分布不均問題。R-DCGAN 融合了CNN 的特征提取能力和GAN 的圖像生成能力,同時解決了GAN 與DCGAN 模型存在的缺點,能夠穩(wěn)定訓(xùn)練并生成高質(zhì)量的毫米波雷達時頻圖數(shù)據(jù)。
CS(Chirp Sequence)雷達是目前主流的毫米波雷達系統(tǒng),在CS 雷達中,信號調(diào)制方式如圖1所示。
圖1 CS 雷達信號調(diào)制方式
其中f為信號的載頻,f為多普勒頻移,t為回波信號時延,是信號帶寬,是信號的一個調(diào)制周期。發(fā)射信號()的數(shù)學表達式為:
信號()之后將通過低通濾波器,低通濾波器輸出信號的數(shù)學表達式可表示為:
以一個鋸齒波調(diào)制周期作為研究對象來分析CS 雷達信號受到干擾的數(shù)學模型。一個信號周期內(nèi)雷達發(fā)射信號、回波信號、干擾信號以及混頻后中頻信號的時頻關(guān)系如圖2所示?;夭ㄐ盘柡透蓴_信號會分別和本振信號進行混頻,得到各自相對應(yīng)的中頻信號后經(jīng)過低通濾波器的處理,輸出一個受干擾的目標回波信號。圖中被測目標物體的中頻信號的頻率不會隨著時間的改變而變化,而干擾中頻信號的頻率是隨時間的變化而變化的。
圖2 雷達回波信號和干擾信號的時頻關(guān)系
當存在個干擾源時,干擾信號為:
其中()是噪聲信號。L()是干擾信號()經(jīng)過混頻器和低通濾波器后的信號,可表示為:
對接收信號做短時傅里葉變換(Short Time Fourier Transform,STFT)得到受干擾接收信號的時頻圖。在更加復(fù)雜的干擾場景中,如在多干擾和強干擾的情況下,CS 雷達相互干擾在時頻圖中會有更復(fù)雜的斜線頻率段。如圖3所示對比了單干擾、多干擾和復(fù)雜干擾場景的時頻圖。(a)為雷達信號受單干擾情況的時頻圖,(b)為受多干擾情況的時頻圖,(c)為受多干擾和強干擾場景的時頻圖。從受干擾信號的時頻圖中可以看到目標信號與復(fù)雜干擾信號形成相對復(fù)雜的相互交叉情況,但是由于目標信號的頻率成分不會隨著時間變化,所以仍然可以從對應(yīng)的頻率軸上清晰得知目標信號具體頻率值信息。干擾信號出現(xiàn)的時間段,干擾頻率因隨時間的變化而呈現(xiàn)出高度的隨機性和復(fù)雜性。
圖3 受干擾的雷達信號時頻圖
為了解決深度學習干擾抑制模型的實測訓(xùn)練不足的問題,文章提出R-DCGAN 來生成毫米波雷達時頻域數(shù)據(jù),為干擾抑制模型的訓(xùn)練提供更加豐富多樣化雷達干擾時頻域數(shù)據(jù)集,以提升模型的干擾抑制性能和泛化性能。R-DCGAN模型結(jié)構(gòu)如圖4所示。R-DCGAN 算法基于DCGAN 重新設(shè)計了網(wǎng)絡(luò)結(jié)構(gòu)和改進模型訓(xùn)練損失函數(shù),克服了GAN 和DCGAN 網(wǎng)絡(luò)模型訓(xùn)練不穩(wěn)定的存在的一些缺點,能夠生成高質(zhì)量的毫米波雷達干擾時頻圖。在R-DCGAN 模型開始訓(xùn)練之前,對少量實測數(shù)據(jù)做STFT 得到時頻圖,并取時頻圖的幅度數(shù)據(jù)作為鑒別器的真實輸入數(shù)據(jù)。R-DCGAN 模型生成器利用噪聲生成雷達受干擾信號時頻圖數(shù)據(jù)輸入到鑒別器。鑒別器對輸入數(shù)據(jù)做判斷,辨別輸入數(shù)據(jù)是生成數(shù)據(jù)還是真實數(shù)據(jù),然后將判斷結(jié)果反饋給生成器和鑒別器,更新兩個模型的參數(shù),不斷反復(fù)對抗訓(xùn)練,使得生成器模型和鑒別器模型達到“納什均衡”狀態(tài)時完成模型訓(xùn)練。
圖4 R-DCGAN 模型結(jié)構(gòu)
2.1.1 R-DCGAN 生成器結(jié)構(gòu)
R-DCGAN 生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。生成器由全連接層、轉(zhuǎn)置卷積層、激活層等構(gòu)成。相比于DCGAN 的生成器,R-DCGAN 生成器在整體網(wǎng)絡(luò)結(jié)構(gòu)上仍然使用卷積取代池化層,但是取消了做批規(guī)范化操作的BN(Batch Normalization)層,并把所有的Relu 層換成LeakyRelu 層,輸出層的激活函數(shù)選用tanh 函數(shù)。在模型的對抗訓(xùn)練中,把一個1×1×100 的隨機正態(tài)分布噪聲作為輸入數(shù)據(jù),輸入后經(jīng)過線性映射到大小為4×4×1 024 的張量,然后利用轉(zhuǎn)置卷積對其進行上采樣,最后一層轉(zhuǎn)置卷積生成一個128×128×1 的時頻幅度圖,經(jīng)過Tanh 激活函數(shù)激活后,輸出一個128×128×1 的毫米波雷達時頻圖幅度數(shù)據(jù)。
圖5 R-DCGAN 生成器網(wǎng)絡(luò)結(jié)構(gòu)
2.1.2 R-DCGAN 鑒別器網(wǎng)絡(luò)結(jié)構(gòu)
R-DCGAN 鑒別器網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。R-DCGAN 的鑒別器網(wǎng)絡(luò)結(jié)構(gòu)在DCGAN 鑒別器網(wǎng)絡(luò)的基礎(chǔ)上取消了BN層,鑒別器模型由卷積層、激活層和全連接層構(gòu)成。鑒別器網(wǎng)絡(luò)輸入維度為128×128×1 的毫米波雷達時頻幅度圖,卷積層對其做下采樣,并使用LeakyRelu 函數(shù)對每層卷積特征進行激活。最終鑒別器對來自生成器的生成的時頻數(shù)據(jù)和真實數(shù)據(jù)進行真假分類,并把判別結(jié)果通過反向傳播算法反饋回生成器和鑒別器,生成器和鑒別器更具反饋結(jié)果進行模型參數(shù)調(diào)整。
圖6 R-DCGAN 鑒別器模型
GAN 與DCGAN 模型優(yōu)化原始目標函數(shù)的任務(wù)被轉(zhuǎn)變?yōu)樽钚』鎸崢颖緮?shù)據(jù)分布和生成樣本的數(shù)據(jù)分布之間的JS(Jenson s Shannon)散度任務(wù),而此時不管模型怎么訓(xùn)練,JS 散度都是一個定值,這就會造成生成器的梯度為0 而出現(xiàn)梯度消失的狀況。在WGAN 中的Wasserstein 距離克服了梯度消失的問題,但是Wasserstein 距離不能直接用于生成對抗網(wǎng)絡(luò)的損失函數(shù)中,需要對其增加Lipschitz 約束。而在Lipschitz 約束中,權(quán)重裁剪技術(shù)將鑒別器的所有參數(shù)值都限制在一個區(qū)間范圍內(nèi),以保證在鑒別器在訓(xùn)練過程中所有參數(shù)都是有界的,使兩個有稍微不同的樣本的判別結(jié)果不會產(chǎn)生太大的差異。然而,在WGAN 模型的鑒別器的損失函數(shù)會最大限度地放大真實樣本與生成樣本之間的差異。在權(quán)重裁剪的作用下,最優(yōu)的訓(xùn)練策略是盡可能取所有參數(shù)的極值,因此,鑒別器的參數(shù)幾乎集中在區(qū)間的最大值和最小值上。
為了解決GAN 與DCGAN 模型訓(xùn)練不穩(wěn)定的問題,同時避免WGAN 鑒別器參數(shù)不均影響生成圖像質(zhì)量的問題。R-DCGAN 模型選擇以帶梯度懲罰項的Wasserstein 距離替代原有的損失函數(shù),既可以有效緩解訓(xùn)練過程中梯度不穩(wěn)定現(xiàn)象,又避免了WGAN 中Lipschitz 約束帶來的問題,提升訓(xùn)練過程中的穩(wěn)定性。Lipschitz 限制是控制鑒別器的梯度不超過設(shè)定值,而梯度懲罰需要設(shè)置一個額外的損失項來連接梯度與之間的關(guān)系。梯度懲罰項具體操作就是在真實數(shù)據(jù)分布和生成數(shù)據(jù)分布之間做抽樣處理。先隨機采一對真假樣本數(shù)據(jù)和一個0~1 的隨機數(shù):~,x~Px~P,~[0,1],然后 在和x的 連線上做 隨機差值采樣,具體公式可以表示為:
其中為權(quán)重系數(shù)。模型對每個樣本獨立地施加梯度懲罰,為了避免使得同一個batch 中不同樣本產(chǎn)生相互依賴關(guān)系,所以鑒別器的模型結(jié)構(gòu)中沒有使用批量歸一化。
本文所有的實驗都是在GPU 環(huán)境下進行的,用編程語言為MATLAB,實驗基于MATLAB 深度學習工具箱。具體實驗環(huán)境如表1所示。
表1 實驗環(huán)境配置
模型訓(xùn)練的具體參數(shù)配置如表2所示。為了提升各個模型生成數(shù)據(jù)的能力,訓(xùn)練過程中調(diào)整了模型的優(yōu)化器optim、學習率lr(learningrate)、權(quán)重系數(shù)、訓(xùn)練次數(shù)Epoch、訓(xùn)練批次batchsize等參數(shù)。其他參數(shù)值使用默認設(shè)置。
表2 模型訓(xùn)練參數(shù)
3.2.1 R-DCGAN 生成圖像
原始干擾信號時頻圖像,GAN、DCGAN 和R-DCGAN生成時頻圖的對比圖如圖7所示。在GAN 生成的時頻圖當中,噪聲和干擾的水平極高,已經(jīng)完全覆蓋住目標特征信息,雖然在時頻圖中干擾的特征突出并且呈現(xiàn)出多樣化的情形,但是由于缺少主要的目標信號特征,對于深度學習干擾抑制模型來說,使用目標特征缺失的數(shù)據(jù)集訓(xùn)練出來的模型,性能會有所降低。由前文對DCGAN 的分析可知,DCGAN并沒有對GAN 的損失函數(shù)做出改進,導(dǎo)致其模型仍然存在訓(xùn)練不穩(wěn)定或者生成圖像單一的問題。DCGAN 模型生成的圖像,目標信號特征單一重復(fù),干擾信號特征雖然具有多樣性,但因其特征太不明顯,同樣會影響深度學習模型在訓(xùn)練過程中對于多種復(fù)雜干擾場景的學習,進而降低模型的干擾抑制性能。而對于文章提出的R-DCGAN 模型生成的雷達時頻圖,從生成圖像的目標特征和干擾特征的顯著程度看,兩種主要的特征都十分明顯,生成圖像的具有多樣性,無論是干擾特征還是目標特征,都能夠滿足毫米波雷達信號的隨機性與復(fù)雜性的要求,R-DCGAN 生成的時頻圖數(shù)據(jù)的整體噪聲水平接近真實圖像。
圖7 不同模型生成時頻圖對比
3.2.2 R-DCGAN 生成樣本對CNN 干擾抑制模型性能影響實驗
為了客觀評價三種模型生成的毫米波雷達時頻圖數(shù)據(jù)集對CNN 干擾抑制模型性能的影響。使用模型生成數(shù)據(jù)和仿真數(shù)據(jù)混合,訓(xùn)練CNN 干擾抑制回歸模型來抑制毫米雷達干擾,用訓(xùn)練出來的模型干擾抑制能力來評價生成數(shù)據(jù)的質(zhì)量。本節(jié)設(shè)置了4 組對比實驗,具體實驗設(shè)置為:
(1)用20 000 個仿真數(shù)據(jù)訓(xùn)練CNN 干擾抑制模型1。
(2)用10 000 個GAN 生成數(shù)據(jù)與10 000 個仿真數(shù)據(jù)混合訓(xùn)練CNN 干擾抑制模型2。
(3)用10 000 個DCGAN 生成數(shù)據(jù)與10 000 個仿真數(shù)據(jù)集混合訓(xùn)練CNN 干擾抑制模型3。
(4)用10 000 個R-DCGAN 生成數(shù)據(jù)與10 000 個仿真數(shù)據(jù)集混合訓(xùn)練CNN 干擾抑制模型4。
4 組模型訓(xùn)練過程中,80%數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集,20%作為驗證集。CNN 干擾抑制模型訓(xùn)練過程的參數(shù)設(shè)置如表3所示。采用Adam 優(yōu)化器對模型進行優(yōu)化,模型訓(xùn)練迭代次數(shù)設(shè)置為5 000 次,其中MaxEpochs 設(shè)置為10,訓(xùn)練數(shù)據(jù)對網(wǎng)絡(luò)進行10 輪訓(xùn)練,每輪訓(xùn)練500 次。MiniBatchSize 設(shè)置為32,網(wǎng)絡(luò)模型一次查看32 個訓(xùn)練數(shù)據(jù)。初始學習率設(shè)置為0.000 01,每經(jīng)過一定數(shù)量的輪次訓(xùn)練時,按指定的因子降低學習率,學習率下降因子設(shè)置為0.9。
表3 CNN 干擾抑制模型訓(xùn)練參數(shù)
續(xù)表
CNN 回歸網(wǎng)絡(luò)模型使用均方根誤差(Root Mean Square Error,RMSE)作為損失函數(shù),RMSE 用來衡量觀測變量和真實變量之間的偏差程度。CNN 回歸模型的損失函數(shù)可以表示為:
CNN 干擾抑制模型訓(xùn)練時的RMSE 變化情況如圖8所示。模型1 收斂時最終RMSE 為35.4,模型2 為37.5,模型3 為33.8,模型4 為32.8,從模型的RMSE 情況對比,模型2 使用GAN 生成數(shù)據(jù)進行混合,由于數(shù)據(jù)噪聲過大,并沒有提升模型性能。模型3 使用DCGAN 生成數(shù)據(jù)進行混合訓(xùn)練,模型RMSE 比仿真數(shù)據(jù)略微有所提升,但其提升效果沒有模型4使用R-DCGAN生成數(shù)據(jù)訓(xùn)練的模型效果好。
圖8 4 個模型的訓(xùn)練RMSE 對比
采用仿真毫米波雷達干擾數(shù)據(jù)與實測干擾數(shù)據(jù)驗證模型的干擾抑制能力,選用雷達目標信標信噪比作為評價模型干擾抑制性能的指標。目標信號信噪比的公式可以表示為:
其中,()代表目標信號的頻譜峰值能量,∑()代表信號頻譜的總能量。目標信號信噪比越高,說明目標信號強度越強,則說明信號越好,目標信號更加容易被檢測到。
(1)CNN 模型抑制仿真雷達干擾。模型抑制仿真信號時頻域干擾效果對比如圖9所示,(a)圖表示原始的受干擾信號的時頻圖。(b)(c)(d)(e)分別表示模型1、模型2、模型3、模型4 的抑制干擾效果。對比原始的干擾時頻圖,可以明顯看出時頻圖當中的干擾特征已經(jīng)被抑制,同時目標特征得到加強,但是對于前三個模型的抑制干擾時頻圖,在抑制干擾的同時也影響到目標信號的特征,在干擾與目標交界處,有明顯的信號缺失。但是在模型4 中,信號丟失情況并不嚴重,干擾抑制性能優(yōu)于其他3 個模型。
圖9 CNN 模型抑制仿真信號時頻域干擾效果對比
為了更加全面的評價用不同數(shù)據(jù)集訓(xùn)練出來的雷達干擾抑制模型的性能,用4 個模型分別對2 000 個仿真干擾信號進行干擾抑制,然后取平均信噪比作為評價指標。具體實驗結(jié)果如表4所示。2 000 個干擾信號目標信號平均信噪比為-21.01 dB,而干凈信號的信噪比是-4.58 dB,模型1 抑制干擾信號后,目標信噪比為-5.02 dB,相比于受干擾信號的信噪比提高了15.99 dB。對于模型2,由于GAN 生成的數(shù)據(jù)噪聲水平太高,目標特征不明顯,抑制干擾后的目標信噪比為-5.60 dB。對于DCGAN 和R-DCGAN,模型3和模型4 對于干擾的抑制效果提升更明顯,分別是-3.61 dB和-2.17 dB。相比于受干擾信號,信噪比提高了17.40 dB和18.84 dB。從模型對于目標信噪比的提升效果來看,R-DCGAN 生成數(shù)據(jù)與仿真數(shù)據(jù)混合訓(xùn)練出來的干擾抑制模型性能最好。
表4 模型抑制仿真干擾性能對比
模型2 -5.60模型3 -3.61模型4 -2.17
(2)CNN 模型抑制實測雷達干擾。實測干擾信號抑制效果如圖10所示,4 組模型都能夠較大程度的抑制干擾信號,對于模型1、模型2 和模型3 的干擾抑制效果中,目標特征丟失比較嚴重。而對于模型4,目標的特征丟失就不那么明顯,模型4 的干擾抑制性能相比于其他3 個模型有所提升。
圖10 CNN 模型抑制實測信號時頻域干擾效果對比
CNN 模型抑制實測干擾性能如表5所示,實測雷達信號有兩個目標,取兩個目標的平均信噪比作為模型干擾抑制性能對比。從平均水平看,模型1 抑制干擾信號后,各個模型對于受干擾信號信噪比的提升情況分別為,模型1 提升22.63 dB,模型2 提升19.11 dB,模型3 提升22.64 dB,模型4 提升23.35 dB。從實測信號中兩個目標平均信噪比的提升水平來看,模型4 的干擾抑制性能會優(yōu)于其他三個模型,模型對于實測數(shù)據(jù)具有較強的泛化性能。
表5 模型抑制實測干擾性能對比
為了解決在訓(xùn)練深度學習模型抑制時頻域干擾時實測數(shù)據(jù)量不足的問題。文章提出R-DCGAN 模型來生成毫米波雷達時頻圖數(shù)據(jù)。區(qū)別于GAN 與DCGAN 模型,R-DCGAN模型保留了DCGAN 的優(yōu)勢,融合了CNN 的特征提取能力和GAN 的圖像生成能力,同時使用帶梯度懲罰的Wasserstein 距離作為新的目標函數(shù),以克服原始生成模型訓(xùn)練不穩(wěn)定,生成數(shù)據(jù)單一、質(zhì)量差的缺點。帶梯度懲罰的Wasserstein 距離解決了原始損失函數(shù)中JS 散度會造成訓(xùn)練過程中梯度消失的問題,同時又避免了WGAN 中Lipschitz約束帶來的鑒別器模型參數(shù)分布不均問題,能夠進一步提升訓(xùn)練過程中的穩(wěn)定性。實驗結(jié)果表明,對比與GAN 與DCGAN 模型生成的數(shù)據(jù),把R-DCGAN 模型生成的雷達信號時頻圖樣本應(yīng)用在CNN 干擾抑制模型訓(xùn)練中,能夠更有效提升CNN 模型的干擾抑制性能。