摘 要:針對支持向量機(jī)的核函數(shù)選擇問題，在保形變換方法的基礎(chǔ)上，分析了確定數(shù)據(jù)分布特征的重要性，給出了判斷數(shù)據(jù)呈高斯分布的方法。利用支持向量機(jī)的高斯核函數(shù)，提出一種基于改進(jìn)的高斯核函數(shù)雷達(dá)目標(biāo)高分辨距離像的研究方法。該方法對SVM的高斯核函數(shù)進(jìn)行改進(jìn)，并進(jìn)行核函數(shù)選擇。通過改進(jìn)的高斯核函數(shù)與多項(xiàng)式核函數(shù)進(jìn)行比較，在Matlab環(huán)境下采用兩種方法對高分辨距離像進(jìn)行仿真，仿真方法驗(yàn)證并改進(jìn)了高斯核函數(shù)的有效性。

關(guān)鍵詞:高分辨距離像; 支持向量機(jī); 高斯核函數(shù); 廣義高斯分布

中圖分類號:TN957.52文獻(xiàn)標(biāo)識碼:A

文章編號:1004-373X(2010)15-0001-04

Target Recognition Algorithm of Radar High Resolution Range Profile

Based on Improved Gaussian Kernel Function

ZHAO Nai-jie， LI Hui，JIN Bao-long

(Department of Electronic Engineering， Northwestern Polytechnical University， Xi’an 710129， China)

Abstract: Aiming at kernel function selection of support vector machine(SVM)， the method to determine Gaussian distribution of the data is introduced by analyzing feature of data distribution based on the proposed conformal transformation method. A target recognition algorithm of radar high resolution range profile based on improved Gaussian kernel function is proposed by using Gaussian kernel function of support vector machine. The method improved SVM Gaussian kernel function and carried out the kernel function selection. Through comparing the improved Gaussian kernel function with the polynomial kernel functions， two methods are used to simulate high resolution range profile in the Matlab environment， the simulation method validate the effectiveness of Gaussian kernel function.

Keywords: high range resolution profile;SVM;Gaussian kernel function; generalized Gaussian distribution

0 引 言

傳統(tǒng)模式識別方法都是在樣本數(shù)目足夠多的前提下進(jìn)行研究的，所提出的各種方法只有在樣本數(shù)趨于無窮大時(shí)其性能才能有理論上的保證。然而在許多實(shí)際應(yīng)用中樣本數(shù)目通常是有限的，如何在有限樣本情況下使得到的分類器能夠具有較好的分類性能和泛化性能，支持向量機(jī)(Support Vector Machine，SVM)的出現(xiàn)為解決這一問題提供了新思路。

SVM是20世紀(jì)90年代由Vapnik等人提出的一種新的學(xué)習(xí)機(jī)[1]，它擁有較好的推廣能力和非線性處理能力，尤其在處理高維數(shù)據(jù)時(shí)，可有效地解決“維數(shù)災(zāi)難”問題，在人臉檢測、網(wǎng)頁分類、數(shù)據(jù)融合、函數(shù)估計(jì)等領(lǐng)域得到了廣泛應(yīng)用[2]。由于SVM 是一種基于核的機(jī)器學(xué)習(xí)方法，核函數(shù)決定了學(xué)習(xí)機(jī)的復(fù)雜度，所以核及相關(guān)參數(shù)選擇得好壞直接影響到了SVM 的性能。對于一個(gè)選定的核函數(shù)來講，其參數(shù)選擇方法目前已有一些研究[3-6]，其中交叉驗(yàn)證法(Cross-Validation)或留一法(Leave-One-Out)被認(rèn)為是較為準(zhǔn)確的方法[7]，但其計(jì)算復(fù)雜度較高。Amari和Wu等基于由核函數(shù)導(dǎo)出的黎曼幾何結(jié)構(gòu)[8]，提出了一種保形變換的方法，并將這一方法運(yùn)用在高斯核函數(shù)上，取得了較好的實(shí)驗(yàn)結(jié)果。但是高斯核函數(shù)期望風(fēng)險(xiǎn)較高，并且要求的支持向量個(gè)數(shù)較多，所以在此提出一種改進(jìn)的高斯核函數(shù)方法。

本文對雷達(dá)目標(biāo)的高分辨一維距離像(High Resolution Range Profile，HRRP)目標(biāo)識別算法做了深入研究。通常用于目標(biāo)識別的樣本數(shù)目很有限，因此目標(biāo)高分辨距離像識別大多數(shù)情況下是一典型的高維數(shù)、小樣本問題。

1 支持向量機(jī)

支持向量機(jī)算法是在訓(xùn)練樣本的特征空間求取能把兩類樣本沒有錯(cuò)誤分開的最大間隔超平面，在數(shù)學(xué)上表示為一個(gè)凸二次規(guī)劃的問題。也可以說算法求解的主要內(nèi)容是通過求解二次規(guī)劃(QP)問題，這個(gè)優(yōu)化問題的求解是支持向量機(jī)算法的核心，可以說支持向量機(jī)的算法就得到了實(shí)現(xiàn)[9-10]。

(1) 最優(yōu)超平面 SVM方法是根據(jù)線性可分情況下的最優(yōu)分類面(Optimal Hyper Plane)提出的。設(shè)線性可分樣本集為:

這個(gè)平面將兩類樣本沒有錯(cuò)誤地分開，并且使得離分類面最近的樣本到分類面的距離最大，即分類間隔最大，等價(jià)于使‖w‖2最小，w為分類面的法向量。然而要求分類面對所有樣本的正確分類，約束條件為:

yi(w#8226;xi+b)-1≥0， i=1，2，…，n

(3)

因此，滿足上述條件且使得‖w‖2最小的分類面就是最優(yōu)分類面。兩類樣本中離分類面最近的點(diǎn)且平行于最優(yōu)分類面的超平面H1，H2上的訓(xùn)練樣本就是式(3)中使等號成立的那些樣本叫做支持向量。最優(yōu)分類面可以表示為如下約束的優(yōu)化問題，即在式(3)的約束下求函數(shù)為:

φ(w)=12‖w‖2=12(w#8226;w)

(4)

的最小值。為此，可以定義如下的拉格朗日函數(shù):

L(w，b，a)=12‖w‖2-∑ni=1ai[yi(w#8226;x+b)-1]

(5)

式中:ai>0為拉格朗日系數(shù)。

把原問題轉(zhuǎn)化為如下較簡單的對偶問題:



max Q(a)=∑ni=1ai-12∑ni=1，j=1aiajyiyj(xi，xj)

(6)

式中:∑ni=1yiai=0，ai≥0，i=1，2，…，n。

(2) 非線性SVM上面討論的是最優(yōu)和廣義線性分類函數(shù)，要解決一個(gè)特征空間中的最優(yōu)線性分類問題，只需知道這個(gè)空間中的內(nèi)積運(yùn)算即可。按照廣義線性判別函數(shù)的思路，要解決一個(gè)非線性問題，可以設(shè)法將它通過非線性變換轉(zhuǎn)換為另一個(gè)空間的線性問題，在這個(gè)變換空間求最優(yōu)或最廣義分類面。考慮Mercer條件:對于任意的對稱函數(shù)K(x，x′)，它是某個(gè)特征空間內(nèi)積運(yùn)算的充分必要條件，對于任意的φ(x)恒不為0，且∫φ2(x)dx<∞，有K(x，y)φ(x)φ(y)dxdy>0，顯然這一條件不難滿足[11]。如果用內(nèi)積K(x，y)代替最優(yōu)分類面的點(diǎn)積，就相當(dāng)于把原特征空間變換到了某一新的特征空間，此時(shí)的支持向量機(jī)為:

max Q(a)=∑ni=1ai-12∑ni=1，j=1aiajyiyjK(xi，xj)

(7)

式中:∑ni=1yiai=0，C≥ai≥0，i=1，2，…，n;C為某個(gè)指定的常數(shù)。它起控制錯(cuò)分樣本懲罰程度的作用，實(shí)現(xiàn)在錯(cuò)分樣本的比例與算法復(fù)雜度之間的折衷。

相應(yīng)的判別函數(shù)也應(yīng)變?yōu)?

f(x)=sgn[∑ni=1a*iyiK(xi，x)+b*]

(8)

式中:a*i為最優(yōu)解;b*為分類閾值，它由一個(gè)支持向量得到，也可通過兩類中任意一對支持向量取中值。

對于給定的訓(xùn)練數(shù)據(jù)集，其數(shù)據(jù)分布的幾何特征可能是預(yù)先已知的，常見的有高斯分布、圓形分布、圓環(huán)分布、柱狀分布等。對于這類有規(guī)律的數(shù)據(jù)集，可以構(gòu)造相應(yīng)的核函數(shù)來訓(xùn)練SVM，以提高SVM的泛化能力。然而更多的情況是預(yù)先不知道訓(xùn)練數(shù)據(jù)集的分布特征，因此希望構(gòu)造一些算法，給出數(shù)據(jù)分布的一個(gè)近似，把它作為SVM核函數(shù)及參數(shù)選擇的一項(xiàng)重要參考指標(biāo)，從而提高SVM的泛化能力。對于那些確實(shí)無法判斷其幾何分布的訓(xùn)練數(shù)據(jù)集，在SVM訓(xùn)練過程中，選用常用的高斯核函數(shù)或多項(xiàng)式核函數(shù)。

雷達(dá)目標(biāo)的高分辨一維距離像是目標(biāo)多散射中心在雷達(dá)徑向距離上的一維分布圖，反映了這些散射中心的散射強(qiáng)度和相對位置等目標(biāo)特征信息。在特定姿態(tài)角下，目標(biāo)的一維距離像可以由下面的離散數(shù)學(xué)式來表示:

x(t)=∑Pp=1∑M2m=-M1xpmδ(-m)(t-tp)

(9)

式中:p為目標(biāo)上散射中心的個(gè)數(shù);M1，M2為各散射中心的微分(隨頻率增大)或積分(隨頻率減小)的階數(shù);xpm為各散射中心的幅度;tp為各散射中心的時(shí)延。

雷達(dá)目標(biāo)的高分辨一維距離像反映出目標(biāo)散射中心的強(qiáng)度和相對位置等目標(biāo)特征信息，為物理結(jié)構(gòu)特征相似的復(fù)雜目標(biāo)分類提供了必要的信息來源。

2 判斷數(shù)據(jù)呈高斯分布的方法

廣義高斯分布(GGD)是一類以Gaussian分布、Laplacian分布為特例，以δ函數(shù)和均勻分布為極限形式的對稱分布。它在許多領(lǐng)域都有廣泛的應(yīng)用。

GGD的概率密度函數(shù)為:

f(x;μ，α，β)=α2βΓ(1/2)exp-x-μαβ，-∞

(10)

式中:μ，α>0，β分別為均值、形狀參數(shù)和尺度參數(shù);Γ(z)=∫+∞0e-ttz-1dt為Γ函數(shù);β=σΓ(1/α)/Γ(3/α);σ為標(biāo)準(zhǔn)差。

對于一組給定的訓(xùn)練樣本S={(x1，y1)，(x2，y2)，…，(xl，yl)}，本文提出一種確定樣本是否為高斯分布的方法，其主要步驟如下:

(1) 在平面內(nèi)，取m=k，將實(shí)軸分為k+1個(gè)區(qū)間。

(2) 考慮α，σ為未知參數(shù)，則統(tǒng)計(jì)量為V′=∑m+1i=1(vi-l′i)2l′i^。其中vi表示隨機(jī)數(shù)樣本落入第i段的個(gè)數(shù)(i=1，2，…，m+1);

p′i表示隨機(jī)數(shù)落入第i段的概率;l表示隨機(jī)數(shù)樣本總數(shù)。

(3) 先用極大似然法得到α，σ的估計(jì)，，由此得到p′i的估計(jì)′i，然后計(jì)算統(tǒng)計(jì)量V′。

(4) 若近似服從m-2的χ2分布，則該訓(xùn)練樣本服從GGD;反之，待測試數(shù)據(jù)不服從GGD。

通過分析給定訓(xùn)練樣本集，可得到數(shù)據(jù)的一個(gè)近似分布，本文將它作為核函數(shù)及參數(shù)選擇的一項(xiàng)重要參考指標(biāo)，以提高SVM的泛化能力。如果訓(xùn)練樣本集在輸入空間呈高斯分布，則相應(yīng)的SVM選擇高斯核函數(shù)，其中的參數(shù)α可在上述判定算法中獲得。

3 改進(jìn)的高斯核函數(shù)進(jìn)行高分辨距離像的研究

核函數(shù)是SVM 理論中尚未完全解決的問題，多數(shù)實(shí)驗(yàn)顯示多項(xiàng)式核、高斯核和 sigmoid 核有相近的分類性能。由于高斯核函數(shù)

K(x，xi)=exp(-x-xi/σ2)

具有較好的局域性，便于將算法擴(kuò)展到對多目標(biāo)分類的場合，因此文中選用高斯核函數(shù)并對其進(jìn)行改進(jìn)。支持向量機(jī)期望風(fēng)險(xiǎn)的上界:

E[Pr(error)]≤E(Ni)/(Nj-1)

(11)

式中:Ni為支持向量的個(gè)數(shù);Nj為訓(xùn)練矢量的個(gè)數(shù)。從式(11)可以看出，減少支持向量個(gè)數(shù)，可以減少期望風(fēng)險(xiǎn);提高SVM的推廣能力，提高目標(biāo)識別的性能。根據(jù)這個(gè)原理對高斯核函數(shù)進(jìn)行了改進(jìn):



K(x，xi)=Dexp(-x-xi/σ2)， D>1

(12)

令ε2=D，將式(12)代入式(7)得:

w(a)=∑li，j=1ai-1/2ε2∑aiajyiyjexp(-‖x-xi‖/σ2)

=∑li，j=1ai-1/2∑εaiyiεajyjexp(-‖x-xi‖/σ2)

(13)

令εai=βi，εaj=βj，式(13)將轉(zhuǎn)化為:

w(a)=∑li，j=1ai-1/2∑βiyiβjyjexp(-‖x-xi‖/σ2)

=∑li，j=1ai-1/2∑βiβjyiyjK(xi，xj)

(14)

這樣就增大式(7)中二次項(xiàng)系數(shù)的絕對值，從而減少了最優(yōu)值a的值及Ni的個(gè)數(shù)，提高了識別性能。

4 仿真分析

使用本文提出的算法對同一組高分辨距離像進(jìn)行幾何形狀檢測。數(shù)據(jù)都服從GGD分布，且在形狀測試中得到形狀參數(shù)σ=0.7;在數(shù)據(jù)實(shí)驗(yàn)中，隨機(jī)選取其中100個(gè)作為訓(xùn)練樣本，其他100個(gè)作為測試樣本;分別采用高斯核函數(shù)和多項(xiàng)式核函數(shù)對樣本進(jìn)行實(shí)驗(yàn)，在Matlab環(huán)境下，進(jìn)行了20次實(shí)驗(yàn)。

改進(jìn)高斯核函數(shù)的實(shí)驗(yàn)分析結(jié)果如圖1，圖2所示，它們分別指不同a取值下的分類精度、識別時(shí)間。它們有共同的規(guī)律:在a較小時(shí)，變化趨勢比較大;隨著a的增大，兩個(gè)指標(biāo)的變化趨勢都變緩慢。分類精度和識別時(shí)間隨著a的增大基本趨向一個(gè)穩(wěn)定值，特別是分類精度如表1所示，在a=5時(shí)達(dá)到最大值。在表2中可以看出，隨著獨(dú)立向量個(gè)數(shù)的增多，對高分辨距離像的平均識別率呈增大趨勢。這也就意味著在分類精度達(dá)到最大值的情況下，可以增加獨(dú)立向量的個(gè)數(shù)來提高平均識別率。

在圖3中，前100個(gè)樣本作為訓(xùn)練數(shù)據(jù)，后100個(gè)樣本作為測試數(shù)據(jù)，對高分辨距離像分別采用多項(xiàng)式核函數(shù)和改進(jìn)高斯核函數(shù)進(jìn)行分類。

圖3 對高分辨距離像采用兩種核函數(shù)進(jìn)行分類

從圖3中可以看出，對于服從GGD分布的數(shù)據(jù)集，使用高斯核函數(shù)且參數(shù)取0.7時(shí)的回歸效果明顯優(yōu)于多項(xiàng)式核函數(shù)情況。這些試驗(yàn)結(jié)果也同時(shí)表明基于SVM的高分辨率雷達(dá)目標(biāo)識別的識別性能相當(dāng)不錯(cuò)，是雷達(dá)目標(biāo)識別的一種重要的研究方向。

5 結(jié) 語

本文重點(diǎn)分析了樣本函數(shù)呈高斯分布的情況下，提出了改進(jìn)的高斯核函數(shù)方法，并在雷達(dá)高分辨距離像目標(biāo)識別中做了深入研究，采用改進(jìn)高斯核函數(shù)和多項(xiàng)式核函數(shù)兩種核函數(shù)進(jìn)行計(jì)算機(jī)仿真。試驗(yàn)結(jié)果證明，改進(jìn)的高斯核與傳統(tǒng)的高斯核相比，具有更低的方位角敏感性、訓(xùn)練數(shù)據(jù)更低的敏感性，從而驗(yàn)證了本文算法的有效性和合理性。

參 考 文 獻(xiàn)

[1]VAPNIK V. The essence of computational learning theory[M].張學(xué)工，譯.北京:清華大學(xué)出版社，2000.

[2]BURGES J C. A tutorial on support vector machines for pattern recognition[M]. Kluwer Academic Publishers，Boston，1999.

[3]WANG W J，XU Z B，LU W Z，et al. Determination of the spread parameter in the Gaussian kernel for classification and regression[J]. Neurocomputing，2003，55(3-4): 643-663.

[4]DUAN K B，KEETHI S，POO A N. Evaluation of simple performance measure for tuning SVM hyperparameters[J]. Neurocomputing，2003(51): 41-59.

[5]CHERKASSKY V，MA Y Q. Practical selection of SVM parameters and noise estimation for SVM regression[J]. Neural Networks，2004，17: 113-126.

[6]GOLDA C，SOLLICHB P. Modle selection for support vector machine classification[J]. Neurocomputing，2003(55): 221-249.

[7]GAVIN C，NICOLA T. Efficient leave-one-out cross-validtion of kernel fisher discriminant classifiers[J]. Pattern Recognition，2003(11): 2585-2592.

[8]AMARIS S，WU S. Improving support vector machine classifiers by modifying kernel functions[J].Neural Networks，1999(12): 783-789.

[9]CRISTIANINI N， SHAWE-TAYLOR J. An introduction to support vector machines and other kernel-based learning methods[M]. Cambridge:Cambridge University Press， 2000.

[10]BURGES C J C. A tutorial on support vector machines for pattern recognition[J]. Data Mining and Knowledge Discovery， 1998，2(2): 121-167.

[11]邊肇祺，張學(xué)工.模式識別[M].北京:清華大學(xué)出版社，1988.

作者簡介:

趙乃杰 男，1982年出生，山東人，研究生。研究方向?yàn)槔走_(dá)數(shù)據(jù)處理等領(lǐng)域。

李 輝 男，1968年出生，陜西人，教授，博士生導(dǎo)師。研究方向?yàn)槔走_(dá)數(shù)據(jù)處理、通信信號處理等領(lǐng)域。

金寶龍 男，1986年出生，吉林人，碩士生。研究方向?yàn)槔走_(dá)數(shù)據(jù)處理等領(lǐng)域。