梁禮明 郭 凱 盛校棋

(江西理工大學(xué)電氣工程與自動(dòng)化學(xué)院 江西 贛州 341000)

0 引 言

分形理論[1]是1973年由Mandelbrot為研究復(fù)雜無序而又具有某種規(guī)律的事物提出的。1986年，Bamsley提出了分形插值的概念，為分形的具體化提供了新的思想。分形插值理論將處理數(shù)據(jù)的復(fù)雜性與數(shù)據(jù)本身可規(guī)律化結(jié)合起來，來預(yù)測數(shù)據(jù)的走向、數(shù)據(jù)實(shí)值與區(qū)間值，已經(jīng)獲得較多成果并得到應(yīng)用[2]。數(shù)據(jù)的這些屬性具有不確定性和復(fù)雜性，分形插值利用已知數(shù)據(jù)點(diǎn)之間的關(guān)系，學(xué)習(xí)分析出潛在規(guī)律進(jìn)行自相似性延拓，經(jīng)過多次仿射系統(tǒng)迭代，可大大縮小樣本數(shù)據(jù)預(yù)測值與真實(shí)數(shù)據(jù)值之間的差距[3]，從而避免固定形式函數(shù)圖像偏離真實(shí)數(shù)據(jù)而引起的較大誤差。

對于分形插值的研究內(nèi)容主要是分形插值方法與分形維數(shù)。分形插值方法[1,3]不像傳統(tǒng)的數(shù)學(xué)插值函數(shù)或擬合函數(shù)是通過一組基函數(shù)的線性組合來表示，常用的基函數(shù)有多項(xiàng)式、有理函數(shù)和三角函數(shù)等初等函數(shù)，常用的分形插值方法是利用迭代函數(shù)系統(tǒng)[1,3](Iteration Function System,IFS)來實(shí)現(xiàn)的。擺脫傳統(tǒng)函數(shù)具有固定函數(shù)公式與圖像的形式，使得函數(shù)形式與圖像更加逼近數(shù)據(jù)的真實(shí)值，同時(shí)函數(shù)及圖像的形式具有較強(qiáng)的可塑性，有利于其在數(shù)據(jù)處理和擬合中的應(yīng)用。

核方法[4]利用內(nèi)積運(yùn)算將通過非線性映射到高維空間的低維線性不可分特征向量，轉(zhuǎn)化為低維輸入空間的核函數(shù)問題，巧妙避免了低維數(shù)據(jù)線性不可分與高維空間計(jì)算復(fù)雜度高的問題。隨著核方法研究的不斷深入，核方法不再局限于固定的核函數(shù)，核函數(shù)也被引入插值函數(shù)來擬合對象間的相似關(guān)系[5]。文獻(xiàn)[6]研究了核函數(shù)與插值函數(shù)的關(guān)系，Mercer定理要求核矩陣的半正定性，Shepard插值[7]利用距離倒數(shù)與統(tǒng)計(jì)學(xué)的原理確定核矩陣大大縮短了真實(shí)值與函數(shù)值的差距。對于插值擬合方法，訓(xùn)練樣本數(shù)據(jù)越大通過該方法確定的函數(shù)值越準(zhǔn)確。插值函數(shù)[8-10]在核方法中的應(yīng)用得到持續(xù)研究，通過插值的方法不斷擬合出與數(shù)據(jù)特性相近的核函數(shù)，但是這些方法局限性大。將初等函數(shù)設(shè)為基函數(shù)，其組合方式變化性太大，并且當(dāng)數(shù)據(jù)復(fù)雜度過大時(shí)，計(jì)算難度加大。然而分形插值利用數(shù)據(jù)間的自相似性，通過對已知數(shù)據(jù)訓(xùn)練得到迭代系統(tǒng)進(jìn)行經(jīng)驗(yàn)數(shù)據(jù)擬合。當(dāng)已知數(shù)據(jù)越多獲得的數(shù)據(jù)的自相似性越貼近事實(shí)，同時(shí)分形插值在函數(shù)擬合中對于越復(fù)雜的數(shù)據(jù)擬合效果越好[1]。小樣本數(shù)據(jù)由于特征的多樣性具有較高的復(fù)雜性，利用分形插值擬合出來的核函數(shù)可以最大限度貼合數(shù)據(jù)本身屬性。但是由于分形插值具有對數(shù)據(jù)的依賴性，每一個(gè)訓(xùn)練樣本需要確定一個(gè)分形函數(shù)，能夠使用滿足自身數(shù)據(jù)集要求的核函數(shù)。

1 理論基礎(chǔ)

1.1 支持向量機(jī)

定理1Mercer[4]定理。函數(shù)K是Rn×Rn→R的映射，且訓(xùn)練樣本{x1,x2,…,xn}通過函數(shù)K得到的核函數(shù)矩陣為對稱半正定矩陣，則函數(shù)K為有效核函數(shù)。

對于數(shù)據(jù)集D={(x1,y1),(x2,y2),…,(xn,yn)}，其中xn∈RN為輸入特征向量；yn為數(shù)據(jù)標(biāo)簽，即算法的評判指標(biāo)。

將上述數(shù)據(jù)集特征向量通過非線性函數(shù)φ由低維特征向量空間映射到高維空間。在高維空間中利用風(fēng)險(xiǎn)最小化原理與分類間隔最大化思想，通過二次規(guī)劃對高維空間特征向量進(jìn)行處理可表示為：

(1)

s.t.yi·(ω·φ(xi)+b)≥1-ζi

(2)

ζi≥0i=1,2,…,n

(3)

式中：ω為分類超平面的權(quán)值；b為分類超平面的偏值；ζi為非負(fù)松弛變量；C為懲罰參數(shù)。

通過求解上述問題的拉格朗日對偶，問題簡化為：

(4)

(5)

0≤ci≤Ci=1,2,…,n

式中：K(xi·xj)為滿足Mercer條件的核函數(shù)。因此可得最優(yōu)分類面的決策函數(shù)為：

(6)

上述分析可知，支持向量機(jī)利用核函數(shù)來表示數(shù)據(jù)集通過非線性函數(shù)φ將低維空間向量映射到高維空間向量之間的關(guān)系，進(jìn)而得到最優(yōu)分類面與決策函數(shù)并產(chǎn)生影響。

1.2 分形插值

分形插值函數(shù)同初等函數(shù)一樣，是具有幾何特征與科學(xué)的“公式”，但是與初等函數(shù)相比，分形插值關(guān)注的是集合，而不是單純的點(diǎn)。分形插值的整體思想更能切合數(shù)據(jù)本身特性。該方法擺脫了初等函數(shù)的固定形式，能夠更好地?cái)M合出與數(shù)據(jù)特征相近的函數(shù)。對于分形插值的定義及分形插值的確認(rèn)方法如下。

定義1任意數(shù)據(jù)集{(xi,yi)∈R2|i=1,2,…,N}，其中x0

定理2對于給定數(shù)據(jù)集{(xi,yi)|i=0,1,…,N}建立迭代函數(shù)系統(tǒng)IFS。IFS={R2;Wn,n=1,2,…,N}，其中Wn的仿射變換如下：

(7)

并且

(8)

即：

(9)

式(9)有四個(gè)方程五個(gè)參數(shù)，依據(jù)文獻(xiàn)[1]可設(shè)dn為自由參量，|dn|<1，令L=xN-x0，則：

(10)

定理3設(shè){N>1|N∈N*}，{R2;Wn,n=1,2,…,N}是數(shù)據(jù)集{(xn,yn)|n=0,1,…,N}的IFS，垂直定比因子dn滿足0≤dn<1(n=1,2,…,N)，則存在R2上等價(jià)于Euclid的度量d，使得這個(gè)IFS對應(yīng)于d是壓縮的。特別地，存在唯一一個(gè)非空緊集G?R2，使得：

(11)

式中：f:[x0,xN]→R是連續(xù)函數(shù)且滿足：

f(xn)=ynn=0,1,…,N

(12)

對于二維數(shù)據(jù)分形插值通過對已知點(diǎn)的分析建立迭代系統(tǒng)，利用迭代系統(tǒng)建立連續(xù)函數(shù)f。該方法通過已知點(diǎn)找到數(shù)據(jù)集的相似關(guān)系通過擴(kuò)展迭代找到集合內(nèi)其他點(diǎn)的值，充分發(fā)揮已知點(diǎn)的作用并能夠更好地找到符合條件的分形曲線。

1.3 基于分形插值核函數(shù)的構(gòu)造

1.3.1訓(xùn)練樣本內(nèi)積的確定

訓(xùn)練樣本內(nèi)積值在保障能夠反映同類樣本與異類樣本間的區(qū)別的同時(shí)要滿足Mercer性質(zhì)。文獻(xiàn)[6]證明了訓(xùn)練樣本的內(nèi)積值確定的矩陣K只需滿足半正定的要求即可，并且訓(xùn)練樣本間內(nèi)積值的大小對實(shí)驗(yàn)結(jié)果的影響并不大。因此本文選用1-0原則來區(qū)分同異類樣本，即同類樣本間的內(nèi)積標(biāo)記為1，異類樣本間的內(nèi)積標(biāo)記為0。該方法能夠有效地區(qū)分同異類樣本同時(shí)將同異類差距最大化。在分類超平面的角度分析，理論上可以將兩類超平面間的距離最大化進(jìn)而保證分類的準(zhǔn)確性。訓(xùn)練樣本間的內(nèi)積公式如下：

(13)

根據(jù)子空間原理與矩陣的基本原則，任意由訓(xùn)練樣本獲得的訓(xùn)練樣本內(nèi)積值矩陣K均可變成如下形式：

很明顯該矩陣為半正定矩陣，滿足Mercer性質(zhì)。傳統(tǒng)的核方法利用核函數(shù)確定核矩陣，例如線性核函數(shù)：K(x,y)=xTy+c，它是利用向量間的內(nèi)積及近鄰原則來確定向量間關(guān)系的。在理論上分析，該方法會因?yàn)榇嬖谳^大的交叉區(qū)域?qū)е洛e(cuò)分的可能性。而利用本文內(nèi)積值確定方法大大縮短了同類樣本的距離，同時(shí)拉大了異類樣本的距離，可以最大限度地避免錯(cuò)分的可能性。

核方法從本質(zhì)上是利用統(tǒng)計(jì)學(xué)的原理、近鄰原則與概率事件的結(jié)合。核方法通過核函數(shù)的形式對向量間的內(nèi)積進(jìn)行不定比例的縮放(即相似性度量)達(dá)到放大問題區(qū)域、縮小穩(wěn)定空間的目的，以更好地使用近鄰原則，再通過概率事件(即每一個(gè)訓(xùn)練樣本前的系數(shù)ω)與統(tǒng)計(jì)學(xué)原理對向量的類別進(jìn)行預(yù)測分類。因此如何選擇合適的核函數(shù)以達(dá)到預(yù)期目的至關(guān)重要。

1.3.2分形插值核函數(shù)

核函數(shù)在一定層面可以看作兩個(gè)數(shù)據(jù)點(diǎn)的相似度量[11]。核函數(shù)本質(zhì)是表達(dá)低維空間的數(shù)據(jù)映射到高維空間后的數(shù)據(jù)點(diǎn)之間的關(guān)系，而支持向量機(jī)通過計(jì)算已知數(shù)據(jù)點(diǎn)之間的關(guān)系建立分類面，再對未知數(shù)據(jù)點(diǎn)進(jìn)行預(yù)測。核函數(shù)主要是通過改變數(shù)據(jù)點(diǎn)之間關(guān)系來增大預(yù)測的準(zhǔn)確度。常用的核函數(shù)[12]有線性核函數(shù)、高斯核函數(shù)、多項(xiàng)式核函數(shù)和Sigmoid函數(shù)等，均通過擴(kuò)大局部數(shù)據(jù)點(diǎn)關(guān)系差，縮短另一部分?jǐn)?shù)據(jù)點(diǎn)關(guān)系差。理論上數(shù)據(jù)的親疏關(guān)系越明確則數(shù)據(jù)的分類精度越高，因此核函數(shù)主要是擴(kuò)大易錯(cuò)分空間的數(shù)據(jù)點(diǎn)的關(guān)系，核函數(shù)的選擇與參數(shù)的調(diào)節(jié)都是為了調(diào)節(jié)交叉空間數(shù)據(jù)與核函數(shù)坡度較大區(qū)域的關(guān)系[13]。本文針對交叉空間易錯(cuò)分構(gòu)建使用分形插值函數(shù)的分形插值核函數(shù)。

文獻(xiàn)[6]指出核矩陣的構(gòu)建只要滿足核矩陣半正定即可，不需要有固定的核函數(shù)。因此本文的分形插值核函數(shù)沒有固定的核函數(shù)，屬于隱性核函數(shù)。

在疾病診斷技術(shù)逐漸發(fā)展的形勢下，臨床針對胃部疾病檢查患者在進(jìn)行診斷期間，口服速溶胃腸超聲助顯劑超聲造影方法獲得廣泛應(yīng)用，其憑借無痛苦、無創(chuàng)以及便捷有效的優(yōu)點(diǎn)，使得臨床應(yīng)用接受度以及滿意度極為顯著，并且在應(yīng)用后通?？梢垣@得顯著胃部疾病診斷效果。胃部疾病檢查患者在選擇超聲助顯劑進(jìn)行口服后，于其胃腸道內(nèi)部會表現(xiàn)出點(diǎn)狀中等回聲的現(xiàn)象，并且形態(tài)分布均勻，從而可以將胃腸道超聲偽像顯著減少，針對胃壁病變具體程度、范圍、生長方式、腫物大小以及內(nèi)部結(jié)構(gòu)等可以進(jìn)行清晰顯示，并且同附近臟器表現(xiàn)出的系列關(guān)系可以進(jìn)行充分明確，此外針對胃腸功能加以動(dòng)態(tài)觀察后，最終可以就患者病情表現(xiàn)展開評估工作[4]。

對于給定的數(shù)據(jù)集{(x1,y1),(x2,y2),…,(xn,yn)}隨機(jī)選取一定量的訓(xùn)練樣本，要保證訓(xùn)練樣本中不同類別樣本的數(shù)量，進(jìn)而保證構(gòu)建的分形插值函數(shù)的準(zhǔn)確性。具體分段分形插值[14-15]公式如下：

(14)

式中：r為待測數(shù)據(jù)點(diǎn)與訓(xùn)練數(shù)據(jù)點(diǎn)的距離；rφ為異類標(biāo)簽對應(yīng)的最短距離；rφ′為同類標(biāo)簽對應(yīng)的最長距離；fIFS為通過訓(xùn)練樣本建立的分形插值函數(shù)。

分形插值函數(shù)的建立，訓(xùn)練樣本中任意數(shù)據(jù)點(diǎn)(xk,yk)與其他數(shù)據(jù)點(diǎn)建立距離同異類關(guān)系(ri,fi)，其中：

(15)

ri為數(shù)據(jù)點(diǎn)xi與數(shù)據(jù)點(diǎn)xk的距離。

以ri的大小值對距離關(guān)系進(jìn)行排序，找出rφ、rφ′的值對處于rφ、rφ′之間的距離關(guān)系利用式(7)-式(12)為每一個(gè)訓(xùn)練樣本構(gòu)建分形插值函數(shù)。

(16)

式中：r表示數(shù)據(jù)點(diǎn)x到數(shù)據(jù)點(diǎn)xj的距離。

(17)

2 實(shí) 驗(yàn)

本節(jié)對本文算法的性能與有效性進(jìn)行驗(yàn)證，實(shí)驗(yàn)仿真環(huán)境為MATLAB R2018a，運(yùn)行于Intel(R) Core(TM) i5-700/2.50 GHz、8 GB內(nèi)存，Windows 2007。本文實(shí)驗(yàn)隨機(jī)選取每組樣本的80%為訓(xùn)練樣本，其余為測試樣本。

2.1 算法比較

本節(jié)利用高斯核函數(shù)、線性核函數(shù)與本文算法通過UCI數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，驗(yàn)證本文算法的有效性。用于驗(yàn)證算法的數(shù)據(jù)集包括Breast Cancer Wisconsin(Diagnostic) Data Set、Wine Data Set、Glass Identification Data Set、User Knowledge Modeling Data Set、Iris Plants Data Set、Tic-Tac-Toe Endgame Data Set、Liver Disorders Data Set和Ionosphere Data Set八組數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果均采用十折交叉驗(yàn)證，高斯核函數(shù)[16]和線性核函數(shù)[17]的公式分別為：

K(x,xi)=e(-‖x-xi‖2/2σ2)

(18)

K(x,xi)=xTxi+c

(19)

實(shí)驗(yàn)數(shù)據(jù)集信息如表1所示。本文算法與兩種對比方法的比較結(jié)果如表2所示。圖1所示為不同算法在八個(gè)數(shù)據(jù)集上的分類效果，其中x軸的1-8分別代表數(shù)據(jù)集Breast Cancer Wisconsin(Diagnostic)、Wine、Glass Identification、User Knowledge Modeling、Iris Plants、Tic-Tac-Toe Endgame、Liver Disorders和Ionosphere。

表1 數(shù)據(jù)集

表2 3種算法的分類比較

圖1 不同算法分類效果比較

對表1和表2分析可知，當(dāng)數(shù)據(jù)的特征數(shù)量越多時(shí)，本實(shí)驗(yàn)的精度提升越大，相反特征數(shù)量越少精度提升越不明顯，由此論證了本文之前提到的分形插值的特點(diǎn)：數(shù)據(jù)的復(fù)雜度越高，分形插值函數(shù)越逼近真實(shí)函數(shù)。由圖1可以明顯地看出，本文算法相較于高斯核函數(shù)和線性核函數(shù)有較大的精度優(yōu)勢，并且不同類型的核函數(shù)，其度量特征各異，本文算法可克服核函數(shù)選擇與參數(shù)設(shè)置的影響。

2.2 同數(shù)據(jù)對比實(shí)驗(yàn)

本實(shí)驗(yàn)通過對同一數(shù)據(jù)下不同數(shù)量的訓(xùn)練樣本進(jìn)行實(shí)驗(yàn)。比較不同數(shù)量的訓(xùn)練樣本對實(shí)驗(yàn)結(jié)果的影響。本實(shí)驗(yàn)數(shù)據(jù)來自UCI的Iris Plants Data Set，本實(shí)驗(yàn)將鳶尾花的訓(xùn)練樣本數(shù)量分別設(shè)為10、20、30、40和50，測試數(shù)量為100，通過5次實(shí)驗(yàn)取平均值的方法來測試比較本文算法與高斯核函數(shù)、線性核函數(shù)在同等的條件下，隨著訓(xùn)練樣本數(shù)量變化，分類準(zhǔn)確率的變化，結(jié)果如表3和圖2所示。

表3 鳶尾花分類準(zhǔn)確率結(jié)果

圖2 鳶尾花不同數(shù)量訓(xùn)練樣本分類精度

由圖2可以看出，隨著訓(xùn)練樣本的增多，高斯核函數(shù)與線性核函數(shù)先增長后逐漸持平，而本文算法緩慢增長且精度高于另兩個(gè)算法。該實(shí)驗(yàn)的結(jié)果表明，隨著訓(xùn)練樣本數(shù)據(jù)的增多，通過分形插值方法擬合的數(shù)據(jù)集的分形插值函數(shù)與數(shù)據(jù)本身特性更貼切。因此本文算法優(yōu)于傳統(tǒng)核函數(shù)算法。

2.3 與相關(guān)文獻(xiàn)比較

本實(shí)驗(yàn)在近幾年支持向量機(jī)核函數(shù)文獻(xiàn)中隨機(jī)選取文獻(xiàn)的數(shù)據(jù)集及實(shí)驗(yàn)結(jié)果。選取文獻(xiàn)[18-19]的部分?jǐn)?shù)據(jù)集并利用本文算法進(jìn)行仿真實(shí)驗(yàn)。其中使用的數(shù)據(jù)集有Haberman Data Set、Ionosphere Data Set、Energy Efficiency、Sonar Data Set、Cancer Data Set，通過本文算法為各個(gè)樣本數(shù)據(jù)建立分段分形插值，然后得到分類結(jié)果。本文算法與其他文獻(xiàn)方法的分類結(jié)果比較見表4。

表4 算法分類精度比較

可以看出，在上述五組數(shù)據(jù)集中本文算法的實(shí)驗(yàn)結(jié)果皆優(yōu)于文獻(xiàn)[18-19]的分類精度，故本文算法有很好的參考意義。

3 結(jié) 語

本文利用分形插值思想、分段函數(shù)和概率分布，并結(jié)合相似度量特性充分發(fā)揮數(shù)據(jù)集本身度量特性，提出了一種基于分形插值的支持向量機(jī)核函數(shù)構(gòu)造的方法。通過每個(gè)訓(xùn)練樣本與其他樣本之間的關(guān)系，為每一個(gè)訓(xùn)練樣本建立合適的核函數(shù)，打破了固定核函數(shù)的模式與Shepard插值核函數(shù)大數(shù)統(tǒng)計(jì)學(xué)概率的模式。通過建立數(shù)據(jù)間的關(guān)系擬合出合適的函數(shù)關(guān)系圖像，擺脫了核函數(shù)選擇與參數(shù)設(shè)置的繁瑣與影響。通過對UCI數(shù)據(jù)的仿真實(shí)驗(yàn)對比，論證了本文算法的可行性。但是本文算法仍有不足之處，由于沒有固定函數(shù)公式，訓(xùn)練樣本時(shí)需要確定每個(gè)樣本的迭代系統(tǒng)，在確定測試樣本值時(shí)需要通過IFS迭代仿射確定，因此本文算法計(jì)算的復(fù)雜度較高，運(yùn)行時(shí)間較長。此外，本文利用特征向量間的距離為相似度量關(guān)系，在傳統(tǒng)核函數(shù)中線性核函數(shù)和多項(xiàng)式核函數(shù)是通過對特征向量內(nèi)積的度量方式來衡量數(shù)據(jù)間的關(guān)系。同時(shí)多核核函數(shù)多是以線性核函數(shù)、高斯核函數(shù)和多項(xiàng)式核函數(shù)為基核函數(shù)。因此使用不同的特征向量間的相似度量關(guān)系進(jìn)行核函數(shù)分類實(shí)驗(yàn)及多種度量關(guān)系結(jié)合在一起的方式進(jìn)行仿真實(shí)驗(yàn)是未來研究的主要任務(wù)。