陳芝

摘 要：Logistic線性回歸算法是一種簡(jiǎn)單而高效的二分類器，它能夠針對(duì)每個(gè)參數(shù)生成對(duì)應(yīng)的分類系數(shù)，最后結(jié)合系數(shù)計(jì)算出所在類別的概率；同時(shí)模擬退火算法是一種較好的全局尋優(yōu)算法。在門店分類中考慮到各個(gè)參數(shù)的不同權(quán)重，因此使用模擬退火算法來(lái)尋找適當(dāng)?shù)膮?shù)權(quán)重以期望得到最好Logistic分類結(jié)果。最后通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證算法的準(zhǔn)確率。

關(guān)鍵詞：Logistic線性回歸 模擬退火 門店分類

中圖分類號(hào)：TP301.6 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2016）06（b）-0092-02

分類算法屬于預(yù)測(cè)式數(shù)據(jù)挖掘的一種數(shù)據(jù)分析方法，其目的是根據(jù)重要樣本數(shù)據(jù)集找出能準(zhǔn)確描述并區(qū)分?jǐn)?shù)據(jù)類或概念的模型，以便依據(jù)實(shí)體的屬性值及約束條件將其劃分到某個(gè)數(shù)據(jù)類別中去。Logistic回歸分析主要用在社會(huì)科學(xué)中，目前有將粗糙集與Logistic回歸進(jìn)行結(jié)合構(gòu)造分類模型如文獻(xiàn)[2]，文獻(xiàn)[3]中提出的集成Logistic和SVM的分類模等。而模擬退火則作為一種有效的全局尋優(yōu)算法，目前主要是將其和其他算法結(jié)合以改進(jìn)尋優(yōu)的質(zhì)量或者將模擬退火算法使用的特定的領(lǐng)域進(jìn)行參數(shù)優(yōu)化。

在現(xiàn)在的商業(yè)系統(tǒng)中，門店分類是一個(gè)比較新的研究領(lǐng)域。在廠家的銷售過(guò)程中，經(jīng)常會(huì)將門店劃分為不同的等級(jí)，例如汽車行業(yè)的旗艦店，4S店等的區(qū)別。當(dāng)?shù)昝鏀?shù)量較少時(shí)可以采用人工劃分，但具有很強(qiáng)的主觀因素。因此考慮到在已有正確劃分的店面的基礎(chǔ)上運(yùn)用一種好的分類方法，設(shè)計(jì)出分類器后在對(duì)未劃分的店面進(jìn)行自動(dòng)劃分。

1 基本知識(shí)

1.1 Logistic線性回歸

Logistic回歸延伸了多元線性回歸思想，即因變量yi是二值（為了方便起見(jiàn)通常設(shè)這些值為0和1）的情形。和在多元線性回歸中一樣，自變量X=[x1，x2， …，xk ]可以是類別變量或連續(xù)變量或是兩種類型的混合。在該文中我們主要使用Logistic進(jìn)行二分類。Logistic函數(shù)公式如式（1），通過(guò)似然概率估計(jì)就可以計(jì)算出β=[β0，β1，…，βp ]，最后使用Logistic函數(shù)來(lái)計(jì)算X分類的概率：

求解β的具體過(guò)程如下：

（1）隨機(jī)初始化β0值和迭代的次數(shù)M；

（2）使用式（7）進(jìn)行迭代得到βt+1；

（3）如果β值在一定步數(shù)內(nèi)不變或者迭代次數(shù)達(dá)到M就跳出否則跳轉(zhuǎn)到（2）。

當(dāng)求得β后則可以使用式（1）來(lái)對(duì)已知的數(shù)據(jù)X進(jìn)行分類概率的計(jì)算，當(dāng)計(jì)算出來(lái)的概率π（X） < 0.5時(shí)將X分到第0類中，否則X為第1類。

1.2 模擬退火算法

模擬退火（Simulated Annealing）算法經(jīng)常被用來(lái)求解全局最優(yōu)解。SA算法其實(shí)是一種貪心算法，但是它的搜索過(guò)程引入了隨機(jī)因素。模擬退火算法以一定的概率來(lái)接受一個(gè)比當(dāng)前解要差的解，因此有可能會(huì)跳出這個(gè)局部的最優(yōu)解，而求得全局的最優(yōu)解。模擬退火算法的偽代碼如下：

（1）隨機(jī)產(chǎn)生一個(gè)初始解X0，令Xbest = X0，并計(jì)算目標(biāo)函數(shù)值E（X0）；

（2）設(shè)置初始溫度T（0） = T0，迭代次數(shù)i= 1；

（3）Do while T（i） > Tmin

①for j = 1～k

②對(duì)當(dāng)前最優(yōu)解Xbest按照某一領(lǐng)域函數(shù)，產(chǎn)生一個(gè)新的解Xnew。計(jì)算新的目標(biāo)函數(shù)值E（Xnew），并計(jì)算目標(biāo)函數(shù)值的增量ΔE = E（Xnew） – E（Xbest）。

③如果ΔE < 0，則Xbest = Xnew；

④如果ΔE >0，則p = exp（-ΔE/T（i））；

i.如果 c = random[0，1] < p，Xbest = Xnew；否則Xbest = Xbest。

⑤End for

（4）i = i +1；

（5）End while；

（6）輸出當(dāng)前最優(yōu)點(diǎn)，計(jì)算結(jié)束。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)描述

本實(shí)驗(yàn)根據(jù)某鞋企的店面銷售數(shù)據(jù)來(lái)對(duì)店面進(jìn)行評(píng)級(jí)，店面的銷售數(shù)據(jù)信息格式如（D1，D2，D3，…，Dn，C）。Di表示第i種鞋子的銷售數(shù)據(jù)，Di的取值范圍變化比較大，從零到幾千的范圍都有可能。C表示此店面的等級(jí)，C的取值為0，1兩種。實(shí)驗(yàn)給出38條已分類的門店數(shù)據(jù)，實(shí)驗(yàn)的最終目的是通過(guò)這些數(shù)據(jù)來(lái)訓(xùn)練出一個(gè)分類模型。

2.2 算法設(shè)計(jì)

根據(jù)實(shí)際情況考慮給不同種類鞋子賦予不同的權(quán)重值，訓(xùn)練時(shí)先將每種鞋類的數(shù)量乘以數(shù)據(jù)權(quán)重值，再將修正后的數(shù)據(jù)用來(lái)訓(xùn)練Logistic線性回歸模型用來(lái)評(píng)定未知門店的等級(jí)。因此使用模擬退火算法來(lái)找到一組好的權(quán)重值是本實(shí)驗(yàn)中最關(guān)鍵的步驟。

2.3 數(shù)據(jù)預(yù)處理

在訓(xùn)練數(shù)據(jù)時(shí)先將原始數(shù)據(jù)進(jìn)行歸一化，通過(guò)歸一化可以把需要處理的數(shù)據(jù)限制在一定范圍。以保證程序在運(yùn)行Logistic線性回歸算法時(shí)加快收斂。

該文將每種鞋子的銷售數(shù)量采用式進(jìn)行歸一化。其中Dmin表示一種鞋的最小銷量，Dmax表示鞋的最大銷量，Dmin表示歸一化前鞋的銷量。歸一化后的銷售數(shù)量Dnew分布在0～10之間。

考慮到實(shí)驗(yàn)的數(shù)據(jù)數(shù)目比較小，實(shí)驗(yàn)中需要將數(shù)據(jù)按照2∶1的比例劃分出訓(xùn)練集和測(cè)試集，且采用多次驗(yàn)證求均值的方法，排除隨機(jī)分配出現(xiàn)的偶然性以保證驗(yàn)證時(shí)的準(zhǔn)確性。

2.4 算法流程

在數(shù)據(jù)預(yù)處理后，接下來(lái)就需要使用模擬退火算法結(jié)合Logistic線性回歸來(lái)尋找一組合適的數(shù)據(jù)權(quán)重值。

用一組包含n個(gè)數(shù)據(jù)的數(shù)據(jù)組i，初始的數(shù)據(jù)組是通過(guò)隨機(jī)函數(shù)來(lái)生成的。元組j是在它的前一個(gè)數(shù)據(jù)組的基礎(chǔ)上通過(guò)隨機(jī)函數(shù)選擇它中間的一個(gè)數(shù)據(jù)進(jìn)行+0.01或者-0.01的操作得到的。

適應(yīng)度的計(jì)算則是采用前面介紹的Logistic線性回歸來(lái)計(jì)算。將新產(chǎn)生的權(quán)重?cái)?shù)據(jù)與源數(shù)據(jù)相乘后得到新的新數(shù)據(jù)，然后利用新數(shù)據(jù)中的2/3來(lái)訓(xùn)練Logistic線性回歸，得到一個(gè)分類器。用剩下1/3的新數(shù)據(jù)來(lái)驗(yàn)證分類器的正確率。最終的正確率采用測(cè)試十次求平均值的方法求得。

經(jīng)過(guò)計(jì)算，最后得到一組包含n個(gè)數(shù)據(jù)的權(quán)重?cái)?shù)據(jù)組和一組包含n+1個(gè)數(shù)據(jù)的Logistic函數(shù)參數(shù)的數(shù)據(jù)組。

3 實(shí)驗(yàn)分析

在實(shí)驗(yàn)中發(fā)現(xiàn)使用實(shí)驗(yàn)中的訓(xùn)練數(shù)據(jù)得出的分類模型能夠?qū)Ⅱ?yàn)證數(shù)據(jù)進(jìn)行100%正確的分類。出現(xiàn)這樣的原因可能有如下幾點(diǎn)：（1）數(shù)據(jù)規(guī)模太小，使得驗(yàn)證數(shù)據(jù)不能很好地測(cè)試到數(shù)據(jù)可能的分布；（2）數(shù)據(jù)屬性太少，導(dǎo)致較少的測(cè)試數(shù)據(jù)就能很好地?cái)M合到線性回歸的參數(shù)。

針對(duì)上面的情況，在試驗(yàn)中將訓(xùn)練數(shù)據(jù)設(shè)置為數(shù)據(jù)集的45%，這樣就有更多的驗(yàn)證數(shù)據(jù)。同時(shí)通過(guò)調(diào)節(jié)初始溫度、溫度下降速度和內(nèi)層循環(huán)的次數(shù)來(lái)驗(yàn)證試驗(yàn)結(jié)果。在初始溫度較高，溫度下降速度較慢和內(nèi)存循環(huán)大于20的情況下，最后得到的權(quán)重?cái)?shù)據(jù)組趨向一個(gè)比較穩(wěn)定的數(shù)據(jù)，與剛開始隨機(jī)生成的數(shù)據(jù)權(quán)重?cái)?shù)據(jù)的關(guān)系更小。最后利用模擬退火得到的權(quán)重值對(duì)源數(shù)據(jù)進(jìn)行調(diào)整。通過(guò)比較發(fā)現(xiàn)，調(diào)整后的模型在準(zhǔn)確率上有一定程度的提高。

4 結(jié)語(yǔ)

通過(guò)該文的工作，得到了一個(gè)利用Logistic線性回歸改進(jìn)的模擬退火算法。利用此算法以期望尋找一組權(quán)重值，使得Logistic線性回歸的在門店分類中的準(zhǔn)確率得到提升。門店的分類作為商業(yè)運(yùn)作中重要的一種智能算法，以后可能得到更廣泛的應(yīng)用。

參考文獻(xiàn)

[1] 張軍，詹志輝.計(jì)算智能[M].北京：清華大學(xué)出版社，2009：195-201.

[2] 葉明全，伍長(zhǎng)榮，胡學(xué)鋼.一種集成粗糙集與Logistic回歸的分類模型[C].中國(guó)儀器儀表學(xué)會(huì)微型計(jì)算機(jī)應(yīng)用學(xué)會(huì)，2009.

[3] 謝玲.集成Logistic和SVM的分類算法研究[D].重慶：重慶大學(xué)，2011：39.

[4] WangZhi. Computing Maximun Likelihood Estimates for Logistic Regression Coefficients[J].Mathematical Theory and Applications，2009（4）：86-90.

[5] Ronghua Luo， Hansheng Wang.A Composite Logistic Regression Approach for Ordinal Panel Data Regresson[J].Data Analysis and Strategies，2008，1（1）：29-43.

[6] David W.Hosmer， Stanley Lemeshow. Applied Logistic regression[M].AWiley-Interscience Publication，2000.

[7] W Ben-Ameur.Computing the initial temperature of simulated annealing[J]. Computational Optimization and Applications，2004，29（3）：369-385.