摘 ?要：隨著科技的發(fā)展，數(shù)據(jù)分類問(wèn)題應(yīng)用在生活的多個(gè)方面，然而在面對(duì)龐大的數(shù)據(jù)時(shí)，往往采用壓縮過(guò)的稀疏數(shù)據(jù)，這就為分類模型的發(fā)展帶來(lái)了極大的挑戰(zhàn)。為了提高稀疏數(shù)據(jù)分類的準(zhǔn)確性和正確率，提出了基于稀疏邏輯回歸的鏈接神經(jīng)網(wǎng)絡(luò)模型，由此構(gòu)建成可靠的分類模型。以兩類數(shù)據(jù)作為研究對(duì)象，首先進(jìn)行數(shù)據(jù)預(yù)處理，再提取出數(shù)據(jù)特征對(duì)其進(jìn)行分類。研究結(jié)果表明，分類模型不僅可以應(yīng)用于稀疏數(shù)據(jù)，而且正確率較神經(jīng)網(wǎng)絡(luò)模型的結(jié)果有所提升，手寫字的正確率從90.1%提高到94.86%，聲音分類的正確率從70.3%提高到74.4%，證實(shí)該模型有效。

關(guān)鍵詞：邏輯回歸;稀疏性;神經(jīng)網(wǎng)絡(luò);多分類

中圖分類號(hào)：TP391 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： With the development of science and technology， data classification is applied in many aspects of life. However， when facing huge data， compressed sparse data is often used， which brings great challenges to the development of classification models. In order to improve the precision and accuracy of sparse data classification， this paper proposes a link neural network model based on sparse logistic regression， so to build a reliable classification model. Taking two types of data as research object， data is preprocessed first， and then data features are extracted to classify them. The research results show that the classification model proposed in this paper can not only be applied to sparse data， but the accuracy is improved compared with the results of the neural network model. Accuracy of handwriting has increased from 90.1% to 94.86%， and accuracy of sound classification has increased from 70.3% to 74.4%， which proves that the model is effective.

Keywords： logistic regression; sparsity; neural network; multi-classification

1 ? 引言（Introduction）

在現(xiàn)代數(shù)據(jù)分析中，具有挑戰(zhàn)性的熱點(diǎn)問(wèn)題是從看似不足的數(shù)據(jù)量中恢復(fù)高維的信號(hào)，即數(shù)據(jù)的稀疏表示，這類問(wèn)題在多個(gè)領(lǐng)域都有所涉及，例如壓縮感知、稀疏近似和低秩矩陣恢復(fù)。本文受文獻(xiàn)[1]1-Bit壓縮感知中邏輯回歸模型的收斂性以及可行性證明的啟發(fā)，利用邏輯回歸模型并結(jié)合稀疏性對(duì)實(shí)際應(yīng)用問(wèn)題進(jìn)行研究。邏輯回歸是最基本的回歸形式，也是常用的分類方法。

現(xiàn)代生活的各個(gè)方面都離不開(kāi)“分類”這一概念，應(yīng)用邏輯回歸模型解決分類問(wèn)題備受研究者的關(guān)注，應(yīng)用于圖片分類[2]、醫(yī)學(xué)診斷[3]等多個(gè)領(lǐng)域。本文對(duì)手寫字和海洋哺乳動(dòng)物數(shù)據(jù)集進(jìn)行分類，海洋哺乳動(dòng)物選取大西洋點(diǎn)斑原海豚、弓頭鯨等10類作為研究對(duì)象，通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)分類數(shù)據(jù)集進(jìn)行訓(xùn)練之后的訓(xùn)練集再進(jìn)行邏輯回歸模型訓(xùn)練的多分類實(shí)驗(yàn)，從而提高正確率。

2 ? 邏輯回歸模型（Logistic regression model）

2.1 ? 基本邏輯回歸模型

回歸問(wèn)題通常被分為兩種形式：線性回歸和邏輯回歸[4-5]。在統(tǒng)計(jì)學(xué)方面，線性回歸通常用于預(yù)測(cè)分析。它在數(shù)學(xué)模型上決定了一個(gè)或多個(gè)自變量與一個(gè)因變量之間在線性關(guān)系中的程度。第二種類型的回歸分析是邏輯回歸[6]，這也是本文要關(guān)注和進(jìn)行分析的。邏輯回歸雖然命名為回歸，但實(shí)際上是一種線性模型的分類器。在這個(gè)模型中，描述單個(gè)試驗(yàn)可能結(jié)果的概率是用一個(gè)邏輯函數(shù)來(lái)建模的，用來(lái)計(jì)算或預(yù)測(cè)二進(jìn)制事件是否發(fā)生的概率。作為一個(gè)最優(yōu)化問(wèn)題，彈性網(wǎng)正則化是和的組合，并最小化以下代價(jià)函數(shù)：

3 ? 實(shí)驗(yàn)（Experiment）

本文運(yùn)用上文中基于稀疏性的邏輯回歸模型進(jìn)行手寫字和海洋哺乳動(dòng)物的分類，但是分類結(jié)果并沒(méi)有預(yù)想的結(jié)果好，還有待提高。故由此引入了神經(jīng)網(wǎng)絡(luò)的概念，將神經(jīng)網(wǎng)絡(luò)訓(xùn)練后的數(shù)據(jù)與稀疏性邏輯回歸模型相鏈接，經(jīng)過(guò)實(shí)驗(yàn)證實(shí)，正確率有了大大提高。

3.1 ? 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是目前在國(guó)內(nèi)外很受歡迎的機(jī)器學(xué)習(xí)技術(shù)[8]，也是深度學(xué)習(xí)的基礎(chǔ)，主要包括輸入層、輸出層和隱藏層。輸入層和輸出層中的神經(jīng)元個(gè)數(shù)固定不變，隱藏層可以根據(jù)需要作出調(diào)整。本文選用的模型包含兩層隱藏層，為四層神經(jīng)網(wǎng)絡(luò)，與兩層神經(jīng)網(wǎng)絡(luò)相比參數(shù)較多，也意味著有較強(qiáng)的模擬能力。神經(jīng)網(wǎng)絡(luò)的本質(zhì)目的就是建模特征與目標(biāo)之間的函數(shù)關(guān)系，當(dāng)參數(shù)變多時(shí)，模擬出的函數(shù)會(huì)更加復(fù)雜，也會(huì)有足夠的容量去擬合特征與目標(biāo)之間真正的關(guān)系。

各層神經(jīng)元之間相連接，每一個(gè)連接上都設(shè)置權(quán)重，若想將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法達(dá)到最優(yōu)值，通過(guò)調(diào)整權(quán)重的值即可，從而使預(yù)測(cè)結(jié)果達(dá)到最精準(zhǔn)。在已知輸入和參數(shù)、時(shí)，就會(huì)通過(guò)下列各式得出輸出值：

其中為激活函數(shù)，經(jīng)常會(huì)被用到的激活函數(shù)包括Sgn函數(shù)、Sigmoid函數(shù)、Relu函數(shù)。本文中將使用Relu函數(shù)，其為分段線性函數(shù)，與其他函數(shù)相比具有較好的收斂性，從而使預(yù)測(cè)結(jié)果更好。其表達(dá)式為，當(dāng)≤時(shí)，;當(dāng)時(shí)，。

3.2 ? 基于稀疏性的邏輯回歸鏈接神經(jīng)網(wǎng)絡(luò)模型

本文以手寫字和海洋哺乳動(dòng)物分類為例，手寫字的總樣本中訓(xùn)練集有12，500 個(gè)數(shù)據(jù)，測(cè)試集有2，000 個(gè)數(shù)據(jù);海洋哺乳動(dòng)物聲音的總樣本中訓(xùn)練集有700余個(gè)數(shù)據(jù)，其中每種海洋哺乳動(dòng)物聲音各50 個(gè)左右;測(cè)試集有190 個(gè)數(shù)據(jù)。本文的數(shù)據(jù)集取材于Kesci中的相關(guān)數(shù)據(jù)，截取了10類海洋哺乳動(dòng)物聲音對(duì)比度、色度和音頻特征等特征的數(shù)據(jù)值，再對(duì)這些數(shù)據(jù)通過(guò)編號(hào)、降維、擬合和轉(zhuǎn)換等過(guò)程整理成我們需要的數(shù)據(jù)，并將類別向量轉(zhuǎn)換成二進(jìn)制矩陣類型，為后續(xù)的分類訓(xùn)練做準(zhǔn)備。

首先利用Keras搭建包含兩層隱藏層的四層神經(jīng)網(wǎng)絡(luò)來(lái)解決多分類問(wèn)題，讀取訓(xùn)練之后的數(shù)據(jù)，將其轉(zhuǎn)化為稀疏矩陣。此時(shí)要注意的是，通過(guò)Dropout函數(shù)得到稀疏數(shù)據(jù)時(shí)，需要把讀取到的數(shù)據(jù)復(fù)制100 遍，才能保證分類時(shí)數(shù)據(jù)被正確訓(xùn)練。得到稀疏矩陣之后再通過(guò)邏輯回歸分類器進(jìn)行訓(xùn)練，從而得到我們希望的分類結(jié)果。本文的核心實(shí)驗(yàn)代碼如表1所示。

3.3 ? 分類結(jié)果

本實(shí)驗(yàn)比較了只進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練和神經(jīng)網(wǎng)絡(luò)與邏輯回歸相鏈接分類時(shí)的正確率和模型損失，手寫字的正確率從90.1%提高到94.86%，海洋哺乳動(dòng)物分類的正確率從70.3%提高到74.4%?？梢钥闯?，進(jìn)行兩次分類訓(xùn)練的結(jié)果是較好的，經(jīng)過(guò)后續(xù)實(shí)驗(yàn)也可以反映出數(shù)據(jù)集的數(shù)據(jù)量越大，正確率提高得越明顯。我們用一張對(duì)比圖可以清晰地看出在添加邏輯回歸模型之前與添加之后正確率的變化，如圖1所示。

以下展示了應(yīng)用兩種模型對(duì)手寫字進(jìn)行分類的正確率結(jié)果，如圖2和圖3所示。

以下展示了應(yīng)用兩種模型對(duì)海洋哺乳動(dòng)物進(jìn)行分類的正確率結(jié)果，如圖4和圖5所示。

4 ? 結(jié)論（Conclusion）

本文主要探討了邏輯回歸模型，并利用這一模型結(jié)合稀疏性進(jìn)行分析。核心內(nèi)容稀疏性邏輯回歸模型經(jīng)過(guò)本文中的實(shí)驗(yàn)證實(shí)，嵌入神經(jīng)網(wǎng)絡(luò)可以明顯提高正確率，因而在今后的分類問(wèn)題當(dāng)中也可以有效被運(yùn)用。在今后的研究中，可以加強(qiáng)稀疏性在程序運(yùn)行方面的設(shè)置，并且運(yùn)用多種方法與神經(jīng)網(wǎng)絡(luò)模型相鏈接并進(jìn)行比較，選取正確率較高的鏈接模型。

參考文獻(xiàn)（References）

[1] PLAN Y， VERSHYNIN R. Robust 1-bit compressed sensing and sparse logistic regression： A convex programming approach[J]. IEEE Transactions on Information Theory， 2012（7）：13-15.

[2] CAO F X， YANG Z J， REN J C， et al. Extreme sparse multinomial logistic regression： A fast and robust framework for hyperspectral image classification[J]. Remote Sensing， 2017， 9（12）：1255-1269.

[3] 劉蕾.基于邏輯回歸算法的乳腺癌診斷數(shù)據(jù)分類研究[J].軟件工程，2018，21（2）：21-23.

[4] FAN J， HECKMAN N. Local polynomial kernel regression for generalized linear models and quasi-likelihood functions[J]. Journal of the American Statistics Association， 1995， 90（429）：141-150.

[5] 王正存，肖中俊，嚴(yán)志國(guó).邏輯回歸分類識(shí)別優(yōu)化研究[J].齊魯工業(yè)大學(xué)學(xué)報(bào)，2019，33（5）：47-52.

[6] 王鵬.面向不平衡數(shù)據(jù)分類問(wèn)題的核邏輯回歸算法的設(shè)計(jì)與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2015.

[7] CAI T， XU G. Shifting inequality and recovery of sparse signals[J]. IEEE Transactions on Signal Processing， 2010， 58（3）：1300-1308.

[8] 邢珍珍.卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用研究[J].軟件工程，2019，22（6）：5-7.

作者簡(jiǎn)介：

常鈺迪（1996-），女，碩士生.研究領(lǐng)域：壓縮感知，稀疏恢復(fù).