胡 峰，周 耀，王 蕾

(重慶郵電大學(xué) 計(jì)算智能重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

基于鄰域粗糙集的主動(dòng)學(xué)習(xí)方法

胡 峰，周 耀，王 蕾

(重慶郵電大學(xué) 計(jì)算智能重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

主動(dòng)學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的重要研究方向。現(xiàn)有主動(dòng)學(xué)習(xí)方法通常選擇不確定性的或具有代表性的樣本供專(zhuān)家打標(biāo)，然后添加到已標(biāo)記的數(shù)據(jù)集中供分類(lèi)器學(xué)習(xí)，但沒(méi)能充分利用數(shù)據(jù)的分布信息，并且在野點(diǎn)采集問(wèn)題上有待改進(jìn)。結(jié)合鄰域粗糙集理論，提出了一種基于鄰域粗糙集的主動(dòng)學(xué)習(xí)方法(neighhbor rough set active learning，NRS-AL)。實(shí)驗(yàn)結(jié)果表明，在加州大學(xué)數(shù)據(jù)集(university of CaliforniaIrvine，UCI)上，該算法充分利用了數(shù)據(jù)的分布信息，同時(shí)結(jié)合樣本的不確定性和代表性計(jì)算，處理了野點(diǎn)的選擇，是一種能有效解決主動(dòng)學(xué)習(xí)樣本選擇問(wèn)題的算法，在accuracy，受試者工作特征(receiver operating characteristic curve，ROC)曲線(xiàn)下面的面積(area under curve，AUC)指標(biāo)上優(yōu)于文獻(xiàn)中的主動(dòng)學(xué)習(xí)算法。

鄰域粗糙集；主動(dòng)學(xué)習(xí)；基于池的樣本選擇

0 引 言

在傳統(tǒng)監(jiān)督學(xué)習(xí)問(wèn)題中，通常給定有標(biāo)記的樣本作為訓(xùn)練集，學(xué)習(xí)算法以此訓(xùn)練出分類(lèi)模型。在真實(shí)的數(shù)據(jù)分析場(chǎng)景下，雖然我們可以輕松獲得海量的數(shù)據(jù)，但是這些數(shù)據(jù)都是沒(méi)有標(biāo)注過(guò)的數(shù)據(jù)，很多經(jīng)典分類(lèi)算法并不能直接應(yīng)用，對(duì)數(shù)據(jù)進(jìn)行一一標(biāo)記不僅需要時(shí)間和精力還要有專(zhuān)業(yè)的知識(shí)，這代價(jià)顯然是比較昂貴的，實(shí)行起來(lái)也是比較困難。如果算法可以主動(dòng)對(duì)原始數(shù)據(jù)進(jìn)行篩選，只將含有信息量較高的數(shù)據(jù)交給專(zhuān)家標(biāo)注，那么就可以解決上述問(wèn)題。半監(jiān)督學(xué)習(xí)(semi-supervised learning)和主動(dòng)學(xué)習(xí)(active Learning)算法在這種情況下應(yīng)運(yùn)而生，并且得到了快速發(fā)展。主動(dòng)學(xué)習(xí)最初是由耶魯大學(xué)的Angluin教授[1]提出，該方法選擇部分最值得標(biāo)記的樣本進(jìn)行標(biāo)記添加到訓(xùn)練集，之后利用新的分類(lèi)器模型對(duì)無(wú)標(biāo)記樣本進(jìn)行再次選擇，通過(guò)標(biāo)記部分樣本擴(kuò)大訓(xùn)練集和迭代訓(xùn)練的方式使得學(xué)習(xí)模型的泛化能力得到提高。主動(dòng)學(xué)習(xí)可以高效利用專(zhuān)家標(biāo)注并且適用性廣泛，在機(jī)器學(xué)習(xí)領(lǐng)域占有舉足輕重的地位。

目前，主動(dòng)學(xué)習(xí)的處理方法可以分為2種：基于流(stream-based)的處理方法和基于池(pool-based)的處理方法。在基于流的主動(dòng)學(xué)習(xí)[2]中，設(shè)定一個(gè)閾值，所有未標(biāo)記的樣本逐個(gè)提交給選擇引擎，由選擇引擎根據(jù)計(jì)算結(jié)果和閾值對(duì)比，來(lái)決定是否標(biāo)記當(dāng)前提交的樣本。在基于池的主動(dòng)學(xué)習(xí)[3]中，設(shè)立一個(gè)未標(biāo)注樣本集合，由選擇引擎在該集合中選擇當(dāng)前值得標(biāo)注的樣本。目前研究比較充分的是基于池的主動(dòng)學(xué)習(xí)樣本選擇方法，按照選擇標(biāo)準(zhǔn)可分為：基于不確定性縮減的方法[4-6]、基于版本空間縮減的方法[7-9]、基于未來(lái)泛化錯(cuò)誤率縮減的方法[10-12]等。

在基于不確定性縮減的方法中，由于在計(jì)算樣本重要性時(shí)需要考慮到樣本本身的不確定性，我們需要借助數(shù)學(xué)工具來(lái)表達(dá)和處理這些不確定性問(wèn)題。Rough集[13-18]理論是一種有效的不確定信息處理方法，可以根據(jù)數(shù)據(jù)分布，自動(dòng)將樣本空間劃分為正區(qū)域、邊界域和負(fù)區(qū)域。迄今為止，不少學(xué)者結(jié)合粗糙集開(kāi)展了主動(dòng)學(xué)習(xí)算法的研究。Wang等[19]提出結(jié)合模糊粗糙集選擇樣本的主動(dòng)學(xué)習(xí)方法，通過(guò)計(jì)算樣本在條件特征和決策標(biāo)簽之間的不一致性來(lái)選擇樣本。此外，Wang等[20]還提出了基于模糊粗糙集做流式選擇的主動(dòng)學(xué)習(xí)方法，通過(guò)模糊粗糙集考慮特征和決策標(biāo)簽之間的不一致性來(lái)計(jì)算樣本的不確定性。

本文結(jié)合鄰域粗糙集[21]理論，通過(guò)對(duì)邊界區(qū)域內(nèi)的樣本計(jì)算樣本重要性，提出了一種基于鄰域粗糙集的主動(dòng)學(xué)習(xí)樣本選擇方法(neighhbor rough set active learning，NRS-AL)，并結(jié)合J48基分類(lèi)器，對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行標(biāo)記并添加到訓(xùn)練集。實(shí)驗(yàn)結(jié)果表明，文中提出的算法是一種有效的解決主動(dòng)學(xué)習(xí)樣本選擇問(wèn)題的算法，在accuracy，受試者工作特征(receiver operating characteristic curve，ROC)曲線(xiàn)下面的面積(area under curve，AUC)等指標(biāo)上優(yōu)于文獻(xiàn)中的主動(dòng)學(xué)習(xí)算法。

1 相關(guān)概念

1.1 基于不確定性的主動(dòng)學(xué)習(xí)方法

主動(dòng)學(xué)習(xí)方法的工作過(guò)程是維護(hù)一個(gè)迭代訓(xùn)練的分類(lèi)器的過(guò)程，一般可以分為2個(gè)部分：學(xué)習(xí)引擎和選擇引擎。學(xué)習(xí)引擎負(fù)責(zé)維護(hù)一個(gè)基分類(lèi)器，根據(jù)提供的訓(xùn)練集和新增的標(biāo)記樣本，利用監(jiān)督學(xué)習(xí)算法進(jìn)行迭代學(xué)習(xí)，從而使該分類(lèi)器性能提高；選擇引擎負(fù)責(zé)運(yùn)行樣本選擇算法，選擇新的樣本交給人類(lèi)專(zhuān)家進(jìn)行標(biāo)記，之后將標(biāo)記的樣本添加到訓(xùn)練集中。學(xué)習(xí)引擎和選擇引擎交替工作，通過(guò)不斷的迭代使得基分類(lèi)器性能不斷提高，當(dāng)達(dá)到迭代次數(shù)或者預(yù)定精度等預(yù)定條件時(shí)，算法終止。主動(dòng)學(xué)習(xí)算法偽代碼描述如下。

輸入：已標(biāo)記的訓(xùn)練集L，未標(biāo)記的數(shù)據(jù)集U，測(cè)試集T，學(xué)習(xí)引擎LE，選擇引擎SE

當(dāng)今社會(huì)的就業(yè)競(jìng)爭(zhēng)非常激烈，用人單位在選擇畢業(yè)生的時(shí)候都會(huì)著重考慮他們的綜合素質(zhì)和實(shí)用的技術(shù)能力。隨著社會(huì)國(guó)際化進(jìn)程發(fā)展的需要，對(duì)畢業(yè)生提出了更高的要求，不僅需要他們掌握專(zhuān)業(yè)技能，還需要他們能夠使用英語(yǔ)對(duì)外進(jìn)行交際。因此，高職院校英語(yǔ)教學(xué)的重點(diǎn)是要加強(qiáng)學(xué)生使用英語(yǔ)對(duì)外進(jìn)行溝通的能力。高職英語(yǔ)教學(xué)可以在課堂上模擬各種真實(shí)工作場(chǎng)景，鍛煉學(xué)生在實(shí)踐中解決各種問(wèn)題?！皩?shí)踐出真知”，這種任務(wù)型教學(xué)模式將會(huì)大大提高學(xué)生實(shí)際生活中用英語(yǔ)解決各種問(wèn)題的能力，從而提高高職院校學(xué)生的就業(yè)水平。

輸出：學(xué)習(xí)引擎LE

step1:train(LE，L) //訓(xùn)練基分類(lèi)器模型

result=test(LE，T)//測(cè)試樣本

案例3：在“均值不等式的定理”一節(jié)中，可用“某商店在節(jié)前進(jìn)行商品降價(jià)酬賓銷(xiāo)售活動(dòng)，擬分兩次降價(jià)，有三種降價(jià)方案：甲方案是第一次打A折銷(xiāo)售，第二次打B折銷(xiāo)售；乙方案是第一次打B折銷(xiāo)售，第二次打A折銷(xiāo)售；丙方案是兩次都打—樣折銷(xiāo)售，問(wèn)哪一種方案降價(jià)較多？”

if 算法精度或者迭次次數(shù)到達(dá)預(yù)設(shè)條件

return LE算法結(jié)束

step2：S=select(SE，U)//使用樣本選擇算法從無(wú)標(biāo)記樣本中選擇最值得標(biāo)記的樣本

step3：label(S)//將選擇的樣本交給人類(lèi)專(zhuān)家進(jìn)行標(biāo)記

step4：L=L+S；U=U-S ；return step1;

//更新訓(xùn)練集和無(wú)標(biāo)記數(shù)據(jù)集，將標(biāo)記好的樣本添加到訓(xùn)練集，同時(shí)在未標(biāo)記數(shù)據(jù)集中刪去所選樣本，并返回step1迭代執(zhí)行

本研究結(jié)果提示，B7-H3蛋白除了在免疫調(diào)節(jié)中發(fā)揮作用，還對(duì)腫瘤細(xì)胞的生物學(xué)特性產(chǎn)生影響，同時(shí)也提示我們，B7-H3蛋白在不同組織細(xì)胞中可能發(fā)揮不同的作用。這些實(shí)驗(yàn)數(shù)據(jù)可以為進(jìn)一步研究B7-H3的功能奠定實(shí)驗(yàn)基礎(chǔ)，同時(shí)也將為乳腺癌的治療提供新的靶點(diǎn)。

(1)

1.2 鄰域粗糙集

1988年，T.Y Lin[24]提出了鄰域模型，該模型通過(guò)空間點(diǎn)的鄰域來(lái)?；撚蚩臻g。把鄰域理解成基本信息粒子，空間中的其他概念可借此進(jìn)行描述。

胡清華等[25]利用鄰域模型對(duì)經(jīng)典粗糙集理論進(jìn)行拓展，提出了鄰域粗糙集模型。在該模型中，實(shí)數(shù)空間中的點(diǎn)形成一個(gè)δ鄰域，所以空間中任意概念的基本信息粒子由δ鄰域族描述。

定義1[25]給定任意xi∈U，B?C,xi在屬性子集B上的鄰域δB(xi)定義為

δB(xi)={xj|xj∈U,ΔB(xi,xj)≤δ}

(2)

δ為度量函數(shù)。定義x1，x2為2個(gè)N維空間樣本，A={a1,a2,…,aN}，f(x,ai)表示x在屬性ai上值，則2個(gè)樣本的Minkowsky距離可定義為

(3)

當(dāng)p=2時(shí)，即歐拉距離(euclidean distance)。

ASet=random(ASet)

(4)

(4)式中：C1為總體樣本中屬性值為V1的個(gè)數(shù)，C1i為其中類(lèi)別為i的個(gè)數(shù)；C2是總體樣本中該屬性值為V2的個(gè)數(shù)，C2i為其中類(lèi)別為i個(gè)數(shù)；K取常數(shù)，通常設(shè)為1。

定義2[25]鄰域近似空間定義如下，給定數(shù)據(jù)集U，N是U的鄰域關(guān)系，鄰域粒族可表示為{δ(xi)|xi∈U}，則表示為鄰域近似空間。

之后，新的海底往兩邊均勻地推開(kāi)山脊上密度較大的現(xiàn)有巖塊，在地球表面的海洋板塊之間漂離得越來(lái)越遠(yuǎn)，直到最終被海溝吞沒(méi)或撞到海岸上。當(dāng)板塊相撞之時(shí)，一個(gè)板塊會(huì)滑動(dòng)到另一個(gè)板塊下面，熔化成地球內(nèi)部的物質(zhì)。科學(xué)家認(rèn)為，自從侏羅紀(jì)時(shí)代，一片相當(dāng)于太平洋大小的水域獨(dú)自潛沒(méi)于美洲大陸之下，這也是那里的海底較為年輕的原因。

定義3[25]對(duì)于任意X?U，在鄰域空間下，X在鄰域關(guān)系N中的上近似，下近似和邊界域定義為

(6)式中：min(dis(xi,s))表示距離其最近樣本的距離；range(dis(xi,s))表示在指定數(shù)據(jù)集中其距離的取值范圍；w表示權(quán)重。將鄰域內(nèi)的樣本劃分為負(fù)域，邊界上的樣本劃分為邊界域，鄰域外的樣本劃分為正域，算法對(duì)邊界域和負(fù)域的樣本進(jìn)行處理。

做人要實(shí)，就是要清清白白做人，老老實(shí)實(shí)干事。為人處世要表里如一、知行合一，仰不愧天，俯不愧地，內(nèi)不愧心，打牢修身做人的根基，夯實(shí)為官?gòu)恼幕A(chǔ)，做官要經(jīng)得起道德良知的拷問(wèn)，要經(jīng)得起歷史后人的評(píng)說(shuō)，做一個(gè)高尚的人和有益于人民的人。

牙隱裂是牙體牙髓科的常見(jiàn)病，根據(jù)隱裂程度不同我們采取的治療方法也不盡相同，對(duì)于伴發(fā)牙髓炎或者根尖周炎隱裂牙通常會(huì)采取根管治療后冠修復(fù)來(lái)保存患牙。根管治療是目前治愈牙髓炎和根尖周炎的有效方法，常規(guī)的根管治療包括根管預(yù)備，根管消毒和根管充填，因此療程較長(zhǎng)，患者需要多次到醫(yī)院接受治療，伴發(fā)牙髓炎或者根尖周炎的隱裂牙因其特殊性需要的治療時(shí)間越短患牙的保存幾率就會(huì)越高。近年來(lái)一次性根管治療技術(shù)的療效得到了肯定，為了節(jié)省患者就診時(shí)間和提高患牙的保存率，我院對(duì)伴發(fā)牙髓炎或根尖周炎的患牙采取了一次性根管治療技術(shù)，其臨床療效值得肯定，現(xiàn)將本次研究結(jié)果進(jìn)行如下報(bào)道。

(5)

2 基于鄰域粗糙集的主動(dòng)學(xué)習(xí)方法

2.1 算法思路

主動(dòng)學(xué)習(xí)方法一般考慮信息含量高的和具有代表性的無(wú)標(biāo)記樣本進(jìn)行標(biāo)記，信息含量高也就是不確定性大，適合使用粗糙集來(lái)處理這類(lèi)不確定性問(wèn)題。一般主動(dòng)學(xué)習(xí)算法在計(jì)算代表性時(shí)使用的是聚類(lèi)算法，但是聚類(lèi)僅利用無(wú)標(biāo)記樣本的分布信息，而本文提出的算法不僅利用無(wú)標(biāo)記樣本的分布信息，還利用有標(biāo)記樣本的分布信息。同時(shí)在預(yù)處理階段，對(duì)無(wú)標(biāo)記樣本在鄰域內(nèi)縮減樣本，有效地控制了野點(diǎn)的采集。

2.1.1 計(jì)算訓(xùn)練集樣本和無(wú)標(biāo)簽樣本的兩兩距離

考慮是計(jì)算數(shù)據(jù)集中所有樣本之間的兩兩距離，本算法大部分時(shí)間在距離計(jì)算，所以考慮多線(xiàn)程并行的方式，用公式(3)進(jìn)行計(jì)算。

2.1.2 確定樣本的鄰域半徑

δ=min(dis(xi,s))+w×range(dis(xi,s)), 0≤w≤1

(6)

?,xi∈U},

2.1.3 計(jì)算待標(biāo)記樣本的信息量

考慮信息熵的計(jì)算方式

(7)

待標(biāo)記樣本鄰域信息量定義如下

(8)

(9)

鄰域內(nèi)的無(wú)標(biāo)記樣本信息量原理如圖1所示，在有標(biāo)記樣本集中計(jì)算無(wú)標(biāo)記樣本A和B的信息量，在A(yíng)的鄰域中，含有更多類(lèi)別的樣本，所以無(wú)標(biāo)記樣本A的信息量大于B，樣本A更容易被選中。

1)積極引進(jìn)國(guó)內(nèi)外知名MOOCs課程體系，并重點(diǎn)建設(shè)本專(zhuān)業(yè)自己的MOOCs課程和翻轉(zhuǎn)課堂教學(xué)模式，并應(yīng)用于課程教學(xué)中，目前已完成3門(mén)專(zhuān)業(yè)課程的MOOCS建設(shè)和3門(mén)專(zhuān)業(yè)課程的“翻轉(zhuǎn)課堂”教學(xué)模式的建設(shè)，并都應(yīng)用于相關(guān)課程教學(xué)改革的實(shí)施中。

圖1 鄰域內(nèi)的無(wú)標(biāo)記樣本信息量原理圖Fig.1 Principle of calculating the information quantity of the non labeled samples in the neighborhood

2.1.4 計(jì)算待標(biāo)記樣本的泛化量

考慮樣本的泛化性能，也就是需要待標(biāo)記樣本處于訓(xùn)練集的低密度區(qū)域，并且處于無(wú)標(biāo)簽數(shù)據(jù)集的高密度區(qū)域。無(wú)標(biāo)簽樣本鄰域泛化性定義如下

gene(x)=dens_u(x)p/dens_l(x)q

(10)

(10)式中：dens_1表示樣本在訓(xùn)練集中的鄰域密度；dens_u表示樣本在無(wú)標(biāo)簽數(shù)據(jù)集中的鄰域密度；q,p為權(quán)重。無(wú)標(biāo)記樣本在有標(biāo)記樣本鄰域和無(wú)標(biāo)記樣本鄰域計(jì)算泛化量原理如圖2所示，在所有樣本集中計(jì)算無(wú)標(biāo)記樣本A和B的泛化量，在A(yíng)的鄰域中，A處于無(wú)標(biāo)記樣本集的高密度區(qū)域，有標(biāo)記樣本集的低密度區(qū)域，而B(niǎo)樣本處于有標(biāo)記樣本的高密度區(qū)域，所以,A的泛化量大于B，樣本A會(huì)更容易被選中。

2.1.5 計(jì)算待標(biāo)記樣本的重要性

為了避免信息量和泛化量過(guò)大過(guò)小，所以考慮取p泛數(shù)，省去了調(diào)參過(guò)程。

隨著“大眾創(chuàng)業(yè)、萬(wàn)眾創(chuàng)新”的發(fā)展浪潮，大學(xué)生自主創(chuàng)業(yè)成為解決大學(xué)生就業(yè)困難問(wèn)題的有效手段，正引起社會(huì)的廣泛關(guān)注和重視。面對(duì)高校畢業(yè)生日益嚴(yán)峻的就業(yè)形勢(shì)，大學(xué)生無(wú)疑是創(chuàng)業(yè)界的中流砥柱及重點(diǎn)培育對(duì)象，對(duì)于為社會(huì)注入新鮮的活力頗為重要。但盡管如此，比起社會(huì)平均水平，大學(xué)生創(chuàng)業(yè)成功的概率仍較低。本文通過(guò)對(duì)200份廣東大學(xué)生創(chuàng)業(yè)融資情況問(wèn)卷的數(shù)據(jù)研究發(fā)現(xiàn)，41%的大學(xué)生認(rèn)為資金短缺是創(chuàng)業(yè)路上的最大障礙。

imp(x)=(info(x)p+gene(x)p)1/p

(11)

將樣本按照重要性排序，取TopK添加到訓(xùn)練集，并從無(wú)標(biāo)簽樣本中刪除這部分樣本

與蒙特卡洛仿真類(lèi)似，利用重要抽樣策略進(jìn)行失效概率梯度計(jì)算時(shí)，隨機(jī)樣本與式(7)中失效概率計(jì)算的樣本一致，即利用重要抽樣策略計(jì)算失效概率梯度時(shí)不會(huì)增加額外的計(jì)算成本。

2.1.6 基于鄰域樣本縮減解決采集野點(diǎn)的問(wèn)題

在無(wú)標(biāo)記樣本集中指定一個(gè)較小的鄰域半徑權(quán)重w，在預(yù)處理階段刪除鄰域內(nèi)的樣本即可，即可達(dá)到去除野點(diǎn)的目的。

圖2 無(wú)標(biāo)記樣本在有標(biāo)記樣本鄰域和 無(wú)標(biāo)記樣本鄰域計(jì)算泛化量原理Fig.2 Non labeled samples are calculated from the neighborhood of labeled samples and the neighborhood of unlabeled samples

2.2 算法描述

基于鄰域粗糙集的主動(dòng)學(xué)習(xí)方法的具體步驟。

1)根據(jù)指定參數(shù)劃分?jǐn)?shù)據(jù)集，輸入訓(xùn)練集占比，無(wú)標(biāo)簽樣本占比，剩余數(shù)據(jù)為測(cè)試集，算法如下。

算法1數(shù)據(jù)集劃分算法

輸入：全部數(shù)據(jù)集ASet，訓(xùn)練集比重t，無(wú)標(biāo)簽數(shù)據(jù)比重u。

輸出：訓(xùn)練集TSet，無(wú)標(biāo)簽數(shù)據(jù)集USet，測(cè)試集TestSet。

毫無(wú)疑問(wèn)，數(shù)學(xué)史融入數(shù)學(xué)教學(xué)實(shí)踐會(huì)對(duì)學(xué)生的數(shù)學(xué)學(xué)習(xí)產(chǎn)生影響，此方面的研究大都依托于具體的教學(xué)主題，通常附屬于HPM教學(xué)實(shí)踐，在數(shù)學(xué)史融入數(shù)學(xué)教學(xué)實(shí)踐后對(duì)融入效果進(jìn)行測(cè)評(píng)，以此看對(duì)學(xué)生數(shù)學(xué)學(xué)習(xí)的影響．例如報(bào)告11在數(shù)學(xué)史融入對(duì)數(shù)教學(xué)實(shí)踐后，研究者用學(xué)生課上對(duì)工作單的作答、小組及全體討論的錄音及課后兩份匿名的問(wèn)卷來(lái)評(píng)估學(xué)生知識(shí)的獲得及學(xué)生對(duì)使用數(shù)學(xué)史的意見(jiàn)等．報(bào)告17中，研究者用前后測(cè)、田野觀(guān)察及最后的問(wèn)卷來(lái)評(píng)估實(shí)踐效果．

TSet=?;USet=?;

TestSet=?

4.并購(gòu)后組織機(jī)構(gòu)整合的納稅籌劃。并購(gòu)后組織機(jī)構(gòu)整合的納稅籌劃主要是考慮應(yīng)該設(shè)立子公司還是分公司，但無(wú)論設(shè)立哪種，都應(yīng)該從總體利益出發(fā)。企業(yè)若是設(shè)立子公司，對(duì)于享受稅收優(yōu)惠的被并購(gòu)企業(yè)，并購(gòu)企業(yè)應(yīng)該設(shè)立子公司，延續(xù)該優(yōu)惠政策，母子公司之間的利潤(rùn)可以進(jìn)行合理轉(zhuǎn)移，各種費(fèi)用容易形成合理列支，使母子公司之間的稅收籌劃空間更大。企業(yè)若是設(shè)立分公司，因?yàn)榉止静痪哂歇?dú)立法人資格，需要總公司匯總收支進(jìn)行納稅，所以總公司的盈利可以沖減分公司的虧損，降低總體稅負(fù)。

良好的開(kāi)端是成功的一半，新班主任在開(kāi)學(xué)工作伊始，就要在班級(jí)工作上打好第一戰(zhàn)，吃好“開(kāi)頭奶”，在新接班級(jí)工作開(kāi)展的每一個(gè)“第一次”上下功夫，讓每一個(gè)“第一次”化為一種堅(jiān)守，多管齊下，力爭(zhēng)文明之花隨之綻放。那么，班主任要從哪幾個(gè)方面快速投入班級(jí)建設(shè)呢？筆者結(jié)合自己的經(jīng)驗(yàn)淺談中途新接班級(jí)的幾點(diǎn)方略。

步驟2：(打亂數(shù)據(jù))

歐拉距離只適用于屬性是連續(xù)型的情況，不能處理分類(lèi)型屬性。Stanfill和Waltz[26]提出的不同屬性度量 (value difference metric，VDM)可用來(lái)處理分類(lèi)型屬性 。假設(shè)樣本x1，x2有分類(lèi)型屬性的2個(gè)值V1，V2，他們之間的距離定義為

步驟3：(劃分?jǐn)?shù)據(jù))

TSet=ASet[0,size(ASet)×t]

USet=ADet[size(ASet)×t,size(ASet)×(u+t)]

TestSet=ASet[size(ASet)×(u+t),size(ASet)]

步驟4：將訓(xùn)練集，無(wú)標(biāo)簽數(shù)據(jù)集和測(cè)試集分別輸出。

2)根據(jù)算法1劃分的數(shù)據(jù)集，對(duì)無(wú)標(biāo)簽樣本進(jìn)行計(jì)算信息量和泛化量，然后對(duì)重要性排序?qū)opk的樣本進(jìn)行詢(xún)問(wèn)(query)操作，將新打標(biāo)的樣本添加到訓(xùn)練集，并重復(fù)此過(guò)程，直到無(wú)標(biāo)簽樣本被選擇完，訓(xùn)練集不再更新，算法如下。

算法2基于鄰域粗糙集的主動(dòng)學(xué)習(xí)算法(NRS-AL)

輸入：訓(xùn)練集TSet，無(wú)標(biāo)簽數(shù)據(jù)集USet，測(cè)試集TestSet，鄰域半徑參數(shù)w，重要性計(jì)算的參數(shù)泛數(shù)p，每次選擇詢(xún)問(wèn)的樣本數(shù)k。

forxiin USet do

步驟1：(計(jì)算TSet和USet中樣本間距離)

利用公式(3)和(4)計(jì)算distance(x,y)

步驟2：(計(jì)算無(wú)標(biāo)記樣本的鄰域)

forxiin USet do

利用公式(5)計(jì)算樣本xi在TSet和USet中的鄰域半徑δ。計(jì)算xi的鄰域δ1(xi)和δu(xi)，將鄰域內(nèi)的樣本劃分為負(fù)域，邊界上的樣本劃分為邊界域，鄰域外的樣本劃分為正域，算法對(duì)邊界域和負(fù)域的樣本進(jìn)行處理。

步驟1：(初始化)

δ1(xi)={x|x∈TSet,Δ(x,xi)≤δli}

這項(xiàng)研究還表明，通過(guò)額外的機(jī)制，小農(nóng)戶(hù)可以整合入新的供應(yīng)鏈。在超市供應(yīng)鏈中，先鋒農(nóng)民對(duì)于鼓勵(lì)其他農(nóng)民的參與是非常重要的，例如，通過(guò)“衛(wèi)星”農(nóng)場(chǎng)實(shí)現(xiàn)。盡管農(nóng)民愿意通過(guò)正規(guī)的農(nóng)民組織參與集體行動(dòng)加入超市供應(yīng)鏈，但是還有些農(nóng)民可能是通過(guò)其他的機(jī)制參與。政策不應(yīng)僅僅因?yàn)樯鐣?huì)的原因而促進(jìn)組織的發(fā)展，也要根據(jù)農(nóng)民的條件和喜好去探索其他機(jī)制。

δu(xi)={x|x∈USet,Δ(x,xi)≤δui}

end for

步驟3：(計(jì)算無(wú)標(biāo)簽樣本的重要性)

輸出：分類(lèi)器ActiveClassifier

利用公式(7)計(jì)算info(x)，

利用公式(9)計(jì)算gene(x)，

利用公式(10)計(jì)imp(x)。

end for

QuerySet=topk(rank(X))

TSet={x|x∈TSet,x∈QuerySet}

USet={x|x∈USet,x?QuerySet}

步驟4：(更新分類(lèi)器并輸出測(cè)試集結(jié)果)

if TrainSet is updated then

ActiveClassifier=train(TSet)

TestResult=test(TSet)

else return ActiveClassifier

重復(fù)步驟2—步驟4直到訓(xùn)練集不再更新。

3 實(shí)驗(yàn)評(píng)價(jià)

3.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

本次試驗(yàn)所使用的15個(gè)數(shù)據(jù)集為公開(kāi)數(shù)據(jù)集，如表1所示，其中字母識(shí)別來(lái)自加州大學(xué)數(shù)據(jù)集(University of CaliforniaIrvine，UCI)[27]，選擇其中比較難分辨的DP，EB，EF，IJ，MN，RK構(gòu)建二分類(lèi)數(shù)據(jù)集。其中數(shù)字手寫(xiě)體識(shí)別數(shù)據(jù)集來(lái)自Kaggle[28]中較難分辨的17，35，69，89作為本次實(shí)驗(yàn)的數(shù)據(jù)集。austra，cortex_nuclear，occupancy，vehicle，wdbc均來(lái)自UCI公開(kāi)數(shù)據(jù)集。其中多分類(lèi)評(píng)價(jià)指標(biāo)為準(zhǔn)確率accuracy，二分類(lèi)評(píng)估指標(biāo)為受試者工作特征(receiver operating characteristic curve，ROC)曲線(xiàn)下面的面積(area under curve，AUC)。其中,AUC被定義為ROC曲線(xiàn)下的面積，由于ROC曲線(xiàn)一般都位于y=x這條線(xiàn)的上方，所以AUC的取值在[0.5，1]。因?yàn)樵诤芏鄷r(shí)候，ROC曲線(xiàn)并不能清晰地說(shuō)明哪個(gè)分類(lèi)器效果更好，通?？紤]到數(shù)據(jù)集分布有可能是不平衡數(shù)據(jù)，所以,本質(zhì)是對(duì)分類(lèi)器排序性能評(píng)估的AUC指標(biāo)在二分類(lèi)中獲得更廣泛的使用。

表1 實(shí)驗(yàn)數(shù)據(jù)集Tab.1 Experimental data set

3.2 實(shí)驗(yàn)方法

本次實(shí)驗(yàn)采用隨機(jī)方法將1%的數(shù)據(jù)劃分為初始訓(xùn)練集，69%的數(shù)據(jù)劃分為無(wú)標(biāo)簽數(shù)據(jù)集，30%的數(shù)據(jù)劃分為測(cè)試集。無(wú)標(biāo)簽數(shù)據(jù)均分成50次添加到訓(xùn)練集，基分類(lèi)器采用開(kāi)源工具Weka中的J48，使用默認(rèn)參數(shù)。對(duì)每個(gè)數(shù)據(jù)集運(yùn)行10次取均值作為最終實(shí)驗(yàn)結(jié)果。

3.3 實(shí)驗(yàn)評(píng)估結(jié)果

本次實(shí)驗(yàn)采用AUC和accuracy作為評(píng)估指標(biāo)。AUC表示ROC曲線(xiàn)下的面積，介于0和1之間，AUC作為數(shù)值可以直觀(guān)的評(píng)價(jià)分類(lèi)器的好壞，AUC值越大表示當(dāng)前分類(lèi)算法越有可能將正樣本排在負(fù)樣本前面。accuracy表示分類(lèi)準(zhǔn)確率，二分類(lèi)采用AUC評(píng)估，多分類(lèi)采用accuracy評(píng)估。采用5種主動(dòng)學(xué)習(xí)方法，基于不確定性的主動(dòng)學(xué)習(xí)方法[29](uncertainty)，主要采用基于SVM為基分類(lèi)模型的一種基于超平面度量樣本不確定性的方法；基于代表性的主動(dòng)學(xué)習(xí)方法[30](representative)，主要采用了基于層次聚類(lèi)來(lái)度量樣本代表性的方法；委員會(huì)投票主動(dòng)學(xué)習(xí)方法[7](QBC)，采用了訓(xùn)練多個(gè)模型來(lái)投票度量樣本信息量的方法；隨機(jī)選擇的主動(dòng)學(xué)習(xí)方法(random)，保持新樣本的較大泛化性能的方法。Huang[31]等提出的主動(dòng)學(xué)習(xí)算法中，實(shí)驗(yàn)結(jié)果表明，部分主動(dòng)學(xué)習(xí)算法性能并不如隨機(jī)選擇效果好，所以本文也將隨機(jī)選擇的方法加入對(duì)比。本文所使用的基于粗糙集的主動(dòng)學(xué)習(xí)方法(NRS-AL)。在本次實(shí)驗(yàn)中，分別使用20%，40%，60%，80%，100%無(wú)標(biāo)記數(shù)據(jù)，實(shí)驗(yàn)結(jié)果如表2-表6所示，對(duì)于5種算法重復(fù)10次試驗(yàn)取平均結(jié)果，評(píng)估指標(biāo)為10次試驗(yàn)的均值，二分類(lèi)數(shù)據(jù)采用AUC評(píng)估，多分類(lèi)數(shù)據(jù)采用accuracy。

表2 使用20%無(wú)標(biāo)記數(shù)據(jù)時(shí)算法性能對(duì)比Tab.2 Performance comparison of algorithms using 20% unlabeled data

表3 使用40%無(wú)標(biāo)記數(shù)據(jù)時(shí)算法性能對(duì)比Tab.3 Performance comparison of algorithms using 40% unlabeled data

表4 使用60%無(wú)標(biāo)記數(shù)據(jù)時(shí)算法性能對(duì)比Tab.4 Performance comparison of algorithms using 60% unlabeled data

表5 使用80%無(wú)標(biāo)記數(shù)據(jù)時(shí)算法性能對(duì)比Tab.5 Performance comparison of algorithms using 80% unlabeled data

表6 使用100%無(wú)標(biāo)記數(shù)據(jù)時(shí)算法性能對(duì)比Tab.6 Performance comparison of algorithms using 100% unlabeled data

續(xù)表6

在15個(gè)數(shù)據(jù)集上，對(duì)比5種算法在無(wú)標(biāo)簽數(shù)據(jù)添加過(guò)程的性能表現(xiàn)，在不同無(wú)標(biāo)簽數(shù)據(jù)量時(shí)，其中本文提出的NRS-AL算法在75次比較中45次獲得領(lǐng)先，明顯優(yōu)于其他算法。representative和QBC其次，分別是基于代表性主動(dòng)學(xué)習(xí)算法和不確定性主動(dòng)學(xué)習(xí)算法中效果較好的算法，本文提出的NRS-AL算法吸取了2種算法的優(yōu)點(diǎn)，同時(shí)考慮了樣本的代表性和不確定性，并且處理了野點(diǎn)，使得算法選擇到的樣本更重要，對(duì)模型的性能提升更大。random算法效果最差，雖然該算法選擇的樣本泛化性能較好，但是過(guò)于盲目，細(xì)節(jié)因素并未考慮。

另外NRS-AL算法在digit 4個(gè)數(shù)據(jù)集中表現(xiàn)并不如意，因?yàn)樵摂?shù)據(jù)集在實(shí)驗(yàn)數(shù)據(jù)中特征數(shù)明顯大幅多過(guò)其他數(shù)據(jù)集，包含784個(gè)特征，其余數(shù)據(jù)集特征數(shù)在5-81之間，特征過(guò)多時(shí)可能包含的噪聲特征也變多，導(dǎo)致NRS-AL算法性能下降。

在所有數(shù)據(jù)集上不同數(shù)據(jù)量時(shí)算法性能平均表現(xiàn)如表7所示。無(wú)標(biāo)記數(shù)據(jù)量在20%-40%的時(shí)候，本文提出的NRS-AL算法性能明顯領(lǐng)先于其他算法，甚至超過(guò)100%無(wú)標(biāo)記數(shù)據(jù)作為訓(xùn)練集的性能，當(dāng)數(shù)據(jù)量逐漸增加的時(shí)候，所有算法性能均保持提升并趨于穩(wěn)定。

表7 在所有數(shù)據(jù)集上不同數(shù)據(jù)量時(shí)算法性能平均表現(xiàn)Tab.7 Algorithm performance with average performance in all data sets with different data volumes

4 結(jié)束語(yǔ)

本文提出了一種基于鄰域粗糙集的主動(dòng)學(xué)習(xí)方法，用于解決主動(dòng)學(xué)習(xí)算法中無(wú)標(biāo)簽樣本的選擇問(wèn)題。首先根據(jù)鄰域粗糙集模型從樣本分布來(lái)定義正域樣本、邊界域樣本和負(fù)域樣本；然后對(duì)負(fù)域和邊界域樣本進(jìn)行計(jì)算無(wú)標(biāo)簽樣本的不確定性和泛化性，以此來(lái)衡量該無(wú)標(biāo)簽樣本的重要性。一方面該算法充分地利用了有標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)的分布，另一方面，還在預(yù)處理階段過(guò)濾掉部分無(wú)標(biāo)簽樣本，減少計(jì)算量，同時(shí)計(jì)算了樣本的泛化性能，有效地解決了野點(diǎn)采集問(wèn)題。在15個(gè)UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相較于其他主動(dòng)學(xué)習(xí)算法，文中提出的方法對(duì)樣本選擇的效率明顯提高，在相同樣本選擇數(shù)量上，精度和AUC指標(biāo)也明顯提高。在20%-40%無(wú)標(biāo)記數(shù)據(jù)使用量時(shí)，本文提出的算法性能甚至超過(guò)100%無(wú)標(biāo)記數(shù)據(jù)使用量性能，起到了縮減樣本的功能。本文所提出方法適合在大規(guī)模集群上并行實(shí)現(xiàn)，研究更高效的并行算法將是今后的研究重點(diǎn)。

[1] ANGLUIN D. Queries and concept learning[J]. Machine Learning, 1988, 2(4):319-342.

[2] FREUND Y, SEUNG H S, SHAMIR E, et al. Selective Sampling Using the Query by Committee Algorithm[J]. Machine Learning, 1997, 28(2):133-168.

[3] MUSLEA I A. Active Learning with Multiple Views.[J]. Journal of Artificial Intelligence Research, 2011, 27(1):203-233.

[4] WROBEL S. Active Learning of Partially Hidden Markov Models[J]. Data Mining and Knowledge Discovery, 2001, 15(2):102-107.

[5] VLACHOS A. Active Learning with Support Vector Machines[J]. Wiley Interdisciplinary Reviews Data Mining & Knowledge Discovery, 2004, 4(4):313-326.

[6] CAMPBELL C, CRISTIANINI N, SMOLA A. A Query learning with large margin classifiers[C]//DAN R.17th International Conference On Machine Learning (ICML). CA: JMLR, 2000:111-118.

[7] SEUNG H S, OPPER M. Query by Committee[J]. Acm conference on Computational Learning Theory, 1992, 28(4):287-294.

[8] ABE N, MAMITSUKA H. Query Learning Strategies Using Boosting and Bagging [C]//JUDE W. Fifteenth International Conference on Machine Learning. San Francisco: Morgan Kaufmann, 1998:1-9.

[9] MELVILLE P, MOONEY R J. Diverse ensembles for active learning[C]//DAN R, International Conference on Machine Learning.CA: JMLR, 2004:74.

[10] ROY N, MCCALLUM A. Toward Optimal Active Learning through Sampling Estimation of Error Reduction[C]// Richard N, Eighteenth International Conference on Machine Learning. San Francisco: Morgan Kaufmann, 2001:441-448.

[11] TONG S, KOLLER D. Active Learning for Parameter Estimation in Bayesian Networks[J]. Nips, 2001,1(1):647-653.

[12] LINDENBAUM M, MARKOVITCH S, RUSAKOV D. Selective Sampling for Nearest Neighbor Classifiers[J]. Machine Learning, 2004, 54(2):125-152.

[13] PAWLAK Z. Rough sets[J]. International Journal of Parallel Programming, 1982, 38(5):88-95.

[14] PAWLAK Z, SKOWRON A. Rudiments of rough sets[J]. Information Sciences, 2007, 177(1):3-27.

[15] PAWLAK Z, SKOWRON A. Rough sets: Some extensions[J]. Information Sciences, 2007, 177(1):28-40.

[16] PAWLAK Z, SKOWRON A. Rough sets and Boolean reasoning[J]. Information Sciences, 2007, 177(1):41-73.

[17] 王國(guó)胤,苗奪謙,吳偉志,等.不確定信息的粗糙集表示和處理[J].重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版, 2010, 22(5):541-544..

WANG Guoyin, MIAO Duoqian, WU Weizhi, et al. Uncertain knowledge representation and processingbased on rough set. rough set representation and processing of uncertain information[J].Journal of Chongqing University of Posts and Telecommunications: Natural Science Edition,2010, 22(5):541-544.

[18] 李華雄,劉盾,周獻(xiàn)中.決策粗糙集模型研究綜述[J].重慶郵電大學(xué)學(xué)報(bào)：自然科學(xué)版，2010, 22(5):624-630.

LI Huaxiong,LIU Dun,ZHOU Xianzhong.A survey of rough set model[J]. Journal of Chongqing University of Posts and Telecommunications：Natural Science Edition, 2010, 22(5):624-630.

[19] WANG R, CHEN D, KWONG S. Fuzzy-Rough-Set-Based Active Learning[J]. IEEE Transactions on Fuzzy Systems, 2014, 22(6):1699-1704.

[20] WANG R, KWONG S, CHEN D, et al. Fuzzy rough sets based uncertainty measuring for stream based active learning[J]. Machine Learning and Cybernetics(ICMLC), 2012, 1:282-288.

[21] HU Q, YU D, XIE Z. Neighborhood classifiers[J]. Expert systems with applications, 2008, 34(2): 866-876.

[22] LEWIS D D, CATLETT J. Heterogeneous Uncertainty Sampling for Supervised Learning[J]. Machine Learning Proceedings, 1994, 7(4):148-156.

[23] VLACHOS A. Active Learning with Support Vector Machines[J]. Wiley Interdisciplinary Reviews Data Mining and Knowledge Discovery,2004, 4(4):313-326.

[24] LIN T Y. Neighborhood Systems and Approximation in Relational Databases and Knowledge Bases[J]. Proceedings of International Symposium on Methodologies of Intelligent Systems, 1988, 12(5):132-155.

[25] HU Q, YU D, XIE Z. Neighborhood classifiers[J]. Expert Systems with Applications An International Journal, 2008, 34(2):866-876.

[26] STANFILL C. Toward memory-based reasoning[J]. Communications of the Acm, 1986, 29(12):1213-1228.

[27] MEILA M, JORDAN M I. Learning with Mixtures of Trees[J]. Journal of Machine Learning Research, 1999, 1(1):1-48.

[28] KAGGLE.Digit Recongnizer[EB/OL]. (2012-03-01)[2016-10-15].https://www.kaggle.com/c/digit-recognizer/data.

[29] TONG S, KOLLER D. Support vector machine active learning with applications to text classification[J]. Journal of Machine Learning Research, 2001, 2(1):45-66.

[30] DASGUPTA S, HSU D. Hierarchical sampling for active learning[C]// Daniel Hsu. International Conference on Machine Learning. Helsinki: Pattern Analysis, 2008:208-215.

[31] HUANG S J, JIN R, ZHOU Z H. Active Learning by Querying Informative and Representative Examples[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(10):892-900.

s：The National Natural Science Fundation of China(61309014)；The Ministry of Education Humanities and Social Sciences Program(15XJA630003)；The Science and Technology Research Project of Chongqing Municipal Education Commission(KJ1500416)；The Chongqing Basic and Frontier Research Program(cstc2013jcyjA40063)

Algorithmforactivelearningbasedonneighborroughsettheory

HU Feng, ZHOU Yao,WANG Lei

Chongqing Key Laboratory of Computational Intelligence, Chongqing University of Posts and Telecommunications, Chongqing 400065, P. R. China)

Active learning is one of the major research directions of machine learning. Most active learning approaches select uncertain or representative unlabeled samples to query their labels, and then add them into labeled data sets for classifier learning. However, these approaches have not fully utilized data distribution information, and not processed outlier acquisition problem well enough, too. With neighbor rough set theory, an algorithm named NRS-AL is proposed. The experiment results have shown that in UCI data set, combined with uncertainty and representative calculation of samples, the proposed algorithm in this paper has solved the previous problems, and is effective in solving sample choosing problems in active learning, which shows better accuracy and AUC performances than others in the literatures.

neighborhood rough set; active learning; pool-based sample selection

10.3979/j.issn.1673-825X.2017.06.011

2016-11-10

2017-09-15

周 耀 384375530@qq.com

國(guó)家自然科學(xué)基金(61309014)；教育部人文社科規(guī)劃項(xiàng)目(15XJA630003)；重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ1500416)；重慶市基礎(chǔ)與前沿研究計(jì)劃項(xiàng)目(cstc2013jcyjA40063)

TP183

A

1673-825X(2017)06-0776-09

胡 峰(1978 -)，男,湖北天門(mén)人，教授, 碩士生導(dǎo)師，主要研究方向?yàn)閿?shù)據(jù)挖掘、 Rough集和粒計(jì)算等。E-mail：hufeng@cqupt.edu.cn。

周 耀(1992 -)，男，重慶人，碩士研究生，主要研究方向?yàn)閿?shù)據(jù)挖掘。E-mail：384375530@qq.com。

(編輯：田海江)