曾志

(惠州學(xué)院 計(jì)算機(jī)科學(xué)系，廣東惠州 516007)

學(xué)習(xí)對(duì)人類和其他生物都很重要，它是獲取知識(shí)并且應(yīng)用知識(shí)的必要手段。心理學(xué)家認(rèn)為學(xué)習(xí)是人類智力的行為，通過學(xué)習(xí)，人們可以提升并改善知識(shí)和能力。計(jì)算機(jī)專家則認(rèn)為，學(xué)習(xí)是一個(gè)對(duì)象(人或機(jī)器)的過程，這個(gè)對(duì)象能從數(shù)據(jù) (觀察和實(shí)驗(yàn))中得出一套有用的規(guī)則。機(jī)器學(xué)習(xí)就是使用計(jì)算機(jī)模仿人的學(xué)習(xí)行為的過程。通過這樣一個(gè)非結(jié)構(gòu)化數(shù)據(jù)的處理過程，新的知識(shí)能被獲取而老的知識(shí)將得到改良。如今存在著很多機(jī)器學(xué)習(xí)的算法，這些算法采用了微妙的方法去處理不同的應(yīng)用領(lǐng)域。有通過實(shí)例數(shù)據(jù) (通常成為訓(xùn)練數(shù)據(jù))得出一些潛在的規(guī)則，最終使用歸納得到的規(guī)則再去發(fā)現(xiàn)新的知識(shí)。在現(xiàn)實(shí)生活中，常常看到非精確學(xué)習(xí)的知識(shí)發(fā)現(xiàn)比結(jié)構(gòu)化數(shù)據(jù)的精確學(xué)習(xí)的知識(shí)發(fā)現(xiàn)更重要。關(guān)于非精確學(xué)習(xí)，國(guó)內(nèi)外學(xué)者做了大量的研究工作，有基于FISH－NET算法的非精確學(xué)習(xí)［1］，也有關(guān)于粗糙集的學(xué)習(xí)方法［2］等，有提出基于數(shù)據(jù)倉(cāng)庫(kù)的綜合知識(shí)發(fā)現(xiàn)系統(tǒng)的建設(shè)模型［3］，或從概念的角度提出非精確概念機(jī)器學(xué)習(xí)的一般任務(wù)模式［4－6］，為了更好的完成知識(shí)發(fā)現(xiàn)的過程，提高發(fā)現(xiàn)信息和知識(shí)的效率，文獻(xiàn)［7］提出了一種基于數(shù)據(jù)倉(cāng)庫(kù)的過程驅(qū)動(dòng)的可伸縮性知識(shí)發(fā)現(xiàn)模型。本文以值為數(shù)據(jù)類型的數(shù)據(jù)集為切入點(diǎn)，提出域?qū)W習(xí)算法去獲取屬性規(guī)則并且應(yīng)用到新的數(shù)據(jù)集去發(fā)現(xiàn)知識(shí)的算法模型，采用一種利用優(yōu)化的方法使機(jī)器學(xué)習(xí)更加簡(jiǎn)單，從而有助于改善數(shù)據(jù)挖掘的效率和可靠性。

1 非精確學(xué)習(xí)與發(fā)現(xiàn)

1.1 非精確學(xué)習(xí)

與精確學(xué)習(xí)相對(duì)應(yīng)，存在一個(gè)精確學(xué)習(xí)的概念。在學(xué)習(xí)領(lǐng)域，很多研究人員已經(jīng)歸納出了很多精確學(xué)習(xí)與非精確學(xué)習(xí)的規(guī)則。然而，在某些特定應(yīng)用領(lǐng)域去研究精確的規(guī)則是沒有必要的，因?yàn)樗鼈儾⒉恍枰紤]精確的計(jì)算和結(jié)果，只需得到一個(gè)粗略的估計(jì)?？尚业氖沁^去在非精確學(xué)習(xí)方面有一定的工作基礎(chǔ)。

如果一個(gè)人使用粗略的數(shù)據(jù)或不定的結(jié)輪，這個(gè)算法是非精確的。在此復(fù)述一下訓(xùn)練示例包括一些屬性方面的規(guī)則，通常地，有很多方法去規(guī)范一些非精確規(guī)則包括使用不同的公式去處理相應(yīng)的科目。使用一個(gè)方法去分析和解決建立在模糊集理論和粗糙集理論之上的非確定性問題。因此，認(rèn)為如果算法應(yīng)用到學(xué)習(xí)不確定的知識(shí)就稱為非精確學(xué)習(xí)算法。同樣，如果算法被應(yīng)用到發(fā)現(xiàn)有價(jià)值的、先前不知道的和潛在的有用的不可定義的知識(shí)就稱為非精確知識(shí)發(fā)現(xiàn)算法。

傳統(tǒng)的學(xué)習(xí)算法通過檢測(cè)每個(gè)示例單個(gè)值來(lái)獲取規(guī)則，這種學(xué)習(xí)方法叫點(diǎn)學(xué)習(xí)法。這里要介紹更好的方法——域?qū)W習(xí)算法。為了對(duì)付低預(yù)測(cè)精度問題，域歸納學(xué)習(xí)法也是不可或缺的一部分。它與點(diǎn)學(xué)習(xí)法去測(cè)量訓(xùn)練數(shù)據(jù)集中每個(gè)示例一—點(diǎn)的屬性值是不同的，域?qū)W習(xí)法關(guān)注訓(xùn)練數(shù)據(jù)集每一個(gè)屬性域。

定義1 域

取I= {I1，I2，…，Im} =DT為訓(xùn)練實(shí)例集，ajj是屬性xj(1≤j≤n)在實(shí)例Ii中的值，屬性xj(1≤j≤n)的域h與類ck(1≤k≤s)相關(guān)，標(biāo)識(shí)符被定義在 ［］區(qū)間，則

這樣，屬性xj(1≤j≤n)與ck(1≤k≤s)相關(guān)的域h是可能值的域范圍，將推導(dǎo)出類ck。顯示了對(duì)應(yīng)的屬性和分類，通常h表示為

定義2 域?qū)W習(xí)

設(shè)A為一個(gè)學(xué)習(xí)算法，r為在訓(xùn)練集DT中通過A發(fā)現(xiàn)的一條規(guī)則，I={I1，I2，…，Im} =DT為訓(xùn)練實(shí)例，每一個(gè)實(shí)例Ii∈I包含n個(gè)屬性 {x1，x2，…，xn}的n個(gè)值 {ai1，ai2，…，ain}，取C={c1，c2，…，cs}是在數(shù)據(jù)訓(xùn)練集DT中所有實(shí)例中的輸出變量中的所有可能分類的集合，γi∈C(1≤i≤m);取 ［］(k=1，…，s;1≤j≤n)為每一個(gè)屬性xj(1≤j≤n)與類ck(k=1，…，s)相關(guān)的域。對(duì)每一個(gè)類ck(k=1，…，s)，如果算法A通過計(jì)算這些域?qū)W習(xí)規(guī)則，算法A稱為域?qū)W習(xí)算法。

在這個(gè)定義中，“通過計(jì)算這個(gè)域”就是指算法首先需要去發(fā)現(xiàn)每一個(gè)屬性相關(guān)所有分類的域;然后通過檢查這個(gè)域去發(fā)現(xiàn)規(guī)則，而不是每個(gè)實(shí)例單個(gè)點(diǎn)的值。也就是說，這個(gè)規(guī)則是通過歸納隱含在字段里的規(guī)律而獲得。

假設(shè)r是一個(gè)規(guī)則，Ii是一個(gè)實(shí)例，DT為訓(xùn)練實(shí)例集，點(diǎn)學(xué)習(xí)和域?qū)W習(xí)算法能夠被非正式地描述如下。

1)算法Ⅰ點(diǎn)學(xué)習(xí)

(1)設(shè)r是給定的第一個(gè)正實(shí)例;

(2)考慮到r和Ii的一致性，設(shè)下一個(gè)Ii是正的，并且給定r的結(jié)果 (必須考慮r和Ii的每一個(gè)值);

否則，，如果下一個(gè)Ii是負(fù)數(shù)，從r中沖掉不一致的元素 (也需要考慮r和Ii的每一個(gè)值);

(3)如果訓(xùn)練集DT不空，重復(fù)步驟2。

2)算法Ⅱ域?qū)W習(xí)

(1)計(jì)算每一個(gè)來(lái)自于所有實(shí)例Ii(1≤i≤m)在訓(xùn)練集DT的屬性xj的域(k=1，2，…，s);

從這里可以看出域?qū)W習(xí)和點(diǎn)學(xué)習(xí)是兩個(gè)不同的策略。根據(jù)這些學(xué)習(xí)策略可以研發(fā)出不同的學(xué)習(xí)算法。這個(gè)主要的不同是點(diǎn)學(xué)習(xí)通過一致性概括歸納出規(guī)則，它關(guān)注于每一個(gè)點(diǎn)值aij(I=1，…，m;j=1，…，n)。而域?qū)W習(xí)歸納規(guī)則關(guān)注于每一個(gè)屬性xj的域(k=1，2，…，s)。

3)非精確學(xué)習(xí)算法

具體步驟如下:

計(jì)算域;(依據(jù)域的定義)

構(gòu)建貢獻(xiàn)函數(shù);(比如函數(shù)μ(x))

計(jì)算結(jié)果域;(顯示出域值的范圍)

構(gòu)建可信函數(shù);

確定閾值;

形成非精確規(guī)則。

特別地，這個(gè)算法僅能應(yīng)用到值為數(shù)字類型的數(shù)據(jù)。

1.2 基本域?qū)W習(xí)

在一個(gè)受限的類學(xué)習(xí)任務(wù)中，開始僅考慮對(duì)于兩類分類問題的基本域?qū)W習(xí)，然后考慮通用的域?qū)W習(xí)，設(shè)C= {c1，c2}是兩個(gè)類的集合，取γi是輸出變量在實(shí)例Ii中的值，這樣，γi∈C(1≤i≤m)。一個(gè)典型的兩類分類問題是c1=P和c2=N，其中P指向正數(shù)集合，N指向負(fù)數(shù)集合。

定義3 非精確學(xué)習(xí)

設(shè)A是學(xué)習(xí)算法，r是從訓(xùn)練數(shù)據(jù)集DT所學(xué)到的規(guī)則，I={I1，I2，…，Im}=DT是訓(xùn)練實(shí)例集合，對(duì)于每一個(gè)Ii∈I包含n個(gè)屬性{x1，x2，…，xn}的n個(gè)值{ai1，ai2，…，ain}，設(shè)γi是輸出變量γ在實(shí)例Ii(1≤i≤m)中的值，取 C={c1，c2，…，cs}是所有可能分類的集合在所有訓(xùn)練數(shù)據(jù)集DT中的輸出變量，如i∈C.給定一個(gè)新的不可見的情況Ii(1≤i≤m)，

μck(x)是一個(gè)類模糊成員函數(shù)，描述了程度對(duì)于情況Ii屬于每一個(gè)類ck(1≤k≤s)的輸出.假設(shè)有兩個(gè)類

在一個(gè)兩個(gè)類的分類任務(wù)中，假設(shè)c1=正p，c2=負(fù)n，只需要關(guān)注正面的情況，因?yàn)?/p>

定義4 非精確規(guī)則

對(duì)于一個(gè)規(guī)則r

其中ej為一條件表達(dá)式如x＞3.6，如果條件表達(dá)式的真值ei∈ ［0，1］，然而其中將存在一個(gè)非精確規(guī)則。這樣，發(fā)現(xiàn)規(guī)則通過一個(gè)閥值有下面的一個(gè)輸出，例如:

2 非精確學(xué)習(xí)方法獲取規(guī)則的應(yīng)用示例

表1為某地區(qū)近段時(shí)間來(lái)溫度測(cè)量的數(shù)據(jù)集中抽取出的一些訓(xùn)練數(shù)據(jù)，利用非精確學(xué)習(xí)方法來(lái)獲取規(guī)則方法舉例如下。

表1 用于訓(xùn)練的某地區(qū)溫度數(shù)據(jù)

非精確域?qū)W習(xí)的第一步與精確學(xué)習(xí)一樣，但是這里采用不同的方法構(gòu)建出一條規(guī)則。下面就是采用一個(gè)建立在域基礎(chǔ)去形成一個(gè)非精確規(guī)則的方法:

對(duì)于實(shí)例1，屬性x的值為3.6，且x≥2.5.根據(jù)第一個(gè)公式μ+(x)=1，在這個(gè)實(shí)例中屬性y的值是根據(jù)第二個(gè)公式的第3部分，μ+(y)=0.167。把所有這些值代進(jìn)相應(yīng)的公式并計(jì)算μ+(x)和μ+(y)的平均值，有如下結(jié)果:

當(dāng) α =0.48。

當(dāng)然，有很多方法能獲得適當(dāng)?shù)囊?guī)則，本文的最終目的是通過利用適當(dāng)?shù)囊?guī)則去發(fā)現(xiàn)那些高質(zhì)量和有用的知識(shí)。因此怎樣利用那些規(guī)則發(fā)現(xiàn)那些知識(shí)并不是困難的事情，問題的關(guān)鍵是怎樣找到有效的規(guī)則。選擇一個(gè)容易的方法去歸納規(guī)則作為一個(gè)策略并且解決這類問題將是更加必不可少的。為了更好地理解它的基本原理，下面給出采用域?qū)W習(xí)算法的例子予以說明。

輸入:

表2 用于域?qū)W習(xí)算法的實(shí)例

輸出:非精確規(guī)則/近似規(guī)則

依據(jù)算法Ⅱ，歸納這個(gè)規(guī)則有六步，過程如下:

StepⅠ:計(jì)算域

Ⅱ:構(gòu)建貢獻(xiàn)函數(shù)

圖1 屬性值與類的函數(shù)關(guān)系圖

該圖描述了屬性x1的值與類相關(guān)的情形。由于概率的關(guān)系，這里把界限分為3部分，因?yàn)樵谝粋€(gè)交互范圍中，概率越接近，表示它越精確。因此得到的函數(shù)為

Ⅲ:計(jì)算結(jié)果域

Ⅳ:構(gòu)建可信函數(shù)

圖2 域值范圍關(guān)系圖

Ⅴ:確定閥值

Ⅵ:形成非精確規(guī)則

3 結(jié)語(yǔ)

一般地，通過使用一些特殊學(xué)習(xí)策略訓(xùn)練數(shù)據(jù)集，能將導(dǎo)出最終的目標(biāo)，低質(zhì)量的數(shù)據(jù)集可以提取為一個(gè)有用的高質(zhì)量的數(shù)據(jù)集。目前有很多非精確學(xué)習(xí)方法去處理這些數(shù)據(jù)集，比如Fish-Net、C4.5、域?qū)W習(xí)和點(diǎn)學(xué)習(xí)算法等等。本文介紹的非精確學(xué)習(xí)算法是一個(gè)基本的數(shù)據(jù)處理過程，它能被應(yīng)用到不同的領(lǐng)域比如銀行數(shù)據(jù)處理過程或其它相關(guān)領(lǐng)域，從訓(xùn)練數(shù)據(jù)集獲取其規(guī)則，然后利用這些規(guī)則去發(fā)現(xiàn)新的知識(shí)。由于還沒有獲得所有的數(shù)據(jù)集去處理，只是通過很小的一部分?jǐn)?shù)據(jù)去訓(xùn)練，因此怎樣評(píng)估規(guī)則的精確性和機(jī)器學(xué)習(xí)的可靠性是另一問題。實(shí)驗(yàn)表明:同樣的數(shù)據(jù)集，F(xiàn)ish-Net與C4.5的預(yù)測(cè)能力相比，數(shù)值越大，規(guī)則越好。

本文展示了非精確域?qū)W習(xí)算法處理數(shù)據(jù)集并得到規(guī)則的方法，這是非常簡(jiǎn)單和基礎(chǔ)的算法。本算法的缺點(diǎn)是在預(yù)測(cè)精確度方面比Fish-Net算法的性能略差，而優(yōu)點(diǎn)則是研究領(lǐng)域的適用范圍更廣。

［1］Honghua Dai and Victor Ciesielski.Inexact field learning using the FISH －NET algorithm［R］.Technical report，Department of Computer Science，1995，95:223.

［2］Honghua Dai.Rough Sets and Inexact Discovery［D］.PhD.Dissertation，Department of Computer Science，RMIT，1996.

［3］曹薊光，王中康.基于數(shù)據(jù)倉(cāng)庫(kù)的綜合知識(shí)發(fā)現(xiàn)系統(tǒng)的研究與應(yīng)用［J］.計(jì)算機(jī)應(yīng)用，2001:68－70.

［4］許海濤.基于數(shù)據(jù)倉(cāng)庫(kù)的知識(shí)發(fā)現(xiàn)策略研究［D］.哈爾濱:黑龍江大學(xué)碩士論文，2008.

［5］林距華，王熙照.“不精確概念的表示理論”一文中兩個(gè)命題的修正［J］.河北大學(xué)學(xué)報(bào)，2003，23(2):1－2.

［6］韓習(xí)武，趙鐵軍.非精確概念的機(jī)器學(xué)習(xí)與應(yīng)用［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2006，38(10):1736－1739.

［7］王熙照.不精確概念的表示理論(I)定義與基礎(chǔ)知識(shí)［J］.河北大學(xué)學(xué)報(bào)，1996，16(4):1－5.