岳強(qiáng)，胡中玉，文瑾，趙卿

?

基于R語言的數(shù)據(jù)挖掘課程實(shí)驗(yàn)設(shè)計(jì)

岳強(qiáng)，胡中玉，文瑾，趙卿

摘 要：大數(shù)據(jù)時(shí)代的到來，讓數(shù)據(jù)挖掘知識(shí)和技術(shù)得到了快速的發(fā)展和應(yīng)用。針對(duì)該課程實(shí)驗(yàn)存在的問題，設(shè)計(jì)了關(guān)聯(lián)、分類和聚類實(shí)驗(yàn)方案，研究了Apriori關(guān)聯(lián)算法、ID3分類算法和K-Means聚類算法，在R語言環(huán)境下實(shí)現(xiàn)了這些算法并對(duì)實(shí)驗(yàn)結(jié)果做出分析。通過教學(xué)實(shí)踐表明，該課程實(shí)驗(yàn)有效地激發(fā)了學(xué)生的學(xué)習(xí)興趣，培養(yǎng)了學(xué)生使用數(shù)據(jù)挖掘方法分析和解決問題的能力。

關(guān)鍵詞：實(shí)驗(yàn)設(shè)計(jì)；數(shù)據(jù)挖掘；R語言；關(guān)聯(lián)；分類；聚類

0 引言

數(shù)據(jù)挖掘是計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程等信息技術(shù)類專業(yè)一門非常重要的專業(yè)技術(shù)課程，在信息技術(shù)類專業(yè)的人才培養(yǎng)方案中占有重要地位。數(shù)據(jù)挖掘技術(shù)是一門綜合性非常強(qiáng)的交叉學(xué)科，融合了數(shù)據(jù)庫、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)和模式識(shí)別等學(xué)科的內(nèi)容［1］。為了讓學(xué)生全面掌握數(shù)據(jù)挖掘原理和技術(shù)，必須將理論教學(xué)和實(shí)驗(yàn)教學(xué)良好結(jié)合，既要強(qiáng)調(diào)理論知識(shí)的講解，更要重視實(shí)驗(yàn)內(nèi)容的組織和設(shè)計(jì)，這樣才能讓學(xué)生真正掌握數(shù)據(jù)挖掘的精髓，達(dá)到學(xué)以致用的目的，提高專業(yè)核心技能。

1 課程實(shí)驗(yàn)存在的問題

1.1 學(xué)生知識(shí)結(jié)構(gòu)存在缺陷

由于數(shù)據(jù)挖掘是一門交叉學(xué)科，所以要求學(xué)生也要具備多方面的知識(shí)和技能結(jié)構(gòu)。一方面學(xué)生要具有良好的數(shù)理基礎(chǔ)，另一方面也要具備優(yōu)秀的程序設(shè)計(jì)能力。數(shù)據(jù)挖掘中的相關(guān)定義會(huì)涉及到大量的數(shù)學(xué)公式，數(shù)學(xué)基礎(chǔ)比較薄弱的學(xué)生容易退縮，失去學(xué)習(xí)的興趣。算法的實(shí)現(xiàn)過程又需要使用遞歸、多重迭代和集合操作等較復(fù)雜的編程技術(shù)，所以學(xué)生普遍感覺該課程內(nèi)容晦澀難懂，實(shí)驗(yàn)任務(wù)難以完成，從而對(duì)課程產(chǎn)生畏難情緒［2］。

1.2 實(shí)驗(yàn)內(nèi)容組織有待改進(jìn)

數(shù)據(jù)挖掘是從海量的數(shù)據(jù)中獲取知識(shí)的過程，實(shí)驗(yàn)開展時(shí)理想的情況是從大型的數(shù)據(jù)庫中分析數(shù)據(jù)和挖掘知識(shí)，但受限于課程學(xué)時(shí)，各高校一般為該課程開設(shè)的學(xué)時(shí)數(shù)為32至48，實(shí)驗(yàn)學(xué)時(shí)只占課程學(xué)時(shí)的三分之一，所以在實(shí)驗(yàn)中不可能也沒有必要使用海量數(shù)據(jù)，這就考核到了教師的教學(xué)組織能力，課堂教學(xué)內(nèi)容需要優(yōu)化整合，實(shí)驗(yàn)內(nèi)容要真正做到“精練”。教師首先需要收集和整理一批數(shù)量和維度適中的案例數(shù)據(jù)，最好是能激發(fā)學(xué)生學(xué)習(xí)興趣的，其次設(shè)計(jì)實(shí)驗(yàn)時(shí)應(yīng)該提高設(shè)計(jì)性和綜合性實(shí)驗(yàn)的比重，減少驗(yàn)證性和演示性實(shí)驗(yàn)的數(shù)目，讓學(xué)生在有限的實(shí)驗(yàn)學(xué)時(shí)內(nèi)訓(xùn)練到最重要的核心技能。另外，實(shí)驗(yàn)環(huán)境和軟件工具的選取也非常重要，對(duì)時(shí)間、人力和實(shí)驗(yàn)資源都起到節(jié)約的作用。

2 基于R語言的數(shù)據(jù)挖掘課程實(shí)驗(yàn)設(shè)計(jì)

R語言是一款優(yōu)秀的數(shù)據(jù)挖掘軟件，和其他數(shù)據(jù)挖掘軟件相比，它是一個(gè)免費(fèi)的開源軟件，簡(jiǎn)單實(shí)用，語句格式易于理解，只需具備基礎(chǔ)的程序編制能力，就能快速上手，而且提供了功能強(qiáng)大的統(tǒng)計(jì)計(jì)算和圖形繪制功能，有利于將挖掘結(jié)果圖形化顯示，方便學(xué)生觀看實(shí)驗(yàn)效果［3］。下面以數(shù)據(jù)挖掘中最典型的3種關(guān)鍵技術(shù)關(guān)聯(lián)分析、分類和聚類為例，使用R語言作為軟件工具，設(shè)計(jì)了關(guān)聯(lián)分析、分類和聚類的實(shí)驗(yàn)方案。

2.1 關(guān)聯(lián)分析實(shí)驗(yàn)設(shè)計(jì)

關(guān)聯(lián)是從數(shù)據(jù)集中發(fā)現(xiàn)頻繁出現(xiàn)的項(xiàng)目集合模式，反映一個(gè)事件和其他事件的依賴關(guān)系，如果兩項(xiàng)或多項(xiàng)屬性間存在關(guān)聯(lián)，那么其中一項(xiàng)的屬性值就可以對(duì)其他屬性值進(jìn)行預(yù)測(cè)［4］。常用的關(guān)聯(lián)算法有Apriori算法。

2.1.1 實(shí)驗(yàn)原理

關(guān)聯(lián)規(guī)則是描述在一個(gè)事務(wù)中項(xiàng)目之間同時(shí)出現(xiàn)的規(guī)律的知識(shí)模式。一個(gè)事務(wù)中的關(guān)聯(lián)規(guī)則挖掘可以描述如下：

設(shè)I=｛i1，i2，…，im｝是一個(gè)項(xiàng)目集合，其中的每個(gè)元素i稱為項(xiàng)目。數(shù)據(jù)集D=｛T1，T2，…，Tn｝是一個(gè)事務(wù)數(shù)據(jù)庫，其中每個(gè)事務(wù)T?I。每個(gè)事務(wù)都有一個(gè)標(biāo)識(shí)符，稱之為TID。

定義1 若A是項(xiàng)目集，當(dāng)且僅當(dāng)A?T時(shí)，則事務(wù)T包含了A。一條關(guān)聯(lián)規(guī)則是形如A=>B的蘊(yùn)含關(guān)系，其中A?I，B?I且A∩B=?。

定義2 支持度表示的是事務(wù)集中包含A和B的事務(wù)數(shù)與所有事務(wù)數(shù)之比，記為support（A=>B）=P（A∪B）。支持度反映關(guān)聯(lián)規(guī)則在數(shù)據(jù)集中的重要程度。

定義3 置信度表示的是包含A和B的事務(wù)數(shù)與包含A的事務(wù)數(shù)之比，記為confidence（A=>B）=P（A | B）。置信度衡量關(guān)聯(lián)規(guī)則的可信程度。

Apriori算法是一種經(jīng)典的關(guān)聯(lián)規(guī)則挖掘算法，其他算法均是在此算法基礎(chǔ)上進(jìn)行改進(jìn)。算法的核心思想是不斷的掃描事務(wù)集，直到找出所有頻繁項(xiàng)集?；陬l繁項(xiàng)目集性質(zhì)的先驗(yàn)知識(shí)，使用從下至上逐層搜索的迭代方法，k項(xiàng)集用于搜索k+1項(xiàng)集。

2.1.2 Apriori算法描述

輸入：數(shù)據(jù)集D，最小支持度m in_support。輸出：頻繁項(xiàng)目集L。L1=｛large 1-itemset｝；

For （k=2；Lk-1≠?；k++）｛Ck=Apriori-gen（Lk-1）；For all transactions t∈D ｛Ct=subset（Ck，t）；

For all candidates c∈Ctc.count++；｝Lk=｛ c∈Ck| c.count ≥min_support｝｝Return L=∪Lk。

2.1.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)數(shù)據(jù)采用模擬某超市的商品銷售記錄事務(wù)集，共50條記錄，該事務(wù)集的部分?jǐn)?shù)據(jù)，數(shù)據(jù)使用CSV格式存儲(chǔ)，便于讀取和修改［5］。如表1所示：

表1 超市商品銷售事務(wù)部分?jǐn)?shù)據(jù)

調(diào)用apriori（）函數(shù)來挖掘關(guān)聯(lián)規(guī)則，例如挖掘出支持度最小閾值為0.07，置信度最小閾值為0.5的關(guān)聯(lián)規(guī)則，核心代碼如下，結(jié)果如圖1所示：

圖1 關(guān)聯(lián)規(guī)則挖掘結(jié)果

rule0=apriori（tr，parameter=list（support=0.07，confidence=0 .5））

從運(yùn)行結(jié)果可以看出，此次共挖掘出11條關(guān)聯(lián)規(guī)則，其中支持度最高的規(guī)則為｛面包｝=>｛牛奶｝這條規(guī)則（支持度為0.22）。

通過控制支持度和置信度來調(diào)整顯示規(guī)則的數(shù)目，如將支持度最小閾值調(diào)整為0.1，算法挖掘出6條規(guī)則，結(jié)果如圖1（b）所示：使用擴(kuò)展軟件包arulesViz，可以將關(guān)聯(lián)規(guī)則圖形化顯示，關(guān)聯(lián)規(guī)則的散點(diǎn)圖如圖2所示：

圖2 關(guān)聯(lián)規(guī)則散點(diǎn)圖

2.2 分類實(shí)驗(yàn)設(shè)計(jì)

分類是按照分析對(duì)象的屬性、特征，建立不同的組類來描述事物。分類過程分為兩個(gè)階段，第一階段通過訓(xùn)練數(shù)據(jù)構(gòu)造模型，可以使用分類規(guī)則描述該學(xué)習(xí)模型。第二階段使用構(gòu)造的模型進(jìn)行分類，并評(píng)估模型的預(yù)測(cè)準(zhǔn)確率［6］。常用的關(guān)聯(lián)算法有ID3算法和C4.5算法。

2.2.1 實(shí)驗(yàn)原理

定義4信息熵：信息熵用來描述信息的不穩(wěn)定程度，定義如公式（1）：

定義5 信息增益：假設(shè)按屬性A劃分D中的元組，其中屬性A根據(jù)訓(xùn)練數(shù)據(jù)的觀測(cè)具有v個(gè)不同值｛a1，a2，…，av｝?？梢杂脤傩訟將D劃分為v個(gè)子集｛D1，D2，…，Dv｝，其中Dj包含D中的元組，它們?cè)贏上具有值A(chǔ)j。這個(gè)量由下式度量如公式（2）：

Gain(A) = Info(D) - InfoA(D) （3）

ID3算法是一種典型的決策樹算法，主要針對(duì)如何選取屬性。決策樹算法通常分為兩個(gè)步驟：決策樹生成和決策樹剪枝。構(gòu)造決策樹采用的是自上而下的遞歸方法。首先選擇訓(xùn)練數(shù)據(jù)的某個(gè)屬性作為根結(jié)點(diǎn)，對(duì)測(cè)試屬性的每個(gè)值（離散化）創(chuàng)建一個(gè)分支，然后選擇信息增益值最大的屬性做為分裂屬性，并據(jù)此劃分樣本。算法使用同樣的過程，遞歸形成每個(gè)分支下的子分支。

2.2.2 ID3算法描述

輸入：訓(xùn)練數(shù)據(jù)T，類別屬性C，非類別屬性集合R。

輸出：決策樹。

Begin

If （T is Empty） Then Return（null）；

If T是由其值均為相同類別屬性值的記錄組成 Then返回一個(gè)帶有該值的單節(jié)點(diǎn)；

If （R is Empty） Then返回一個(gè)單節(jié)點(diǎn)，其值為在T的記錄中找出的頻率最高的類別屬性值；

將R中屬性之間具有最大Gain（D）值的屬性賦給D；將屬性D的值賦給｛dj∣j=1，2，…，m｝；

將分別由對(duì)應(yīng)于D的值為dj的記錄組成的T的子集賦給｛Tj∣j=1，2，…，m ｝；

返回一棵樹，其根標(biāo)記為D，樹枝標(biāo)記為d1，d2，…，dm；

再分別構(gòu)造以下樹：ID3（T1，C，R-｛D｝），ID3（T2，C，R-｛D｝），…，ID3（Tm，C，R-｛D｝）；

End

2.2.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)部分?jǐn)?shù)據(jù)如表2所示：

表2 樣本數(shù)據(jù)集部分?jǐn)?shù)據(jù)

20..35 　High 　No 　Fair 　No 20..35 　High 　No 　Excellent 　No 35..50 　High 　No 　Fair 　Yes >50 　Medium 　No 　Fair 　Yes >50 　Low 　Yes 　Fair 　Yes

記錄了用戶的年齡、收入、信用等級(jí)和是否有購車意愿等一些信息。以“是否購車”屬性做為類別屬性，通過調(diào)用分類算法建立決策樹。

調(diào)用J48（）函數(shù)來產(chǎn)生決策樹，J48（）函數(shù)實(shí)現(xiàn)了C4.5分類算法，C4.5算法的核心函數(shù)是ID3分類算法，核心代碼如下，運(yùn)行結(jié)果如圖3所示：

圖3 分類結(jié)果圖

formula=class$buy_car～age+income+married+credit

c45=J48（formula，data=class）

結(jié)果以縮進(jìn)的方式顯示決策樹的層次結(jié)構(gòu)，從結(jié)果中可以看出此次產(chǎn)生的決策樹共有11個(gè)結(jié)點(diǎn)。從根結(jié)點(diǎn)出發(fā)到達(dá)葉結(jié)點(diǎn)就形成一條形如If…Then結(jié)構(gòu)的分類規(guī)則，如第一條分支代表的分類規(guī)則是If age>50 and credit=Excellent Then buy_car=No。使用擴(kuò)展軟件包partykit，將結(jié)果決策樹繪制成樹形形狀，如圖4所示：

圖4 決策樹

2.3 聚類實(shí)驗(yàn)設(shè)計(jì)

聚類是將數(shù)據(jù)對(duì)象分成為多個(gè)類或簇，劃分的原則是在同一個(gè)類中的對(duì)象之間具有較高的相似度，而不同類中的對(duì)象差別較大。與分類不同，聚類劃分的類是未知的，類的形成是由數(shù)據(jù)分析得到的。常用的聚類算法有K-Means算法、K-Medoids算法等。

2.3.1 實(shí)驗(yàn)原理

聚類分析是一個(gè)活躍的研究領(lǐng)域，已經(jīng)涌現(xiàn)出大量的聚類算法，這些算法按照分析思路劃分，可以分為（1）劃分法，如K-Means算法；（2）層次法，如DIANA算法；（3）基于密度的算法，如DBSCAN算法；（4）基于網(wǎng)格的算法，如STRING算法；（5）基于模型的算法，如SOM算法［7］。每類算法本身并無優(yōu)劣之分，使用者要根據(jù)數(shù)據(jù)特性來選擇合適的聚類算法。

定義6 給定一個(gè)有n個(gè)對(duì)象的數(shù)據(jù)集，聚類將數(shù)據(jù)進(jìn)行k個(gè)劃分，每一個(gè)劃分乘坐一個(gè)簇，k≤n。這k個(gè)劃分滿足下列條件：（1）每個(gè)簇至少包含一個(gè)對(duì)象；（2）每一個(gè)對(duì)象屬于且僅屬于一個(gè)簇。

K-Means算法是使用的最廣泛的聚類算法，它將n個(gè)對(duì)象劃分成k個(gè)簇，簇內(nèi)的對(duì)象具有較高的相似度，而簇間的對(duì)象的相異度較高 。相似度根據(jù)一個(gè)簇中所有對(duì)象的平均值來計(jì)算。算法首先隨機(jī)選取k個(gè)對(duì)象，這些對(duì)象被認(rèn)為是它所在簇的中心，計(jì)算剩余對(duì)象與各個(gè)簇中心的距離，將它歸到最近的簇，然后重新計(jì)算每個(gè)簇的平均值。重復(fù)這個(gè)過程，直到準(zhǔn)則函數(shù)收斂［13-15］。

定義7K-Means算法的準(zhǔn)則函數(shù)定義為公式（4）：

其中x是空間中的點(diǎn)，代表給定的數(shù)據(jù)對(duì)象，xi-是簇Ci的平均值。

2.3.2 K-Means算法描述輸入：數(shù)據(jù)集D，要?jiǎng)澐值拇氐臄?shù)目k。輸出：k個(gè)簇的集合。從D中隨機(jī)選取k個(gè)對(duì)象做為初始簇的中心；Repeat；根據(jù)簇中對(duì)象的均值，將每個(gè)對(duì)象分配到最相似的簇中；重新計(jì)算每個(gè)簇中對(duì)象均值；計(jì)算準(zhǔn)則函數(shù)E；Until 準(zhǔn)則函數(shù)不再發(fā)生變化。

2.3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)數(shù)據(jù)來自某年我國(guó)各省市的出生和死亡情況，數(shù)據(jù)如表3所示：

表3 全國(guó)各省市出生死亡情況統(tǒng)計(jì)數(shù)據(jù)

調(diào)用kmeans （）函數(shù)將數(shù)據(jù)進(jìn)行分類，簇的數(shù)目定位3，即將數(shù)據(jù)分為3類，核心代碼見下，運(yùn)行結(jié)果如圖5所示：

圖5 聚類結(jié)果圖

km1=kmeans（pv［，-1］，center=3）

以上結(jié)果顯示了3個(gè)類別所含的樣本數(shù)，分別為9、10 和12，每個(gè)類別的出生率和死亡率的均值，以及每個(gè)樣本所屬的類別。

將每個(gè)樣本圖形化顯示，橫坐標(biāo)為出生率，縱坐標(biāo)為死亡率，用不同的符號(hào)代表不同的聚類，星號(hào)“*”代表每個(gè)聚類的中心，可以認(rèn)為3個(gè)類別分別代表低、中、高出生率的省市。為使圖中顯示的內(nèi)容更加直觀，選取每個(gè)聚類的樣本點(diǎn)以及出生率最低和最高的樣本點(diǎn)強(qiáng)調(diào)顯示，并在樣本點(diǎn)下方顯示出省市名，結(jié)果如圖6所示：

圖6 顯示名稱的樣本分布圖

聚類的數(shù)目是不確定的，以上實(shí)驗(yàn)的聚類數(shù)取值為3，要選擇出最好的聚類數(shù)，可以使用聚類優(yōu)度來度量。聚類優(yōu)度用下式計(jì)算如公式（5）：

實(shí)現(xiàn)代碼如下：

count=nrow（pv）-1

opt=rep（0，count）

for （i in 1:count）

｛

km1=kmeans（pv［，-1］，center=i）

opt［i］=km1$betweenss/km1$totss

｝

round（opt，2）

運(yùn)行結(jié)果如圖7所示：

圖7 聚類優(yōu)度結(jié)果圖

從結(jié)果中可以分析得出，當(dāng)聚類數(shù)小于等于8時(shí)，隨著聚類數(shù)的增加，聚類優(yōu)度的值變化明顯，從0.68快速增長(zhǎng)到0.97，相應(yīng)的聚類效果越來越好。但聚類數(shù)大于8后，聚類優(yōu)度變化緩慢，其變化趨勢(shì)如圖8所示：

圖8 聚類優(yōu)度變化趨勢(shì)圖

3 總結(jié)

為解決數(shù)據(jù)挖掘課程教學(xué)過程中出現(xiàn)的問題，在收集和組織實(shí)驗(yàn)數(shù)據(jù)的基礎(chǔ)上，本文設(shè)計(jì)了關(guān)聯(lián)、分類和聚類3個(gè)重要的數(shù)據(jù)挖掘?qū)嶒?yàn)方案，分析了Apriori關(guān)聯(lián)算法、ID3分類算法和K-Means聚類算法，使用R語言實(shí)現(xiàn)了這些典型算法，對(duì)實(shí)驗(yàn)結(jié)果做出分析，并以圖形化的方式直觀顯示實(shí)驗(yàn)結(jié)果。通過教學(xué)實(shí)踐，取得了良好的教學(xué)效果，激發(fā)了學(xué)生學(xué)習(xí)該課程的興趣，培養(yǎng)了學(xué)生知識(shí)發(fā)現(xiàn)和創(chuàng)新能力。大數(shù)據(jù)時(shí)代的到來，讓數(shù)據(jù)挖掘技術(shù)得到快速發(fā)展和應(yīng)用的良機(jī)，高校的師生更應(yīng)抓住契機(jī)，熟練掌握數(shù)據(jù)挖掘的技能，提升專業(yè)核心競(jìng)爭(zhēng)力。

參考文獻(xiàn)

［1］ Jiawei Han，M ichelineKamber.數(shù)據(jù)挖掘概念與技術(shù)［M］.北京:機(jī)械工業(yè)出版社，2003.

［2］ 胡中玉，岳強(qiáng)，徐東霞.基于Matlab的方波分解與合成仿真實(shí)驗(yàn)設(shè)計(jì)［J］.實(shí)驗(yàn)技術(shù)與管理，2014，31（9）:44-46.

［3］ 黃文，王正林.數(shù)據(jù)挖掘:R語言實(shí)戰(zhàn)［M］.北京:電子工業(yè)出版社，2014.

［4］ 岳強(qiáng)，劉渝妍.基于主-子表的挖掘模式存儲(chǔ)方法研究［J］.昆明大學(xué)學(xué)報(bào)，2006，17（4）:44-47.

［5］ 岳強(qiáng)，胡中玉，劉渝妍.基于數(shù)據(jù)挖掘的自適應(yīng)入侵檢測(cè)模型研究［J］.軟件，2015，36（9）:48-51.

［6］ 孫吉貴，劉杰，趙連宇.聚類算法研究［J］.軟件學(xué)報(bào)，2018，19（1）:48-61.

［7］ 劉猛.一種基于云計(jì)算的高效數(shù)據(jù)挖掘框架研究［J］.微型電腦應(yīng)用，2015，31（6）:15-19.

Experiment Design of Data M ining Course Based on R Language

Yue Qiang， Hu Zhongyu， Wen Jin， Zhao Qing
（Kunming University， Kunming 650214，China）

Abstract:With the com ing of Big Data， know ledge and technology of data mining develop very quickly. In view of the problems in the data mining experiments， plans about association， classification and clustering are designed. The Apriori algorithm， ID3 algorithm and K-Means algorithm are researched. These algorithms are realized by using R language， and experimental result is analyzed. Through the teaching practice， the experiments can inspire students' interest in learning effectively， and train ability of students to analyze and solve problems by using data mining method.

Key words:Experiment Design； Data mining； R language； Association； Classification； Clustering

中圖分類號(hào)：TP18；TP311

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1007-757X（2016）05-0031-04

基金項(xiàng)目：云南省教育廳科學(xué)研究基金項(xiàng)目（201Y237）、昆明學(xué)院科學(xué)研究項(xiàng)目（XJL15013）

作者簡(jiǎn)介：岳 強(qiáng)（1977-），男，昆明市，昆明學(xué)院，講師，碩士，研究方向：數(shù)據(jù)挖掘、軟件工程，昆明，650214胡中玉（1981-），女，昆明市人，昆明學(xué)院，講師，碩士，研究方向：計(jì)算機(jī)仿真，昆明，650214 文 瑾（1963-），男，昆明市人，昆明學(xué)院，副教授，學(xué)士，研究方向：軟件測(cè)試技術(shù)，昆明，650214 趙 卿（1979-），男，昆明市人，昆明學(xué)院，講師，碩士，研究方向：軟件工程，昆明，650214

收稿日期:（2016.02.10）