徐雪珂 林童 王健

（江西財(cái)經(jīng)大學(xué)軟件與物聯(lián)網(wǎng)工程學(xué)院，江西 南昌 330000）

[關(guān)鍵字] 異常點(diǎn)檢測(cè)；算法應(yīng)用；教育信息化；數(shù)據(jù)挖掘

1 引言

隨著人類科技的日新月異，越來越多的數(shù)據(jù)通過傳感器被記錄到各種電子設(shè)備中。但是如此規(guī)模浩瀚的數(shù)據(jù)使得人們無法通過有限的人力篩選出實(shí)際需要的有效數(shù)據(jù)。

數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程[1]。于是各種數(shù)據(jù)挖掘算法應(yīng)運(yùn)而生，從海量的數(shù)據(jù)中去蕪存菁，從而篩選出最優(yōu)質(zhì)的信息。這些信息大部分是符合某種規(guī)律的，但是也有少量信息，因?yàn)閭鞲衅髯R(shí)別問題或記錄錯(cuò)誤等種種原因與同類數(shù)據(jù)所符合的規(guī)律背道而馳，這些信息我們稱之為信息庫中的異常點(diǎn)。

異常點(diǎn)檢測(cè)算法是數(shù)據(jù)挖掘中一種基本的算法，主要用于在整體數(shù)據(jù)中搜索不符合同類規(guī)律的數(shù)據(jù)樣本，這些數(shù)據(jù)樣本有可能是整體數(shù)據(jù)中的“臟數(shù)據(jù)”，也有可能是一些小概率事件被傳感器真實(shí)記錄了下來。在現(xiàn)實(shí)生活中，這些樣本往往被人所忽視，但能給我們提供重要信息，成為我們?cè)诜治鰡栴}時(shí)的重要依據(jù)。

異常點(diǎn)檢測(cè)的研究早在20世紀(jì)80年代便始于統(tǒng)計(jì)學(xué)領(lǐng)域，異常點(diǎn)分析算法在金融、商業(yè)、醫(yī)療等很多行業(yè)都發(fā)揮了重要的作用。同樣的，在教育領(lǐng)域中，不同的感知器會(huì)在學(xué)習(xí)者學(xué)習(xí)的各個(gè)階段中獲取海量數(shù)據(jù)，此時(shí)從中挖掘出的異常數(shù)據(jù)能夠在教學(xué)的各個(gè)階段發(fā)揮出很好的作用。本文是將異常點(diǎn)分析算法在其他領(lǐng)域展現(xiàn)出的作用遷移至教育行業(yè)，針對(duì)目前教育領(lǐng)域的問題和發(fā)展，就異常點(diǎn)檢測(cè)算法的應(yīng)用情況進(jìn)行分析和探討。

2 異常點(diǎn)檢測(cè)算法的原理和分類

2.1 異常點(diǎn)檢測(cè)概念

當(dāng)前學(xué)術(shù)界對(duì)異常點(diǎn)尚無統(tǒng)一定義，但最具代表性的是V.Barnette在統(tǒng)計(jì)學(xué)領(lǐng)域中給出的定義：一個(gè)異常點(diǎn)是這樣的數(shù)據(jù)點(diǎn)，基于某種度量而言，該數(shù)據(jù)點(diǎn)與數(shù)據(jù)集中的其他數(shù)據(jù)有著顯著的不同[2]。我們可以這樣理解，當(dāng)一個(gè)數(shù)據(jù)集中的同類數(shù)據(jù)都符合某種或多種數(shù)據(jù)分布時(shí)，而某一個(gè)數(shù)據(jù)樣本并不符合此分布，我們就可以稱，這個(gè)數(shù)據(jù)樣本是整個(gè)數(shù)據(jù)集中的一個(gè)異常點(diǎn)。

2.2 異常點(diǎn)的分類

異常點(diǎn)分類角度眾多，一般情況，可將其歸結(jié)為以下幾類：

2.2.1 應(yīng)剔除的異常點(diǎn)

此類型異常點(diǎn)是由于用于記錄數(shù)據(jù)的傳感器或者信息錄入人員出錯(cuò)所得到的異常情況。

例如，在所有學(xué)生的成績數(shù)據(jù)中出現(xiàn)了負(fù)值，這一異?？赡苁窃撏瑢W(xué)的成績錄入出現(xiàn)錯(cuò)誤而導(dǎo)致的，或者某一天某一同學(xué)出入圖書館上百次，可能是由于圖書館的信號(hào)檢測(cè)器出現(xiàn)了某種未知故障。此類數(shù)據(jù)應(yīng)及時(shí)從數(shù)據(jù)庫中清除，以免造成更大面積的數(shù)據(jù)污染。

2.2.2 應(yīng)特別處理的異常點(diǎn)

此類型的異常數(shù)據(jù)并不是任何執(zhí)行錯(cuò)誤所致，而是用于記錄數(shù)據(jù)的傳感器出現(xiàn)問題，抑或是固有的數(shù)據(jù)本身存在變化的結(jié)果。

例如，某班同學(xué)出勤數(shù)據(jù)出現(xiàn)集體異常，本應(yīng)正常記錄的考勤數(shù)據(jù)出現(xiàn)集體曠課的記錄，可能是考勤記錄的儀器出現(xiàn)了物理性損壞，或者出入校園的信息出現(xiàn)大幅度變化。當(dāng)然，也有可能不是信息采集設(shè)備出現(xiàn)問題，而是當(dāng)前時(shí)間有重要會(huì)議或者重大活動(dòng)。我們不能把這一類問題直接刪除，否則將會(huì)破壞數(shù)據(jù)的整體性和全局性，同樣也要有別于正常符合分布的數(shù)據(jù)，因?yàn)閼?yīng)特別處理的異常數(shù)據(jù)并未占據(jù)整體數(shù)據(jù)的主體地位，所以就此我們應(yīng)當(dāng)使用加一個(gè)低權(quán)重的方式使得這些異常對(duì)全局?jǐn)?shù)據(jù)的影響降到最低。

2.2.3 應(yīng)重視的異常點(diǎn)

此類型異常數(shù)據(jù)是需要決策者高度重視的數(shù)據(jù)。

例如，在某一個(gè)時(shí)間段，某學(xué)生的成績急劇降低，這種情況可能并非是錄入成績的同學(xué)出現(xiàn)紕漏，而是學(xué)生最近的心理狀態(tài)或生活狀態(tài)出現(xiàn)極大危機(jī)，此時(shí)就需要指派輔導(dǎo)員或者班主任就該生進(jìn)行生活上的幫助或者心理疏導(dǎo)，以避免事態(tài)進(jìn)一步惡化。此類數(shù)據(jù)也是我們?cè)谡w分析中最寶貴的數(shù)據(jù)資源。

此外，根據(jù)不同分類角度，異常點(diǎn)還可以分為其它多種類別，例如按照數(shù)據(jù)范圍分類，可以分為全局異常點(diǎn)和局部異常點(diǎn)；按照變量數(shù)量分類，可以將異常點(diǎn)分為單變量異常點(diǎn)和多變量異常點(diǎn)；盡管該分類不是很完備，但側(cè)面反映了數(shù)據(jù)集中異常點(diǎn)類型的多樣性。因此，有效地發(fā)現(xiàn)數(shù)據(jù)集中的異常點(diǎn)并不是一件容易的工作，需要采用有效的策略和算法[3]。

3 異常點(diǎn)檢測(cè)算法在教育領(lǐng)域中的應(yīng)用

3.1 在考試測(cè)評(píng)中的應(yīng)用

異常點(diǎn)檢測(cè)算法在教育中的應(yīng)用首當(dāng)其沖的就是貫穿于學(xué)生學(xué)習(xí)過程的診斷性評(píng)價(jià)、形成性評(píng)價(jià)和終結(jié)性評(píng)價(jià)，也就是常說的各項(xiàng)測(cè)試。

傳統(tǒng)的測(cè)試是一系列復(fù)雜的過程，即使在學(xué)校配備了專業(yè)的電子錄入設(shè)備和成績核算系統(tǒng)，考試成績的整理和核算對(duì)于老師也是相當(dāng)繁重的工作。老師需要花費(fèi)大量的時(shí)間去比對(duì)每一次考試中每一位同學(xué)的成績走向和趨勢(shì)，同時(shí)在耗費(fèi)了大量人力的同時(shí)仍無法了解所有學(xué)生成績的走向趨勢(shì)，也難免出現(xiàn)紕漏。而將異常點(diǎn)檢測(cè)算法運(yùn)用于考試測(cè)評(píng)中，完全可以使用計(jì)算機(jī)進(jìn)行這一部分的重復(fù)工作。

當(dāng)獲取到每一位同學(xué)每一次考試成績后，即可對(duì)整個(gè)成績體系進(jìn)行建模，找到擬合學(xué)生成績的函數(shù)，此時(shí)便可使用異常點(diǎn)檢測(cè)算法檢測(cè)出與整體成績趨勢(shì)不符的學(xué)生，當(dāng)連續(xù)幾次同整體成績趨勢(shì)偏差較大時(shí)（一般為成績持續(xù)明顯下降），即可對(duì)相關(guān)責(zé)任教師提出學(xué)業(yè)預(yù)警。這樣一來，教師只需要關(guān)注系統(tǒng)中有學(xué)業(yè)預(yù)警的學(xué)生，從生活和學(xué)習(xí)等方面尋找原因，有針對(duì)性地提升學(xué)生的學(xué)習(xí)水平，最終達(dá)到提升整體成績的目的。

目前在中小學(xué)中基本沒有相關(guān)的考試測(cè)評(píng)和打分系統(tǒng)，對(duì)于考試成績的整理和分析仍然停留在Excel人工操作的層面。在教育信息化高速普及的今天，軟硬件資源的嚴(yán)重不協(xié)調(diào)，教師普遍的信息技術(shù)素養(yǎng)的缺失，是教育部門進(jìn)一步開展教育信息化工作的重點(diǎn)。

3.2 在教學(xué)管理中的應(yīng)用

隨著眼動(dòng)和面部捕捉等系統(tǒng)的不斷發(fā)展，越來越多的人體生物信息捕捉設(shè)備和捕捉系統(tǒng)如雨后春筍般出現(xiàn)在人們的視野中，能捕捉到的人體生物信息也就越來越多。于是大量科研項(xiàng)目開始展開對(duì)學(xué)習(xí)者生物信息（例如上課是否打瞌睡或者走神等）對(duì)教學(xué)效果影響的研究。

傳統(tǒng)的課堂上，教學(xué)管理這一部分的職責(zé)是由教師完成的。這也就意味著，教師除了本身教學(xué)的職能之外，又肩負(fù)了課堂秩序維持者和管理者的職能，這對(duì)于教師來說，需要耗費(fèi)更多的注意力在課堂秩序上，也就無形中降低了課程的教學(xué)質(zhì)量。在美國作家霍恩、斯泰克合著的《混合式學(xué)習(xí)》中，大量國外案例表明，將教學(xué)者和課堂秩序管理者和監(jiān)督者的身份區(qū)分開將會(huì)有效地提升學(xué)習(xí)者的學(xué)習(xí)質(zhì)量和學(xué)習(xí)效率，但是同樣的，也需要花費(fèi)更多的人力物力，這對(duì)于當(dāng)前的中國來說是非常不現(xiàn)實(shí)的。但是當(dāng)前信息捕捉設(shè)備和機(jī)器學(xué)習(xí)算法的高速發(fā)展為當(dāng)前國內(nèi)教育開辟了一條新路，異常點(diǎn)檢測(cè)算法也會(huì)在其中發(fā)揮重要的作用。

從海量數(shù)據(jù)中搜索相關(guān)信息最簡單的方法就是通過對(duì)生物信息的預(yù)處理，從而得到學(xué)習(xí)者的一系列標(biāo)簽，再使用異常點(diǎn)檢測(cè)算法對(duì)這些標(biāo)簽進(jìn)行檢測(cè)，分別檢測(cè)不同時(shí)間段內(nèi)學(xué)習(xí)者的異常情況，將這些異常情況對(duì)應(yīng)形成性評(píng)價(jià)的成績，結(jié)合整體成績趨勢(shì)和個(gè)人成績趨勢(shì)，使用相應(yīng)數(shù)據(jù)挖掘算法得到每種不同的生物信息異常對(duì)成績影響的權(quán)重。

形成模型后，即可通過模型檢測(cè)學(xué)習(xí)者整體異常情況在教學(xué)過程中每個(gè)環(huán)節(jié)教學(xué)效果的反映，對(duì)教學(xué)者的整個(gè)教學(xué)過程進(jìn)行評(píng)價(jià)，給出對(duì)教學(xué)活動(dòng)的進(jìn)一步改進(jìn)意見。另一方面，模型同樣可以對(duì)學(xué)習(xí)者經(jīng)常出現(xiàn)的負(fù)面生物信息進(jìn)行捕捉，反饋給相關(guān)管理者，對(duì)學(xué)習(xí)者進(jìn)行校正來達(dá)到優(yōu)化學(xué)習(xí)過程的目的。這樣一來，沒有增加人力資源的同時(shí)給教學(xué)者提供了更多信息用來決策和參考，從某種意義上來說彌補(bǔ)了課堂秩序管理者的功能。

3.3 在學(xué)生管理中的應(yīng)用

當(dāng)前國內(nèi)學(xué)校的信息化水平正在由低層次融合階段向中等層次融合階段過渡，學(xué)校之中雖然購置了大量設(shè)備，但是能獲取到的數(shù)據(jù)有限，能夠獲取到最多的信息就是日常生活中學(xué)生校園卡的使用情況。通過異常點(diǎn)檢測(cè)對(duì)此類數(shù)據(jù)進(jìn)行分析再加以應(yīng)用，最廣泛的就是在考勤和消費(fèi)數(shù)據(jù)方面的應(yīng)用。

目前國內(nèi)眾多高校都擁有自己的智能教務(wù)管理系統(tǒng)和學(xué)生管理系統(tǒng)，看起來林林總總，但是仍然存在數(shù)據(jù)無法互通、功能單一化和數(shù)據(jù)利用不完全的問題。當(dāng)前學(xué)校無法通過表面的信息和現(xiàn)有人力資源去排查每一位同學(xué)的心理動(dòng)向，對(duì)于學(xué)校的很多安全隱患無法在第一時(shí)間有效察覺，目前有很多學(xué)者開始就學(xué)?，F(xiàn)有數(shù)據(jù)挖掘出隱藏的信息方面做出研究。

在國內(nèi)相關(guān)研究《基于智慧校園的智慧一卡通學(xué)生管理系統(tǒng)設(shè)計(jì)與構(gòu)建》中提到，“學(xué)習(xí)者違紀(jì)情況的離群點(diǎn)檢測(cè)，旨在將學(xué)生近期違紀(jì)情況同歷史情況和班級(jí)總體情況進(jìn)行綜合對(duì)比，當(dāng)其違紀(jì)情況波動(dòng)超出正常范圍時(shí)，系統(tǒng)就會(huì)在相關(guān)模塊給對(duì)應(yīng)級(jí)別的管理員一個(gè)提示，將數(shù)據(jù)反饋給學(xué)院，使管理者可以在第一時(shí)間了解學(xué)生的思想動(dòng)態(tài)，在一定程度上防止校園事故的發(fā)生[5]”，這是異常點(diǎn)檢測(cè)算法在學(xué)生安全穩(wěn)定方面的重要應(yīng)用。

在相關(guān)研究《基于校園一卡通數(shù)據(jù)的貧困學(xué)生消費(fèi)異常數(shù)據(jù)檢測(cè)分析》中提到“針對(duì)候選貧困生樣本采用基于正態(tài)分布的一元離群點(diǎn)檢測(cè)算法進(jìn)行異常點(diǎn)檢測(cè)，檢測(cè)所得異常結(jié)果用于學(xué)校學(xué)生工作人員在對(duì)貧困生最終認(rèn)定時(shí)做輔助參考[6]”，這是異常點(diǎn)檢測(cè)算法在學(xué)生事務(wù)評(píng)定方面的重要應(yīng)用。

3.4 在教育決策中的應(yīng)用

“三通兩平臺(tái)”在全國各地如火如荼地開展，不同地區(qū)、不同學(xué)校所能夠共享的教學(xué)服務(wù)和教學(xué)管理資源也會(huì)越來越多。但正因?yàn)橛腥绱舜罅康男畔ⅲ捎媚囊环N方法最能符合學(xué)校的現(xiàn)實(shí)狀況，能夠?yàn)閷W(xué)校帶來最大的效益便成為了眾多學(xué)校決策者亟待解決的問題。

如果無法選擇一個(gè)最符合的方案，在別的地區(qū)實(shí)行得很好的教學(xué)策略和管理措施，在自己學(xué)校將會(huì)變成失敗的改革舉措。教育之下無小事，這樣的情況不僅會(huì)引來眾人詬病，同樣會(huì)將信任自己的學(xué)生和家長帶向未知的境地。在這種情況下，對(duì)教學(xué)資源的挖掘便成為了教育決策者最需要的服務(wù)。

此時(shí)，可以對(duì)平臺(tái)中所有資源使用相應(yīng)算法進(jìn)行量化處理，將處理的數(shù)據(jù)同當(dāng)前學(xué)校情況的量化數(shù)據(jù)引入異常點(diǎn)檢測(cè)算法進(jìn)行檢測(cè)，此時(shí)算法所充當(dāng)?shù)木褪且环N數(shù)據(jù)篩選和數(shù)據(jù)過濾的角色。采用算法的相關(guān)系統(tǒng)就能夠給教育決策者提供有科學(xué)和現(xiàn)實(shí)依據(jù)的參考意見，大大減輕了決策的困難度和復(fù)雜度。

3.5 在教育相關(guān)算法中的應(yīng)用

當(dāng)前階段，機(jī)器學(xué)習(xí)大熱，究其原因在于其算法可廣泛應(yīng)用于工業(yè)和金融等諸多領(lǐng)域，通過更加精準(zhǔn)的關(guān)聯(lián)度和準(zhǔn)確度分析，為相關(guān)公司帶來巨額收益。這些算法同樣可以適用于教育領(lǐng)域。

當(dāng)前在機(jī)器學(xué)習(xí)領(lǐng)域的主要研究方向有計(jì)算機(jī)視覺、自然語言處理、數(shù)據(jù)挖掘等，能夠涉及的門類更是紛繁復(fù)雜，例如語音識(shí)別、文本翻譯、視頻分析、圖像處理等?？上攵?，這些新技術(shù)結(jié)合教育的每一個(gè)環(huán)節(jié)都能夠發(fā)揮出巨大的效用，筆者認(rèn)為這將是教育技術(shù)在接下來的這些年中最重要也是最熱門的研究方向。而在這些算法中，異常點(diǎn)檢測(cè)算法都有著不可忽視的重要作用。例如，在數(shù)據(jù)預(yù)處理階段，異常點(diǎn)檢測(cè)算法是清洗垃圾數(shù)據(jù)和保證數(shù)據(jù)完整性最重要的防線。

4 結(jié)語

以上研究表明，異常點(diǎn)檢測(cè)算法不只是可以在傳統(tǒng)領(lǐng)域發(fā)揮作用、展現(xiàn)價(jià)值，同樣可以在教育領(lǐng)域的方方面面發(fā)揮作用、提升效率。隨著教育信息化的不斷發(fā)展，“三通兩平臺(tái)”等項(xiàng)目的不斷推進(jìn)，教育領(lǐng)域能夠使用的信息技術(shù)數(shù)據(jù)也越來越豐富，這也為異常點(diǎn)檢測(cè)算法在教育領(lǐng)域中的應(yīng)用提供了有力的保障。因此，緊隨“互聯(lián)網(wǎng)+”的時(shí)代熱潮，我們應(yīng)當(dāng)在實(shí)際教育的過程中拓寬視野，更多地以算法的思想來解決教育中的實(shí)際問題，將信息技術(shù)與教育進(jìn)行更深層次的融合。