林 濤， 周小涵， 吳芝明， 洪 玫， 王 建， 唐寧九

(四川大學(xué)軟件學(xué)院， 成都 610065)

1 引 言

為學(xué)習(xí)者提供個(gè)性化教學(xué)支持是現(xiàn)代教育的目標(biāo)之一.然而，如何精準(zhǔn)地識(shí)別學(xué)習(xí)者個(gè)性是個(gè)性化教學(xué)實(shí)現(xiàn)的前提和難點(diǎn).人格特質(zhì)能科學(xué)地揭示人與人之間穩(wěn)定的個(gè)性差異，并且與個(gè)體其它學(xué)習(xí)心理特征(如學(xué)習(xí)動(dòng)機(jī)、自我效能、學(xué)習(xí)期望等)保持了相對(duì)穩(wěn)定的預(yù)測(cè)關(guān)系，因此，人格特質(zhì)已經(jīng)普遍被采用來(lái)反映學(xué)習(xí)者的個(gè)性.

就軟件工程專業(yè)學(xué)生而言，編程能力是一種核心能力，準(zhǔn)確地識(shí)別編程學(xué)習(xí)者的人格特質(zhì)是為其提供個(gè)性化學(xué)習(xí)支持的前提.現(xiàn)有的人格特質(zhì)自動(dòng)識(shí)別研究主要基于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)方法，通過(guò)文本[1-2]、語(yǔ)音和圖像[3-4]、社交網(wǎng)絡(luò)[5-6]等數(shù)據(jù)源來(lái)建立人格特質(zhì)識(shí)別模型.但由于這些方法需要額外的設(shè)備、平臺(tái)或任務(wù)來(lái)收集數(shù)據(jù)，難以在日常的編程實(shí)踐學(xué)習(xí)環(huán)境中應(yīng)用.

編程本質(zhì)上是一種實(shí)踐活動(dòng)，編程過(guò)程中會(huì)產(chǎn)生大量的反映學(xué)習(xí)行為的數(shù)據(jù)，這些數(shù)據(jù)具有能夠被實(shí)時(shí)、隱式采集，不依賴其他設(shè)備平臺(tái)，采集成本低等特點(diǎn).人格心理學(xué)研究認(rèn)為，人格特質(zhì)作為人格的基礎(chǔ)成分，決定了個(gè)體適應(yīng)的獨(dú)特性且能在一定程度上指揮個(gè)體行為[7].因此我們認(rèn)為，編程行為不僅受到學(xué)習(xí)者水平、編程題目、編程難度等因素影響，還在一定程度上受到學(xué)習(xí)者人格特質(zhì)的影響.然而，如何從“高噪聲”的編程行為數(shù)據(jù)中，抽取每一種特質(zhì)獨(dú)有的行為模式，繼而建立人格識(shí)別模型仍是一個(gè)挑戰(zhàn).

本文面向編程實(shí)踐學(xué)習(xí)環(huán)境，綜合運(yùn)用支持向量機(jī)(Support Vector Machine, SVM)[8]、遺傳算法(Genetic Algorithm, GA)和網(wǎng)格搜索(Grid Search, GS)，提出一種基于編程行為的人格特質(zhì)識(shí)別方法.即，收集學(xué)習(xí)者在一段時(shí)間內(nèi)完成的多個(gè)編程任務(wù)的行為數(shù)據(jù)，將學(xué)習(xí)者每一個(gè)編程任務(wù)中抽取的行為特征和該學(xué)習(xí)者人格特質(zhì)標(biāo)簽(大五人格量表獲得)作為一個(gè)樣本，建立人格特質(zhì)分類模型，并基于學(xué)習(xí)者多個(gè)編程任務(wù)的分類結(jié)果，采用投票策略綜合判斷其人格特質(zhì).

本研究主要內(nèi)容包括：設(shè)計(jì)實(shí)驗(yàn)采集編程學(xué)習(xí)者的編程行為和人格量表數(shù)據(jù)；提出一種基于編程行為的人格特質(zhì)識(shí)別方法并驗(yàn)證分析其效果；探索基于編程行為的人格特質(zhì)方法在個(gè)性化編程教育、學(xué)習(xí)中的可能應(yīng)用及未來(lái)研究方向.

2 實(shí) 驗(yàn)

本實(shí)驗(yàn)旨在收集學(xué)習(xí)者在編程學(xué)習(xí)過(guò)程中的行為及其人格特質(zhì)數(shù)據(jù).

2.1 被試

某高校大二計(jì)算機(jī)專業(yè)共計(jì)230位學(xué)生作為被試參加了實(shí)驗(yàn)，年齡分布在20～25歲之間.

2.2 實(shí)驗(yàn)任務(wù)

2.2.1 人格量表 本文采用大五人格特質(zhì)模型描述被試的人格，大五人格特質(zhì)模型作為目前應(yīng)用最廣泛的人格特質(zhì)模型，包括“開(kāi)放性”、“盡責(zé)性”、“外傾性”、“宜人性”、“神經(jīng)質(zhì)”五種特質(zhì)[9].考慮到應(yīng)用范圍，時(shí)間成本、穩(wěn)定性等因素，選擇BFI-44大五人格問(wèn)卷收集被試的大五人格特質(zhì)得分[10].

2.2.2 編程任務(wù) 選擇JAVA作為編程語(yǔ)言，通過(guò)與老師交流以及預(yù)實(shí)驗(yàn)，充分考慮被試學(xué)習(xí)進(jìn)度、編程水平以及編程用時(shí)，確定編程任務(wù)(如表1所示)，編程任務(wù)為四道編程題，編程時(shí)間為60 min.

表1 編程任務(wù)

2.3 實(shí)驗(yàn)平臺(tái)

選擇Eclipse作為本實(shí)驗(yàn)JAVA編程任務(wù)平臺(tái)，采用Fluorite[11]插件記錄被試編程實(shí)踐學(xué)習(xí)中的行為，并在Fluorite的原始版本上添加了日志監(jiān)控(控制臺(tái)輸出和錯(cuò)誤警告)、用戶登錄，幫助信息記錄等功能.此外，我們編寫了鍵盤鼠標(biāo)記錄插件，記錄鍵盤操作中按鍵的鍵盤操作碼、鍵盤操作類型(按下/彈起)、時(shí)間戳，以及鼠標(biāo)操作中的鼠標(biāo)操作類型(滑動(dòng)、左鍵按下/彈起、右鍵按下/彈起 )、鼠標(biāo)的XY坐標(biāo)值、時(shí)間戳等.

2.4 實(shí)驗(yàn)過(guò)程

本實(shí)驗(yàn)在某高校計(jì)算機(jī)學(xué)院上機(jī)課上進(jìn)行，實(shí)驗(yàn)前，在實(shí)驗(yàn)用機(jī)上提前安裝和配置了實(shí)驗(yàn)平臺(tái).在教師講述實(shí)驗(yàn)?zāi)康囊约白⒁馐马?xiàng)后，學(xué)生首先按照要求在60 min之內(nèi)完成編程任務(wù)，然后填寫在線人格量表.在編程過(guò)程中，學(xué)生可以上網(wǎng)查詢知識(shí)點(diǎn)，但不能搜索題目答案.最后，被試以自愿的原則簽訂同意書，同意將編程行為數(shù)據(jù)和人格量表內(nèi)容用于本研究.實(shí)驗(yàn)結(jié)束后，實(shí)驗(yàn)人員收集日志文件.

2.5 數(shù)據(jù)處理

除去由于實(shí)驗(yàn)過(guò)程中失誤造成數(shù)據(jù)缺失(例如，在線人格問(wèn)卷缺失的情況)，共收集到96名被試的完整數(shù)據(jù).從日志文件中獲取了每個(gè)被試的編程事件列表以及鍵盤鼠標(biāo)等數(shù)據(jù)，用以提取特征，并從人格量表數(shù)據(jù)中獲取學(xué)習(xí)者人格特質(zhì)的類標(biāo).

3 方 法

圖1描述了本文提出的基于編程行為的人格特質(zhì)識(shí)別方法(Programming Behavior based Personality Recognition Method, PB_PRM)的流程.

圖1 方法流程圖Fig.1 The flow chart of the method

該方法對(duì)某一人格特質(zhì)進(jìn)行二分類.其中，采用SVM算法建立分類模型，以徑向基函數(shù)(Radial Basis Function， RBF)作為SVM模型核函數(shù)，通過(guò)GS方法對(duì)SVM模型參數(shù)(C和γ)進(jìn)行優(yōu)化，并使用GA進(jìn)行特征選擇.為了獲得更準(zhǔn)確的結(jié)果，我們采用了基于多編程任務(wù)的投票策略.首先將學(xué)習(xí)者行為序列數(shù)據(jù)按單個(gè)編程任務(wù)進(jìn)行樣本分割(本研究共4個(gè)任務(wù)，96名被試的行為數(shù)據(jù)被分割成384份樣本)；然后，基于每一個(gè)編程任務(wù)數(shù)據(jù)分別獲得一個(gè)分類結(jié)果，即，一個(gè)學(xué)習(xí)者的某一人格特質(zhì)有4個(gè)分類結(jié)果；最后，對(duì)4個(gè)分類結(jié)果進(jìn)行綜合投票，以多數(shù)投票結(jié)果作為該學(xué)習(xí)者的人格特質(zhì)的最終識(shí)別結(jié)果.

3.1 特征提取

行為特征包括編程事件特征、知識(shí)掌握水平特征、鼠標(biāo)鍵盤特征，共計(jì)81個(gè)(見(jiàn)表2).

表2 學(xué)習(xí)者編程行為特征Tab.2 The features extracted from the learners’ programming behaviors

(1) 編程特征.

編程特征包括編程事件時(shí)間特征、編程事件頻率特征、編程學(xué)習(xí)特征、編程修改特征.編程事件時(shí)間特征包括插入、編譯、運(yùn)行事件時(shí)間間隔的統(tǒng)計(jì)特征，編程事件頻率特征包括運(yùn)行，查找，打開(kāi)文件等操作的次數(shù)，編程學(xué)習(xí)特征為網(wǎng)頁(yè)查詢的次數(shù)，編程修改特征為代碼編輯距離的統(tǒng)計(jì)特征.

(2) 知識(shí)掌握水平特征.

本文抽取了知識(shí)掌握水平特征包括完成題目的總時(shí)間和WATWIN分?jǐn)?shù).其中，WATWIN分?jǐn)?shù)由Watson等人[12-13]提出，WATWIN算法根據(jù)學(xué)生編程日志對(duì)學(xué)生編程表現(xiàn)進(jìn)行評(píng)分，該算法基于編譯事件(本研究基于運(yùn)行事件)信息，通過(guò)比較某一學(xué)生解決錯(cuò)誤的時(shí)間與其他人解決時(shí)間的分布，對(duì)該學(xué)生的編程水平進(jìn)行評(píng)估.

(3) 鼠標(biāo)鍵盤操作特征.

鼠標(biāo)操作特征包括各類操作所占比例，鼠標(biāo)左鍵和右鍵的按下時(shí)間、鼠標(biāo)角加速度的統(tǒng)計(jì)量.擊鍵特征包括擊鍵速度、鍵盤按下時(shí)間、鍵盤釋放時(shí)間、特殊按鍵使用頻率的統(tǒng)計(jì)量.

3.2 投票策略

首先建立SVM分類模型，然后采用投票策略，綜合多個(gè)編程任務(wù)分類結(jié)果判斷學(xué)習(xí)者人格特質(zhì).

人格識(shí)別模型中學(xué)習(xí)者i的人格Ri的確定方式如式(1)所示.

(1)

3.3 參數(shù)優(yōu)化和特征選擇.

SVM模型待優(yōu)化的參數(shù)包括懲罰系數(shù)(C)和gamma(γ).本文使用網(wǎng)格搜索的方法搜索最優(yōu)參數(shù)，其中C的取值范圍為[0.01，10 000]，γ的取值范圍為[0.000 01，10].

使用GA獲取SVM模型的最優(yōu)特征子集[14].首先初始化SVM模型的最優(yōu)特征子集，基于該特征子集訓(xùn)練SVM的模型，并基于人格識(shí)別結(jié)果對(duì)SVM模型進(jìn)行評(píng)估，根據(jù)評(píng)估結(jié)果確定是否替換最優(yōu)子集，并且判斷GA是否結(jié)束，如果不滿足結(jié)束條件，則根據(jù)對(duì)特征子集進(jìn)行遺傳操作，生成新特征子集， 如果滿足GA算法結(jié)束條件，則該輪遺傳算法結(jié)束.

(1) GA參數(shù)及評(píng)估函數(shù).

GA的種群數(shù)60，交叉率0.7，變異率0.05，進(jìn)化代數(shù)100，評(píng)估函數(shù)見(jiàn)式(2).

fitness =WA×ACC+WE× (1-E)

(2)

其中,ACC為分類準(zhǔn)確率;E為基于投票的全局誤差.WA為分類準(zhǔn)確率(ACC)的權(quán)重;WE為全局誤差(E)的權(quán)重.

(2) 基于投票的全局誤差E.

考慮到由于題目難度以及學(xué)習(xí)者水平不同，被試在不同的編程題上有較大的行為差異，可能導(dǎo)致人格特質(zhì)分類結(jié)果不穩(wěn)定.因此，基于參考文獻(xiàn)[15]，我們提出了一種基于多任務(wù)投票的全局誤差計(jì)算方法.全局誤差計(jì)算方法如式(3)所示.

(3)

其中,Ei是第i個(gè)被試的誤差;N為被試人數(shù)，i=1,2,...,N.Ei的計(jì)算方式見(jiàn)式(4).

(4)

其中，Eij為被試i中第j個(gè)樣本Bij的誤差;Mi表示被試i對(duì)應(yīng)的樣本Bi的個(gè)數(shù);Δ(Bi,Eij= 0)表示的是被試i對(duì)應(yīng)的樣本Bi中誤差為0的樣本個(gè)數(shù).Eij的計(jì)算方式見(jiàn)式(5).

(5)

其中,Pij代表樣本的真實(shí)類標(biāo);Pij∈{0，1};Oij為模型輸出概率.

4 結(jié)果和討論

本研究對(duì)大五人格模型中的特質(zhì)分別建立識(shí)別模型，采用十重交叉法驗(yàn)證模型.為了解學(xué)習(xí)者編程行為特征對(duì)各個(gè)人格特質(zhì)的影響，表3描述了每個(gè)特質(zhì)最優(yōu)模型的特征子集.

表3 大五人格特質(zhì)的最優(yōu)模型特征子集Tab.3 The feature subsets of the optimal models for the Big Five personality traits

從表3可以看出，不同類型的行為特征對(duì)人格特質(zhì)有不同的識(shí)別潛力.其中代碼輸入行為相關(guān)的特征(如插入操作、編譯操作、代碼編輯距離的部分統(tǒng)計(jì)特征)被選入了全部五個(gè)人格特質(zhì)識(shí)別模型的最優(yōu)特征子集，對(duì)五個(gè)人格特質(zhì)都有較好的識(shí)別潛力；同樣，與編程錯(cuò)誤處理相關(guān)的特征(如運(yùn)行操作部分統(tǒng)計(jì)特征、WATWIN分?jǐn)?shù))以及鍵盤相關(guān)的部分特征也被選入了五個(gè)特質(zhì)的最優(yōu)模型，對(duì)五個(gè)人格特質(zhì)都有較好的識(shí)別潛力.鼠標(biāo)相關(guān)的特征被選入了“開(kāi)放性”、“外傾性”、“宜人性”、“神經(jīng)質(zhì)”四個(gè)特質(zhì)最優(yōu)模型的特征子集中，對(duì)這四個(gè)特質(zhì)有較好的識(shí)別潛力.此外，學(xué)習(xí)相關(guān)的行為特征(即網(wǎng)頁(yè)查詢次數(shù))對(duì)“開(kāi)放性”特質(zhì)的有較好的識(shí)別潛力；完成題目的總時(shí)間這一特征對(duì)“盡責(zé)性”特質(zhì)的有較好的識(shí)別潛力.

采用ROC曲線下的面積(AUC)、精度(ACC)、查準(zhǔn)率(P)、查全率(R)、F1[16]五個(gè)指標(biāo)來(lái)評(píng)估人格特質(zhì)識(shí)別模型.表4描述了模型在測(cè)試集上性能指標(biāo)的均值和方差.

表4 人格特質(zhì)識(shí)別模型評(píng)估

表4的結(jié)果表明，本文提出的模型在各個(gè)評(píng)價(jià)指標(biāo)上都有較好的表現(xiàn)(AUC: 0.77～0.83,ACC: 0.78～0.81,P:0.76～0.91,F1: 0.73～0.83,R: 0.65～0.86)，這說(shuō)明了本研究提出的基于編程行為的學(xué)習(xí)者人格特質(zhì)識(shí)別方法能夠較準(zhǔn)確地識(shí)別大五人格特質(zhì).

5 應(yīng) 用

本文提出的基于編程行為的人格特質(zhì)識(shí)別方法在一定程度上能夠識(shí)別學(xué)習(xí)者人格特質(zhì)，具有較好的學(xué)習(xí)者個(gè)性刻畫的潛力，為實(shí)現(xiàn)學(xué)習(xí)者個(gè)性化的教學(xué)輔助提供了依據(jù).例如，基于人格特質(zhì)識(shí)別模型，可以進(jìn)行個(gè)性化的編程伙伴推薦.編程對(duì)初學(xué)者尤其困難，學(xué)習(xí)者往往經(jīng)歷長(zhǎng)期的、枯燥的獨(dú)自學(xué)習(xí)和摸索過(guò)程，可能導(dǎo)致學(xué)習(xí)者中途放棄，影響學(xué)習(xí)效果.為編程學(xué)習(xí)者推薦人格特質(zhì)“匹配的”(如相似型、互補(bǔ)型)學(xué)習(xí)伙伴進(jìn)行協(xié)作學(xué)習(xí)，是提升學(xué)習(xí)體驗(yàn)和效果的重要手段，而人格特質(zhì)則是判定學(xué)習(xí)伙伴是否匹配的關(guān)鍵.此外，具有不同人格特質(zhì)的學(xué)習(xí)者對(duì)于學(xué)習(xí)資源的偏好可能不同，如“開(kāi)放性”高的學(xué)習(xí)者在編程實(shí)踐中可能偏好先了解原理知識(shí)，“外向性”高的學(xué)習(xí)者可能偏好在線答疑方式.依據(jù)學(xué)習(xí)者的人格特質(zhì)為其推薦適應(yīng)的學(xué)習(xí)資源，能夠讓學(xué)習(xí)資源的投放更加精準(zhǔn)，提升學(xué)習(xí)效率.此外，人格特質(zhì)識(shí)別結(jié)果也能在日常教學(xué)實(shí)踐中幫助教師快速地理解學(xué)生，成為教師為學(xué)生提供個(gè)性化指導(dǎo)的依據(jù).例如：對(duì)于“神經(jīng)質(zhì)”高的學(xué)習(xí)者，教師可以在其遇到困難時(shí)盡早進(jìn)行干預(yù)，對(duì)于“盡責(zé)性”低的學(xué)習(xí)者，教師可以對(duì)其學(xué)習(xí)進(jìn)度進(jìn)行更加細(xì)致的監(jiān)督.

6 結(jié) 論

本研究提出了基于編程行為的學(xué)習(xí)者人格特質(zhì)識(shí)別方法，其實(shí)驗(yàn)結(jié)果顯示,基于學(xué)習(xí)者編程行為數(shù)據(jù)能夠在一定程度上識(shí)別大五人格特質(zhì)，為個(gè)性化編程學(xué)習(xí)的支持提供了新思路，例如，基于人格特質(zhì)識(shí)別的學(xué)伴推薦、學(xué)習(xí)資源推薦以及個(gè)性化教學(xué)指導(dǎo)等.

本研究雖然選擇了4道不同難度的題目以盡量多地覆蓋學(xué)習(xí)者的不同行為模式，但受限于實(shí)驗(yàn)資源與時(shí)間，實(shí)驗(yàn)被試數(shù)量和采集的編程行為數(shù)據(jù)略顯不足，如果能在未來(lái)工作中擴(kuò)大被試數(shù)量及編程任務(wù)類型，有望進(jìn)一步提升模型的泛化能力和準(zhǔn)確性.