呂宏玉，樊 坤，楊建林（．南京大學信息管理學院；2．北京林業(yè)大學經濟管理學院）

1 引言

隨著移動智能終端的廣泛普及和互聯網技術的快速推進，應用商店和App都得到了蓬勃發(fā)展，用戶對于App的需求被激發(fā)。［1］應用商店作為中間平臺，允許開發(fā)者發(fā)布以及允許用戶搜索、購買、下載、評論App，［2］評價形式為評分星級、評論標題和評論文本構成的單條評論。其中評論文本里的評價對象，即用戶的關注點稱為軟件特征，［3］一般為描述軟件功能或性能的詞或短語。［4］以軟件特征為中心的文字評價往往包含與需求相關的信息，如錯誤異常反饋［5］、用戶體驗總結［2］、功能優(yōu)化建議［6］、新功能提議［7］等內容，這些反映用戶對App改進和演化期望的內容被稱為特征請求。［8］因此，獲取特征請求將有助于開發(fā)者初步確定軟件質量［9］和修改軟件下一版本的需求。［10］

但是，開發(fā)者從用戶評論中獲取特征請求具有一定難度。一方面，應用商店內評論數據量大，［5,11］評論文本具有非結構化的特點；［12］另一方面，評論具有較大的自由性，評分星級與評論文本具有不對稱性，［13］即高評分星級對應的評論文本表達負面情感傾向，或低評分星級對應的評論文本表達正面情感傾向；此外，評論文本質量不一致，部分評論文本只是簡單地整體評價而非針對特定質量。［14-15］因此，挖掘用戶在整篇評論中所表達的情感態(tài)度不具有太多的實際意義，獲取用戶反饋的有效途徑是挖掘出軟件特征再進一步分析用戶對具體特征的情感態(tài)度。［16］

目前，學術界在評論文本的特征挖掘領域主要從特征頻繁項、特征－意見共現關系、模型訓練和顯隱式特征匹配四個方面展開。［17］現有研究的評論對象主要是實體商品，對App評論文本提取特征的相關研究較少。文濤等使用規(guī)則模板提取App軟件特征和情感詞匯，考慮范圍限于顯性特征。［2］Guzman等利用搭配發(fā)現算法挖掘用戶評論中細粒度的軟件特征，并使用主題建模技術將軟件特征分組成更有意義的高級特征。［4］彭珍連提出一種基于特征模型和協同過濾的特征獲取方法，該方法可探索出歷史軟件特征之間的關系，可補充App的缺失特征以及預測待開發(fā)App的缺失特征。Johann等應用詞類和句子模式同時從產品頁面和用戶評論提取軟件特征，并對2個來源的提取結果進行匹配。［18］冉猛提取用戶評論中的特征詞、副詞和情感詞，并逐級量化計算用戶對App的情感傾向程度。［19］

為獲取軟件特征，本文提出新的挖掘方法。具體而言，先利用句式匹配和情感傾向相結合的識別方法確定包含特征請求的評論，在該范圍內使用基于關聯規(guī)則的算法提取軟件特征。與現有研究相比，本文的不同之處是在提取軟件特征之前，從App用戶評論全集中識別出包含特征請求的評論，確定出有效的挖掘范圍。該方法將幫助App開發(fā)者從評論中獲取用戶對App的反饋信息。

2 研究思路和設計

本文的研究思路是將軟件特征挖掘分為4個步驟進行（見下圖）。① 評論數據收集：利用爬蟲程序從網站上收集Apple App Store中的App用戶評論。② 評論數據處理：對收集的用戶評論數據進行去噪處理，重新整理成結構化的文本語料，并進行分詞和詞性標注。③ 特征請求評論識別：應用句式匹配和情感傾向相結合的方法，從評論全集中識別出評論文本里包含特征請求的評論。④ 軟件特征提?。涸谔卣髡埱笤u論范圍內基于關聯規(guī)則的算法提取App軟件特征。

圖 軟件特征挖掘流程

3 數據收集與數據處理

3.1 數據收集

本文的數據對象是Apple App Store內用戶對App發(fā)表的評論，數據收集地址為德普優(yōu)化網。本文選取的App來自社交、工具、音樂、攝影和游戲5個類別，在每個類別中選擇最熱門的2個App，共計10個。以2018年2月20日為時間起點，利用Python爬蟲程序按照逆向時間順序爬取評論，數量共計11,437條，將該原始評論集合命名為R0。單條評論收集5項內容：評論時間、用戶名、評分星級、評論標題和評論文本。

3.2 數據預處理

評論集合R0包含部分噪音數據，因此先進行數據預處理工作，包括3種常規(guī)去噪處理和2種針對App特殊評論的處理。整個過程通過Python程序實現。

（1）非中文評論處理。本文提出的軟件特征挖掘方法面向中文用戶評論，但評論集合R0中含有其他語言評論。如以下2條對“QQ”的用戶評論文本。

①“Le logiciel n佴cessaire伽 la communication de la Chine.”

②“Ireallyreallyreallycan’tstand thespeed ofuploadingpictures.”

本文先去除評論集合R0評論文本中的標點符號，判別評論文本的語言，過濾非中文評論。對于中文評論中的單個英文詞匯，因為多數屬于專有名詞，本文保留并做大寫轉小寫的處理。如以下是1條“QQ”的評論原文及其處理后的結果。

評論原文：“iPhoneX都出來這么久了，QQ還不打算適配嗎？”

處理結果：“iphonex都出來這么久了，qq還不打算適配嗎？”

（2）無關內容評論處理。評論集合R0中存在部分與App無關的評論：一種是表達簡單情感態(tài)度而缺少評價對象的評論，評論文本字數一般較少；另一種是垃圾評論制造者為吸引瀏覽者的注意力編寫的字數過多評論。［20］如以下2條關于“QQ”的用戶評論文本。

①“還行?！?/p>

②“你不能不知道的某寶某貓購物內幕，省錢黨首席攻略！驚天地泣鬼神，就在這里發(fā)生，花生日記通過整合成千上萬家的電商商家，向用戶每天呈現多達幾萬的品類豐富、實惠、高折扣的商品。適合所有網購用戶，當前絕佳的省錢利器。安卓用戶在應用寶或應用商店里搜索花生日記，蘋果用戶在app store搜索花生日記，下載后注冊賬號輸入邀請碼完成，注冊邀請碼qcty3r或hewpiho。完成注冊后把注冊手機號后五位發(fā)我，領取2元微信紅包或花生日記99元代理資格?！?/p>

本文將評論文本長度作為過濾器，過濾評論集合R0中評論文本字數小于4或大于300的評論。

（3）高字重復率評論處理。字重復率是中文評論中重復的字出現的比率，采用如下公式［20］表示。

評論集合R0中包含評論文本字重復率較高的評論。如以下2條對“QQ”的用戶評論文本。

①“可以可以可以可以可以可以?！?/p>

②“啊啊啊啊啊好的好的好的好的好的?！?/p>

上述2條評論文本的字重復率分別為0.833和0.8，表達含義不明確。因此，本文過濾評論集合R0中字重復率大于0.6的評論。

（4）文本錯位評論處理。經觀察分析發(fā)現，與其他種類商品評論相比，App用戶評論中存在文本錯位的特殊情況：部分評論的評論標題中含有異常反饋、使用體驗、功能需求、優(yōu)化建議等有用信息，而評論文本的內容是“為什么”“如題”“見標題”等文字。如以下2條對“QQ”的用戶評論。

① 評論標題：“要是能增大聊天表情收藏數量就好了”。評論文本：“如題”。

② 評論標題：“我都是很多年的老用戶了，QQ寵物下線也不正式通知”。review：“為什么？”

因此，本文在評論數據預處理階段，根據評論文本中的“為什么”“如題”“見標題”等文字識別出問題評論，將其評論標題內容與評論文本內容做置換處理。

（5）網絡用語評論處理。App用戶評論的特殊性還表現在評論文本中的網絡用語較多，如以下2條對“QQ”的用戶評論文本。

①“qq的離線傳輸功能有毒吧，一個txt文檔整整用了一個小時，我還能說什么？”

②“為qq的視頻美顏瘋狂打call，素顏也可以和別人視頻啦”。

上述2條評論包含網絡用語“有毒”和“打call”，分詞工具和詞性標注工具都無法識別。因此，本文利用搜索引擎收集近一年的網絡用語，收錄詞條共計107個，結合App用戶評論的詞匯使用統計結果構建全新的網絡用語替換詞典，利用該詞典對評論集合R0中的網絡用語進行識別并將之替換為書面語。如，網絡詞匯“渣”“炒雞”“膩害”“為毛”“醉了”，用書面詞匯分別替換為“差勁”“超級”“厲害”“為什么”“無語”。

預處理后每個App得到有效評論1,000條，共計10,000條，將該有效評論集合命名為R1。

3.3 分詞與詞性標注

本文采用Python中文分詞組件“jieba”對評論集合R1的評論文本進行分詞和詞性標注，處理所得評論集合R2用于進一步數據分析。

4 軟件特征挖掘范圍確定

評論集合R2同時包含特征請求評論和非特征請求評論。用戶在特征請求評論中表達對具體特征的情感態(tài)度，其中必定包含軟件特征；非特征請求評論多為用戶對App做出的整體評價，評論中包含的軟件特征較少。本文對評論集合R2進行人工標注，判斷單條評論屬于特征請求評論或非特征請求評論，進一步標注非特征請求評論中是否包含軟件特征，統計結果見表1。

表1 評論集合R2人工標注結果

由表1可知，非特征請求評論包含軟件特征的平均比例僅為0.111。為保證挖掘效率，本文忽略非特征請求評論中的軟件特征，將軟件特征的挖掘范圍確定為特征請求評論，提出基于句式匹配和情感傾向的特征請求評論識別方法。

4.1 基于句式匹配的特征請求評論識別

通過對特征請求評論的觀察，發(fā)現由于App的特殊商品屬性，其評論文本通常包含固定句式，而非特征請求評論文本中不含該類固定句式。因此，可以通過檢測評論文本中是否包含固定句式來判斷評論類別。本文共總結出否定、疑問、抱怨、惋惜、建議和期望6種固定句式。在判斷評論是否符合某一固定句式時，檢測評論文本中是否包含關鍵詞，以及關鍵詞一定距離內是否有評價對象，即名詞或動詞詞性的軟件特征，并且關鍵詞與特征詞的位置固定。因此，固定句式由關鍵詞、特征詞詞性和特征詞相對位置構成。對于部分語氣明顯的關鍵詞，不需要檢測評論文本中的特征詞詞性及其相對位置，關鍵詞出現在評論文本中即可判斷該評論是特征請求評論。

（1）否定句式。用戶在使用App過程中若發(fā)現當前版本功能未涵蓋的領域，在撰寫評論文本時就會以否定句的形式指出App尚未滿足自身需求的功能特征。經總結得到14個否定句式。表2是用戶對“QQ”的否定句式評論。

表2 否定句式評論樣例

上述2條評論的評論文本對“QQ”的賬號管理和版本更新做了評價，屬于特征請求評論。它們符合固定句式“不允許+v/n”和“v/n+沒有了”，其中“不允許”和“沒有了”為否定關鍵詞，“v/n”為特征詞詞性，特征詞相對位置分別在關鍵詞后和關鍵詞前。

（2）疑問句式。當App出現異常導致某些功能無法正常使用，或App存在不合理的設計、限制和使用條款等問題時，用戶將通過應用商店向開發(fā)者反映問題，在撰寫評論文本時會以疑問句的形式表達。經總結得到17個疑問句式。表3是用戶對“QQ”的疑問句式評論。

表3 疑問句式評論樣例

（3）抱怨句式。當App出現的錯誤嚴重影響使用或已存在問題長時間未得到解決時，會引起用戶的不滿情緒，用戶對App進行評價時發(fā)泄不滿情緒，用含有抱怨語氣的句式表達App的缺陷。經總結得到25個抱怨句式。表4是用戶對“QQ”的抱怨句式評論。

表4 抱怨句式評論樣例

（4）惋惜句式。App的某些屬性或功能低于用戶期望且開發(fā)者對此進行優(yōu)化調整的可能性較小時，用戶會在撰寫評論文本時以惋惜語氣的句式表達。經總結得到10個惋惜句式。表5是用戶對“QQ”的惋惜句式評論。

表5 惋惜句式評論樣例

（5）建議句式。部分用戶對App整體較為滿意并希望持續(xù)使用，他們會在應用商店平臺向開發(fā)者提出優(yōu)化建議，因此在撰寫評論文本時會以建議語氣的句式表達。經總結得到15個建議句式。表6是用戶對“QQ”的建議句式評論。

表6 建議句式評論樣例

（6）期望句式。部分用戶根據自身使用體驗希望開發(fā)者對現有版本功能進一步優(yōu)化時，會用期望的句式撰寫評論文本。經總結得到8個期望句式。表7是用戶對“QQ”的期望句式評論。

表7 期望句式評論樣例

最終總結所得固定句式共計87個，每個類型選擇3個固定句式展示（見表8）。

表8 固定句式樣例

4.2 基于情感傾向的特征請求評論識別

對App用戶評論進行分析，可以發(fā)現當評論文本的情感傾向為負向時，評論內容更有可能包含使用體驗、功能需求、錯誤反饋和優(yōu)化建議等信息，即可以從中提取出軟件特征。而情感傾向為正向時，評論文本多為用戶對App整體的情感態(tài)度，缺少評價對象。本文嘗試對評論文本進行情感挖掘，根據情感傾向判斷評論是否為特征請求評論，將負向情感傾向的評論篩選出來作為非特征請求評論。實現方法為情感詞典分析法，情感詞典采用大連理工大學情感詞匯本體庫。

4.3 基于句式匹配和情感傾向的特征請求評論識別

首先，對評論集合R2進行句式匹配，篩選出符合固定句式的評論；其次，對剩余不含固定句式的評論進行情感分析，篩選出情感傾向為負向的評論；最后，將兩種方法識別得到的評論進行合并，得到特征請求評論集合R3。上述方法就是基于句式匹配和情感傾向的特征請求評論識別方法，實現工具為Python程序。

4.4 識別效果評價

通過基于句式匹配和情感傾向的識別方法得到的特征請求評論集合為R3，即軟件特征挖掘范圍。為驗證該識別方法的效果，將評論集合R2的人工標注結果作為識別結果的評判標準。評價指標選擇準確率和召回率，計算公式［20］如下。

在分類過程中，準確率和召回率值越大代表分類效果越好。為了綜合比較分類性能，引用準確率與召回率的調和平均值F_score，計算公式［20］如下。

以人工標注結果為參考，利用準確率、召回率和F_score3個指標衡量，基于句式匹配和情感傾向的特征請求評論識別方法對10個App的用戶評論識別效果見表9。

表9 特征請求評論識別效果

基于句式匹配和情感傾向的特征請求評論識別方法的3個衡量指標值全部在0.7左右，均值分別是0.747、0.712、0.728，說明比較穩(wěn)定。

5 軟件特征提取

在特征請求范圍提取軟件特征階段，本文通過基于關聯規(guī)則算法的Python程序實現，由以下5個步驟組成。

（1）創(chuàng)建關聯規(guī)則事務文件。這一步驟采用特征請求評論集合R3的評論文本創(chuàng)建關聯規(guī)則事務文件。以評論文本為事務單位，提取評論中的全部名詞、名詞短語、動詞和動名詞短語作為項，以文本文件格式存儲。

（2）確定候選軟件特征集合。利用關聯規(guī)則Aprioir算法從事務文件中找出滿足最小支持度為1%［21］的頻繁項作為候選軟件特征集合I0，不考慮3項以上的頻繁項。［22］

（3）候選軟件特征集合剪枝。根據中文評論的臨近規(guī)則，［21］對候選軟件特征集合I0進行剪枝，得到候選軟件特征集合I1。

（4）獨立支持度修正。根據中文評論中的獨立支持度定義，［21］確定最小獨立支持度為3，過濾候選軟件特征集合I1中獨立支持度小于3的項，得到候選軟件特征集合I2。

（5）過濾非軟件特征詞。將App軟件用戶評論中的高頻非軟件特征詞從候選軟件特征集合I2中過濾掉，形成最終的軟件特征集合I。非軟件特征詞包括2種類型：① App軟件、開發(fā)商的名稱及其簡稱，如“酷狗音樂”“酷狗”“百度網盤”“百度”。② 表達用戶情感傾向、與App功能屬性不相關的動詞，如“喜歡”“希望”“感覺”“建議”。

6 結果與分析

6.1 提取結果

通過上述方法在軟件特征挖掘范圍即特征請求評論集合R3內提取軟件特征，選取每個App軟件特征集合I中頻率排在前10位的元素，結果見表10。

表10 App軟件特征

觀察表10可以發(fā)現，提取出的軟件特征與多種類型的特征請求相關。以“QQ”為例，第一個軟件特征“閃退”，其所在的評論文本反映了用戶對系統穩(wěn)定運行的特征請求，內容類型屬于錯誤異常反饋；最后一個軟件特征“適配iphonex”，其所在的評論文本表達的是用戶對兼容最新手機型號的特征請求，內容類型屬于新功能請求。其余8個特征所在的評論文本都與用戶對改進現有功能的特征請求相關，內容類型屬于功能優(yōu)化建議，如特征“消息”的一個所在評論文本“好友發(fā)來的消息總是延遲通知，這個缺陷難道很難修復嗎？”由此可見，挖掘所得軟件特征來自錯誤異常反饋、新功能請求和功能優(yōu)化建議等不同類型的特征請求評論文本。因此，進一步挖掘用戶對具體特征的情感態(tài)度來獲取特征請求是開發(fā)者獲取用戶反饋的一種有效途徑。

6.2 結果評價

以人工標注結果為參考，利用準確率、召回率和F_score3個指標衡量，10個App的軟件特征獲取結果見表11。

表11 App軟件特征挖掘結果

觀察表11可得，各App的準確率、召回率和F-score較為穩(wěn)定。為進一步驗證方法的有效性，本文設置對照實驗，將未經范圍識別的評論集合R2作為實驗數據，用同樣的提取方法進行實驗，并記錄2次實驗結果的平均值以及同類研究的結果（見表12）。

表12 App軟件特征挖掘結果

由表中數據可得，本文實驗結果的3個指標均優(yōu)于對照實驗結果，表明在軟件特征提取前進行挖掘范圍識別是十分必要的。本文實驗較同類研究在準確率、召回率和F-score均有改善，驗證了軟件特征提取方法的有效性。

7 結語

面對數量激增的App用戶評論，開發(fā)者如何高效地從中獲取軟件特征以協助App的改進和演化，已經成為一個亟待解決的問題。本文提出基于挖掘范圍識別和關聯規(guī)則算法的App用戶評論軟件特征獲取方法：收集大量評論數據并進行預處理，利用基于句式匹配和情感傾向的識別方法確定包含特征請求的評論范圍，并通過關聯規(guī)則算法提取出軟件特征。結果表明了該方法的有效性。

但是，本文存在一定局限性。首先，在挖掘范圍內基于關聯規(guī)則算法提取軟件特征時選取滿足最小支持度的頻繁項加入到候選項中，沒有對非頻繁特征項進行處理。今后研究可將非特征頻繁項加入到軟件特征集合中，以補充關聯規(guī)則算法提取的結果，從而最大限度地提高軟件特征挖掘的準確性和全面性。其次，本文只選取了應用商店內5個類別的App用戶評論，后續(xù)研究應涉及更多類別的App或者其他類型的軟件產品，以增加研究資料的推論價值。