基于Spark框架的高效KNN中文文本分類算法
2017-01-13 20:13:00于蘋蘋倪建成姚彬修李淋淋曹博
計(jì)算機(jī)應(yīng)用 2016年12期
于蘋蘋+倪建成+姚彬修+李淋淋+曹博
摘 要：針對K-最近鄰（KNN）分類算法時(shí)間復(fù)雜度與訓(xùn)練樣本數(shù)量成正比而導(dǎo)致的計(jì)算量大的問題以及當(dāng)前大數(shù)據(jù)背景下面臨的傳統(tǒng)架構(gòu)處理速度慢的問題，提出了一種基于Spark框架與聚類優(yōu)化的高效KNN分類算法。該算法首先利用引入收縮因子的優(yōu)化K-medoids聚類算法對訓(xùn)練集進(jìn)行兩次裁剪；然后在分類過程中迭代K值獲得分類結(jié)果，并在計(jì)算過程中結(jié)合Spark計(jì)算框架對數(shù)據(jù)進(jìn)行分區(qū)迭代實(shí)現(xiàn)并行化。實(shí)驗(yàn)結(jié)果表明，在不同數(shù)據(jù)集中傳統(tǒng)K-最近鄰算法、基于K-medoids的K-最近鄰算法所耗費(fèi)時(shí)間是所提Spark框架下的K-最近鄰算法的一個(gè)范圍3.92～31.90倍，所提算法具有較高的計(jì)算效率，相較于Hadoop平臺有較好的加速比，可有效地對大數(shù)據(jù)進(jìn)行分類處理。
關(guān)鍵詞：K-最近鄰；聚類；收縮因子；K-medoids；Spark；并行化計(jì)算
中圖分類號： TP391.1
文獻(xiàn)標(biāo)志碼：A
文章編號：1001-9081（2016）12-3292-06
猜你喜歡
小資CHIC！ELEGANCE(2022年1期)2022-01-11 00:49:59
數(shù)學(xué)物理學(xué)報(bào)(2020年3期)2020-07-27 01:19:46
電子測試(2017年15期)2017-12-18 07:19:27
法大研究生(2017年1期)2017-04-10 08:55:06
課程教育研究·學(xué)法教法研究(2016年8期)2016-06-14 15:21:38
智能系統(tǒng)學(xué)報(bào)(2015年4期)2015-12-27 09:38:39
華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版)(2015年2期)2015-11-07 09:16:21
課程教育研究·學(xué)法教法研究(2015年7期)2015-05-30 10:48:04
電子設(shè)計(jì)工程(2015年6期)2015-02-27 12:04:53
中國科技博覽(2014年14期)2014-04-30 10:07:19
