許艷丹，張前進,2，王志宏

(1. 安徽國防科技職業(yè)學院，安徽 六安 237011；2. 六安大江信息技術有限公司，安徽 六安 237000)

?

數(shù)據挖掘在物聯(lián)網中的應用研究

許艷丹1，張前進1,2，王志宏1

(1. 安徽國防科技職業(yè)學院，安徽 六安 237011；2. 六安大江信息技術有限公司，安徽 六安 237000)

摘要：數(shù)據挖掘、云計算、物聯(lián)網是目前信息技術領域的研究熱點，探討了數(shù)據挖掘在物聯(lián)網中的應用背景，以及物聯(lián)網的應用現(xiàn)狀.分析了物聯(lián)網數(shù)據的特點與基于云計算的數(shù)據挖掘服務架構，最后以智慧圖書館為例說明了數(shù)據挖掘在物聯(lián)網中的應用.

關鍵詞：數(shù)據挖掘；物聯(lián)網；云計算；智慧圖書館

物聯(lián)網是通過射頻識別、紅外感應器、全球定位系統(tǒng)、激光掃描器等信息傳感設備，按照約定的協(xié)議把任何物品與互聯(lián)網連接起來進行信息交換和通訊，以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網絡[1].物聯(lián)網技術已被廣泛應用在與人類衣食住行相關的各個行業(yè)中.各類物聯(lián)網應用系統(tǒng)通過海量的傳感器節(jié)點進行信息交換和通訊[2].人類在與傳感器交互的過程中產生的數(shù)據越來越多.在這些海量的數(shù)據中包含著很多有價值的信息，通過深度挖掘與分析可以開發(fā)出更加智能化的應用.

自物聯(lián)網概念提出以來，物聯(lián)網產業(yè)受到各行業(yè)廣泛高度重視.世界上已經有很多政府將物聯(lián)網產業(yè)列為振興本國經濟的核心產業(yè).目前物聯(lián)網已作為國家戰(zhàn)略性重點發(fā)展領域寫入到中國“十二五”規(guī)劃綱要中.物聯(lián)網本身并非是創(chuàng)新性技術，只是對已有技術進行創(chuàng)新性集成.從技術本身來看，物聯(lián)網行業(yè)就具有跨部門、跨行業(yè)的特點，這就產生了物聯(lián)網標準難統(tǒng)一的問題，因而，物聯(lián)網標準的統(tǒng)一需要從國家層面進行協(xié)調.隨著物聯(lián)網列為國家重點產業(yè)，政府加大了對物聯(lián)網扶持力度，如2011年國家標準委員在國家物聯(lián)網基礎工作組的基礎上成立國家物聯(lián)網編碼標識項目組，這也是國家將技術標準作為戰(zhàn)略網絡基礎資源參與世界競爭.

行業(yè)的發(fā)展帶動了人才的需求，物聯(lián)網專業(yè)已被納入普通高等學校(本科/?？?專業(yè)目錄.目前從高校到行業(yè)普遍是更多地投入到硬件研發(fā)上并且成果顯著，如小米公司的智能家庭、華為公司的智能家居.另一方面，采集到的物聯(lián)網中的海量數(shù)據，并沒有被有效深度挖掘與分析，缺少對軟件領域的智能應用開發(fā).

1物聯(lián)網數(shù)據特點

物聯(lián)網的目的是更加智能化的用戶體驗.數(shù)據挖掘與分析是智能應用開發(fā)的基礎，也是將來衡量物聯(lián)網智能水平的標準[3].

1.1異構性、非結構性、高增長性

2011年，ITU對物聯(lián)網的定義中物與物相聯(lián)中的物不僅指能夠被感知或者操作的物理設備，還包括在信息系統(tǒng)中能夠被識別和訪問，具有標識的對象[4]，即虛擬的物.物聯(lián)網中各種物理傳感器設備和虛擬對象產生的數(shù)據被分隔存儲在不同的應用系統(tǒng)中，因此，從物聯(lián)網的誕生就決定了物聯(lián)網數(shù)據的異構性；另一方面，在這些數(shù)據中除了包含有存儲在數(shù)據庫中，可以使用二維表表示的結構化數(shù)據，還包含非結構化數(shù)據，如文檔、視頻、圖像、文本等不能通過二維表表達的數(shù)據.

物聯(lián)網中包含的海量傳感器能夠感知的對象非常廣，其產生的數(shù)據量也非常巨大. 2014年4月IDC“豐富的數(shù)據和物聯(lián)網日益增加的價值”報告中指出，來自于嵌入式系統(tǒng)的物聯(lián)網數(shù)據到2020年將占據全球數(shù)據總量的10%.虛擬對象產生的數(shù)據量同樣具有高增長性，2014年天貓平臺僅“雙十一”前一分鐘的交易量就達到了83萬筆，一天的交易額突破了571億元. 互聯(lián)網上非結構化數(shù)據也呈現(xiàn)爆發(fā)式增長，2000年底網頁數(shù)量就達到了40億.

1.2分布式存儲方式

數(shù)據挖掘的前提是數(shù)據存儲，物聯(lián)網異構的特征就決定了數(shù)據的分布式存儲方式.與傳統(tǒng)的集中式存儲技術不同的是，分布式存儲技術并不是將數(shù)據集中地存儲在某個或多個特定的存儲設備或網絡節(jié)點上，而是通過網絡將分散的存儲節(jié)點構成一個統(tǒng)一的虛擬存儲設備，數(shù)據分散地存儲在各個網絡節(jié)點上.分布式存儲結構如圖1所示.分布式技術的出現(xiàn)，讓物聯(lián)網中海量數(shù)據的分布式存儲成為可能[5].分布式存儲實現(xiàn)了不同網絡、不同地域間數(shù)據共享及數(shù)據交換的目的，便于對分散的數(shù)據進行集中管理和控制.

圖1　物聯(lián)網分布式存儲結構圖

1.3基于云計算的數(shù)據挖掘架構

如上所述，物聯(lián)網的設備和數(shù)據存儲采用的均是分布式存儲方式，在數(shù)據挖掘方式上相應需采用分布式數(shù)據挖掘，在計算模式選擇上需要選擇目前的熱點技術——云計算模式.云計算是基于互聯(lián)網提供計算服務的新型計算模式，具有低成本、屏蔽底層差異、計算擴展性好、數(shù)據處理規(guī)模大、容錯處理能力強等優(yōu)點.另外，每一個物聯(lián)網分布式存儲節(jié)點所對應的數(shù)據終端為實現(xiàn)對實時環(huán)境做出快速準確地判斷，均需要具有強大的實時數(shù)據處理分析能力.綜上所述，在數(shù)據挖掘算法選擇上，選取基于云計算的分布式并行數(shù)據挖掘算法.基于云計算的數(shù)據挖掘服務框架如圖2所示.

圖2　基于云計算的數(shù)據挖掘服務框架圖

并行數(shù)據挖掘平臺位于物聯(lián)網大數(shù)據之上，并為UI交互層提供數(shù)據挖掘“云服務”.用戶通過UI交互層可以獲得定制的個性化服務.

2數(shù)據挖掘在智慧圖書館中的應用

2.1智慧圖書館應用框架

物聯(lián)網技術體系結構由感知層、傳輸層、應用層組成.基于云計算的智慧圖書館框架是在傳輸層擴展了數(shù)據層和數(shù)據挖掘層，如圖3所示.

2.1.1感知層

感知層包含有大量負責采集數(shù)據的傳感器節(jié)點以及可以被抽象化的虛擬資源.如采集圖書館環(huán)境信息的溫度、濕度傳感器節(jié)點；讀取用戶一卡通數(shù)據的RFID讀寫器節(jié)點；數(shù)字化圖書館日志系統(tǒng)中記錄的用戶瀏覽電子圖書的路徑日志；實時視頻監(jiān)控系統(tǒng)中記錄的視頻圖像資料等.這些數(shù)據利用感知層的接入網絡將數(shù)據采集到數(shù)據節(jié)點并通過傳輸層傳輸?shù)椒植际綍r空數(shù)據庫.

2.1.2傳輸層

傳輸層的主要功能是將移動網絡、無線網絡、物聯(lián)網、局域網等異構網絡融合，形成一個安全、可靠的數(shù)據傳輸通道，實現(xiàn)各類網絡的互聯(lián)互通，即實現(xiàn)智慧圖書館中人與人、物與物、人與物之間的全面互聯(lián)、互通與互動[6].

2.1.3數(shù)據層

物聯(lián)網中不同傳感器節(jié)點數(shù)據表示方法均不相同，即使同類型的傳感器在不同的系統(tǒng)應用中數(shù)據表示方式也不盡相同.因此，造成了物聯(lián)網數(shù)據的異構性.這種數(shù)據異構性、非結構性的特點，使得數(shù)據層在智慧圖書館數(shù)據挖掘平臺中起著至關重要的作用.數(shù)據層的主要功能是將異構數(shù)據和非結構數(shù)據進行轉換并實現(xiàn)分布式存儲.上述功能主要通過數(shù)據層的數(shù)據轉換模塊來完成.數(shù)據轉換模塊不僅解決了數(shù)據的異構性，而且保證了數(shù)據存儲的完整性[7].物聯(lián)網中的數(shù)據與一般的屬性數(shù)據不同，不僅具有屬性數(shù)據的特定性，還具有空間性、時間性、復雜性等能夠反映現(xiàn)實世界各種變化的地理時空特性.利用Hadoop平臺完成物聯(lián)網數(shù)據的分布式時空數(shù)據庫存儲.Hadoop平臺是一個由Apache基金會發(fā)布的分布式系統(tǒng)基礎架構，具有成本低、高容錯性特點，能夠為海量數(shù)據集提供高吞吐量的應用訪問.分布式時空數(shù)據庫中的數(shù)據經過篩選、清洗、轉換可以構建面向主題的數(shù)據倉庫并為數(shù)據挖掘層模式/規(guī)則發(fā)現(xiàn)提供數(shù)據源.

2.1.4數(shù)據挖掘層

數(shù)據挖掘層是智慧圖書館框架中的核心之一.數(shù)據挖掘引擎提供基于云計算的數(shù)據挖掘預處理云服務，如數(shù)據的清洗、轉換等，以及并行計算數(shù)據挖掘算法庫.數(shù)據挖掘層可以實現(xiàn)關聯(lián)、分類、聚類、模式發(fā)現(xiàn)、異常發(fā)現(xiàn)等功能.需要對Hadoop平臺中的傳統(tǒng)數(shù)據挖掘算法進行并行化處理改進.在數(shù)據層和數(shù)據挖掘層引入工作流系統(tǒng)，實現(xiàn)任務的組合管理，同時，為提高數(shù)據挖掘平臺的可移植性在數(shù)據挖掘層設計一個為UI層提供數(shù)據挖掘服務的接口.

2.1.5用戶UI層

用戶UI層是實現(xiàn)人機交互的門戶，主要包含用戶身份識別、服務成果展示.用戶身份識別采用單點登錄(Single Sign On，SSO)模式.通過單點登錄實現(xiàn)與學校其他業(yè)務系統(tǒng)進行整合.

圖3　智慧圖書館框架圖

2.2數(shù)據挖掘在智慧圖書館個性化服務中的應用

2.2.1數(shù)據挖掘在智慧圖書館中的應用業(yè)務分析

基于物聯(lián)網的智慧圖書館實現(xiàn)了將人與文獻、文獻與文獻相互關聯(lián).智慧圖書館系統(tǒng)中包含了海量的與用戶有關的信息，如用戶的文獻借閱記錄.通過對用戶借閱信息的深度挖掘與分析可以得到用戶個性訪問信息.數(shù)據挖掘在智慧圖書館的應用主要體現(xiàn)在優(yōu)化館藏資源和館藏布局，基于角色的個性化服務等方面.

(1)優(yōu)化館藏資源和館藏布局

通過對所有用戶的借閱記錄，包含借閱頻率、檢索記錄可以分析出用戶的實際館藏資源需求與借閱習慣，可以為圖書采購和館藏布局提供指導，使館藏資源和館藏布局最優(yōu)化.

(2)基于角色的個性化服務

基于角色的智慧圖書館個性化服務包含內容定制、個性推薦等方面.通過數(shù)據挖掘分析用戶借閱記錄，得到用戶個人瀏覽習慣和興趣后，用戶不僅可以在智慧圖書館的數(shù)字化資源中根據自己的瀏覽習慣進行內容定制，還可以基于移動終端平臺如移動APP、微信公眾號等向角色用戶進行個性化推送服務，如可以定期向用戶推送熱點圖書、興趣圖書推薦等個性化內容.

2.2.2關鍵技術實現(xiàn)思路

(1)基于用戶行為特征和知識本體的用戶建模

用戶個性化服務的基礎是基于用戶本體的需求，就如去餐廳用餐，想按照自己的口味進行點餐，但是餐廳本身只提供統(tǒng)一的套餐一樣，用戶要想獲得個性化服務，首先要分析用戶個性化需求才能按需服務.另一方面，每個用戶的知識背景、興趣愛好、情感和社會關系均不相同，并且是動態(tài)變化的.如，同樣在智慧圖書館中搜索“C語言”，大一的學生和大二的學生以及看過視頻的與沒看過視頻的其知識背景是不同的，因此動態(tài)更新用戶本體是正確建立用戶模型的關鍵，是本模塊需要解決的關鍵問題.實現(xiàn)思路如圖4所示，首先對用戶的借閱記錄和點擊日志記錄進行聚類分析完成本體建模，然后通過對海量Web日志進行分析和計算，完成用戶的情感分析與興趣判斷，最后通過統(tǒng)一的用戶模型更新模塊完成用戶本體更新.

(2)個性化推薦引擎

傳統(tǒng)的圖書檢索，使用同一個關鍵字搜索到的資源結果相同，用戶要想找到自己需要的資源并不容易.基于數(shù)據挖掘技術實現(xiàn)的個性化推薦引擎就是根據用戶知識背景、社會關系、情感的變化，幫助其從海量知識中獲取有用知識，主要用來解決信息過載的問題.該引擎基于分析當前和過去的用戶行為，為用戶提供符合用戶喜好的內容，其架構由下及上分為：數(shù)據層、引擎算法層、應用層.數(shù)據層是整個個性推薦引擎應用的數(shù)據源；引擎算法層完成個性化推薦算法，是個性推薦引擎的核心；應用層是直接面向終端用戶構建的各種應用.

圖4　用戶模型與本體更新過程圖

3結束語

數(shù)據挖掘是物聯(lián)網實現(xiàn)智能應用關鍵的部分，其在物聯(lián)網領域的應用，提高了智能化應用水平與用戶體驗.基于數(shù)據挖掘的智慧圖書館框架，不僅實現(xiàn)了圖書館各個業(yè)務系統(tǒng)和物理環(huán)境間的互聯(lián)互通，而且為實現(xiàn)更加智能化應用提供了技術支撐.

參考文獻：

[1]李德仁,姚遠,邵振鋒.智慧城市中的大數(shù)據[J].武漢大學學報(信息科學版)，2014，39(6):631-640.

[2]丁治明,高需.面向海量傳感器采樣數(shù)據管理的數(shù)據庫集群系統(tǒng)框架[J].計算機學報，2012，35(6):1175-1191.

[3]何清. 物聯(lián)網與數(shù)據挖掘云服務[J].智能系統(tǒng)學報，2012，7(3):189-194.

[4]劉多.物聯(lián)網標準化進程[J].中興通訊技術, 2012, 18(2):5-9.

[5]薛建生,于忠臣,黃磊,等.物聯(lián)網海量數(shù)據的分布式存儲算法[J].小型微型計算機系統(tǒng), 2013, 34(9):2081-2084.

[6]王燕.智慧校園建設總體架構模型及典型應用分析[J].中國電教化教育,2014(9):88-92.

[7]張毅,崔曉燕.基于云計算平臺的物聯(lián)網數(shù)據挖掘研究[J].軟件, 2014, 35(1):108-111.

Application research of data mining technology in internet of things

XU Yandan1, ZHANG Qianjin1,2,WANG Zhihong1

(1. Anhui Vocational College of Defense Technology, Anhui Lu’an 237011,China;2. Lu'an Dajiang Information Technology Co. Ltd., Anhui Lu’an 237000,China)

Abstract:Data mining, cloud computing and internet of things are a hot topics in the field of information technology. The application of data mining in the internet of things and the application status of internet of things are discussed. Analysis of the characteristics of the internet of things and data mining service structure based on cloud computing, and finally to the intelligent library as an example to illustrate the application of data mining in the internet of things.

Key words:data mining; internet of things; cloud computing; intelligent library

收稿日期：2015-03-20;修回日期：2015-09-24

基金項目：安徽省自然科學研究重點項目(No.KJ2016A120)；2015年安徽省質量工程項目(No. 2015jxtd096)；2013年安徽省質量工程項目(No.2013sjjd056)

作者簡介：許艷丹(1983- )，女，河南周口人，講師，碩士，主要從事數(shù)據挖掘方向研究.

中圖分類號：TP391.1

文獻標志碼：A

文章編號：1671-9476(2016)02-0133-04

DOI：10.13450/j.cnki.jzknu.2016.02.033