呂 峰，李麗嬌，高云英，馬開陽

（云南中醫(yī)學院 信息技術學院，云南 昆明650200）

基于Hadoop在中醫(yī)藥數(shù)據(jù)挖掘中的應用

呂 峰，李麗嬌，高云英，馬開陽

（云南中醫(yī)學院 信息技術學院，云南 昆明650200）

隨著中醫(yī)藥信息化發(fā)展的進一步深入，中醫(yī)藥臨床數(shù)據(jù)得以更加規(guī)范的整理和挖掘，并組成大量標準化的中醫(yī)藥數(shù)據(jù)庫，導致中醫(yī)藥數(shù)據(jù)信息不斷膨脹。醫(yī)院原有的DartSpora數(shù)據(jù)挖掘軟件無法滿足新時期對海量數(shù)據(jù)挖掘的需要，針對上述情況，文中從數(shù)據(jù)挖掘的概念及系統(tǒng)模型入手，介紹Hadoop的主要內(nèi)容，提出基于Hadoop的中醫(yī)藥數(shù)據(jù)挖掘系統(tǒng)，從而滿足中醫(yī)藥研究對計算高性能的要求。

數(shù)據(jù)挖掘；中醫(yī)藥；Hadoop；MapReduce

隨著互聯(lián)網(wǎng)技術、信息技術的快速發(fā)展，促使由互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)信息資源日益增多。自2010年，數(shù)據(jù)挖掘技術被用于網(wǎng)絡工程中，采用統(tǒng)計學等輔助科學幫助人們編輯、處理龐大的數(shù)據(jù)集[1]。

由于中醫(yī)藥數(shù)據(jù)庫群的使用，傳統(tǒng)的數(shù)據(jù)庫建設方式導致中醫(yī)藥信息出現(xiàn)孤島效應，這種情況無法滿足中醫(yī)藥信息領域發(fā)展要求。文中探討中醫(yī)藥數(shù)據(jù)挖掘的相關內(nèi)容，旨在為完善中醫(yī)藥數(shù)據(jù)挖掘服務提供重要參考，從而推動我國中醫(yī)藥事業(yè)蓬勃發(fā)展。

1　簡述數(shù)據(jù)挖掘的概念及過程

數(shù)據(jù)挖掘是指采用計算機從數(shù)據(jù)中獲取有用知識的過程。數(shù)據(jù)挖掘也可定義為由數(shù)據(jù)庫或其他信息倉庫內(nèi)獲取有趣知識的過程，例如：關聯(lián)的數(shù)據(jù)機構(gòu)等。數(shù)據(jù)挖掘是近年來受到信息產(chǎn)業(yè)領域廣泛關注的內(nèi)容[2]。數(shù)據(jù)挖掘主要目標為預測和描述，預測是指采用數(shù)據(jù)集中地變量或域預測其他位置變量。描述就是能夠找到為人類理解的數(shù)據(jù)模型。數(shù)據(jù)挖掘是采用自動或手工的辦法挖掘所需數(shù)據(jù)。數(shù)據(jù)挖掘過程如圖1所示。

圖1　數(shù)據(jù)挖掘過程簡圖

2　Hadoop平臺的設計

2.1Hadoop的概念

大數(shù)據(jù)就是收集大量結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)，管理這些數(shù)據(jù)需要花費大量時間和代價載入與之相關的數(shù)據(jù)庫內(nèi)展開分析。Hadoop是采用JAVA編寫框架的軟件工程，借助硬件服務器集群，對大數(shù)據(jù)展開分布式處理[3]。Hadoop被設計為由單個服務器擴展至成千上萬臺機器，不會依賴高性能硬件環(huán)境，上述集群性能來源于軟件自身檢測和處理失敗狀況的能力。Hadoop能夠改變大型規(guī)模計算的動態(tài)性，具有可擴展性、容錯性等優(yōu)點，確保更加有效的處理數(shù)據(jù)[4]。Hadoop能夠提供用于計算大規(guī)模容量的數(shù)據(jù)集，通過高速率處理由大容量系統(tǒng)中傳入數(shù)據(jù)，同時，Hadoop能夠處理多種非結(jié)構(gòu)化數(shù)據(jù)。Hadoop主要包括分布式文件HDFS、計算框架MapReduce組成，其中，后者構(gòu)建于前者之上，對所存儲的數(shù)據(jù)開展分布式計算。HDFS是Hadoop重要的組成部分，屬于分布式文件系統(tǒng)，用于存儲大數(shù)據(jù)集，確保硬件獲得最佳的可靠性。

2.2MapReduce組成結(jié)構(gòu)

Hadoop MapReduce作為軟件編程模型，能采用分布式方法處理大數(shù)據(jù)集。一個MapReduce任務借助多個獨立的塊分割數(shù)據(jù)集，上述分割塊可被用戶指定的map函數(shù)以并行的方式進行處理，形成一些中間＜key，value＞對[5]。MapReduce運行流程如圖2。

圖2　MapReduce作業(yè)運行流程簡圖

3　基于Hadoop中醫(yī)藥數(shù)據(jù)挖掘平臺

中醫(yī)藥是我國醫(yī)學中的寶貴財富，為中華民族醫(yī)學的繁榮昌盛做出了重要貢獻。目前，傳統(tǒng)醫(yī)學治療理念逐漸被世界所接受，傳統(tǒng)醫(yī)藥受到世界各個國家的重視和關注，這為中醫(yī)藥發(fā)展提供廣闊的空間和機遇。中醫(yī)理論中的五行、經(jīng)絡、陰陽、預防、養(yǎng)生、病因、辨證等內(nèi)容，若能通過數(shù)據(jù)挖掘技術將多維數(shù)據(jù)之間的映射關系反映出來，這將成為研究中醫(yī)藥數(shù)據(jù)的有力工具[6]。

3.1需求分析

通過對數(shù)據(jù)挖掘系統(tǒng)的研究和分析，借助Hadoop平臺巨大的存儲和計算能力，建立基于Hadoop的中醫(yī)藥數(shù)據(jù)挖掘系統(tǒng)。目前，數(shù)據(jù)挖掘系統(tǒng)面臨的挑戰(zhàn)如下：1）隨著業(yè)務的增長，中醫(yī)院的各類數(shù)據(jù)量越來越大，導致ETL速度變慢，獲得有價值數(shù)據(jù)能力超過原本容忍范圍。因此，必須提升數(shù)據(jù)預處理能力速度和效率。2）傳統(tǒng)數(shù)據(jù)挖掘算法在處理大數(shù)據(jù)集時效果不理想，其處理能力擴展性差，導致數(shù)據(jù)挖掘系統(tǒng)不具備良好的大數(shù)據(jù)挖掘能力[7]。同時，針對層出不窮的數(shù)據(jù)格式，必須具備相應的處理能力，確保數(shù)據(jù)格式的統(tǒng)一性?；贖adoop設計數(shù)據(jù)挖掘系統(tǒng)，能有效解決上述問題。

3.2設計合理的結(jié)構(gòu)模型

根據(jù)上述分析，中醫(yī)藥數(shù)據(jù)挖掘系統(tǒng)采用分層思想，自頂向下每層均可調(diào)用下層結(jié)構(gòu)，最頂層為交互層，實現(xiàn)使用者與系統(tǒng)間的交互。最底層設計為分布式計算層，采用Hadoop實現(xiàn)文件分布式存儲和并行計算。該結(jié)構(gòu)框架模型主要包括交互層、功能層、資源層3個部分，3個層次之間彼此獨立，與其任意一次不存在交叉調(diào)用的情況[8]。但資源層可為功能層提供便于調(diào)用資源的接口，當然，功能層也為交互層提供合理的接口。交互層則為用戶提供最佳的交互界面。其具體結(jié)構(gòu)框架如圖3。

圖3　基于Hadoop的中醫(yī)藥數(shù)據(jù)挖掘服務框架

3.2.1交互層

交互層作為用戶與并行挖掘平臺進行溝通的主要通道，交互層可為用戶提供可編程Web服務和可視化交互平臺兩種訪問方式。后者是典型的Web應用模式，其借助JSP、Javascript等達到可視化管理，并與客戶端編程技術相互結(jié)合更加形象展示數(shù)據(jù)挖掘結(jié)果。在該管理平臺內(nèi)，主要包括算法管理、應用、用戶管理、結(jié)果展示4個模塊，便于用戶與計算中心實現(xiàn)交互，可視化編程架構(gòu)如圖4。可編程Web服務采用Web service技術將原有數(shù)據(jù)挖掘算法包裝成為可編程的Web服務，便于第三方再次進行開發(fā)。

圖4　可視化平臺架構(gòu)簡圖

3.2.2功能層

功能層是整個數(shù)據(jù)挖掘框架的核心，該層用于集合多種中醫(yī)藥數(shù)據(jù)挖掘算法。功能層內(nèi)集成聚類（k-means）、關聯(lián)規(guī)則發(fā)現(xiàn)（PApriori）等算法，方便對中醫(yī)藥數(shù)據(jù)實施多角度分析。同時，借助交互層，使用者可將各類新開發(fā)算法提交至服務中心，采用集群的計算資源實現(xiàn)整個實驗?；贖adoop對數(shù)據(jù)進行關聯(lián)規(guī)則挖掘時，一般需要實現(xiàn)Main、map、reduce 這3個函數(shù)。其挖掘算法主進程代碼如下：

3.2.3資源層

資源層作為數(shù)據(jù)挖掘框架中支持服務的底層硬件組織，在服務架構(gòu)內(nèi)，可借助配備Hasdoop開源軟件，借助主/從節(jié)點的方法管理集群的存儲和計算資源，合理調(diào)度用戶之間的資源。同時，資源層也是計算機硬件和系統(tǒng)資源軟件的集合，計算機硬件包括內(nèi)存空間、磁盤存儲、CPU計算等功能。

4　結(jié)束語

總之，文中從傳統(tǒng)數(shù)據(jù)挖掘系統(tǒng)對海量數(shù)據(jù)處理的需求出發(fā)，借助Hadoop數(shù)據(jù)挖掘平臺滿足中醫(yī)藥研究對高性能計算能力的要求，充分運用已有的高性能集群計算能力，設計滿足時代發(fā)展需求的中醫(yī)藥并行數(shù)據(jù)挖掘服務框架。這個數(shù)據(jù)挖掘框架借助Ajax技術、Javascript語言設計可視化管理平臺，采用客戶端編程技術達到完美展示的效果。文中提出的中醫(yī)藥數(shù)據(jù)挖掘服務技術具備完善的交互方案結(jié)構(gòu)，也可動態(tài)更新數(shù)據(jù)功能，充分挖掘數(shù)據(jù)種類，滿足中醫(yī)藥研究的需求。

[1]屈志堅，郭亮，陳秋琳，等.Hadoop云構(gòu)架的智能調(diào)度無損集群壓縮技術[J].電力系統(tǒng)自動化，2013，37（18）:93-98.

[2]徐劍，陳群，王卓，等.一種基于Hadoop的多表鏈接策略[J].現(xiàn)代電子技術，2014，11（6）:90-94.

[3]杜建強，聶斌.數(shù)據(jù)挖掘在中醫(yī)藥領域應用研究進展[J].中國中醫(yī)藥信息雜志，2013，20（6）:109-112.

[4]董新華，李瑞軒，周灣灣等.Hadoop系統(tǒng)性能優(yōu)化與功能增強綜述[J].計算機研究與發(fā)展，2013，50（z2）:1-15.

[5]陳旭文，黃英銘.海量視頻點播系統(tǒng)的云計算技術與建模實現(xiàn)[J].現(xiàn)代電子技術，2013，23（14）:10-12，16.

[6]周婷，張君瑛，羅成，等.基于Hadoop的K-means聚類算法的實現(xiàn)[J].計算機技術與發(fā)展，2013，23（7）:18-21.

[7]李曉蕾.基于Hadoop社交網(wǎng)絡分析平臺的設計與實現(xiàn)[J].計算機測量與控制，2014，22（12）:4094-4097.

[8]黃斌，許舒人，蒲衛(wèi)等.基于MapReduce的數(shù)據(jù)挖掘平臺設計與實現(xiàn)[J].計算機工程與設計，2013，34（2）:495-501.

[9]孫媛，黃剛.基于Hadoop平臺的C4.5算法的分析與研究[J].計算機技術與發(fā)展，2014，19（11）:83-86，90.

[10]楊來，史忠植，梁帆，等.基于Hadoop云平臺的并行數(shù)據(jù)挖掘方法[J].系統(tǒng)仿真學報，2013，25（5）:936-944.

[11]秦莉花，陳曉陽，李晟，等.基于數(shù)據(jù)挖掘的絕經(jīng)綜合征焦慮、抑郁的相關因素研究分析[J].時珍國醫(yī)國藥，2013，24 （6）:1431-1432.

[12]李偉衛(wèi)，趙航，張陽，等.基于MapReduce的海量數(shù)據(jù)挖掘技術研究[J].計算機工程與應用 ，2013，31（20）:112-117.

[13]崔杰，李陶深，蘭紅星，等.基于Hadoop的海量數(shù)據(jù)存儲平臺設計與開發(fā)[J].計算機研究與發(fā)展，2012，49（z1）:12-18.

[14]劉小俊，徐正全，潘少明，等.一種結(jié)合RDBMS和Hadoop的海量小文件存儲方法[J].武漢大學學報：信息科學版，2013，38 （1）:113-115，120.

[15]樊龍，萬定生，顧昕辰，等.基于Hadoop云平臺的水利普查數(shù)據(jù)挖掘系統(tǒng)的設計和實現(xiàn) [J].計算機與數(shù)字工程，2014，42（5）:831-834，875.

Application of Hadoop in traditional Chinese medicine based on data mining

LV Feng，LI Li-jiao，GAO Yun-ying，MA Kai-yang
（School of Information Technology，Yunnan University of TCM，Kunming 650200，China）

Along With the further development of the TCM information and TCM clinical data can be more standardized collation and mining，and standardization of traditional Chinese medicine database，resulting in the continuous expansion of the TCM data and information.The hospital's original DartSpora data mining software can't meet the need of huge amounts of data mining in the new period，in view of the above situation，the data mining concept and system model of，Hadoop introduced the main content of the proposed system based on Hadoop TCM data mining from meet the research of traditional Chinese medicine on the requirements of high performance computing

data mining；traditional chinese medicine；hadoop；mapreduce

TN99

A

1674－6236（2016）22-0112-03

2016-02-18稿件編號：201602065

呂峰（1978—），男，云南昆明人，碩士，副教授。研究方向：計算機高等教育，中醫(yī)藥信息資源建設，數(shù)字化校園建設與應用。