（北方工業(yè)大學(xué)經(jīng)濟(jì)管理學(xué)院，北京 100144）

0 引言

伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的興起，大數(shù)據(jù)迅速成為學(xué)術(shù)界、企業(yè)界甚至政府機(jī)構(gòu)關(guān)注的熱點(diǎn)。相對(duì)于傳統(tǒng)數(shù)據(jù)，人們將大數(shù)據(jù)的特征總結(jié)為5 個(gè)大寫的“V”，即體量大（Vol?ume）、速度快（Velocity）、模態(tài)多（Variety）、難辨識(shí)（Veraci?ty）和價(jià)值大密度低（Value）［1］。人們關(guān)注大數(shù)據(jù)的一個(gè)重要目的在于從規(guī)模巨大、紛繁復(fù)雜的數(shù)據(jù)中探求規(guī)律，釋放數(shù)據(jù)所蘊(yùn)含的價(jià)值；否則，數(shù)據(jù)再大，也毫無意義。而作為人工智能重要分支的機(jī)器學(xué)習(xí)，在大數(shù)據(jù)價(jià)值發(fā)現(xiàn)中扮演著不可或缺的角色。

機(jī)器學(xué)習(xí)在學(xué)術(shù)界和產(chǎn)業(yè)界都有巨大實(shí)用價(jià)值，尤其是大數(shù)據(jù)環(huán)境下的機(jī)器學(xué)習(xí)算法成為學(xué)術(shù)界和工業(yè)界共同關(guān)注的課題。一般而言，大規(guī)模機(jī)器學(xué)習(xí)算法通常采用分而治之思想，通過分布式計(jì)算方式，將數(shù)據(jù)或者模型進(jìn)行分割，進(jìn)而出色地完成對(duì)大規(guī)模數(shù)據(jù)的模型訓(xùn)練及預(yù)測(cè)［2］。然而，從零開始構(gòu)建一個(gè)分布式機(jī)器學(xué)習(xí)算法是繁瑣和重復(fù)性的。針對(duì)該問題，越來越多開源和商業(yè)性的大規(guī)模機(jī)器學(xué)習(xí)工具應(yīng)運(yùn)而生。大規(guī)模機(jī)器學(xué)習(xí)工具的產(chǎn)生，降低了機(jī)器學(xué)習(xí)算法的使用門檻，減少了科研技術(shù)人員的重復(fù)性勞動(dòng)，使他們將更多的精力集中在創(chuàng)新研究和應(yīng)用分析上，極大地提高了生產(chǎn)效率。并且，開源大規(guī)模機(jī)器學(xué)習(xí)工具平臺(tái)的出現(xiàn)，也順應(yīng)了當(dāng)前潮流，開源方式能夠充分集中大眾智慧，讓更多的科研人員投身于算法研究和工具平臺(tái)建設(shè)中，也更快更好地促進(jìn)了機(jī)器學(xué)習(xí)發(fā)展。

目前，國內(nèi)外機(jī)器學(xué)習(xí)工具種類繁多，功能和適用環(huán)境也各不相同。本文主要分析當(dāng)前國內(nèi)外機(jī)器學(xué)習(xí)算法開發(fā)和應(yīng)用主要工具，總結(jié)各機(jī)器學(xué)習(xí)工具包的特點(diǎn)及適用場景，以便科研和技術(shù)人員在面臨實(shí)際問題時(shí)能夠選擇合適的機(jī)器學(xué)習(xí)工具平臺(tái)。

1 開源的機(jī)器學(xué)習(xí)工具

開源即開放源代碼，開源軟件以開放源代碼的形式提供給使用者使用，在為使用者提供便利的同時(shí)，也接受更多來自于開發(fā)者的改造。目前，開源工具已逐漸成為機(jī)器學(xué)習(xí)界的主流，主要有以下幾個(gè)分類。

1.1 基于GPU 的深度學(xué)習(xí)工具

深度學(xué)習(xí)是研究如何從數(shù)據(jù)中自動(dòng)抽取多層特征表示，它與傳統(tǒng)機(jī)器學(xué)習(xí)模型的不同之處在于，深度學(xué)習(xí)能夠?qū)W到數(shù)據(jù)更高層次的抽象表示，能夠自動(dòng)從數(shù)據(jù)中提取特征［3］。一個(gè)高層的神經(jīng)網(wǎng)絡(luò)模型通常包含上百萬參數(shù)，這樣一個(gè)巨大的模型在普通CPU 上訓(xùn)練非常耗時(shí)，而GPU的并行訓(xùn)練算法可以極大縮短訓(xùn)練時(shí)間。

cuDNN 是Nvidia 研發(fā)的一款專注于深度學(xué)習(xí)的GPU加速工具，通過將卷積神經(jīng)網(wǎng)絡(luò)計(jì)算轉(zhuǎn)變?yōu)閷?duì)GPU 更有利的矩陣運(yùn)算，可以非常有效地提高深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度［4］。由于cuDNN 的強(qiáng)大性能，包括Torch、Caffe 在內(nèi)的很多機(jī)器學(xué)習(xí)工具包在深度神經(jīng)網(wǎng)絡(luò)運(yùn)算時(shí)，都采用cuDNN 的算法加以實(shí)現(xiàn)。

Torch 和TensorFlow 都以對(duì)深度神經(jīng)網(wǎng)絡(luò)的良好支持為特點(diǎn)，與cuDNN 相比，這兩個(gè)機(jī)器學(xué)習(xí)包提供了更加高層的算法支持［5-6］。

Torch 由Facebook 公司開發(fā)，提供了一個(gè)非常豐富的社區(qū)驅(qū)動(dòng)算法庫，涉及領(lǐng)域包括機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、信號(hào)處理、并行運(yùn)算、圖像、音頻、視頻和計(jì)算機(jī)網(wǎng)絡(luò)。Torch采用了LuaJIT 語言編寫，它繼承了LuaJIT 語言優(yōu)勢(shì)，包括極高的運(yùn)行速度、靈活的跨平臺(tái)特性、良好的可讀性［7］。它支持神經(jīng)網(wǎng)絡(luò)，而且其深度學(xué)習(xí)模塊運(yùn)算效率非常高。通過使用Torch 深度學(xué)習(xí)模塊構(gòu)造的CNN（卷積神經(jīng)網(wǎng)絡(luò)），比普通CNN 快23.5 倍［8］。

TensorFlow 由谷歌開發(fā)，其命名來源于自身運(yùn)行原理，Tensor 意為張量，F(xiàn)low 是流的意思［9］。它是基于DistBelief研發(fā)的機(jī)器學(xué)習(xí)工具，提供了一種數(shù)據(jù)驅(qū)動(dòng)的流式計(jì)算框架，采用了一種基于數(shù)據(jù)流的運(yùn)算模型。一個(gè)TensorFlow的計(jì)算可以描述為一個(gè)有向圖，圖由節(jié)點(diǎn)和邊構(gòu)成。每一個(gè)節(jié)點(diǎn)可以有零個(gè)或者多個(gè)輸入和零個(gè)或者多個(gè)輸出，它們代表某一種操作，在不同節(jié)點(diǎn)之間邊上流動(dòng)的數(shù)據(jù)就是Tensor［10］。

與Torch 相比，TensorFlow 的平臺(tái)兼容性更加強(qiáng)大，它還提供了異構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)以便將不同設(shè)備包含在同一個(gè)任務(wù)中。TensorFlow 強(qiáng)大的跨平臺(tái)功能正是源于它的流式計(jì)算結(jié)構(gòu)。在TensorFlow 中，節(jié)點(diǎn)之間通過統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)Tensor 進(jìn)行信息交互，從而屏蔽了不同節(jié)點(diǎn)之間的差異性。

1.2 基于數(shù)據(jù)并行的分布式計(jì)算機(jī)器學(xué)習(xí)工具

大數(shù)據(jù)時(shí)代的一個(gè)特點(diǎn)是數(shù)據(jù)規(guī)模變得越來越大，為了獲得有效信息，用戶需要構(gòu)建的大規(guī)模模型往往無法在一臺(tái)電腦上完成訓(xùn)練［11］。于是，分布式計(jì)算平臺(tái)被提上日程，即將數(shù)據(jù)分割成小份發(fā)送到每一個(gè)工作節(jié)點(diǎn)上加以處理，它較好地滿足了大數(shù)據(jù)背景下的大規(guī)模運(yùn)算。目前，主流的分布式計(jì)算平臺(tái)，如Hadoop、Spark 等，都是基于數(shù)據(jù)并行的分布式計(jì)算平臺(tái)［12］。但是，進(jìn)行大規(guī)模的模型訓(xùn)練即使在分布式環(huán)境下依然是一個(gè)非常困難的問題。

Mahout 是Hadoop 分布式計(jì)算平臺(tái)上的一個(gè)機(jī)器學(xué)習(xí)工具，為了幫助開發(fā)人員更加方便快捷地在Hadoop 上進(jìn)行分布式數(shù)據(jù)挖掘任務(wù)，它采用Map-reduce 的方式將很多傳統(tǒng)單機(jī)上的經(jīng)典算法在分布式環(huán)境下實(shí)現(xiàn)［13］。同時(shí)，在Spark 分布式計(jì)算平臺(tái)上也存在一個(gè)與之對(duì)應(yīng)的機(jī)器學(xué)習(xí)工具M(jìn)lLib。針對(duì)Spark 平臺(tái)的特性，MlLib 提供了兩個(gè)不同的算法庫：Spark.mllib 和Spark.ml。Spark.mllib 提供了面向RDD 的原始算法，而spark.ml 則提供了面向DataFrames的機(jī)器學(xué)習(xí)算法。Spark 對(duì)兩個(gè)庫都進(jìn)行維護(hù)，以支持用戶的不同需求，但是，鑒于Spark 對(duì)DataFrame 的算法優(yōu)化，使用DataFrames 會(huì)是一個(gè)更好的選擇［14］。

由IBM 公司開發(fā)的SystemML 更加傾向于創(chuàng)造一個(gè)靈活、可伸縮的機(jī)器學(xué)習(xí)工具，希望為用戶提供一個(gè)工具，使他們編寫的程序可以在各種分布式計(jì)算平臺(tái)上運(yùn)行［15］。為此，SystemML 提供了兩種高層次的編程語言，類R 的腳本語言DML 和類Python 的腳本語言PyDML，使用這兩種語言編寫的程序可以完全無修改地在各種平臺(tái)上運(yùn)行，包括Hadoop 分布式平臺(tái)和Spark 分布式平臺(tái)。此外，System?ML 還會(huì)對(duì)這兩種語言編寫的算法進(jìn)行自動(dòng)優(yōu)化，通過數(shù)據(jù)和集群性能以保證高效性和可伸縮性。

SystemML 同樣提供了支持各種機(jī)器學(xué)習(xí)算法的工具包，以幫助用戶編寫程序。除在DML 或PyDml 中調(diào)用這些工具包外，SystemMl 還提供了Java 語言和Scala 語言的API 接口以方便用戶編程。

1.3 基于模型并行的分布式機(jī)器學(xué)習(xí)工具

與基于數(shù)據(jù)并行的分布式計(jì)算不同，基于模型的并行計(jì)算框架除將數(shù)據(jù)分割分發(fā)給工作節(jié)點(diǎn)外，還會(huì)將模型參數(shù)發(fā)放給每一個(gè)工作節(jié)點(diǎn)進(jìn)行訓(xùn)練，這種方式更適合進(jìn)行機(jī)器學(xué)習(xí)模型訓(xùn)練。

Petuum 是一個(gè)基于模型同步的分布式機(jī)器學(xué)習(xí)框架，它致力于提供一個(gè)超大型機(jī)器學(xué)習(xí)的系統(tǒng)接口及通用算法［16］。同時(shí)，它也會(huì)根據(jù)數(shù)據(jù)統(tǒng)計(jì)相關(guān)性，通過優(yōu)化模型訓(xùn)練算法提升模型訓(xùn)練速度。

微軟的分布式機(jī)器學(xué)習(xí)框架DMTK 則更加關(guān)注分布式計(jì)算框架的計(jì)算性能，它可以在很少的機(jī)器集群上訓(xùn)練出超大規(guī)模的模型［17］。目前，微軟在DMTK 實(shí)現(xiàn)了3 個(gè)算法：LightLDA［18］、分布式詞向量［19］、多義的分布式詞向量［20］。借助DMTK 分布式框架，LightLDA 可以僅僅使用8臺(tái)計(jì)算機(jī)組成的集群，在2 千億訓(xùn)練樣本的數(shù)據(jù)集上訓(xùn)練具有1 百萬詞匯表和1 百萬個(gè)話題的LDA 模型，而這項(xiàng)工作在以往實(shí)驗(yàn)中通常要用上千臺(tái)計(jì)算機(jī)的集群才能夠運(yùn)行。

DMTk 分布式框架由參數(shù)服務(wù)器和客戶端服務(wù)程序兩部分組成。與傳統(tǒng)參數(shù)服務(wù)器相比，DMTK 中的參數(shù)服務(wù)器有一個(gè)很大優(yōu)勢(shì)是，它允許存儲(chǔ)異構(gòu)參數(shù)模型，即高頻參數(shù)和低頻參數(shù)分開存儲(chǔ)，以達(dá)到更好的服務(wù)器負(fù)載。

DMTK 的客戶端服務(wù)程序運(yùn)行在各工作節(jié)點(diǎn)上。在參數(shù)同步時(shí)，DMTK 的客戶端服務(wù)程序?yàn)楣ぷ鞴?jié)點(diǎn)添加緩存功能，極大減少通信開銷。它還會(huì)在訓(xùn)練程序和模型之間建立高速通道，以提高通信速度。對(duì)于DMTK 最重要的機(jī)制是，DMTK 采用一種Round-robin 的調(diào)度方式，工作節(jié)點(diǎn)只有在需要時(shí)才會(huì)從服務(wù)器上下載部分參數(shù)，正是由于這項(xiàng)改進(jìn)才使得DMTK 可以在非常有限的資源上訓(xùn)練超大規(guī)模的模型。

1.4 基于圖并行的機(jī)器學(xué)習(xí)工具

基于圖并行的機(jī)器學(xué)習(xí)框架是為了解決大規(guī)模數(shù)據(jù)下傳統(tǒng)Map-reduce 分布式計(jì)算框架不適合機(jī)器學(xué)習(xí)迭代式運(yùn)行特點(diǎn)而提出的，在解決機(jī)器學(xué)習(xí)領(lǐng)域的問題時(shí)，它具有更高的效率。但是這種分布式計(jì)算框架需要使用者能夠?qū)C(jī)器模型抽象成圖模型的結(jié)構(gòu)。

GraphLab 是GraphLab 實(shí)驗(yàn)室開發(fā)的一款基于圖并行的分布式機(jī)器學(xué)習(xí)框架，其并行的核心思想是對(duì)頂點(diǎn)的切分［21］。在GraphLab 中，頂點(diǎn)是最小并行粒度和通信粒度，對(duì)于某一個(gè)頂點(diǎn)，GraphLab 將其部署到多臺(tái)機(jī)器上，其中一臺(tái)作為master 節(jié)點(diǎn)，其余機(jī)器作為mirror 節(jié)點(diǎn)，master 是管理者節(jié)點(diǎn)，會(huì)給每一個(gè)mirror 安排具體計(jì)算任務(wù)，mirror作為代理執(zhí)行者需要與master 的數(shù)據(jù)保持同步［22］。而對(duì)于某一條邊，則只會(huì)被部署到一臺(tái)機(jī)器上，通過對(duì)每一條邊所關(guān)聯(lián)的頂點(diǎn)進(jìn)行多份存儲(chǔ)以保持模型完整性。這種方式可以解決圖模型邊上數(shù)據(jù)量大的問題。

通過將數(shù)據(jù)抽象成Graph 結(jié)構(gòu)，GraphLab 將算法執(zhí)行過程抽象成Gather、Apply、Scatter 3 個(gè)步驟。在Gather 階段，工作頂點(diǎn)的邊從臨界頂點(diǎn)和自身收集數(shù)據(jù)；在Apply 階段，Mirror 會(huì)將Gather 計(jì)算結(jié)果發(fā)送給Master 頂點(diǎn)；在Scatter 階段，Mater 節(jié)點(diǎn)更新邊上的數(shù)據(jù)并通知對(duì)其有依賴的臨界頂點(diǎn)更新狀態(tài)。

2 商業(yè)化機(jī)器學(xué)習(xí)工具

商業(yè)軟件是在計(jì)算機(jī)軟件中被作為商品進(jìn)行交易的軟件，與開源軟件相比，商業(yè)軟件更加注重用戶體驗(yàn)，大部分商業(yè)軟件還會(huì)配備比較完善的技術(shù)支持。

2.1 IBM SPSS Modeler

IBM 公司出產(chǎn)的IBM SPSS Modeler 是一款商用的機(jī)器學(xué)習(xí)工具，其設(shè)計(jì)思想是用盡量簡單的方式進(jìn)行數(shù)據(jù)挖掘，盡可能屏蔽數(shù)據(jù)挖掘算法的復(fù)雜性及軟件操作的繁瑣性，使數(shù)據(jù)挖掘分析員在解決商業(yè)問題時(shí)，能夠較好地繞開軟件操作本身，將更多精力放在先進(jìn)數(shù)據(jù)挖掘技術(shù)使用上［23］。

SPSS Modeler 提供了一個(gè)易于操作的拖拽式圖形用戶界面，用戶不需要編寫任何代碼就可以完成自己的數(shù)據(jù)挖掘任務(wù)。開源機(jī)器學(xué)習(xí)工具Weka 也提供了類似的圖形操作界面，但是相比而言，IBM SPSS Modeler 的界面更加簡潔，用戶不需太多數(shù)據(jù)挖掘知識(shí)即可讀懂每一個(gè)控件的功能［24］。通常，對(duì)于數(shù)據(jù)挖掘任務(wù)而言，數(shù)據(jù)準(zhǔn)備是一項(xiàng)繁瑣工作，SPSS Modeler 則通過數(shù)據(jù)準(zhǔn)備節(jié)點(diǎn)幫助用戶自動(dòng)準(zhǔn)備數(shù)據(jù)。

SPSS Modeler 還提供了一個(gè)與之配套的程序SPSS Modeler Server 以支持用戶完成大數(shù)據(jù)集上的訓(xùn)練。SPSS Modeler Server 運(yùn)行在服務(wù)器端，以分布式模式為用戶提供支持服務(wù)。大數(shù)據(jù)集下的內(nèi)存密集型操作可以在服務(wù)器端快速執(zhí)行，并將結(jié)果下載到客戶端，因而可以加快運(yùn)行速度。目前，SPSS Modeler 依然無法支持超大規(guī)模數(shù)據(jù)的數(shù)據(jù)挖掘任務(wù)。

2.2 SAS

SAS 全稱是Statistics Analysis System，它是一個(gè)用來管理數(shù)據(jù)、分析數(shù)據(jù)和編寫報(bào)告的大型集成應(yīng)用軟件系統(tǒng)，目前已經(jīng)被廣泛應(yīng)用于政府行政管理、科研、教育、生產(chǎn)和金融等不同領(lǐng)域［25］。作為一款商用的數(shù)據(jù)挖掘工具，SAS與IBM SPSS Modeler 的定位完全不同，它的目標(biāo)用戶是具有數(shù)據(jù)分析知識(shí)的專業(yè)用戶，因此其操作主要以SAS 語言編程為主，雖然SAS 也提供非編程方式的菜單系統(tǒng)，但人機(jī)對(duì)話界面并不友好。

SAS 提供了當(dāng)今流行的主要統(tǒng)計(jì)分析方法，包括多元分析、回歸分析、方差分析、非參數(shù)分析、生存分析、聚類分析、判別分析和心理測(cè)量分析等［26］。

SAS 提供多種語句及選項(xiàng)供用戶靈活使用，以滿足用戶不同的功能需求。同時(shí)，SAS 也具有良好的跨平臺(tái)特性，它可以在多種計(jì)算機(jī)和操作系統(tǒng)上運(yùn)行，最新版本的SAS也可以支持Hadoop 分布式計(jì)算平臺(tái)。

2.3 云平臺(tái)上的機(jī)器學(xué)習(xí)工具

云平臺(tái)上的機(jī)器學(xué)習(xí)工具將其部署在云端，以出售計(jì)算的形式供用戶使用。這種商業(yè)模式無疑是一種大膽創(chuàng)新，但是具體效果還需等待市場考驗(yàn)。

由百度公司開發(fā)的BML 是一種部署在云端的機(jī)器學(xué)習(xí)工具，通過BML，用戶無須關(guān)心具體算法細(xì)節(jié)，也無需進(jìn)行計(jì)算平臺(tái)配置，只需要上傳數(shù)據(jù)，選擇計(jì)算模型即可自動(dòng)完成模型訓(xùn)練，但是BML 并不支持用戶自定義方法［27］。微軟的Azure ML［28］和阿里巴巴的御膳房［29］也提供了一個(gè)類似的云端機(jī)器學(xué)習(xí)工具，除Azure ML 提供拖拽式操作外，用戶還可使用Python 語言進(jìn)行更加靈活的操作，但是用戶用腳本語言編寫的程序無法在Azure ML 上并行運(yùn)行。

數(shù)據(jù)處理模型的局限性是云平臺(tái)上機(jī)器學(xué)習(xí)工具的一大共性特點(diǎn)。目前，基于云平臺(tái)機(jī)器學(xué)習(xí)工具的新型商業(yè)模式正處于起步階段，其將在不斷的發(fā)展和完善中，為用戶提供更好的體驗(yàn)。

3 結(jié)語

大數(shù)據(jù)時(shí)代，由于數(shù)據(jù)規(guī)模較大且數(shù)據(jù)復(fù)雜多樣，傳統(tǒng)機(jī)器學(xué)習(xí)在數(shù)據(jù)價(jià)值深度挖掘上都面臨巨大挑戰(zhàn)，而大規(guī)模機(jī)器學(xué)習(xí)技術(shù)的產(chǎn)生，為人們提供了一個(gè)在海量數(shù)據(jù)中挖掘價(jià)值的有效方法。大量開源或者商用的面向大數(shù)據(jù)的機(jī)器學(xué)習(xí)工具，為人們使用這些新技術(shù)提供了便利。目前，國內(nèi)外各種機(jī)器學(xué)習(xí)工具特點(diǎn)不同，適用領(lǐng)域也不同。從小數(shù)據(jù)集上的數(shù)據(jù)挖掘任務(wù)，到大數(shù)據(jù)集下的服務(wù)器端數(shù)據(jù)挖掘任務(wù)，再到超大規(guī)模大數(shù)據(jù)下的機(jī)器學(xué)習(xí)任務(wù)，機(jī)器學(xué)習(xí)算法在不斷進(jìn)步，機(jī)器學(xué)習(xí)工具也在不斷完善。

無論是工業(yè)界還是學(xué)術(shù)界，研究機(jī)器學(xué)習(xí)的最終目的都是為了方便人類，機(jī)器學(xué)習(xí)工具可以降低機(jī)器學(xué)習(xí)使用門檻，促進(jìn)機(jī)器學(xué)習(xí)算法普及。未來，機(jī)器學(xué)習(xí)工具也會(huì)向著更加全面和更加易用的方向發(fā)展，必將呈現(xiàn)以下功能特點(diǎn)：面向更廣泛更普通的用戶群體、具備良好可視化功能、操作界面簡潔直觀、對(duì)常用機(jī)器學(xué)習(xí)算法兼容性強(qiáng)、能夠與企業(yè)自身大數(shù)據(jù)分析無縫銜接、便于生產(chǎn)環(huán)境建設(shè)和升級(jí)維護(hù)等。