王盈
云上的大數(shù)據(jù)、機器學習,將是未來的發(fā)展方向。用機器學習的大腦、大數(shù)據(jù)的計算輪子、云的動態(tài)分配引擎,三者結(jié)合就實現(xiàn)了云上的大數(shù)據(jù)機器學習。
根據(jù)IDC發(fā)布的《中國公有云市場數(shù)據(jù)追蹤報告》,2016年上半年,中國公有云IaaS市場前三名為阿里云、騰訊云和金山云,其中金山云的市場占有率為5.5%,較2015年下半年提升1.2%,收入同比增長率連續(xù)超過100%。目前,金山云不僅是國內(nèi)領(lǐng)先的云計算和OpenStack廠商,也是國內(nèi)首家提供混合云部署方案的云企業(yè)。
近年,云計算的普及為大數(shù)據(jù)的深度應用提供了堅實的基礎(chǔ),大數(shù)據(jù)對企業(yè)決策的重要程度不斷上升,云計算和大數(shù)據(jù)為人工智能(AI)的突飛猛進提供了最重要的雙輪驅(qū)動力。金山云大數(shù)據(jù)和AI技術(shù)總監(jiān)張東進透露,金山云已將云服務(wù)和數(shù)據(jù)分析能力大規(guī)模應用于人工智能領(lǐng)域作為戰(zhàn)略目標。
日前,金山云和英特爾正式對外公布了結(jié)合雙方技術(shù)優(yōu)勢打造的、基于英特爾架構(gòu)的金山云托管Hadoop(KingsoftMapReduce,簡稱KMR)數(shù)據(jù)分析平臺,同期首次公布其深度學習平臺KDL,可謂雙劍合璧,在云計算、大數(shù)據(jù)、人工智能領(lǐng)域齊發(fā)力。目前這兩個產(chǎn)品已進入公測階段,不久將進入商用階段。
金山云正大力布局人工智能
“云上的大數(shù)據(jù)、機器學習,將是未來的發(fā)展方向”。在張東進看來,云、大數(shù)據(jù)、機器學習雖然都不是新的概念,但結(jié)合在一起就很新?!皺C器學習提供的是算法,大數(shù)據(jù)提供的是并行計算和分布式存儲,云提供的是動態(tài)配置。用機器學習大腦、大數(shù)據(jù)計算輪子、云動態(tài)分配引擎,三者結(jié)合就實現(xiàn)了云上的大數(shù)據(jù)機器學習。”張東進解釋道。
張東進表示,金山云將云的發(fā)展分為云計算、大數(shù)據(jù)、人工智能三個階段。當下,我們將進入讓數(shù)據(jù)產(chǎn)生智能的人工智能階段。據(jù)研究機構(gòu)預測,2020年全球的人工智能市場將達到50億美元,2025年將達到350億美元。
金山云在人工智能應用領(lǐng)域不僅有為用戶深度構(gòu)建云計算解決方案的豐富經(jīng)驗,還有國內(nèi)最大的商用存儲平臺,該平臺在數(shù)據(jù)分析領(lǐng)域頗有建樹?;谶@些優(yōu)勢,金山云正大力布局人工智能。張東進表示:“金山云將與廣大科研院所及合作伙伴一起構(gòu)建金山云的人工智能解決方案,包括為AI研發(fā)提供基礎(chǔ)性支持的底層基礎(chǔ)平臺;為行業(yè)提供基礎(chǔ)的視覺、聽覺、自然語言、VR/AR等技術(shù)能力的SaaS方案;深入研究醫(yī)療、金融、交通、物聯(lián)網(wǎng)等重大行業(yè),為合作伙伴提供上層行業(yè)解決方案?!?/p>
KMR讓電商大促無憂
KMR正是金山云在數(shù)據(jù)分析領(lǐng)域邁出的重要一步。金山云技術(shù)產(chǎn)品部高級產(chǎn)品經(jīng)理楊亮介紹說,KMR采用了英特爾至強E5系列處理器家族的硬件平臺,以Apache Hadoop和Apache Spark數(shù)據(jù)計算系統(tǒng)為基礎(chǔ),集成了常用的大數(shù)據(jù)分析組件,通過自動調(diào)度彈性計算服務(wù)(KEC),幫助企業(yè)用戶快速構(gòu)建分布式數(shù)據(jù)分析系統(tǒng)。KMR還能與金山云的多種云服務(wù)產(chǎn)品結(jié)合,從而建立端到端的數(shù)據(jù)分析處理解決方案,讓企業(yè)用戶以更低廉的成本獲得更可靠的數(shù)據(jù),更靈活方便地對數(shù)據(jù)進行收集和管理。
為行業(yè)客戶提供高性能、易部署的大數(shù)據(jù)云處理平臺,是KMR的重要價值和競爭力所在。楊亮介紹說:“KMR具備四大優(yōu)勢。一是完全托管,集群分鐘級快速部署;二是性能優(yōu)化,大數(shù)據(jù)分析即時響應;三是生態(tài)豐富,云服務(wù)產(chǎn)品深度整合;四是彈性伸縮,企業(yè)TCO有效減負”。
目前,KMR已被電商、游戲等行業(yè)的10多家客戶采用。例如擁有幾十大類、數(shù)百萬種商品的當當網(wǎng)。每逢“雙十一”等大促時段,當當網(wǎng)的IT資源面臨非常大的壓力,還需要快速、及時地處理大量的用戶歷史數(shù)據(jù)。采用金山云KMR服務(wù)后,能快速創(chuàng)建Storm和Kafka集群,搭建實時數(shù)據(jù)處理系統(tǒng),根據(jù)業(yè)務(wù)需求靈活調(diào)整資源配置,有效保證了促銷期間IT系統(tǒng)的穩(wěn)定運行,大幅減少了系統(tǒng)維護成本。
KDL將深度助力企業(yè)擁抱AI
張東進坦言:“當大家真的去做人工智能,會發(fā)現(xiàn)人工智能其實并沒有那么簡單?!倍鹕皆迫斯ぶ悄苤芬嗍桥G斬棘終坦途。
“KDL可以深度助力企業(yè)擁抱AI?!睆垨|進解釋說,“KDL是一個機器學習、深度學習任務(wù)托管平臺,底層基于金山云高性能異構(gòu)計算集群,融合了英特爾等合作伙伴的技術(shù),能從容應對成本、效率、安全、性能方面的挑戰(zhàn)?!?/p>
成本一直是壓在AI公司頭上的一座大山。以某知名AI公司為例:“該公司共400人,做系統(tǒng)架構(gòu)的約100人,這部分人一年的工資就高達幾千萬元,相當于一輪的融資?!睆垨|進強調(diào),金山云可以幫助企業(yè)節(jié)省這部分高昂的隱性成本:“第一,KDL會按實際的運營時間收費;第二,可以隨意伸縮,沒有閑置成本;第三,可以省去系統(tǒng)研發(fā)和維護成本”。
在效率方面,“我們是一個全功能的深度學習集成環(huán)境,集成了英特爾的BigDL、谷歌的TensorFlow等框架,底層基于英特爾等合作伙伴的庫做深度的優(yōu)化。KDL是全流程的平臺,在物料的預處理、存儲、訓練、評估、上線預測等方面都提供完整的支持。”張東進介紹說。
在安全方面,金山云提供企業(yè)級數(shù)據(jù)加密和企業(yè)級HPC集群,為客戶提供最安全、最穩(wěn)定的環(huán)境。他強調(diào)道:“KDL應該是業(yè)內(nèi)首家能做到分鐘級的自動恢復。人工智能的一個訓練任務(wù)可能長達一周至半個月,如果中斷就需要重新計算。金山云平臺則沒有這個問題”。
在性能方面,“KDL為客戶帶來的價值在于,底層是基于成熟的異構(gòu)計算集群,包括英特爾提供的高性能E5系列的CPU,以及GPU、FPGA的計算平臺,輔以金山云的萬兆網(wǎng)卡和英特爾SSD技術(shù),可以確保用戶獲得高性能的HPC計算集群”,張東進如是說。
十年前,當云計算概念剛出來時,許多科技公司都將信將疑。十年后,云已暢行天下,政府部門、企業(yè)都在積極地擁抱云。因而,當許多人質(zhì)疑大數(shù)據(jù)和人工智能時,誰又知道它會以怎樣的速度發(fā)展。
科技對于世界的顛覆,不管你信不信,希望與否,它都將發(fā)生,讓人大跌眼鏡?!霸粕系拇髷?shù)據(jù)、機器學習”技術(shù)創(chuàng)新與探索,定將加速推動中國企業(yè)的轉(zhuǎn)型升級,真正邁入智能的“互聯(lián)網(wǎng)+”時代。