近日,騰訊在大數(shù)據(jù)技術峰會上宣布推出第三代高性能機器的學習計算平臺 Angel,將于 2017 年全面開源。
騰訊面對快速增長的數(shù)據(jù)挖掘需求,開發(fā)了面向機器學習、能應對超大規(guī)模數(shù)據(jù)集和高性能的計算框架,并且對用戶足夠友好,具有很低的使用門檻。開源的Angel是開放騰訊 18 年來的海量大數(shù)據(jù)處理經驗和先進技術,通過連接一切資源,激發(fā)更多創(chuàng)意,可以讓平臺逐步轉化成有價值的生態(tài)系統(tǒng),讓企業(yè)運營更有效、產品更智能、用戶體驗更好。
Angel 是騰訊的第三代計算平臺,使用 Java 和 Scala 語言開發(fā),面向機器學習的高性能分布式計算框架,由騰訊與香港科技大學、北京大學聯(lián)合研發(fā)。
Angel采用參數(shù)服務器架構,解決了上一代框架的擴展性問題,支持數(shù)據(jù)并行及模型并行的計算模式,能支持十億級別維度的模型訓練。
Angel 還采用了多種業(yè)界最新技術和騰訊自主研發(fā)技術,如 SSP、異步分布式 SGD、多線程參數(shù)共享模式 HogWild、網絡帶寬流量調度算法、計算和網絡請求流水化、參數(shù)更新索引和訓練數(shù)據(jù)預處理方案等。這些技術使 Angel 性能大幅提高,達到常見開源系統(tǒng) Spark 的數(shù)倍到數(shù)十倍,能在千萬到十億級的特征維度條件下運行。
在系統(tǒng)易用性上,Angel 提供豐富的機器學習算法庫及高度抽象的編程接口、數(shù)據(jù)計算和模型劃分的自動方案及參數(shù)自適應配置,用戶能像使用 MR、Spark 一樣在 Angel 上編程,建設了拖拽式的一體化的開發(fā)運營門戶,屏蔽底層系統(tǒng)細節(jié),降低用戶使用門檻。另外,Angel 還支持深度學習,它支持 Caffe、TensorFlow 和 Torch 等業(yè)界主流的深度學習框架,為其提供計算加速。 (陳曲)