百度和騰訊提供的兩個開源項目將專注于機器和深度學(xué)習(xí)的進步,其長期目標(biāo)是讓人工智能技術(shù)更容易使用,同時使用深度學(xué)習(xí)框架推進云服務(wù)。
騰訊的Angel項目是一個基于Apache Spark和YARN上的分布式機器學(xué)習(xí)平臺。百度的彈性深度學(xué)習(xí)(EDL)框架旨在允許云服務(wù)提供商使用深度學(xué)習(xí)工具構(gòu)建集群云產(chǎn)品。
百度稱EDL項目將使用其PaddlePaddle工具和TensorFlow來加速集群云服務(wù)部署。 EDL使用Kubernetes容器協(xié)調(diào)器作為集群控制器以及PaddlePaddle自動縮放器。 該組合將分布式作業(yè)的進程數(shù)量更改為群集中的空閑硬件資源,以及新的容錯架構(gòu)。
同時,騰訊的Angel項目是基于參數(shù)服務(wù)器設(shè)計,用于處理大規(guī)模機器學(xué)習(xí)問題。百度、谷歌和卡內(nèi)基梅隆大學(xué)的研究人員首次提出了分布式機器學(xué)習(xí)框架。該平臺運行在Spark和YARN上,能夠處理包括數(shù)十億參數(shù)在內(nèi)的高級機器學(xué)習(xí)模型,其性能與大數(shù)據(jù)相當(dāng)。
騰訊表示,Angel項目使用“開箱即用”的機器學(xué)習(xí)算法,從而消除了分析師和數(shù)據(jù)科學(xué)家編寫代碼的需要。(陳曲)