亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        框架,助力新一代認知智能

        2020-11-28 02:18:36曾凱
        軟件和集成電路 2020年8期
        關鍵詞:引擎挑戰(zhàn)深度

        什么叫圖神經(jīng)網(wǎng)絡,從名字可以看出這里有兩個概念。

        第一個概念是圖。圖是我們?nèi)粘I钪蟹浅F毡榈拇嬖冢话阄覀儠熏F(xiàn)實中的實體抽象成圖中的點,點和邊都有豐富的屬性信息。因為圖可以表示復雜的關系,所以圖蘊含了巨大的價值。

        第二個概念是神經(jīng)網(wǎng)絡,更準確的說是深度神經(jīng)網(wǎng)絡。深度神經(jīng)網(wǎng)絡是深度學習背后的核心技術,并且在我們的生產(chǎn)生活中得到了廣泛的應用。

        圖神經(jīng)網(wǎng)絡就是將圖和深度神經(jīng)網(wǎng)絡這兩個概念結(jié)合起來,通過把圖中的元素映射到低維度空間中以便于處理我們用深度神經(jīng)網(wǎng)絡挖掘出的潛在價值。

        最近幾年,圖神經(jīng)網(wǎng)絡得到了學術界和工業(yè)界的廣泛關注,但相比傳統(tǒng)的深度學習,圖神經(jīng)網(wǎng)絡的開發(fā)和學習有更大的挑戰(zhàn),挑戰(zhàn)主要來自于三個方面。

        挑戰(zhàn)一是數(shù)據(jù)的復雜性,圖數(shù)據(jù)有非結(jié)構(gòu)化、異構(gòu)、稀疏性的特點,其特點給圖神經(jīng)網(wǎng)絡提出了更高的挑戰(zhàn)。

        挑戰(zhàn)二是圖數(shù)據(jù)規(guī)模巨大,用傳統(tǒng)機器學習的樣本處理方式非常容易造成樣本指數(shù)級的膨脹,這對于想要大規(guī)模應用圖神經(jīng)網(wǎng)絡的企業(yè)來說是巨大的成本開銷。

        挑戰(zhàn)三是圖算子種類非常多,不能很好的與深度學習相結(jié)合,導致深度學習系統(tǒng)很難通過簡單擴展來無縫支持圖神經(jīng)網(wǎng)絡的操作。

        因此,需要得到圖神經(jīng)網(wǎng)絡一體化的解決方案,這個解決方案從三個層次上提出了需求。首先是數(shù)據(jù)層要能夠支持大規(guī)模異構(gòu)且?guī)в胸S富屬性的圖,并且可以方便對接多種數(shù)據(jù)源進行適配,抽象出簡單的數(shù)據(jù)接口供用戶使用。其次是計算層要可以引擎一體化,這樣用戶才可以方便的編寫圖和深度神經(jīng)網(wǎng)絡相結(jié)合的代碼,并保證計算的高效性。最后是在應用層,要針對不同業(yè)務場景構(gòu)建從圖數(shù)據(jù)到業(yè)務邏輯,中間不割裂的端到端的神經(jīng)網(wǎng)絡。

        Graph-Learn就是針對這三個層次的要求應運而生的,該平臺有三個顯著的特點。第一個特點是企業(yè)級,區(qū)別于學術框架,Graph-Learn系統(tǒng)從實際生產(chǎn)出發(fā),一開始就把解決數(shù)據(jù)復雜性作為目標,支持高達TB級別的圖數(shù)據(jù)。第二個特點就是端到端,Graph-Learn為用戶提供一體化簡潔的IBE,方便從原始數(shù)據(jù)構(gòu)建業(yè)務模型,省去中間鏈路,從而省去巨額的存儲和計算開銷。第三個特點是生產(chǎn)與研發(fā)相結(jié)合,Graph-Learn系統(tǒng)有非常良好的拓展性和優(yōu)異的性能,既可以適應GNN快速發(fā)展研究的節(jié)奏,又可以實現(xiàn)實際生產(chǎn)和應用相結(jié)合,推動GNN的探索落地。

        下面介紹一下Graph-Learn背后的系統(tǒng)架構(gòu)和核心技術。

        首先Graph-Learn提出我們自己的統(tǒng)一編程范式,包含了四個步驟。第一個步驟是采樣,指從大的圖中采樣,做到數(shù)據(jù)對齊,從而便于后面神經(jīng)網(wǎng)絡對它的處理。第二個步驟是把采樣的頂點和邊的屬性信息向量化,以便于后面的處理。第三個步驟,我們把向量化信息技術聚合,聚合所產(chǎn)生的向量信息在第四個步驟中跟中心節(jié)點信息相互整合,從而輸出中心節(jié)點向量化的表示。

        其次,為了支持編程范式,Graph-Learn提出一體化的系統(tǒng),該系統(tǒng)包括兩部分。第一部分的圖引擎是分布式服務,提供了對大規(guī)模異構(gòu)以及帶有豐富屬性圖的層次,同時,圖引擎自帶容錯,可以保持穩(wěn)定,具備高效性能。第二部分是Tensor引擎作為用戶訪問圖數(shù)據(jù)接口,在神經(jīng)網(wǎng)絡部分,用戶可以充分與現(xiàn)有主流的系統(tǒng)相互對接,與圖引擎接口一起,開發(fā)面向業(yè)務的模型。

        再者,在對圖引擎進行優(yōu)化的層面,我們?yōu)榱思铀賵D構(gòu)建過程的效率,整個圖引擎框架從主體、解析到構(gòu)成都實現(xiàn)了數(shù)據(jù)流水線方式,充分利用了CPU和計算力。比如說為了加速多效采樣過程,減少多效采樣中的通信,我們采取了多效反映機制,基于觀察我們定義了頂點重要性的定義,實現(xiàn)采樣效率成倍的提升。

        最后,我們在圖引擎下層打造了統(tǒng)一的高性能和自適應數(shù)據(jù)通信層,利用異步并發(fā)集合通信的數(shù)據(jù),同步模型在數(shù)據(jù)層上,打造了智能化的控制層,可以實現(xiàn)梯度自動監(jiān)控和自動伸縮等功能。

        目前,這些優(yōu)化是Graph-Learn表現(xiàn)突出的性能,Graph-Learn已經(jīng)在阿里內(nèi)部進行了廣泛部署,有很多成功的案例。Graph-Learn平均每天可以節(jié)省300TB存儲,萬CPU的算力,可以實現(xiàn)在兩分鐘之內(nèi)構(gòu)建百億級別規(guī)模,并把延遲縮短到十毫秒級別。這些性能極大地縮短了經(jīng)營算法的開發(fā)周期,將之前以周為單位的開發(fā)周期縮短了80%。我們已經(jīng)在Graph-Learn系統(tǒng)上支持了各種各樣的算法,Graph-Learn已經(jīng)應用在很多場景中,比如淘寶推薦、搜索、反作弊、網(wǎng)絡安全等。

        今后,我們希望Graph-Learn的發(fā)展會基于算法驅(qū)動來對性能進行精益求精的優(yōu)化,我們會在系統(tǒng)延展性、生態(tài)多樣性上發(fā)力,希望大家能加入我們,跟我們一起打造開源生態(tài)。

        猜你喜歡
        引擎挑戰(zhàn)深度
        深度理解一元一次方程
        深度觀察
        深度觀察
        深度觀察
        藍谷: “涉藍”新引擎
        商周刊(2017年22期)2017-11-09 05:08:31
        嘰咕樂挑戰(zhàn)
        嘰咕樂挑戰(zhàn)
        嘰咕樂挑戰(zhàn)
        無形的引擎
        河南電力(2015年5期)2015-06-08 06:01:46
        基于Cocos2d引擎的PuzzleGame開發(fā)
        亚洲欧洲日产国码无码久久99| 伊人久久大香线蕉av五月| 乱老年女人伦免费视频| 韩国无码av片在线观看网站| 国产夫妻av| 人妻少妇精品视频中文字幕国语| 中文字幕34一区二区| 久久精品中文闷骚内射| 欧美成人一区二区三区在线观看| 最新欧美一级视频| 久久久精品少妇—二区| 日本污ww视频网站| 亚洲旡码a∨一区二区三区| 免费精品美女久久久久久久久久| 日韩成人高清不卡av| 亚洲国产果冻传媒av在线观看| 日本熟妇色xxxxx欧美老妇| 国内成人精品亚洲日本语音| 久久久国产精品首页免费| 夜夜高潮夜夜爽夜夜爱爱一区| 天堂8中文在线最新版在线| 91福利国产在线观一区二区| 国产激情视频在线观看首页| 亚洲国产精品无码aaa片| 亚洲国产av导航第一福利网| 亚洲先锋影院一区二区| 中文字幕日本av网站| 国产av无码国产av毛片| 亚洲av色无码乱码在线观看| 亚洲综合网一区二区三区| 亚洲第一黄色免费网站| 性无码免费一区二区三区在线| 欧美a视频在线观看| 亚洲最大视频一区二区三区| 国产香港明星裸体xxxx视频| 欧美mv日韩mv国产网站| 尤物蜜芽福利国产污在线观看 | 久久不见久久见www日本网| 三级4级全黄60分钟| AV熟妇导航网| 中文字幕午夜精品久久久|