郭濤
RDMA(遠(yuǎn)程直接內(nèi)存訪問(wèn))編程高手一展身手的機(jī)會(huì)又來(lái)了。5月3日,HPC Adisory Council(國(guó)際高性能計(jì)算咨詢委員會(huì))宣布,面向全球大學(xué)生的第五屆RDMA編程挑戰(zhàn)賽即日啟動(dòng)。
從2013年首次舉辦到現(xiàn)在,大賽已經(jīng)連續(xù)第5年舉辦,吸引了越來(lái)越多來(lái)自全球高校的學(xué)生組隊(duì)參加。從首屆比賽的20余支參賽隊(duì)到2016年超過(guò)百支隊(duì)伍參賽,大賽在國(guó)內(nèi)甚至全球范圍內(nèi)聲譽(yù)日隆,受到了國(guó)內(nèi)外相關(guān)領(lǐng)域的專家和企業(yè)的關(guān)注。
大賽發(fā)起人——HPC Adisory Council亞太區(qū)主席劉通介紹說(shuō):“在往屆比賽中,作為頒獎(jiǎng)嘉賓的國(guó)外知名大學(xué)的教授,在頒獎(jiǎng)現(xiàn)場(chǎng)就直接向獲獎(jiǎng)的大學(xué)生發(fā)出邀請(qǐng),希望他們能到國(guó)外繼續(xù)深造。另外,一些獲獎(jiǎng)的學(xué)校還在大賽后接下了許多RDMA的編程項(xiàng)目”。
作為一種先進(jìn)的網(wǎng)絡(luò)數(shù)據(jù)傳輸方式,RDMA技術(shù)除了在高性能計(jì)算領(lǐng)域得到廣泛應(yīng)用以外,近幾年還在人工智能、云計(jì)算、大數(shù)據(jù)和高頻交易等領(lǐng)域引起強(qiáng)烈關(guān)注。與傳統(tǒng)的網(wǎng)絡(luò)相比,RDMA可以更加顯著地提升應(yīng)用的效率。因?yàn)樗试S網(wǎng)絡(luò)中的計(jì)算機(jī)直接從內(nèi)存里交換數(shù)據(jù),而不涉及任何一臺(tái)計(jì)算機(jī)的處理器、高速緩存或操作系統(tǒng)。
在網(wǎng)絡(luò)中,傳統(tǒng)的TCP/IP的通信能力受到極大限制。而在高性能計(jì)算領(lǐng)域,RDMA一直倍受青睞?,F(xiàn)在,隨著云計(jì)算、大數(shù)據(jù)、人工智能的興起,海量數(shù)據(jù)的處理、快速的網(wǎng)絡(luò)傳輸已經(jīng)成了用戶的必然需求。RDMA的應(yīng)用也從高性能計(jì)算領(lǐng)域逐漸向更多需要高速傳輸?shù)念I(lǐng)域拓展。劉通表示,如今,RDMA已經(jīng)是一種在行業(yè)中普遍使用的標(biāo)準(zhǔn)化的技術(shù),而不再是陽(yáng)春白雪。NVIDIA的深度學(xué)習(xí)一體機(jī)支持RDMA,Mellanox可以提供支持RDMA的成熟網(wǎng)絡(luò)設(shè)備,書生云超融合一體機(jī)未來(lái)的發(fā)展方向也是利用RDMA突破TCP/IP的瓶頸。
如今在中國(guó)十分火爆的人工智能、深度學(xué)習(xí)成了RDMA新的用武之地。為了追求更高的效率和傳輸性能,越來(lái)越多的人工智能、深度學(xué)習(xí)軟件平臺(tái)開始向RDMA移植。RDMA編程大賽也與時(shí)俱進(jìn),去年大賽的題目就是TensorFlow在RDMA上的優(yōu)化。
TensorFlow是谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)。TensorFlow是將復(fù)雜的數(shù)據(jù)結(jié)構(gòu)傳輸至人工智能神經(jīng)網(wǎng)中進(jìn)行分析和處理的系統(tǒng)。TensorFlow可被用于語(yǔ)音識(shí)別或圖像識(shí)別等多項(xiàng)機(jī)器深度學(xué)習(xí)領(lǐng)域。TensorFlow完全開源,任何人都可以使用。
今年,大賽將繼續(xù)關(guān)注人工智能這一熱點(diǎn),將另一款有發(fā)展?jié)摿Φ娜斯ぶ悄苘浖﨧XNET的RDMA優(yōu)化作為題目。
劉通表示:“人工智能已呈現(xiàn)出強(qiáng)勁的發(fā)展勢(shì)頭,如何利用高性能計(jì)算推動(dòng)人工智能的發(fā)展是近年來(lái)業(yè)界聚焦的熱點(diǎn)。本屆大賽的競(jìng)賽題目將緊貼世界超算產(chǎn)業(yè)的發(fā)展趨勢(shì),重點(diǎn)圍繞人工智能、深度學(xué)習(xí)的理論框架、實(shí)踐模型與未來(lái)發(fā)展趨勢(shì)展開,強(qiáng)調(diào)賽題與實(shí)際應(yīng)用相結(jié)合”。
本次大賽由HPC Adisory Council主辦,獲得了美國(guó)阿貢國(guó)家實(shí)驗(yàn)室、圣地亞哥超算中心、中國(guó)高性能計(jì)算專業(yè)委員會(huì)、China Grid等單位和組織的支持,京東、科大訊飛、曠視科技、Mellanox、NVIDIA、商湯科技等廠商也表示將為大賽提供各種支持。比如,京東承諾,將其自有的機(jī)器學(xué)習(xí)平臺(tái)開放給參賽的學(xué)生使用。
大賽除了推動(dòng)RDMA技術(shù)的開發(fā)和應(yīng)用以外,還是一個(gè)選拔RDMA相關(guān)技術(shù)人才的重要平臺(tái)和渠道,不僅為學(xué)生擇業(yè)提供了幫助,也為企業(yè)培養(yǎng)和儲(chǔ)備了大量專業(yè)人才。
有高性能計(jì)算領(lǐng)域的專家指出,多年以前,在大學(xué)時(shí)學(xué)習(xí)高性能計(jì)算、GPU等技術(shù)的學(xué)生畢業(yè)時(shí)很難找到對(duì)口的工作。但是現(xiàn)在情況已經(jīng)改變,云計(jì)算、大數(shù)據(jù)、人工智能等領(lǐng)域的人才緊缺。RDMA編程大賽可以發(fā)現(xiàn)和輸出更多相關(guān)的專業(yè)人才。
來(lái)自阿里的專家表示,人工智能的發(fā)展需要具有綜合素質(zhì)的專業(yè)人才,他們不僅要了解深度學(xué)習(xí)的框架,以及建模和訓(xùn)練,更要掌握相關(guān)領(lǐng)域的基礎(chǔ)知識(shí),包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、算法等,要深入本質(zhì),而不要浮于表面。
本次大賽從即日啟動(dòng),10月舉行頒獎(jiǎng)典禮,歷時(shí)5個(gè)月左右。為了鼓勵(lì)參賽選手,本次大賽還增設(shè)了特等獎(jiǎng)一名,資金為5萬(wàn)元。大賽主辦方希望今年有更多院校參賽,不斷提升大賽的影響力。