亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        人工智能模型訓(xùn)練中的加速芯片調(diào)度效果優(yōu)化實踐

        2020-07-06 03:39:35張致江吳婷于振華潘青華
        中國新通信 2020年3期
        關(guān)鍵詞:人工智能

        張致江 吳婷 于振華 潘青華

        摘要:針對研究和生產(chǎn)中模型訓(xùn)練集群中異構(gòu)、同構(gòu)的NPU調(diào)度效率問題,提出4種調(diào)度策略;經(jīng)過在科大訊飛實際生產(chǎn)實踐,可以有效提高調(diào)度效果,提升NPU資源的利用率。

        關(guān)鍵詞:人工智能;NPU;并行策略

        引言

        自 1956 年人工智能概念被提出之后,人工智能技術(shù)因算法收斂、計算機計算力的問題,經(jīng)歷幾次波峰波谷式迭代發(fā)展。近幾年經(jīng)過不同領(lǐng)域科學(xué)家的堅持研究,如 BP 算法提出、高性能計算芯片的研發(fā)成功,促進(jìn)了人工智能技術(shù)飛速發(fā)展?,F(xiàn)在,人工智能技術(shù)在語音語言、圖像視頻、自然語言理解等方向上有重大突破,并在醫(yī)療、教育、工業(yè)制造等領(lǐng)域取得了顯著的成績。

        人工智能技術(shù)是模型驅(qū)動型技術(shù),利用模型和輸入的參數(shù)進(jìn)行計算從而實現(xiàn)語音語言、圖像視頻、自然語言理解的任務(wù)。在研究和生產(chǎn)實踐過程中,有兩個重要的過程;其一、進(jìn)行人工智能模型的訓(xùn)練,其二、使用模型進(jìn)行生產(chǎn)實踐。訓(xùn)練過程需要很大的計算量,常規(guī)的CPU難以高效率的完成訓(xùn)練任務(wù),例如1萬小時的語音數(shù)據(jù)訓(xùn)練如果使用一顆常規(guī)的CPU需要1個月時間;為此,學(xué)術(shù)界和工業(yè)界都是使用專門的加速芯片(統(tǒng)稱NPU)進(jìn)行模型的計算訓(xùn)練;1萬小時的語音數(shù)據(jù)訓(xùn)練,使用專用的GPU進(jìn)行計算,只需要半天時間。所以,使用NPU進(jìn)行模型訓(xùn)練是必須的選擇。在大規(guī)模的研究和生產(chǎn)實踐中,提升加速芯片調(diào)度效率非常重要。

        一、同構(gòu)加速芯片調(diào)度優(yōu)化

        (一)同構(gòu)芯片

        如圖中所示,模型訓(xùn)練程序面向加速芯片的運行時驅(qū)動進(jìn)行編程;運行時驅(qū)動調(diào)用物理芯片進(jìn)行實際計算。隨著物理芯片工藝制程提升以及芯片微架構(gòu)的演進(jìn),芯片廠商在不同階段會生產(chǎn)出使用方式不同的物理芯片。運行時驅(qū)動可以屏蔽不同時期的芯片的使用方式的差異。使用統(tǒng)一運行時API的不同物理芯片稱為同構(gòu)芯片,如Nvidia公司的Tesla K40、Tesla M40、Tesla P40、Tesla V100等;對于同構(gòu)芯片,可以使用同一套代碼編譯的程序。

        (二)調(diào)度策略

        策略一,按照任務(wù)需要芯片數(shù)量分組。因服務(wù)器制造工藝的水平,現(xiàn)在一臺服務(wù)器有支持4顆NPU、8顆NPU兩種規(guī)格;考慮到計算與傳輸平衡的問題,訓(xùn)練有使用1顆NPU進(jìn)行計算的單芯片程序,有使用4顆、8顆、16顆NPU進(jìn)行計算的多芯片程序。本文提出按照單芯片程序和多芯片程序的應(yīng)用場景,將NPU集群中的服務(wù)器分成兩個組即單芯片程序運行組和多芯片程序運行組。同時,規(guī)范單芯片程序只能運行在單芯片程序運行組中。

        策略二,常規(guī)和預(yù)留分組策略。在實際研究和生產(chǎn)過程中,研究和生產(chǎn)活動有輕重緩急;人工智能訓(xùn)練任務(wù)是數(shù)據(jù)密集型任務(wù),一次訓(xùn)練需要很長的時間進(jìn)行訓(xùn)練。如果不能處理好緊急任務(wù)和常規(guī)任務(wù),那么緊急任務(wù)的需求很難滿足。在這種情況下,設(shè)置常規(guī)運行組和預(yù)留應(yīng)急運行組,以滿足不同緊急度的任務(wù)需求。

        二、異構(gòu)加速芯片聯(lián)合調(diào)度優(yōu)化

        (一)并行計算

        著研究和生產(chǎn)推進(jìn),人工智能模型訓(xùn)練的數(shù)據(jù)越來越多、模型結(jié)構(gòu)越來越復(fù)雜,導(dǎo)致計算量越來越大,單芯片很難滿足研究和生產(chǎn)的需要。為了加快計算時間,提升研究和生產(chǎn)的效率,采用并行計算策略非常重要。并行計算策略有2種具體的方案,即數(shù)據(jù)并行和模型并行。數(shù)據(jù)并行即將訓(xùn)練數(shù)據(jù)分布在不同的NPU上計算,最后匯總不同NPU上的模型計算結(jié)果;模型并行即將模型計算的不同部分分布在不同的NPU上進(jìn)行計算,最后直接輸出計算好的模型。

        (二)調(diào)度優(yōu)化

        其一,異構(gòu)芯片各自計算不同數(shù)據(jù)。訓(xùn)練服務(wù)器集群在建設(shè)的過程中,會存在不同廠商的NPU芯片的情況。如圖1所示,訓(xùn)練程序針對不同廠商的運行時驅(qū)動進(jìn)行適配編譯,即可運行在不同的廠商的硬件芯片上。這種情況下,可以采用數(shù)據(jù)并行的策略。需要注意兩點:第一,不同芯片運行的程序的二進(jìn)制文件不同,注意做好調(diào)度;其二,不同芯片計算性能不同,注意針對不同的芯片分配不同的計算數(shù)據(jù)。

        其二,異構(gòu)芯片分別計算模型不同部分。隨著研究的深入,人工智能模型結(jié)構(gòu)越來越復(fù)雜、模型的規(guī)模越來越大;NPU芯片因“加速性能-存儲性能”的平衡考慮,NPU集成存儲的可用空間有時不能滿足實際研究和生產(chǎn)的需要。這種情況下,可以將模型的不同計算部分拆分成不同的計算程序運行在不同的計算部件上。如,在自然語言理解的模型上,大部分情況下模型最后一層參數(shù)非常龐大,這一層存儲在內(nèi)存中,使用CPU進(jìn)行計算;即,使用CPU和NPU協(xié)同進(jìn)行模型的計算。

        三、結(jié)語

        人工智能實際應(yīng)用給社會帶了翻天覆地的變化;可被采集的大規(guī)模有效數(shù)據(jù)和高性能的計算芯片出現(xiàn),推動了人工智能技術(shù)的演進(jìn)。與此同時,帶了實際研究和生產(chǎn)中計算資源調(diào)度復(fù)雜度的挑戰(zhàn)。本文闡述了在同構(gòu)、異構(gòu)的NPU場景下,不同復(fù)雜度的模型訓(xùn)練任務(wù)的調(diào)度優(yōu)化策略;經(jīng)過在科大訊飛公司的實際實踐,能提升實際研究和生產(chǎn)的計算資源的綜合使用效率。

        猜你喜歡
        人工智能
        我校新增“人工智能”本科專業(yè)
        用“小AI”解決人工智能的“大”煩惱
        汽車零部件(2020年3期)2020-03-27 05:30:20
        當(dāng)人工智能遇見再制造
        2019:人工智能
        商界(2019年12期)2019-01-03 06:59:05
        AI人工智能解疑答問
        人工智能與就業(yè)
        基于人工智能的電力系統(tǒng)自動化控制
        人工智能,來了
        數(shù)讀人工智能
        小康(2017年16期)2017-06-07 09:00:59
        人工智能來了
        人妻少妇精品中文字幕av蜜桃| 青青草手机在线观看视频在线观看 | 综合久久一区二区三区| 日本一二三区在线观看视频| 精品少妇一区二区三区免费观| 香色肉欲色综合| 免费高清视频在线观看视频| 精品在线观看一区二区视频| 精品国产性色无码av网站| 学生妹亚洲一区二区| 精品久久久无码不卡| 亚洲不卡一区二区视频| 国产成+人+综合+亚洲欧美丁香花| 国产成人无码aⅴ片在线观看| 国产免费一区二区av| 91精品久久久老熟女91精品| 激情综合丁香五月| 日本成人久久| 日韩人妻免费一区二区三区| 四虎永久在线精品免费一区二区 | 国产毛片黄片一区二区三区| 永久免费看啪啪网址入口| 亚洲欧美日韩一区二区在线观看| 人妻少妇中文字幕专区| 初尝人妻少妇中文字幕| 久久国产精品久久精品国产| 亚洲国产精品免费一区| 亚洲高清在线免费视频| 成人综合婷婷国产精品久久蜜臀| 国产精品每日更新在线观看| 美女丝袜诱惑在线播放蜜桃| 欧美亚洲日本国产综合在线美利坚| 国产思思99re99在线观看| 日本二区三区视频免费观看| 国产精品亚洲专区无码不卡| 一区二区传媒有限公司| 四虎无码精品a∨在线观看| 日本a级免费大片网站| 色橹橹欧美在线观看视频高清| 欧美精品aaa久久久影院| 精品精品国产三级av在线|