去年冬季，Graphcore正式發(fā)布Microsoft Azure上Graphcore智能處理單元（IPU）的預(yù)覽版。這是公有云領(lǐng)導(dǎo)供應(yīng)商首次提供Graphcore IPU，這些IPU從構(gòu)建之初便旨在支持下一代機器學(xué)習(xí)。這對Graphcore而言是具有里程碑意義的時刻，證明了其IPU硬件和Poplar?軟件棧的成熟性。

微軟和Graphcore已經(jīng)緊密合作了兩年多。在此期間，工程師Marc Tremblay領(lǐng)導(dǎo)的微軟團隊一直在開發(fā)的針對Azure系統(tǒng)并在IPU上提升高級機器視覺和自然語言處理（NLP）模型。Azure上的Graphcore IPU預(yù)覽版現(xiàn)已開放并供用戶注冊，而專注于突破NLP界限并在機器智能方面取得新突破的開發(fā)者可獲得優(yōu)先訪問權(quán)限。

Graphcore從零開始設(shè)計智能處理單元（IPU），旨在驅(qū)動機器智能領(lǐng)域的新突破。IPU和產(chǎn)品就緒的Poplar?軟件棧為開發(fā)人員提供了功能強大、高效、可擴展和高性能的解決方案，從而助力實現(xiàn)AI創(chuàng)新。通過加速更復(fù)雜的模型并開發(fā)全新的技術(shù)，客戶得以解決最困難的AI工作負(fù)載。

目前模型中最先進(jìn)的性能

微軟和Graphcore的開發(fā)人員使用BERT語言模型實現(xiàn)了最先進(jìn)的性能和準(zhǔn)確性，僅用一個IPU服務(wù)器系統(tǒng)和8個C2 IPU處理器PCIe卡就可以在56個小時內(nèi)訓(xùn)練BERT Base。對于BERT推理，應(yīng)用客戶發(fā)現(xiàn)吞吐量提高了3倍，延遲改善了20%以上，從而可以更快地交付結(jié)果。

該水平的語言理解性能對于搜索引擎提供更有用的查詢響應(yīng)以及對于文本和對話式AI應(yīng)用程序（如情感分析和需要人類水平理解能力的智能個人助手）至關(guān)重要。自然語言處理是人工智能的重要戰(zhàn)略領(lǐng)域，預(yù)計到2025年，僅針對自然語言處理的人工智能硬件市場規(guī)模就將達(dá)到150億美元。

“自然語言處理模型對于微軟來說至關(guān)重要——在Microsoft Azure上運行我們的內(nèi)部AI工作負(fù)載，以及服務(wù)我們的AI客戶?！蔽④浌続zure計算事業(yè)部副總裁Girish Bablani說：“與Graphcore在處理器方面的新合作能夠為我們的客戶帶來諸多裨益，Graphcore的產(chǎn)品擴展了Azure的能力，我們在此領(lǐng)域內(nèi)所做的努力是我們確保Azure仍然是AI最佳云的戰(zhàn)略的一部分?！?/p>

什么是IPU

智能處理單元（IPU）與當(dāng)今的CPU和GPU處理器完全不同。它是一種高度靈活、易于使用的并行處理器，完全從零設(shè)計，并能在目前用于訓(xùn)練和推理的機器智能模型上實現(xiàn)最先進(jìn)的性能。更重要的是，IPU的設(shè)計令實現(xiàn)新興機器智能工作負(fù)載成為可能。

GraphcoreIPU的獨特之處在于將整個機器學(xué)習(xí)知識模型保留在處理器內(nèi)部。一個服務(wù)器內(nèi)有16個與IPU-Link技術(shù)連接在一起的IPU處理器，這樣的IPU系統(tǒng)將擁有超過100,000個完全獨立的程序，所有程序都在機器智能知識模型上并行工作。我們正在將Graphcore技術(shù)推向更廣泛的客戶群體，期望能夠支持創(chuàng)新者在IPU上實現(xiàn)機器智能的下一個重大突破。

全軟件棧和框架支持

過去三年中，除了設(shè)計世界上最先進(jìn)的硅處理器，Graphcore還建立了世界上第一個專門為機器智能設(shè)計的圖形工具鏈——Poplar?軟件棧。

Poplar與TensorFlow和開放神經(jīng)網(wǎng)絡(luò)交換（ONNX）無縫集成，從而使開發(fā)人員可以使用其現(xiàn)有的機器智能開發(fā)工具和現(xiàn)有的機器學(xué)習(xí)模型。Graphcore還為ONNX提供了訓(xùn)練運行時（run?time），與ONNX各組織緊密合作，以將其納入ON?NX標(biāo)準(zhǔn)環(huán)境中。Graphcore已經(jīng)與許多領(lǐng)先的早期客戶和合作伙伴開展了一段時間的廣泛合作，以確保Poplar圖工具鏈的正常使用。

IPU使新的AI創(chuàng)新成為可能

除了為復(fù)雜AI模型（如BERT）提供最先進(jìn)的性能外，IPU還擅長加速新技術(shù)。IPU將開辟新的研究領(lǐng)域，幫助公司探索新技術(shù)，建立用更少的數(shù)據(jù)進(jìn)行訓(xùn)練更高效的機器學(xué)習(xí)系統(tǒng)。

歐洲搜索引擎Qwant是Graphcore IPU早期的客戶之一，Qwant憑借運行搭載下一代圖像識別模型ResNext的IPU，獲得高性能，同時降低延遲。Qwant首席執(zhí)行官埃里克·萊安德里（Eric Leandri）闡釋：“Qwant的研究團隊致力于AI的前沿技術(shù)，以便在用戶搜索查詢中快速提供最佳結(jié)果，同時確保結(jié)果是中立、公正和準(zhǔn)確的，這是一個很高的要求。我們每天僅圖像搜索就達(dá)到數(shù)百萬次。Qwant正在實施的最新AI創(chuàng)新之一是稱為ResNext的新型圖像識別模型，可以提高提供圖像搜索結(jié)果的準(zhǔn)確性和速度。我們一直與微軟和Graphcore緊密合作，在Azure中使用IPU處理器技術(shù)，并且在使用IPU上使用ResNext的圖像搜索功能中看到了顯著改變，即性能提高了3.5倍。Graphcore IPU在新的機器智能模型上具有巨大的創(chuàng)新潛力，我們正在研究這些方法來完善搜索，以便能夠準(zhǔn)確地提供客戶所需的結(jié)果?！?/p>

ResNext使用分組卷積和深度可分離卷積來大幅提高效率（準(zhǔn)確性及參數(shù)）。這涉及將卷積塊拆分為較小的可分離塊，以便IPU有效支持這些卷積塊。

為了更深入地了解針對組卷積和完全深度可分離卷積的硬件適用性，客戶工程團隊制定了一組微基準(zhǔn)測試，其中包括典型的卷積模塊。測試表明，IPU具有明顯的全面優(yōu)勢，分組卷積的吞吐量優(yōu)勢更高達(dá)77倍。

金融領(lǐng)域

Citadel高性能計算研發(fā)團隊負(fù)責(zé)人 Daniele Scarpazza 說：“在 Citadel，我們的一個重點是利用尖端技術(shù)來優(yōu)化一系列策略和資產(chǎn)類別的投資流程。我們相信不斷重新評估和改進(jìn)我們?yōu)橥顿Y團隊提供的技術(shù)可以幫助我們在競爭中保持領(lǐng)先地位。作為Graphcore早期合作伙伴之一，測試新處理器技術(shù)在業(yè)務(wù)中可能實現(xiàn)的應(yīng)用。Graphcore IPU是專為機器學(xué)習(xí)而設(shè)計的，其新穎的架構(gòu)已經(jīng)使我們能夠探索以前效率低下或根本不可能實現(xiàn)的新技術(shù)?！?/p>

機器人技術(shù)領(lǐng)域

“新的處理器技術(shù)將在不久的將來在空間AI和SLAM（同步定位和地圖構(gòu)建）的發(fā)展中發(fā)揮關(guān)鍵作用。我們很高興能夠在早期獲得Graphcore創(chuàng)新型新硬件的研究機會。完全通用的空間AI將需要圖形上的稀疏概率和幾何推理以及具有深層神經(jīng)網(wǎng)絡(luò)的計算。Graphcore對通信和計算同樣重視，創(chuàng)造了一種新的可擴展架構(gòu)，我們相信它具有低延遲和低功耗執(zhí)行所有這些算法的潛力?！眰惗氐蹏砉W(xué)院計算機系機器人視覺教授Andrew Davison教授說。

Graphcore IPU與戴爾易安信DSS 8440服務(wù)器

Graphcore與戴爾公司一起展示第一個IPU技術(shù)，該技術(shù)旨在滿足企業(yè)客戶構(gòu)建本地機器智能計算的需求，其中Dell EMC DSS 8440是一款采用Graphcore技術(shù)的機器學(xué)習(xí)服務(wù)器。該系統(tǒng)使用8個Graphcore C2 IPU處理器PCIe卡提供1.6Pet?aFlops的機器智能計算，每個卡有2個IPU處理器，所有卡都在標(biāo)準(zhǔn)4U機箱中與高速IPU-Link技術(shù)連接。