梁桂才，巫耀中

（1.廣西機電職業(yè)技術學院，廣西 南寧 530007；2.上海榕湖投資管理有限公司，上海 200122）

十多年來，高性能計算（HPC）程序員和研究人員采用了一種新的計算范式，該范式結合了兩種架構：具有強大和通用核心的多核處理器和多核加速器，例如圖形處理單元（GPU），具有大量的簡單核，在加速算法具有高度的數(shù)據(jù)并行性，在這方面很有優(yōu)勢。盡管核數(shù)量不斷增加，多核處理器設計仍然旨在通過使用復雜的控制邏輯和大的緩存內存來減少順序程序中的延遲。相反，GPU試圖通過數(shù)千個簡單內核和高內存帶寬架構來提高并行應用程序的執(zhí)行吞吐量。GPU在云計算中的作用非常重要。包括亞馬孫和阿里巴巴在內的大多數(shù)頂級云服務提供商已經將GPU資源引入到他們的基礎設施即時服務解決方案中。這些GPU資源通常以整個物理GPU的粒度提供給每個客戶端。然而，在許多實際情況下，一小部分物理GPU就足以完成渲染任務，這導致了資源利用不足的問題。提出了GPU虛擬化技術（例如，API重定向和中介傳遞）來解決資源利用率不足的問題。然而，這些技術只關注本地主機。瘦客戶端架構的出現(xiàn)，允許人們通過互聯(lián)網(wǎng)享受硬件加速器和GPU虛擬化技術，以擴大用戶范圍。然而，現(xiàn)有的框架傾向于將所有的工作負載歸因于服務器端，讓客戶別無選擇。受API重定向技術啟發(fā)設計的一個新的框架，云邊緣集成，似乎解決了這一限制。

隨著AI技術的發(fā)展，AI運算迫切需要大規(guī)模的并行計算。隨著圖形處理單元GPU的出現(xiàn)使得并行計算算力得到很快提高。2006年，英偉達的集成架構CUDA誕生了。GPU迅速從單一圖形處理發(fā)展成為具有AI運算的算力資源。圖形處理單元（GPGPU）上通用計算的快速發(fā)展極大地簡化了GPU編程。在這種環(huán)境下，越來越多的應用程序嘗試使用GPU強大的并行計算能力來得出結果。在并行計算方面GPU相比CPU有明顯的優(yōu)勢，無論是在算力還是內存帶寬、功耗和成本方面。GPU的結構不同，它使用大量晶體管作為ALU計算單元，而CPU主要是做邏輯運算，它使用的晶體管作為復雜的控制單元和緩存來優(yōu)化串行代碼。GPU專注于大量、快速、低延遲地實施特定操作。21世紀以來，很多大型集群系統(tǒng)都采用了CPU+GPU異構計算模型，這代表CPU+GPU異構計算模型向大數(shù)據(jù)計算領域發(fā)展。

1 GPU虛擬化方法

1.1 API 重定向

API重定向首先作為一種GPU虛擬化技術而出現(xiàn)，重點是提高GPU利用率的問題。與其他技術不同，包括與特定硬件緊密耦合的中介傳遞，A PI重定向技術可以在不需要硬件支持的情況下存在。因此，A PI重定向系統(tǒng)具有健壯的可伸縮性。隨著GPGPU設計的成熟，GPU的功能不再局限于圖形加速。因此，遠程API重定向系統(tǒng)不僅關注轉發(fā)渲染命令，而且還關注與GPGPU相關的命令。

當談到API重定向技術時，它們可以分為兩類：本地機器上的本地API重定向系統(tǒng)和將用戶區(qū)域從本地主機擴展到云的遠程API重定向系統(tǒng)。由于遠程API重定向技術要求服務器和客戶機之間的合作，我們稱之為云邊緣集成框架。在下面的部分中，我們將簡要描述這兩種技術之間的差異、本地技術的局限性和遠程技術的獨特優(yōu)勢。本地API重定向系統(tǒng)（例如SRIOV6、7和共享渲染）將每臺服務器上的隔離單元（虛擬機或容器）作為客戶機。盡管這種技術增加了GPU的利用率，但將所有功能歸因于服務器端會給服務器機器帶來很大的壓力。此外，多個應用程序之間的資源共享加劇了服務器端的壓力。因此，遠程API重定向系統(tǒng)似乎解決了這個問題。

1.2 硬件輔助虛擬化

以前的虛擬機因為GPU異構化和供應商鎖定，不能直接使用主機的 GPU，若要使用就必須通過設備仿真來實現(xiàn) GPU 并行運算的基本功能。Younge等人使用PCI直通技術和SHOC基準測試評估了XenVM基礎設施的性能。作者發(fā)現(xiàn)，在最壞的情況下，在支持開普勒K20mgpu的虛擬機中，只有1.2%的性能損失，而API遠程方法會產生高達40%的性能開銷。在最近的研究中，他們使用SR-IOV的PCI傳遞評估了虛擬化集群中的HPC工作負載。SR-IOV是一種硬件輔助的網(wǎng)絡虛擬化技術，它在虛擬機內提供10 Gbps連接的近本地帶寬。GPUDirect通過支持無限波段互連上的GPU之間的直接RDMA，降低了跨GPU的數(shù)據(jù)傳輸開銷。為了進行評估，他們使用了兩種分子動力學（MD）應用程序。作者觀察到，使用MPI和CUDA的MD應用程序可以在接近本地的性能下運行，而LAMMPS和HOOMD的管理率分別僅為1.9%和1.5%。

現(xiàn)在有些商業(yè)云直連將GPU部署到云平臺。但是只是保證了與本地設備的GPU能被虛擬機調度使用，它不適合共享。多用戶在云計算場景、專業(yè)化方面，GPU的利用率低，在執(zhí)行計算能力不足的任務時浪費計算資源，沒有所需的維護和監(jiān)控，不支持虛擬機等高級功能。

1.3 全GPU虛擬化

設備仿真方式只能仿真簡單的硬件，性能較差。API 重定向可以實現(xiàn)接近本機硬件的性能，但需要更改主機 VM 庫。該設備的直接方法提供了出色的性能，但被廣泛共享。最近的完整GPU虛擬化提案結合了上述解決方案，以提供對訪客VM使用情況的完全透明。這種方法對寄存器等硬件上下文信息使用軟件仿真，允許直接連接的硬件設備在上下文切換后充分利用 GPU。完全的GPU虛擬化意味著您可以使用GPU 而無須更改虛擬機驅動程序，即無縫。全 GPU虛擬化比共享直連設備要好得多，但同時，它不需要對主機 VM的驅動程序進行任何修改，并且在性能上遠優(yōu)于設備仿真。這是有史以來最好的 GPU虛擬化解決方案?？滋锏热颂岢隽薵Virt來實現(xiàn)完全虛擬化的 GPU 圖像渲染解決方案并進一步優(yōu)化系統(tǒng)，并提出了gHyvi和gScale。在通用計算領域，YusukeSuzuki 等人提出了一個vm GPU系統(tǒng)，它通過修改一個完全虛擬化的VMM來實現(xiàn)一個GPU。gVirt 的示意圖如圖1所示。

圖1 gVirt框架結構示意圖

在通用計算中，GPUvm的全GPU虛擬化實現(xiàn)得更充分，更改僅在 Xen中進行。與 gVirt一樣，GPUvm使用 GPU幻像頁表機制來隔離視頻內存。每個虛擬機訪問自己的虛擬機。另外，CPU和GPU之間發(fā)送命令的隊列是虛擬化的，這意味著每個虛擬機都有自己的隊列結構，當虛擬機發(fā)生更改時，命令隊列也會相應更改。GPUvm使用寬帶支持，非搶占式調度算法允許您在虛擬機之間平衡 GPU。

2 GPU資源池

目前，因為GPU異構化和供應商鎖定，集群中的GPU資源結構復雜多樣，群集的GPU有多個品牌、多種架構，它們的處理能力又各同樣，節(jié)點上的GPU數(shù)量也很不統(tǒng)一。怎么樣才能在這些差異化資源上實現(xiàn)調度任務、資源負載均衡、系統(tǒng)資源充分利用，是一個GPU資源池化亟待解決的問題。如果像CPU虛擬化一樣，GPU虛擬化也可以實現(xiàn)對CPU資源進行集中高效的管理，然后再進行動態(tài)分配。但是CPU天生就容易實現(xiàn)虛擬化，面GPU卻不容易實現(xiàn)，所以真正高效的GPU虛擬化管理系統(tǒng)遲遲沒有出現(xiàn)。為了實現(xiàn)GPU資源池動態(tài)管理、動態(tài)分配，滿足不同資源需求，應實現(xiàn)軟硬件解耦和GPU資源共享的目標。

GPU資源池在虛擬化服務層維護多個GPU計算資源，并將不同品牌、不同型號、不同速率的物理GPU計算資源化整為0，統(tǒng)一管理動態(tài)分配。根據(jù)虛擬機客戶端的需求，將不同的計算資源池化并動態(tài)分配，實現(xiàn)GPU硬件資源的“分離、分區(qū)、整合”。圖2為gRemote的詳細架構圖，該框架利用了API重新定向技術，在資源調動整合方面有著很大的優(yōu)勢。

圖2 gRemote框架示意圖

隔離性體現(xiàn)在提供給虛擬機客戶端的GPU計算資源不能相互影響，即使是在同一個物理GPU上。GPU資源池會實時更新服務器的UPG資源的使用狀態(tài)，實時同步虛擬機客戶端的虛擬GPU的使用情況，某一虛擬機沒有釋放GPU之前不能再使用該資源，避免虛擬機之間的相互干擾。在虛擬機客戶機上，都有自己獨立的GPU資源，但GPU資源池會動態(tài)地被分配給各個虛擬機，因為通常每一個虛擬機的使用率都不會太高，據(jù)不完全統(tǒng)計，使用率在20%左右，這樣使得GPU資源池的資源可以超分。虛擬機上有自己完整的GPU資源。這種拆分體現(xiàn)在提供給虛擬機客戶端的GPU是GPU資源池中實際物理硬件的一個子集。虛擬機根據(jù)用戶的需要，實時分配GPU，動態(tài)劃分物理GPU資源空間，提供相應的資源給虛擬機客戶端。在GPU資源池端，將服務線程動態(tài)分配給不同的客戶端，實現(xiàn)GPU資源共享，多個虛擬機客戶端共享單個圖形卡并允許使用多個圖形卡。這種融合體現(xiàn)了傳統(tǒng)的硬盤池和內存池技術，可以將多個物理GPU資源映射到單個虛擬GPU，合理分配GPU資源給虛擬機客戶端，也可以將一個物理GPU資源映射到多個虛擬機使用。GPU資源池是資源提供者角色，虛擬機客戶端是資源使用者角色，GPU資源池維護兩端的角色，中間件消耗池中的GPU資源，并將其提供給虛擬客戶端。GPU資源池跨越整個虛擬集群。隨著GPU資源加入虛擬集群，由GPU資源池監(jiān)控，統(tǒng)一調度。從集群中移動GPU資源時，資源池及其子對象中的資源不可用。GPU虛擬資源池以資源分配、占用、釋放、回收模式運行，而不是分配銷毀模式。GPU資源池不僅可以靈活擴展以滿足用戶需求，還具有統(tǒng)一動態(tài)監(jiān)控調度和分配的能力。這樣可以實現(xiàn)資源的快速分配或回收，根據(jù)系統(tǒng)需求靈活執(zhí)行調度功能，動態(tài)調整GPU資源。

3 結束語

在過去的幾年中，異構計算作為一種新的計算范式獲得了廣泛的關注，它有潛力為HPC和云平臺提供更高的性能、更高的資源利用率和更低的運營成本。在云數(shù)據(jù)計算中，GPU虛擬化是在多個用戶之間有效共享GPU設備的關鍵技術。本文對GPU虛擬化技術及其調度方法的研究工作進行了深入的研究，通過對GPU虛擬化的代表性研究，介紹了該領域的關鍵研究貢獻，這些研究包括API重定向和全虛擬化以及硬件輔助虛擬化；此外還討論了在異構云計算中實現(xiàn)公平有效的GPU共享的GPU調度方法；最后提出了一些未來的研究方向，并推進GPU虛擬化的實踐狀態(tài)?！?/p>