樸欽浩，楊華民，陳純毅

(長春理工大學計算機科學技術學院，吉林長春 130022)

1 研究的目的及意義

在圖形學實驗室中經(jīng)常需要并行渲染多個3D場景，但渲染時工具、語言、操作系統(tǒng)都不盡相同，同時單機的GPU渲染能力、內(nèi)存讀寫速度也限制了并行渲染的速度。隨著云計算中關鍵技術虛擬化的發(fā)展，如今在實現(xiàn)了CPU、內(nèi)存、存儲資源虛擬化的同時也實現(xiàn)了GPU的虛擬化。在這一背景下，本文通過分析當前GPU虛擬化技術的優(yōu)劣，找到能滿足需求的技術搭建面向3D圖形渲染任務的云平臺，使用戶可以在平臺服務器上創(chuàng)建多個虛擬機以完成安全的高效并行的3D圖形渲染任務。選擇虛擬化的云平臺是因為可以通過虛擬化將系統(tǒng)中的各種易構(gòu)硬件資源轉(zhuǎn)換成為靈活統(tǒng)一的虛擬資源，為渲染作相應支撐，使創(chuàng)建真實感圖形模型不需要受本地GPU計算能力、存儲空間、散熱、電量等問題的限制[1-2]。

2 研究背景及國內(nèi)外研究現(xiàn)狀

云計算作為新型計算模式，其最大特征是資源租用、應用托管、服務外包。在面對指數(shù)上漲的海量數(shù)據(jù)時，傳統(tǒng)的計算模式存在計算速度受限于內(nèi)核性能和個數(shù)以及待處理數(shù)據(jù)量受限于內(nèi)存和磁盤容量兩個問題[3]。對此可以通過共享資源和計算能力來解決在互聯(lián)網(wǎng)上出現(xiàn)的這兩個問題，IT界巨頭如谷歌、亞馬遜等提出了一種以數(shù)據(jù)為中心的新的商業(yè)計算模式以應對互聯(lián)網(wǎng)上各種媒體數(shù)據(jù)的快速增長[4]。它是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機各種終端和其它設備[5]。用戶不再需要了解“云”中基礎設施的細節(jié)，不需要用戶精通云計算的搭建、監(jiān)控、維護等，減少用戶的學習成本。云計算描述了一種基于互聯(lián)網(wǎng)的新的IT服務增加、使用和交付模式，通過互聯(lián)網(wǎng)和局域網(wǎng)來提供動態(tài)易擴展而且是虛擬化的資源[5]。因此，云計算的這種按需遠程提供計算量的技術完全符合了3D圖形繪制的要求。

在面向3D圖形渲染任務時VMware公司提出了一種新的解決方案VMware vSphere。VMware vSphere將應用程序和操作系統(tǒng)從底層硬件分離出來，其核心組件包括ESXi和vSphere Client兩個部分。其中，ESXi是安裝和運行在服務器裸機最底層的系統(tǒng)，其特點是在實現(xiàn)虛擬化基礎上最大程度降低配置要求和簡化部署。vSphere Client是遠程連接控制組件，vSphere 6.0版本之后舍棄了傳統(tǒng)的Client軟件，通過瀏覽器就可以直接遠程訪問vSphere Web Client登錄ESXi服務器，然后在服務器上進行各種操作，比如創(chuàng)建多個虛擬機,安裝不同的操作系統(tǒng)，分配內(nèi)存、硬盤、CPU、GPU、網(wǎng)絡等資源,監(jiān)控服務器運行情況及管理維護等操作。

3 面向3D圖形渲染任務的虛擬化技術

為了更好地渲染3D圖形還需要GPU虛擬化技術，通常使用虛擬桌面(VDI)的架構(gòu)，為了實現(xiàn)GPU的虛擬化應基于Horizon View。而Soft 3D、虛擬專用圖形加速器(vDGA)和虛擬共享圖形加速器(vSGA)三種虛擬化方式針對不同的渲染情況而使用不同的虛擬化方案，不同的方案虛擬化原理不盡相同且有各自的優(yōu)缺點[6]。

3.1 Soft 3D

Soft 3D是使用軟件模擬GPU的方法，使得ESXi主機中的虛擬機獲得處理3D圖形的能力，其計算性能并不優(yōu)秀。但是可以為那些只需要一般3D圖形處理能力的應用提供一個免費的替代方案，因此Soft 3D針對的是一般簡單性的3D圖形渲染任務。其優(yōu)點是只需要軟件模擬就可以實現(xiàn)，對硬件沒有要求且可以實現(xiàn)動態(tài)均衡，實現(xiàn)計算資源的虛擬化；其缺點是由于顯卡驅(qū)動問題，其對DirectX和OpenGL支持版本較低且兼容性有限。

3.2 vDGA

vDGA針對的是在進行通用并行計算時需要像在獨立物理機工作環(huán)境或者通用計算量較大的任務一樣。GPU硬件對ESXi和對登錄到該虛擬機的用戶都是透明的。與vSGA不同的是，vDGA中GPU只能用于一臺虛擬機而并不能和其他用戶共享，因此又叫做顯卡直通。vDGA結(jié)構(gòu)圖如圖1所示。

圖1 vDGA結(jié)構(gòu)圖

vDGA的優(yōu)點在于：由于GPU硬件對ESXi服務器可識別，就不需要在服務器上安裝顯卡供應商的驅(qū)動。在將顯卡分配給ESXi上的虛擬機后，在虛擬機上可安裝最新的顯卡驅(qū)動，因此對最新的DirectX和OpenGL完美兼容[7]。而且因其具有獨占性，通用計算能力強，適合復雜的3D場景繪制，不與其他用戶搶占并行計算資源，穩(wěn)定性較好。vDGA的缺點在于：由于虛擬機和GPU綁定，將不再具有支持ESXi原本支持的vMotion等功能。

3.3 vSGA

vSGA技術使GPU硬件對ESXi服務器透明，但對于虛擬機上的用戶不可見。它可以將GPU劃分給多個不同的虛擬機，并為每臺虛擬機配置可調(diào)節(jié)大小的顯存。而基于vSGA和Soft 3D顯示驅(qū)動程序的兼容性，在使用vSGA時若GPU資源已被占用還可以自動調(diào)節(jié)到Soft 3D，使安全性和GPU使用效率大大提高。vSGA結(jié)構(gòu)圖如圖2所示。

圖2 vSGA結(jié)構(gòu)圖

相對于只使用Soft 3D技術，vSGA技術可以完全將GPU物理資源劃分給多個不同的虛擬機。相對于vDGA技術，vSGA技術增加了可以使用GPU硬件的用戶數(shù)量；且由于可以自動轉(zhuǎn)換成Soft 3D模式，vSGA技術可以耗盡整個GPU而不用擔心虛擬機故障。但vSGA技術的缺點也很明顯，vSGA技術對普通GPU的支持性不佳，目前只支持NVDIA GRID K1/K2等專業(yè)虛擬GPU。

4 面向3D圖形渲染任務的平臺搭建

4.1 平臺的邏輯架構(gòu)設計

圖3 平臺的六層架構(gòu)

基于功能模塊化設計思想，本平臺的功能性架構(gòu)設計采用了分層的邏輯架構(gòu)[8](圖3)。

最底層物理資源層主要包括GPU設備、存儲設備、網(wǎng)絡設備、計算服務器等。這一層為整個平臺提供了基礎的運行環(huán)境。

Hypervisor也可稱為VMM(virtual machine monitor)，即虛擬機監(jiān)視器，是運行在硬件資源和操作系統(tǒng)之間的軟件層，其主要實現(xiàn)了多個操作系統(tǒng)和應用對硬件資源的共享，也是所有虛擬化技術的核心[9]，使多個操作系統(tǒng)和用戶共用服務器集群。Hypervisor根據(jù)設置在創(chuàng)建虛擬機或開機時為被操作的虛擬機分配CPU、內(nèi)存、網(wǎng)絡、磁盤并加載操作系統(tǒng)。

GPU虛擬層使用的是上文提到的Soft 3D、vSGA、vDGA三種面對不同用戶需求和GPU資源情況，實現(xiàn)在3D圖形渲染過程中GPU的虛擬化方案。

VM(virtual machine)是虛擬機，這一層負責用戶在使用平臺時的OS功能向下獲得GPU虛擬層，Hypervisor層虛擬化分配的資源向上對用戶透明，這也是用戶能接觸到的最底層。

平臺管理層包括資源管理、用戶管理、任務管理、安全管理四個方面。該層主要用來管理平臺包括虛擬機的各種資源，在滿足用戶需求的同時，資源可以被高效利用，并保障平臺的安全性。其中，資源管理就是對平臺中資源的管理、分配、使用、監(jiān)控等。任務管理就是對用戶提交的申請進行創(chuàng)建、調(diào)度、執(zhí)行、關閉等運行周期的管理。安全管理是從用戶訪問審查、用戶權(quán)限等方面保障平臺不受外來攻擊，避免用戶越權(quán)操作[10]。該層面向的是平臺管理者，對用戶不可見。

最上層用戶服務層和一般云平臺一樣，主要功能是為用戶提供服務的接口，提供了管理員和用戶的訪問入口。該層通過統(tǒng)一的Web Client接口對用戶提供標準化、規(guī)范化的Web Service服務，以及遠程訪問虛擬機、打開電源、關機等一系列在虛擬機上的操作。

4.2 平臺的物理架構(gòu)設計

在平臺的邏輯架構(gòu)基礎上，本研究設計的物理架構(gòu)(網(wǎng)絡結(jié)構(gòu)拓撲圖)如圖4所示。前端可以是任意物理機，比如筆記本、臺式機等，該架構(gòu)對硬件配置要求極低，即使進行3D圖形渲染任務也不會調(diào)用前端本身顯卡，對操作系統(tǒng)也沒有限定要求。所有前端和后端由交換機根據(jù)ARP映射表將數(shù)據(jù)包轉(zhuǎn)發(fā)到指定端口。后端ESXi上部署所有渲染任務需要的硬件及承載服務器上創(chuàng)建的各個虛擬機。

圖4 網(wǎng)絡結(jié)構(gòu)拓撲圖

用戶根據(jù)局域網(wǎng)IP地址直接訪問對應的HOST，管理者可以通過瀏覽器登錄VMware Web Client訪問ESXi管理整個平臺，包括監(jiān)控整個服務器的CPU、內(nèi)存、網(wǎng)絡、磁盤的使用情況；創(chuàng)建、刪除虛擬機、克隆虛擬機、調(diào)節(jié)虛擬機分配的資源；管理整個服務器的存儲網(wǎng)絡情況等，界面如圖5所示。

圖5 ESXi管理界面

5 實驗結(jié)果與性能分析

5.1 實驗環(huán)境

5.1.1 硬件環(huán)境

實驗中的后端節(jié)點是1臺配置Inter?CoreTMi5-4460 CPU(3.20 GHz)處理器、8 GB內(nèi)存和1 TB硬盤、NVIDIA Quadro K220 GPU的服務器；前段節(jié)點分別是1臺配置Inter?CoreTMi7-4700MQ CPU(2.4 GHz)處理器、8 GB內(nèi)存和1 TB硬盤、NVIDIA GeForce GT 755M GPU的筆記本；2臺配置Inter?CoreTMi5-4460 CPU(3.20 GHz)處理器、8 GB內(nèi)存和1 TB硬盤、NVIDIA Quadro K600 GPU的計算機；1臺配置Inter?CoreTMi5-4460 CPU(3.20 GHz)處理器、8 GB內(nèi)存和1 TB硬盤、NVIDIA Quadro K2000 GPU的計算機；華為S5700S-28P-LI-AC千兆以太網(wǎng)二層交換機。

5.1.2 軟件環(huán)境

后端操作系統(tǒng)為WMware ESXi 6.7.0；前端操作系統(tǒng)筆記本為Windows 7；3臺式機操作系統(tǒng)為Windows 10；渲染工具：Microsoft Visual Studio 2010上調(diào)用OpenGL。

5.2 實驗內(nèi)容

實驗運行的是基于G3D繪圖引擎的在三維空間加載模型方陣的程序，通過控制模型數(shù)量監(jiān)控渲染的幀率以及進行渲染任務時4臺虛擬機和主機的CPU、內(nèi)存、磁盤的讀寫等情況。前端為3臺臺式機和1臺筆記本，后端為5個運行ESXi服務器上Windows 10的虛擬機。

為了測試本文搭建的渲染平臺，通過控制渲染任務中的片元數(shù)量來改變場景的復雜程度。通過調(diào)節(jié)參數(shù)P控制3D場景中模型矩陣數(shù)量，渲染結(jié)果見圖6。測試目的：判斷前端是否可以在本文搭建的渲染平臺上遠程完成3D場景的渲染；獲得不同場景在不同虛擬機上渲染時間；監(jiān)控整個過程中CPU占用率、磁盤讀寫情況、內(nèi)存消耗情況，找出該平臺中對測試影響最大的服務器資源。

圖6 渲染的4個三維場景截圖

5.3 實驗結(jié)果與分析

在4臺ESXi服務器的虛擬機上同時渲染相同場景，獲得4個不同場景中虛擬機渲染的時間對比，如表1所示。根據(jù)4個虛擬機在場景1、場景2、場景3中數(shù)據(jù)波動幅度不大可以分析出，雖然前端物理機硬件條件不同，但并不影響服務器上的渲染效率。而在場景1、場景2、場景3中隨著面片數(shù)量的增加，渲染時間成比例增加；但在渲染場景4中，渲染時間的波動比較大且操作有卡頓現(xiàn)象。為探尋產(chǎn)生此現(xiàn)象的原因，需要監(jiān)控渲染場景4時ESXi服務器和各虛擬機的CPU占用率、磁盤讀寫情況、內(nèi)存消耗情況。

表1 不同場景在不同虛擬機上的渲染時間對比

根據(jù)圖7中CPU監(jiān)控情況可以分析出，在16∶41開機到16∶50運行的階段，CPU資源占用率有輕微波動且4個虛擬機差異不大；在16∶50分別開始繪制任務，4個曲線同步上升且CPU總占有率基本達到峰值。分析表1可以得出結(jié)論，4個虛擬機在CPU消耗較大的情況下占有率最大值和最小值差距不大，但不同虛擬機CPU的平均占有率不同，這是因為繪制任務是逐次開始的，渲染時間越長的CPU占用率越高，相反渲染場景時間短的CPU平均占有率就會低。

圖7 ESXi服務器上CPU占用率

服務器上內(nèi)存占用情況如圖8所示，相對于磁盤讀寫和CPU占用率，內(nèi)存占用較為平滑，從開機開始占有率持續(xù)升高，主機占有率達到上限。根據(jù)選擇的時間節(jié)點數(shù)據(jù)可知，各虛擬機占用內(nèi)存較為均衡且總消耗值達到服務器內(nèi)存上限，服務器內(nèi)存利用率達到100%。

圖8 ESXi服務器上內(nèi)存消耗情況

根據(jù)圖8所示，服務器上4臺虛擬機的磁盤讀寫波動曲線較為同步。4臺在服務器上的虛擬機在開機時和運行渲染程序開始時波動較大，特別是在渲染時突然出現(xiàn)波峰并且速率迅速下降的情況，這說明在進行渲染任務時除了一開始讀取硬盤中的代碼數(shù)據(jù)以外，接下來的渲染過程中只有很少的硬盤讀寫操作，結(jié)合上文5.3章節(jié)中內(nèi)存消耗情況可以得出，渲染占用內(nèi)存較多，對內(nèi)存依賴較大。圖7、圖8表明CPU及磁盤讀寫還未耗盡，并沒有限制虛擬機的運行和場景的繪制；而由圖9可以明顯看出，從3D繪制開始內(nèi)存消耗直接到達峰值，且主機內(nèi)存已全部消耗。結(jié)合繪制時虛擬機出現(xiàn)的操作卡頓現(xiàn)象，可以分析出這種情況產(chǎn)生的原因是：4個虛擬機運行的是完整的操作系統(tǒng)，特別是同時進行渲染時申請內(nèi)存的操作對服務器內(nèi)存需求較大。因此，針對圖形渲染任務，搭建平臺時需要重點考慮內(nèi)存資源，在成本固定的情況下優(yōu)先分配給內(nèi)存資源將有助于提高平臺的性能。

圖9 ESXi服務器上磁盤讀寫情況

6 結(jié)語

針對3D圖形渲染任務，本文使用GPU虛擬化技術基于VMware vSphere搭建了穩(wěn)定且功能強大的云平臺，對Soft 3D、vSGA、vDGA三種GPU虛擬化技術的原理和優(yōu)缺點進行分析。根據(jù)模塊化思想設計了6層邏輯結(jié)構(gòu)：硬件資源層、Hypervisor、GPU虛擬層、VM層、平臺管理層、用戶服務層。在此基礎上搭建該平臺，實現(xiàn)了管理者對資源、虛擬機、網(wǎng)絡和存儲的管理、監(jiān)控功能以及用戶遠程登錄虛擬機、完成并行3D圖形渲染任務的功能。在進行不同復雜度場景渲染任務多機測試后，本平臺成功地實現(xiàn)了設計目標。分析數(shù)據(jù)表明，該平臺在面對面片數(shù)極大的三維場景渲染效率方面有待提高，這是由于本平臺搭建硬件及Soft 3D技術的局限。下一步研究可以通過增加ESXi服務器GPU和內(nèi)存來支持使用vDGA完成高通用計算需求的任務。