夏松

日前，NVIDIA以在線媒體會的形式宣布對DLSS又進行了新一輪的支持游戲的更新。在此之前，NVIDIA的游戲黑科技DLSS已經(jīng)實現(xiàn)了對超過55款熱門游戲的支持，其中就包括《使命召喚：戰(zhàn)爭地帶>《控制》《賽博朋克2077》《堡壘之夜》《地鐵：離去PC增強版》《我的世界》等熱門主流3A級游戲大作。同時，從NVIDIA官方獲悉，接下來6月22日上線的《樂高建造者之旅》，6月29日更新的《毀滅戰(zhàn)士：永恒》和《荒野大鏢客：救贖2》，以及7月之后將發(fā)售的《腐蝕》《涅克洛蒙達：賞金獵人》《切爾諾貝利》等游戲中，都將添加對NVIDIA DLSS的支持。同時，NVIDIA也放出了針對這些游戲的DLSS性能測試，著實讓人期待！

主流游戲引擎全面支持，Linux玩家福利即將來到

說起DLSS，相信大家應(yīng)該不會陌生。作為NVIDIA伴隨RTX 20系光追GPU推出的游戲黑科技，DLSS這些年來可說是為高分辨率下的光追游戲得以流暢運行立下了汗馬功勞。作為當(dāng)今游戲業(yè)界最常用的幾個游戲引擎免費插件之_，DLSS在各類游戲引擎中都得到了充分的擴展，比如大名鼎鼎的虛幻引擎。

NVIDIA DLSS是業(yè)界最常用的游戲引擎的免費插件，今年2月推出的虛幻引擎4的DLSS插件，一直支持到虛幻引擎2021.2版本，后來在6月中旬，NVIDIA又推出了基于虛幻引擎5的DLSS插件，實現(xiàn)了對UE的全系DLSS支持。而游戲引擎的插件集成將使得游戲開發(fā)者在游戲中啟用DLSS變得更加快捷且容易了許多。就像Night DiveStudios首席工程師Matthew Kenneally所說，“虛幻引擎4的DLSS插件可以輕松地將NVIDIA DLSS添加到的游戲中。帶給玩家更大更強的游戲震撼性表現(xiàn)，—直是我們團隊所熱愛的工作。而NVIDIA DLSS對游戲性能與體驗的影響，是不可否認(rèn)的無與倫比?！?/p>

當(dāng)然，也不只是UE引擎中引入了DLSS插件，事實上，包括4A GAMES、CRYENGINE等在內(nèi)的多個游戲開發(fā)組都已經(jīng)將DLSS帶到了自家的內(nèi)部游戲引擎中，這樣在未來的時間里，DLSS也將能夠更快地融入將來發(fā)售的游戲大作之中。

在此次在線媒體會上，NVIDIA宣布的另一個消息可能更略有震撼性一點，那就是NVIDIA DLSS將通過Proton提供對Vulkan API游戲的支持。這意味著什么？這意味著那些Linux操作系統(tǒng)的玩家也能夠通過GeForceRTX GPU來獲得DLSS的幀率加速功能了，比如《毀滅戰(zhàn)士：永恒》《無人天空》《重返德軍總部：新血脈》這些基于Vulkan API的游戲在Linux平臺上也能獲得DLSS的“幀加速”功能，NVIDIA已經(jīng)計劃在2021年秋季提供經(jīng)由Proton在Linux上運行DX向的DLSS游戲的功能，想必對Linux玩家來說，這是巨大的利好消息。

NVIDIA DLSS，因何而生？

新一代游戲的需求是什么？實時光線追蹤、大物理運動模型、高動態(tài)CG以及4K或更高的分辨率輸出……這些需求毫無疑問都在很大程度上推動著GPU的計算能力要求以幾何指數(shù)的幅度增長。比如單獨的實時光線追蹤計算，這將比傳統(tǒng)的光柵化圖像渲染計算復(fù)雜數(shù)倍，對GPU的計算能力要求也達到了數(shù)倍的增長。在這種情況下，NVIDIA在RTX GPU中集成了單獨的RT Core來應(yīng)對光追計算要求。但是，在1440p或更高的4K分辨率下，即使擁有RT Core，對絕大部分RTX GPU來說，也不足以滿足絕大部分游戲中最高畫質(zhì)+光追效果的流暢運行需求。因此這時候，在游戲中就需要一種額外的算法，這種算法能夠?qū)PU的計算能力集中在更少、更擬真的像素上，也就是GPU在游戲中實際渲染低于設(shè)置的分辨率的像素，然后使用分辨率縮放填充技術(shù)，以原始顯示分辨率和原始圖像質(zhì)量來欣賞這些圖像，這就是NVIDIA在圖靈核心的RTX 20系GPU上提出的“深度學(xué)習(xí)超級采樣”功能-DLSS。一種渲染更少像素，并使用先進的AI技術(shù)以更高分辨率輸出高質(zhì)量圖像的“游戲黑科技”。

DLSS的核心就在于以低分辨率的實際渲染輸出高分辨率的圖像，自然這其中的核心挑戰(zhàn)就在于如何保留圖像中的細(xì)節(jié)，也就是以實際渲染的低分辨率來實現(xiàn)輸出的高分辨率畫質(zhì)。而實現(xiàn)這一切的核心，也要依靠NVIDIA RTX GPU中所配置的張量核心-Tensor Core。

NVIDIA在基于'Tensor Core神經(jīng)網(wǎng)絡(luò)的人工智能研究模型取得了巨大的進步，并由此產(chǎn)生了非常高的圖像質(zhì)量。利用這項AI研究，NVIDIA開發(fā)了一種新的圖像處理算法，這種算法近似于AI研究模型并符合NVIDIA對渲染輸出的性能預(yù)算，DLSS就這樣誕生了。事實上，NVIDIA從DLSS l.0的“可預(yù)測、固定”的AI模型訓(xùn)練到DLSS 2.0的AI模型訓(xùn)練升級，DLSS的核心策略已經(jīng)發(fā)生了轉(zhuǎn)變。從DLSS 2.0開始，NVIDIA已經(jīng)不再依賴于單個的、固定游戲的神經(jīng)網(wǎng)絡(luò)，而是構(gòu)建了一個通用訓(xùn)練的AI神經(jīng)網(wǎng)絡(luò)并持續(xù)不斷地對其進行著優(yōu)化，這也是DLSS的根本基礎(chǔ)所在。

AL加持的分辨率增強，DLSS工作原理簡述

前面已經(jīng)說過，NVIDIA DLSS是一種基于Tensor Core的AI超級分辨率算法，在RTX GPU內(nèi)部有Tensor Core為這一算法進行獨立的專項加速。其實，要更簡單一點來理解DLSS的話，我們可以將其看作在1080p分辨率渲染下輸出4K的圖像這一過程。在1080p分辨率下渲染，游戲幀率自然相比4K分辨率會有極大程度的提升，然后輸出的圖像通過Tensor Core的AI神經(jīng)網(wǎng)絡(luò)和游戲引擎數(shù)據(jù)的再學(xué)習(xí)，對1080p的渲染圖形進行智能增強，從而最終輸出4K分辨率質(zhì)量的圖像。

我們知道，在1080p分辨率下一幀游戲畫面大約需要203萬個像素（1920x1080）填充，而在4K分辨率下，一幀游戲畫面大約需要830萬個像素（3840x2160）。這也就意味著，要從1080p的實際GPU渲染分辨率到輸出4K高質(zhì)量的圖像，其中“丟失”的像素約為620萬個以上。那么毫無疑問的是，NVIDIA的DLSS這-AI算法能夠收集到的這些像素信息越多、越詳細(xì)、越準(zhǔn)確，最終輸出的4K圖像質(zhì)量就越好。那么，對RTX GPU來說，它在這一過程中是如何做的呢？

從DLSS工作流程圖中，我們可以清晰地看出，NVIDIA DLSS通過四種不同的輸入源，一起確定顯示屏上的最終輸出游戲畫面幀，也是在低分辨率實際渲染下得到高分辨率最終輸出結(jié)果的真正原因。即利用低分辨率的當(dāng)前幀、運動矢量和高分辨率的前一幀，逐像素地確定如何生成高分辨率的當(dāng)前幀（通過訓(xùn)練好的人工智能神經(jīng)網(wǎng)絡(luò)模型）。

我們以4K分辨率、光追開啟+最高畫質(zhì)下，開啟DLSS的游戲渲染過程為例，首先看左側(cè)。在開啟光線追蹤效果后，再開啟DLSS，比如“平衡模式“或游戲內(nèi)置固定模式。這時就會產(chǎn)生第一種原始的輸入源——游戲引擎實際以較低分辨率渲染的游戲畫面幀（比如1080p或1440p圖像），這是游戲渲染過程中最原始的輸入。

接著產(chǎn)生的輸入源是由游戲引擎生成的游戲圖像的運動矢量（Motion Vector）逐幀的預(yù)測。運動矢量預(yù)測的意義在于，它能夠通知DLSS算法，在這一游戲場景中每個物體在幀與幀之間的運動趨勢與方向。對DLSS來說，在一定程度上是比較依賴于運動矢量預(yù)測來學(xué)習(xí)前一高分辨率輸出幀并渲染增強當(dāng)前幀的輸出。因此，對游戲引擎來說，仍然是需要將這些運動矢量提供給DLSS。對絕大部分游戲來說，開發(fā)人員已經(jīng)在游戲中對物體的運動提前進行了某些形式的處理（比如某些抗鋸齒效果），而這些處理信息在游戲引擎中是可以直接使用的，并只需要提供給DLSS就行。這也就意味著DLSS仍然是需要在每一次游戲的基礎(chǔ)上進行每一幀的預(yù)測處理，這并非是固定的處理方式，也和之前的FXAA、圖像銳化放大、點陣或雙線性分辨率增強技術(shù)等純后端的處理解決方案完全不一樣。

第三是DLSS增強的高分辨輸出的前一幀。高分辨率輸出的前一幀在DLSS的連續(xù)處理過程中是非常重要的。在運動矢量的預(yù)測下，DLSS能夠結(jié)合前一幀的高分辨輸出畫面，實現(xiàn)逐幀的畫質(zhì)和物體追蹤，這樣能夠保證游戲畫面動態(tài)渲染的穩(wěn)定性，并最大可能地接近原生分辨率的輸出畫質(zhì)，減少可能存在的因DLSS分辨率AI補充帶來的殘缺、花屏或偽影等現(xiàn)象。

在這個過程中，DLSS機制會不斷訪問高分辨率的前一幀，在運動矢量檢測下不斷追蹤每一個像素，并且能夠在不同的游戲幀中對同一像素進行多次采樣對比（時間超級采樣）。分辨率越高，可供采樣的像素點也就越多，分辨率越低，可供采樣的像素點也就越少。所以在更高的分辨率下開啟DLSS，對游戲畫質(zhì)的影響就越小，甚至?xí)仍嬞|(zhì)更加銳利豐富。因為在多重超級采樣的機制下，DLSS針對幾乎每一個像素點都進行了反復(fù)的推敲優(yōu)化，能夠提供比相比傳統(tǒng)的銳化、抗鋸齒設(shè)置解決方案更豐富的畫面細(xì)節(jié)展現(xiàn)和更光滑的物體邊緣處理。另外與傳統(tǒng)的抗鋸齒技術(shù)更注重邊緣的鋸齒效果不同的是，DLSS可以對全屏畫面的像素做采樣，在非物體邊緣的細(xì)節(jié)也會得到極大的增強，這也是同很多銳化技術(shù)、抗鋸齒技術(shù)不同的地方。

最后則是DLSS特別的黑科技——基于AI大數(shù)據(jù)的16K分辨率圖像模型訓(xùn)練。這一訓(xùn)練是通過NVIDIA放置在云端服務(wù)器上的超級計算機實現(xiàn)的，并通過RTX GPU中的TensorCore進行實時的AI預(yù)測高性能處理。這個在超級計算機上訓(xùn)練好的模型，可以讓DLSS算法學(xué)會以更高的圖像精確度來預(yù)測補足輸出高分辨率的游戲畫面，并且隨著訓(xùn)練的持續(xù)，這個算法模型會迭代得越來越完美。簡單地理解，我們可以認(rèn)為NVIDIA在云端有一臺超級計算機，這臺超級計算機會對比低分辨率圖片和原生16K標(biāo)準(zhǔn)圖片的差異，不斷的訓(xùn)練生成一個基于AI的“腦補”像素模型算法。而這個訓(xùn)練好的模型會隨著驅(qū)動更新下載到用戶的電腦上。而用戶的RTXGPU在執(zhí)行支持DLSS的游戲時，就會調(diào)用這個已經(jīng)訓(xùn)練好的AI模型，利用Tensor Core加速對每一幀進行速像素填充了。超級計算機訓(xùn)練的算法模型是會不斷迭代的，隨著訓(xùn)練時間的增加，這個人工智能像素填充模型也會不斷完善愈發(fā)趨于完美。這項技術(shù)也充分體現(xiàn)了，人工智能的魅力所在，它可以在不需人工干預(yù)的情況下，就利用海量的數(shù)據(jù)進行自我迭代，最終不斷優(yōu)化算法模型。玩家可以看到在DLSS誕生以后的這兩年時間內(nèi)，其實DLSS的實際效果有了翻天覆地的變化，這—方面得益于DLSS實現(xiàn)方法的進步，另一方面人工智能也是功不可沒。這種人工智能的算法模型，也在維度上完全超越了傳統(tǒng)的人工編程的縮放、銳化算法。這也是NVIDIA在人工智能領(lǐng)域不斷探索推進以后用于反哺自家游戲的一個典型黑科技。而對于傳統(tǒng)的圖形渲染行業(yè)而言，如果沒有人工智能的加持，是很難通過人工編程算法來實現(xiàn)類似效果的，一方面沒有大規(guī)模訓(xùn)練的AI模型，另一方面用戶終端也沒有能為AI預(yù)測計算加速的專用硬件核心。NVIDIA DLSS通過這種基于超級計算機和AI核心的持續(xù)性訓(xùn)練，現(xiàn)在DLSS已經(jīng)可以學(xué)習(xí)如何處理從火焰效果、煙霧效果到粒子效果的各種全新內(nèi)容。而且必須要提的是，DLSS這種基于AI核心和AI算法的功能，在用戶終端上由于有Tensor Core的AI運算加速加持，在速度上已經(jīng)將“手動”固定編解碼計算的非AI處理方式（如之前常見的游戲畫質(zhì)銳化或分辨率縮放功能）遠遠地拋在了身后。在RTX GPU中可以高達285TFLOPS的Tensor Core Ali+算性能下，開啟DLSS對GPU核心的負(fù)擔(dān)幾乎沒有額外增加，DLSS也能夠與3D游戲的正常渲染輸出幾乎同步同時地實時進行。

以AL增強細(xì)節(jié)，DLSSVs，傳統(tǒng)圖像銳化與分辨率縮放

其實，在DLSS出現(xiàn)之前，業(yè)內(nèi)也已經(jīng)出現(xiàn)過多種與分辨率縮放及圖像蛻化解決方案相關(guān)的技術(shù)或功能。比如點陣優(yōu)化（Point upscale）.雙線性優(yōu)化（Bilinear upscale）等，甚至NVIDIA自己也開發(fā)了一個稱為NIS的圖像銳化與分辨率縮放的解決方案。但就這些方案來說，在最終的輸出圖像質(zhì)量上，跟DLSS相比都還有比較大的差距。為什么？我們以NVIDIANIS（NVIDIA圖像銳化）來看看。

傳統(tǒng)的分辨率增強銳化技術(shù)，比如NIS，幾乎都是通過平衡相鄰像素來提高圖像的分辨率，然后再通過著色器以自適應(yīng)銳化的方法來增強圖像中物體的邊緣質(zhì)量。這種圖像銳化處理的方式與DLSS在原理上有著比較大的本質(zhì)差別，不支持AI和沒有基于超級計算機的模型訓(xùn)練是二者之間的核心差距。對NIS或其他傳統(tǒng)增強方式來說，它們基本只會使用當(dāng)前的低分辨率圖像信息作為輸入幀，沒有運動矢量預(yù)測，沒有高分辨率前幀追溯，更沒有超大分辨率的模型訓(xùn)練。因此這些傳統(tǒng)的增強方式在最終輸出的高分辨率圖像的細(xì)節(jié)上與原生分辨率圖像相比要欠缺很多，而且在幀穩(wěn)定性上也有比較明顯的差距。雖然看似提升了性能，但實際上對游戲畫質(zhì)的影響還是非常明顯的。

最后要提—下，前不久AMD也推出了自家的分辨率縮放渲染輸出技術(shù)FSR。雖然目前還沒有特別多的游戲支持，但由于FSR技術(shù)實現(xiàn)的是對全系顯卡的普遍支持，因此它應(yīng)該是不太依賴于GPU硬件本身，也就是說在AI性能上應(yīng)該是比較欠缺的。當(dāng)然，從目前AMD已經(jīng)公開的部分資料和我們之前的一些測試數(shù)據(jù)來看，F(xiàn)SR更像是在傳統(tǒng)縮放、銳化和抗鋸齒技術(shù)上的算法衍進，而沒有涉及AI人工智能相關(guān)技術(shù)，所以它跟DLSS是不是有可比性還不好說，畢竟NVIDIA在幾年前就已經(jīng)推出了NIS。而從NVIDIA的DLSS生態(tài)來看，目前已經(jīng)有超過55款游戲加入了DLSS的游戲矩陣，有10多款主流游戲引擎也對其提供了支持，從目前來看的話，應(yīng)該還是DLSS占據(jù)主動。不過二者之間到底有何差異？各有怎樣的優(yōu)勢與缺點？我們將在后續(xù)的評測中陸續(xù)為大家揭曉。

深度學(xué)習(xí)，DLSS的未來

DLSS，也就是DL+SS，其實是深度學(xué)習(xí)與超級采樣的結(jié)合體。在我們看來，DLSS的最重要的核心還是在于DL，也就是Deep Learning，深度學(xué)習(xí)。雖然此前有些預(yù)置的圖像增強算法在速度上的表現(xiàn)還算不錯，也能夠比較接近AI的效果。但這種算法在某些極端的情況下卻比較容易導(dǎo)致崩潰，從而嚴(yán)重地影響游戲畫質(zhì)表現(xiàn)。就好比汽車的自動駕駛系統(tǒng)，你永遠不可能預(yù)先編輯出每一個汽車在行駛過程中所可能遇到的場景.因為其中存在著巨量的可變因素，也就是變量。因此，現(xiàn)代自動駕駛解決方案必須要依靠AI人工智能才能有明顯的進步。

而游戲這個虛擬世界與自動駕駛類似，依靠事先預(yù)置的編碼解決方案幾乎不可能準(zhǔn)確預(yù)測許多游戲中每個像素的顏色和運動軌跡。而DLSS的深度學(xué)習(xí)并不是通過無限條件語句來解決問題，而是從海量的大數(shù)據(jù)、大模型中學(xué)習(xí)算法。DLSS從數(shù)萬甚至數(shù)十萬個渲染精美的圖像中學(xué)習(xí)，在云端超級計算機中以非常低的幀速率和每像素約64個樣本進行離線渲染，然后訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)來識別正確、精致的游戲圖像應(yīng)該是什么樣子。然后這些AI神經(jīng)網(wǎng)絡(luò)從較低分辨率、較低樣本數(shù)的圖像中重建它們。神經(jīng)網(wǎng)絡(luò)整合來自較低分辨率幀的不完整信息，結(jié)合模型訓(xùn)練信息創(chuàng)建最終輸出的平滑、清晰的游戲圖像。因此，DLSS作為NVIDIA的黑科技武器，深度學(xué)習(xí)是它的立足之本，也是其余眾多其他解決方案最本質(zhì)的區(qū)別與性能表現(xiàn)卓越的根本所在。它，才是DLSS的未來所在！