杜興盛，吳 桐，張靖儀，李 根，李 鑫，張嚴(yán)辭,

基于未來幀的時(shí)間性反走樣研究及實(shí)踐

杜興盛1，吳 桐2，張靖儀2，李 根2，李 鑫3，張嚴(yán)辭1,2

(1. 四川大學(xué)計(jì)算機(jī)學(xué)院，四川 成都 610065；2. 四川大學(xué)視覺合成圖形圖像技術(shù)國家重點(diǎn)學(xué)科實(shí)驗(yàn)室，四川 成都 610065；3. 國家空域管理中心，北京 101318)

時(shí)間性反走樣算法具有效率優(yōu)勢，是近年來被廣泛應(yīng)用的實(shí)時(shí)反走樣算法之一。該算法通過將采樣點(diǎn)平攤至歷史多幀及復(fù)用歷史數(shù)據(jù)的方式來實(shí)現(xiàn)實(shí)時(shí)反走樣。在時(shí)域信息采樣充分且歷史數(shù)據(jù)可復(fù)用的前提下，該算法能取得和超采樣反走樣算法類似的效果。然而在實(shí)際應(yīng)用中，時(shí)間性反走樣算法會有幾何邊緣鋸齒、重影及子像素細(xì)節(jié)缺失等問題。本文以時(shí)間性反走樣算法為研究基礎(chǔ)，針對時(shí)間性反走樣算法存在的問題，提出了一種基于未來幀的時(shí)間性反走樣算法。其基本思想是，在使用已有時(shí)域信息的基礎(chǔ)上，將未經(jīng)反走樣處理的未來一幀納入時(shí)間性反走樣，通過使用未來幀的樣本，提升幾何反走樣效果，實(shí)現(xiàn)抗重影以及改善子像素細(xì)節(jié)缺失情況。本文算法提出了可復(fù)用未來幀數(shù)據(jù)提取以及未來幀數(shù)據(jù)復(fù)用的解決方案。實(shí)驗(yàn)結(jié)果表明，與時(shí)間性反走樣算法相比，該算法的反走樣效果更優(yōu)。

時(shí)間性反走樣；未來幀；幾何反走樣；抗重影；子像素細(xì)節(jié)缺失

走樣現(xiàn)象一直是影響渲染質(zhì)量的關(guān)鍵因素，近年來，時(shí)間性反走樣算法(temporal anti-aliasing，TAA)[1-4]因其較低的計(jì)算成本與較少的內(nèi)存占用，在實(shí)時(shí)渲染領(lǐng)域備受關(guān)注。相比多重采樣反走樣算法[5](multisampling anti-aliasing，MSAA)，TAA能更好地滿足延遲渲染的抗鋸齒需求。然而，由于使用累積幀來代替歷史多幀以及鄰域裁剪方法的局限性，TAA會有重影、圖像模糊及子像素缺失等問題，在時(shí)域信息采樣不充分區(qū)域，TAA依然會有幾何邊緣鋸齒問題。

為解決TAA所帶來的這些問題，本文提出了一種基于未來幀的時(shí)間性反走樣算法 (future- frame-based temporal anti-aliasing，F(xiàn)TAA)，其基本思想為:在復(fù)用歷史數(shù)據(jù)的基礎(chǔ)上，引入未來幀增加時(shí)域信息，將未經(jīng)反走樣處理的未來一幀數(shù)據(jù)納入時(shí)間性反走樣，緩解TAA存在的幾何邊緣鋸齒、重影與子像素細(xì)節(jié)缺失的問題。

1 相關(guān)工作

基于覆蓋超采樣的空間性反走樣算法。走樣的根本原因在于采樣頻率不足，超采樣反走樣算法[6](supersampling anti-aliasing，SSAA)通過混合多個(gè)采樣點(diǎn)的著色結(jié)果，可以得到高質(zhì)量的反走樣效果。MSAA將三角形覆蓋率與著色率解耦，同一個(gè)三角形若覆蓋多個(gè)采樣點(diǎn)，也只會著色一次。NVIDIA的覆蓋采樣反走樣算法(cover-age-sampling anti-aliasing，CSAA)[7]提高了采樣數(shù)，但不增加顯存開銷，三角形覆蓋多少采樣點(diǎn)只影響子像素在混合時(shí)的權(quán)重；AMD的增強(qiáng)質(zhì)量反走樣算法(enhanced quality anti-aliasing，EQAA)[8]將子像素著色結(jié)果存放在表格中，每個(gè)采樣點(diǎn)只保存著色結(jié)果在表格中的ID，用以將采樣點(diǎn)與著色結(jié)果解耦。

基于圖形分析的空間性反走樣算法。該類算法最早由LOTTES[9]提出，Lottes通過形態(tài)分析的方式有效解決了SSAA的性能問題；JIMENEZ等[10]擴(kuò)展了形態(tài)分析的反走樣模式，有效緩解了上述算法存在的邊緣模糊問題；文獻(xiàn)[11-12]簡化了形態(tài)分析的匹配過程，顯著提升了上述算法的反走樣效率。然而基于形態(tài)分析的空間性反走樣算法并不能有效解決著色走樣[13]及細(xì)節(jié)缺失現(xiàn)象。TOKUYOSHI和KAPLANYAN[14]將幾何分析和光照計(jì)算相結(jié)合，有效緩解了著色走樣；文獻(xiàn)[15-16]通過擴(kuò)展幾何緩存(G-Buffer)和引入幾何分析的方式顯著提升了反走樣算法的細(xì)節(jié)恢復(fù)效果。

TAA算法是一種將空域內(nèi)的采樣點(diǎn)平攤到時(shí)域上，以達(dá)到降低每幀渲染時(shí)間的超采樣方法。Intel提出了一種和傳統(tǒng)形態(tài)反走樣相結(jié)合的TAA[3]；NVIDIA在Game Developer Conference分享了一種和自適應(yīng)超采樣相結(jié)合的TAA[17]；AMD旗下Radeon系列顯卡集成了Radeon圖像銳化技術(shù)[18]。Naughty Dog Game Engine于2016年SIGGRAPH會議上分享過和自適應(yīng)濾波技術(shù)相結(jié)合的TAA[19]；Decima Engine于2017年SIGGRAPH會議上分享過和快速近似反走樣相結(jié)合的TAA[20]；Unreal Engine于2017和2018年SIGGRAPH會議上分享了諸多和TAA相關(guān)的研究成果[4,21]。

深度學(xué)習(xí)反走樣算法。NALBACH等[22]提出過一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)的深度學(xué)習(xí)反走樣算法。SALVI[23]利用循環(huán)神經(jīng)網(wǎng)絡(luò)來改進(jìn)深度學(xué)習(xí)反走樣算法的時(shí)序穩(wěn)定性。NVIDIA在圖靈顯卡架構(gòu)的基礎(chǔ)上提出過一種基于深度學(xué)習(xí)的超采樣反走樣算法(deep learning super sampling)[24]。

2 算法概述

TAA[1]通過復(fù)用歷史數(shù)據(jù)的方式，可有效滿足實(shí)時(shí)反走樣算法的性能要求。然而其在實(shí)際運(yùn)用中，也存在諸多影響圖像質(zhì)量的問題，如圖1所示。圖1(a)由于相機(jī)運(yùn)動，新出現(xiàn)物體因累積幀時(shí)域信息缺失，使得幾何邊緣鋸齒無法消除；圖1(b)由于鄰域裁剪在高頻信息處失效，運(yùn)動物體的歷史數(shù)據(jù)被錯(cuò)誤復(fù)用出現(xiàn)重影；圖1(c)由于子像素細(xì)節(jié)采樣失敗，同時(shí)鄰域裁剪出錯(cuò)使得無法正確復(fù)用累積幀，導(dǎo)致子像素細(xì)節(jié)缺失。

針對TAA存在的幾何邊緣鋸齒、重影及子像素細(xì)節(jié)缺失問題，本文受視頻壓縮中雙向預(yù)測[25]的啟發(fā)，提出了FTAA算法。其基本思想為：在復(fù)用累積幀的基礎(chǔ)上，引入未來一幀，同時(shí)利用未來幀提供的時(shí)域信息緩解TAA存在的幾何邊緣鋸齒、重影與子像素細(xì)節(jié)缺失問題，并解決了如下問題：

圖1 TAA算法問題((a)鋸齒問題；(b)重影問題；(c)子像素缺失問題)

(1) 在累積幀時(shí)域信息缺失區(qū)域，由于FTAA引入了未來幀提供了更多的時(shí)域信息，將當(dāng)前幀和未來幀數(shù)據(jù)進(jìn)行混合，從而實(shí)現(xiàn)更好的幾何邊緣抗鋸齒效果。

(2) FTAA將時(shí)間性反走樣的混合因子擴(kuò)充到未來幀，通過改變混合方式，在保持原有反走樣效果的同時(shí)，降低混合結(jié)果對累積幀中歷史數(shù)據(jù)的依賴，從而抑制重影。

(3) 當(dāng)前幀子像素細(xì)節(jié)采樣失敗時(shí)，未來幀子像素細(xì)節(jié)采樣可能成功，F(xiàn)TAA加入未來幀數(shù)據(jù)可以降低子像素細(xì)節(jié)缺失程度；除此之外，F(xiàn)TAA通過引入未來幀來提升鄰域裁剪的限制范圍，同時(shí)降低累積幀子像素細(xì)節(jié)被裁剪出錯(cuò)概率，進(jìn)一步降低子像素細(xì)節(jié)缺失程度。

3 FTAA

3.1 基于G-Buffer和重采樣的可復(fù)用未來幀數(shù)據(jù)提取方案

本文利用G-Buffer提供的運(yùn)動向量，從可見性的角度來評估未來幀數(shù)據(jù)的可復(fù)用性，進(jìn)而實(shí)現(xiàn)未來幀數(shù)據(jù)的有效提取。該思路的基本假設(shè)如下：①可見的未來樣本對應(yīng)的著色數(shù)據(jù)具備可復(fù)用性；②不可見的未來樣本對應(yīng)的著色數(shù)據(jù)不具備可復(fù)用性。其中可見性指未來樣本是否落在時(shí)刻目標(biāo)像素的可見范疇。如圖2所示，像素在當(dāng)前時(shí)刻采樣到了藍(lán)色樣本，而物體間遮擋變化使得1時(shí)刻采樣到的橙色樣本并未落在時(shí)刻像素的可見范疇，1時(shí)刻像素對應(yīng)的橙色樣本為典型的不具備可見性的未來樣本。

圖3為評估可見性方法流程。假設(shè)場景中僅桌形物體發(fā)生運(yùn)動。圖中紅色方格對應(yīng)的像素p在時(shí)刻采樣到了背景，這將使得p重投影得到的對應(yīng)樣本s1能投影回時(shí)刻目標(biāo)像素p中心位置，判斷未來樣本s1在目標(biāo)像素p的可見范疇。然而紫色方格對應(yīng)的像素p在時(shí)刻采樣到了桌腳，桌腳在1時(shí)刻不可見，p重投影得到的桌面樣本s1，并不能重投影至?xí)r刻目標(biāo)像素p中心位置，判斷未來樣本s1在目標(biāo)像素p為不可見范疇。

圖2可見性發(fā)生變化

圖3 評估可見性方法流程

基于精度受損考慮，方法通過s+1能否重投影至?xí)r刻目標(biāo)像素相近范疇來評估s+1的可見性，評估過程為

3.2 未來幀數(shù)據(jù)復(fù)用機(jī)制

3.2.1 未來幀數(shù)據(jù)融合方案

未來幀未經(jīng)反走樣處理，直接引入反而會加劇走樣，因此本方案將當(dāng)前幀與未來幀進(jìn)行初步融合，獲得初步反走樣結(jié)果為

其中，e為最小閾值；e為最大閾值；lux為亮度求取函數(shù)；max為最大值函數(shù)；clp為限制函數(shù)。

3.2.2 基于未來幀的鄰域裁剪改進(jìn)方案

對于存在子像素細(xì)節(jié)的目標(biāo)像素，若對應(yīng)的歷史數(shù)據(jù)包含子像素細(xì)節(jié)，而時(shí)刻目標(biāo)像素鄰近像素范疇內(nèi)的抖動樣本均未采樣到子像素細(xì)節(jié)，則鄰域裁剪會出錯(cuò)，進(jìn)而導(dǎo)致子像素細(xì)節(jié)缺失。為了緩解上述問題，本文提出了基于未來幀的鄰域裁剪改進(jìn)方法，以減少鄰域裁剪的出錯(cuò)頻率。改進(jìn)方法為，復(fù)用1幀可見樣本著色信息，以提高樣本采樣到子像素細(xì)節(jié)的幾率，從而降低了子像素細(xì)節(jié)缺失概率。

本文通過改進(jìn)AABB的構(gòu)建方式，來解決子像素細(xì)節(jié)缺失問題。即利用幀及初步反走樣結(jié)果中鄰近像素范疇內(nèi)的著色樣本，確定著色極值(包括極小值和極大值)，進(jìn)而確定AABB的頂點(diǎn)，以提升AABB的限制精度，其提升將降低被錯(cuò)誤修正的可能性。改進(jìn)方法僅在靜態(tài)場景下使用，因?yàn)閳鼍斑\(yùn)動將導(dǎo)致目標(biāo)像素及鄰近像素范疇內(nèi)的樣本很難采樣到包含子像素細(xì)節(jié)的運(yùn)動信息，進(jìn)而導(dǎo)致包含子像素細(xì)節(jié)信息的概率很低。而動態(tài)場景下，使用改進(jìn)后的鄰域裁剪方法，將不能顯著改善子像素細(xì)節(jié)缺失情況。綜合考慮時(shí)間開銷和效果，復(fù)用機(jī)制僅在靜態(tài)場景下使用改進(jìn)后的方法，動態(tài)場景仍使用原有方法。裁剪結(jié)果將作為基于未來幀的混合方案的累積幀數(shù)據(jù)。

3.3 基于未來幀的混合方案

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)概述

針對文獻(xiàn)[1]TAA算法存在的幾何邊緣鋸齒、子像素細(xì)節(jié)缺失、重影問題，本文提出了基于FTAA算法，并設(shè)計(jì)了一系列實(shí)驗(yàn)，用于驗(yàn)證其有效性。

實(shí)驗(yàn)環(huán)境為NVIDIA GeForce GTX-1060 GPU，Intel(R) Core(TM) i5-8400 CPU，8 GB內(nèi)存。輸出分辨率均為1920×1080，實(shí)驗(yàn)中使用采樣率為32 spp的SSAA算法產(chǎn)生的結(jié)果作為Ground Truth。

4.2 驗(yàn)證FTAA方法能有效緩解時(shí)域欠采樣區(qū)域的幾何邊緣鋸齒

圖4 時(shí)域信息缺失區(qū)域相框反走樣效果對比

4.3 驗(yàn)證FTAA方法能有效緩解重影問題

實(shí)驗(yàn)過程中選取圖5所示的TAA無法根除重影的區(qū)域進(jìn)行對比。由圖5(a)可見，小車向左運(yùn)動時(shí)，地毯著色變化較為顯著，鄰域裁剪失效，TAA方法出現(xiàn)了藍(lán)色區(qū)域所示的重影。對比圖5(b)和(a)可知，F(xiàn)TAA取得比TAA更好的抗重影效果。與TAA相比，F(xiàn)TAA因多復(fù)用未來幀數(shù)據(jù)，影響了歷史數(shù)據(jù)初始權(quán)重的計(jì)算結(jié)果，并且在高頻區(qū)域，根據(jù)基于未來幀的混合方案，累積幀的混合權(quán)重會進(jìn)一步降低，從而有效抑制了重影問題。

4.4 驗(yàn)證FTAA方法能有效緩解子像素缺失問題

實(shí)驗(yàn)通過對比圖6所示的吊燈在反走樣效果上的差異，來驗(yàn)證FTAA方法對子像素細(xì)節(jié)缺失情況的改善。圖6(a)～(c)分別展示了TAA，F(xiàn)TAA及SSAA在吊燈區(qū)域的反走樣效果。觀察圖6(a)和(c)藍(lán)色方框標(biāo)記的區(qū)域，可以明顯看到TAA方法存在顯著的子像素細(xì)節(jié)缺失。而對比圖6(a)和6(b)藍(lán)色標(biāo)記區(qū)域的反走樣結(jié)果可知，F(xiàn)TAA有效改善了子像素細(xì)節(jié)缺失的情況。在本文方法中，未來幀數(shù)據(jù)融合方案可以引入有效的未來幀數(shù)據(jù)中子像素信息；并且對鄰域裁剪方法進(jìn)行改進(jìn)后，引入了未來幀數(shù)據(jù)，以提升歷史限制精度，進(jìn)而降低包含子像素細(xì)節(jié)的歷史數(shù)據(jù)被丟棄的概率?？傊現(xiàn)TAA方法增加子像素被采樣到的概率，減少了鄰域裁剪的出錯(cuò)頻率，進(jìn)而改善子像素細(xì)節(jié)缺失的情況。

4.5 驗(yàn)證FTAA 在實(shí)際應(yīng)用中的有效性

為了驗(yàn)證在實(shí)際應(yīng)用中FTAA能取得比TAA更優(yōu)的反走樣效果。在實(shí)驗(yàn)場景中設(shè)了多個(gè)視角進(jìn)行相機(jī)漫游，并獲取連續(xù)幀畫面經(jīng)TAA，F(xiàn)TAA及SSAA反走樣處理后的效果圖，以及3種方法的平均渲染幀率。實(shí)驗(yàn)共獲取了1 304幀畫面對應(yīng)的反走樣效果圖，并將其作為性能評估指標(biāo)SSIM及PSNR的輸入數(shù)據(jù)。將SSAA的反走樣結(jié)果將作為參考效果。

圖5 物體運(yùn)動區(qū)域反走樣效果對比

圖6 子像素區(qū)域反走樣效果對比

圖7展示了1 304 幀畫面在不同算法下的反走樣性能評估指標(biāo)的計(jì)算結(jié)果。觀察SSIM曲線和PSNR曲線的變化情況可知，曲線起始區(qū)域的變化尤為顯著。這與時(shí)間平攤超采樣的理念有關(guān)，起始幀開始，隨著時(shí)間的推進(jìn)，采樣頻率將會提高，時(shí)域信息的采樣逐漸飽和；在時(shí)域信息飽和的過程中，反走樣質(zhì)量將會急劇提升；時(shí)域信息飽和后，反走樣質(zhì)量基本穩(wěn)定。但相機(jī)或場景的運(yùn)動會使得當(dāng)前幀的一些區(qū)域未出現(xiàn)在歷史幀中，進(jìn)而導(dǎo)致當(dāng)前幀部分區(qū)域缺乏充足的時(shí)域信息，從而使得反走樣質(zhì)量發(fā)生浮動。觀察曲線非起始部分的浮動情況，可以明顯看到FTAA的評估結(jié)果普遍高于TAA。這證實(shí)了FTAA在實(shí)際應(yīng)用中的有效性，說明其反走樣質(zhì)量普遍優(yōu)于TAA。

圖7 SSIM及PSNR評估結(jié)果示意圖

表1統(tǒng)計(jì)了1 304幀畫面在不同算法下的渲染幀率。由表1可知，F(xiàn)TAA的渲染幀率略低于TAA，但明顯優(yōu)于SSAA，其能滿足實(shí)時(shí)反走樣的性能需求。由于SSAA每幀目標(biāo)像素需要生成多個(gè)著色樣，TAA和FTAA每幀目標(biāo)像素僅生成一個(gè)著色樣本，其余的樣本從歷史幀及未來幀中獲取，所以TAA和FTAA的渲染幀率優(yōu)于SSAA。而與TAA對比，F(xiàn)TAA在反走樣過程中需要提取和復(fù)用未來數(shù)據(jù)，這將增加時(shí)間成本，因而FTAA的渲染幀率略遜于TAA。

表1 渲染幀率對比

4.6 FTAA方法與DLSS2.0方法定性對比分析

NVIDIA在圖靈顯卡架構(gòu)的基礎(chǔ)上提出的基于深度學(xué)習(xí)的超采樣反走樣算法2.0[24](deep learning super sampling，DLSS2.0)是當(dāng)下廣泛使用的基于深度學(xué)習(xí)的反走樣算法。由于本文未復(fù)現(xiàn)DLSS2.0方法，所以不能在相同條件下進(jìn)行效率和效果的對比分析，只簡單地從原理上進(jìn)行歸納總結(jié)，在應(yīng)用場景、實(shí)現(xiàn)難易程度等方面進(jìn)行對比分析。DLSS2.0方法可以借助RTX GPU和訓(xùn)練好的AI模型加速運(yùn)算，每幀只需1/4分辨率的像素渲染結(jié)果作為輸入，利用低分辨率幀得到近似與原始分辨率的畫質(zhì)，且?guī)时仍挤直媛实母?。DLSS2.0方法可以處理光照及陰影變化情況，在復(fù)雜的動態(tài)場景中，本文效果要遜色于DLSS2.0方法。但由于DLSS2.0方法是在圖靈顯卡架構(gòu)的基礎(chǔ)上提出的，需要RTX顯卡才能支持，并且需要準(zhǔn)備訓(xùn)練集以及訓(xùn)練相應(yīng)的AI模型。FTAA方法不依賴于圖靈顯卡架構(gòu)，對硬件要求更低，也無需訓(xùn)練集和AI模型訓(xùn)練，可以直接部署在場景中使用，實(shí)現(xiàn)更簡單。

4.7 算法局限性分析

針對幾何邊緣鋸齒、重影及子像素細(xì)節(jié)缺失問題，本文提出了FTAA方法。FTAA雖能通過復(fù)用未來幀提供的時(shí)域信息，以改善TAA的反走樣效果，但其仍存在如下不足：

(1) 與TAA相比，F(xiàn)TAA的時(shí)間成本略遜。FTAA是利用未來幀數(shù)據(jù)實(shí)現(xiàn)改進(jìn)目的的。然而，在可復(fù)用未來幀數(shù)據(jù)提取及復(fù)用的過程中，將對效率產(chǎn)生一定影響，即時(shí)間成本的提升。

(2) 本文提出的可復(fù)用未來幀數(shù)據(jù)提取方法，并未考慮光照及陰影對提取效果的影響。換言之，在光照或陰影變化時(shí)，提取方法獲取的未來幀數(shù)據(jù)可能不具備可復(fù)用性，這將對FTAA的反走樣效果產(chǎn)生不利影響。

5 結(jié)束語

為了改進(jìn)TAA存在的走樣問題(包括幾何邊緣鋸齒、重影及子像素細(xì)節(jié)缺失)，本文提出了一種基于未來幀的時(shí)間性反走樣算法。算法最終能實(shí)現(xiàn)：①改進(jìn)了時(shí)域欠采樣區(qū)域的幾何邊緣抗鋸齒效果；②取得了重影抑制的效果；③降低了子像素細(xì)節(jié)缺失程度。然而，本文算法仍需在以下方面進(jìn)一步改進(jìn)和完善：

(1) 本文方法在設(shè)計(jì)的過程中，并未考慮光照及陰影變化對提取效果的影響。如何在光照及陰影變化的情況下，取得較優(yōu)的可復(fù)用未來幀數(shù)據(jù)提取效果，將是未來工作的重要研究方向之一。

(2) 本文設(shè)計(jì)的FTAA并未解決超高分辨圖像的反走樣問題。出于擴(kuò)大FTAA應(yīng)用范疇的考慮，后續(xù)將研究如何復(fù)用未來一幀提供的時(shí)域信息，以改進(jìn)超高分辨圖像的反走樣效果。

[1] PEDERSEN L J F. Temporal reprojection anti-aliasing in inside[J]. Game Developers Conference, 2016, 3(4): 10.

[2] YANG L, LIU S Q, SALVI M. A survey of temporal antialiasing techniques[J]. Computer Graphics Forum, 2020, 39(2): 607-621.

[3] KIM S. Temporally stable conservative morphological anti-aliasing (tscmaa)[EB/OL]. [2021-04-10]. https://www. intel.com/content/www/us/en/developer/articles/technical/temporally-stable-conservative-morphological-anti-aliasing-tscmaa.html.

[4] ABADIE G. A life of a bokeh[EB/OL]. [2021-04-10]. https://advances.realtimerendering.com/s2018/.

[5] FRIDVALSZKY A, TóTH, B. Multisample anti-aliasing in deferred rendering[C]//The Eurographics Association 2020. Goslar: Eurographics Association Press, 2020: 21-24.

[6] BEETS K, BARRON D. Super-sampling anti-aliasing analyzed[EB/OL]. [2021-04-10]. https://www.beyond3d.com/ content/articles/37/.

[7] NVIDIA. NVIDIA Tesla P100[EB/OL]. [2021-04-10]. https://images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf.

[8] AMD. EQAA Modes for AMD 6900 Series Graphics Cards[EB/OL]. [2021-04-10]. https://developer.amd.com/ wordpress/media/2012/10/EQAA%2520Modes%2520for%2520AMD%2520HD%25206900%2520Series%2520Cards.pdf.

[9] LOTTES T. Fxaa[EB/OL]. [2021-04-10]. https://developer. download.nvidia.com/assets/gamedev/files/sdk/11/FXAA_WhitePaper.pdf.

[10] JIMENEZ J, MASIA B, ECHEVARRIA J I, et al. Practical morphological antialiasing[M]//GPU Pro 360. Boca Raton: Taylor & Francis, CRC Press, 2018: 135-153.

[11] STRUGAR F, LAKE A. Conservative morphological anti-aliasing 2.0[EB/OL]. [2021-04-10]. https://www.intel. com/content/www/us/en/developer/articles/technical/conservative-morphological-anti-aliasing-20.html.

[12] JIMENEZ J, ECHEVARRIA J I, SOUSA T, et al. SMAA: enhanced subpixel morphological antialiasing[J]. Computer Graphics Forum, 2012, 31(2pt1): 355-364.

[13] KAPLANYAN A S, HILL S, PATNEY A, et al. Filtering distributions of normals for shading antialiasing[C]// Proceedings of High Performance Graphics. Goslar: Eurographics Association Press, 2016: 151-162.

[14] TOKUYOSHI Y, KAPLANYAN A S. Improved geometric specular antialiasing[C]//The ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games. New York: ACM Press, 2019: 1-8.

[15] CHAJDAS M G, MCGUIRE M, LUEBKE D. Subpixel reconstruction antialiasing for deferred shading[C]// Symposium on Interactive 3D Graphics and Games on - I3D '11. New York: ACM Press, 2011: 15-22.

[16] DU W J, FENG J Q, YANG B G. Sub-pixel anti-aliasing via triangle-based geometry reconstruction[J]. Computer Graphics Forum, 2014, 33(7): 81-90.

[17] MARRS A, SPJUT J, GRUEN H, et al. Improving temporal antialiasing with adaptive ray tracing[M]. Heidelberg: Springer, 2019: 353-370.

[18] EDELSTEN A. Amd radeon? image sharpening[EB/OL]. [2021-04-10]. https://www.amd.com/en/technologies/radeon- software-image-sharpening.

[19] XU K. Temporal antialiasing in uncharted 4[EB/OL]. [2021-04-10]. http://advances.realtimerendering.com/s2016/.

[20] DE CARPENTIER G, ISHIYAMA K. Decima engine: advances in lighting and aa[EB/OL]. [2021-04-10]. https:// advances.realtimerendering.com/s2017/.

[21] BAVOIL C. Aggregate g-buffer anti-aliasing in unreal engine 4[EB/OL]. [2021-04-10]. http://advances.realtimerendering. com/s2016/.

[22] NALBACH O, ARABADZHIYSKA E, MEHTA D, et al. Deep shading: convolutional neural networks for screen space shading[J]. Computer Graphics Forum, 2017, 36(4): 65-78.

[23] SALVI M. Deep Learning: The Future of Real-Time Rendering? [EB/OL]. [2021-04-10]. https://openproblems. realtimerendering.com/s2017/.

[24] LIU E. Dlss 2.0 - image reconstruction for real-time rendering with deep learning[EB/OL]. [2021-04-10]. http://behindthepixels. io/assets/files/DLSS2.0.pdf.

[25] SOFOKLEOUS A. Review: H.264 and MPEG-4 video compression: video coding for next-generation multimedia[J]. The Computer Journal, 2005, 48(5): 563.

Future-frame-based temporal anti-aliasing research and practice

DU Xing-sheng1, WU Tong2, ZHANG Jing-yi2, LI Gen2, LI Xin3, ZHANG Yan-ci1,2

(1. College of Computer Science, Sichuan University, Chengdu Sichuan 610065, China; 2. National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu Sichuan 610065, China; 3. National Airspace Management Center, Beijing 101318, China)

Highly advantageous in efficiency, the algorithm of temporal anti-aliasing has been one of the most widely employed real-time anti-aliasing algorithms in recent years. To achieve real-time anti-aliasing, this algorithm assigns the sampling points to the multiple history frames and reuses historical data. When the sampling information in the time domain is sufficient and historical data is usable, it can achieve a similar effect as supersampling anti-aliasing can. However, problems such as geometric edge jagging, ghosting, and subpixel detail missing will arise in the use of this algorithm in practical applications. Based on the research of temporal anti-aliasing, this thesis proposed the future-frame-based temporal anti-aliasing to solve the problems. The basic idea of the proposed algorithm was that: using the existing information in the time domain, it took the next aliasing future frame into account, using samples in future frame to enhance the geometric anti-aliasing effect, achieve anti-ghosting, and improve the situation of subpixel detail missing. In the process of implementation, this thesis proposed solutions to reusable future data extraction and future data reuse. Experimental results indicate that compared with the temporal anti-aliasing, the proposed algorithm can yield a better effect.

temporal anti-aliasing; future frame; geometric anti-aliasing; anti-ghosting; subpixel detail missing

23 June，2021；

TP 391

10.11996/JG.j.2095-302X.2022010133

A

2095-302X(2022)01-0133-08

2021-06-23；

2021-08-03

3 August，2021

國家重大項(xiàng)目(GJXM92579)

National Key Projects (GJXM92579)

杜興盛(1997–)，男，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)。E-mail：1425174059@qq.com

DU Xing-sheng (1997–), master student. His main research interest covers computer graphic. E-mail：1425174059@qq.com

張嚴(yán)辭(1975–)，男，教授，博士。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、基于GPU的通用并行計(jì)算、3D游戲技術(shù)等。E-mail：yczhang@scu.edu.cn

ZHANG Yan-ci (1975–), professor, Ph.D. His main research interests cover computer graphic, generic GPU-based parallel computing, 3D game technical, etc. E-mail：yczhang@scu.edu.cn