中國科學(xué)院深圳先進(jìn)技術(shù)研究院高性能計(jì)算技術(shù)研究中心張?jiān)蒲芯繄F(tuán)隊(duì)在圖像級 JND 預(yù)測的研究取得進(jìn)展。相應(yīng)成果為“Liu HH, Zhang Y,Zhang H, et al.Deep learning based picture wise just noticeable distortion prediction for image compress[J].IEEE Transactions on Image Processing, 2020,29(1): 641-656(基于深度學(xué)習(xí)的圖像級 JND 預(yù)測與圖像壓縮應(yīng)用)”。

人眼不能察覺圖像中處于一定閾值以下的圖像像素細(xì)微的變化，該閾值就是人眼的恰可感知失真(Just Noticeable Distortion，JND)閾值，代表著圖像中的視覺冗余度。JND 閾值描述了人眼能感知的圖像最小失真，反映了人類視覺系統(tǒng)的感知能力及敏感度，被廣泛應(yīng)用于圖像/視頻編碼、流媒體應(yīng)用和水印技術(shù)中。傳統(tǒng)的像素域和頻率域 JND 模型，只針對單個(gè)像素/頻率的 JND閾值進(jìn)行估計(jì)，難以準(zhǔn)確估計(jì)整幅圖像的 JND閾值，而人眼是對整幅圖像的質(zhì)量進(jìn)行感知。為此，該研究提出一種基于深度學(xué)習(xí)的圖像級 JND預(yù)測模型。

該模型首先訓(xùn)練出二分類感知失真判別器，其能對壓縮圖像的失真能否被人眼感知進(jìn)行預(yù)測；其次，通過訓(xùn)練好的判別器對待測圖像和與待測圖像對應(yīng)的壓縮圖像進(jìn)行感知失真判別，得到判別結(jié)果集合；最后，通過 JND 搜索策略對感知失真判別結(jié)果集合進(jìn)行容錯(cuò)處理，從而降低JND 閾值的預(yù)測偏差，預(yù)測得到待測圖像的 JND閾值。

以美國南加州大學(xué) Kuo 教授等人提出的MCL-JCI 公開數(shù)據(jù)集為例，對所提方法的有效性進(jìn)行對比驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，所提出的 JND模型預(yù)測偏差，即 ΔPSNR 約為 0.7 dB，優(yōu)于傳統(tǒng)像素域以及頻率域的 JND 模型。應(yīng)用到 JPEG圖像壓縮中，可在相同視覺質(zhì)量下節(jié)省約 88%的比特率。

該研究首次提出圖像級 JND 預(yù)測模型的建模方法，有助于揭示人眼視覺系統(tǒng)視覺質(zhì)量感知過程，可服務(wù)于圖像/視頻編解碼、流媒體應(yīng)用。

傳統(tǒng)失真模型與基于 JND 的失真模型