賈鵬

在剛剛過(guò)去的2022驍龍峰會(huì)上，高通的第二代驍龍8移動(dòng)平臺(tái)正式發(fā)布。除了一如既往的突出性能表現(xiàn)，影像技術(shù)上的進(jìn)步同樣讓業(yè)界側(cè)目。新平臺(tái)內(nèi)嵌了領(lǐng)先行業(yè)的首個(gè)認(rèn)知ISP（Cognitive-ISP），在即將到來(lái)的一大波智能手機(jī)新品中，實(shí)時(shí)語(yǔ)義分割、Pro Sight視頻拍攝功能等一眾新技術(shù)，將為內(nèi)容創(chuàng)作者帶來(lái)專(zhuān)業(yè)的移動(dòng)影像體驗(yàn)。

譜寫(xiě)手機(jī)影像發(fā)展史

不難發(fā)現(xiàn)，智能手機(jī)影像技術(shù)的每次突破，都離不開(kāi)驍龍移動(dòng)平臺(tái)ISP的助力。在高通推出首款雙ISP后，高像素、2PD對(duì)焦、4K視頻/HDR視頻拍攝逐漸實(shí)現(xiàn)，并在2016年的Spectra 180 ISP上實(shí)現(xiàn)支持雙攝方案以及平滑的光學(xué)變焦。至此，手機(jī)攝影才有了現(xiàn)在的雛形。

然而，單純提升ISP運(yùn)算性能已不能滿(mǎn)足更復(fù)雜的拍攝場(chǎng)景，和更高質(zhì)量的成像需求。因此高通推出了Spectra 380 ISP，這也是全球首個(gè)CV-ISP，使智能手機(jī)具備了計(jì)算機(jī)視覺(jué)（CV）能力，照片和視頻的優(yōu)化可以具體到每一幀。手機(jī)拍攝4K HDR 10bit視頻也成為可能，并實(shí)現(xiàn)了對(duì)象分類(lèi)和對(duì)象分割。至于后續(xù)上線(xiàn)的8K HDR視頻、4K/120FPS、杜比視界等功能，則是極大豐富了視頻內(nèi)容生產(chǎn)者的創(chuàng)作手法和想象力。

不過(guò)大家有沒(méi)有發(fā)現(xiàn)，盡管驍龍ISP的運(yùn)算已經(jīng)觸及到幀，像夜景拍照，可以以極快速度將優(yōu)化好的多張照片合成。但是，這跟我們?nèi)粘?yōu)化照片還是有差別，那就是具體到畫(huà)面的每一部分。例如天空、背景的色調(diào)、人臉的細(xì)節(jié)，每一部分去詳細(xì)優(yōu)化，手機(jī)攝影能做到嗎？

讓手機(jī)鏡頭感知世界

這個(gè)問(wèn)題，在第二代驍龍8移動(dòng)平臺(tái)的認(rèn)知ISP到來(lái)后，答案是肯定的。對(duì)比傳統(tǒng)強(qiáng)調(diào)算力的ISP，認(rèn)知ISP以AI為先導(dǎo)，可以理解為有思維的圖像計(jì)算，與人眼一樣，認(rèn)知ISP也能觀(guān)察并理解照片中的“世界”。

在拍攝照片和視頻時(shí)，認(rèn)知ISP可以進(jìn)行實(shí)時(shí)的語(yǔ)義分割。在場(chǎng)景中感知人臉、面部特征、頭發(fā)、衣服和天空等細(xì)節(jié)，并進(jìn)行獨(dú)立優(yōu)化。這樣的好處是顯然易見(jiàn)的，過(guò)去的多幀合成只能做到亮部/暗部，或者整體色彩的調(diào)節(jié)?，F(xiàn)在，無(wú)論是照片或是視頻，都可以對(duì)每一幀二維的畫(huà)面進(jìn)行八層語(yǔ)義分割，然后再加入時(shí)間深度上的語(yǔ)義，就可以對(duì)每層應(yīng)用做定制化處理。按照我們?nèi)粘Ｌ幚硭夭牡男袨閬?lái)區(qū)分的話(huà)，傳統(tǒng)ISP更像是一鍵生成，而認(rèn)知ISP則更符合精修的概念。

那問(wèn)題又來(lái)了，如此復(fù)雜的圖像計(jì)算，效率與能耗會(huì)不會(huì)造成負(fù)擔(dān)。實(shí)際上，第二代驍龍8的效率更高了。首先用于處理情境感知任務(wù)的AI處理器增加到兩顆，識(shí)別效率和運(yùn)算速度加倍。另外，Hexagon處理器和ISP之間，增加了名為“Hexagon直連”的物理連接，圖形計(jì)算的處理上都能在ISP內(nèi)部完成，讓AI在影像中的運(yùn)算效率大幅提高。

細(xì)節(jié)到發(fā)絲的優(yōu)化

實(shí)際拍攝效果又是如何，可以看虹軟基于認(rèn)知ISP，針對(duì)人像特寫(xiě)頭發(fā)部分的優(yōu)化。在保持人臉膚質(zhì)細(xì)節(jié)前提下，頭發(fā)部分進(jìn)行了柔化處理，原來(lái)略顯分叉的發(fā)絲，在優(yōu)化后變得柔順起來(lái)，這是在視頻中實(shí)時(shí)進(jìn)行的局部柔化處理，為了增加難度，頭發(fā)也在不斷飄動(dòng)。完整看下來(lái)，實(shí)時(shí)處理也沒(méi)有出現(xiàn)翻車(chē)現(xiàn)象，認(rèn)知ISP確實(shí)表現(xiàn)出極高的運(yùn)算效率。

至于時(shí)下非常熱門(mén)的視頻虛化功能，虹軟實(shí)現(xiàn)了更為生動(dòng)的電影模式。相比傳統(tǒng)單一的人像虛化，認(rèn)知ISP可以根據(jù)畫(huà)面的人物或主體變化，實(shí)時(shí)切換對(duì)焦點(diǎn)，完成前后景深虛化效果的自然變化。而且從實(shí)拍效果能看到，這個(gè)景深變化也很符合人眼看到的效果。

至于對(duì)視頻質(zhì)量要求更高的內(nèi)容生產(chǎn)者，認(rèn)知ISP提供了Pro Sight視頻拍攝模式，相比普通視頻，Pro Sight視頻的比特率提升了5倍。

玩過(guò)視頻拍攝的用戶(hù)都知道，比特率是個(gè)關(guān)鍵參數(shù)，原理上比特率越高畫(huà)質(zhì)越好。因?yàn)楦弑忍芈实漠?huà)面擁有更多的細(xì)節(jié)、更好的寬容度，更少的噪點(diǎn)，這樣的視頻將擁有更好的后期空間。

定義超前的未來(lái)規(guī)格

除了當(dāng)下的新功能，認(rèn)知ISP的潛力還來(lái)自于超前的規(guī)格。在谷歌安卓13設(shè)備上，可以拍攝10 Bit HDR的視頻以及8K HDR 60 fps的視頻，并支持2億像素的照片拍攝。

為此，三星全新的2億像素圖像傳感器ISOCELL HP3專(zhuān)門(mén)面向第二代驍龍8進(jìn)行了優(yōu)化，能夠在驍龍平臺(tái)上支持采用Re-mosaic像素重排技術(shù)實(shí)現(xiàn)高分辨率照片拍攝。

而索尼IMX800以及1英寸的索尼IMX989，則是首批面向驍龍調(diào)優(yōu)的QDOL HDR圖像傳感器。視頻的每一幀將融合4重曝光，為視頻拍攝帶來(lái)出色的HDR效果。QDOL4技術(shù)使視頻和照片能夠?qū)⒐饩€(xiàn)最暗處和最亮處的細(xì)節(jié)呈現(xiàn)在同一畫(huà)面上。

可預(yù)見(jiàn)的手機(jī)影像飛躍

移動(dòng)影像技術(shù)向來(lái)是驍龍移動(dòng)平臺(tái)的核心部分，從認(rèn)知ISP的具體表現(xiàn)來(lái)看，驍龍?jiān)谶@方面依然保持著充足的競(jìng)爭(zhēng)力。對(duì)于用戶(hù)來(lái)說(shuō)，認(rèn)知ISP的能力也很快能在即將發(fā)布的旗艦手機(jī)上感受到，大家不妨拭目以待。