The Past 10 Years Of Computational Photography

回想大約十年前，當(dāng)人們談?wù)撓鄼C和照片時，通常只會提到降噪處理和色彩傾向，而沒有其他。而在2019年，當(dāng)我們手握一臺相機或手機時，無論你是否感覺得到，算法和人工智能技術(shù)都已經(jīng)在自動對焦、取景畫面、場景優(yōu)化、畫質(zhì)優(yōu)化等方面發(fā)揮著重要作用。比如，有些算法能讓相機識別出動物的眼睛，有些算法能讓手機拍出純凈的夜景，還有些算法能模擬大光圈鏡頭的虛化效果。

現(xiàn)在，我們不妨回顧過去10年，看看計算攝影和人工智能技術(shù)是如何一步步融入我們的拍照設(shè)備，改變消費者覺得已經(jīng)完善的攝影體驗。再展望未來，看看決定未來拍照設(shè)備優(yōu)劣的，是哪些核心要素。

序幕 數(shù)碼照片是什么？

你以為的算法，和我們說的算法。

膠片照片的本質(zhì)是化學(xué)反應(yīng)，而數(shù)碼照片的本質(zhì)是計算。

當(dāng)你拿起一臺相機或手機，拍下一張照片。通常情況下，你的相機并沒有完全看清楚你要拍的畫面，因為絕大多數(shù)傳感器都是由紅、綠、藍三種馬賽克傳感器組成的——這就是像素。每個像素只“看”到一種顏色，而隔壁像素是什么樣子，就只能依賴算法來“猜”出來。即使如適馬X3這樣模擬膠片的特殊結(jié)構(gòu)傳感器，在生成圖像時為了均衡每一層獲得的信息，也需要相機的影像處理器進行大量運算。

當(dāng)然，如今數(shù)碼相機的進步，這種“猜”已經(jīng)變得近乎i00%準確了。所以本文中所提及的算法，并不是指這種簡單的為了解決還原成像的基礎(chǔ)運算，而是指讓一張數(shù)碼照片變得更好的那些算法。這也是如今計算攝影的方向——通過各種算法，讓人們擺脫硬件的限制，得到更好的、更富創(chuàng)意和美感的畫面。

感光元件看起來似乎是“鐵板一塊”，其實是有很多個小格子組成，每一個格子上都有紅、綠、藍三種顏色中的一種，這就是“像素”。

起點 一次快門=一張照片？

當(dāng)一張照片解決不了問題的時候，那就多拍幾張。

斯坦福大學(xué)團隊開發(fā)的計算攝影實驗平臺，使用佳能鏡頭，運行Linux操作系統(tǒng)。后來這套系統(tǒng)被移植到一臺諾基亞N900手機中，并實現(xiàn)了當(dāng)時手機不能完成的拍攝功能。

很多人覺得是手機催生了計算攝影，因為相比擁有大尺寸傳感器的相機，手機先天的成像質(zhì)量和玩法都比較可憐。但實際上第一個計算攝影平臺是一部相機。在2010年，斯坦福大學(xué)的科研人員苦于沒有用于研究計算攝影的工具，于是就自己造了一臺“相機”——FrankenCamera（名字取自科學(xué)怪人弗蘭肯斯坦）。它是一個能安裝佳能鏡頭，側(cè)面還有手柄和快門的相機。但這幾個部件也是該相機上僅有的看上去像相機的部分，它其余的部分就像一個黑盒子，充斥電路板和各種接口，方便進行調(diào)試——這臺相機使用Lin ux系統(tǒng)，可以進行編程操控。

隨后，科研人員將基于FrankenCamera的系統(tǒng)移植到了一臺諾基亞N900手機上，并讓這臺功能并不出色的手機實現(xiàn)了HDR取景與拍攝、增強動態(tài)范圍的全景攝影、更純凈的弱光拍攝和多重曝光創(chuàng)意拍攝等功能。

計算攝影的初步功能：將短曝光多噪點照片的清晰輪廓和長曝光低噪點照片的純凈畫面融合之后得到的優(yōu)化夜景畫面。

計算攝影的初步功能：基于自動HDR拍攝的全景照片

這些功能之所以能實現(xiàn)，普遍是由于使用了多張拍攝照片，然后將各自最優(yōu)部分計算合成的原理。簡單說，這意味著獲得一張高畫質(zhì)照片的方式，不再只有使用更大、更先進傳感器這一條路，而是可以通過一次拍攝多張照片來獲得。

初露 兩個鏡頭，一張照片

讓手機達到相機的虛化效果

斯坦福的科研團隊后來被谷歌收編，奠定了谷歌在算法領(lǐng)域的領(lǐng)先地位。但正因為安卓陣營的開放性，導(dǎo)致最開始被人們熟知的算法手機并非來自谷歌。2014年，HTC發(fā)布了M8系列手機，首次搭載了雙攝像頭——其中主攝像頭負責(zé)拍攝照片的亮度和色彩信息，另一顆攝像頭負責(zé)采集深度信息并用于背景虛化模擬。只不過受限于當(dāng)時的算法和體驗都不夠完善，HTC M8系列手機并沒有引起很大波瀾。

兩年后，即2016年，雙攝手機迎來了全面爆發(fā)。這一年華為推出了與徠卡聯(lián)合打造的P9，憑借“彩色+黑白”的雙攝組合大獲成功。同年蘋果公司也發(fā)布了首款變焦雙攝手機iPhone了Plus。由止E兩家公司開啟了雙攝的兩個不同方向，前者側(cè)重夜景成像，而后者更側(cè)重于人像虛化的模擬效果。自2016年開始，幾乎所有旗艦級手機都搭載了兩個或兩個以上的攝像頭，至2019年，三攝、四攝手機都已不鮮見。

谷歌公司也開始發(fā)力，在2016年推出了Pixel手機，雖然它只有一個攝像頭，但卻能憑借人工智能技術(shù)的加持，實現(xiàn)只有雙攝手機才能獲得的背景虛化模擬效果。

手機直接拍攝的照片，受限于傳感器面積較小，幾乎沒有虛化效果。此外人物面部由于在陰影中，光線質(zhì)感也顯得不夠美觀。

使用人像模式拍攝的照片，不僅模擬相機上大光圈鏡頭的虛化效果，還通過人像光效算法模擬了更具質(zhì)感的光線效果。

初露 找到眼睛

相機廠商的算法優(yōu)化

在手機廠商拼命想擺脫“底大一級壓死”的宿命時，相機廠商們的節(jié)奏要慢了許多，但也并非停滯不前。

2012年，Lytro光場相機誕生了，憑借獨特的硬件設(shè)計與算法，光場相機實現(xiàn)了先拍照后對焦等獨特功能。只可惜由于產(chǎn)品不夠接地氣，銷量慘淡，最終在2018年公司關(guān)閉后部分員工被谷歌接收。

相比實驗性質(zhì)更強的光場相機，奧林巴斯于2011年推出的E-PL2上實現(xiàn)的眼部檢測對焦更具實際意義。這一技術(shù)在2013年被索尼用于全畫幅微單，并隨著微單相機的崛起漸漸成為標配。

特別是在2018年到2019年，索尼通過固件升級的方式讓所有α7三代機身和α9都實現(xiàn)了實時追蹤和實時眼部追蹤功能。在這一升級中，相機可以認出被攝主體的圖案、色彩和距離，再結(jié)合人工智能識別出被攝人物或動物的雙眼，再調(diào)用相應(yīng)的對焦點進行對焦，而不是以往的只依賴距離和色彩信息那樣簡單。

新一代索尼微單相機具備的基于人工智能技術(shù)的對焦原理示意圖：相機實時采集處理色彩、圖案、距離和面容信息，并依靠AI從數(shù)據(jù)庫的深度學(xué)習(xí)，找到并追蹤當(dāng)前畫面中人物的眼睛。

佳境 一次快門，n張照片

計算攝影的無限可能

有趣的是，無論是手機還是相機，要獲得超越以往的畫面效果，都依賴于兩大核心要素——傳感器的高速讀取和處理器的高速處理。比如索尼α9的傳感器數(shù)據(jù)讀取能力就是前代機型的20倍，而手機的處理器幾乎每年都會有大幅提升。

在有了這兩高保障之后，相機才能隨時捕捉運動中的物體，手機也才可以在按下快門的同時拍攝多張照片，然后依據(jù)不同的計算原則進行對齊、合成和優(yōu)化運算。

我們可以通過手機上的夜景模式來一窺計算攝影的魅力。

通過對比照片，你會發(fā)現(xiàn)這其中的差異非常明顯，不僅畫面更加純凈，噪點減少了許多，細節(jié)和色彩也得到了增強。更重要的是，由于并非機械的進行多張疊加，而是在確立基準幀之后再進行疊加，所以即使沒有三腳架輔助，也能獲得沒有重影的高品質(zhì)夜景照片。

將手機上的夜景模式與相機照片相比，在畫面直觀感受上也毫不遜色，甚至由于多張合成了不同曝光的照片，在寬容度方面還比相機表現(xiàn)得更好。

驗證計算攝影對夜景照片的巨大提升

下面的九宮格照片分別是手機直接拍攝、使用夜景模式拍攝和相機拍攝的弱光畫面。從左側(cè)照片你能看出，手機本身的弱光成像并不如最右側(cè)的相機。但憑借出色的夜景算法，能極大提升畫面細節(jié)，降低噪點（中間圖片）。值得注意的是，所有圖片均為手持拍攝，沒有使用三腳架。

展望 如何算出好結(jié)果？

算法，可以讓夜景拍攝不再需要三腳架、讓慢速快門不再需要ND濾鏡、讓人像虛化不必依賴大光圈鏡頭、讓畫面不再曝光過度、讓人像跑焦不再困擾攝影愛好者……

似乎計算攝影、人工智能可以幫我們解決很多問題。但不可否認的是，也會讓我們犯一些以前不會犯的錯誤。

目前幾乎所有手機都可以拍攝星空、星軌照片，打破了以往被相機壟斷的星野題材。當(dāng)然，星野攝影的畫質(zhì)方面還是相機更勝一籌，但易用性方面無疑手機更佳。

比如，某些安卓手機盡管具備出色的人工智能影像算法，但是拍出的照片色彩始終過于艷俗而不令人滿意，色彩的準確性也偶有問題。這就不再是算法是否準確的問題，而是算法背后，編寫算法的人與審核算法的人的美學(xué)修養(yǎng)問題。

人工智能也好，算法也好，它們就像是一個孩子，如何訓(xùn)練它們，如何教會它們正確的看待事物，是廠商的職能與責(zé)任。

計算攝影大事件

◎2010年一斯坦福大學(xué)團隊開發(fā)出用于計算攝影研究和實驗的Franken Camera，并將其算法導(dǎo)入到了一臺諾基亞N900手機當(dāng)中。

◎2011年-奧林巴斯發(fā)布M4/3規(guī)格的E-PL2微型單電相機，首次在相機上實現(xiàn)了眼部檢測功能，也就是相機可以自動對焦到人物的眼睛上。

◎2012年-Lytro光場相機上市銷售，通過捕捉光線和景深信息，以及復(fù)雜的圖像運算，可以獲得先拍照后對焦、3D照片拍攝等功能。

◎2013年-索尼發(fā)布全畫幅微單相機α7，這是首款支持眼部識別對焦功能的全畫幅微單相機。

◎2014年-HTC M8手機問世，首次使用了雙攝像頭來采集深度信息，模擬背景虛化效果。

◎2016年-華為發(fā)布P9手機，首次使用了“彩色+黑白”的雙攝組合，除了可以模擬背景虛化，黑白攝像頭也可單獨成像和輔助提升彩色照片畫質(zhì)。

◎2016年-蘋果發(fā)布首款搭載變焦雙攝的手機iPhone 7 Plus，主打人像虛化模擬，并內(nèi)置了多種模擬光效。

◎2016年-谷歌發(fā)布Pixel手機，首次利用人工智能技術(shù)在單攝手機上實現(xiàn)了人像背景虛化效果。

◎2017年-蘋果發(fā)布iOS 11操作系統(tǒng)，首次在移動設(shè)備上使用了HEIF（高效率圖像格式），取代了JPG格式。HEIF格式的照片所占存儲空間只有JPG格式的一半，支持16位色彩和更好的寬容度表現(xiàn)，還能在編輯圖像時保留原圖，實現(xiàn)無損編輯。

◎2018年-vivo在展出APEX概念機時發(fā)布了超級HDR功能、可以實現(xiàn)約14ev動態(tài)范圍的拍攝效果。

◎2018年-華為發(fā)布P20系列相機，首次搭載了基于人工智能技術(shù)的夜景模式，通過算法極大的提升了手機的夜景細膩程度和寬容度。這一技術(shù)在一年后的P30系列上更加成熟。

◎2018-2019年-索尼為旗下α9、α7 Ⅲ、α7R Ⅲ等多款機型推送了新固件。新固件基于人工智能技術(shù)，讓相機可以識別并追蹤被攝主體。還可以進行更高效精準的實時眼部對焦。并且不僅能識別人眼.還可以識別一些動物的眼睛。

◎2019年-蘋果在iPhone 11系列手機上，使用了全新的夜景算法和深度融合（Deep Fusion）技術(shù)，并將手機的智能HDR效果推上了一個新的高度。

◎2020年-佳能將會在旗艦單反EOS-1D X Mark Ⅲ中使用深度學(xué)習(xí)技術(shù)，提升自動對焦穩(wěn)定性和追焦性能，并將支持HEIF格式照片的拍攝。