郭育青

使用奧林巴斯E-M5 Mark II相機(jī)像素位移功能拍攝的樹(shù)林，在高解像度模式下，E-M5 Mark II會(huì)連續(xù)拍攝8個(gè)影像，每個(gè)影像之間，相機(jī)的防抖系統(tǒng)會(huì)將感光元件平移0.5個(gè)像素，相機(jī)自動(dòng)將8個(gè)原來(lái)只有1600萬(wàn)像素的影像變成4000萬(wàn)像素影像。

熟悉彩色數(shù)碼攝影的朋友應(yīng)該了解，相機(jī)能夠拍到彩色影像是因?yàn)槊總€(gè)像素點(diǎn)都記錄下了紅、綠、藍(lán)三種色彩信息。目前主流的采用拜爾陣列式CMOS的數(shù)碼相機(jī)在傳感器表面覆蓋了一層規(guī)律排列的濾光層，上面排列了與下層像素點(diǎn)對(duì)應(yīng)的紅、綠、藍(lán)濾光鏡，光線攝入傳感器后，經(jīng)過(guò)拜耳陣列被分解為紅、綠、藍(lán)單色光，再到達(dá)下層的像素點(diǎn)，傳感器便記錄下這個(gè)單色光的光強(qiáng)信息。這樣，每一個(gè)像素點(diǎn)的真實(shí)色彩信息只包含三原色其中之一，再經(jīng)過(guò)圖像信號(hào)處理器進(jìn)行插補(bǔ)計(jì)算而得到每一個(gè)像素點(diǎn)的紅、綠、藍(lán)信息。這個(gè)過(guò)程被稱(chēng)為“解馬賽克”（DeMosaic），我們現(xiàn)在所說(shuō)的“偽像”“摩爾紋”等都和解馬賽克的過(guò)程有關(guān)。而且，解馬賽克的過(guò)程中通常會(huì)假設(shè)顏色給定圖像中某個(gè)區(qū)域的像素相對(duì)恒定。在這種假設(shè)下，顏色通道高度相關(guān)，重建欠采樣顏色信息的過(guò)程中出現(xiàn)不自然的現(xiàn)象也就不足為奇了。

“解馬賽克”原理

此方案最早是柯達(dá)公司科學(xué)家拜耳（Bryce Bayer）發(fā)明的，因此被稱(chēng)作“拜耳陣列”，現(xiàn)在廣泛運(yùn)用于生成數(shù)字圖像?！鞍荻袷健笔窍鄼C(jī)內(nèi)部的原始圖片格式，一般我們習(xí)慣稱(chēng)之為RAW格式。存儲(chǔ)在存儲(chǔ)卡上的JPG或其它格式圖片， 都是從RAW格式轉(zhuǎn)化過(guò)來(lái)的。

目前大多數(shù)相機(jī)和手機(jī)攝像頭都采用拜耳陣列式傳感器，所拍攝圖片的分辨率主要取決于傳感器尺寸與像素?cái)?shù)量。和傳統(tǒng)單反相機(jī)相比，以智能手機(jī)為代表的小尺寸相機(jī)傳感器小很多，像素?cái)?shù)量少，這限制了它們的分辨率。也有一些相機(jī)在小尺寸傳感器的基礎(chǔ)上依然配備了很高的像素?cái)?shù)量，但單個(gè)像素尺寸很小，又限制它們拍攝出畫(huà)面的信噪比。

然而，作出大尺寸傳感器并不是簡(jiǎn)單的事，而且大尺寸傳感器必然導(dǎo)致相機(jī)尺寸增大。因此不少?gòu)S商便開(kāi)始研究如何在不犧牲像素點(diǎn)大小、不增加傳感器尺寸的前提下提高圖像分辨率。以?shī)W林巴斯和松下為代表的廠商多年前曾推出過(guò)一種像素位移技術(shù)（也被稱(chēng)作“搖搖樂(lè)”），在傳感器尺寸和像素?cái)?shù)固定的情況下，試圖利用通過(guò)連續(xù)拍攝多幀圖像的方法提升物理分辨率。不過(guò)這種方式對(duì)于拍攝的要求很高：首先，它要求相機(jī)必須是完全紋絲不動(dòng)地放在拍攝位置上;其次，只在一些特殊的具有機(jī)身防抖的相機(jī)上才能用。如此，“搖搖樂(lè)”可以說(shuō)是一種高端攝影功能，難以推廣也不易上手。

不過(guò)，科學(xué)家們還是有其他辦法來(lái)實(shí)現(xiàn)超高分辨率，比如業(yè)內(nèi)有一類(lèi)非常流行的基于機(jī)器學(xué)習(xí)的算法——單幀超分算法，最具代表性的是谷歌的RAISR剃刀算法。它的處理過(guò)程基于單張照片，通過(guò)機(jī)器學(xué)習(xí)的方式，分區(qū)增強(qiáng)不同特征的細(xì)節(jié)和層次，以達(dá)到整體的分辨率提升，同時(shí)還能保證較高的峰值信噪比。這個(gè)方法在很多手機(jī)和相機(jī)上已經(jīng)得到應(yīng)用了，其優(yōu)點(diǎn)和缺點(diǎn)也都很明顯：優(yōu)點(diǎn)是的確會(huì)讓你在肉眼感受上覺(jué)得畫(huà)面的分辨率有提升，銳度有提高;缺點(diǎn)是它并非真正的物理分辨率的提升，同時(shí)還要求你的硬件能夠勝任這種機(jī)器學(xué)習(xí)的算法。

搖搖樂(lè)的原理

采用像素位移技術(shù)拍攝的海邊礁石和海浪，分辨率16736×11168，松下S1R相機(jī)、24-105mm F4變焦鏡頭，f/6.3，1/3200秒，ISO 800

另外一種行之有效的方案是利用多幀圖像來(lái)做超高分辨率圖像的合成，這也是目前手機(jī)、相機(jī)都非常樂(lè)于采用的一種計(jì)算攝影方法，最典型的應(yīng)用是可以在蘋(píng)果和谷歌手機(jī)上實(shí)現(xiàn)的“無(wú)損數(shù)碼變焦”，尤其是谷歌Pixel3手機(jī)。谷歌Pixel3背后只有一顆攝像頭，卻仍然可以在2倍放大圖片時(shí)保持分辨率不變。

RAISER算法的效果，上圖為原圖，下圖為超高分辨率圖片

這個(gè)方法背后的思想是利用手腕的自然晃動(dòng)來(lái)模擬出“搖搖樂(lè)”的效果?？此坪?jiǎn)單，但背后卻隱藏了深刻的科學(xué)原理?？茖W(xué)家通過(guò)大量的實(shí)驗(yàn)和驗(yàn)證發(fā)現(xiàn)人手腕的這個(gè)抖動(dòng)和“搖搖樂(lè)”實(shí)際上是等價(jià)的。手握著相機(jī)（或任何物體）時(shí)，自然的手部震顫總是存在的，振幅很低，具有高度周期性，頻率在8～12Hz的范圍內(nèi)，運(yùn)動(dòng)規(guī)模較小且隨機(jī)。并且大量實(shí)驗(yàn)表明，該行為不會(huì)隨年齡變化。因此，手部震顫移動(dòng)相機(jī)的運(yùn)動(dòng)規(guī)模足以提供亞像素級(jí)別的圖像對(duì)齊操作，從而能夠?yàn)槌直媛实乃惴ǖ於ɡ碚摶A(chǔ)。

因此，當(dāng)你手持拍攝的時(shí)候，超分辨率算法就利用手抖來(lái)提升分辨率;當(dāng)你的手機(jī)放在三腳架上時(shí)，算法會(huì)調(diào)用光學(xué)防抖來(lái)模擬“搖搖樂(lè)”以提升分辨率。最終結(jié)果是：不管你是手持還是不手持，拍出來(lái)的照片都會(huì)超越單張照片的物理分辨率極限。更進(jìn)一步講，多幀超分辨率的計(jì)算攝影算法本質(zhì)上是利用每一幀亞像素級(jí)別的微小偏移，在連拍的過(guò)程中直接得到了完整的RGB圖像，去掉了傳統(tǒng)數(shù)碼流程中解馬賽克這一步操作。這就使得同樣一個(gè)傳感器，物理分辨率提升了、畫(huà)面的信噪比也改善了，原來(lái)的種種奇怪的摩爾紋、偽色等也近乎消失了。

多幀超分辨率的效果對(duì)比

拍照時(shí)如果手抖，反而更清晰了。這并不是一句空談，而且已經(jīng)切切實(shí)實(shí)發(fā)生在我們身邊了。當(dāng)我起們拿手機(jī)拍照的時(shí)候，可能就已經(jīng)在用這個(gè)計(jì)算攝影方法了。只是這個(gè)方法是隱藏的，大多數(shù)人感受不到罷了。