徐仁東

（富智康(南京）通訊有限公司,江蘇南京，210000）

0 引言

手機(jī)雙攝頭指的不是前置后置雙攝像頭，雙攝手機(jī)是指一個(gè)智能手機(jī)背面或者正面上有兩個(gè)并排（橫排或者豎排）的攝像頭。當(dāng)前手機(jī)雙攝通過不同的組合可以實(shí)現(xiàn)背景虛化功能，提升夜景模式拍攝圖片的質(zhì)量，實(shí)現(xiàn)光學(xué)變焦［1］，以及三維重建等應(yīng)用。

1 常見的幾種雙攝搭配

■1.1 彩色攝像頭（RGB）+彩色攝像頭（RGB）

主要用于計(jì)算景深，實(shí)現(xiàn)背景虛化和重對焦。單反相機(jī)讓人為之著迷的一點(diǎn)便是通過調(diào)整不同光圈值，拍出如夢似換的背景虛化效果。我們知道，單反相機(jī)通過增大鏡頭光圈可以縮小拍照時(shí)的合焦范圍。

■1.2 彩色相機(jī)(RGB) + 黑白相機(jī)(Mono)

提高夜景模式拍攝圖片的質(zhì)量主要有三種辦法：曝光時(shí)間延長、感光度ISO提高、光圈F增大。曝光的時(shí)間延長會帶來抖動的問題，于是手機(jī)廠商與camera模組廠設(shè)計(jì)了光學(xué)防抖；感光度ISO提高，同時(shí)也會帶了更多的噪點(diǎn)，影響了畫面清晰度，手機(jī)體積很小，厚度很小的限制下，也不能把傳感器尺寸繼續(xù)加大；手機(jī)光圈是固定值，在設(shè)計(jì)階段已經(jīng)確定，無法調(diào)整。廠商的算法工程師們，進(jìn)行創(chuàng)新，想要借助黑白世界的強(qiáng)大力量。

■1.3 廣角鏡頭（Wide）+長焦鏡頭（Tele）

主要用于實(shí)現(xiàn)光學(xué)變焦。在拍照時(shí)手機(jī)圖像處理器會通過廣角和長焦鏡頭組合搭配和融合算法來實(shí)現(xiàn)平滑的變焦，長焦鏡頭擁有高像素的特點(diǎn)彌補(bǔ)廣角鏡頭因變焦或畸變而損失的部分細(xì)節(jié)圖像信息，實(shí)現(xiàn)了優(yōu)于單攝像頭很多的圖像變焦效果和圖片成像質(zhì)量。

■1.4 彩色相機(jī)（RGB）+深度相機(jī)（Depth）

主要用于三維重建當(dāng)中深度攝像頭使用的最多是TOF相機(jī)。TOF通過給對應(yīng)場景中的目標(biāo)發(fā)送光脈沖，然后反射回來，通過探測光脈沖的往返時(shí)間來計(jì)算物體距離獲得具體物體的深度信息。

2 手機(jī)雙攝的關(guān)鍵技術(shù)

■2.1 背景虛化

單反相機(jī)吸引了很多攝影愛好者，其中讓人為之著迷的一點(diǎn)便是通過調(diào)整不同數(shù)值的光圈值，拍出夢境般的背景虛化效果。正如我們知道，單反相機(jī)通過機(jī)械的增大鏡頭光圈可以縮小拍照時(shí)的合焦范圍。光圈實(shí)際上是一直打開的，當(dāng)你按下快門時(shí)，光圈的大小會自動收縮至你在相機(jī)上設(shè)定的數(shù)值大小。我們在拍照時(shí)經(jīng)常聽到說開大光圈和小光圈。我們以應(yīng)用在35mm相機(jī)的50mm焦距人像鏡頭為例，最大光圈可以做到F1.4，此時(shí)相機(jī)的進(jìn)光量最大，最小光圈為F22，此時(shí)相機(jī)的進(jìn)光量最小。大光圈代表著光圈的f值最小，小光圈的f值最大，光圈的大小調(diào)節(jié)和設(shè)置的f值的大小是相反的，大光圈是小數(shù)值，小光圈是大數(shù)值。我們在單反相機(jī)或者手機(jī)上調(diào)節(jié)時(shí)，將相機(jī)模式設(shè)置成手動模式。圖1是人像進(jìn)光量與光圈F示意圖。光圈越大，背景越模糊，光圈越小，背景越清晰。

圖1 人像進(jìn)光量與光圈F示意圖

為了模擬這種虛化效果，雙攝手機(jī)利用人眼三角定位原理來計(jì)算被攝物體距離攝像頭的距離Z。如圖2所示。

圖2 人眼三角定位原理示意圖

得到需要拍照場景中每一個(gè)像素點(diǎn)距離相機(jī)感光sensor的遠(yuǎn)近后，通過虛化算法保留對焦平面內(nèi)人像或景物的清晰度，將其余部分根據(jù)其相對于手機(jī)攝像頭遠(yuǎn)近距離進(jìn)行不同等級的模糊處理，就可以模擬出光圈虛化效果。

■2.2 光學(xué)變焦

光學(xué)變焦是用兩個(gè)攝像頭配合組成，這兩個(gè)攝像頭擁有不同的可視角（FOV），兩個(gè)攝像頭看到的角度不同，會導(dǎo)致取景的范圍不同。如果用戶需要更廣視角的圖片信息，就可以使用視角大的攝像頭拍照，取得廣角效果。當(dāng)用戶需要拍攝遠(yuǎn)點(diǎn)的圖像信息，則需要用長焦攝像頭，雖然視角小，但是分辨率高，可以獲得長焦效果。光學(xué)變焦鏡頭通常是由多組獨(dú)立的凸/凹透鏡組成的，有的透鏡是固定的，有的是可以沿光軸前后滑動的。復(fù)雜的變焦鏡頭可以包含多達(dá)三十多個(gè)獨(dú)立的透鏡以及多個(gè)移動部件。變焦的功能主要通過改變無焦變焦系統(tǒng)來實(shí)現(xiàn)，它由多個(gè)固定的和可移動的透鏡組合而成，但是并不進(jìn)行聚焦，它通過改變光束穿過透鏡的位置來達(dá)到變焦的目的。

現(xiàn)在絕大多手機(jī)對于變焦（或者說遠(yuǎn)距離拍攝）的需求，很多都是通過嚴(yán)重壓縮圖像畫質(zhì)的數(shù)字變焦。在這種市場大環(huán)境下，廠商在接到用戶對手機(jī)拍照功能的主要訴求后。提出了這種光學(xué)變焦方案。但是如前面描述的，變焦鏡頭結(jié)構(gòu)復(fù)雜，非常依賴于各種光學(xué)透鏡的復(fù)雜組合，因此想用單攝像頭就實(shí)現(xiàn)光學(xué)變焦功能，對于廠商手機(jī)攝像頭的模組厚度、復(fù)雜度以及整體外觀設(shè)計(jì)，都帶來了很大的挑戰(zhàn)。限于手機(jī)機(jī)身厚度，想做出不伸出機(jī)身外的變焦攝像頭幾乎不可能。如果單鏡頭既然不行，有的廠商嘗試用兩個(gè)鏡頭來實(shí)現(xiàn)。

雙攝像頭技術(shù)的理論基礎(chǔ)，就是把原本需要縱向分布的空間光學(xué)體系，在橫向空間里相對寬裕的機(jī)身平面里鋪開?，F(xiàn)在手機(jī)厚度已經(jīng)越來越薄，有的薄到7mm，甚至向更薄發(fā)展，但是橫向看機(jī)背面上與屏幕平行平面的空間是足夠的。講白了，就是比起把鏡頭做得不突出機(jī)身，在機(jī)背面上多放幾個(gè)鏡頭明顯要更容易做到。

目前camera模組廠商和變焦相關(guān)算法提供商的研發(fā)和測試，這種廣角+長焦的雙攝像頭組合的變焦方案已經(jīng)被業(yè)界廠商接納。一個(gè)廣角鏡頭和一個(gè)長焦鏡頭的搭配，在用戶拍照后，系統(tǒng)會獲得兩個(gè)鏡頭的不同圖片，通過算法，會將鏡頭獲取的圖片，消除切換差異，并且融合兩種圖片，實(shí)現(xiàn)相對平滑的變焦功能。因?yàn)殚L焦鏡頭擁有很高的像素，能保證廣角鏡頭因變焦或畸變而丟失的圖像RAW信息遠(yuǎn)遠(yuǎn)低于單攝像頭用數(shù)字變焦實(shí)現(xiàn)的假變焦，進(jìn)而大幅提升手機(jī)的變焦功能的性能。這種組合方式已經(jīng)驗(yàn)證會得到非常好的光學(xué)變焦體驗(yàn)。

■2.3 夜景模式增強(qiáng)

很多手機(jī)都有夜景模式，如果用單攝實(shí)現(xiàn)這個(gè)功能，通常是用類似于HDR或者多幀的方式來實(shí)現(xiàn)，具體講就是夜景模式下，取連續(xù)的5-7幀圖像，進(jìn)行圖像融合，從而為了達(dá)到細(xì)節(jié)更加豐富的目的。但是這種方法有弊端，由于黑暗處物體的進(jìn)光量有限，即使多次疊加，效果仍然有限。那么為了帶來更好的用戶體驗(yàn)，廠商使用雙攝技術(shù)來實(shí)現(xiàn)彌補(bǔ)這個(gè)功能的不足。做夜景模式增強(qiáng)就是攝像頭一個(gè)用RGBG的拜耳陣列標(biāo)準(zhǔn)攝像頭，另外一個(gè)去掉RGBG 濾波片只保留Y方向的黑白攝像頭。標(biāo)準(zhǔn)拜耳陣列的用來獲得物體的色彩信息，而Mono攝像頭專門用來獲取進(jìn)光量，用來判斷被拍攝物體的亮度信息。然后將兩個(gè)圖片獲得的信息通過算法融合起來，就會使原本的照片新增更好的亮度。

■2.4 深度相機(jī)

深度相機(jī)是一種可以直接獲取場景中物體與攝像機(jī)之間的物理距離的相機(jī)。手機(jī)中新增的深度相機(jī)一般就是TOF。TOF的原理與3D激光傳感器基本相同。不同的是三維激光傳感器是逐點(diǎn)掃描，而TOF相機(jī)可以同時(shí)獲得一張完整圖像的深度信息。

本文介紹了一種高度簡化的測距原理［2］。照明光源通常采用方波脈沖調(diào)制，因?yàn)閿?shù)字電路比較容易實(shí)現(xiàn)。深度相機(jī)的每個(gè)像素由一個(gè)光敏單元（如光電二極管）組成，可以將入射光信號轉(zhuǎn)換成電流信號。光敏單元與多個(gè)高頻轉(zhuǎn)換開關(guān)相連，可將電流導(dǎo)入不同可以儲存電荷的電容器中。

相機(jī)上的控制單元先打開光源，然后關(guān)閉光源，發(fā)出一個(gè)光脈沖信號。同時(shí)，控制單元打開和關(guān)閉芯片上的每個(gè)像素點(diǎn)電子快門。用這種方式將光脈沖產(chǎn)生的電荷S0存儲在傳感器上。

然后，控制單元再次打開和關(guān)閉光源。這次快門稍后打開，即在光源關(guān)閉時(shí)。產(chǎn)生的電荷S1也存儲在傳感器上。因?yàn)橐粋€(gè)光脈沖的持續(xù)時(shí)間很短，這個(gè)過程會重復(fù)數(shù)千次，直到達(dá)到曝光時(shí)間為止。然后讀取傳感器中的值，并根據(jù)這些值計(jì)算實(shí)際距離。

計(jì)光速為c，tp為光脈沖的持續(xù)時(shí)間，S0為先前快門收集的電荷，S1為延遲快門收集的電荷，則距離d可通過以下公式計(jì)算：

最小可測量距離是，在較早的快門周期期間S0中收集了完整的電荷，而在延遲快門周期期S1中完全沒有收集到電荷，即S1＝0。代入公式計(jì)算，可以得到最小可測量距離d=0。最大的可測量的距離是所有的電荷都集中在S1中，而不是在S0中。然后，由公式得出d=0.5×c×tp。因此，最大可測距離由光脈沖寬度決定的。例如，tp=50ns，代入上式，得到最大的測量距離d=7.5m。

深度相機(jī)的應(yīng)用主要包括以下幾個(gè)方面：

(1)手勢識別。TOF深度相機(jī)可以將人臉、身體、手臂和手指從背景中分離出來，分割可信度高，不受自然光變化的影響。同時(shí)，它可以實(shí)時(shí)處理，在智能交互領(lǐng)域有著廣泛的應(yīng)用前景。華為Mate30、Mate40系列的隔空操作功能，就是這個(gè)技術(shù)進(jìn)入消費(fèi)電子產(chǎn)品領(lǐng)域的最好代表。

(2)近乎真實(shí)的AR游戲體驗(yàn)。由于二維圖像中包含了實(shí)時(shí)的深度信息，AR游戲的用戶體驗(yàn)更加真實(shí)。例如，一只虛擬出來的貓可以通過實(shí)時(shí)的空間深度感知空間的相對位置。到了桌子的邊緣，會很自然跳到地上，這在以往的AR游戲中是很難實(shí)現(xiàn)的。

(3)三維空間的測量。由于深度信息可以實(shí)時(shí)獲取，三維空間測量的實(shí)現(xiàn)是自然的。比如在室內(nèi)裝飾領(lǐng)域，各種虛擬家具可以方便地放置在真實(shí)尺寸的真實(shí)環(huán)境中，用戶可以用手機(jī)在室內(nèi)體驗(yàn)到360°的家居真實(shí)效果，這無疑是一個(gè)激動人心的應(yīng)用場景。

(4)三維掃描/重建。例如，如果你看到一個(gè)你非常喜歡的雕塑，你可以用手機(jī)上的彩色相機(jī)和深度相機(jī)掃描一周。結(jié)合相應(yīng)的算法，可以生成雕塑的三維模型數(shù)據(jù)，并使用3D打印機(jī)輕松打印出三維雕塑副本。

3 結(jié)語

手機(jī)雙攝技術(shù)已經(jīng)得到了市場的充分的認(rèn)可，硬件的條件已經(jīng)具備。未來基于雙攝像頭技術(shù)的更多應(yīng)用，會給我們的生活帶來各種變化。當(dāng)然手機(jī)廠商也會在手機(jī)上添加更多的攝像頭，普通用戶的攝像體驗(yàn)會越來越好，笨重的單反也會離我們越來越遠(yuǎn)。