徐林

如履薄冰的自研6nm

2021年是一個(gè)重要的時(shí)間節(jié)點(diǎn)，在這一年，小米與vivo先后推出了自研的ISP芯片：澎湃C1和vivo V1，進(jìn)一步助推自己在手機(jī)影像領(lǐng)域的技術(shù)演進(jìn)。隨后，OPPO自研芯片也將要問(wèn)世的消息就接踵而至，但爭(zhēng)議也隨之而來(lái)。因?yàn)榕炫菴1和vivo V1先后都被網(wǎng)友找到了和第三方芯片公司業(yè)已存在的芯片有所關(guān)聯(lián)，紛紛質(zhì)疑其自研 的含金量。

對(duì)此我也感覺(jué)挺無(wú)奈的，因?yàn)樾酒邪l(fā)的鏈條本來(lái)就很長(zhǎng)，介入方式也是多種多樣，將自主IP植入再由芯片生產(chǎn)廠商流片這本來(lái)就是一種常見(jiàn)且成熟的模式，其優(yōu)勢(shì)就是可以快速將自主IP硬化商用，從而節(jié)約時(shí)間與成本，并為后續(xù)的演進(jìn)和設(shè)計(jì)提供經(jīng)驗(yàn)。要是按很多網(wǎng)友嚴(yán)格的自研標(biāo)準(zhǔn) 來(lái)衡量，那我們熟悉的麒麟、蘋(píng)果、高通還有聯(lián)發(fā)科估計(jì)都算不得是自研，因?yàn)樗鼈儾捎玫腎P都來(lái)自于ARM而非自主開(kāi)發(fā)，算來(lái)算去可能只有Intel這種才是真自研吧……

話題扯遠(yuǎn)了，說(shuō)回OPPO。當(dāng)馬里亞納 X正式發(fā)布的時(shí)候，其類型可能出乎很多人的意料：它是一枚專門用于AI影像處理的NPU，而非之前盛傳的ISP。更重要的是，這還是一枚采用相當(dāng)先進(jìn)的6nm工藝制程的芯片，與當(dāng)前很多主流智能手機(jī)5G SoC，如高通驍龍778G/778G+，聯(lián)發(fā)科天璣 1200/1100處于同一梯隊(duì)。僅僅是6nm 這一個(gè)關(guān)鍵詞，還包含著大量信息：

第一，它的價(jià)格會(huì)很高，因?yàn)?nm是真正意義上的全EUV工藝（7nm+也只實(shí)現(xiàn)了部分EUV）。目前全球硅基芯片最先進(jìn)制程大部分都為智能手機(jī)SoC采用，OPPO在一枚NPU上采用這個(gè)工藝，真是下了血本。我和一些行業(yè)分析師估算了一下，覺(jué)得單這一枚芯片的交付成本，就和半套中端手機(jī)SoC不相上下了；

第二，只能自研，因?yàn)樵谶@個(gè)如此先進(jìn)的制程節(jié)點(diǎn)上，沒(méi)有可以采購(gòu)能達(dá)到OPPO標(biāo)準(zhǔn)的第三方成熟IP，都只能從零開(kāi)始，此前網(wǎng)上有人說(shuō)得頭頭是道的采購(gòu)誰(shuí)家IP都是扯淡；

第三，風(fēng)險(xiǎn)極大，6nm制程+自研IP流片不成功的概率并不低，每一次流片失敗都代表著千萬(wàn)級(jí)別人民幣的投入打了水漂，而就算是流片成功，芯片也會(huì)有概率不達(dá)預(yù)期，稱其為開(kāi)寶 一點(diǎn)也不為過(guò)。這也讓我想起之前和華為聊到麒麟810這枚神U為何比更高定位的麒麟985還要猛時(shí)，得到的回答是流片的結(jié)果的確超過(guò)預(yù)期 。

在這些可能梳理出來(lái)的信息背后，我覺(jué)得還有一場(chǎng)向來(lái)行事風(fēng)格穩(wěn)重的OPPO輸不起的豪賭 ：從2018年INNO DAY上OPPO創(chuàng)始人陳明永宣布2019年研發(fā)投入100億人民幣 ，再到短短一年后的INNO DAY上3年500億人民幣 的迅速攀升，除了要支撐快速擴(kuò)張的研發(fā)業(yè)務(wù)與團(tuán)隊(duì)，還有很大一部分比例都為芯片研發(fā)業(yè)務(wù)所占據(jù)——用燒錢 來(lái)形容這個(gè)行業(yè)明顯力度不夠。

資金投入是一方面，另一方面是時(shí)間，與自研芯片配套的IMX709傳感器研發(fā)商用推進(jìn)速度很快，當(dāng)其確定在Reno7系列上采用時(shí)，留給芯片團(tuán)隊(duì)的時(shí)間就已經(jīng)不多了，首次流片如箭在弦，不得不發(fā)。幸運(yùn)的是，OPPO福星高照，馬里亞納 X不但一次流片成功，而且測(cè)試表現(xiàn)也完全達(dá)到了開(kāi)發(fā)團(tuán)隊(duì)的預(yù)期，從前期研發(fā)到后期流片的所有投入都算是扎扎實(shí)實(shí)落了地，一次堪比走鋼絲 的冒險(xiǎn)圓滿過(guò)關(guān)。

既然成本如此高昂，風(fēng)險(xiǎn)如此巨大，為啥OPPO非要選擇這樣一條最難的路 呢？OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波為我們悉數(shù)道來(lái)——他于2019年加入OPPO芯片研發(fā)團(tuán)隊(duì)，在此之前他曾供職于高通，為高通在中國(guó)智能手機(jī)芯片的起步和快速成長(zhǎng)做出了很大的貢獻(xiàn)。他說(shuō)OPPO智能手機(jī)業(yè)務(wù)在此前10來(lái)年的發(fā)展歷程中已經(jīng)在影像領(lǐng)域有大量的積累，且在長(zhǎng)期采用第三方通用平臺(tái)的過(guò)程中也有很多AI與CV（計(jì)算機(jī)視覺(jué)）算法的經(jīng)驗(yàn)，當(dāng)業(yè)界都公認(rèn)計(jì)算影像是未來(lái)10年影像領(lǐng)域的發(fā)展方向時(shí)，如何更好地凝聚這些積累并繼續(xù)演進(jìn)就成為關(guān)鍵，這也是OPPO打算自研影像處理芯片的初衷。

智能手機(jī)的競(jìng)爭(zhēng)已經(jīng)步入巨頭時(shí)代，為了打造產(chǎn)品差異化，定制傳感器+自主算法 的組合都為各家所采用，比如華為麒麟+RYYG 就是典型的例子，包括澎湃C1的3A算法，vivo V1固化的夜景拍攝和實(shí)時(shí)預(yù)覽都是這種方案的呈現(xiàn)。而在不久前結(jié)束的2021年高通驍龍峰會(huì)上，驍龍開(kāi)發(fā)團(tuán)隊(duì)也表示很歡迎OEM伙伴加入自研芯片，但我們認(rèn)為這種方案在實(shí)效性和持續(xù)性上會(huì)有問(wèn)題 。是的，ISP作為ASIC芯片，在采用的靈活性和后續(xù)提升上的確不如通用平臺(tái)方案，但其高效率和功耗平衡也是優(yōu)勢(shì)明顯，綜合下來(lái)，這也是為何很多廠商初期會(huì)采用成熟芯片植入IP這種相對(duì)穩(wěn)健的方案。

最開(kāi)始，OPPO也是打算以這樣的方式入手自研芯片，且以12nm制程起步——算來(lái)算去，100億肯定是夠了。但開(kāi)始之后才發(fā)現(xiàn)了問(wèn)題：如果采用市面上能采購(gòu)到的12nm制程IP來(lái)做，最后成片應(yīng)該無(wú)法達(dá)到手機(jī)整體系統(tǒng)功率約束的目標(biāo)。要知道，隨著5G SoC能力的提升，10W以上的芯片峰值功率已經(jīng)讓電池續(xù)航不堪重負(fù)，要是再額外加入一枚功耗表現(xiàn)不佳的芯片，勢(shì)必會(huì)對(duì)后續(xù)產(chǎn)品定義帶來(lái)更大的困擾，當(dāng)然，這就是終端廠商自己做芯片的優(yōu)勢(shì)所在，負(fù)面因素可以前置解決。在這樣的前提下，馬里亞納 X最終選擇以6nm先進(jìn)制程從零起步，3年500億，預(yù)算在燃燒……

面向未來(lái)10年的馬里亞納 X

馬里亞納 X當(dāng)中集成了OPPO自研負(fù)責(zé)AI處理的MariNeuro AI計(jì)算單元和負(fù)責(zé)影像的MariLumi影像處理單元。最直觀的數(shù)據(jù)是，馬里亞納X最終的性能不負(fù)眾望：18TOPS AI峰值算力比蘋(píng)果A15處理器NPU單元的15TOPS算力更強(qiáng)，更是遠(yuǎn)超高通驍龍888+處理器。有人可能要質(zhì)疑高通這款處理器不是宣稱有32TOPS AI算力么？因?yàn)槟鞘侵傅恼麄€(gè)AI Engine的算力，其是通過(guò)CPU、GPU和Hexagon多個(gè)單元一起協(xié)同達(dá)成的，如果對(duì)比同類型處理單元，即Hexagon DSP中的張量加速器（即高通處理器中的NPU）能力，馬里亞納 X是肯定強(qiáng)過(guò)的——當(dāng)然，新驍龍8宣稱其張量加速器性能翻倍，是不是還能打就看后續(xù)信息了。

作為衡量手機(jī)NPU性能更重要的標(biāo)準(zhǔn)——每瓦算力，馬里亞納 X為11.6TOPS/W，換算下來(lái)整個(gè)芯片的峰值運(yùn)算功耗約為1.5W，如果讓其執(zhí)行現(xiàn)實(shí)圖片，即實(shí)際拍攝圖片的處理，更高達(dá)12TOPS/W，性能與能效比在當(dāng)前業(yè)界都處于領(lǐng)先水準(zhǔn)。

除了高性能的自研NPU IP，為了滿足數(shù)據(jù)處理過(guò)程中的高吞吐量，馬里亞納 X的整個(gè)內(nèi)存系統(tǒng)也進(jìn)行了針對(duì)性設(shè)計(jì)，片上緩存速度達(dá)到了每秒萬(wàn)億比特級(jí)別，集成封裝的內(nèi)存子系統(tǒng)通過(guò)雙通道方式提升了17%的帶寬，速率高達(dá)8.5GB/s。

在存儲(chǔ)系統(tǒng)的輔助下，馬里亞納 X擁有強(qiáng)悍的數(shù)據(jù)吞吐量：在它上邊運(yùn)行OPPO降噪算法，797mW的功耗下可實(shí)現(xiàn)4K@40fps AI處理，即可以錄制流暢的4K高清視頻，而同樣的算法運(yùn)行在Find X3 Pro上，就只能實(shí)現(xiàn)4K@2fps的速率，僅可以用來(lái)拍攝照片，且功耗高達(dá)1693mW，是馬里亞納 X協(xié)處理芯片的1倍以上。

有了馬里亞納 X NPU中OPPO自研的MariNeuro AI計(jì)算單元，其帶來(lái)的強(qiáng)大AI運(yùn)算能力，讓OPPO終于可以做一件想做很久的事情了：實(shí)時(shí)RAW域處理。為了完成這個(gè)前置的處理環(huán)節(jié)，芯片團(tuán)隊(duì)在馬里亞納X中還集成了一個(gè)重要的模塊：MariLumi影像處理單元，這是OPPO自研的具備ISP功能的處理器，它是以異構(gòu)的方式整合在馬里亞納 X之中。它可以為NPU處理提供20bit、120dB超高動(dòng)態(tài)范圍的傳感器原始信號(hào)，比起現(xiàn)在Find X3 Pro所能提供的18bit信號(hào)動(dòng)態(tài)范圍提升了4倍，光比從之前的25萬(wàn)：1達(dá)到了100萬(wàn)：1，再細(xì)化到4K場(chǎng)景下亮部與暗部的信號(hào)增益，則分別是8dB和12dB。

有了MariLumi的存在，OPPO還可以做一件想做很久的事情：與定制RGBW傳感器配套，進(jìn)行RGBW Pro模式增強(qiáng)處理。眾所周知，RGBW傳感器因?yàn)榘咨╓hite）像素點(diǎn)的存在，其感光能力得到大大增強(qiáng)，但同時(shí)因?yàn)閭鹘y(tǒng)ISP RAW-RGB-YUV的處理管路，對(duì)這類傳感器的噪點(diǎn)抑制一直都不太理想。而專門設(shè)計(jì)的MariLumi則存在兩個(gè)并行的管路，分別進(jìn)行RGGB和WWWW兩路信號(hào)的獨(dú)立處理，其RAW域信息處理量直接翻倍，這帶來(lái)的好處就是實(shí)現(xiàn)了8.6dB的SNR降噪處理能力和1.7倍的紋理細(xì)節(jié)提升，這也意味著RGBW傳感器的噪點(diǎn)問(wèn)題和畫(huà)質(zhì)可能都會(huì)得到更理想的解決。

說(shuō)到這里，OPPO為什么如此在意馬里亞納 X的原因也就非常清楚了。首先，OPPO認(rèn)定影像會(huì)是智能手機(jī)未來(lái)10年的核心競(jìng)爭(zhēng)點(diǎn)之一，而4K AI 夜景視頻又是這個(gè)領(lǐng)域的重要戰(zhàn)場(chǎng)，這一點(diǎn)從iPhone 12/13兩代產(chǎn)品在視頻性能上的大幅度強(qiáng)化就可見(jiàn)一斑；其次，RGBW異型CFA傳感器是OPPO未來(lái)要重點(diǎn)發(fā)力的技術(shù)，但其目前比較小眾，無(wú)論是高通還是聯(lián)發(fā)科的通用平臺(tái)對(duì)這一類型傳感器都缺乏指向性支持，想要將其能力最大化，就只有靠自己來(lái)做；第三，即使通過(guò)調(diào)校，通用處理器平臺(tái)要實(shí)現(xiàn)理想化的效果，也會(huì)付出較多能耗代價(jià)。綜合下來(lái)，自研這樣一枚芯片的確是件有價(jià)值的事情。

當(dāng)然，以較小的代價(jià)只做類似于MariLumi的ISP來(lái)解決問(wèn)題，OPPO芯片團(tuán)隊(duì)也是有所考慮的，但最后還是一致認(rèn)為應(yīng)該充分考慮NPU芯片的生長(zhǎng)性與可演進(jìn)能力。而問(wèn)及馬里亞納 X可能帶來(lái)多少終端成本的上升，姜波說(shuō)并沒(méi)有考慮太多，而是從產(chǎn)品特性、解決問(wèn)題的目的出發(fā)，至于會(huì)不會(huì)帶來(lái)終端成本的提升，他說(shuō)等到2022年首先搭載馬里亞納X的OPPO Find X系列旗艦上市，看價(jià)格大家就知道了。

寫(xiě)在最后

千萬(wàn)不要簡(jiǎn)單地以為OPPO芯片團(tuán)隊(duì)投入這么多資金和人力，最后只做出來(lái)馬里亞納 X這一枚芯片——它只是這個(gè)團(tuán)隊(duì)自2019年成立以來(lái)，經(jīng)歷兩年多時(shí)間拿出的第一個(gè)作品，從各個(gè)方面來(lái)看，它已經(jīng)非常出色了，一枚針對(duì)影像解決方案的NPU都能如此用力過(guò)猛 ，也讓我對(duì)OPPO自研芯片后續(xù)的產(chǎn)品更加充滿期待，畢竟首枚芯片就做異構(gòu)，太給人以想象空間了。還有一個(gè)小信息值得關(guān)注：6nm馬里亞納 X的誕生，意味著OPPO與全球第一晶圓代工廠臺(tái)積電的關(guān)系應(yīng)該緊密了。當(dāng)然，更要一起期待2022年亮相的OPPO Find X系列旗艦啦！