易建瓊 游 婧

（國家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作四川中心，四川 成都，610213）

0 引言

基于視覺的三維重建技術(shù)是計(jì)算機(jī)信息處理領(lǐng)域中的研究熱點(diǎn)，是運(yùn)用電子儀器設(shè)備捕獲待重建物體的圖像數(shù)據(jù)信息，然后對(duì)捕獲的圖像數(shù)據(jù)信息進(jìn)行處理分析，再利用三維重建的相關(guān)技術(shù)重建出待測(cè)物體的三維表面輪廓等信息。基于視覺的三維重建技術(shù)由于高速度、高精度等優(yōu)勢(shì)，在醫(yī)學(xué)成像、工業(yè)測(cè)量、三維打印、自動(dòng)駕駛等領(lǐng)域都得到了廣泛應(yīng)用，是工業(yè)發(fā)展的重要研究趨勢(shì)。依據(jù)數(shù)據(jù)獲取方式的不同，計(jì)算機(jī)測(cè)量分為接觸式和非接觸式，僅非觸式測(cè)量屬于基于計(jì)算機(jī)視覺的測(cè)量。依據(jù)是否投射光源進(jìn)行測(cè)量，非接觸式方法又分為主動(dòng)式和被動(dòng)式。主動(dòng)式需要向待測(cè)場(chǎng)景中投射光源，再通過計(jì)算提取光源在場(chǎng)景中的投影信息來檢測(cè)待測(cè)物體的位置并進(jìn)行測(cè)量。被動(dòng)式?jīng)]有額外光源，直接捕獲待測(cè)物體表面反射的環(huán)境光，從一個(gè)或多個(gè)相機(jī)獲取的二維圖像中計(jì)算待測(cè)物體的三維信息［1-5］。

1 專利申請(qǐng)數(shù)量態(tài)勢(shì)分析

三維重建技術(shù)在過去幾十年的發(fā)展中,獲得了非常大的進(jìn)步。20世紀(jì)70年代，Roberts首先提出了使用計(jì)算機(jī)視覺的方法從二維圖像獲取物體三維信息的可能性，自此之后，基于視覺的三維重建技術(shù)如雨后春筍般涌現(xiàn)出了許多實(shí)現(xiàn)的技術(shù)手段。從20世紀(jì)80年代開始，出現(xiàn)了為數(shù)不多的國外專利申請(qǐng)，從圖1可以看出，2008年以前全球?qū)＠暾?qǐng)數(shù)量都處于緩步發(fā)展的階段，隨著基于視覺的三維重建技術(shù)的不斷創(chuàng)新，自2011年開始逐步上升，直到2016年進(jìn)入快速增長(zhǎng)階段。

圖1 專利申請(qǐng)數(shù)量態(tài)勢(shì)圖

2 主要申請(qǐng)人分析

圖2所示為國外排名靠前的主要申請(qǐng)人，由圖2可知，排名靠前的主要為美、歐、德、日、韓的知名企業(yè)，不可否認(rèn)，它們?cè)谠擃I(lǐng)域具有強(qiáng)大的研發(fā)能力，一方面與計(jì)算機(jī)視覺理論與相關(guān)技術(shù)的發(fā)展在歐美國家起步較早有關(guān)，另一方面，索尼、佳能、三星、松下等日韓企業(yè)，在拍攝設(shè)備的技術(shù)研究方面底蘊(yùn)深厚，容易將其技術(shù)優(yōu)勢(shì)與計(jì)算機(jī)視覺融合，從而早早位于世界先進(jìn)地位。其中，排名第一的是德國的西門子公司，其次還包括佳能、松下、三星、通用電氣、日立、索尼、東芝、微軟、奧林巴斯等。

圖2 國外主要申請(qǐng)人

圖3所示為國內(nèi)排名靠前的主要申請(qǐng)人，主要以高校及研究所居多，還有一些知名企業(yè)，在全球?qū)＠暾?qǐng)數(shù)量上占據(jù)明顯優(yōu)勢(shì)。這說明國內(nèi)在基于計(jì)算機(jī)視覺的三維重建技術(shù)研究中并沒有落后，但在科技轉(zhuǎn)化成果方面還處于待強(qiáng)化的狀態(tài)。其中，清華大學(xué)研究團(tuán)隊(duì)的申請(qǐng)數(shù)量最高；浙江大學(xué)、四川大學(xué)、北京航空航天大學(xué)、華中科技大學(xué)等也是名列前茅；中國科學(xué)院自動(dòng)化研究所在該項(xiàng)技術(shù)中也具有一定的研發(fā)實(shí)力，具有較強(qiáng)的知識(shí)產(chǎn)權(quán)意識(shí)；國內(nèi)企業(yè)申請(qǐng)分布較為零散，位居前列的有百度網(wǎng)訊科技和騰訊科技等。

圖3 國內(nèi)主要申請(qǐng)人

3 技術(shù)演進(jìn)路線

基于視覺的三維重建技術(shù)依據(jù)測(cè)量方式主要分為主動(dòng)視覺法和被動(dòng)視覺法，下面將從這兩個(gè)方面對(duì)其技術(shù)演技路線及典型專利技術(shù)進(jìn)行介紹。

3.1 基于主動(dòng)視覺的三維重建技術(shù)

主動(dòng)視覺法包括激光掃描法、結(jié)構(gòu)光法、陰影法、TOF技術(shù)、雷達(dá)技術(shù)、Kinect技術(shù)等。

20世紀(jì)60年代，歐美國家開始對(duì)三維測(cè)量技術(shù)進(jìn)行研究。20世紀(jì)80年代，已經(jīng)出現(xiàn)了較為成熟的技術(shù)。1981年，西門子股份公司的專利申請(qǐng)DE3147129A，公開了一種用于檢測(cè)三維物體的光學(xué)傳感器和相應(yīng)的測(cè)量方法，在傳統(tǒng)的三角測(cè)量方法之上，通過激光掃描用于檢測(cè)三維物體。該方法基于多個(gè)位置敏感的檢測(cè)器，同時(shí)從各個(gè)方向檢測(cè)3D對(duì)象上的光點(diǎn)的位置，并將其應(yīng)用的可能性擴(kuò)展到對(duì)象的幾乎任何屬性，并且通過位置敏感探測(cè)器的強(qiáng)度輸出不斷重新調(diào)整激光的強(qiáng)度，以便使探測(cè)器始終連續(xù)接收到較高的強(qiáng)度。2001年，WO2001067039A1公布了一種基于結(jié)構(gòu)光的動(dòng)物三維測(cè)量系統(tǒng)，系統(tǒng)使用來自結(jié)構(gòu)光相機(jī)的光點(diǎn)來測(cè)量動(dòng)物上的多個(gè)點(diǎn)，定位每個(gè)點(diǎn)的垂直、水平和深度尺寸，通過使用該數(shù)據(jù)測(cè)量組合投射在動(dòng)物上的一些光點(diǎn)來提供動(dòng)物的快速連續(xù)三維運(yùn)動(dòng)圖像。

2005年，皇家飛利浦電子股份有限公司提出專利申請(qǐng)WO2006109203A1，在飛行時(shí)間正電子發(fā)射斷層掃描（TOF-PET）成像方法中，獲取三維飛行時(shí)間響應(yīng)線（TOF-LOR）數(shù)據(jù)。在飛行時(shí)間空間定位的基礎(chǔ)上將TOF-LOR數(shù)據(jù)按層排在多個(gè)二維TOF-LOR數(shù)據(jù)集中。層排的TOF-LOR數(shù)據(jù)中的至少一些對(duì)應(yīng)于對(duì)于二維數(shù)據(jù)集是斜的反應(yīng)線。將TOF-LOR數(shù)據(jù)粗疏角重排到多個(gè)粗疏角倉中，每個(gè)倉具有至少約10°的角跨距。對(duì)粗疏角排列的TOF-LOR數(shù)據(jù)進(jìn)行重建，以產(chǎn)生圖像層，該方法提高了重建速度和精度。2013年，微軟公司提交了專利申請(qǐng)WO2015057535A1，提出了一種飛行時(shí)間三維TOF-3D照相機(jī)。

MARZOLI MARCELLO提出的專利申請(qǐng)WO2005008283A1，公開了一種應(yīng)用于內(nèi)窺鏡設(shè)備中的三維重建方法，該方法通過檢測(cè)裝置檢測(cè)一組點(diǎn)并且能夠?yàn)槊總€(gè)檢測(cè)到的點(diǎn)提供一組信息，包括掃描信號(hào)的瞄準(zhǔn)方向、掃描頭和該點(diǎn)之間的距離，以及由所述點(diǎn)反射的信號(hào)的強(qiáng)度，實(shí)現(xiàn)基于激光雷達(dá)的插入腔體掃描頭與其內(nèi)表面之間相對(duì)距離的檢測(cè)，以及識(shí)別相同表面的一些物理參數(shù)來產(chǎn)生被檢查腔體的內(nèi)表面的三維圖。自2009年Kinect誕生開始，基于Kinect的三維場(chǎng)景的創(chuàng)建就迅速發(fā)展。微軟公司于2013年提出的專利申請(qǐng)US201300 95920A1進(jìn)一步優(yōu)化了三維重建方法，該方法包括使用有源IR立體模塊來計(jì)算場(chǎng)景的深度圖。可以通過將IR點(diǎn)圖案投影到場(chǎng)景上，從兩個(gè)或更多個(gè)同步的IR相機(jī)中的每一個(gè)捕獲立體圖像，檢測(cè)立體圖像內(nèi)的點(diǎn)，計(jì)算與立體圖像中的點(diǎn)相對(duì)應(yīng)的特征描述符，計(jì)算立體圖像之間的視差圖，以及使用視差圖生成深度圖來計(jì)算深度圖，優(yōu)化三維場(chǎng)景創(chuàng)建方法。

3.2 基于被動(dòng)視覺的三維重建技術(shù)

被動(dòng)視覺法根據(jù)攝像機(jī)數(shù)目的不同分為單目視覺法、雙目視覺法和多目視覺法；根據(jù)原理不同可以分為區(qū)域視覺法、特征視覺法等；根據(jù)應(yīng)用方法可以分為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法和機(jī)器學(xué)習(xí)法等。上述這些分類又可以相互組合在一起。

1999年，COMPUTERIZED MED SYST INC提出專利申請(qǐng)EP0965104A1，公開了一種自動(dòng)分割/自動(dòng)輪廓繪制方法，其可用于快速且準(zhǔn)確地繪制區(qū)域和區(qū)域周圍的邊界的輪廓，以形成可線性布置以用于圖像的三維重建的橫截面。2008年，清華大學(xué)提出申請(qǐng)CN101271582A，涉及基于多視角二維圖像并結(jié)合SIFT算法的三維重建方法，利用特征區(qū)域優(yōu)化重建模型，實(shí)現(xiàn)低復(fù)雜度高質(zhì)量的三維重建。2014年，中山大學(xué)提出的申請(qǐng)JP2017503290A，公開了一種無特征提取密集的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的三維重建方法，通過進(jìn)一步優(yōu)化實(shí)現(xiàn)緊致三維信息的估計(jì)，以目標(biāo)函數(shù)值作為指標(biāo)，能夠得到最優(yōu)解，至少是局部最優(yōu)解，完成密集SFM三維重建。2018年，中國科學(xué)院自動(dòng)化研究所提出申請(qǐng)CN109191564 A，以統(tǒng)計(jì)學(xué)習(xí)為基礎(chǔ)，訓(xùn)練得到光子傳播的前向以及逆向過程，提高了生物激發(fā)熒光計(jì)算機(jī)斷層掃描三維重建的精度以及速度。佳能株式會(huì)社提出的專利申請(qǐng)US2020334855A1公開了一種信息處理設(shè)備及其控制方法，其提出了一種信息處理裝置，可以實(shí)現(xiàn)從不能獲得距離圖像的相機(jī)（諸如RGB相機(jī)或獲得灰度圖像的相機(jī)）獲得高度準(zhǔn)確的距離圖像。

3.3 典型專利技術(shù)方案分析

西門子股份公司提出的專利申請(qǐng)DE3147129 A，解決了現(xiàn)有技術(shù)中存在的由于不同的發(fā)射和接收方向造成的幾何陰影問題。該申請(qǐng)采用預(yù)先設(shè)置多個(gè)位置敏感的檢測(cè)器，物體利用光點(diǎn)成像到這些檢測(cè)器上，并且這些檢測(cè)器利用成像光學(xué)系統(tǒng)從不同的空間方向?qū)?zhǔn)物體，從多個(gè)空間方向進(jìn)行檢測(cè)，盡可能避免了陰影。三個(gè)檢測(cè)器以相同的立體角相對(duì)于掃描區(qū)域的中心軸線對(duì)稱地布置。由于對(duì)稱的布置，探測(cè)器的輸出信息在幾何參數(shù)方面是等價(jià)的，更以這種方式簡(jiǎn)化了結(jié)構(gòu)。

清華大學(xué)提出的專利申請(qǐng)CN101271582A，涉及基于多視角二維圖像并結(jié)合SIFT算法的三維重建方法，屬于計(jì)算機(jī)多媒體技術(shù)領(lǐng)域。該方法的主要技術(shù)手段是：利用SIFT算法檢測(cè)得到各視角二維圖像中的特征點(diǎn)，并對(duì)相鄰視角進(jìn)行特征點(diǎn)匹配操作；利用對(duì)極約束，驗(yàn)證匹配特征點(diǎn)對(duì)的有效性并對(duì)特征點(diǎn)對(duì)的匹配情況進(jìn)行修正；結(jié)合對(duì)極約束和各向同性的sobel算子，以匹配特征點(diǎn)對(duì)坐標(biāo)為基準(zhǔn)進(jìn)行特征擴(kuò)展，得到匹配特征區(qū)域；利用多視角二維圖像，得到待重建物體的體素模型，并對(duì)體素模型優(yōu)化，利用graph-cut方法進(jìn)行求解；計(jì)算各視角匹配特征區(qū)域在空間對(duì)應(yīng)的體素集合，將體素位于待重建的物體表面，作為約束條件，得到三維重建。該申請(qǐng)利用特征區(qū)域優(yōu)化重建模型，將特征信息有效應(yīng)用于三維重建工作，在運(yùn)用SIFT算法得到匹配特征點(diǎn)對(duì)的基礎(chǔ)上，結(jié)合對(duì)極約束和各向同性的sobel算子，對(duì)特征點(diǎn)對(duì)進(jìn)行擴(kuò)展，得到匹配特征區(qū)域，利用各視角的匹配特征區(qū)域，對(duì)三維重建進(jìn)行輔助，使重建模型精度得到有效提高，且該方法的復(fù)雜度較低，具有易于實(shí)現(xiàn)的特點(diǎn)。

微軟公司提出的專利申請(qǐng)US2013095920A1，用于使用有源紅外（IR）立體模塊來生成視頻的方法。用于主動(dòng)深度感測(cè)的技術(shù)，諸如來自微軟?公司的Kinect?系統(tǒng)，已經(jīng)通過使用結(jié)構(gòu)光從視頻場(chǎng)景提取幾何形狀來改進(jìn)三維重建方法，這與被動(dòng)方法相反，被動(dòng)方法僅依賴于在環(huán)境或自然照明條件下使用攝像機(jī)捕獲的圖像數(shù)據(jù)。盡管使用了結(jié)構(gòu)光技術(shù)的優(yōu)點(diǎn)，但許多問題限制了類似裝置在自由視點(diǎn)視頻（FVV）的創(chuàng)建中的有用性。因此，該申請(qǐng)使用有源IR立體模塊計(jì)算場(chǎng)景的深度圖。可以通過將IR點(diǎn)圖案投影到場(chǎng)景上，從兩個(gè)或更多個(gè)同步的IR相機(jī)中的每一個(gè)捕獲立體圖像，檢測(cè)立體圖像內(nèi)的多個(gè)點(diǎn)，計(jì)算與立體圖像中的多個(gè)點(diǎn)相對(duì)應(yīng)的多個(gè)特征描述符，計(jì)算立體圖像之間的視差圖，以及使用視差圖生成場(chǎng)景的深度圖來計(jì)算深度圖。一旦已經(jīng)使用主動(dòng)IR立體模塊確定了場(chǎng)景的深度圖，就可以使用深度圖為場(chǎng)景生成點(diǎn)云及點(diǎn)云的網(wǎng)格，然后從點(diǎn)云的網(wǎng)格生成場(chǎng)景的投影紋理圖，以及使用投影紋理圖生成場(chǎng)景的視頻。

中國科學(xué)院自動(dòng)化研究所提出的專利申請(qǐng)CN109191564A是基于深度學(xué)習(xí)的激發(fā)熒光斷層成像三維重建方法。目前激發(fā)熒光計(jì)算機(jī)斷層掃描三維重建技術(shù)主要是結(jié)合FMI成像和X射線計(jì)算機(jī)斷層成像(X-CT)。光在生物組織中的傳輸模型(前向)采用的是輻射傳輸方程的高階簡(jiǎn)化球諧波近似形式，并對(duì)生物組織進(jìn)行網(wǎng)格劃分進(jìn)行有限元求解，導(dǎo)致現(xiàn)有方法精度低、速度慢。為了解決上述問題，該申請(qǐng)?zhí)岢隽嘶谏疃葘W(xué)習(xí)的激發(fā)熒光斷層成像三維重建方法，有別于傳統(tǒng)的以構(gòu)建光學(xué)傳輸模型為基礎(chǔ)的方法，該申請(qǐng)以統(tǒng)計(jì)學(xué)習(xí)為基礎(chǔ)，訓(xùn)練學(xué)習(xí)得到光子傳播的前向以及逆向過程，提高了生物激發(fā)熒光計(jì)算機(jī)斷層掃描三維重建的精度以及速度。該申請(qǐng)?zhí)峁┑姆椒òㄈ缦虏襟E：生成訓(xùn)練樣本；設(shè)置深度學(xué)習(xí)模型，構(gòu)建深度學(xué)習(xí)模型包括圖片信息編碼階段、圖片信息融合階段和三維重建階段；以及對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，將生物體的數(shù)據(jù)輸入訓(xùn)練后的深度學(xué)習(xí)模型，獲得生物體的三維重建圖像。

4 結(jié)語

本研究依托專利分析方法，從基于視覺的三維重建技術(shù)的專利申請(qǐng)態(tài)勢(shì)、主要申請(qǐng)人及研發(fā)方向探討其發(fā)展歷程和主要專利技術(shù)，從上述分析可知，基于視覺的三維重建技術(shù)的發(fā)展充分依賴于圖像傳感器技術(shù)和圖像數(shù)據(jù)處理技術(shù)的發(fā)展，雖然該項(xiàng)技術(shù)在國內(nèi)的起步較晚，但發(fā)展迅速，應(yīng)用的領(lǐng)域廣泛，在未來一段時(shí)間內(nèi)仍將處于高速發(fā)展階段。