岳 虹，歐先鋒

(1.國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作四川中心，成都 610000；2.湖南理工學院 信息與通信工程學院，湖南 岳陽 414006)

增強現(xiàn)實系統(tǒng)中顯示設(shè)備專利技術(shù)數(shù)據(jù)分析

岳 虹1，歐先鋒2

(1.國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作四川中心，成都 610000；2.湖南理工學院 信息與通信工程學院，湖南 岳陽 414006)

增強現(xiàn)實系統(tǒng)中的顯示設(shè)備關(guān)系到圖像顯示方式和顯示效果，是增強現(xiàn)實系統(tǒng)中最重要的設(shè)備。利用專利庫對增強現(xiàn)實系統(tǒng)中顯示設(shè)備進行了數(shù)據(jù)分析，了解相關(guān)領(lǐng)域的技術(shù)分支，并對其技術(shù)演進、申請分布、技術(shù)原創(chuàng)國和目標國、重點申請人進行了分析，歸納出技術(shù)熱點和核心專利，為該領(lǐng)域發(fā)展提供參考。

增強現(xiàn)實；顯示設(shè)備；專利技術(shù)；眼鏡；頭盔顯示器；投影；移動終端

20世紀60年代以來，隨著計算機圖形學的發(fā)展，增強現(xiàn)實 (Augmented Reality，AR) 系統(tǒng)應運而生，其主要思想是借助計算機圖像技術(shù)以及可視化技術(shù)產(chǎn)生真實環(huán)境中不存在的虛擬對象，通過傳感技術(shù)將虛擬對象準確“放置”到真實環(huán)境中，使用者借助顯示設(shè)備觀看融為一體的虛擬對象與真實環(huán)境融，達到亦真亦幻的效果。

AR系統(tǒng)具有虛實融合、三維注冊[1]以及實時交互[2]的特點，可以將與真實物體相關(guān)的幾何或非幾何信息提供給用戶，讓用戶對真實場景有更直觀、更深入的了解。這些特性使其在制造、醫(yī)療、設(shè)計、教育、娛樂等領(lǐng)域都有很好的應用前景，因此，很多學者和企業(yè)都投入到AR系統(tǒng)的技術(shù)研究中。

AR系統(tǒng)的研究涉及許多關(guān)鍵技術(shù)，如跟蹤定位技術(shù)(registration)、用戶交互技術(shù)、顯示技術(shù)等。其中，顯示技術(shù)是指在觀察者的眼睛和真實物體之間的光路上成像的技術(shù)，它通過特定的顯示設(shè)備為觀察者提供增強現(xiàn)實的圖像。顯示設(shè)備作為AR系統(tǒng)中的硬件設(shè)備，集合了圖像捕捉、追蹤定位、用戶交互數(shù)據(jù)接收與處理、圖像合成與顯示等功能，其硬件結(jié)構(gòu)與數(shù)據(jù)處理的研究直接關(guān)系到AR的發(fā)展，因此本文對AR技術(shù)領(lǐng)域的顯示設(shè)備專利申請進行統(tǒng)計分析，為后續(xù)的研究提供參考。

1 AR顯示設(shè)備技術(shù)概況

1.1 AR顯示系統(tǒng)原理

雖然AR系統(tǒng)不需要顯示完整的場景，但由于需要通過分析大量的場景信息和定位數(shù)據(jù)來確保由計算機生成的虛擬物體可以精準地定位在真實場景中，因此，AR系統(tǒng)一般都包含以下4個基本步驟：1)獲取真實場景信息；2)對真實場景和相機位置信息進行分析；3)生成虛擬景物；4)合并視頻并顯示。

1.2 AR顯示設(shè)備的技術(shù)分支

目前來看，常用的顯示設(shè)備可分為固定式顯示設(shè)備、近眼顯示設(shè)備、頭盔式顯示設(shè)備、手持式顯示設(shè)備和空間投影顯示設(shè)備等。主要的區(qū)別在于在光路上的成像位置不同，如圖1所示。

圖1 增強現(xiàn)實顯示設(shè)備

1.2.1 固定式顯示設(shè)備

在需要顯示屏較大或分辨率較高的情況下，通常會采用基于計算機顯示器的固定式AR顯示系統(tǒng)。在固定式顯示系統(tǒng)中，由攝像機拍攝的真實世界圖像并輸入到計算機中，計算機將拍攝的圖像與計算機中產(chǎn)生的虛擬圖像進行合成，并輸出到屏幕顯示器進行顯示，用戶通過屏幕顯示器觀看最終的增強現(xiàn)實圖片。這種AR顯示設(shè)備屬于最簡單、最易實現(xiàn)的顯示方式，但帶給用戶的沉浸感較差。

1.2.2 近眼顯示設(shè)備

近眼顯示設(shè)備是指通過佩戴在眼鏡上進行增強現(xiàn)實顯示的設(shè)備，包括智能眼鏡和智能透鏡。智能眼鏡是一種帶有相機、話筒以及屏幕的眼鏡。通過這種設(shè)備，用戶的現(xiàn)實世界視角被相機截取，通過增強處理后的畫面重新顯示在用戶視野中。智能透鏡的理念是在傳統(tǒng)透鏡中集成控制電路、通信電路、微型天線、LED及其他光電組件，形成一套功能系統(tǒng)。

1.2.3 投影顯示設(shè)備

隨著投影設(shè)備功耗、成本、尺寸的降低以及3D投影技術(shù)的不斷進步，基于投影的AR顯示設(shè)備開始出現(xiàn)。將投影顯示用于空間AR系統(tǒng)中，與其他顯示方式不同的是，它不需要設(shè)置固定的顯示屏，虛擬內(nèi)容直接投影在顯示世界中。任何物理表面，如路面、建筑物表面、甚至人體都能成為可交互的顯示屏。投影顯示的最大優(yōu)點是：用戶不需要佩戴專門的設(shè)備就可以觀看，適合觀看人數(shù)較多的情形。

1.2.4 頭盔顯示器

頭盔顯示器(Head Mounted Display,HMD)通常固定于用戶的頭部，上面設(shè)置有攝像頭、位置跟蹤器等設(shè)備。HMD跟隨頭部的運動而運動，對頭部的位置和朝向進行實時檢測，并反饋給處理設(shè)備，處理設(shè)備將真實場景與虛擬對象進行融合，然后控制用2個LCD或CRT顯示，并分別向左右眼傳送增強后的圖像。

根據(jù)其實現(xiàn)原理的不同，可以將HMD分為兩類：光學透視式HMD和視頻透視式HMD。光學透視式HMD通過安裝在眼前的2個半反半透鏡呈現(xiàn)出真實場景和虛擬場景的融合。其中，真實場景來自于真實的光源，經(jīng)過透視光學系統(tǒng)直接進入眼睛，虛擬場景由計算機生成，經(jīng)光學系統(tǒng)放大后進入眼睛，兩部分信息匯聚到視網(wǎng)膜上形成虛融合的成像效果。視頻透視式頭盔顯示器通過安裝在頭盔上的微型攝像頭獲取外部真實環(huán)境的圖像，計算機通過場景理解和分析將所要添加的信息和圖像信號疊加在攝像機的視頻信號上，將計算機生成的虛擬場景與真實場景進行融合，最后通過顯示系統(tǒng)呈現(xiàn)給用戶。

1.2.5 手持式顯示設(shè)備

隨著科技的進步，智能手機等手持設(shè)備飛速發(fā)展，處理器、傳感器、顯示器分辨率、相機成像質(zhì)量都越來越好，同時具有了加速計、GPS、羅盤等功能，這些發(fā)展為AR在手持設(shè)備上實現(xiàn)提供了可能?；谑殖衷O(shè)備的增強現(xiàn)實簡單來說就是AR技術(shù)在移動終端的應用，是離開了實驗室特定的實驗條件和特殊用途的AR系統(tǒng)，基于手持設(shè)備的AR利用跟蹤定位器和圖像傳輸技術(shù)真實圖像的顯示和交互作用，將額外的數(shù)據(jù)增加到真實世界的視圖中，用戶可以根據(jù)需要進行顯示方式的選擇和交互操作。

1.3 技術(shù)發(fā)展演進

AR系統(tǒng)的概念在20世紀60年代就已經(jīng)出現(xiàn)，但AR這一技術(shù)術(shù)語直到20世紀90年代初期才被提出。在研究初期，研究者提出初步的AR系統(tǒng)，但由于設(shè)備和精度等方面的不足，這些系統(tǒng)都沒有真正投入實際應用。1997年，Azuma[2]對這些系統(tǒng)進行了詳盡的分析，引起更多研究者對AR系統(tǒng)的關(guān)注。從20世紀90年代末開始，該領(lǐng)域的研究者們開始組織和召開AR領(lǐng)域的一系列國際研討會和工作會議，大大促進了AR的研究發(fā)展。近年來，隨著計算機圖形技術(shù)的發(fā)展和移動設(shè)備計算能力的增強，AR技術(shù)已逐漸從理論走向了應用。

1997年，AR顯示的專利開始出現(xiàn)。到目前為止，該領(lǐng)域已經(jīng)發(fā)展到一定規(guī)模，具有很大數(shù)量的專利申請。本文的數(shù)據(jù)來源為中國專利文摘數(shù)據(jù)庫(CNABS)和世界專利文摘數(shù)據(jù)庫(SIPOABS)，通過查閱這兩個數(shù)據(jù)庫中的AR顯示設(shè)備相關(guān)技術(shù)文獻以及對該領(lǐng)域的專利文獻進行梳理和分析，將其技術(shù)發(fā)展演進路線歸納如圖2所示。

圖2 增強現(xiàn)實顯示設(shè)備技術(shù)演進路線圖

從圖2中可以看出，AR顯示的研究大致經(jīng)歷了4個階段：

第1階段為AR概念提出階段。在頭戴式顯示設(shè)備、固定式顯示設(shè)備、投影顯示設(shè)備以及近眼顯示設(shè)備方面都開始有一些研究[3-6]，其中頭戴式顯示設(shè)備的研究更多，技術(shù)發(fā)展較快，立體穿透式HMD[6]的概念提出；近眼顯示設(shè)備在這個時期主要用于將無線接收的文字等信息顯示在眼鏡表面；投影顯示設(shè)備只是單純地將合成的AR圖像通過投影儀投影顯示。

第2階段為緩慢發(fā)展時期[7-10]。在這個時期，提出了視頻投射式HMD的概念，同時一些專利中提出了與HMD進行交互的方式，比較有代表性的專利為US2006284791A1[10]；而投影顯示和固定式顯示中增加了根據(jù)旋轉(zhuǎn)來調(diào)整圖像的技術(shù)，其中專利US20050275664A1[7]就涉及這一技術(shù)。

第3階段各分支都開始較快地發(fā)展[11-16]。出現(xiàn)了利用手持式設(shè)備實現(xiàn)AR顯示的專利；利用手機自帶的攝像頭獲取當前圖像；利用GPS獲取位置信息等，與虛擬對象結(jié)合產(chǎn)生AR圖像，為后續(xù)的實際應用奠定了理論基礎(chǔ)。

第4階段是專利量大規(guī)模增長時期[17-20]。投影顯示設(shè)備分支出現(xiàn)了計算虛擬對象最合適的位置，將其3D投影到顯示空間中的相應位置，使效果更加真實[18]；近眼顯示設(shè)備、手持式顯示設(shè)備和頭盔顯示設(shè)備主要發(fā)展為提升顯示質(zhì)量、設(shè)備自適應調(diào)整，增加沉浸式效果和用戶體驗。例如，專利US2013128364A1[19]中提出了根據(jù)互用喜好自動設(shè)置HMD的顯示模式、范圍等；同時，有一些專利將AR應用到手持設(shè)備中的導航、游戲、購物等應用中，使其從理論研究階段過渡到應用階段。

2 AR顯示設(shè)備領(lǐng)域?qū)＠治?/h2>

2.1 全球?qū)＠治?/p>

圖3為1990—2016年AR顯示設(shè)備國內(nèi)外專利的申請趨勢?？梢钥闯觯簢獾腁R專利申請從1997年開始出現(xiàn)，一直到2008都處于緩慢發(fā)展時期；2009-2014年申請量穩(wěn)步增長；2014年達到了頂峰；2015年起，申請量有所降低，但還是保持在一個較高的水平。

而國內(nèi)在2004年才開始關(guān)注AR技術(shù)領(lǐng)域，直到2010年，國內(nèi)申請量才進入一個穩(wěn)步增長的階段，在2015年達到了頂峰。

圖3 AR顯示設(shè)備國內(nèi)外專利申請趨勢

總體來說，AR自出現(xiàn)以來，經(jīng)過短短十幾年的發(fā)展就吸引了很多企業(yè)、機構(gòu)的關(guān)注，是當下研究的熱門之一。而相比于國外的專利申請量，國內(nèi)申請還是較少，在該領(lǐng)域的技術(shù)研究仍有一定的差距。

2.2 技術(shù)原創(chuàng)國與目標國分析

技術(shù)原創(chuàng)國和地區(qū)表征了一個國家或地區(qū)在該領(lǐng)域的技術(shù)儲備和技術(shù)實力。目標國和地區(qū)表征了一個國家或地區(qū)的市場在該領(lǐng)域的重要程度。從圖4中可以看出，在AR顯示設(shè)備技術(shù)領(lǐng)域，美國的申請量最多，其次是韓國、中國、日本、歐洲，中國臺灣的申請量較少，排在最后一位。美國、韓國、中國具有龐大的消費市場，因此以上述3國為目標國，專利申請較多。

圖4 AR顯示設(shè)備技術(shù)原創(chuàng)國/目標國

2.3 各分支申請量對比

圖5為國內(nèi)外各分支申請量的對比。從國外各分支申請量比例來看，投影顯示的專利較少，近眼顯示設(shè)備和固定式顯示設(shè)備的申請量也只占到10%左右。目前AR顯示的專利申請中有近50%的申請涉及HMD，這主要是因為HMD的沉浸效果最好，因此在該分支的專利目前占比最大。而隨著手持設(shè)備的功能逐漸強大，越來越多地研究將焦點對準到手持式AR顯示，這種手持AR顯示設(shè)備不需要購置高價格的專業(yè)設(shè)備，不需要固定的環(huán)境，因此具有很大的市場前景。

a.國內(nèi)申請量分布 b.國外申請量分布圖5 AR顯示設(shè)備申請量分布

從國內(nèi)的各分支專利申請量來看，我國對HMD和手持式顯示設(shè)備的研究較多，兩者加起來約占總申請量的80%。主要原因是：我國對AR的研究起步較晚，在開始研究時，HMD已經(jīng)有了較好的理論基礎(chǔ)，因此很多研究涉及到對HMD的改進；而手持式顯示設(shè)備是目前研究的熱門，還存在技術(shù)的不成熟，因此我國很多專利研究將重心轉(zhuǎn)移到手持式顯示設(shè)備的研究中。

總體來說，頭戴式顯示設(shè)備和手持式顯示設(shè)備是目前AR領(lǐng)域領(lǐng)頭企業(yè)關(guān)注度最高的，具有很好的發(fā)展前景。

2.4 重要申請人分析

圖6是AR顯示設(shè)備領(lǐng)域?qū)＠闹饕暾埲伺琶那?0名?？梢钥吹?，微軟高居首位。從整體上來說，美國廠商的技術(shù)實力最強，包括微軟、高通、谷歌、MAGIC LEAP、OSTERHOUT公司在該領(lǐng)域申請了大量專利，其中，微軟公司推出AR頭盔Hololens，谷歌公司也推出了google眼鏡等產(chǎn)品，創(chuàng)業(yè)公司MAGIC LEAP提出利用彎曲的光場來制作立體圖像，雖然目前還沒有推出實際的產(chǎn)品，但是谷歌、阿里等公司都對MAGIC LEAP公司進行融資。韓國企業(yè)在AR顯示方面也具有很強的實力，其中，韓國的三星、LG、現(xiàn)代等公司都在AR領(lǐng)域有很多的專利申請，為AR的技術(shù)發(fā)展作出了很大貢獻。目前，雖然很多中國公司也開始進行AR技術(shù)研究，包括華為、聯(lián)想、百度等，還有一些創(chuàng)業(yè)公司將目標瞄準AR領(lǐng)域，但還沒有公司入圍該領(lǐng)域的專利申請量前十，這說明中國在AR領(lǐng)域的發(fā)展需要更多的投入。

圖6 AR顯示設(shè)備領(lǐng)域的主要申請人排名

3 結(jié)語

本文對AR顯示設(shè)備領(lǐng)域的分支、技術(shù)演進、專利申請態(tài)勢、重要申請人等方面進行了分析。總地來看，AR顯示自提出以來，很快受到各方面的關(guān)注，很多網(wǎng)絡、視頻、汽車等行業(yè)的領(lǐng)頭企業(yè)都開始投入到該行業(yè)進行研究，并逐漸將研究應用到實際的產(chǎn)品中。我國在該行業(yè)的起步較晚，且申請人比較分散，缺乏核心技術(shù)和產(chǎn)品的競爭力，要想在該領(lǐng)域取得巨大進展還需要加大投入。

[1]吳帆,萬平英,張亮.增強現(xiàn)實技術(shù)原理及其在電視中的應用[J].電視技術(shù),2013,37(2):40-43.

[2]Azuma R T.A survey of augmented reality[J].Presence: Teleoperators and Virtual Environments,1997,6(4):355-385.

[3]ELLENBY J,ELLENBY T,ELLENBY P.Computer games having optically acquired images which are combined with computer generated graphics and images: WO/1998/046323[P].1998-10-22.

[4]VOLKSWAGEN AG.Assistance system for drivers displaying navigation and vehicle data in field of vision,supplemented by audible information,includes data spectacles with receiver:DE10013478A1[P].2001-09-20

[5]HEWLETT PACKARD CO.Method and apparatus for augmented reality using a see-through head-mounted display: US6037914A[P].2000-03-14.

[6]TUCERYAN MIHRAN.System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality: US2002113756A1[P].2002-08-28.

[7]HOBGOOD ANDREW W.Method for advanced imaging in augmented reality: US2005275664A1[P].2005-12-15.

[8]MITSUBISHI ELECTRIC CORP.Method for displaying an output image on an object: EP1504597A1[P].2005-02-09.

[9]UNIV NORTH CAROLINA.Methods and systems for dynamic virtual convergence and head mountable display: US2004238732A1[P].2004-12-02.

[10]NAT APPLIED RES LAB NAT CT FOR.Augmented reality system and method with mobile and interactive function for multiple users: US2006284791A1[P].2006-12-21.

[11]英派爾科技開發(fā)有限公司.視頻內(nèi)容的輸出: CN103201705A[P].2013-07-10.

[12]OSTERHOUT GROUP INC.Augmented reality eyepiece with freeform optic,image source,and optical dispaly:US2011221659A1[P].2011-09-15.

[13]UNIV MICHIGAN STATE.Augmented reality user interaction system: US2008266323A1[P].2008-10-30.

[14]高通股份有限公司.使用骨骼跟蹤來選擇性地將手遮蔽在物理表面上的虛擬投影之上:CN103493106A[P].2014-01-01.

[15]TOSHIBA IT SOLUTION KK.System and program for searching structured document:JP2009087162A[P].2009-04-23.

[16]TSP KK.Vote and management system:JP2009282921A[P].2009-12-03.

[17]MICROSOFT CORP.Adjustable display characteristics in an augmented reality eyepiece:US2012212399A1[P].2012-08-23.

[18]CHRAIEF Z.Safety system for at least one occupant of a motor vehicle and method for protecting the occupant:WO2013128346A1[P].2013-09-06.

[19]GOOGLE INC.Method of using eye-tracking to center image content in a display: US2013128364A1[P].2013-05-23.

[20]PANTECH CO LTD.Apparatus and method for providing applications along with augmented reality data: US2013051615A1[P].2013-02-28.

Analysis of Patent Technology Data for Display Equipment in Augmented Reality System

YUEHong1,OUXianfeng2

(1.Patent Examination Cooperation Center of Patent Office,SIPO,Chengdu 610000,China;2.College of Information & Communication Engineering,Hunan Institute of Science & technology,Yueyang 414006,China)

Augmented Reality is becoming more popular in recent years.The most improtant portion of Augmented Reality system is the display equipment,which is related to the image display mode and quality.Based on the statistics of patents in AR field,an analysis is achieved by considering technical branch,technology trends,technology producing countries,technology target countries,and applications.Through the analysis we can get the core technologies and the key patents,it will be helpful to the development of AR field.

Augmented Reality;display device;patent technology;glasses;HMD;projection;mobile terminal

10.13542/j.cnki.51-1747/tn.2017.02.002

2017-03-28

湖南省自然科學基金項目(2017JJ3099)

岳虹(1990—),女，實習研究員，碩士，研究方向：圖像處理/視頻壓縮。 歐先鋒(1983—),男，講師，博士，研究方向：圖像處理/視頻壓縮編碼及傳輸，電子郵箱：ouxf@hnist.edu.cn。

TN94

A

2095-5383(2017)02-0008-05