摘 ?要：為研究基于雙目立體視覺的人眼追蹤技術的發(fā)展情況，文章從專利信息挖掘與分析角度對基于雙目立體視覺的人眼追蹤技術的全球?qū)＠爸袊鴮＠M行分析，了解該技術近20年的發(fā)展趨勢、地域分布、各國發(fā)展態(tài)勢、全球重要申請人、中國重要申請人等，并進一步分析應用于裸眼3D場景的基于雙目立體視覺的人眼追蹤專利實現(xiàn)人眼追蹤所采用的裝置類型、光源類型以及實現(xiàn)人眼追蹤精度和速度提升的手段。

關鍵詞：人眼追蹤;雙目立體視覺;專利分析

中圖分類號：TP391.4 ? ? ?文獻標識碼：A文章編號：2096-4706（2021）14-0029-03

Abstract： In order to study the development situation of eye tracking technology based on binocular stereo vision， this paper analyzes the global and Chinese patents of eye tracking technology based on binocular stereo vision from the perspective of patent information mining and analysis， understands the development trend of this technology in recent 20 years， the patent geographical distribution， the patent development of various countries， and the important global patent applicants， the important Chinese patent applicants etc. The paper further analyzes type of device and light source used in eye tracking patent based on binocular stereo vision， which realizes eye tracking and is applied to naked eye 3D scenes. It also further analyzes means that achieve the improvement of human eye tracking accuracy and speed in eye tracking patent based on binocular stereo vision， which is applied to naked eye 3D scenes.

Keywords： eye tracking; binocular stereo vision; patent analysis

0 ?引 ?言

人眼追蹤技術是一種通過計算機視覺對人眼進行定位和跟蹤的技術，在人工智能、心理學、人機交互設備、智能交通系統(tǒng)、廣告研究、體育運動研究等領域具有廣泛應用[1]。人眼追蹤應用在駕駛員疲勞檢測、裸眼3D呈現(xiàn)、廣告研究等領域需要滿足追蹤精度高、實時性強等要求，而雙目立體視覺系統(tǒng)能夠?qū)μ囟繕诉M行信息提取，具有工作量小、處理速度快、實時性強等優(yōu)點，其在動態(tài)目標識別跟蹤等領域具有較高應用價值[2]?；陔p目立體視覺系統(tǒng)的人眼追蹤技術是利用布設的雙目攝像頭采集圖像信息，通過攝像頭標定、建立人眼3D模型、特征提取、視線方向計算等步驟實現(xiàn)人眼的定位和追蹤[3，4]。

專利文件是申請人對其技術進行公開以獲得專利權保護的一類法律文件，同時，因為專利文件是對技術的公開，其也是一類技術文件。專利文件以文字、圖表等形式記載技術方案，能夠較為全面地反映研發(fā)人員在創(chuàng)新中發(fā)現(xiàn)的新問題、用以解決該問題的技術手段及取得的技術效果。因此，本文從專利信息挖掘與分析視角，對基于雙目立體視覺的人眼追蹤相關專利進行分析以研究該技術的發(fā)展情況，同時，本文進一步研究了在裸眼3D顯示領域的雙目立體視覺的人眼追蹤技術情況。

1 ?全球?qū)＠治?/p>

本文檢索基于incoPat數(shù)據(jù)庫，截止到2021年4月，共檢索到雙目立體視覺人眼追蹤全球?qū)＠? 261條，申請?zhí)柡喜⒑蟮玫綄＠? 008件。

雙目立體視覺人眼追蹤專利的年度申請量趨勢如圖1所示，盡管2007和2012、2013年的專利數(shù)量略有回落，但該技術的專利在近20年總體呈現(xiàn)上升趨勢，其中，2009年起專利數(shù)量持續(xù)快速增長，并在2017年達到最高峰，而2018—2019年專利數(shù)量有所減少，2020—2021年的數(shù)據(jù)因部分專利未公開而不參與趨勢分析討論。可見，近20年來雙目立體視覺人眼追蹤技術在經(jīng)過快速發(fā)展后進入一個較為平穩(wěn)的階段。

從地域分布看，雙目立體視覺人眼追蹤專利主要分布于中國（311件）、日本（198件）、美國（182件）、世界知識產(chǎn)權組織WIPO（105件）、韓國（90件）、歐洲專利局（60件）等國家和地區(qū)。其中，中、日、美、韓的總和專利數(shù)量占該技術全部專利數(shù)量的77.5%。可見，該技術在中日美韓四國的研究和應用較為活躍。由圖2雙目立體視覺人眼追蹤專利的主要國家專利年度申請量趨勢圖可知，主要國家的專利年度申請量在近20年間均呈現(xiàn)了由少到多增長并在達到頂峰后有所回落的趨勢;在2002—2005年間，日本的專利數(shù)量高于其他國家的專利數(shù)量，其專利數(shù)量的高峰出現(xiàn)在2012年也早于其他國家，這表明該技術在日本最早受到重視并最早達到“飽和”;中、美的起步雖然晚于日本，但在2010、2011年逐漸超過日本，進一步比較中、美兩國的趨勢線可知，2011年之前，美國的專利數(shù)量基本多于中國，2011—2013年間中國逐漸趕超，并在2013年后完全超過美國，表明該技術在中國從2011年進入活躍期。

以專利數(shù)量對全球申請人進行排序，排名前九的申請人中，日本申請人3個，包括佳能（排名第一）、松下（排名第三）、索尼（排名第三）;韓國申請人3個，包括三星（排名第三）、韓國電子通信研究院（排名第四）;中國申請人2個，包括京東方（排名第三）、深圳超多維（排名第四）;芬蘭申請人1個，為諾基亞（排名第五）;瑞典申請人1個，為tobii（排名第六）。可見，該技術的全球研發(fā)主力多為涉及多種綜合業(yè)務的知名跨國公司，僅有兩家專注于人眼追蹤技術的企業(yè)，其中，深圳超多維是一家致力于VR/AR等創(chuàng)新視覺科技和裸眼3D顯示技術的研究、應用、創(chuàng)新產(chǎn)品的研發(fā)和生產(chǎn)的企業(yè)，tobii是一家致力于眼動儀與眼動技術研究的企業(yè)。

2 ?中國專利分析

為了解該技術在中國的發(fā)展情況，本文進一步對雙目立體視覺人眼追蹤的中國專利進行分析。在311件中國專利中，實用新型專利30件，占比9.3%，發(fā)明專利281件，占比90.7%，這是由于發(fā)明專利既可以對產(chǎn)品結構進行保護，又可以對方法進行保護，而雙目立體視覺人眼追蹤的算法是相當重要的一個部分，因此，申請人更傾向于申請發(fā)明專利;實用新型專利能夠?qū)Y構的改進進行保護且獲權周期短，對于雙目立體視覺人眼追蹤的裝置系統(tǒng)等則適合申請實用新型專利。另外，該技術的發(fā)明專利已授權107件，發(fā)明專利授權率僅為38.0%，而根據(jù)2020年國家知識產(chǎn)權局年報的統(tǒng)計數(shù)據(jù)，2020年發(fā)明專利授權率為47.3%[5]，可見該技術的中國專利授權難度相對較大。

雙目立體視覺人眼追蹤中國專利在各省份的分布情況如圖3所示，排名前四的廣東、北京、上海、江蘇的專利申請數(shù)量在平均值31.7件之上，而排名第五至第十的省市的專利數(shù)量在平均值之下。其中，排名第一的廣東為第一梯隊，專利數(shù)量遙遙領先，突破了100件;排名第二的北京為第二梯隊，數(shù)量也遠超第三梯隊的上海和江蘇;排名第五至第十的6個省市為第五梯隊，6省的專利數(shù)量總和僅相當于北京的專利數(shù)量，遠不及廣東一省的專利數(shù)量。可見，該技術的活躍度集中，主要活躍于國內(nèi)的經(jīng)濟發(fā)達地區(qū)。

從中國專利的申請人類型看，個人申請人占比為10.4%，近90%的申請人為企事業(yè)單位，其中，企業(yè)、高校、科研單位的占比分別為69.0%、16.5%、3.16%。對中國專利的主要申請人進行排序，深圳超多維排名第一，京東方排名第二，上海大學、北京芯海視界三維科技有限公司和視覺技術創(chuàng)投私人有限公司并列第三，華南理工大學、維沃移動、張家港康得新光電材料有限公司并列第四，上海青研科技有限公司、廣州杏雨信息科技有限公司并列排名第五。

對比排名前二的申請人，從全球?qū)＠麛?shù)量看，京東方專利數(shù)量多于深圳超多維，京東方在擁有12件中國專利的基礎上還擁有6件海外專利，包括美國4件、日本1件、WIPO1件，即33%以上的專利布局于海外，表明京東方更重視海外市場和海外專利布局，而深圳超多維則主攻國內(nèi)市場，專利均在國內(nèi)布局。另外，中國專利的重要申請人包括上海大學、華南理工大學兩所高校，而根據(jù)在前對申請人類型的分析可知高校申請人占比不大，卻有兩所高校能夠成為排名第三、四的重要申請人，可見，高校在雙目立體視覺人眼追蹤技術研究上具有獨特優(yōu)勢。此外，維沃移動通信是知名手機品牌“VIVO”的廠商，其專利均應用于手機，并同時涉及人臉追蹤和人眼追蹤，可見該技術的發(fā)展與手機等智能設備的發(fā)展密切相關。排名第三的北京芯海視界三維科技有限公司是視覺技術創(chuàng)投私人有限公司在華投資子公司，是一家專注從事立體顯示器件研發(fā)的企業(yè)。張家港康得新光電材料有限公司、廣州杏雨信息科技有限公司都申請了涉及內(nèi)窺鏡裸眼3D顯示的人眼追蹤專利。上海青研科技有限公司是專業(yè)從事眼動技術（眼球追蹤）的公司，其眼動技術的軟硬件產(chǎn)品包括VR眼動實驗、VR戒毒等。

3 ?關鍵技術分析

雙目立體視覺人眼追蹤根據(jù)所采用的裝置類型，可分為穿戴式和遙測式[6];根據(jù)雙目立體視覺人眼追蹤裝置的工作光照環(huán)境，可分為紅外光源系統(tǒng)和自然光源系統(tǒng)[7]。為了研究雙目立體視覺人眼追蹤技術在裸眼3D方面的應用以及算法改進，進一步檢索了應用于裸眼3D場景的雙目立體視覺人眼追蹤的專利以及采用圖像處理技術的雙目立體視覺人眼追蹤的專利，截至2021年4月，檢索得到70件專利。對以上專利去噪、合并、去重后進行人工標引，按照涉及穿戴式、遙測式、紅外光源、自然光源4個方面進行歸類統(tǒng)計如下。

如圖4所示，25件采用圖像處理技術的雙目立體視覺人眼追蹤專利中，44%的專利為穿戴式，56%的專利為遙測式，表明穿戴式和遙測式設備的應用程度較為接近。而45件應用于裸眼3D場景的雙目立體視覺人眼追蹤的專利所采用的設備均為遙測式，這與裸眼3D的特殊要求有關。從光源類型區(qū)分，采用自然光源的專利數(shù)量遠大于紅外光源，這是由于自然光源無需額外配置光源減少了設備成本、利于推廣應用，可見，采用自然光源系統(tǒng)的雙目立體視覺人眼追蹤是研究的熱點。當然，自然光源系統(tǒng)也面臨著適應復雜光照環(huán)境、攝像機精確標定、建立可靠模型等方面的挑戰(zhàn)。

對采用遙測式且自然光源的雙目立體視覺人眼追蹤專利按照涉及“人臉與人眼檢測”“僅人眼檢測”“結合特殊標記”“涉及攝像機標定”這4個技術手段進行5個方面的技術功效劃分，得到圖5的技術功效氣泡圖。

在裸眼3D中應用人眼追蹤技術是為了快速、準確地獲取觀看者的視線位置，從而根據(jù)觀看者的視線進行3D視覺呈現(xiàn)，因此，應用于裸眼3D場景的人眼追蹤需要滿足追蹤精度高和追蹤實時性佳的要求。人眼追蹤的精度和速度提升受多種因素影響，包括：建立可靠的眼睛模型、精確的攝像機標定等，其中，只有實現(xiàn)攝像機精確標定才能有效地利用模型進行可靠識別追蹤。圖5可知，采用遙測式且自然光源的雙目立體視覺人眼追蹤專利中37.5%的專利都涉及了對于攝像機的標定。而在人眼追蹤的手段方面也可以采用多種手段，其中之一是采用由粗到精的追蹤檢測策略，即，在圖像中先檢測和定位人臉，隨后在人臉區(qū)域內(nèi)定位人眼，進而檢測人眼的特征，該追蹤檢測策略是一種較為常見的提高人眼檢測可靠性的手段。由圖5可知，相較于“僅人眼檢測”，采用遙測式且自然光源的雙目立體視覺人眼追蹤專利中較多的專利采用了“人臉與人眼檢測”的技術手段，并且，采用“人臉與人眼檢測”的技術手段更利于提升追蹤精度和速度。

上述人眼追蹤的精度和速度提升策略并不是在任意應用場合均適用，例如，應用于腔鏡手術等醫(yī)療場景的雙目立體視覺人眼追蹤的相關專利沒有采用常規(guī)的人臉結合人眼的追蹤檢測手段，而是普遍采用了在醫(yī)生手術帽或口罩上設置顏色標記或標簽，結合該類特殊標識進行追蹤。該方式克服了手術等醫(yī)療場景中醫(yī)生必須佩戴口罩導致臉部被遮擋無法采集全臉圖像的問題，巧妙地利用了醫(yī)生必須佩戴的手術帽或口罩來便利地設置特殊標識，借助特殊標識提升人眼追蹤的準確性和實時性。

4 ?結 ?論

本文從專利信息挖掘與分析角度對基于雙目立體視覺的人眼追蹤技術的發(fā)展情況進行分析，從近20年來該技術的全球?qū)＠暾堏厔?、各主要國家分布情況及趨勢、重要申請人，該技術的中國專利的類型、各省分布情況以及重要申請人等方面對該技術的發(fā)展進行分析，并重點選取雙目立體視覺人眼追蹤技術在裸眼3D的應用進行研究，從裝置類型、光源類型對相關專利進行歸類，并分析了人眼追蹤精度提升、速度提高的手段，還分析了在腔鏡手術等醫(yī)療場景的裸眼3D呈現(xiàn)這一特定場合雙目立體視覺的人眼追蹤所采用特殊追蹤方式。

參考文獻：

[1] 劉冬.基于立體視覺的視線估計方法研究 [D].武漢：華中科技大學，2015.

[2] 朱子陽，陳雙.智能駕駛中雙目視覺關鍵技術與應用算法 [J].遼寧工業(yè)大學學報（自然科學版），2021，41（4）：236-240+244.

[3] 史豪豪.面向AR-HUD系統(tǒng)的瞳孔空間位置檢測技術研究 [D].重慶：重慶郵電大學，2020.

[4] 李默.基于雙CCD的人眼視線追蹤系統(tǒng)研究與設計 [D].長春：長春工業(yè)大學，2017.

[5] 國家知識產(chǎn)權局.2020年國家知識產(chǎn)權局年報-知識產(chǎn)權創(chuàng)造 [A/OL].（2021-04-27）.https：//www.cnipa.gov.cn/art/2021/4/27/art_2616_158950.html.

[6] 王亞飛.復雜光環(huán)境下人眼視線追蹤技術研究 [D].大連：大連理工大學，2018.

[7] 吳艷繁.基于視線追蹤的人機交互系統(tǒng) [D].長春：吉林大學，2014.

作者簡介：周小燕（1986.03—），女，漢族，廣西柳州人，助理研究員，碩士研究生，研究方向：知識產(chǎn)權。