蘇玉磊

（國家知識產(chǎn)權(quán)局 專利局通信部，北京 100088）

（上接第8期第40頁）

2.5 科研院所的專利分析

表5為中國專利申請中主要科研院所的申請數(shù)量分布；表6為國際范圍中主要科研院所的申請數(shù)量分布（注：由于VEN數(shù)據(jù)庫需對中文申請的數(shù)據(jù)進行后期加工，有些申請尚未入庫，或者有些申請摘要索引缺失，導致VEN中的同族數(shù)量減少；國外科研院所的許多技術(shù)未進入中國申請，因此同一申請人在VEN數(shù)據(jù)庫和CPRS?ABS數(shù)據(jù)庫中的專利申請數(shù)量有偏差）。

從表5和6可以看出，中國專利申請中，申請的高校數(shù)量多，其中寧波大學和清華大學排名靠前；在VEN數(shù)據(jù)庫中，韓國的科研院所的申請在所有科研院所中的申請數(shù)量領先?？偟膩砜?，中國和韓國的科研院所在3D視頻編碼技術(shù)的研發(fā)方面走在前列；中國的科研院所在中國申請的數(shù)量較多，但是在國際范圍內(nèi)，其申請數(shù)量落后于韓國的科研院所。

下面本文對科研院所中代表性的申請人進行分析。

2.5.1 韓國電子通信研究院

韓國電子通信研究院從2002年開始申請3D視頻編碼領域的專利。其在中國的申請集中在2002—2006年。2006—2010年，韓國電子通信研究院申請了11件網(wǎng)格編碼技術(shù)的專利。

韓國電子通信研究院的研究方向集中在多視點編碼和網(wǎng)格編碼領域。韓國電子通信研究院與三星公司、慶熙大學、世宗大學、漢陽大學等學校間的關(guān)系合作非常緊密，例如在網(wǎng)格編碼技術(shù)方面，韓國電子通信研究院和主攻網(wǎng)格編碼技術(shù)的漢陽大學合作緊密。韓國電子通信研究院的專利申請多數(shù)通過PCT國際申請進入多個國家。

其專利申請的特點在于：

雙目編碼技術(shù)：例如，CN03826007A以及CN200480043102A申請使用傳統(tǒng)的MPEG-4 MAC（多重輔助分量，即3D立體視頻附加數(shù)據(jù)）進行立體視頻編碼；KR20010072603A申請使用MPEG-4對立體或多視點視頻進行編碼。

多視點視頻編碼包括：

1）利用視點間相關(guān)性進行編碼。例如，CN200580034894A申請公開了一種基于圖像拼接利用不同視點之間的相關(guān)信息進行編碼的方法；KR20080056457A申請涉及保存視差向量以搜索對應的宏塊的預測方法；CN200580047997A申請利用照相機信息進行參考圖像預測編碼。

2）高級語法層次。例如，KR20070002637A申請在NAL單元類型中表示冗余的編碼圖像，使用錯誤彈性編碼方法進行編碼；KR20070106876A申請生成場景二進制格式流以及初始對象描述符IOD。

3）用戶需求方面的立體圖像控制。例如，KR20110033007、KR20100050419A申請控制立體圖像的變化值，自動控制立體圖像的失真，降低用戶不便和模糊；KR20020060987A申請使用解碼緩沖器，縮小左右眼圖像的同步時間，降低解碼復雜度。

近年來，韓國電子通信研究院的研發(fā)更集中于立體視頻傳輸系統(tǒng)和網(wǎng)格編碼技術(shù)領域。

表5 中國專利申請中科研院所申請分布

表6 國際范圍內(nèi)科研院所申請分布

有17篇專利申請涉及立體視頻的傳輸，包括2D、3D視頻的兼容傳輸，提供3D附加服務的手段等。例如，CN200480015863A申請基于MPEG-4在因特網(wǎng)上廣播立體視頻數(shù)據(jù)；CN200480043775A申請公開了一種三維數(shù)字多媒體廣播（3DDMB）系統(tǒng)，保持與傳統(tǒng)的DMB系統(tǒng)的兼容；KR2010000085917申請涉及3DTV系統(tǒng)中的附加服務傳輸；CN200780049500A申請支持2D和3D的同時廣播。

網(wǎng)格編碼技術(shù)多涉及3D網(wǎng)格數(shù)據(jù)的量化，例如，KR20100034199A申請通過針對3D網(wǎng)格數(shù)據(jù)的歸一化向量值進行量化，并進行異或操作，從而進行熵編碼，來實現(xiàn)對3D內(nèi)容的編碼；KR20080125520A申請在量化連接信息中使用差分脈沖編碼調(diào)制DPCM技術(shù)進行編碼。此外，還涉及預測編碼的修復，例如，KR20070119316A申請根據(jù)標記值可選擇地對預測編碼錯誤進行編碼。

綜合來看，韓國電子通信院的專利申請覆蓋面寬，涉及多視點編碼、立體視頻廣播的傳輸以及網(wǎng)格編碼技術(shù)均較多。在多視點編碼技術(shù)中，其涉及預測結(jié)構(gòu)以及視點間差異補償技術(shù)的優(yōu)化的專利申請較少。

2.5.2 慶熙大學校產(chǎn)學協(xié)力團 （UNIV KYUNGHEE IND COOP）

該院所從2006年開始進入立體編碼領域申請專利，多數(shù)專利申請通過國際申請PCT進入其他國家。且該學校有半數(shù)的專利申請和三星株式會社以及韓國電子通信研究院共同申請。其編碼技術(shù)集中在多視點編碼領域，包括：

1）利用視點間相關(guān)性進行編碼。例如，KR20060043338A申請通過預測圖像信息視差來進行多視點視頻編碼；KR20080026315A申請中，如果當前圖像為錨圖像，不對塊應用塊跳過模式編碼當前圖像塊。

2）補償視點間差異進行編碼。例如，KR20080087437A申請基于塊類型和圖像類型對當前塊進行色差補償；KR20060087176A申請公開了一種通過對比修正來補償圖像信息視差的方法；CN200710187021A申請通過去塊濾波方法消除由光照補償和/或色度補償造成的塊效應；KR20080087435A申請用當前圖像上的附加信息對當前塊當前圖像進行修復。

3）多視點編碼和可伸縮編碼的結(jié)合。例如，KR20070021299A申請涉及多視點編碼和可伸縮編碼的混合。

該院所的專利申請不涉及高層語法和預測結(jié)構(gòu)的改進，也不涉及網(wǎng)格編碼技術(shù)。

2.5.3 寧波大學

寧波大學以蔣剛毅和郁梅為學術(shù)帶頭人，研究3DTV、自由視點視頻系統(tǒng)編碼與傳輸。該學校在3D編碼領域的專利申請始于2005年，其主要涉及多視點編碼。

其專利申請的發(fā)明點分布包括：

1）利用視點間相關(guān)性進行編碼。例如CN201010217600A申請用當前宏塊的已編碼相鄰宏塊的視差矢量或運動矢量來預測當前宏塊的視差矢量或運動矢量；CN200510061144申請也提供了一種視差估計方法。

2）補償視點間差異。例如，CN200710067708A申請公開了一種多視點視頻顏色校正方法；CN200710164498申請中，在多視點圖像的預處理過程中，提高顏色校正的魯棒性和顏色映射的精度；CN200810059283A申請利用背景信息進行顏色校正。

3）去除立體視頻的視覺冗余。例如CN201010184200A和CN201110069318A申請，在人眼比較感興趣的區(qū)域采用較小的編碼量化參數(shù)，在人眼不太感興趣的區(qū)域采用較大的編碼量化參數(shù)，從而提高編碼效率。

4）針對深度視頻處理。例如，CN200810063741A申請根據(jù)深度圖宏塊的紋理特征將宏塊劃分到邊緣片層或非邊緣片層，分別采用不同的量化參數(shù)進行量化；CN200910154138申請根據(jù)偏離因子將B幀分為深度連續(xù)區(qū)域和深度不連續(xù)區(qū)域，對于連續(xù)區(qū)域的各個宏塊，編碼器遍歷較少的宏塊編碼模式；CN200910154336A申請設計了宏塊編碼模式搜索的提前終止方法。

5）碼率控制。例如，CN200810163801A申請通過改變量化參數(shù)來改變圖像的編碼質(zhì)量，以適應網(wǎng)絡帶寬的變化；CN201110000937A申請通過建立彩色視頻與深度視頻的碼率分配模型對目標碼率進行分配。

立體視頻的視覺冗余以及碼率控制為寧波大學獨特的研究方向，除此之外，在MVD數(shù)據(jù)中的深度數(shù)據(jù)的處理方面寧波大學也申請了較多數(shù)量的專利，這些專利申請也反映了該學校在3D視頻編碼領域橫向方面發(fā)展的一個科研成果。寧波大學沒有涉及預測結(jié)構(gòu)和高層語法結(jié)構(gòu)的改進，也沒有涉及網(wǎng)格編碼技術(shù)。

2.5.4 清華大學

清華大學的孫立峰、戴瓊海、何蕓、丁貴廣作為學術(shù)帶頭人，從事立體視頻方面的研究。

具體地，其專利申請涉及：

1）預測結(jié)構(gòu)的改進。例如，CN200710065190A申請?zhí)岢隽艘环N基于分布式信源編碼的多視點視頻編碼方法，其中將每個視點的視頻序列編碼分為I，P和SW幀3種，I和P用H.264編碼，SW幀作為視點切換幀。

2）利用視點間相關(guān)性進行編碼。例如，CN200610070971A申請利用空間物體深度信息和各個攝像頭之間的位置關(guān)系精確的計算各個視點之間的視差矢量；CN200710101528A申請限制同一時刻參考圖像的選擇，使得在多視點編碼中實現(xiàn)低延時和并行處理，同時利用不同視點之間的參考；CN201010571683申請基于視間預測對雙目立體視頻進行編碼或者解碼。

3）多視點視頻編碼傳輸。例如，CN201010133712A申請涉及基于P2P的多視點視頻傳輸編碼；CN201010227362A申請涉及基于網(wǎng)絡擁塞程度的視頻傳輸；CN201010227359A申請公開了一種基于圖像視覺質(zhì)量的視頻傳輸方法；以及CN200910076119A申請涉及一種基于對等覆蓋網(wǎng)絡協(xié)作的多視點編碼的傳輸方法。

4）深度視頻處理。例如，CN201010531029申請基于彩色視頻對深度視頻進行上采樣；CN201010222351A申請根據(jù)多視點深度圖獲得編碼率失真模型，為編碼參數(shù)選擇和碼率分配提供指導。

5）利用H.264解碼器對多視點視頻解碼。CN201010531046、CN201010531043、CN201110027858A申請均涉及了一種符合多視點視頻標準的視頻編碼方法，分別利用H.264編碼器實現(xiàn)多視點視頻的編碼或解碼。

清華大學申請了較多數(shù)量的多視點視頻網(wǎng)絡傳輸方面的專利申請，可見多視點視頻網(wǎng)絡傳輸方向為其獨特的研究方向；同寧波大學相仿，也涉及了一些對MVD數(shù)據(jù)中的深度視頻進行處理的改進；清華大學的專利申請沒有涉及高層語法和網(wǎng)格編碼技術(shù)。

2.5.5 小結(jié)

從數(shù)量上看，2006年以后，韓國和中國的科研院所表現(xiàn)活躍，韓國以韓國電子通信研究院和慶熙大學校產(chǎn)學協(xié)力團為代表，中國以寧波大學和清華大學表現(xiàn)最為活躍。

從技術(shù)角度看，申請的熱點集中于多視點編碼技術(shù)。其中，慶熙大學校產(chǎn)學協(xié)力團、寧波大學和清華大學的絕大部分專利申請涉及到多視點編碼技術(shù)，這代表著目前國內(nèi)和國際上3D編碼研究的主要方向。此外，韓國電子通信研究院涉及不少3D視頻廣播的專利申請，也涉及不少網(wǎng)格編碼技術(shù)的專利申請，而漢陽大學與韓國電子通信研究院合作緊密，主攻網(wǎng)格編碼技術(shù)。與國外的科研院所相比，我國的清華大學、寧波大學的專利申請也各具特色：清華大學偏重于基于多種網(wǎng)絡體系和網(wǎng)絡參數(shù)的多視點視頻的網(wǎng)絡傳輸，而寧波大學的創(chuàng)新在于立體視頻的視覺冗余去除以及碼率控制。此外，清華大學和寧波大學均針對MVD數(shù)據(jù)中的深度視頻的處理提出了若干申請。

分析我國的科研院所在多視點編碼方面專利申請活躍的態(tài)勢，其原因在于：2005年ITU-T開展了MVC技術(shù)的提案征集工作；這些學校具有長期涉足該領域的科研團隊，并且得到了多項科研基金的支持，在項目上有所傳承；此外，表5中我國的主要科研院所的專利申請數(shù)量及內(nèi)容在一定程度上反映了其課題進展以及研發(fā)實力。

另外，韓國之間的公司與高校、高校之間的專利申請合作緊密，表明其研發(fā)串聯(lián)程度緊密；相比而言，我國的高等院校之間、公司和高校之間聯(lián)系不夠緊密。

3 結(jié)束語

本文關(guān)注立體視頻編碼技術(shù)的專利申請。首先，簡單介紹了常用的3D視頻編碼技術(shù)。而后，在CPRSABS和VEN專利數(shù)據(jù)庫中合理地選取涉及3D編碼技術(shù)的專利申請樣本，從年度申請數(shù)量、申請人總體分析、公司方面專利分析、科研院所專利分析等角度對樣本庫進行多方位分析。

從2000—2010年的年度申請數(shù)量看，在中國的專利申請和國際范圍內(nèi)的專利申請都呈現(xiàn)總體快速穩(wěn)定增長的態(tài)勢，反映出這一領域被關(guān)注的熱度。

從申請人總體來看，在中國科研院所和公司為申請主體，而在國際范圍內(nèi)公司為申請主體；我國申請專利保護的申請人以國內(nèi)申請人為主，占全部專利的55%；國際范圍內(nèi)申請人以日本和美國申請最多，其次為歐洲、韓國和中國。

在公司申請中，日本和韓國公司以及湯姆森特許公司申請量居多，中國僅有華為一家在3D編碼技術(shù)領域排在前列。在科研院所中，韓國的科研院所的申請量居多，中國的寧波大學和清華大學申請活躍。各家公司、科研院所的專利申請均反映出其前期研發(fā)過程中不同于其他公司的策略和特色。

從技術(shù)上看，2006年之前申請的專利主要針對雙視點編碼，2006年及以后的專利申請主要面向多視點編碼技術(shù)這一目前申請的熱點。此外，3D網(wǎng)格編碼技術(shù)的申請量相對要小，三星公司、韓國電子通信研究院和湯姆森特許公司、漢陽大學、IBM、SUN、微軟公司在網(wǎng)格技術(shù)領域申請較多。

此外，撰寫本文過程中，參考了大量的涉及各種3D編碼技術(shù)的非專利文獻。相對于非專利文獻的百花齊放，專利的增長有限。本文認為，這可能是因為：在應用層面，受限于視頻源以及傳輸、顯示的發(fā)展制約，立體編碼技術(shù)的應用規(guī)模還非常有限，加之立體編碼技術(shù)理論已較為成熟，更多的為在壓縮率以及編碼效率上的改進，專利申請動力尚有不足；而學術(shù)界的研究人員相對更關(guān)心學術(shù)層次的問題，其成果多以學術(shù)文章或草案形式呈現(xiàn)。

[1]駱凱.三維電視系統(tǒng)編碼、視點變換算法研究及運動補償硬件設計[D].杭州：浙江大學，2009.

[2]ISO/IEC 13818-2 Amendment 3（Multi-View Profile）,MPEG96 N1366[S].1996.

[3]ATTEST.European IST-2001-34396 project[EB/OL].[2011-10-11].http://www.hitech-projects.com/euprojects/attest/index.html

[4]FEHN C.Depth-image-based rendering（DIBR）,compression,and transmission for a new approach on 3D-TV[C]//Stereoscopic displays and virtual Reality Systems XI，2004，SPIE 5201.[S.l.]：SPIE Press，2004：93-104.

[5]安平，張倩，鞠芹，等.用于3DTV的圖像繪制技術(shù)[J].電視技術(shù)，2010，34（1）：49-51.

[6]MERKLE P，SMOLIC A，MULLER K，et al.Efficient prediction struc?tures for multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1461-1473.

[7]霍俊彥，常義林，李明，等.多視點視頻編碼的研究現(xiàn)狀及其展望[J].通信學報，2010，31（5）：113-121.

[8]畢厚杰.新一代視頻壓縮編碼標準——H.264/AVC[M].2版.北京：人民郵電出版社，2009：140-177.

[9]PENG J，KIM C S，KUO C C J.Technologies for 3-D mesh compres?sion:a survey[J].Journal of Visual Communication and Image Repre?sentation，2005，16（6）：688-733.