李婧雯

摘 要： 近年來，隨著計(jì)算能力的大大提高，基于海量數(shù)據(jù)和大規(guī)模參數(shù)的深度學(xué)習(xí)技術(shù)快速發(fā)展，引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

本文從專利保護(hù)的角度對深度學(xué)習(xí)的發(fā)展與應(yīng)用展開了研究，通過對國內(nèi)外重要申請人的專利申請量進(jìn)行了統(tǒng)計(jì)與分析，同時(shí)對重要專利展開了研究與擴(kuò)展，從知識產(chǎn)權(quán)的角度闡述了深度學(xué)習(xí)技術(shù)的應(yīng)用和發(fā)展趨勢。

關(guān)鍵詞： 深度學(xué)習(xí)；專利申請；知識產(chǎn)權(quán)；技術(shù)發(fā)展

第一章綜述

1.1 背景和研究意義

近年來，在搜索引擎、推薦系統(tǒng)、圖像識別、語音識別等諸多領(lǐng)域，深度學(xué)習(xí)有著諸多重要的應(yīng)用。傳統(tǒng)的統(tǒng)計(jì)機(jī)器學(xué)習(xí)中，一般要求模型使用者有大量領(lǐng)域知識作為基礎(chǔ)，需要對模型進(jìn)行很多特征工程和人工調(diào)節(jié)，而且模型學(xué)習(xí)到的信息較為淺層。深度學(xué)習(xí)則利用大量的參數(shù)和數(shù)據(jù)，可以學(xué)習(xí)較為深層的特征。隨著互聯(lián)網(wǎng)產(chǎn)生海量的數(shù)據(jù)，深度學(xué)習(xí)得到了快速的發(fā)展，性能得到快速的提升[1]。

1.2 研究方法

本文數(shù)據(jù)來源于德溫特世界專利索引數(shù)據(jù)庫（DWPI）和中國專利文摘數(shù)據(jù)庫（CNABS），統(tǒng)計(jì)時(shí)間截止至2017年5月9號。在專利申請人的選取上，本文主要按照工業(yè)界和學(xué)術(shù)界兩個(gè)維度進(jìn)行選擇，在學(xué)術(shù)界選取中科院、清華大學(xué)、北京大學(xué)、哈工大四所高校，學(xué)術(shù)界則選取了阿里巴巴、騰訊、百度三家主要的企業(yè)；同時(shí)，為了對比國內(nèi)外此領(lǐng)域的發(fā)展?fàn)顩r，我們還選取了部分國外的申請人進(jìn)行分析，包括IBM、谷歌、微軟3家企業(yè)。

本文使用IPC結(jié)合關(guān)鍵詞的檢索方法進(jìn)行研究，局限在單個(gè)IPC內(nèi)進(jìn)行檢索可能會由于分類不準(zhǔn)導(dǎo)致漏檢，而單獨(dú)使用關(guān)鍵詞可能會導(dǎo)致引入檢索到很多不相關(guān)的專利。因此本文采用的方法是在多個(gè)IPC內(nèi)使用關(guān)鍵詞進(jìn)行檢索，保證結(jié)果的正確性。此外，本文還使用了典型案例進(jìn)行研究，深入分析了深度學(xué)習(xí)的技術(shù)結(jié)構(gòu)，指出了未來專利申請或者審核中需要注意的要點(diǎn)。

第二章重要申請人專利統(tǒng)計(jì)及分析

本章通過統(tǒng)計(jì)深度學(xué)習(xí)領(lǐng)域重要申請人的專利申請情況，以此分析該領(lǐng)域國內(nèi)外、學(xué)術(shù)界和工業(yè)界的發(fā)展情況。我們主要通過兩個(gè)維度進(jìn)行分析：第一是各個(gè)申請人的申請總量對比，以此作為不同申請人類型發(fā)展情況的分析依據(jù)；第二是統(tǒng)計(jì)典型申請人按照時(shí)間專利申請量的變化趨勢，由此分析整個(gè)領(lǐng)域的發(fā)展趨勢。

2.1 重要申請人專利量統(tǒng)計(jì)

圖一反映了近5年基于深度學(xué)習(xí)領(lǐng)域重要申請人的專利申請情況，其中包括了多個(gè)申請人，在最近5年中深度學(xué)習(xí)領(lǐng)域的專利申請總量。

我們知道，在傳統(tǒng)機(jī)器學(xué)習(xí)領(lǐng)域中，大部分的專利都會來自于學(xué)術(shù)界、工業(yè)界的申請量會相對較小。但是從圖一可以看出，在深度學(xué)習(xí)領(lǐng)域，來自工業(yè)界的阿里巴巴、騰訊等也有一定的專利申請、并且數(shù)量與學(xué)術(shù)界的清華、北大等高校類似。說明國內(nèi)工業(yè)界和學(xué)術(shù)界對此領(lǐng)域都非常關(guān)注。進(jìn)一步分析，我們發(fā)現(xiàn)此領(lǐng)域是一個(gè)有著非常重要的實(shí)踐應(yīng)用的領(lǐng)域，而不是一個(gè)僅僅局限在學(xué)術(shù)界的一個(gè)研究領(lǐng)域，很多深度學(xué)習(xí)技術(shù)，都可以直接應(yīng)用到工業(yè)界的產(chǎn)品中，比如在搜索引擎中，需要判斷用戶的查詢與待檢索的文檔的相似程度，就需要利用自然語言處理判斷文本的語義距離，而深度學(xué)習(xí)近年來已被廣泛應(yīng)用于自然語言處理。

換一個(gè)角度，隨著近年來人工智能尤其是深度學(xué)習(xí)的快速發(fā)展，從學(xué)術(shù)界的成果到工業(yè)界的產(chǎn)品的轉(zhuǎn)化周期越來越短，企業(yè)在這些領(lǐng)域的投入可以很快獲得收益，因此我們看到在深度學(xué)習(xí)領(lǐng)域，我們選取的幾個(gè)典型申請人中，工業(yè)界的專利申請量與學(xué)術(shù)界不相上下。由此可見，未來在類似的領(lǐng)域，尤其是深度學(xué)習(xí)和人工智能領(lǐng)域，專利保護(hù)的需求將會出現(xiàn)快速的增長。

其次，由圖一我們看出，國外企業(yè)相對于國內(nèi)企業(yè)申請申請量更大，說明國內(nèi)企業(yè)在此技術(shù)方向的投入不如國外企業(yè)大。我們分析其原因，國外的典型企業(yè)包括IBM、谷歌、微軟，都成立的單獨(dú)的實(shí)驗(yàn)室用于前沿的學(xué)術(shù)研究，其中在深度學(xué)習(xí)領(lǐng)域有著較大的投入；相比之下，國內(nèi)的企業(yè)目前在這方面的投入相對來講就低得多，因此在專利申請量方面自然也少了很多。由此，我們可以看出國外企業(yè)在深度學(xué)習(xí)領(lǐng)域已經(jīng)取得了先發(fā)優(yōu)勢，國內(nèi)企業(yè)需要一定的時(shí)間和投入才能趕上最新的技術(shù)前沿發(fā)展，同時(shí)也需要注意專利領(lǐng)域的成果保護(hù)。

2.2 重要申請人申請量變化趨勢

圖二展示了本文選取的重要申請人在本領(lǐng)域近幾年的申請量走向，從整體上看，從圖中可以觀察到所有申請人在該領(lǐng)域的專利申請量總體上呈逐年遞增趨勢，一方面說明了深度學(xué)習(xí)近幾年的發(fā)展勢頭越來越強(qiáng)勁，另一方面也說明了一個(gè)技術(shù)領(lǐng)域的快速發(fā)展可以通過其專利的發(fā)展的反應(yīng)出來[5]。

對比國內(nèi)外企業(yè)，從增長率我們可以看出，國外企業(yè)對技術(shù)發(fā)展的敏感程度較高，在深度學(xué)習(xí)發(fā)展起來之后，可以快速地投入資源進(jìn)去；而國內(nèi)企業(yè)雖然也有一定程度的增長，但增長率較低。由此可見，國內(nèi)的企業(yè)對于前沿技術(shù)的敏感程度和重視程度目前還有很大的提高空間。抓住這些技術(shù)變化的拐點(diǎn)，才有機(jī)會在未來的商業(yè)競爭中取得優(yōu)勢。

同時(shí)，我們看到國內(nèi)的學(xué)術(shù)界和工業(yè)界的申請量對比，有著一定相關(guān)的變化趨勢，說明國內(nèi)目前深度學(xué)習(xí)領(lǐng)域的產(chǎn)學(xué)結(jié)合較為完善，學(xué)術(shù)界的成果可以很快應(yīng)用到工業(yè)界，工業(yè)界的重要企業(yè)也愿意投入一定的資源去進(jìn)行深度學(xué)習(xí)的研究。由此我們看到，深度學(xué)習(xí)作為一項(xiàng)新技術(shù)，在產(chǎn)學(xué)結(jié)合方面有著快速發(fā)展的趨勢，利用這點(diǎn)趨勢，未來深度學(xué)習(xí)的發(fā)展將愈加火熱。

我們選取的重要申請人做該領(lǐng)域的技術(shù)帶頭人，其對深度學(xué)習(xí)領(lǐng)域的專利保護(hù)越來越重視，由此可見該領(lǐng)域越來越受到業(yè)界內(nèi)各大企業(yè)和研究機(jī)構(gòu)的重視，也意味著該領(lǐng)域的專利保護(hù)競爭會愈加激烈?？梢灶A(yù)見，在未來的幾年，其專利申請量還會呈持續(xù)遞增的趨勢，未來的此領(lǐng)域?qū)＠Ｗo(hù)工作將會愈加重要。

第三章深度學(xué)習(xí)重點(diǎn)專利技術(shù)分析

本章通過剖析國內(nèi)外兩個(gè)典型的專利申請案例，一方面分析深度學(xué)習(xí)相關(guān)專利的特征，對此領(lǐng)域?qū)＠暾?、審查、保護(hù)都有一定的意義；另一方面，通過分析重點(diǎn)專利，我們可以知道目前深度學(xué)習(xí)領(lǐng)域的主流技術(shù)特點(diǎn)，也可以預(yù)見其未來發(fā)展趨勢。

3.1 國內(nèi)重點(diǎn)專利分析

在國內(nèi)的重要申請人中，中科院在該領(lǐng)域的申請量最多，可見其在該領(lǐng)域的貢獻(xiàn)之大，在眾多重要專利中，我們找出如下一篇典型專利進(jìn)行分析，其申請?zhí)枮椤癈N201510270028”的專利中，公開了“一種基于深度語義特征學(xué)習(xí)的短文本聚類方法”[2]。

該申請公開了一種基于深度語義特征學(xué)習(xí)的短文本聚類方法，包括：通過傳統(tǒng)的特征降維在局部信息保存的約束下對原始特征進(jìn)行降維表示，并對得到的低維實(shí)值向量進(jìn)行二值化，做為卷積神經(jīng)網(wǎng)絡(luò)[4]結(jié)構(gòu)的監(jiān)督信息進(jìn)行誤差反向傳播訓(xùn)練模型；采用外部大規(guī)模語料無監(jiān)督訓(xùn)練詞向量，并對文本中每個(gè)詞按詞序進(jìn)行向量化表示，做為卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的初始化輸入特征學(xué)習(xí)文本的隱式語義特征；得到深度語義特征表示后，采用傳統(tǒng)的K均值算法對文本進(jìn)行聚類[6]。

該申請是一個(gè)深度學(xué)習(xí)在自然語言處理領(lǐng)域的典型應(yīng)用，通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)文本的語義表示，然后通過特定的類標(biāo)簽訓(xùn)練端到端的神經(jīng)網(wǎng)絡(luò)，并結(jié)合了其他傳統(tǒng)的機(jī)器學(xué)習(xí)算法如降維技術(shù)、聚類技術(shù)等，這是一個(gè)深度學(xué)習(xí)用于自然語言處理的典型流程，該流程可以作為其他申請?jiān)谠擃I(lǐng)域的對比范本。

3.2 國外重點(diǎn)專利分析

在國外的重要申請人中，微軟公司作為該領(lǐng)域在工業(yè)界較為核心的企業(yè)，有諸多本領(lǐng)域中的申請，例如，其公開的一篇專利號為“US20150074027A1”的申請中，公開了一種“Deep Structured Semantic Model Produced Using Click-Through Data”，提出了深度結(jié)構(gòu)化語義模型[3]。

首先，我們看到此申請同樣是端到端的設(shè)計(jì)，實(shí)際上不只是本文提到的典型案例，在諸多相關(guān)的申請中有很多都是端到端的結(jié)構(gòu)，說明這是深度學(xué)習(xí)所使用的主流方法。其次，由于數(shù)據(jù)不同、訓(xùn)練目標(biāo)不同，雖然都是端到端的結(jié)構(gòu)，但是模塊的選擇和順序卻有著很大的不同。

該申請是深度學(xué)習(xí)領(lǐng)域中一個(gè)將數(shù)據(jù)與網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合的典型案例，我們知道深度學(xué)習(xí)是由數(shù)據(jù)驅(qū)動的學(xué)習(xí)過程，如何將數(shù)據(jù)與網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合起來是至關(guān)重要的，因此我們通過學(xué)習(xí)此案例，可以學(xué)習(xí)到如何針對不同的數(shù)據(jù)格式設(shè)計(jì)不同的輸入輸出結(jié)構(gòu)。在比較深度學(xué)習(xí)技術(shù)的差異點(diǎn)時(shí)，數(shù)據(jù)結(jié)構(gòu)的創(chuàng)新也是不容忽視的。

第四章總結(jié)與展望

本文通過從專利保護(hù)的角度出發(fā)，統(tǒng)計(jì)和分析了深度學(xué)習(xí)領(lǐng)域重要專利申請人的申請量和申請量趨勢，并進(jìn)一步深入剖析了國內(nèi)外的典型案例。一方面，我們看到深度學(xué)習(xí)在諸多領(lǐng)域有著重要的應(yīng)用，技術(shù)發(fā)展愈發(fā)火熱，未來的專利保護(hù)競爭畢竟更加激烈，因此保護(hù)其健康發(fā)展有重要的意義；另一方面，我們看到深度學(xué)習(xí)的技術(shù)特征鮮明，其創(chuàng)新點(diǎn)的多樣化，如與其他技術(shù)結(jié)合、與需求結(jié)合、通過模塊的調(diào)整等，對進(jìn)行發(fā)明點(diǎn)的構(gòu)思、差異點(diǎn)和相似性的分析挖掘有一定的指導(dǎo)意義。

參考文獻(xiàn)

[1]Goldberg Y. A Primer on Neural Network Models for Natural Language Processing[J]. Computer Science， 2015.

[2]徐博， 許家銘， 郝紅衛(wèi)，等. 一種基于深度語義特征學(xué)習(xí)的短文本聚類方法； CN104915386A[P]. 2015.

[3]Corporation M. Deep structured semantic model produced using click-through data[J]. 2016.

[4]Cun Y L， Boser B， Denker J S， et al. Handwritten digit recognition with a back-propagation network[C]// Advances in Neural Information Processing Systems. Morgan Kaufmann Publishers Inc. 1990：396-404.

[5]余凱， 賈磊， 陳雨強(qiáng)，等. 深度學(xué)習(xí)的昨天、今天和明天[J]. 計(jì)算機(jī)研究與發(fā)展， 2013， 50（9）：1799-1804.

[6]孫吉貴， 劉杰， 趙連宇. 聚類算法研究[J]. 軟件學(xué)報(bào)， 2008， 19（1）：48-61.

[7]吳曉婷， 閆德勤. 數(shù)據(jù)降維方法分析與研究[J]. 計(jì)算機(jī)應(yīng)用研究， 2009， 26（8）：2832-2835.