鄭子亨

2019年6月26日，谷歌對Dropout算法提出的專利申請正式生效，專利有效期為15年，2034年9月3日到期。Dropout算法最早由Hinton于2012年提出，是一種在深度學(xué)習(xí)、訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)被普遍使用的算法，可以有效解決過擬合現(xiàn)象，由于Dropout是人工智能最底層算法，使用范圍十分廣泛，此次專利申請?jiān)谌斯ぶ悄茴I(lǐng)域引起軒然大波。

背景

Dropout算法可以有效解決深度學(xué)習(xí)中的過擬合問題。Dropout最早于2012年被圖靈獎(jiǎng)獲得者Hinton提出，由Alex首次用于卷積網(wǎng)絡(luò)的圖像分類。由于神經(jīng)網(wǎng)絡(luò)擬合能力過強(qiáng)，在實(shí)際的訓(xùn)練情況中極易出現(xiàn)“過擬合”，“過擬合”情況一旦出現(xiàn)會導(dǎo)致訓(xùn)練完成后的神經(jīng)網(wǎng)絡(luò)模型無法用于訓(xùn)練集之外的其他數(shù)據(jù)。

Dropout算法的作用便是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中以一定概率丟棄部分神經(jīng)元來防止“過擬合”現(xiàn)象，在深度學(xué)習(xí)領(lǐng)域中的應(yīng)用極為普遍，現(xiàn)在主流的卷積、循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練都會用Dropout技術(shù)作為正則化器?；贒ropout的廣泛應(yīng)用，Dropout的變形例如Targeted Dropout、 Sample Dropout等陸續(xù)被開發(fā)問世。

深度學(xué)習(xí)基礎(chǔ)算法類專利鳳毛麟角。從全球范圍看，深度學(xué)習(xí)專利集中在產(chǎn)業(yè)下游。2018年全球深度學(xué)習(xí)領(lǐng)域新增專利數(shù)量為7429項(xiàng)，雖然專利數(shù)量呈現(xiàn)爆發(fā)式增長，但從分布情況來看主要集中在產(chǎn)業(yè)中下游，即對深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的使用及人工智能應(yīng)用模式的創(chuàng)新。目前，計(jì)算機(jī)視覺創(chuàng)新熱度最高，2018年相關(guān)專利數(shù)量超過4000個(gè)，占比超過全部專利數(shù)量的一半;另外，從專利數(shù)量來看，2016年至2018年谷歌總共發(fā)布專利數(shù)量為1659項(xiàng)，在全球企業(yè)排名中僅次于IBM和微軟，位列第三位，其中以發(fā)明專利居多。谷歌善于通過基礎(chǔ)算法進(jìn)行生態(tài)構(gòu)建，持續(xù)地注重基礎(chǔ)算法專利的儲備和布局，在此次對Dropout申請專利之前，谷歌已經(jīng)多次對基礎(chǔ)算法進(jìn)行專利申請，如自然語言處理中的Word2vec和視頻壓縮中的ANS等。

近年來，谷歌在深度學(xué)習(xí)基礎(chǔ)算法領(lǐng)域?qū)＠季诌M(jìn)一步深化，其專利申請相較之前呈明顯增加的趨勢，并在2013年呈現(xiàn)爆發(fā)式增長，其布局重點(diǎn)領(lǐng)域?yàn)樽詣?dòng)駕駛汽車基礎(chǔ)技術(shù)，如環(huán)境感知、操作控制等。谷歌在基礎(chǔ)領(lǐng)域的專利布局使其得以牢牢把控產(chǎn)業(yè)上游“閘口”。

案例介紹

事件描述。2016年8月2日，谷歌對Dropout算法提出了專利申請，該項(xiàng)專利于2019年6月26日正式生效，專利有效期為15年，2034年9月3日到期。在專利申請的文檔主體中，谷歌提供了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖和訓(xùn)練流程圖，并介紹了專利申請的背景，對專利進(jìn)行了簡要概括，提供了專利分類，并描述了專利的實(shí)施原理。谷歌在Dropout專利申請成功后還沒有后續(xù)動(dòng)作，該專利目前仍然處于免費(fèi)狀態(tài)，但是谷歌對于業(yè)界的討論并沒有給出正面回應(yīng)，深度學(xué)習(xí)開發(fā)者、AI初創(chuàng)企業(yè)和AI科研機(jī)構(gòu)等都仍舊面臨谷歌對于Dropout算法進(jìn)行收費(fèi)或者限制的風(fēng)險(xiǎn)。

后續(xù)發(fā)展。業(yè)界對谷歌申請Dropout專利主要存在兩種意見。樂觀者認(rèn)為此次不是谷歌第一次進(jìn)行基礎(chǔ)算法的專利申請，并且谷歌沒有對算法進(jìn)行限制或者收費(fèi)的先例，此次谷歌針對Dropout申請專利有較大概率是為了防止在進(jìn)行技術(shù)開發(fā)中被其他公司起訴，是一種自我保護(hù)行為，谷歌不會對Dropout使用者進(jìn)行限制。悲觀者認(rèn)為谷歌對深度學(xué)習(xí)底層算法進(jìn)行專利申請，握住了整個(gè)深度學(xué)習(xí)領(lǐng)域的命脈，所有Dropout算法使用者都面臨“卡脖子”的風(fēng)險(xiǎn)。

簡評

我國深度學(xué)習(xí)領(lǐng)域以企業(yè)為主體的專利數(shù)量占比較低。近幾年，我國深度學(xué)習(xí)專利增長迅速，但是以企業(yè)為主體的專利數(shù)量較少，企業(yè)創(chuàng)新主體的地位沒有得到充分體現(xiàn)。從總體構(gòu)成上看，我國深度學(xué)習(xí)領(lǐng)域的研發(fā)力量集中于科研院所，而美國主要集中于企業(yè)。2018 年，美國以企業(yè)為申請主體的新增專利數(shù)占到其專利總申請數(shù)量的 81.5%，而我國此項(xiàng)比重僅為 40.8%?？蒲性核谏疃葘W(xué)習(xí)領(lǐng)域研發(fā)創(chuàng)新中戲份較重體現(xiàn)出一定弊端，一是各個(gè)院所之間相對獨(dú)立，并且科研院所研發(fā)經(jīng)費(fèi)相較大型企業(yè)略顯窘困，導(dǎo)致研究力量比較分散，研發(fā)方向不夠聚焦，難以真正解決基礎(chǔ)領(lǐng)域重點(diǎn)難點(diǎn)問題。二是科研院所與產(chǎn)業(yè)、市場的應(yīng)用需求銜接不足，研發(fā)創(chuàng)新成果難以實(shí)現(xiàn)真正的應(yīng)用落地，研發(fā)到應(yīng)用之間存在斷層。

我國應(yīng)當(dāng)高度關(guān)注人工智能基礎(chǔ)算法專利布局。我國人工智能代表企業(yè)如百度、商湯、科大訊飛等，聚焦語音識別、圖像識別、端到端自動(dòng)駕駛系統(tǒng)、圖像分割神經(jīng)網(wǎng)絡(luò)、視線追蹤等領(lǐng)域開發(fā)應(yīng)用產(chǎn)品，但是與美國科技巨頭如 IBM、谷歌、微軟等相比，我國在人工智能基礎(chǔ)算法布局處于空白，在未來發(fā)展中略顯乏力。此次谷歌對 Dropout 技術(shù)申請專利應(yīng)當(dāng)引起行業(yè)管理部門重視，鼓勵(lì)企業(yè)在新興領(lǐng)域原始創(chuàng)新上加大資金、人才等投入力度，在底層架構(gòu)、基礎(chǔ)理論等方面勇于做先行者和開拓者。同時(shí)相關(guān)企業(yè)應(yīng)當(dāng)增強(qiáng)知識產(chǎn)權(quán)意識，通過專利布局對未來新興領(lǐng)域的產(chǎn)業(yè)生態(tài)構(gòu)建進(jìn)行超前謀劃，積極在基礎(chǔ)算法領(lǐng)域進(jìn)行專利布局，打好行業(yè)發(fā)展根基。