亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)專利分析

        2021-01-17 23:17:58趙翠翠
        科學(xué)與生活 2021年32期
        關(guān)鍵詞:專利分析深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

        摘要:深度學(xué)習(xí)是基于神經(jīng)網(wǎng)絡(luò)發(fā)展起來的技術(shù)。深度學(xué)習(xí)以神經(jīng)網(wǎng)絡(luò)為主要模型,一開始用來解決機器學(xué)習(xí)中的表示學(xué)習(xí)問題。由于其強大的能力,深度學(xué)習(xí)越來越多地用來解決一些通用人工智能問題,比如推理、決策等。目前,深度學(xué)習(xí)技術(shù)在學(xué)術(shù)界和工業(yè)界取得了廣泛的成功,受到高度重視,并掀起新一輪的人工智能熱潮。本文利用incopat平臺對利用神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)進行了專利檢索,并對申請趨勢、申請地域分布、重要申請人及其專利價值度等維度進行分析。

        關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);專利分析

        引言

        深度學(xué)習(xí)算法模型從應(yīng)用層面來講,主要分為卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)和生成式對抗網(wǎng)絡(luò)[1][2]。卷積神經(jīng)網(wǎng)絡(luò)[3]是一種前饋神經(jīng)網(wǎng)絡(luò),它由若干卷積層和池化層組成,尤其在圖像處理方面CNN的表現(xiàn)十分出色,例如:圖像分類、目標檢測及人臉識別等。循環(huán)神經(jīng)網(wǎng)絡(luò)[4]的獨特價值在于:它能有效的處理序列數(shù)據(jù)。比如:文章內(nèi)容、語音音頻、股票價格走勢等。之所以他能處理序列數(shù)據(jù),是因為在序列中前面的輸入也會影響到后面的輸出,相當(dāng)于有了“記憶功能”。但是循環(huán)神經(jīng)網(wǎng)絡(luò)存在嚴重的短期記憶問題,長期的數(shù)據(jù)影響很小。于是基于循環(huán)神經(jīng)網(wǎng)絡(luò)出現(xiàn)了長短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)和門控循環(huán)神經(jīng)網(wǎng)絡(luò)(Gate Recurrent Unit, GRU)等變種算法。生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,簡稱GAN)[5]是無監(jiān)督學(xué)習(xí)的一種方法,通過讓兩個神經(jīng)網(wǎng)絡(luò)相互博弈的方式進行學(xué)習(xí)。生成式對抗網(wǎng)絡(luò)由生成器和判別器構(gòu)成。生成對抗網(wǎng)絡(luò)的核心目的是訓(xùn)練生成器。生成器的目的是生成與真實樣本盡可能相似的“假樣本”,判別器的目的是盡可能區(qū)分出給定樣本是真實樣本還是生成的“假樣本”。二者目的相悖,在不斷博弈的過程中相互提高,最終在判別器判別能力足夠可靠的前提下仍無法區(qū)分給定樣本是真實樣本還是生成樣本。生成式對抗網(wǎng)絡(luò)主要應(yīng)用為:提高原始圖像的分辨率,生成高畫質(zhì)的影像等。除此之外,深度學(xué)習(xí)網(wǎng)絡(luò)還包括圖神經(jīng)網(wǎng)絡(luò)、強化學(xué)習(xí)、元學(xué)習(xí)、自動化積極學(xué)習(xí)方面的算法和模型。本文僅對深度學(xué)習(xí)算法模型中的卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和生成式對抗網(wǎng)絡(luò)進行檢索,并對檢索結(jié)果進行分析。

        1申請量分析

        圖1中是對國內(nèi)外神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)年增量的統(tǒng)計,從圖1中可以看出,在2014年以前該技術(shù)的申請量一直緩慢增長,從2014-2019年之間增長量呈“J”型,并于2019年達到頂峰,年申請量為20742件。從2020年-2021年申請量出現(xiàn)了斷崖式下跌,2021年的申請量僅為10104,比2019年的申請量減少了一半多。

        深度學(xué)習(xí)的申請量大增,這與市場需求以及數(shù)據(jù)量、計算機的計算能力是分不開的。目前,我們已經(jīng)進入數(shù)字化時代,可以采集到更多的數(shù)據(jù),計算機軟硬件的快速發(fā)展,使得計算機的計算能力大幅度提高,這為深度學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。市場需求方面:例如語音識別、自動駕駛、自動機器翻譯、即時視覺翻譯、調(diào)用遺傳變異、癌癥檢測、X 射線 CT 重建、機器人、對話智能體、視頻動作識別等,并取得了顯著成果。

        市場需求促使科研人員的投入,從而使得學(xué)術(shù)研究重點發(fā)生了轉(zhuǎn)移:近年來計算機相關(guān)的各大學(xué)術(shù)會議在制定學(xué)術(shù)方向時,已然偏向了神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)領(lǐng)域,例如:國際表示學(xué)習(xí)會議(International Conference on Learning Representations, ICLR) :主要聚焦于深度學(xué)習(xí)。國際機器學(xué)習(xí)會議(International Conference on Machine Learning,ICML):機器學(xué)習(xí)頂級會議,深度學(xué)習(xí)作為近年來的熱點,也占據(jù)了 ICML的 很大比例。美國人工智能協(xié)會年會3(AAAI Conference on Artificial Intelligence,AAAI):人工智能領(lǐng)域的頂級會議,近年來和深度學(xué)習(xí)相關(guān)的論文也越來越多。

        國內(nèi)的研究方向一般與國際相吻合,從2015-2017年在有關(guān)深度學(xué)習(xí)的國家自然基金項目的扶持下,使各大高校紛紛投入到深度學(xué)習(xí)的研究中,這些國家自然基金的項目的周期均在2-3年之間,這也就解釋全球的深度學(xué)習(xí)的專利申請會什么會在2019年達到頂峰。

        在政策以及市場一片大好的情況下,2020年關(guān)于深度學(xué)習(xí)的申請量為什么會下降,這與深度學(xué)習(xí)發(fā)展的成熟度及遇到的技術(shù)瓶頸是分不開的。

        在2010年計算機視覺奠基者之一,約翰霍普金斯大學(xué)教授Alan Yuille指出深度學(xué)習(xí)在計算機視覺領(lǐng)域的瓶頸已至,Yuille指出,深度學(xué)習(xí)雖然優(yōu)于其他技術(shù),但它不是通用的,經(jīng)過數(shù)年的發(fā)展,它的瓶頸已經(jīng)凸顯出來,主要有三個:需要大量標注數(shù)據(jù);過度擬合基準數(shù)據(jù);對圖像過度敏感。

        2申請地域分布及申請人排行榜

        由圖2.1為神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)國際申請量分布情況,從圖中可以看出截止2021年,中國在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)領(lǐng)域的申請量位居第一,美國的申請量位居第二,中國在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方面的申請量遠大于美國,是美國申請量的4倍之多。世界知識產(chǎn)權(quán)組織在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方面的申請量位居第三,韓國的申請量排名第四。

        從前十五名的申請人可以看出,中國的大專院校占了9個;其中電子科技大學(xué)和華南理工大學(xué)分別位于第一和二位。中國科學(xué)院自動化研究所位于第十五位。前十五名中只有五個公司,其中中國的公司占了兩個,分別是平安科技(深圳)有限公司和騰訊科技(深圳)有限公司。其余三個公司為韓國的三星電子公司,位居第9位,專利申請量為519件;美國的IBM公司和谷歌公司分別位于第十二和十三位。

        國內(nèi)的研究方向一般與國際相吻合,近年來在有關(guān)深度學(xué)習(xí)的國家自然基金項目的扶持下,使各大高校紛紛投入到深度學(xué)習(xí)的研究中,并產(chǎn)出了大量的科研成果。

        3專利成果轉(zhuǎn)化

        專利轉(zhuǎn)化為成果可以通過專利出資、專利融資、專利實施許可、專利權(quán)轉(zhuǎn)讓方式進行。本文統(tǒng)計了專利實施許可和專利權(quán)轉(zhuǎn)讓數(shù)量。

        從圖1和圖3.1可知專利轉(zhuǎn)讓量與專利申請量的變化趨勢相吻合,并隨著專利申請量的大增,專利轉(zhuǎn)讓量也呈現(xiàn)了“J”型增長趨勢。專利轉(zhuǎn)讓量并于2019年達到頂峰,專利轉(zhuǎn)讓量為3037件,到2021年的專利轉(zhuǎn)讓量下降到1595件。

        從圖3.2中可以看出轉(zhuǎn)讓人前十名中,中國的申請人只用兩個,分別是阿里巴巴和先進創(chuàng)新技術(shù)有限公司,其余均為國外的公司。圖3.2轉(zhuǎn)讓人排名與圖2.2申請人排行榜形成了鮮明的對比。圖2.2中申請人排名前十中中國的大專院校占了七個,但專利轉(zhuǎn)讓人排名的前十中,居然沒有中國大專院校的身影。足以說明中國大專院校的專利申請量之大,但專利成果轉(zhuǎn)化率之低。

        從圖3.4可知,從2015-2018年之間專利許可量僅為3件,從2018-2021年雖然呈現(xiàn)增長趨勢,但專利許可的增長量顯著,但專利許可量有限,2021年的專利許可量僅為48件,截至到2021年專利許可量的總件數(shù)為100件。

        通過專利轉(zhuǎn)讓進行專利轉(zhuǎn)化的成果還是很顯然的,通過專利許可進行專利轉(zhuǎn)化的成果雖然不高,但是依然是上升的趨勢。在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)領(lǐng)域,中國的大專院校的申請量在中國是很多的,但是沒有很好的進行成果轉(zhuǎn)化。

        專利成果轉(zhuǎn)化有助于將技術(shù)滲透到產(chǎn)品制造及產(chǎn)業(yè)運行的各個環(huán)節(jié),可以整體提升產(chǎn)業(yè)運行效率及產(chǎn)業(yè)競爭力,國家也認識到這一問題,先后頒布了促進專利成果轉(zhuǎn)化的政策。希望國家和政府能落實好政策,鼓勵和促進企業(yè)及高校的專利進行成果轉(zhuǎn)化。

        5結(jié)語

        本文從神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的三個網(wǎng)絡(luò)模型入手,進行了專利檢索和分析,通過分析可知,全球都致力于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的研究中,中國的對于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的申請量是很大的。但是成果轉(zhuǎn)化率卻很低,希望中國的高校和企業(yè)重視專利成果的轉(zhuǎn)化。

        參考文獻

        [1]余凱,賈磊,陳雨強,等. 深度學(xué)習(xí)的昨天,今天和明天[J].計算機研究與發(fā)展,2013,50( 9) : 1799 - 1804.

        [2]Goodfellow I,Bengio Y,Courville A. Deep learning[M].Cambridge,USA: MIT Press,2016.

        [3] 周飛燕,金林鵬,董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機學(xué)報,2017,40( 6) : 1229-1251.Zhou F Y,Jin L P,Dong J.Review of convolutional neural network[J].Chinese Journal of Computers,2017,40( 6) : 1229-1251.

        [4]劉禮文;俞弦;循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)及應(yīng)用研究[J];、科技世界;2019年第32期.

        [5]FashionGAN: Display your fashion design using Conditional Generative Adversarial Nets[J] . Y. R. Cui,Q. Liu,C. Y. Gao,Z. Su. ?Computer Graphics Forum . 2018 (7).

        姓名:趙翠翠,工作單位:國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作天津中心,天津 300304,出生年月:1988年3月14日,學(xué)歷:碩士研究生,職稱:中級職稱,研究方向:模式識別。

        猜你喜歡
        專利分析深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)
        神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
        電子制作(2019年19期)2019-11-23 08:42:00
        國際云制造關(guān)鍵技術(shù)專利分析及啟示
        MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場域建構(gòu)
        大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
        深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
        專利分析在產(chǎn)業(yè)創(chuàng)新中的利用
        商(2016年29期)2016-10-29 20:58:39
        基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實現(xiàn)
        軟件工程(2016年8期)2016-10-25 15:47:34
        鈉離子電池的專利技術(shù)綜述
        稀土發(fā)光材料專利分析綜述
        科技視界(2016年24期)2016-10-11 23:54:57
        基于神經(jīng)網(wǎng)絡(luò)的拉矯機控制模型建立
        重型機械(2016年1期)2016-03-01 03:42:04
        99热婷婷一区二区三区| 99精品国产在热久久国产乱| 婷婷一区二区三区在线| 搞黄色很刺激的网站二区| 人妻精品在线手机观看| 亚洲精品一区国产欧美| 中文字幕国产欧美| 日本无吗一区二区视频| 91在线视频在线视频| 国产精品一区二区久久乐下载| 亚洲黄色免费网站| 蜜桃视频网站在线免费观看| av中文字幕一区不卡| 国产亚洲精品bt天堂精选| 亚洲欧洲日产国产AV无码| 国产av黄色一区二区| 亚洲欧洲免费无码| 内射无码专区久久亚洲| 日本久久久久| av免费在线播放观看| 国产欧美一区二区精品久久久| 天码av无码一区二区三区四区| 国产AV秘 无码一区二区三区| 极品尤物在线精品一区二区三区 | 熟妇激情内射com| 色欲av一区二区久久精品| 亚洲在中文字幕乱码熟女| 综合亚洲伊人午夜网| 精品久久久久久777米琪桃花 | 99精品久久99久久久久| 国产精品久久毛片av大全日韩| 亚洲乱码少妇中文字幕| 最新天堂一区二区三区| 日本真人做人试看60分钟| 国产鲁鲁视频在线播放| 久久精品国产白丝爆白浆| 国产suv精品一区二区四| 精品国产v无码大片在线观看| 国产在线观看精品一区二区三区| 亚洲va视频一区二区三区| 最近最新中文字幕|