韓黎敏 席萍

摘 要：為了深入了解語音情感識別領(lǐng)域的技術(shù)發(fā)展?fàn)顩r，采取定量與定性交叉融合的分析方式，對當(dāng)今語音情感識別領(lǐng)域相關(guān)專利的申請態(tài)勢、技術(shù)發(fā)展脈絡(luò)、申請國別、主要申請人等進(jìn)行了多角度的分析和探討。結(jié)果表明，在語音情感識別技術(shù)的發(fā)展進(jìn)程中，中國雖然起步較晚，但發(fā)展速度很快，已逐漸趕超美、日、韓等發(fā)達(dá)國家;中國大部分專利還處于科研階段，距大規(guī)模商業(yè)化尚有一定距離。另外，中國語音情感識別領(lǐng)域還有很多技術(shù)空白點，亟待專利布局，因此，中國的科研院校與企業(yè)應(yīng)積極合作，發(fā)揮各自優(yōu)勢，以市場為導(dǎo)向，提高語音情感識別技術(shù)的市場競爭力。同時，要進(jìn)一步加大對語音情感識別技術(shù)基礎(chǔ)要件的科研力度，并勇于探索更尖端的技術(shù)領(lǐng)域。研究結(jié)果不僅可作為語音情感識別領(lǐng)域科研人員確定研究方向的依據(jù)，還可為政府和企業(yè)的規(guī)劃決策提供參考。

關(guān)鍵詞：語音處理;語音情感識別;專利檢索;專利分析;專利申請態(tài)勢

中圖分類號：TN91234文獻(xiàn)標(biāo)識碼：A

doi： 10.7535/hbgykj.2020yx05005

收稿日期：2020-07-31;修回日期：2020-09-10;責(zé)任編輯：王海云

第一作者簡介：韓黎敏（1981—），女，陜西渭南人，二級調(diào)研員，主要從事語音和導(dǎo)航領(lǐng)域?qū)＠麑彶榧爸R產(chǎn)權(quán)方面的研究。

通訊作者：席?萍。E-mail：dlmuxiping@163.com

韓黎敏，席萍.

語音情感識別專利分析[J].河北工業(yè)科技，2020，37（5）：326-334.

HAN Limin， XI Ping.

Analysis on patents of speech emotion recognition[J].Hebei Journal of Industrial Science and Technology，2020，37（5）：326-334.

Analysis on patents of speech emotion recognition

HAN Limin， XI Ping

（Optics and Electronics Technology Invention Examination Department of Patent Office， China National Intellectual Property Administration， Beijing 100088， China）

Abstract：

In order to understand the development of technology in the field of speech emotion recognition deeply， a method integrated with quantitative and qualitative modes was adopted to analyze and discuss the relevant patents in the field of current speech emotion recognition from multiple perspectives， such as the application trend， development thread of technology，country ofapplication and main applicants. The results show that although the development process of speech emotion recognition technology in China started relatively late， it has developed dramatically， and has gradually surpassed the developed countries such as the United States， Japan， and South Korea. However， most Chinese patents are still in the scientific research stage， which is still a long way from the large-scale commercialization. In addition， there are still many technical gaps in the field of speech emotion recognition in China， and the patent layout is urgently needed. Therefore， the scientific research institutions and enterprises in China should actively cooperate， give full play to their respective advantages， and be market-oriented to improve the market competitiveness of speech emotion recognition technology. At the same time， it is necessary to strengthen the scientific research on the basic elements of speech emotion recognition technology， and dare to explore more advanced fields. The research results can not only be used as reference for researchers to determine the research direction in the field of speech emotion recognition， but also provide a reference for the government and enterprises to make planning and decisions.

Keywords：speech processing; speech emotion recognition; patent retrieval; patent analysis; patent application trend

隨著計算機(jī)技術(shù)的發(fā)展，人們嘗試用自然語言與計算機(jī)進(jìn)行溝通，語音識別技術(shù)越來越受到關(guān)注。深度學(xué)習(xí)等人工智能技術(shù)的加入，促進(jìn)了語音識別技術(shù)的發(fā)展。近年來，人們越來越期望人機(jī)交互如人與人交互一樣自然、方便，語音情感識別技術(shù)成為研究熱點。語音情感識別技術(shù)不僅在學(xué)術(shù)上有著重要的研究價值，而且可以帶來巨大的商業(yè)收益[1]。

研究者們就語音情感識別技術(shù)做了大量的研究和分析，其中，有學(xué)者從宏觀角度對語音情感識別技術(shù)進(jìn)行了系統(tǒng)性的評價。2014 年，趙力等[2]從情感描述模型、情感語音數(shù)據(jù)庫、特征提取和識別算法4 個角度總結(jié)了語音情感識別的研究進(jìn)展，認(rèn)為情感語料、情感與聲學(xué)特征之間的關(guān)聯(lián)、語音情感識別的建模、語音情感識別技術(shù)的推廣是該領(lǐng)域面臨的值得深入探索的問題;2017年，李銀河等[3]總結(jié)了語音情感識別算法的分類概況、常用分類算法的優(yōu)缺點，認(rèn)為對語音情感識別算法理論和應(yīng)用的探討將會一直是機(jī)器學(xué)習(xí)和人工智能的重要研究領(lǐng)域;2018年，胡冬妮等[4]基于知網(wǎng)數(shù)據(jù)對中國的語音情感識別研究情況進(jìn)行了綜述，認(rèn)為尋找更好的分類性能特征和分類方法、維度情感研究以及標(biāo)準(zhǔn)情感語料庫的構(gòu)建是語音情感識別的研究重點和難點;同年，饒元等[5]總結(jié)了基于語義分析的情感計算技術(shù)的研究進(jìn)展，提出基于多模態(tài)可以獲取更加細(xì)微的情感變化，以及在個性化情感研究的基礎(chǔ)上，進(jìn)一步實現(xiàn)對群體情感的識別;2019年，陳軍等[6]對多模態(tài)情感識別進(jìn)行了總結(jié)與分析。研究者們對語音情感識別技術(shù)發(fā)展進(jìn)行的不同階段、不同角度的探討和分析，對該項技術(shù)的發(fā)展起到了積極的作用，但是，他們基本上是從科研工作者的視角進(jìn)行的研究，而尚未發(fā)現(xiàn)從專利數(shù)據(jù)的角度對語音情感識別技術(shù)的研究。

專利分析是通過使用各種定量或定性的分析方法，對大量零碎的專利信息進(jìn)行分析、整合，研究專利信息之間的相互關(guān)聯(lián)性，并將之轉(zhuǎn)化為具有預(yù)測功能的競爭情報，進(jìn)而產(chǎn)生出能夠指導(dǎo)國家、行業(yè)、企業(yè)生產(chǎn)和經(jīng)營決策的重要情報，具有戰(zhàn)略性價值[7]。對語音情感識別領(lǐng)域進(jìn)行專利分析，在學(xué)術(shù)研究和商業(yè)應(yīng)用方面都有著重要意義?；诖?，本文針對語音情感識別領(lǐng)域的專利數(shù)據(jù)進(jìn)行統(tǒng)計分析，采取定量分析與定性分析交叉融合的方式，形成準(zhǔn)確的技術(shù)預(yù)測，以幫助創(chuàng)新主體掌握技術(shù)發(fā)展趨勢，填補(bǔ)技術(shù)空白，進(jìn)而為企業(yè)、產(chǎn)業(yè)、國家等多層面決策提供參考。

1?數(shù)據(jù)來源與檢索表達(dá)式

數(shù)據(jù)來源于國家知識產(chǎn)權(quán)局專利檢索與服務(wù)系統(tǒng)中的CNABS（中國專利文摘數(shù)據(jù)庫）和DWPI（德溫特世界專利索引數(shù)據(jù)庫）2020-05-02之前公開的專利申請文獻(xiàn)。

為了保證專利信息的全面性，除語音情感識別直接指向性分類號（G10L25/63專門適用于情感狀態(tài)估計的語音或聲音分析技術(shù)）之外，同時考慮了涉及語音情感技術(shù)內(nèi)容的其他相關(guān)分類號，例如：G10L15/00及其下位組、G10L25/00及其下位組（除G10L25/63之外）。

先獲取數(shù)據(jù)庫中與語音情感識別技術(shù)相關(guān)的分類資源（/ic/cpc/fi ， G10L25/00 or G10L15/00），結(jié)合中英文關(guān)鍵詞（（情緒 or 情感 or 感情 or 心情）s（語音 or 聲音 or 音頻）），在CNABS中對中國專利進(jìn)行檢索，在DWPI中對除中國外的其他國家專利進(jìn)行檢索，對結(jié)果進(jìn)行人工去噪以及關(guān)鍵技術(shù)標(biāo)引，合并同族后，提取得到全球相關(guān)專利申請共820項，其中首次在中國提出的專利申請共599項。該599項專利申請中，實用新型專利申請僅有5件，其余均為發(fā)明專利申請。

2?專利申請態(tài)勢分析

2.1?申請量分析

以時間為線索對專利申請量的變化進(jìn)行分析，可以了解某項技術(shù)發(fā)展水平的變化規(guī)律，進(jìn)而預(yù)測該項技術(shù)的發(fā)展趨勢，為創(chuàng)新主體在科研立項、技術(shù)開發(fā)等重大決策時提供依據(jù)。

圖1反映了語音情感識別技術(shù)的申請趨勢。

從圖中可以看出，語音情感識別技術(shù)起步較晚，屬于新興技術(shù)。專利申請量基本上呈逐年上升趨勢，根據(jù)申請數(shù)量大致可以劃分為4個階段。

1）萌芽階段（1993年—2004年）

2005年以前，每年語音情感識別專利的申請量均為個位數(shù)，申請人主要集中在美國、日本和韓國。這時的語音情感識別專利尚處于技術(shù)萌芽期，相關(guān)技術(shù)均不成熟。

2）雛形階段（2005年—2010年）

這一階段，全球?qū)＠暾埩抗灿?0件。中國也于2005年出現(xiàn)了第1例申請，申請人為金慶鎬和裴明振，均就職于韓國LG電子株式會社。可見國外已經(jīng)開始在中國布局關(guān)于語音情感識別的專利申請。中國國內(nèi)的申請人最早出現(xiàn)在2007年，標(biāo)志著中國已經(jīng)開始了語音情感識別技術(shù)領(lǐng)域的探索。實際上，中國對語音情感識別的研究始于2000年，東南大學(xué)的趙力教授課題組發(fā)表了相關(guān)論文[2，8-10]，率先開始了語音情感識別的研究工作。但在2007年之前，中國的研究僅限于理論層面，并沒有開始對專利進(jìn)行布局。這一時期，語音識別領(lǐng)域的主要研究熱點為語音處理的準(zhǔn)確度，對于情感識別的需求尚未凸顯，有關(guān)語音情感識別的申請尚未形成規(guī)模。

3）慢速發(fā)展階段（2011年—2015年）

隨著計算機(jī)多媒體信息處理技術(shù)和人工智能的快速發(fā)展，語音情感識別研究的發(fā)展步伐逐步加快[11]，相關(guān)專利申請呈穩(wěn)步增長狀態(tài)。這一階段，全球年申請量從20多件增加到60多件，總量達(dá)到196件，更多的申請人開始進(jìn)入語音情感識別技術(shù)領(lǐng)域布局，識別技術(shù)也呈現(xiàn)多樣化的特點，除了基于聲音特征進(jìn)行識別外，語義識別、組合識別的申請量開始增長，并且基于生理特征與語音特征的情感識別技術(shù)方案也紛紛出現(xiàn)。這一階段在中國首次提出的申請達(dá)到94件，占比48%，這說明中國已經(jīng)開展了大量的相關(guān)研究，并取得了初步成果。這期間，由于語音識別理論沒有大的突破，技術(shù)適用性普遍不高，因此專利的申請量雖然在穩(wěn)步增長，但是增長速度比較緩慢。

4）快速發(fā)展階段（2016年至今）

2016年，全球的年申請量達(dá)到108項，突破三位數(shù)，此后逐年快速增加，并在2018年達(dá)到頂峰（192件）。由于專利從申請到公開有18個月的滯后期，使得部分專利還處于未公開狀態(tài)，因此 2018 年以后的數(shù)據(jù)僅作參考。這一階段，中國申請量也呈現(xiàn)出快速增長的趨勢，且占全球申請量的比例也逐年增加。申請量爆發(fā)式的增長，主要?dú)w功于語音識別技術(shù)在各種移動終端上的廣泛應(yīng)用，以及智能手機(jī)行業(yè)的飛速發(fā)展。這一階段，語音情感識別技術(shù)發(fā)展迅速，尤其是新興的互聯(lián)網(wǎng)企業(yè)和高校都試圖搶占市場，紛紛提出多種類型的語音情感識別技術(shù)的申請。申請量的增長也從另一個角度反映了創(chuàng)新主體對這一技術(shù)的重視。

2.2?技術(shù)發(fā)展脈絡(luò)分析

重點專利通常代表一個創(chuàng)新主體的核心技術(shù)，通過分析重點專利可以獲得技術(shù)演進(jìn)圖，便于追蹤專利技術(shù)的發(fā)展變化趨勢，解析影響因素，來幫助企業(yè)了解競爭的技術(shù)環(huán)境，增強(qiáng)技術(shù)創(chuàng)新的目的性，對其借鑒創(chuàng)新思路、修正產(chǎn)品方案、梳理技術(shù)發(fā)展路線等具有重要意義[12]。重點專利的篩選主要遵循以下幾方面的規(guī)則：專利申請時間早、專利被引證的頻率大、專利的同族數(shù)量多、專利維持有效時間長、專利被廣泛認(rèn)可或模仿多等。依據(jù)上述篩選規(guī)則，結(jié)合重點專利對語音情感識別技術(shù)的發(fā)展脈絡(luò)進(jìn)行梳理，結(jié)果詳見圖2。

1）語音情感識別方法的演進(jìn)

在初期專利中，各研究機(jī)構(gòu)主要依據(jù)用戶語音的語調(diào)、音高、音長等韻律特征與已有模板進(jìn)行對比識別。1993年，日本富士施樂有限公司（JP07104778A[13]）首次將用戶對話中的語音信息中蘊(yùn)含的用戶情感通過情感輸出裝置表征出來。

隨著移動應(yīng)用技術(shù)的快速發(fā)展，大量的智能終端通過社會化媒體應(yīng)用軟件，形成了混雜海量視頻、語音、文本等異構(gòu)內(nèi)容的大數(shù)據(jù)幾何，針對這些異構(gòu)數(shù)據(jù)的處理與應(yīng)用，直接推動了情感計算技術(shù)從單模態(tài)向多模態(tài)方向的發(fā)展和演化[5-6，14-15]。1995年之后，陸續(xù)有企業(yè)開始將用戶語音、語義、面部表情、呼吸、心電等特征相結(jié)合，使用多模態(tài)特征進(jìn)行情感識別研究（JP10228295A[16]，JP2001215993A[17]，EP1256937A2[18]）。2005年起，大部分申請人高度關(guān)注基于聲音特征提取的情感識別（US2007271098A1[19]）。

中國高校在算法方面也取得了一系列發(fā)展。2007年，浙江大學(xué)（CN101226742A[20]）申請的基于倒譜特征線性情感補(bǔ)償?shù)恼f話人識別方法，拓展了聲紋模型的建模信息;2008年，為了解決中國情感數(shù)據(jù)庫匱乏的問題，北京航空航天大學(xué)（CN101201832A[21]）提出一種漢語語音情感信息的提取及建模方法，采用不同的特征組合訓(xùn)練多級語音情感識別系統(tǒng)的SVM模型;隨著壓縮感知思想在模式識別領(lǐng)域的飛速發(fā)展，2012年，東南大學(xué)和富士通（CN103578481A[22]）聯(lián)合提出了一種跨語言的語音情感識別方法，通過加權(quán)融合的判別方法實現(xiàn)了漢語和德語的跨語言情感特征區(qū)分，拓寬了多語言場景下的情感識別;隨著深度學(xué)習(xí)技術(shù)的發(fā)展，2014年，合肥工業(yè)大學(xué)（CN104200804A[23]）提出了基于深度學(xué)習(xí)的多類信息耦合的情感識別方法;2016年，南京郵電大學(xué)（CN106782602A[24]）提出了一種基于LSTM和CNN的語音情感識別方法，將2種不同的網(wǎng)絡(luò)模型進(jìn)行了融合，情感識別的準(zhǔn)確性和魯棒性均得到了提高;2018年，中國地質(zhì)大學(xué)（CN108899049A[25]）提出了一種卷積神經(jīng)網(wǎng)絡(luò)情感識別方法及系統(tǒng)，提升了語音情感識別的準(zhǔn)確性和實時度。隨著研究的深入，一些便利的開源框架被開發(fā)出來，大大提高了研究者的科研效率，對具有區(qū)分性特征的自動提取成為今后語音情感識別領(lǐng)域的重點研究方向。

2）語音情感識別應(yīng)用技術(shù)的演進(jìn)

隨著工業(yè)智能的發(fā)展，各公司進(jìn)一步探索語音中蘊(yùn)含的情感對語音交互的影響，語音情感識別被引入到不同行業(yè)[11，26-27]。1999年，PERTRUSHIN（US20020002460A1[28]）首次在語音呼叫領(lǐng)域內(nèi)使用ANN分類器，根據(jù)語音的基頻、能量、語速等韻律特征分析出用戶的5種情緒，并嘗試將其應(yīng)用于防電信詐騙;

2001年，日本的阿魯策公司（JP2003185221A[29]）結(jié)合用戶情緒水平調(diào)節(jié)空調(diào)溫度;

2002年，菲利普公司（US20040001616A1[30]）將語音情緒與客戶面部表情相結(jié)合，應(yīng)用在電信業(yè)務(wù)的客戶滿意度調(diào)查中;2002年，索尼公司（US6980098B2[31]）在智能駕駛領(lǐng)域引入駕駛員語音情感分析，在駕駛員疲勞的時候加以提醒;2008年，上海盛淘智能科技有限公司（CN101685634A[32]）提供了一種基于兒童語音的情感識別和合成技術(shù)，使得面向兒童的智能電子產(chǎn)品具有高度的人性化、智能化;2012年，百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司（以下簡稱百度）（CN103546503A[33]）將語音情感識別應(yīng)用在云社交網(wǎng)絡(luò)平臺;2014年，中國科學(xué)院軟件研究所和中國醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)院（CN103956171A[34]）將語音情感識別應(yīng)用在醫(yī)療領(lǐng)域，作為精神疾病診斷和治療的依據(jù);2019年，結(jié)合數(shù)據(jù)挖掘技術(shù)在用戶評價領(lǐng)域的發(fā)展，騰訊科技（深圳）有限公司（以下簡稱騰訊公司）（CN109767787A[35]）通過語音情感特征構(gòu)造了用戶的情感畫像，深圳壹賬通智能科技有限公司（以下簡稱深訓(xùn)壹賬通智能，CN110070889A[36]）建立了駕駛員的情感畫像，平安科技（深圳）有限公司（以下簡稱平安科技，CN110443692A[37]）建立了基于生理特征和語音特征的企業(yè)情感畫像。

2.3?申請國別分析

圖3為語音情感識別技術(shù)的主要國家申請占比，從圖中能夠看出，全球范圍內(nèi)語音情感識別技術(shù)專利主要集中于中國（CN）、日本（JP）、美國（US）、韓國（KR），這4國的專利申請量占據(jù)了全球申請量的96%，其中中國以599件的申請量排在首位（占比65%），美國、韓國、日本分列第2—4位，申請量分別為122，105，64件。

結(jié)合申請量的發(fā)展趨勢，可以發(fā)現(xiàn)，中國的語音情感識別研究起步相對較晚，但是自2005年首次申請至今，中國投入到語音情感識別研究中的團(tuán)隊不斷壯大，專利申請量出現(xiàn)大幅增長，逐漸趕超美國、日本和韓國，成為全球在語音情感識別領(lǐng)域申請量最多的國家。這有兩方面的原因：1）伴隨著物聯(lián)網(wǎng)技術(shù)的興起，語音情感識別作為重要的人機(jī)交互手段，在人工智能產(chǎn)品、智能家居等技術(shù)中的重要性日益凸顯，并且中國高速發(fā)展所帶來的潛在市場規(guī)模巨大;2）中國政府對語音識別技術(shù)非常重視，制定了一系列鼓勵政策，例如，2006年發(fā)布的《國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要（2006—2020年）》中，智能服務(wù)被定位為重點發(fā)展的前沿技術(shù)和新的經(jīng)濟(jì)增長點[38];2017年，科技部召開《新一代人工智能發(fā)展規(guī)劃》暨重大科技項目啟動會，明確依托公司建設(shè)智能語音國家新一代人工智能開放創(chuàng)新平臺;2018年，十三屆全國人大一次會議的政府工作報告中，強(qiáng)調(diào)要加強(qiáng)新一代人工智能研發(fā)應(yīng)用，而語音情感識別技術(shù)是人工智能的重要分支。由此可見，在技術(shù)蓬勃發(fā)展和政策大力扶持的雙向利好形勢下，中國專利申請在全球語音情感識別領(lǐng)域占據(jù)著越來越重要的位置。

3?專利申請人分析

對專利申請人進(jìn)行統(tǒng)計分析，可以發(fā)現(xiàn)某個技術(shù)領(lǐng)域的重要技術(shù)擁有者，或者在該領(lǐng)域具有重要地位的研究者。

3.1?全球主要申請人分析

截止到2020-05-02的檢索數(shù)據(jù)顯示出，語音情感識別專利申請量排名前12位的申請人分別來自中國、美國、日本、韓國，如圖4所示。從圖中可以看出，除IBM、豐田、索尼、三星外，其余8位申請人均屬于中國。語音情感識別技術(shù)申請人大多是互聯(lián)網(wǎng)科技公司或者高校。

中國的平安科技位于第1位，從2018年的首次申請，該公司短短2年時間在語音情感識別領(lǐng)域進(jìn)行了大量布局，擁有超過10 000名專業(yè)IT技術(shù)人員和管理專家組成的高級研發(fā)團(tuán)隊，致力于運(yùn)用人工智能、智能認(rèn)可、云計算、區(qū)塊鏈等前沿科技打造全新的云生活。東南大學(xué)位于第2位，趙力教授帶領(lǐng)的團(tuán)隊是中國最早開始研究語音情感識別技術(shù)的團(tuán)隊之一，在該領(lǐng)域的基礎(chǔ)研發(fā)方面表現(xiàn)頗為出色。美國的IBM位于第3位，是全球最大的信息技術(shù)和業(yè)務(wù)解決方案公司，1996年就發(fā)布了語音系統(tǒng)，2006年推出Waston語音服務(wù)，在語音識別領(lǐng)域有著豐厚的技術(shù)經(jīng)驗。日本汽車制造公司豐田位于第4位，在自動駕駛前景的驅(qū)使下，豐田不斷開發(fā)車載語音識別系統(tǒng)，將人工智能應(yīng)用于汽車行業(yè)。百度位于第5位，作為中國最先布局人工智能的科技巨頭，其在智能語音交互、自動駕駛等新AI業(yè)務(wù)領(lǐng)域的探索，為中國的人工智能規(guī)?；涞靥峁┝私?jīng)驗和案例，小度助手無疑已擁有中國市場規(guī)模最大、最繁榮的對話式人工智能生態(tài)。

另外，位于第6—12位的申請人除了幾個互聯(lián)網(wǎng)公司外，還包括南京郵電大學(xué)和華南理工大學(xué)，它們在信息與通信專業(yè)領(lǐng)域均具有較強(qiáng)實力。這在一定程度上說明，還有一部分專利申請仍處于科研階段，尚未進(jìn)行產(chǎn)業(yè)化，離大規(guī)模商業(yè)化時機(jī)還有一定距離。

3.2?中國主要申請人分析

雖然中國申請人的專利申請量相對較大，但全部申請都在國內(nèi)，尚未發(fā)現(xiàn)中國企業(yè)在海外布局的情況。實際上，圖4同時也體現(xiàn)了中國申請人在國內(nèi)的申請量排名。與之相反，599件申請中，國外申請人來華申請量有14件，其中日本申請人有5件，美國申請人有3件。對中國的專利申請人進(jìn)行統(tǒng)計分析，結(jié)果見圖5。

從圖5可以看出，中國申請人的類型依照申請數(shù)量由高到低依次為企業(yè)、大學(xué)、聯(lián)合申請、個人和研究機(jī)構(gòu)。在599件中國專利申請中，企業(yè)申請370件，占總申請量的62%，大學(xué)申請169件，占據(jù)28%，而個人僅占2%。聯(lián)合申請主要體現(xiàn)在公司和個人聯(lián)合（8件）、公司與公司聯(lián)合（8件）、公司與大學(xué)聯(lián)合（7件），以及公司與研究機(jī)構(gòu)聯(lián)合（5件）。這說明，語音情感識別技術(shù)作為一項前沿技術(shù)，對技術(shù)水平和產(chǎn)業(yè)化要求較高，個人很難進(jìn)入這一領(lǐng)域，而產(chǎn)學(xué)研聯(lián)合研發(fā)則是一個具有發(fā)展前景的運(yùn)行模式。

3.3?中國專利申請人的技術(shù)分布分析

針對某一技術(shù)分支的專利申請按照申請人進(jìn)行統(tǒng)計分析，可以得到某項技術(shù)在不同申請人之間的分布，由此能夠了解哪些企業(yè)在該領(lǐng)域投入較多、專利活動較活躍、技術(shù)水平較領(lǐng)先;而針對某企業(yè)的專利申請按照不同技術(shù)分支的專利頻數(shù)進(jìn)行統(tǒng)計分析，則可以發(fā)現(xiàn)該企業(yè)最活躍的領(lǐng)域，即其開發(fā)的重點領(lǐng)域[39]。

為了更深入地分析研究語音情感識別領(lǐng)域的專利申請狀態(tài)，本文將語音情感識別技術(shù)進(jìn)一步劃分為9個技術(shù)分支（即：特征，降噪，分類，模型，語料，趨勢預(yù)測，多模型融合，多模態(tài)融合，應(yīng)用），各分支的含義約定參見表1。

圖6為中國專利申請人的技術(shù)分布圖。

如圖6所示，在中國主要申請人中，申請總量第2位的東南大學(xué)對語音情感識別技術(shù)的研究較為全面，專利布局非常廣泛，在各個技術(shù)分支上都有專利分布，尤其在語音特征、模型、多模型融合方面的專利申請遠(yuǎn)遠(yuǎn)領(lǐng)先于其他申請人，而在應(yīng)用方面的占比較小。這說明東南大學(xué)主要專注于語音情感識別技術(shù)的基礎(chǔ)性、理論性研究。此外，東南大學(xué)在該領(lǐng)域已公布的發(fā)明專利申請中已有約34%被授予專利權(quán)，遠(yuǎn)高于該領(lǐng)域的平均授權(quán)率（17%），這說明東南大學(xué)的科研團(tuán)隊在該領(lǐng)域的專利技術(shù)含量相對較高。與之類似，申請量排名相對靠前的南京郵電大學(xué)和華南理工大學(xué)在關(guān)鍵技術(shù)分支上的布局也有較大占比。

中國企業(yè)在專利申請總量上有明顯優(yōu)勢，例如平安科技和百度均有較大的申請量，但是分析后發(fā)現(xiàn)絕大部分屬于應(yīng)用類專利，在關(guān)鍵技術(shù)分支上存在較多空白點，而且經(jīng)標(biāo)引分析，核心專利也較少。這說明，雖然中國企業(yè)已經(jīng)有了較強(qiáng)的專利布局意識，但在關(guān)鍵技術(shù)尚未大規(guī)模攻破的情況下，企業(yè)所申請的應(yīng)用類專利的意義在于戰(zhàn)略布局大于市場應(yīng)用。可見，在中國的語音情感識別領(lǐng)域，主要研究力量還集中在科研院校，技術(shù)分支大多還處在基礎(chǔ)研發(fā)階段，產(chǎn)業(yè)化程度有待提高。

如圖6所示，中國專利申請中關(guān)于語料的技術(shù)分支數(shù)量極少，只有3件，可以說該技術(shù)分支基本處于空白狀態(tài)。一個豐富優(yōu)質(zhì)的語音情感語料庫是開展語音情感計算研究的必要基礎(chǔ)，可以為研究工作提供可靠的訓(xùn)練和測試用數(shù)據(jù)。建立高質(zhì)量的語料庫是語音情感識別技術(shù)發(fā)展的必然要求，中國的研究者不妨將研發(fā)重點集中于此，掌握專利先機(jī)。除了語料之外，降噪、分類、模型、趨勢預(yù)測等技術(shù)分支的專利布局也都比較少，建議中國進(jìn)一步對語音情感識別技術(shù)的基礎(chǔ)要件加大科研力度，圍繞重點和核心技術(shù)加強(qiáng)研發(fā)和專利布局，形成核心專利的有效保護(hù)。

此外，分析中還發(fā)現(xiàn)，在中國申請的599件語音情感識別專利中，涉及申請人多達(dá)294位。除了圖6所示的主要申請人的申請量較多之外（最多37件），其他申請人的申請量均非常小。可見，中國的申請主體多、研究領(lǐng)域相對較分散，這些特點決定了目前中國難以形成系統(tǒng)性的突破和創(chuàng)新，建議優(yōu)化研發(fā)環(huán)境，促使研究者強(qiáng)強(qiáng)聯(lián)合，充分鼓勵企業(yè)和高校進(jìn)行產(chǎn)學(xué)研聯(lián)合。

4?討?論

本文在對專利庫進(jìn)行充分檢索的基礎(chǔ)上，從全球?qū)＠暾垜B(tài)勢、技術(shù)發(fā)展脈絡(luò)、主要國家申請占比、主要申請人分析、中國專利申請人技術(shù)分布等方面對當(dāng)今的語音情感識別領(lǐng)域的相關(guān)專利進(jìn)行了分析和探討?？梢哉f，語音情感識別技術(shù)經(jīng)過20多年的發(fā)展已經(jīng)取得了長足進(jìn)步，全球加入該領(lǐng)域的研究者越來越多，中國后來者居上，逐漸趕超了美國、日本、韓國等技術(shù)先進(jìn)的國家，但也要清醒地意識到，依然存在著一些問題。

4.1?中國企業(yè)專利申請總量大，優(yōu)勢企業(yè)少

1）大部分中國專利申請仍處于基礎(chǔ)科研階段，離大規(guī)模商業(yè)化還有一定距離;中國企業(yè)的專利申請量雖然較大，但絕大多數(shù)屬于應(yīng)用類專利，而重點專利和核心專利較少。

2）中國專利申請人的分布較為分散，這說明中國的語音情感識別技術(shù)的發(fā)展較分散，研發(fā)力量不夠集中，有可能造成大量的重復(fù)性研究，導(dǎo)致成本的浪費(fèi)。

3）雖然存在著國內(nèi)科研院校與企業(yè)合作申請的情況，但是數(shù)量非常少，只有12件。因此，建議國內(nèi)企業(yè)除了加大研發(fā)投入之外，還應(yīng)該積極借力科研院校，通過合作研發(fā)，發(fā)揮自身優(yōu)勢，將研究與產(chǎn)品開發(fā)相結(jié)合，以市場為導(dǎo)向，提高語音情感識別領(lǐng)域的市場競爭力。

4.2?關(guān)鍵技術(shù)分支存在大量空白，亟待填補(bǔ)

鑒于“語音情感”本身的復(fù)雜性，該領(lǐng)域仍舊面臨著若干值得深入探索的問題，距離真正的人機(jī)自然交互還有很長的路要走。中國專利申請中以語料技術(shù)分支為首的關(guān)鍵技術(shù)的申請數(shù)量少，甚至基本處于空白狀態(tài)，建議中國企業(yè)、高校等研究主體抓住時機(jī)，對語音情感識別技術(shù)的基礎(chǔ)要件加大科研力度，特別是針對語料、降噪、分類、模型、趨勢預(yù)測等關(guān)鍵技術(shù)，要進(jìn)一步加強(qiáng)研發(fā)和專利布局，形成核心專利的有效保護(hù)。

4.3?某些技術(shù)節(jié)點專利布局廣泛，授權(quán)難度提高

人們在交流時，如果在傾聽內(nèi)容的同時，也觀察發(fā)言者的語氣、語調(diào)以及面部表情和肢體行為，則會幫助傾聽者更加準(zhǔn)確地理解和判斷發(fā)言者說話的動機(jī)、意圖以及相應(yīng)的情感狀態(tài)。因此，許多人認(rèn)為多模態(tài)是語音情感識別的未來發(fā)展方向[6，14-15]。因此，如圖6所示，多模態(tài)融合技術(shù)分支在專利布局的量相對較大，基本上覆蓋了目前應(yīng)用在情感識別技術(shù)的各個方面，包括面部、聲音特征、語義特征、腦電、心電、性格、外部環(huán)境等等，但多數(shù)屬于簡單組合，融合技術(shù)本身的改進(jìn)較少。值得注意的是，平安科技目前公布的專利申請中，已經(jīng)有11件涉及多模態(tài)融合，該企業(yè)的申請量增長趨勢迅猛，可以預(yù)見尚未公開的申請量也不會少，有形成專利組合之勢。綜合來看，就目前階段，如果對多模態(tài)融合的構(gòu)思僅是淺嘗輒止，將很難被授予專利權(quán)，除非融合技術(shù)本身有較大突破。

4.4?海外專利布局還是空白，有待發(fā)展

目前，雖然中國申請人的專利申請量相對較大，但全部都在國內(nèi)，尚未發(fā)現(xiàn)中國企業(yè)在海外布局的情況。而對于國外企業(yè)，如日本的富士康、美國的IBM在語音情感識別領(lǐng)域進(jìn)行研發(fā)的同時，非常重視海外市場，積極在海外進(jìn)行專利布局。隨著語音情感識別技術(shù)的發(fā)展，海外將會成為企業(yè)未來產(chǎn)品的潛在市場，企業(yè)勢必要走出國門。為了避免屆時在知識產(chǎn)權(quán)保護(hù)方面處于被動狀態(tài)，建議企業(yè)在條件成熟時積極進(jìn)行海外專利的布局。

綜上所述，目前申請且公開的專利中，絕大多數(shù)語音情感識別技術(shù)使用神經(jīng)網(wǎng)絡(luò)模型，在相對靜態(tài)的深度學(xué)習(xí)方面有所進(jìn)展，但是人腦處理的都是動態(tài)的時空信息，與深度學(xué)習(xí)方法多有不同。分析中發(fā)現(xiàn)，有個別專利提到對連續(xù)語音信號的處理，然而均僅僅是輸入連續(xù)語音信號，后續(xù)處理時仍然是靜態(tài)處理配合趨勢預(yù)測的方式，尚未發(fā)現(xiàn)類腦的動態(tài)模式識別方法的專利。今后，類腦技術(shù)將有望成為新的研究熱點，并相信類腦技術(shù)的發(fā)展必然能夠給語音情感識別技術(shù)帶來質(zhì)的飛躍。

參考文獻(xiàn)/References：

[1]?陳嘉. 基于深度學(xué)習(xí)的語音情感識別[D]. 南京：南京郵電大學(xué)，2019.

CHEN Jia. Speech Emotion Recognition Based on Deep Learning [D]. Nanjing：Nanjing University of Posts and Telecommunications，2019.

[2]?趙力，黃程韋. 實用語音情感識別中的若干關(guān)鍵技術(shù)[J]. 數(shù)據(jù)采集與處理，2014，29（2）：157-170.

ZHAO Li，HUANG Chengwei. Key technologies in practical speech emotion recognition [J]. Journal of Data Acquisition and Processing，2014，29（2）：157-170.

[3]?李銀河，李雪暉，徐楠，等. 語音情感識別分類算法研究綜述[J]. 南陽師范學(xué)院學(xué)報，2017，16（6）：28-33.

LI Yinhe，LI Xuehui，XU Nan， et al. Research on speech emotion recognition classification algorithm[J]. Journal of Nanyang Normal University，2017，16（6）：28-33.

[4]?胡冬妮，王武軍，王青. 基于知網(wǎng)數(shù)據(jù)的情感識別國內(nèi)研究情況綜述[J]. 網(wǎng)絡(luò)新媒體技術(shù)，2018，7（6）：1-9.

HU Dongni，WANG Wujun，WANG Qing. Review of domestic research on emotion recognition based on how-net data [J]. Journal of Network New Media，2018，7（6）：1-9.

[5]?饒元，吳連偉，王一鳴，等. 基于語義分析的情感計算技術(shù)研究進(jìn)展[J]. 軟件學(xué)報，2018，29（8）：2397-2426.

RAO Yuan，WU Lianwei，WANG Yiming，et al. Research progress on emotional computation technology based on semantic analysis[J]. Journal of Software，2018，29（8）：2397-2426.

[6]?陳軍，王力，徐計. 基于多模態(tài)組合模型的語音情感識別[J]. 軟件，2019，40（12）：56-60.

CHEN Jun，WANG Li，XU Ji. Speech emotion recognition based on multi-modal combination model [J]. Computer Engineering & Software，2019，40（12）：56-60.

[7]?叢玲.實用專利技術(shù)簡明教程[M]. 天津：天津大學(xué)出版社，2007.

[8]?趙力，錢向民，鄒采榮，等. 語音信號中的情感特征分析和識別的研究[J]. 通信學(xué)報，2000，21（10）：18-24.

ZHAO Li，QIAN Xiangmin，ZOU Cairong， et al. A study on emotional feature analysis and recognition in speech signal[J]. Journal of China Institute of Communications，2000，21（10）：18-24.

[9]?趙力，錢向民，鄒采榮，等. 語音信號中的情感識別研究[J]. 軟件學(xué)報，2001，12（7）：1050-1055.

ZHAO Li，QIAN Xiangmin，ZOU Cairong， et al. A study on emotional recognition in speech signal [J]. Journal of Software，2001，12（7）：1050-1055.

[10]余華，王治平，趙力. 語音信號中情感特征的分析和識別[J]. 電聲技術(shù)，2004（3）：30-34.

YU Hua，WANG Zhiping，ZHAO Li. Emotional feature analysis and emotion recognition of speech [J]. Audio Engineering，2004（3）：30-34.

[11]韓文靜，李海峰，阮華斌，等. 語音情感識別研究進(jìn)展綜述[J]. 軟件學(xué)報，2014，25（1）：37-50.

HAN Wenjing，LI Haifeng，RUAN Huabin，et al. Review on speech emotion recognition[J]. Journal of Software，2014，25（1）：37-50.

[12]楊鐵軍.專利分析可視化[M].北京：知識產(chǎn)權(quán)出版社，2017.

[13]FUJI XEROX Corporation. Feeling Expressing Device[P]. JP：07104778A，1995-04-21.

[14]賈俊佳，蔣惠萍，張廷. 多模態(tài)情感識別綜述[J]. 中央民族大學(xué)學(xué)報（自然科學(xué)版），2020，29（1）：54-58.

JIA Junjia，JIANG Huiping，ZHANG Ting. Survey on multimodal emotion recognition [J]. Journal of Minzu University of China （Natural Sciences Edition），2020，29（1）：54-58.

[15]顏洪，劉佳慧，覃京燕. 人工智能語境下的情感交互設(shè)計[J]. 包裝工程，2020，41（6）：13-19.

YAN Hong，LIU Jiahui，QIN Jingyan. Emotional interaction design in artificial intelligence context[J]. Packaging Enginee-ring，2020，41（6）：13-19.

[16]ATR CHINO EIZO TSUSHIN KENKYUSHO KK. Hierarchical Feeling Recognition Device [P].JP：10228295A，1998-08-25.

[17]SONY Corporation. Data Processor for Interactive Computer System， Estimates the User's Preference Data Using Extracted Rhythm and Meaning Information [P]. JP：2001215993A，2001-08-10.

[18]SONY FRANCE S A. Emotion Recognition Method and Device [P].EUR：1256937A2，2002-11-13.

[19]International Business Machines Corporation. Method and Apparatus for Recognizing and Reacting to User Personality in Accordance with Speech Recognition System [P]. US：2007271098A1，2007-11-22.

[20]浙江大學(xué). 基于情感補(bǔ)償?shù)穆暭y識別方法[P]. CN：101226742A，2008-07-23.

[21]國際商業(yè)機(jī)器公司. 優(yōu)化網(wǎng)頁圖像的方法和系統(tǒng)[P].CN：101201832A，2008-06-18.

[22]東南大學(xué)，富士通株式會社. 一種跨語言的語音情感識別方法[P].CN：103578481A，2014-02-12.

[23]合肥工業(yè)大學(xué). 一種面向人機(jī)交互的多類信息耦合的情感識別方法[P].CN：104200804A，2014-12-10.

[24]南京郵電大學(xué). 基于長短時間記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的語音情感識別方法[P].CN：106782602A，2017-05-31.

[25]中國地質(zhì)大學(xué)（武漢）. 一種基于卷積神經(jīng)網(wǎng)絡(luò)的語音情感識別方法及系統(tǒng)[P]. CN：108899049A， 2018-11-27.

[26]劉大誠. 人工智能情緒識別應(yīng)用研究[J]. 中國高新科技，2019（49）：59-62.

[27]潘瑩. 情感識別綜述[J]. 電腦知識與技術(shù)，2018，14（8）：169-171.

PAN Ying. Survey on emotion recognition[J]. Computer Knowledge and Technology，2018，14（8）：169-171.

[28]PERTRUSHIN V. Voice Messaging System that Organizes Voice Messages Based on Detected Emotion [P]. US：20020002460A1，2002-01-03.

[29]ARUZE Corporation. System and Method for Air Conditioning Control [P]. JP：2003185221A，2003-07-03.

[30]GUTTA S，COLMENAREZ A，TRAJKOVIC M. Measurement of Content Ratings Through Vision and Speech Recognition [P]. US：20040001616A1，2004-01-01.

[31]SONY Corporation. Information Processing Apparatus， Information Processing Method and Program Executed in Information Processing Apparatus[P].US：6980098B2，2005-12-27.

[32]上海盛淘智能科技有限公司.一種兒童語音情感識別方法[P]. CN：101685634A，2010-03-31.

[33]百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司. 基于語音的云社交系統(tǒng)、方法及云分析服務(wù)器[P]. CN：103546503A，2014-01-29.

[34]中國科學(xué)院軟件研究所，中國醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)院. 一種多通道簡易精神狀態(tài)檢測系統(tǒng)[P].CN：103956171A， 2014-07-30.

[35]騰訊科技（深圳）有限公司. 情緒識別方法、設(shè)備及可讀存儲介質(zhì)[P]. CN：109767787A，2019-05-17.

[36]深圳壹賬通智能科技有限公司. 車輛監(jiān)控方法、裝置及存儲介質(zhì)、服務(wù)器[P]. CN：110070889A，2019-07-30.

[37]平安科技（深圳）有限公司. 企業(yè)信貸審核方法、裝置、設(shè)備及計算機(jī)可讀存儲介質(zhì)[P]. CN：110443692A，2019-11-12.

[38]梁榮健，張濤，王學(xué)謙. 家用服務(wù)機(jī)器人綜述[J]. 智慧健康，2016，2（2）：1-9.

LIANG Rongjian，ZHANG Tao，WANG Xueqian. A review of home service robot [J]. Smart Healthcare，2016，2（2）：1-9.

[39]許明金. 競爭對手情報的采集與分析[M].?？冢汉Ｄ铣霭嫔?， 2008.