黃曉輝，喬立升，余文濤，李 京，薛 寒

(1.中國科學技術大學 計算機科學與技術學院，安徽 合肥 230026；2.戰(zhàn)略支援部隊信息工程大學洛陽校區(qū)，河南 洛陽 471003)

命名實體識別也稱專名識別，旨在識別出文本中表示命名實體的成分，是篇章理解、信息檢索、知識圖譜、機器翻譯等自然語言處理高層應用的基礎[1]。解決命名實體識別的主流方法是將其作為序列標注問題，即為輸入文本序列中的每個字(詞)預測一個標簽，該標簽包含了實體的邊界信息和類別信息。目前，主要有基于統(tǒng)計的序列標注模型和基于神經(jīng)網(wǎng)絡的序列標注模型兩大類?；诮y(tǒng)計的序列標注模型從概率的角度來建模輸入序列與標簽序列之間的關系，如隱馬爾可夫模型(Hidden Markov Model,HMM)、條件隨機場模型(Conditional Random Field,CRF)等[2]。例如，文獻[3]設計了基于層疊HMM的中文命名實體識別模型，文獻[4]則基于CRF構建面向生物醫(yī)學文本的命名實體識別模型，有效提升了領域?qū)嶓w的識別性能。

近年來，得益于強大的特征提取能力和非線性擬合能力，基于神經(jīng)網(wǎng)絡的序列標注模型逐漸嶄露頭角。與統(tǒng)計模型相比，神經(jīng)網(wǎng)絡模型對特征選取的依賴程度大大降低[5]，在命名實體識別領域獲得了顯著的性能提升，如文獻[6]采用前饋神經(jīng)網(wǎng)絡，結(jié)合字詞特征在中文新聞語料上取得了非常好的效果。文獻[7-8]則分別基于循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)的兩種變體——雙向長短時記憶(Bi-directional Long Short-Term Memory,Bi-LSTM)網(wǎng)絡[9]和網(wǎng)格長短時記憶網(wǎng)絡來設計序列標注模型，并成功應用于中文命名實體識別。此外，業(yè)界還提出通過組合模型來實現(xiàn)命名實體識別，如文獻[10]將Bi-LSTM與CRF相結(jié)合，以LSTM來提取序列特征，以CRF建模標簽的時序依賴，在英文命名實體識別上取得了顯著的性能提升。文獻[11]則利用卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN) 來強化模型的特征提取能力，構建了基于CNN、LSTM以及CRF的序列標注模型，并將其應用于生物醫(yī)學領域的命名實體識別。文獻[12]則使用LSTM-CNNs-CRF的組合架構進行序列標注，同樣在命名實體識別上獲得了顯著進步?？傮w上，組合結(jié)構模型旨在利用不同組件實現(xiàn)不同特征的提取?，F(xiàn)有組合模型中各組件通常在結(jié)構上相互獨立，在數(shù)據(jù)處理過程上又順序依賴，模型整體復雜度增加，不僅給模型訓練帶來諸多問題，也給局部空間特征和時序依賴特征的聯(lián)合提取帶來了較大的不確定性。

同時，由于中文的最小語義單位是漢字，因此可基于字標注方法實現(xiàn)命名實體識別。但在實際應用中，由于字的語義信息太過簡略，因此通常會采用先分詞、再基于詞序列標注的流水線處理模式。這種模式下，分詞誤差不可避免地會影響后續(xù)實體識別的效果。

基于以上現(xiàn)狀，本文從三方面開展研究工作：一是針對中文字序列局部空間特征和時序依賴特征的聯(lián)合提取問題，研究構建融合卷積結(jié)構和循環(huán)結(jié)構的神經(jīng)網(wǎng)絡特征提取器，以實現(xiàn)序列數(shù)據(jù)局部空間特征和長距離時序依賴特征的聯(lián)合建模；二是針對標簽序列上下文特征的提取問題，研究構建基于改進RNN的標簽解碼網(wǎng)絡，使模型在預測標簽時能夠充分利用標簽序列的上下文關聯(lián)特征；三是針對傳統(tǒng)流水線模式帶來的誤差傳播問題，研究設計融合詞邊界信息和實體信息的字序列標注模式，將中文分詞與實體識別納入統(tǒng)一的聯(lián)合學習框架，在有效利用分詞信息輔助命名實體識別的同時，避免分詞誤差的傳播問題。與現(xiàn)有主流命名實體識別方法相比，本文提出的模型具有三個顯著特點：一是基于卷積循環(huán)神經(jīng)網(wǎng)絡構建特征編碼器，充分發(fā)揮兩者的優(yōu)勢來實現(xiàn)序列數(shù)據(jù)局部空間特征和時序依賴特征的有效提??；二是基于改進RNN的標簽解碼網(wǎng)絡，充分利用RNN對時序特征的建模能力，將標簽序列的上下文信息納入學習過程；三是統(tǒng)一的分詞與實體識別序列標注模式較傳統(tǒng)標注模式納入了更多的信息，借助于模型強大的學習能力，實現(xiàn)中文分詞與實體識別的聯(lián)合學習。最終實驗結(jié)果證明，該聯(lián)合學習模型對中文命名實體有更好的識別能力，尤其是在識別字數(shù)較多的命名實體時，其效果要明顯優(yōu)于其他方法，這也是本文最突出的貢獻點。

1 中文分詞與實體識別聯(lián)合學習框架

本文提出的基于融合結(jié)構神經(jīng)網(wǎng)絡的中文分詞與實體識別聯(lián)合學習模型總體架構如圖1所示。

圖1 基于融合結(jié)構神經(jīng)網(wǎng)絡的中文分詞與實體識別聯(lián)合學習模型Fig.1 Joint learning model of Chinese word segmentation and entity recognition based on fused neural network

該模型主要由四部分構成：一是由中文字向量構成的輸入層，以實數(shù)向量編碼的方式實現(xiàn)漢字之間語義關系的初步建模，稱為字嵌入層。二是融合卷積和循環(huán)結(jié)構的特征編碼網(wǎng)絡，稱為Bi-CRNN編碼層。該層借助于卷積循環(huán)神經(jīng)網(wǎng)絡強大的特征提取能力，實現(xiàn)輸入序列局部空間特征和長距離時序依賴特征的聯(lián)合編碼。三是基于改進的循環(huán)神經(jīng)網(wǎng)絡構建的標簽解碼層，稱為GRU解碼層。該層以特征編碼層輸出向量為前饋輸入，經(jīng)隱層變換形成隱狀態(tài)向量，再將前一時刻輸出的標簽概率向量與特征編碼向量整合，從而綜合利用特征編碼信息和標簽上下文信息解碼出標簽序列。四是Softmax分類層，所表示的標簽結(jié)構將字在詞中的位置信息、字在實體中的位置信息以及實體的類型信息進行統(tǒng)一編碼，作為分詞與實體識別聯(lián)合學習的依據(jù)。最終，結(jié)合特定的目標函數(shù)和訓練算法對模型進行訓練，即可實現(xiàn)中文分詞與實體識別的聯(lián)合學習。

2 基于卷積循環(huán)神經(jīng)網(wǎng)絡的特征編碼層

為實現(xiàn)序列數(shù)據(jù)局部空間特征和時序依賴特征的聯(lián)合建模，本文將CNN的局部連接、權值共享結(jié)構引入RNN的前饋連接中，同時對神經(jīng)元的工作模式進行相應改進，在保留時序特征提取能力的同時，改善其對局部空間特征的提取效果。經(jīng)過改進的神經(jīng)網(wǎng)絡稱之為卷積循環(huán)神經(jīng)網(wǎng)絡，網(wǎng)絡中每個神經(jīng)元都是一個具有時序自連接的特征filter，通過在輸入序列上做二維卷積來提取局部空間特征，再做一維的時序迭代來提取上下文時序特征。卷積循環(huán)層中單個神經(jīng)元的數(shù)據(jù)處理過程如圖2所示。

圖2 單個卷積循環(huán)神經(jīng)元的特征提取過程Fig.2 Feature extraction process of a single convolutional recurrent neuron

由于特征編碼層存在多個卷積循環(huán)神經(jīng)元，因此每個神經(jīng)元在某一時刻都會產(chǎn)生瞬時的局部特征map，多個神經(jīng)元就會產(chǎn)生多個特征map，進而在時序迭代時需要對前一時刻的多個特征map進行處理，因此本文對神經(jīng)元的時序迭代過程進行了改進，以兩個卷積循環(huán)神經(jīng)元的數(shù)據(jù)處理流程為例，其過程如圖3所示。

圖3 兩個卷積循環(huán)神經(jīng)元的特征提取過程Fig.3 Feature extraction process of two convolutional recurrent neurons

(1)

式中,xt表示輸入序列在t時刻的向量，mt,n表示在t時刻由第n個神經(jīng)元Cn在向量xt的上下文環(huán)境中經(jīng)過1維卷積生成的瞬時特征map，yt+1,n表示在t+1時刻第n個循環(huán)卷積神經(jīng)元生成的特征編碼值，其以t+1時刻的瞬時卷積特征map作為前饋輸入，以t時刻所有神經(jīng)元生成的特征map經(jīng)過Pooling并拼接(公式中中括號即表示拼接)后形成的向量作為循環(huán)輸入，最終由RNN cell生成一個特征編碼值。最后，t+1時刻所有神經(jīng)元的特征編碼值經(jīng)過拼接形成t+1時刻的特征編碼向量yt+1。

借鑒循環(huán)神經(jīng)網(wǎng)絡中的門控機制[13]和雙向時序迭代機制[14]，本文基于卷積循環(huán)神經(jīng)網(wǎng)絡構建了特征編碼層，其對數(shù)據(jù)的處理流程如圖4所示。

圖4 特征編碼層的數(shù)據(jù)處理過程示意Fig.4 Data processing process of the feature encoding layer

圖4中，編碼層的雙向迭代機制的CGRU網(wǎng)絡(Bi-directional Convolutional Gated Recurrent Unit，Bi-CGRU)，即設置兩個卷積循環(huán)神經(jīng)層，分別從輸入序列的兩個方向進行局部空間特征和時序依賴特征的提取。CGRU則表示基于GRU cell門控機制的卷積循環(huán)神經(jīng)網(wǎng)絡，即采用GRU門控機制來對卷積操作生成的特征map進行處理，其過程可如圖5所示。

圖5 CGRU Cell的數(shù)據(jù)處理過程示意Fig.5 Data processing process of the CGRU Cell

最終，所有神經(jīng)元在同一時刻生成的多個map在縱向形成特征編碼向量，在橫向經(jīng)Pooling以及拼接后，形成時序迭代的狀態(tài)向量，進入下一時刻的神經(jīng)元中。由于就某一時刻輸入字向量而言，編碼網(wǎng)絡中兩個方向的卷積循環(huán)層會生成兩個編碼向量序列，因此將同一時刻兩個方向的特征編碼向量進行拼接，形成一個對該時刻輸入向量的總體特征描述。

3 基于改進RNN的標簽解碼層

為了建模標簽序列的長距離時序依賴關系，本文在特征編碼層之上通過改進RNN構建了標簽解碼層，其運行過程如圖6所示。

圖6 標簽解碼層的運行過程示意Fig.6 Operation process of the tag decoding layer

該解碼層是對傳統(tǒng)RNN的改進，其門控機制仍然采用GRU cell，在保留隱含層時序自連接的同時，還將前一時刻Softmax分類網(wǎng)絡的輸出值引入當前的隱含層狀態(tài)中，不僅利用隱含層循環(huán)連接來建模特征編碼的時序依賴，還利用前一時刻輸出標簽的信息來輔助當前時刻標簽的預測?；诟倪MRNN的標簽解碼層內(nèi)部結(jié)構及數(shù)據(jù)處理流程如圖7所示。

圖7 GRU解碼網(wǎng)絡內(nèi)部結(jié)構及數(shù)據(jù)處理流程Fig.7 Internal structure and data processing flow of the GRU decoding network

從圖7可以看出，該標簽解碼層的門控單元與傳統(tǒng)的GRU網(wǎng)絡是一致的，只是在數(shù)據(jù)進入GRU cell時加入了一個額外的處理步驟，即將前一時刻Softmax分類層的輸出值與特征編碼層的編碼向量進行了拼接，之后一起作為GRU的前饋輸入，來實現(xiàn)當前時刻的標簽預測。其計算過程如式(2)所示：

(2)

式中，et表示特征編碼層在t時刻輸入的編碼向量，ht表示解碼網(wǎng)絡隱含層狀態(tài)向量，St表示解碼網(wǎng)絡在t時刻輸出的標簽類別概率向量?？梢钥闯?，在t時刻，編碼層的特征向量與前一時刻的標簽類別概率向量進行拼接后，進入GRU cell進行運算處理后形成隱狀態(tài)向量，其中一路進入分類層輸出t時刻的標簽概率，另一路進入下一時刻的GRU cell進行時序迭代。

4 統(tǒng)一的分詞與實體識別序列標注模式

為實現(xiàn)聯(lián)合學習，本文設計了融合詞邊界信息、實體邊界信息和實體類別信息的標簽結(jié)構。該標簽結(jié)構共由三個子部分構成：第一部分為分詞標記，表示字在詞中的位置；第二部分為實體的類別標記，表示該字所屬實體的類別(本文采用人名、地名和組織機構名三個類別作為示例)；第三部分為實體邊界標記，表示該字在實體中的位置。標簽結(jié)構以及所代表的含義如表1所示。

表1 分詞與實體識別聯(lián)合學習標簽結(jié)構Tab.1 Tag structure for the joint learning of word segmentation and entity recognition

本文設計的標簽模式將字在詞中的位置、字在實體中的位置以及字所屬實體的類型進行了整合，形成統(tǒng)一的中文分詞與實體識別序列標注模式。理論上講，所有標簽類別應有4×4×4=64種，但實際上并沒有這么多。從語法規(guī)則來講，有些組合是不存在的(例如，位于詞中間的字不可能是一個實體的開始或結(jié)尾)。最終，結(jié)合語法規(guī)則以及對語料庫中標簽的篩選，在去除不合理、不存在的標簽組合后，共得到如表2所示的標簽集合。

表2 分詞與實體識別聯(lián)合學習標簽集Tab.2 Label set for the joint learning of word segmentation and entity recognition

由于各標簽之間互斥存在，因此本文采用one-hot向量形式對標簽進行編碼，共設置31維標簽編碼向量(表示31個標簽類別，每一維代表一個類別)，標簽編碼向量中只有一個維度的值為1，其他維度的值則為0。

5 實驗及結(jié)果分析

5.1 實驗任務及數(shù)據(jù)準備

為驗證所設計框架的有效性，本文分別以人民日報標注語料(PFR)和微軟標注語料(MicroSoft Research Asia,MSRA)為基礎數(shù)據(jù)進行試驗驗證，兩個語料庫的具體情況如下。

98版人民日報標注語料：來自1998年1—6月的人民日報新聞語料，其中新聞文本進行了分詞和詞性標注。語料中每個句子由換行符隔開，句子中詞與詞之間由空格隔開，每個詞后面會跟一個詞性標記。命名實體信息包含于詞性信息中，其中標記nr,nt,nz分別代表人名、地名和組織機構名。據(jù)統(tǒng)計，語料庫中命名實體的信息如表3所示。

表3 PFR標注語料的統(tǒng)計信息Tab.3 Statistics of the PFR

微軟亞洲研究院命名實體標注語料庫：由微軟亞洲研究院提供，也是Sighan2006 backoff 3 使用的中文語料庫。該語料庫根據(jù)用途劃分為分詞版本和命名實體標注版本。兩個版本的語料內(nèi)容是一致的，只是標記不同。該語料庫的實體統(tǒng)計信息如表4所示。

表4 MSRA標注語料的統(tǒng)計信息Tab.4 Statistics of the MSRA

在進行實驗之前，對這兩個語料庫中的句子和標記進行了預處理。對于PFR語料庫，將分詞和實體標記轉(zhuǎn)換為基于字的聯(lián)合標記，隨機選取80%的句子作為訓練集和 5%的句子作為驗證集以及15%的數(shù)據(jù)作為測試集。對于MSRA語料庫，依據(jù)分詞版本和實體標注版本中語料的對齊關系，將分詞標記和實體標記轉(zhuǎn)換為聯(lián)合標記，同時由于該語料庫已經(jīng)預先劃分了訓練集和測試集，因此本文從訓練集中隨機劃分出10%的語料作為驗證集。

5.2 模型構建與訓練

依據(jù)圖2所示的聯(lián)合學習框架，采用python 3.5+Tensorflow 1.4來構建序列標注模型。其中，輸入層設置100個節(jié)點，表示100維的特征向量，本文采用word2vec框架在PFR和MSRA語料上一起訓練得到100維的中文字向量作為輸入；特征編碼層和標簽解碼層的參數(shù)在實驗過程中根據(jù)模型的訓練和測試效果來確定；Softmax分類層則設置31個節(jié)點，代表31維的標簽向量輸出。模型訓練采用的目標函數(shù)為樣本集的Log似然，以最大化該似然函數(shù)作為訓練目標，其定義如式(3)所示：

(3)

(4)

模型訓練時，本文首先根據(jù)句子的長度對所有句子進行升序排序，之后再根據(jù)句子長度所在的區(qū)間進行了統(tǒng)一的長度Padding，即設置[0，15]、[16，25]、[26，35]三個區(qū)間，長度落在相應區(qū)間內(nèi)的句子統(tǒng)一Padding到所在區(qū)間的右邊界值(補0)。在訓練過程中，隨機選取長度在某個區(qū)間的所有句子作為一個大的樣本集合，之后在該集合內(nèi)再采用基于Minibatch的隨機梯度下降算法及其變體來訓練模型。其中，Minibatch的值設置為32；模型優(yōu)化算法選擇Adam算法[15]，采用Tensorflow默認的參數(shù)配置(learning_rate=0.001,beta1=0.9,beta2=0.999,epsilon=1E-08)；模型初始權重由均值為0、方差為1的標準正態(tài)分布在[-1,1]區(qū)間內(nèi)隨機生成；每當訓練集上完成一輪迭代，就在驗證集上進行一次驗證。當模型在驗證集上的性能趨于穩(wěn)定或是開始持續(xù)下降時，模型停止訓練。

訓練完成后，將在測試集上對模型進行性能評估。由于最終輸出是概率向量的序列，因此在進行實體切分及類型判斷時，對該向量序列分兩步進行處理：首先去除不包含實體信息僅有分詞信息的標簽；之后依據(jù)標簽采用最近配對原則切分出實體的邊界，并判斷出其類型。最終，根據(jù)識別出的命名實體情況，采用Precision、Recall、F1-值三個量作為指標，用于評價模型最終表現(xiàn)，其定義如式(5)所示。

(5)

5.3 實驗結(jié)果分析

在模型訓練過程中，本文重點對編碼網(wǎng)絡和解碼網(wǎng)絡的超參數(shù)設置進行了多次試驗驗證，以探索不同結(jié)構對標注性能的影響，如神經(jīng)元節(jié)點個數(shù)、卷積patch的大小、卷積stride的大小等，以標注效果最好的結(jié)構作為最終的模型。最終獲得的模型結(jié)構及在數(shù)據(jù)集上的標注結(jié)果如表5和表6所示。

表5 識別性能最佳的模型參數(shù)Tab.5 Parameters of the best performance

表6 模型在測試集上的實體識別結(jié)果Tab.6 Entity recognition results on the test set

從表6可以看出，本文設計的聯(lián)合學習模型在兩個數(shù)據(jù)集上都取得了較好的識別效果，各個指標都在90%以上。尤其是對于組織機構名的識別，其結(jié)果與人名的識別結(jié)果已基本相當，這在傳統(tǒng)基于序列標注模型的命名實體識別任務中是很少見的。因為傳統(tǒng)命名實體識別模型通常對人名、地名有較高的識別率，而對組織機構名的識別效果要差很多，其原因就在于人名一般較短、較簡單，而地名一般具有較明顯的指示特征，因而通常有較高的識別率。而組織機構名不僅字數(shù)較多，并且可以包含人名和地名，其內(nèi)容形式極其豐富，有著復雜的局部空間特征和長距離時序依賴特征。因此，一般模型對這種數(shù)據(jù)特征模式難以產(chǎn)生最佳的提取效果，而本文提出的網(wǎng)絡模型正是針對這一特征模式的有效提取而設計，因此才取得了更好的識別效果。

此外，為了驗證所設計的聯(lián)合學習框架較其他模型在中文命名實體識別方面的優(yōu)越性，本文還與業(yè)界公認性能較好的基于CRF、LSTM、CNN及組合結(jié)構的序列標注模型進行了對比實驗，同時也與目前公開發(fā)表的、在PFR語料庫上效果較好的研究工作進行了對比，以三類命名實體(人名、地名、組織機構名)的準確率、召回率和F1-值作為參考指標，最終詳細的對比結(jié)果如表7所示。

表7 與其他模型的識別性能對比(PFR)Tab.7 Comparison with other models′ recognition performance(PFR)

從表7的結(jié)果來看，本文設計的基于“CRNN+RNN/字標注聯(lián)合學習”模型在三個指標上獲得了最佳的識別結(jié)果(組織機構名的準確率、召回率和F1-值都排名第一)，在五個指標上獲得了第二的結(jié)果(與排名第一的差距都在0.5%以內(nèi))，因此總體上較其他模型有顯著的性能提升。同時與文獻[6]發(fā)表的識別結(jié)果相比，本文提出的模型盡管在地名識別方面稍有落后，但在人名和組織機構名的識別方面有明顯的性能提升。并且，文獻[6]提出的方法使用了大量精準的字詞特征，而本文提出的方法沒有涉及任何的外部特征。另外，在實驗過程中，本文還對各個模型的參數(shù)數(shù)量、訓練過程迭代次數(shù)以及標注效率進行了統(tǒng)計和對比分析，結(jié)果顯示，本文所提模型具有最少的訓練參數(shù)，且在訓練迭代次數(shù)和序列解碼時間上都要明顯少于其他神經(jīng)網(wǎng)絡模型，因此較其他模型具有更高的訓練和推理效率。

另外，本文基于改進RNN構建的標簽解碼層是與傳統(tǒng)模型的重要不同之處。為驗證該標簽解碼層對標注效果的影響，本文以CRNN編碼層為基礎，針對Softmax層、CRF解碼層和基于改進RNN的解碼層進行了對比實驗，其結(jié)果如表8所示。

表8 不同解碼層的性能對比(PFR)Tab.8 Performance comparison of different decoding layers(PFR)

從表8可以看出，在同樣采用CRNN作為特征編碼層的情況下，配置CRF解碼層的模型較單純的Softmax分類層有更高的準確率和召回率以及F1-值，這說明CRF層較Softmax層對標簽上下文信息的建模能力要強得多，同時也說明，標簽的上下文關聯(lián)信息對于命名實體識別的結(jié)果有著直接的影響；同樣的情形，基于改進RNN的解碼層較基于CRF構建的解碼層在具有相當準確率的情況下，其召回率又有了明顯提升，這說明有更多的命名實體被識別出來，并且是被準確地識別出來，證明了基于改進RNN的解碼層較CRF層對標簽的上下文關聯(lián)特征有更好的建模能力，因而提升了命名實體的識別效果，驗證了這一設計的有效性。

此外，為了驗證模型在識別長實體時的優(yōu)越性，本文專門針對字數(shù)超過6的命名實體(主要是地名和組織機構名)識別結(jié)果進行了統(tǒng)計對比，其結(jié)果如表9所示。

表9 對長實體的識別性能對比(PFR)Tab.9 Comparison of recognition performance of long entities(PFR)

從表9可以看出，對于具有多個字的長命名實體的識別，本文設計的聯(lián)合學習模型較其他模型有明顯的優(yōu)勢，獲得了最好的準確率、召回率和F1-值。

綜合以上實驗及結(jié)果來看，本文設計的命名實體識別框架取得了預期的效果，其原因可歸結(jié)于以下因素：一是構建了基于卷積循環(huán)神經(jīng)網(wǎng)絡的特征編碼層，能夠有效融合卷積和循環(huán)結(jié)構的優(yōu)點來提升網(wǎng)絡對序列數(shù)據(jù)局部空間特征和時序依賴特征的聯(lián)合建模能力，使提取的特征對標注結(jié)果有更加顯著、直接的影響；二是設計了基于改進RNN的標簽解碼層，充分利用RNN的時序連接結(jié)構來建模標簽序列的上下文依賴關系，更有效地利用標簽上下文信息來輔助預測；三是設計了分詞與實體識別聯(lián)合學習模式，將分詞信息與實體信息納入統(tǒng)一的標簽模式下，結(jié)合相應的誤差函數(shù)和模型訓練算法來實現(xiàn)分詞信息與實體信息的聯(lián)合學習。

6 結(jié)論

本文研究了基于卷積循環(huán)神經(jīng)網(wǎng)絡的中文分詞與實體識別聯(lián)合學習框架，基于卷積循環(huán)神經(jīng)網(wǎng)絡構建特征編碼層，實現(xiàn)對文本序列局部空間特征和長距離時序依賴特征的聯(lián)合提取；基于改進的RNN構建了標簽解碼層，以建模標簽序列內(nèi)部的時序關聯(lián)關系；同時設計中文分詞和實體識別統(tǒng)一標注模式，實現(xiàn)了中文分詞和實體識別的聯(lián)合學習。在公開語料上的實驗結(jié)果驗證了該框架的有效性，尤其是對包含多個字的長實體的識別效果，更是取得了顯著的提升，后續(xù)將研究把聯(lián)合學習模型應用于特定領域的命名實體任務，以使該方法能夠在更廣闊的領域發(fā)揮作用。