古曉東

摘要：NLP作為人工智能領(lǐng)域的一個(gè)重要分支，在數(shù)據(jù)采集系統(tǒng)的發(fā)展和研究中起到了關(guān)鍵作用。它幫助人們解決了從大量的文本數(shù)據(jù)中抽取有價(jià)值信息的問(wèn)題，促進(jìn)了數(shù)據(jù)采集的自動(dòng)化和智能化，文章對(duì)NLP在數(shù)據(jù)采集系統(tǒng)中的應(yīng)用進(jìn)行了研究。

關(guān)鍵詞：NLP；數(shù)據(jù)采集；知識(shí)管理

doi：10.3969/J.ISSN.1672-7274.2024.03.004

中圖分類(lèi)號(hào)：TP 274? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? ?文章編碼：1672-7274（2024）03-00-03

1? ?研究背景

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，計(jì)算機(jī)的處理能力和存儲(chǔ)能力不斷提升，使得數(shù)據(jù)的采集、存儲(chǔ)和處理變得更加高效和便捷。計(jì)算機(jī)技術(shù)的進(jìn)步為數(shù)據(jù)采集系統(tǒng)的發(fā)展提供了堅(jiān)實(shí)的基礎(chǔ)。數(shù)據(jù)采集系統(tǒng)是指用于收集、存儲(chǔ)和處理數(shù)據(jù)的一系列技術(shù)和方法，它在數(shù)據(jù)科學(xué)、人工智能、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等領(lǐng)域有著廣泛的應(yīng)用。傳感器是數(shù)據(jù)采集系統(tǒng)的核心組成部分，它可以將現(xiàn)實(shí)世界中的物理量轉(zhuǎn)化為電信號(hào)，并傳輸?shù)接?jì)算機(jī)系統(tǒng)中進(jìn)行處理。隨著傳感器技術(shù)的不斷進(jìn)步，傳感器的精度和靈敏度不斷提高，可以采集到更加精確和豐富的數(shù)據(jù)?；ヂ?lián)網(wǎng)的普及使得數(shù)據(jù)的采集和傳輸更加便捷和全面。通過(guò)互聯(lián)網(wǎng)，人們可以將數(shù)據(jù)從不同地點(diǎn)和設(shè)備傳輸?shù)街行姆?wù)器進(jìn)行集中處理和存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)監(jiān)測(cè)和遠(yuǎn)程控制。隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)的規(guī)模和復(fù)雜性不斷增加，為了更好地處理和利用大數(shù)據(jù)，數(shù)據(jù)采集系統(tǒng)變得越來(lái)越重要。數(shù)據(jù)采集系統(tǒng)可以幫助收集大規(guī)模的數(shù)據(jù)，并進(jìn)行實(shí)時(shí)處理和分析，為決策和業(yè)務(wù)提供有力支持。

綜上所述，數(shù)據(jù)采集系統(tǒng)的發(fā)展與研究背景與計(jì)算機(jī)技術(shù)、傳感器技術(shù)、互聯(lián)網(wǎng)技術(shù)和物聯(lián)網(wǎng)技術(shù)等密切相關(guān)。隨著計(jì)算機(jī)科學(xué)技術(shù)的不斷進(jìn)步和應(yīng)用領(lǐng)域的拓展，數(shù)據(jù)采集系統(tǒng)在現(xiàn)代社會(huì)中的作用將變得越來(lái)越重要，能夠?yàn)楦餍懈鳂I(yè)的發(fā)展和進(jìn)步帶來(lái)更多的機(jī)遇和挑戰(zhàn)。

2? ?NLP的基本原理

分詞（Tokenization）是指將一段文本拆分成基本單元，通常基本單元是指詞或字符。分詞是NLP處理的基礎(chǔ)，因?yàn)橛?jì)算機(jī)不能直接理解連續(xù)的文本，需要將文本拆分成離散的單詞或字符。例如，將句子“我愛(ài)自然語(yǔ)言處理”分詞為[“我”“愛(ài)”“自然”“語(yǔ)言”，“處理”]，分詞主要分為以下步驟。

（1）詞性標(biāo)注。對(duì)分詞后的單詞進(jìn)行詞性標(biāo)注，即為每個(gè)單詞標(biāo)記其在句子中的詞性，如名詞、動(dòng)詞、形容詞等。詞性標(biāo)注可以幫助理解句子的結(jié)構(gòu)和含義。例如，對(duì)于句子“貓喜歡吃魚(yú)”，詞性標(biāo)注為[“名詞”“動(dòng)詞”“動(dòng)詞”“名詞”]。

（2）句法分析。句法分析是對(duì)句子進(jìn)行語(yǔ)法分析，找出句子中的主語(yǔ)、謂語(yǔ)、賓語(yǔ)等語(yǔ)法成分，并確定它們之間的語(yǔ)法關(guān)系。句法分析有助于理解句子的結(jié)構(gòu)和語(yǔ)法規(guī)則。例如，對(duì)于句子“貓喜歡吃魚(yú)”，句法分析結(jié)果為[（貓，主語(yǔ)），（喜歡，謂語(yǔ)），（吃，動(dòng)詞），（魚(yú)，賓語(yǔ)）]。

（3）語(yǔ)義理解。語(yǔ)義理解是對(duì)句子的含義進(jìn)行進(jìn)一步理解，包括詞義消歧（解決一個(gè)詞有多個(gè)含義的問(wèn)題）、詞匯語(yǔ)義關(guān)系（詞義之間的關(guān)系，如同義詞、反義詞）、句子的語(yǔ)義推理等。通過(guò)語(yǔ)義理解，計(jì)算機(jī)可以更好地理解句子的含義。

（4）實(shí)體識(shí)別。實(shí)體識(shí)別是識(shí)別文本中的命名實(shí)體，如人名、地名、組織機(jī)構(gòu)等。實(shí)體識(shí)別可以用來(lái)提取文本中的重要信息，并為后續(xù)任務(wù)提供關(guān)鍵信息。例如，對(duì)于句子“約翰在倫敦的大學(xué)學(xué)習(xí)”，實(shí)體識(shí)別可以識(shí)別出[“約翰”（人名），“倫敦”（地名），“大學(xué)”（組織機(jī)構(gòu)）]。

（5）關(guān)系抽取。關(guān)系抽取是從文本中抽取實(shí)體之間的關(guān)系。通過(guò)關(guān)系抽取，可以識(shí)別出文本中實(shí)體之間的關(guān)聯(lián)關(guān)系，如家庭關(guān)系、工作關(guān)系等。例如，對(duì)于句子“比爾蓋茨是微軟的創(chuàng)始人”，關(guān)系抽取可以識(shí)別出[“比爾蓋茨”（創(chuàng)始人），“微軟”（公司）]。

（6）情感分析。情感分析是判斷文本中的情感傾向，通常分為積極、消極或中性。情感分析可以幫助企業(yè)了解用戶對(duì)產(chǎn)品或服務(wù)的態(tài)度，對(duì)于營(yíng)銷(xiāo)和輿情分析等領(lǐng)域有重要作用。

（7）文本生成。文本生成是根據(jù)給定的輸入自動(dòng)生成符合語(yǔ)法和語(yǔ)義規(guī)則的文本。文本生成在聊天機(jī)器人、自動(dòng)文本摘要等領(lǐng)域有廣泛應(yīng)用。

（8）文本分類(lèi)。文本分類(lèi)是將文本劃分到不同的類(lèi)別中，如垃圾郵件分類(lèi)、新聞分類(lèi)等。文本分類(lèi)是NLP中的常見(jiàn)任務(wù)，采用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等方法實(shí)現(xiàn)。

NLP可以讓計(jì)算機(jī)更好地理解、處理和分析自然語(yǔ)言文本，為人們帶來(lái)更多便利和價(jià)值。

3? ?NLP在數(shù)據(jù)采集系統(tǒng)中的應(yīng)用模型構(gòu)建

在數(shù)據(jù)采集中，NLP可以用于從大量的文本數(shù)據(jù)中自動(dòng)抽取和提取信息，進(jìn)而建立專家知識(shí)庫(kù)。下面是NLP在數(shù)據(jù)采集中應(yīng)用的一般過(guò)程。

（1）數(shù)據(jù)收集。首先需要收集大量的文本數(shù)據(jù)，這些數(shù)據(jù)可以來(lái)自于互聯(lián)網(wǎng)、企業(yè)內(nèi)部文檔、社交媒體等多個(gè)渠道。

（2）文本預(yù)處理。收集到的文本數(shù)據(jù)通常包含大量的噪聲和無(wú)用信息，需要進(jìn)行預(yù)處理來(lái)清洗和規(guī)范化數(shù)據(jù)。預(yù)處理包括分詞、去除停用詞、詞干化等步驟。

（3）實(shí)體識(shí)別。使用NLP技術(shù)對(duì)文本進(jìn)行實(shí)體識(shí)別，識(shí)別出文本中的人名、地名、組織機(jī)構(gòu)等重要信息[1]。目前大部分采用的TextRank算法以及TF-IDF算法忽視了詞語(yǔ)在文本中出現(xiàn)位置對(duì)權(quán)重的影響，這兩種算法認(rèn)為不同關(guān)鍵詞的出現(xiàn)位置對(duì)權(quán)重沒(méi)有影響。但是，在生產(chǎn)實(shí)踐中，并不能假設(shè)位置對(duì)其信息重要性無(wú)影響，而需要引入位置信息改進(jìn)不同關(guān)鍵詞的權(quán)重。為此，本節(jié)綜合考慮詞語(yǔ)在資源內(nèi)容中出現(xiàn)位置的不同，賦予不同的權(quán)重，并對(duì)原有計(jì)算的權(quán)重評(píng)分進(jìn)行改進(jìn)，從而更好地反映出內(nèi)容的關(guān)鍵詞，并作為標(biāo)簽進(jìn)行提取，提高標(biāo)簽的有效性。本文考慮不同詞語(yǔ)的位置權(quán)重，首先將資源內(nèi)容進(jìn)行分段，并基于首位權(quán)重更高的假設(shè)進(jìn)行處理。假設(shè)油氣田的內(nèi)容可以分為a段，關(guān)鍵詞i所在的位置為b，則該段的權(quán)重計(jì)算如式（1）所示。

根據(jù)式（1），當(dāng)關(guān)鍵詞出現(xiàn)的位置靠前或者靠后時(shí)，其權(quán)重相對(duì)更高。而當(dāng)關(guān)鍵詞只是出現(xiàn)在資源的中部時(shí)，其權(quán)重相對(duì)較小。同時(shí)，考慮同一段落b中關(guān)鍵詞出現(xiàn)的不同位置的影響，假設(shè)首句以及尾句更具有總結(jié)的作用，比如設(shè)備信息可能只有一段話，但是出現(xiàn)在首尾的內(nèi)容可能蘊(yùn)含更多的信息[2]。根據(jù)以上思想，假設(shè)段落中存在d個(gè)關(guān)鍵詞（去除停用詞等影響），關(guān)鍵詞所處段落位置i的權(quán)重信息通過(guò)式（2）進(jìn)行計(jì)算。

結(jié)合式（1）、式（2），形成該關(guān)鍵詞的綜合權(quán)重：

同時(shí)，采用歸一化的方法處理不同關(guān)鍵詞權(quán)重，最終得到式（4）。

式中，n代表自然語(yǔ)言處理下剩余的有意義的關(guān)鍵詞數(shù)量，比如去除各類(lèi)介詞等，得到的綜合考慮關(guān)鍵詞在資源中以及段落中的位置，從而改進(jìn)其權(quán)重的計(jì)算方法，得到蘊(yùn)含信息更為準(zhǔn)確的標(biāo)簽。綜合計(jì)算關(guān)鍵詞的得分如式（5）所示。

式中，，>0，代表不同算法的權(quán)重。計(jì)算得到值后，按照對(duì)各個(gè)關(guān)鍵詞進(jìn)行排序，并選取排在前n個(gè)位置的關(guān)鍵詞作為該資源的標(biāo)簽值。

（4）關(guān)系抽取。通過(guò)NLP技術(shù)抽取文本中實(shí)體之間的關(guān)系，如不同設(shè)備之間的關(guān)系。

（5）文本分類(lèi)。對(duì)文本進(jìn)行分類(lèi)，將文本劃分到不同的類(lèi)別中，如將維修手冊(cè)文本劃分為不同的主題類(lèi)別。

（6）情感分析。使用NLP技術(shù)對(duì)文本進(jìn)行情感分析，判斷文本的情感傾向，如積極、消極或中性。

（7）文本摘要。通過(guò)NLP技術(shù)自動(dòng)提取文本的關(guān)鍵信息，生成文本摘要，使得大量的文本信息更易于理解和分析。

（8）構(gòu)建知識(shí)庫(kù)。通過(guò)上述步驟，將從文本數(shù)據(jù)中抽取的有價(jià)值的信息和知識(shí)整合在一起，形成專家知識(shí)庫(kù)。

（9）知識(shí)管理。對(duì)專家知識(shí)庫(kù)進(jìn)行管理，包括更新、擴(kuò)展和維護(hù)，確保知識(shí)庫(kù)的有效性和準(zhǔn)確性。

綜合以上分析，采用NLP對(duì)數(shù)據(jù)進(jìn)行采集的分層結(jié)構(gòu)，如圖1所示。

通過(guò)以上步驟，NLP可以幫助人們構(gòu)建一個(gè)龐大而豐富的專家知識(shí)庫(kù)，這個(gè)知識(shí)庫(kù)可以用于數(shù)據(jù)挖掘、決策支持、情報(bào)分析等多個(gè)領(lǐng)域，為企業(yè)和組織帶來(lái)更多的價(jià)值和競(jìng)爭(zhēng)優(yōu)勢(shì)[3]。

4? ?結(jié)束語(yǔ)

NLP作為人工智能領(lǐng)域的一個(gè)重要分支，在數(shù)據(jù)采集系統(tǒng)的發(fā)展和研究中起到了關(guān)鍵作用。它幫助人們解決了從大量的文本數(shù)據(jù)中抽取有價(jià)值信息的問(wèn)題，促進(jìn)了數(shù)據(jù)采集的自動(dòng)化和智能化?；贜LP，有利于使用數(shù)據(jù)采集系統(tǒng)構(gòu)建專家知識(shí)庫(kù)，提高數(shù)據(jù)采集的效率。

參考文獻(xiàn)

[1] 賀宗平，王正路．一種面向互聯(lián)網(wǎng)文本數(shù)據(jù)采集框架的設(shè)計(jì)[J]．電子技術(shù)與軟件工程，2021（12）：3-6.

[2] 楊靖，張帆，賀暢，等．基于NLP文本分析和因子分析模型的調(diào)研問(wèn)卷優(yōu)化[J]．現(xiàn)代商業(yè)，2021（8）：6-9.

[3] 郭樂(lè)江，肖蕾，何松，等．基于大數(shù)據(jù)和人工智能進(jìn)行網(wǎng)絡(luò)輿情分析的研究[J]．信息通信，2021（3）：19-23.