江阿古麗·哈依達(dá)爾 郭 玲

（昌吉學(xué)院，新疆 昌吉 831100）

1 句子相似度計算小程序的研究意義

以前的研究工作中，從詞性、詞序、句長、相似單元角等幾個方面提出了哈薩克語句子相似度的計算方法，另外初步研究了切分名詞詞根和詞綴的有限狀態(tài)自動機的構(gòu)造[1]。隨著python 程序設(shè)計語言的廣泛使用，目前也可以采用numpy()函數(shù)庫、字符串和有序組合數(shù)據(jù)的內(nèi)置函數(shù)等有關(guān)技術(shù)方法，從數(shù)據(jù)庫中可以篩選出相似句子，并按相似比例的高低進行排序。粘著性語言類的詞根和詞綴具有較特殊的主從關(guān)系，因此，計算相似度前實現(xiàn)分解句子和切分詞綴是必不可少的。本文主要探討的小程序的詳細(xì)設(shè)計方案對計算句子相似度技術(shù)，甚至對機器翻譯、搜索引擎等領(lǐng)域的研究工作提供必要的技術(shù)條件。

2 句子相似度計算小程序的可行性研究

句子相似度計算小程序作為驗證新的計算方法和其規(guī)則而推出的測試小系統(tǒng)，可以在人工智能、自然語言處理等領(lǐng)域，當(dāng)作數(shù)據(jù)分析的輔助系統(tǒng)應(yīng)用，該系統(tǒng)的設(shè)計和維護階段的任務(wù)分解明確，操作簡單易學(xué)，使用群體只限于研究人員和測試人員，用戶不僅可查看數(shù)據(jù)分析結(jié)果以外，還可以組內(nèi)交流意見。

3 需求分析

參與者分管理員、測試員和計算相似度后臺系統(tǒng)。管理員可以進行維護測試員信息、維護數(shù)據(jù)庫、審核新提交的數(shù)據(jù)、維護公告等操作。測試員首先登錄系統(tǒng)后可以使用計算相似度，上傳新數(shù)據(jù)，修改個人信息、查看公告和在分組討論模塊留言等功能。至于未注冊系統(tǒng)的用戶系統(tǒng)每一天只提供三次免費查詢功能。計算相似度后臺系統(tǒng)以輔助參與者的身份與外部環(huán)境進行交互。

4 句子相似度計算小程序的系統(tǒng)模塊分析

系統(tǒng)由登錄界面、測試相似度界面、查看公告界面和分組討論界面組成。其中前臺由測試員和管理員都可以登錄，每個模塊兩類用戶均可實現(xiàn)的操作有：登錄界面中可以注冊、登錄、填寫個人信息；測試相似度界面中可以搜索相似單詞、搜索相似句子、上傳新數(shù)據(jù)；查看公告（新聞）界面中可以完成查看新發(fā)布的公告、搜索公告、點贊公告（新聞）等操作；分組討論模塊中可以留言、點贊。

后臺智能允許管理員訪問，其中管理員可以完成的操作有：（1）用戶管理模塊：審核注冊、注銷的測試員賬號，維護測試員基本信息，并更新測試員實體類數(shù)據(jù)庫表；（2）相似單詞（句子）管理模塊：添加新的計算規(guī)則、維護有誤數(shù)據(jù)，并更新單詞（句子）實體類數(shù)據(jù)庫表；（3）公告（新聞）管理模塊：上傳新公告（新聞），維護已經(jīng)上傳的新數(shù)據(jù)，并更新公告（新聞）實體類數(shù)據(jù)庫表；（4）分組討論模塊：維護留言信息，并更新留言實體類數(shù)據(jù)庫表；（5）系統(tǒng)歷史記錄管理模塊：維護系統(tǒng)使用記錄信息，并更新歷史信息實體類數(shù)據(jù)庫表。

5 句子相似度計算小程序的功能分析

系統(tǒng)中除了注冊和登錄的前提條件為參與者打開系統(tǒng)界面外，維護、上傳、留言、搜索等功能的前置條件是參與者登錄系統(tǒng)成功，其基本的操作流程如下：

1.注冊功能：測試員登錄前先需要注冊，新測試員通過填寫姓名、聯(lián)系方式、單位和驗證碼進行注冊系統(tǒng)，并提交信息。管理員對其參與者信息進行審核，如果審核通過，將分配ID 賬號編碼，并發(fā)送登錄密碼，設(shè)置其用戶權(quán)限。測試員收到管理員信息后對賬號密碼進行修改。

圖1 系統(tǒng)用例分析圖

2.登錄功能：管理員和測試員首先登錄成功后可以正常使用小系統(tǒng)。為了保護測試員的基本信息，忘記賬號密碼時只允許輸入三次，如果輸入有誤，將系統(tǒng)提示錯誤信息。測試員忘記密碼時，可以通過手機驗證等措施找回賬號密碼。

3.維護測試員信息：新測試員注冊系統(tǒng)時，管理員查看其參與者基本信息的完整性，并審核其身份；如果測試員注銷其賬號，管理員將數(shù)據(jù)庫中刪除其基本信息，并取消權(quán)限；部分信息安全級別較高的，隱藏的用戶個人信息由管理員親自審核、修改、補充和刪除。

4.維護數(shù)據(jù)庫：句子相似度系統(tǒng)的數(shù)據(jù)庫規(guī)?？蔁o限地擴展，隨著新數(shù)據(jù)的上傳，器容量可以不斷增大。但參與者提交新單詞或句子之后，管理員先審核該數(shù)據(jù)，如果數(shù)據(jù)中有拼寫錯誤或者語法錯誤等問題，將數(shù)據(jù)審核結(jié)果發(fā)送給上傳數(shù)據(jù)的測試員；該測試員第二次重新編輯數(shù)據(jù)，確保無誤后，再次提交到系統(tǒng)上。管理員再次審核該數(shù)據(jù)，如果新上傳的數(shù)據(jù)中沒有任何問題，下一步檢索在數(shù)據(jù)庫中是否存在該數(shù)據(jù)，如果沒有則添加至數(shù)據(jù)庫中。

除此之外，管理員還可以刪除數(shù)據(jù)庫中重復(fù)的信息或者錯誤的信息，還可以進行修改、更新等維護操作。用例維護信息的前置條件是數(shù)據(jù)庫在系統(tǒng)中存在，管理員登錄管理模塊成功。管理員與系統(tǒng)參加該用例，基本流程為：首先，管理員在數(shù)據(jù)庫中檢索相關(guān)單詞或句子；其次，如果數(shù)據(jù)庫中存在，則維護其內(nèi)容，并提交；最后，數(shù)據(jù)庫覆蓋原數(shù)據(jù)后，則提示維護成功。替代流為：如果數(shù)據(jù)庫中找不到關(guān)鍵字，則系統(tǒng)提示管理員該數(shù)據(jù)數(shù)據(jù)庫中不存在；如果元數(shù)據(jù)覆蓋失敗，則系統(tǒng)提示管理員數(shù)據(jù)維護失敗，請重新設(shè)置。

5.上傳新數(shù)據(jù)：測試員登錄系統(tǒng)后可查看某一個關(guān)鍵字在數(shù)據(jù)庫中的相似句子或者單詞，如果搜索數(shù)據(jù)時，數(shù)據(jù)庫提示其數(shù)據(jù)不存在，則測試員可以將數(shù)據(jù)作為新關(guān)鍵詞上傳至數(shù)據(jù)庫中，同時還可以提交使用該單詞的句子和它的近義詞，從而可以不斷更新和充實系統(tǒng)數(shù)據(jù)庫。

6.搜索相似句：測試員首先在搜索框中輸入關(guān)鍵字，并點擊確認(rèn)后，系統(tǒng)將其關(guān)鍵字的相似單詞或句子從數(shù)據(jù)庫中進行檢索，并把最終結(jié)果輸出。其中相似度的計算方法在查找相似單詞和相似句子中應(yīng)用。

搜索相似單詞：測試員登陸成功后再計算相似度模塊選擇單詞相似度計算功能，輸入關(guān)鍵詞，點擊確。則系統(tǒng)會自動檢測數(shù)據(jù)庫中出現(xiàn)該單詞的句子和近義詞，通過對比單詞的長短、對比字符串的序號和字符類型等方式計算其相似度比例，并把相似單詞、近義詞和相似度顯示在界面上；如果數(shù)據(jù)庫中找不到該關(guān)鍵字?jǐn)?shù)據(jù)庫則提醒測試員數(shù)據(jù)庫中不存在該數(shù)據(jù)，并提示是否確認(rèn)添加到數(shù)據(jù)中。

搜索相似句子：該功能的基本用例模板與搜索相似單詞的基本流程是一樣的，只不過計算數(shù)據(jù)模型是按句子所包含的有序組合中的字符序號、其來長度和詞序進行匹配，搜索過程中找不到的句子時，測試員可以通過上傳新數(shù)據(jù)的方式提交至數(shù)據(jù)庫中，管理員審核通過后更新系統(tǒng)數(shù)據(jù)庫。

7.查看公告（新聞）：前置條件為管理員發(fā)表公告，只能高級管理員對公告進行上傳、刪除、編輯和置頂?shù)染S護操作。管理員發(fā)布公告成功后，測試員在登錄系統(tǒng)的狀態(tài)下，可以查看其公告，并公告左下方可以進行點贊和舉報操作。

8.分組討論（留言）：只要注冊系統(tǒng)的參與者都可以參與到分組討論中。測試員同樣先登錄后發(fā)表自己的意見；管理員審核通過后以“組內(nèi)留言”方式組內(nèi)可以開展討論。留言審核通過后，如果發(fā)現(xiàn)有錯別字或者別的問題，留言的參與者可以自行修改、刪除其內(nèi)容。其他參加互動的人員通過引用該評論發(fā)表自己的意見，點贊自己贊同的留言，有意見的內(nèi)容可以舉報給系統(tǒng)管理員。

以上功能的后置條件為操作成功，更新數(shù)據(jù)庫中對應(yīng)的實體類數(shù)據(jù)庫表，并生成每個階段的操作記錄文件。

6 數(shù)據(jù)庫分析

系統(tǒng)數(shù)據(jù)庫是通過連接多種子表的方式創(chuàng)建。其中，數(shù)據(jù)庫子表可分為實體類和邊界類數(shù)據(jù)庫表。實體類表示參與系統(tǒng)交互的人員和系統(tǒng)關(guān)鍵信息存儲的表格，如：用戶實體類表、單詞實體類表、句子實體類表、公告（新聞）實體類表、留言實體類表等。邊界類表示系統(tǒng)界面數(shù)據(jù)存儲的表格，如：主界面邊界類表、公告頁面邊界類表、搜索頁面邊界類表、登錄頁面邊界類表、留言頁面邊界類表等。

測試員和管理員完成一項操作后數(shù)據(jù)庫表中以下幾個實體類表格數(shù)據(jù)會被修改：一是賬號實體類的屬性包含用戶名、ID、注冊日期、聯(lián)系方式、單位、賬號密碼和賬號級別（管理員或測試員）組成。二是單詞實體類的屬性包含單詞編號、單詞內(nèi)容、近義詞和相似度信息組成。三是句子實體類的屬性包含句子編號、句子內(nèi)容、句子相似度信息組成。四是留言實體類的屬性包含留言者名稱、留言編號、留言時間和其內(nèi)容組成。五是公告（新聞）實體類的屬性包含編號、發(fā)布時間、標(biāo)題、內(nèi)容、點贊次數(shù)等內(nèi)容組成。六是歷史記錄實體類的屬性包含記錄編號、詳細(xì)內(nèi)容、記錄時間和操作者名稱組成。

計算句子相似度的過程中，如果對單詞進行切分時，需要在數(shù)據(jù)庫中添加粘著性語言類的詞綴實體類表，通過匹配單詞和詞綴表，完成詞根和詞綴的分解操作[2]。

系統(tǒng)主界面包含搜索界面（計算相似度）、留言界面、登錄界面和公告界面，這幾個界面的基本信息通過邊界類的類型保存至數(shù)據(jù)庫，測試員與系統(tǒng)之間通過以上邊界類來進行交互。

7 狀態(tài)機分析

1.數(shù)據(jù)狀態(tài)：數(shù)據(jù)包含數(shù)據(jù)庫中的實體單詞、句子和測試員輸入的關(guān)鍵詞；數(shù)據(jù)狀態(tài)根據(jù)詞性判斷，分別有詞根狀態(tài)、詞綴未切分狀態(tài)和連詞狀態(tài)等。

2.操作狀態(tài)：測試員輸入關(guān)鍵詞在系統(tǒng)進行搜索時處于正在搜索狀態(tài)、匹配方式查找相似句子或單詞需要時間，時間長度由數(shù)據(jù)庫規(guī)模決定。

3.參與者狀態(tài)：測試員和管理員的狀態(tài)第一階段可以分為未注冊、注冊狀態(tài)和注銷賬號等，完成注冊小系統(tǒng)后由登錄狀態(tài)、未登錄狀態(tài)和退出系統(tǒng)狀態(tài)等組成。

8 總結(jié)

句子相似度計算方法是目前人工智能領(lǐng)域普遍使用的技術(shù)，機器制造、自然語言處理等領(lǐng)域普遍使用的搜索，匹配功能中必須研究的項目之一。通過不同的數(shù)據(jù)模型計算相似度的方法識別模式具有龐大的數(shù)據(jù)庫系統(tǒng)可以提高匹配工作效率，其操作流程和數(shù)據(jù)庫之間的關(guān)系可以采用UML 模型表示[3]。本文中推出的小程序嚴(yán)格遵守系統(tǒng)需求分析和詳細(xì)設(shè)計階段的基本原理和任務(wù)要求，完成了對粘著性語言類計算句子相似度小系統(tǒng)的設(shè)計和建模工作，該模型在各種級別的管理系統(tǒng)的搜索模塊的開發(fā)工作中均可嵌套使用。設(shè)計方案中提出的關(guān)鍵字、屬性等數(shù)據(jù)字典部分包含的字段沒有重復(fù)出現(xiàn)，測試員的需求在允許范圍內(nèi)可擴展，系統(tǒng)的數(shù)據(jù)庫和功能在維護過程中也需要不斷地改造和升級。