莊良源

（福建省南安市市場(chǎng)監(jiān)督管理局 福建省南安市 362300）

1 序言

在當(dāng)前科技飛速發(fā)展的背景下，專利的數(shù)據(jù)存儲(chǔ)工作也顯得越發(fā)的繁瑣和復(fù)雜，傳統(tǒng)數(shù)據(jù)庫(kù)已經(jīng)漸漸不能滿足大量專利數(shù)據(jù)存儲(chǔ)的功能。其中的難點(diǎn)就是異構(gòu)數(shù)據(jù)的存貯，異構(gòu)數(shù)據(jù)的特點(diǎn)就是收錄校驗(yàn)和數(shù)據(jù)存儲(chǔ)的難度大，同時(shí)它的資源通常較為分散，數(shù)據(jù)增長(zhǎng)速度快的同時(shí)類型也更加的多樣化，所以如果實(shí)現(xiàn)針對(duì)異構(gòu)數(shù)據(jù)的存儲(chǔ)是專利部門數(shù)據(jù)庫(kù)開發(fā)人員不得不面臨的難題。專利部門的專利數(shù)據(jù)就是典型的異構(gòu)數(shù)據(jù)，本文針對(duì)專利數(shù)據(jù)的特點(diǎn)，在云平臺(tái)的基礎(chǔ)上開發(fā)了專利數(shù)據(jù)庫(kù)，對(duì)異構(gòu)數(shù)據(jù)實(shí)現(xiàn)了一定程度的智能化管理，能夠用于多個(gè)地使用場(chǎng)景，希望能對(duì)相關(guān)的數(shù)據(jù)庫(kù)開發(fā)項(xiàng)目提供一些建議。

2 相關(guān)技術(shù)概述

本次設(shè)計(jì)計(jì)劃針對(duì)專利數(shù)據(jù)中心的專利數(shù)據(jù)安全云提供相應(yīng)的支持，核心是針對(duì)此類型的異構(gòu)數(shù)據(jù)建立相應(yīng)的儲(chǔ)存、檢索和管理框架。整個(gè)專利數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)共分為三個(gè)數(shù)據(jù)模塊，分別是數(shù)據(jù)儲(chǔ)存模塊、數(shù)據(jù)檢索模塊和數(shù)據(jù)管理模塊。針對(duì)這三個(gè)模塊的特點(diǎn)筆者采用了HDFS、MySQL 和Redis 所綜合而成的數(shù)據(jù)庫(kù)技術(shù)方案與MVVM 為主的前后端分離式Web 系統(tǒng)設(shè)計(jì)。

2.1 數(shù)據(jù)庫(kù)技術(shù)方案

HDFS 技術(shù)是指Hadoop 分布式文件系統(tǒng)，作為針對(duì)大數(shù)據(jù)運(yùn)行日志存儲(chǔ)讓設(shè)計(jì)出來(lái)的分布式儲(chǔ)存系統(tǒng)，HDFS 有著良好的儲(chǔ)存效果，但是實(shí)際的數(shù)據(jù)基礎(chǔ)與應(yīng)用需求表現(xiàn)不佳，所以僅使用Hadoop 框架下的HDFS 作為數(shù)據(jù)儲(chǔ)存的核心之一。

MySQL 是一類常見的開源關(guān)系型數(shù)據(jù)庫(kù)類型，其本身有著完全多線程編程、具備優(yōu)化的SQL 算法、多平臺(tái)支持和集群部署等優(yōu)勢(shì)。MySQL 數(shù)據(jù)庫(kù)可以分為用戶層、SQL 節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和管理服務(wù)器等部分，能夠很好的滿足異構(gòu)數(shù)據(jù)的儲(chǔ)存需求，所以本次研究使用MySQL 作為主要數(shù)據(jù)儲(chǔ)存核心。[1]

Redis 是一類常見的內(nèi)存數(shù)據(jù)庫(kù)，與上述數(shù)據(jù)庫(kù)的儲(chǔ)存方式不同，Redis 數(shù)據(jù)庫(kù)的存儲(chǔ)和計(jì)算工作完全在計(jì)算機(jī)內(nèi)存中運(yùn)作。Redis 的特點(diǎn)在于其支持半結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)功能和部分特殊數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)，使用對(duì)象非常的靈活，對(duì)于數(shù)據(jù)增長(zhǎng)速度快的同時(shí)類型也更加的多樣化的異構(gòu)數(shù)據(jù)來(lái)說(shuō)非常合適。此外Redis 的操作滿足原子性約束的原理，有著非常高的讀寫性能的同時(shí)支持?jǐn)?shù)據(jù)持久化，運(yùn)行起來(lái)非常的穩(wěn)定可靠。[2]所以本次研究同樣使用Redis 作為主要數(shù)據(jù)儲(chǔ)存核心。

2.2 MVVM架構(gòu)

所謂MVVM 架構(gòu)是模型（Model）、視圖（View）、視圖模型（ViewModel）平行架構(gòu)的簡(jiǎn)稱。MVVM 大致可以分為視圖層、視圖模型層、模型層三層，三層之間進(jìn)行著同步更新，并且采用數(shù)據(jù)綁定技術(shù)和指令綁定技術(shù)進(jìn)行綁定，從而形成了無(wú)縫的數(shù)據(jù)反饋，能夠方便永興進(jìn)行大量數(shù)據(jù)的編輯和讀取調(diào)用工作。針對(duì)專利異構(gòu)數(shù)據(jù)的運(yùn)行特點(diǎn)，筆者采用MVVM 作為本次數(shù)據(jù)庫(kù)的前端框架結(jié)構(gòu)。[3]

2.3 后端技術(shù)框架

本次專利數(shù)據(jù)庫(kù)采用前后端分離式Web 系統(tǒng)，其中前段框架采用上文介紹的MVVM 架構(gòu)中的Vue 框架，同時(shí)綁定DOM 用以實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)更新、編輯和讀取調(diào)用。后段技術(shù)框架則采用Gin框架，作為Golang 編寫的開源框架，Gin 有著支持多個(gè)子程序段并發(fā)和占用堆棧大小非常小的特點(diǎn)。能夠很好的處理專利數(shù)據(jù)庫(kù)中關(guān)于文件上傳、參數(shù)獲取、數(shù)據(jù)處理和協(xié)議驗(yàn)證等工作。

2.4 Web服務(wù)器

本次專利數(shù)據(jù)庫(kù)所采用的Web 服務(wù)器是Nginx 服務(wù)器，其特點(diǎn)為要求低、體積小和負(fù)載均衡模塊靈活，所以應(yīng)用到特定的專利數(shù)據(jù)庫(kù)中能夠節(jié)省一定程度的系統(tǒng)開銷，同時(shí)安裝配置簡(jiǎn)單，并且支持服務(wù)器集群策略，所以在異構(gòu)數(shù)據(jù)處理上有著一定的拓展性優(yōu)勢(shì)。[4]

3 專利數(shù)據(jù)庫(kù)設(shè)計(jì)難點(diǎn)

本次研究針對(duì)的是專利數(shù)據(jù)庫(kù)建設(shè)，基于筆者的數(shù)據(jù)庫(kù)開發(fā)經(jīng)驗(yàn)，筆者認(rèn)為本次研究的難點(diǎn)主要在于專利數(shù)據(jù)統(tǒng)一存儲(chǔ)和檢索以及專利數(shù)據(jù)的完備度校驗(yàn)上。

3.1 專利數(shù)據(jù)統(tǒng)一存儲(chǔ)和檢索

專利數(shù)據(jù)面臨的數(shù)據(jù)來(lái)源多種多樣，不同專利面臨的數(shù)據(jù)內(nèi)容不同，但從數(shù)據(jù)結(jié)構(gòu)上來(lái)看可以分為半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，三類數(shù)據(jù)分布于不同的數(shù)據(jù)庫(kù)中，需要進(jìn)行統(tǒng)一的存儲(chǔ)。同時(shí)專利數(shù)據(jù)的跨庫(kù)檢索實(shí)現(xiàn)起來(lái)也有一定的難度，不同數(shù)據(jù)庫(kù)之間的檢索入口和條件設(shè)置都有所區(qū)別，因此云平臺(tái)基礎(chǔ)上的專利數(shù)據(jù)庫(kù)設(shè)計(jì)的首要難點(diǎn)就是針對(duì)存儲(chǔ)和檢索方案進(jìn)行設(shè)計(jì)。

3.1.1 專利數(shù)據(jù)存儲(chǔ)方案

本次研究的專利數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)針對(duì)半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)，采用Redis 存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)、MySQL存儲(chǔ)節(jié)后華數(shù)據(jù)、HDFS 存儲(chǔ)類型文件數(shù)據(jù)的存儲(chǔ)方法，同時(shí)利用Redis 的特性實(shí)現(xiàn)數(shù)據(jù)的檢索和緩存，進(jìn)而實(shí)現(xiàn)后續(xù)的數(shù)據(jù)檢索模塊。

3.1.2 專利數(shù)據(jù)檢索方案

在專利數(shù)據(jù)的跨庫(kù)檢索方面，可以將本次上文三類數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)歸結(jié)為數(shù)據(jù)庫(kù)檢索和數(shù)值檢索兩個(gè)方面。其中數(shù)據(jù)庫(kù)檢索需要建立特定的三級(jí)表結(jié)構(gòu)，依照小型數(shù)據(jù)庫(kù)字庫(kù)和大型數(shù)據(jù)庫(kù)字庫(kù)采取不同的應(yīng)對(duì)措施。小型數(shù)據(jù)庫(kù)字庫(kù)規(guī)定數(shù)據(jù)條數(shù)為1000 以內(nèi)，采取后端程序分段檢測(cè)的檢測(cè)方式，大型數(shù)據(jù)庫(kù)規(guī)定數(shù)據(jù)條數(shù)為1000 及以上，采用直接調(diào)取三級(jí)表中目標(biāo)數(shù)據(jù)庫(kù)的id 形式，進(jìn)而進(jìn)行相應(yīng)的解析，然后獲得子數(shù)據(jù)庫(kù)后進(jìn)行針對(duì)性的檢索；在數(shù)值檢索方面，需要建立作為檢索起點(diǎn)的數(shù)據(jù)表，然后對(duì)用戶的檢索選項(xiàng)進(jìn)行相應(yīng)的區(qū)分與判斷，然后基于B+樹的檢索結(jié)果進(jìn)行緩存方案，用來(lái)優(yōu)化專利數(shù)據(jù)庫(kù)數(shù)值檢索的效率，進(jìn)而完成相應(yīng)的索引構(gòu)建。

3.2 專利數(shù)據(jù)完備度校驗(yàn)

本次設(shè)計(jì)的專利數(shù)據(jù)庫(kù)的完備度校驗(yàn)采用自動(dòng)化入庫(kù)和自動(dòng)化完備度分析工具為基礎(chǔ)，作為一種面向?qū)ο蟮年P(guān)系型數(shù)據(jù)庫(kù)，自動(dòng)化入庫(kù)和自動(dòng)化完備度分析工具支持在標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)系統(tǒng)中管理相關(guān)數(shù)據(jù)，一方面能夠?qū)崿F(xiàn)數(shù)據(jù)的完整性，另一方面能夠保證使用過(guò)程的安全?；诒敬卧囼?yàn)實(shí)際情況，筆者將專利數(shù)據(jù)庫(kù)系統(tǒng)完備度校驗(yàn)的構(gòu)建分為如下幾步：

（1）針對(duì)該數(shù)據(jù)庫(kù)的專利數(shù)據(jù)系統(tǒng)信息數(shù)據(jù)進(jìn)行搜集和整理，針對(duì)不同的分類完成格式、單位和尺度的統(tǒng)一，最終將該數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)完備度信息編程有效的字段名和表頭；

（2）完成自動(dòng)化入庫(kù)和自動(dòng)化完備度分析工具的構(gòu)建，依照完備度的實(shí)際情況將不同的參數(shù)進(jìn)行分類和儲(chǔ)存；

（3）把剩下的數(shù)據(jù)儲(chǔ)存到access 屬性的二維表數(shù)據(jù)庫(kù)中，同時(shí)完成分類和編碼；

（4）完善自動(dòng)化入庫(kù)和自動(dòng)化完備度分析工具各版塊的構(gòu)建和相應(yīng)的管理系統(tǒng)。

4 專利數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)

專利異構(gòu)數(shù)據(jù)存在數(shù)據(jù)資源分散，數(shù)據(jù)類型、資源總量擴(kuò)張迅速的特征。目前，專利數(shù)據(jù)庫(kù)系統(tǒng)中收錄的數(shù)據(jù)主要為自身企業(yè)在運(yùn)轉(zhuǎn)過(guò)程中所產(chǎn)生的海量數(shù)據(jù)，部分?jǐn)?shù)據(jù)量為TB 級(jí)。隨著專利局云用戶的不斷增長(zhǎng)，專利局云應(yīng)用的開發(fā)與增加，專利局專利數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)量將快速增長(zhǎng)。與此同時(shí)，目前專利局云的目標(biāo)用戶為內(nèi)部用戶，數(shù)據(jù)訪問(wèn)量較低，而隨著專利局云的推廣、數(shù)據(jù)收錄的增加，遠(yuǎn)期應(yīng)用場(chǎng)景可能會(huì)面對(duì)高并發(fā)請(qǐng)求、高數(shù)據(jù)存儲(chǔ)請(qǐng)求的應(yīng)用場(chǎng)景。

4.1 專利數(shù)據(jù)庫(kù)的設(shè)計(jì)

為滿足專利數(shù)據(jù)庫(kù)系統(tǒng)的上述技術(shù)特征與需求，框架結(jié)構(gòu)選擇階段需要考慮系統(tǒng)對(duì)于云其他模塊的底層支持，同時(shí)對(duì)用戶量、數(shù)據(jù)量增長(zhǎng)后服務(wù)器擴(kuò)容的基礎(chǔ)條件等因素進(jìn)行評(píng)估。

本文使用了基于NGV（Nginx+Gin+Vue）技術(shù)棧的MuVM 框架，其中Nginx 為基礎(chǔ)Web 服務(wù)器，實(shí)現(xiàn)請(qǐng)求的分流與轉(zhuǎn)發(fā)，同時(shí)實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡。Gin 為后端服務(wù)器框架，Vue 為前端框架，系統(tǒng)的設(shè)計(jì)模式為MVVM 模式，實(shí)現(xiàn)前后端的輕耦合，降低用戶與服務(wù)器間的數(shù)據(jù)通信量，進(jìn)而提高系統(tǒng)的并發(fā)性能。

本次研究的云平臺(tái)基礎(chǔ)上專利數(shù)據(jù)庫(kù)設(shè)計(jì)其架構(gòu)可以分為Nginx、基于Vue 開發(fā)的前端程序、基于Gin 開發(fā)的后端程序、存儲(chǔ)層三個(gè)層面。

其中Nginx 分為proxy 反向代理模塊和upstream 負(fù)載均衡模塊；

基于Vue 開發(fā)的前端程序分為權(quán)限控制模塊、數(shù)據(jù)基礎(chǔ)服務(wù)模塊、跨庫(kù)訪問(wèn)模塊、數(shù)據(jù)檢索模塊、數(shù)據(jù)可視化模塊、數(shù)據(jù)庫(kù)管理模塊和軟件資源管理模塊；

基于Gin 開發(fā)的后端程序分為DAO 模塊、SSO 模塊、TXTWO 格式解析器、數(shù)據(jù)庫(kù)管理模塊、權(quán)限服務(wù)模塊和數(shù)據(jù)收錄分析模塊

儲(chǔ)存層則分為HDFS、MySQL 和Redis 所綜合而成的數(shù)據(jù)庫(kù)存儲(chǔ)模塊。

4.2 專利數(shù)據(jù)庫(kù)的實(shí)現(xiàn)

專利數(shù)據(jù)庫(kù)系統(tǒng)采用了基于NGV 技術(shù)棧的MVVM 開發(fā)模式，實(shí)現(xiàn)了對(duì)單機(jī)部署、分離部署、集群部署三種部署方案的支持，而上述三種部署方案需要經(jīng)過(guò)測(cè)試驗(yàn)證以確保方案的可行性、科學(xué)性。

單機(jī)部署測(cè)試軟硬件環(huán)境：

硬件環(huán)境為CPU：1Core（IntelE-2682-V4@2.SGhz）內(nèi)存：0.5GB

軟件環(huán)境為操作系統(tǒng)：ubuntu 16.04

功能測(cè)試過(guò)程中，針對(duì)相應(yīng)系統(tǒng)的單機(jī)部署方案的有效性、可行性進(jìn)行了部署、驗(yàn)證，在單機(jī)部署模式下，專利數(shù)據(jù)庫(kù)系統(tǒng)能夠正常提供數(shù)據(jù)即軟件服務(wù)，各項(xiàng)功能正常，單機(jī)部署方案是可行的。

4.3 專利信息存儲(chǔ)模塊的實(shí)現(xiàn)

專利管理部門的主要功能對(duì)專利的信息進(jìn)行錄入、修改、查詢、刪除，具體分為管理者未確認(rèn)、管理者已確認(rèn)和管理者已駁回三種不同的場(chǎng)景。當(dāng)專利管理人員將專利錄入系統(tǒng)后，自動(dòng)轉(zhuǎn)入管理者未確認(rèn)狀態(tài)。而管理者可以執(zhí)行兩種操作：駁回、確認(rèn)。當(dāng)管理者駁回專利時(shí)，需要說(shuō)明駁回原因，專利管理人員根據(jù)管理者駁回原因可以選擇進(jìn)行修改或者作廢該專利。除此之外，在專利管理人員錄入專利的同時(shí)，需要填寫管理者的基本信息，后臺(tái)將己經(jīng)提交的專利信息中關(guān)于管理者的基本信息存入數(shù)據(jù)庫(kù)中的管理者表單中，具體數(shù)據(jù)依照實(shí)際應(yīng)對(duì)的類型不同進(jìn)行相應(yīng)的調(diào)整。

4.4 專利數(shù)據(jù)完備度校驗(yàn)實(shí)現(xiàn)

專利數(shù)據(jù)種類多，數(shù)據(jù)更新頻繁，使得數(shù)據(jù)資源的覆蓋度和完整性分析成為數(shù)據(jù)管理過(guò)程中的難點(diǎn)。專利數(shù)據(jù)目前以TXTWO格式存儲(chǔ)，為實(shí)現(xiàn)專利數(shù)據(jù)的自動(dòng)化收錄，本文設(shè)計(jì)開發(fā)了針對(duì)TXTWO 格式的專利數(shù)據(jù)自動(dòng)化入庫(kù)工具。數(shù)據(jù)庫(kù)管理員或用戶上傳TXTWO 格式的文本后，專利異構(gòu)數(shù)據(jù)庫(kù)系統(tǒng)處理程序首先對(duì)用戶上傳的專利數(shù)據(jù)文件進(jìn)行分片，得到每條數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)值，從中提取對(duì)應(yīng)數(shù)據(jù)。專利異構(gòu)數(shù)據(jù)庫(kù)系統(tǒng)收到用戶上傳文件后，首先進(jìn)行格式校驗(yàn)，確認(rèn)其為TXTWO 文件后計(jì)算器HASH 碼，并與己有數(shù)據(jù)比對(duì)，若是己有文件則直接向用戶展示對(duì)應(yīng)的數(shù)據(jù)內(nèi)容。若用戶上傳的是新文件，則直接將TXTWO 文件存入HDFS 系統(tǒng)中，同時(shí)則根據(jù)TXTWO 數(shù)據(jù)組織及數(shù)據(jù)規(guī)定，讀取出對(duì)應(yīng)的參數(shù)，并根據(jù)文件說(shuō)明從每條數(shù)據(jù)中整理出對(duì)應(yīng)的數(shù)據(jù)參數(shù)，并整理存儲(chǔ)進(jìn)入到MySQL 數(shù)據(jù)庫(kù)中，從而實(shí)現(xiàn)專利數(shù)據(jù)的自動(dòng)化入庫(kù)。數(shù)據(jù)上傳進(jìn)入專利數(shù)據(jù)庫(kù)系統(tǒng)后，數(shù)據(jù)庫(kù)管理員可直接使用對(duì)應(yīng)的數(shù)據(jù)統(tǒng)計(jì)工具快速分析其中的數(shù)據(jù)資源。

5 總結(jié)

總而言之，專利數(shù)據(jù)庫(kù)構(gòu)建是當(dāng)前數(shù)據(jù)庫(kù)構(gòu)建領(lǐng)域發(fā)展的重要方向，將之組合不僅能夠挖掘傳輸識(shí)別過(guò)程中各個(gè)已有數(shù)據(jù)之間的潛在關(guān)系，更能快速地構(gòu)建起相關(guān)的預(yù)測(cè)模型。當(dāng)然本次研究也存在著許多的不足，雖然本次研究對(duì)專利數(shù)據(jù)庫(kù)構(gòu)建在當(dāng)前數(shù)據(jù)庫(kù)構(gòu)建應(yīng)用中存在的問(wèn)題進(jìn)行了分析，但仍不夠深入，希望將來(lái)能有機(jī)會(huì)繼續(xù)對(duì)數(shù)據(jù)庫(kù)構(gòu)建的問(wèn)題進(jìn)行研究，進(jìn)而為我國(guó)相關(guān)領(lǐng)域的發(fā)展做出貢獻(xiàn)。