韓春花，張 歡，張俊明

（1.國(guó)家海洋信息中心 天津市 300171； 2.青島地球軟件技術(shù)有限公司 青島市 266012）

我國(guó)大洋調(diào)查始于上個(gè)世紀(jì)80年代初，至今已先后執(zhí)行了近40 個(gè)航次，獲取了大量的數(shù)據(jù)資料，內(nèi)容涵蓋水文、氣象、生物、化學(xué)、地質(zhì)、地球物理等多個(gè)學(xué)科，數(shù)據(jù)資料類型多樣，結(jié)構(gòu)復(fù)雜，數(shù)據(jù)量大，是我國(guó)大洋工作的重要基礎(chǔ)，是政府進(jìn)行相關(guān)決策的重要信息支撐，對(duì)其進(jìn)行科學(xué)有效的管理，使其充分發(fā)揮作用至關(guān)重要。目前，我國(guó)大洋調(diào)查獲取的各類數(shù)據(jù)資料由大洋資料中心統(tǒng)一匯集、整理與管理?！笆濉逼陂g，大洋資料中心通過建設(shè)大洋數(shù)據(jù)管理與共享平臺(tái)實(shí)現(xiàn)大洋數(shù)據(jù)資料的管理與共享[1]，大洋數(shù)據(jù)管理與共享平臺(tái)的核心是大洋數(shù)據(jù)庫(kù)，將大洋調(diào)查獲取的不同類型、不同結(jié)構(gòu)的原始數(shù)據(jù)資料準(zhǔn)確、自動(dòng)、批量地加載入具有統(tǒng)一標(biāo)準(zhǔn)規(guī)范的大洋數(shù)據(jù)庫(kù)中是大洋數(shù)據(jù)管理的基礎(chǔ)和至關(guān)重要的工作。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，目前將外部文件加載到數(shù)據(jù)庫(kù)有多種方法，常用的包括：可用Powerbuild、SQL*LOADER 等工具將Excel、Word 等外部數(shù)據(jù)加載到oracle 數(shù)據(jù)庫(kù)[2-6]。但是對(duì)于大洋數(shù)據(jù)庫(kù)來說，還無(wú)法直接利用現(xiàn)有的數(shù)據(jù)加載工具進(jìn)行加載。有必要開發(fā)專門的大洋調(diào)查數(shù)據(jù)加載系統(tǒng)，作為大洋數(shù)據(jù)管理與共享平臺(tái)的基礎(chǔ)技術(shù)工具，以實(shí)現(xiàn)大洋數(shù)據(jù)的高效、批量、準(zhǔn)確加載。

1 數(shù)據(jù)分類與加載方式的確定

1.1 數(shù)據(jù)分類

大洋數(shù)據(jù)庫(kù)內(nèi)容包括大洋調(diào)查獲取的各類專業(yè)數(shù)據(jù)、研究成果及綜合信息等內(nèi)容。①專業(yè)數(shù)據(jù)：包括大洋各航次開展的海洋水文、海面氣象、海洋生物、海洋化學(xué)、海洋地質(zhì)、海洋地球物理調(diào)查等獲取的原始數(shù)據(jù)資料、后處理數(shù)據(jù)、樣品分析測(cè)試與鑒定結(jié)果數(shù)據(jù)等內(nèi)容。②研究成果：包括大洋各研究開發(fā)項(xiàng)目或課題研究報(bào)告、整編數(shù)據(jù)、成果圖件，以及研發(fā)的數(shù)據(jù)庫(kù)、程序軟件、論文等內(nèi)容。③綜合信息：包括大洋各航次的調(diào)查日期、調(diào)查單位、參加人員、主要設(shè)備、航跡等內(nèi)容。

從數(shù)據(jù)管理的角度，將大洋數(shù)據(jù)歸納為：元數(shù)據(jù)、載體數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)和專題數(shù)據(jù)5 個(gè)層次。①元數(shù)據(jù)：描述數(shù)據(jù)的數(shù)據(jù)，在大洋數(shù)據(jù)庫(kù)中采用核心元數(shù)據(jù)，并能夠利用核心元數(shù)據(jù)進(jìn)行導(dǎo)航。②載體數(shù)據(jù)：匯集的第一手?jǐn)?shù)據(jù)，存于光盤或硬盤載體上，主要用于備查。③基礎(chǔ)數(shù)據(jù)：在載體數(shù)據(jù)的基礎(chǔ)上，對(duì)其進(jìn)行分類、整理、篩選后形成的數(shù)據(jù)集；④標(biāo)準(zhǔn)化數(shù)據(jù)：依據(jù)一定的數(shù)據(jù)文件標(biāo)準(zhǔn)記錄格式，經(jīng)標(biāo)準(zhǔn)化處理和質(zhì)量控制之后形成的格式統(tǒng)一、標(biāo)準(zhǔn)統(tǒng)一的標(biāo)準(zhǔn)化數(shù)據(jù)集。⑤專題數(shù)據(jù)：在標(biāo)準(zhǔn)化數(shù)據(jù)集基礎(chǔ)上，依據(jù)特定的使用需求，研制的統(tǒng)計(jì)分析數(shù)據(jù)、圖形產(chǎn)品等。這5 個(gè)層次的數(shù)據(jù)既相互獨(dú)立又有內(nèi)部關(guān)聯(lián)[7]。通過元數(shù)據(jù)可以方便地了解到全部大洋數(shù)據(jù)的基本情況；載體數(shù)據(jù)是最完整、最原始的大洋數(shù)據(jù)，但一般不直接利用；基礎(chǔ)數(shù)據(jù)是經(jīng)過整理和處理后的原始數(shù)據(jù)，是整個(gè)大洋數(shù)據(jù)的基礎(chǔ)；標(biāo)準(zhǔn)化數(shù)據(jù)是具有統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)，可直接供用戶使用；基礎(chǔ)數(shù)據(jù)并不一定全部都能形成標(biāo)準(zhǔn)化數(shù)據(jù)。專題數(shù)據(jù)的應(yīng)用性最強(qiáng)，可直接提供用戶使用。

1.2 存儲(chǔ)方式

大洋數(shù)據(jù)存儲(chǔ)方式有如下幾種：①電子表格文件存儲(chǔ)的數(shù)據(jù)文件，數(shù)據(jù)文件的第一行是表頭信息，包含列項(xiàng)和計(jì)量單位，從第二行開始記錄數(shù)據(jù)，每列數(shù)據(jù)與表頭對(duì)應(yīng)，樣品分析測(cè)試數(shù)據(jù)多采用此種存儲(chǔ)方式；②數(shù)據(jù)說明＋數(shù)據(jù)實(shí)體：此種方式一般用來記錄特殊結(jié)構(gòu)的數(shù)據(jù)，如多波束、重力、磁力、地震等原始數(shù)據(jù)，數(shù)據(jù)說明文件是一個(gè)電子表格或文本文件，用來記錄數(shù)據(jù)的空間位置、時(shí)間范圍、數(shù)據(jù)內(nèi)容、數(shù)據(jù)量等說明信息，采用一個(gè)相對(duì)地址來指向數(shù)據(jù)實(shí)體；③具有標(biāo)準(zhǔn)格式的ascII 碼文本文件：此種方式一般用來記錄具有標(biāo)準(zhǔn)記錄格式的數(shù)據(jù)，如CTD、ADCP、走航氣象等標(biāo)準(zhǔn)化數(shù)據(jù)集。

1.3 加載方式

根據(jù)不同類型、不同層次、不同存儲(chǔ)方式的大洋數(shù)據(jù)特點(diǎn)，筆者設(shè)計(jì)了不同的數(shù)據(jù)加載方式。大洋數(shù)據(jù)的加載方式歸納為以下4 種：①加載數(shù)據(jù)文件至數(shù)據(jù)庫(kù)表：此種加載方式適用于采用電子表格直接記錄的數(shù)據(jù)文件。電子表格文件的第一行是描述信息，與數(shù)據(jù)庫(kù)表字段相對(duì)應(yīng)。大洋數(shù)據(jù)中的化學(xué)、地質(zhì)樣品分析測(cè)試數(shù)據(jù)多采用此方式加載。②加載清單文件同時(shí)上傳數(shù)據(jù)文件到服務(wù)器指定目錄：這種加載方式適用于非明碼的數(shù)據(jù)文件，將數(shù)據(jù)說明文件加載至對(duì)應(yīng)的數(shù)據(jù)庫(kù)表中，同時(shí)將數(shù)據(jù)實(shí)體上傳到服務(wù)器指定位置，通過說明文件記錄的位置信息能夠準(zhǔn)確定位到數(shù)據(jù)實(shí)體文件。大洋數(shù)據(jù)中的重力、磁力、淺剖、地震、多波束等原始調(diào)查數(shù)據(jù)采用此方式加載[8～13]。③加載數(shù)據(jù)文件到數(shù)據(jù)庫(kù)表同時(shí)備份數(shù)據(jù)文件：按照一定的規(guī)則解析數(shù)據(jù)文件中的有關(guān)信息并將其加載到數(shù)據(jù)庫(kù)指定表中，同時(shí)備份數(shù)據(jù)文件到服務(wù)器指定目錄。這種方式一般用來加載具有標(biāo)準(zhǔn)格式的ascII 碼文本文件，如CTD、ADCP、走航ADCP 標(biāo)準(zhǔn)化數(shù)據(jù)集多采用此方式加載。④抽取/統(tǒng)計(jì)相關(guān)信息到數(shù)據(jù)庫(kù)表：從其他數(shù)據(jù)庫(kù)表中自動(dòng)提取或統(tǒng)計(jì)信息加載到新的數(shù)據(jù)庫(kù)表中[14-16]。這種加載方式主要用于專題數(shù)據(jù)和元數(shù)據(jù)的加載。

2 加載系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

依據(jù)不同的專業(yè)數(shù)據(jù)類型、數(shù)據(jù)層次和加載方式，基于C++語(yǔ)言封裝好的類庫(kù)MFC，設(shè)計(jì)開發(fā)了大洋數(shù)據(jù)加載系統(tǒng)。該加載系統(tǒng)可實(shí)現(xiàn)對(duì)各類大洋專業(yè)數(shù)據(jù)、研究成果及綜合信息的數(shù)據(jù)校驗(yàn)與加載。系統(tǒng)界面友好，操作簡(jiǎn)便，維護(hù)方便，靈活性強(qiáng)（圖3）。

加載系統(tǒng)采用模塊化設(shè)計(jì)思路，核心模塊包括：配置文件、參數(shù)設(shè)置、文件校驗(yàn)和日志管理4 個(gè)模塊，整個(gè)大洋數(shù)據(jù)加載系統(tǒng)的算法設(shè)計(jì)如圖2 所示。

2.1 制作配置文件

圖1 大洋數(shù)據(jù)加載系統(tǒng)界面

大洋數(shù)據(jù)的類型多種多樣，不同時(shí)期的同一種數(shù)據(jù)類型的內(nèi)容與結(jié)構(gòu)時(shí)常發(fā)生變化，如果完全用人工進(jìn)行調(diào)整將花費(fèi)大量的人力，也容易出。在大洋數(shù)據(jù)加載系統(tǒng)中，通過制作各種數(shù)據(jù)類型的配置文件，將數(shù)據(jù)庫(kù)中的表結(jié)構(gòu)與數(shù)據(jù)說明文件、數(shù)據(jù)文件和格式化文本文件建立關(guān)聯(lián)，通過計(jì)算機(jī)程序自動(dòng)進(jìn)行查找與匹配，再經(jīng)過可視化界面進(jìn)行人工干預(yù)與調(diào)整，可靈活實(shí)現(xiàn)不同類型、不同結(jié)構(gòu)數(shù)據(jù)的加載。無(wú)論數(shù)據(jù)庫(kù)結(jié)構(gòu)或是數(shù)據(jù)文件結(jié)構(gòu)有變動(dòng)時(shí)，只需維護(hù)配置文件即可。制作配置文件的過程是：選擇待加載的數(shù)據(jù)文件和數(shù)據(jù)庫(kù)表，在表格視圖中顯示數(shù)據(jù)文件中列與數(shù)據(jù)庫(kù)表中的字段的對(duì)應(yīng)情況，當(dāng)數(shù)據(jù)庫(kù)中的字段與數(shù)據(jù)清單文件中的字段不一致無(wú)法自動(dòng)匹配時(shí)，采用手動(dòng)匹配，確保對(duì)應(yīng)無(wú)誤后，程序?qū)⒈砀褚晥D中的對(duì)應(yīng)關(guān)系形成XML 格式的配置文件（圖3）。

2.2 參數(shù)設(shè)置

參數(shù)設(shè)置模塊的功能主要包括數(shù)據(jù)庫(kù)連接、服務(wù)器連接及初始化字典表等。通過該模塊的參數(shù)設(shè)置，可實(shí)現(xiàn)加載系統(tǒng)與數(shù)據(jù)庫(kù)、服務(wù)器的連接，指定加載目標(biāo)位置，保證數(shù)據(jù)配置文件與目標(biāo)數(shù)據(jù)庫(kù)結(jié)構(gòu)類型一致。如數(shù)據(jù)庫(kù)、服務(wù)器乃至數(shù)據(jù)庫(kù)結(jié)構(gòu)有所改變時(shí)，只需更改相關(guān)參數(shù)即可。在數(shù)據(jù)庫(kù)維護(hù)過程中，如數(shù)據(jù)庫(kù)結(jié)構(gòu)有所改變，則可通過初始化字典表來實(shí)現(xiàn)加載程序的自動(dòng)更新。

2.3 數(shù)據(jù)校驗(yàn)

數(shù)據(jù)加載入庫(kù)的正確性、唯一性將直接影響到數(shù)據(jù)的專業(yè)應(yīng)用，因此在加載數(shù)據(jù)前進(jìn)行數(shù)據(jù)校驗(yàn)尤為重要[17]。大洋數(shù)據(jù)加載系統(tǒng)的數(shù)據(jù)校驗(yàn)主要包括數(shù)據(jù)的規(guī)范性校驗(yàn)、范圍校驗(yàn)和重復(fù)性校驗(yàn)。①規(guī)范性校驗(yàn)：針對(duì)待加載的數(shù)據(jù)文件格式、內(nèi)容、規(guī)則的規(guī)范性進(jìn)行校驗(yàn)。校驗(yàn)的主要內(nèi)容包括：比對(duì)待加載數(shù)據(jù)清單文件的列項(xiàng)與相應(yīng)的配置文件中的列項(xiàng)是否一致、驗(yàn)證每條記錄的各個(gè)數(shù)據(jù)要素的數(shù)據(jù)類型、長(zhǎng)度、精度是否符合數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)等。②范圍校驗(yàn)：依據(jù)經(jīng)驗(yàn)對(duì)異常值進(jìn)行判別。在校驗(yàn)程序中內(nèi)置一套范圍參數(shù)，在進(jìn)行數(shù)據(jù)校驗(yàn)時(shí)進(jìn)行范圍判別，找出超出范圍的數(shù)據(jù)并在日志中進(jìn)行提示，由用戶進(jìn)行判別此數(shù)據(jù)是否合法、是否進(jìn)行加載。③重復(fù)性校驗(yàn)：比對(duì)待加載的數(shù)據(jù)記錄是否已經(jīng)在數(shù)據(jù)庫(kù)中存在，如果存在，則不進(jìn)行加載。在數(shù)據(jù)加載前必須進(jìn)行數(shù)據(jù)校驗(yàn)，校驗(yàn)成功方可進(jìn)行數(shù)據(jù)加載，如校驗(yàn)失敗則可通過日志管理進(jìn)行瀏覽、查找和更正。

圖2 大洋加載系統(tǒng)的算法設(shè)計(jì)

圖3 配置文件的制作

2.4 日志管理

日志管理模塊的主要功能是方便用戶查看對(duì)加載系統(tǒng)進(jìn)行操作的各種記錄，包括加載數(shù)據(jù)的時(shí)間、內(nèi)容、類型、數(shù)量、是否加載成功等內(nèi)容。日志內(nèi)容以列表框的形式展示，同時(shí)為了滿足用戶更方便的對(duì)日志進(jìn)行有效的管理，程序還提供一鍵快捷的操作，包括清空列表、刪除選中、輸出文件、打開日志、導(dǎo)出所選等功能。

目前大洋加載系統(tǒng)已經(jīng)實(shí)現(xiàn)了大洋資料目錄、大洋載體數(shù)據(jù)、大洋基礎(chǔ)數(shù)據(jù)、大洋專題數(shù)據(jù)四大類數(shù)據(jù)下110 個(gè)小類大洋數(shù)據(jù)向大洋數(shù)據(jù)庫(kù)的加載。大洋數(shù)據(jù)庫(kù)是一個(gè)高效管理大洋海量數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng)，數(shù)據(jù)庫(kù)管理系統(tǒng)利用B/S 系統(tǒng)結(jié)構(gòu)，通過圖形、表格、關(guān)鍵字等多種檢索模式，實(shí)現(xiàn)各類數(shù)據(jù)的在線查詢、檢索。針對(duì)各類數(shù)據(jù)特點(diǎn)，大洋數(shù)據(jù)加載系統(tǒng)在數(shù)據(jù)加載及數(shù)據(jù)校驗(yàn)方面提供了多種有效的手段，保證數(shù)據(jù)快速、準(zhǔn)確入庫(kù)，通過完善的數(shù)據(jù)和用戶分級(jí)分類管理體制，可將數(shù)據(jù)推到用戶桌面，為大洋科研和相關(guān)工作提供數(shù)據(jù)檢索和決策支持。

3 結(jié) 語(yǔ)

大洋數(shù)據(jù)加載系統(tǒng)在Microsoft windows 操作系統(tǒng)下運(yùn)行，依據(jù)大洋數(shù)據(jù)的類型與特點(diǎn)，采用專業(yè)軟件開發(fā)，通過配置文件、參數(shù)設(shè)置、數(shù)據(jù)校驗(yàn)和日志管理等模塊，實(shí)現(xiàn)大洋數(shù)據(jù)的快速、準(zhǔn)確加載。運(yùn)用該加載系統(tǒng)，大洋資料中心完成了大洋“十二五”期間所有航次的調(diào)查數(shù)據(jù)加載，加載效果良好，該系統(tǒng)已成為大洋資料中心數(shù)據(jù)管理的重要基礎(chǔ)技術(shù)手段之一。

[1] 韓春花，梁建峰，張俊明，等.大洋數(shù)據(jù)管理與共享平臺(tái)設(shè)計(jì)，計(jì)算機(jī)與現(xiàn)代化，2012，7：218-221.

[2] 姚琦云.將外部文件中的數(shù)據(jù)加載到Oracle 表的若干方法[J].電信技術(shù)，2000，8：45-46.

[3] 周敏.如何實(shí)現(xiàn)ORACLE 外部文件數(shù)據(jù)的自動(dòng)加載[J].金融電子化，2000，11：14-17.

[4] 滕永昌.將Excel 數(shù)據(jù)加載到Oracle9i 數(shù)據(jù)庫(kù)[J].電腦知識(shí)與技術(shù)：學(xué)術(shù)交流，2006，9（26）：126.

[5] 張希.文本數(shù)據(jù)文件向遠(yuǎn)程ORACLE 數(shù)據(jù)庫(kù)加載的實(shí)現(xiàn)方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，1996，12：45-46.

[6] 姜典言，吳濤，張麗茹.海量數(shù)據(jù)裝載工具SQL Loader 技術(shù)分析[J].無(wú)線電工程，2012，42（5）：57-60.

[7] 石綏祥，雷波.中國(guó)數(shù)字海洋——理論與實(shí)踐[M].北京：海洋出版社，2011.

[8] 唐江浪，李剛.基于GeoFrame 二維地震數(shù)據(jù)加載的研究與應(yīng)用[J].軟件，2013（4）：23-25，56.

[9] 梁宇，苗放，陳富龍.基于World Wind 的數(shù)據(jù)加載方法的研究[J].電腦與電信，2014，1：22-26.

[10] 王舒遲，邢會(huì)民.勘探開發(fā)動(dòng)靜態(tài)數(shù)據(jù)庫(kù)數(shù)據(jù)加載研究[J].天然氣與石油，2013（6）：13-15，69.

[11] 孟照旭，于會(huì)松，趙愛國(guó)，丁韋.全準(zhǔn)噶爾盆地解釋項(xiàng)目數(shù)據(jù)庫(kù)地震數(shù)據(jù)加載方法[J].新疆石油地質(zhì)，2009，30（3）：376-378.

[12] 孫強(qiáng)，孫龍清.統(tǒng)計(jì)數(shù)據(jù)加載模型的研究與實(shí)現(xiàn)[J].微計(jì)算機(jī)信息，2009，18：155-157.

[13] 張守昌，吳雅麗，施大廣，等.油田地震勘探數(shù)據(jù)建設(shè)探索[J].中國(guó)管理信息化，2013，22：45-47.

[14] 先曉兵，常晉義.數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)中ETL 的應(yīng)用研究[J].計(jì)算機(jī)與現(xiàn)代化，2007，10：43-46.

[15] 熊忠陽(yáng)，張玉芳，吳中福.數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)加載技術(shù)[J].重慶大學(xué)學(xué)報(bào)（自然科學(xué)版），2002，25（2）：106-108.

[16] 孫安健，王星，閆曉瑜.通用ETL 工具的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2012，29（12）：175-178，210.

[17] 劉麗麗，莊成三，周艷芳.基于XML 與.NET Remoting 的數(shù)據(jù)傳輸與加載[J].計(jì)算機(jī)與現(xiàn)代化，2004，5：81-83.