亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于預(yù)處理方式的數(shù)據(jù)文件快速錄入方法

        2017-03-02 10:36:51柯廣恒王潔茹
        地理空間信息 2017年2期
        關(guān)鍵詞:批量字典預(yù)處理

        伍 莉,柯廣恒,王潔茹

        (1.長(zhǎng)江航道測(cè)量中心,湖北 武漢 430010)

        基于預(yù)處理方式的數(shù)據(jù)文件快速錄入方法

        伍 莉1,柯廣恒1,王潔茹1

        (1.長(zhǎng)江航道測(cè)量中心,湖北 武漢 430010)

        通過研究逐條數(shù)據(jù)錄入方式的不足,提出了先對(duì)需要填報(bào)的數(shù)據(jù)條目進(jìn)行預(yù)處理,再通過解析讀取預(yù)處理后的信息實(shí)現(xiàn)批量導(dǎo)入數(shù)據(jù)庫。實(shí)驗(yàn)證明,該方法具有易操作、穩(wěn)定性好、效率高等優(yōu)點(diǎn),同時(shí)還可有效檢驗(yàn)數(shù)據(jù)資料填報(bào)的完整性,提高了成果錄入過程中的信息化和智能化水平。

        預(yù)處理;批量導(dǎo)入;快速錄入

        近年來,長(zhǎng)江航道局高度重視信息化發(fā)展,全面推進(jìn)數(shù)字航道與智能航道建設(shè)。經(jīng)過多年的積累,目前已經(jīng)形成了大量的航道地形、水文記錄、報(bào)告文檔、影像錄音等數(shù)字資料。這些數(shù)字資料正日益增長(zhǎng),呈現(xiàn)“井噴”狀態(tài)。如何將這些海量的航道信息資源快速、準(zhǔn)確地錄入到數(shù)字資料管理系統(tǒng)之中,為更進(jìn)一步數(shù)字資源共享和應(yīng)用集成服務(wù)提供數(shù)據(jù)支撐,是數(shù)據(jù)管理過程中面臨的一個(gè)重要研究課題。

        1 研究的必要性

        目前,數(shù)字資料管理系統(tǒng)的信息維護(hù)工作由專職文件錄入人員完成。文件錄入人員逐個(gè)文件填報(bào)上傳,期間需要填寫與文件相關(guān)的各種元數(shù)據(jù)信息,包括文件種類、制作時(shí)間、使用用途等幾十項(xiàng)內(nèi)容,填寫中還要對(duì)各元數(shù)據(jù)的相關(guān)信息進(jìn)行綜合審核。經(jīng)過一段時(shí)間使用,發(fā)現(xiàn)操作過程中存在以下缺點(diǎn):①元數(shù)據(jù)填寫時(shí)主觀因素較大,難以進(jìn)行完整性和有效性的綜合檢查,可能造成填報(bào)標(biāo)準(zhǔn)不統(tǒng)一;②在同一批次數(shù)據(jù)錄入過程中,大量元數(shù)據(jù)信息是重復(fù)的,但逐條錄入的方式無法應(yīng)用這一規(guī)律,造成重復(fù)錄入,降低了工作效率。

        針對(duì)上述問題,有必要研究一種新的數(shù)據(jù)文件錄入方法,既能提高編輯填報(bào)操作中的便捷性,又能加強(qiáng)對(duì)錄入質(zhì)量的控制,從而大幅提高工作效率。

        2 總體方案

        本研究采用了一種基于預(yù)處理方式的數(shù)據(jù)錄入方案,從而同時(shí)實(shí)現(xiàn)了易于填報(bào)審核和批量快速錄入兩大要求。

        整個(gè)快速錄入流程設(shè)計(jì)為填報(bào)信息預(yù)處理、預(yù)處理信息檢驗(yàn)、批量錄入這3個(gè)步驟。首先,在預(yù)處理環(huán)境下,錄入人員批量填報(bào)、編輯需要上傳的各種數(shù)字資料包含元數(shù)據(jù)信息;接著,利用檢驗(yàn)程序逐條分析錄入信息的各元數(shù)據(jù),審核其完整性和有效性,并形成預(yù)處理后的成果;最后,通過導(dǎo)入程序讀取預(yù)處理成果,直接將數(shù)據(jù)批量存入數(shù)據(jù)庫并完成寫入校驗(yàn)。快速錄入流程如圖1所示。

        圖1 快速錄入流程

        3 功能設(shè)計(jì)

        3.1 預(yù)處理平臺(tái)

        預(yù)處理平臺(tái)供錄入人員使用,實(shí)現(xiàn)對(duì)每一條待上傳文件的元數(shù)據(jù)編輯。因此對(duì)這一平臺(tái)有3點(diǎn)主要要求:一是使用簡(jiǎn)單,容易上手;二是編輯功能強(qiáng)大,能對(duì)多條數(shù)據(jù)的相同元數(shù)據(jù)進(jìn)行復(fù)制,能對(duì)多條數(shù)據(jù)的規(guī)律性變化元數(shù)據(jù)自動(dòng)生成,能同時(shí)預(yù)覽多條數(shù)據(jù)及其元數(shù)據(jù);三是具備強(qiáng)大的審核功能,能實(shí)現(xiàn)較為復(fù)雜的元數(shù)據(jù)完整性和有效性檢驗(yàn)。

        經(jīng)過分析,開發(fā)一套獨(dú)立的預(yù)處理平臺(tái)雖然可以較好地實(shí)現(xiàn)上述功能,但耗時(shí)耗力更多。因此,最終采用基于微軟Excel作為基礎(chǔ)平臺(tái),經(jīng)過二次開發(fā)來實(shí)現(xiàn)預(yù)處理平臺(tái)。Excel的優(yōu)勢(shì)在于,操作界面和方法一般辦公人員都很熟悉,且具備強(qiáng)大的基礎(chǔ)編輯功能和良好的二次開發(fā)接口。本研究將基于Excel,通過二次開發(fā)實(shí)現(xiàn)研發(fā)預(yù)處理編輯平臺(tái)。

        1)填報(bào)模板設(shè)計(jì)。在XLS文件中,建立多張Sheet。其中,第一張Sheet用于錄入人員填報(bào)信息,該Sheet的每一列記錄一條待錄入的數(shù)據(jù),每一列記錄該數(shù)據(jù)的一個(gè)元數(shù)據(jù)信息;其他Sheet用于存放元數(shù)據(jù)字典。

        數(shù)據(jù)字典用于對(duì)元數(shù)據(jù)值進(jìn)行枚舉定義和描述,若元數(shù)據(jù)值在數(shù)據(jù)字典中存在定義,則判定該值有效,否則判定為無效或錯(cuò)誤。因此,在模板的設(shè)計(jì)階段需要進(jìn)行細(xì)致的資料收集和整理工作,確保每一個(gè)可能出現(xiàn)的元數(shù)據(jù)值記錄在數(shù)據(jù)字典中。表1描述的就是水道地形圖資料對(duì)應(yīng)的數(shù)據(jù)字典,它包含了水道名、水道位置、坐標(biāo)系統(tǒng)、高程系統(tǒng)、比例尺等定義好的枚舉模板。

        表1 數(shù)據(jù)字典示例

        2)錄入信息檢驗(yàn)設(shè)計(jì)。在數(shù)據(jù)字典建立完成后,利用Excel自帶的數(shù)據(jù)有效性驗(yàn)證及函數(shù)(如vlookup等),可以方便地將單元格的數(shù)據(jù)來源設(shè)置為數(shù)據(jù)字典中對(duì)應(yīng)屬性的列名,并對(duì)選擇或錄入的元數(shù)據(jù)進(jìn)行關(guān)聯(lián)和約束驗(yàn)證。如圖2所示,“水道名稱”單元格的數(shù)據(jù)來源為數(shù)據(jù)字典表中的名稱為“全部水道”一列單元格中的數(shù)據(jù)項(xiàng),即當(dāng)輸入的水道名稱為數(shù)據(jù)字典中所列出的水道名稱時(shí),模版判斷屬性值輸入正確。

        圖2 枚舉型數(shù)據(jù)填報(bào)設(shè)計(jì)

        對(duì)于更加復(fù)雜的填報(bào)信息檢驗(yàn),通過Excel的公式和腳本不能完全滿足需求。例如,元數(shù)據(jù)A若填報(bào)了某值,元數(shù)據(jù)B就不能填報(bào)某值這類多個(gè)元數(shù)據(jù)間有復(fù)雜邏輯關(guān)聯(lián)的值。對(duì)于這種類型的信息檢驗(yàn),通過Excel的VBA接口進(jìn)行編程開發(fā)來實(shí)現(xiàn)。

        錄入人員通過預(yù)處理編輯平臺(tái)完成編輯和檢驗(yàn)后,將文件保存形成.xls文件即可轉(zhuǎn)入下一步數(shù)據(jù)導(dǎo)入工作。

        3.2 批量導(dǎo)入程序

        批量導(dǎo)入程序的作用是,讀取預(yù)處理編輯平臺(tái)的xls成果文件,將數(shù)字資料批量自動(dòng)寫入數(shù)據(jù)庫并進(jìn)行入庫校驗(yàn)。因此對(duì)這一程序有3點(diǎn)主要要求:一是自動(dòng)化程度高,除了填寫必要的數(shù)據(jù)庫訪問驗(yàn)證信息外,基本不需要其他操作;二是運(yùn)行穩(wěn)定、速度快,能夠支持大批量數(shù)據(jù)的快速錄入;三是容錯(cuò)處理強(qiáng),在出現(xiàn)批量導(dǎo)入過程中網(wǎng)絡(luò)斷開、數(shù)據(jù)庫寫入失敗等異常情況發(fā)生后,能通過數(shù)據(jù)庫回退等技術(shù)保證數(shù)據(jù)庫內(nèi)容的完整性。

        經(jīng)過分析,研發(fā)一個(gè)獨(dú)立的批量導(dǎo)入程序來實(shí)現(xiàn)上述要求較為合適。最終,選擇采用C#來進(jìn)行開發(fā)。

        這是因?yàn)镃#作為一種面向?qū)ο笸泄苷Z言,具有安全、穩(wěn)定、高效的特點(diǎn),對(duì)于Excel和Oracle的訪問也有強(qiáng)大的接口。

        1)xls讀取接口設(shè)計(jì)。對(duì)于xls文件的訪問,一般有OleDb、COM組件或者第三方訪問組件這幾種方式。OleDb方式讀取數(shù)據(jù)的時(shí)候不太靈活,對(duì)于含有表頭的Sheet不易處理,對(duì)于含有公式的單位格讀取也存在問題。COM組件是通過調(diào)用Excel主程序來對(duì)xls文件進(jìn)行訪問,缺點(diǎn)在于Excel 版本眾多,編輯環(huán)境和導(dǎo)入環(huán)境不易統(tǒng)一,且外部調(diào)用Excel Application難以完成Excel進(jìn)程,可能造成程序的死鎖或崩潰。

        經(jīng)過研究發(fā)現(xiàn)第三方開源組件NPOI對(duì)于Excel文件的讀取有以下優(yōu)點(diǎn):①基于.NET類庫,更容易和C#融合使用;②直接支持訪問標(biāo)準(zhǔn)的Excel格式文件,獨(dú)立性強(qiáng);③經(jīng)過大量用戶的使用檢驗(yàn),穩(wěn)定性和兼容性較好。綜合以上因素,選取NPOI組件來進(jìn)行Excel讀寫開發(fā)。

        2)數(shù)據(jù)庫寫入接口設(shè)計(jì)。數(shù)字資料管理系統(tǒng)使用了Oracle數(shù)據(jù)庫,對(duì)其訪問即可使用.NET自帶的ADO.Net組件,也可以使用System.Data.OracleClient接口訪問,也可以使用Oracle提供的Oracle.DataAccess接口??紤]到Oracle自帶的接口能提供的功能、效率、穩(wěn)定性更優(yōu),因此采用此接口完成數(shù)據(jù)庫寫入操作。在寫入操作完成后,還要對(duì)寫入的數(shù)據(jù)進(jìn)行一次核查,防止寫入失敗或者未完全寫入。通過引入OracleTransaction事務(wù)操作機(jī)制,可以在檢測(cè)到異常時(shí)完全撤銷所有的寫入操作,保障了數(shù)據(jù)入庫的正確性、完整性。

        4 應(yīng)用效果

        以一個(gè)批次的水道地形圖為例,表2以及圖3、4演示了整個(gè)批量錄入過程:

        1) 在基于Excel的預(yù)處理環(huán)境中編輯好相關(guān)元數(shù)據(jù)信息,并保存為xls文件。

        表2 填寫預(yù)處理信息

        2)通過批量導(dǎo)入程序登錄數(shù)字資料管理系統(tǒng)數(shù)據(jù)庫。

        圖3 數(shù)據(jù)庫連接

        3) 將需要錄入的數(shù)據(jù)批量導(dǎo)數(shù)據(jù)庫并進(jìn)行校驗(yàn)。

        圖4 批量導(dǎo)入及校驗(yàn)

        實(shí)驗(yàn)結(jié)果顯示,上傳過程中有異常會(huì)進(jìn)行提示和操作回滾,能自動(dòng)將表格中的內(nèi)容準(zhǔn)確無誤地上傳至數(shù)據(jù)庫相關(guān)記錄表,并在成果資料管理系統(tǒng)中正確使用。

        5 結(jié) 語

        本研究提出的基于預(yù)處理方式的數(shù)據(jù)文件快速錄入方法具有易操作、穩(wěn)定性好、效率高等特點(diǎn),除了批量操作多項(xiàng)數(shù)據(jù)外,可有效檢驗(yàn)數(shù)據(jù)的完整性,提高了成果錄入過程中的信息化和智能化水平,為海量航道信息資源管理下的信息快速錄入提供了有效的解決思路。

        [1] 祝昕剛.用Excel VBA編制變形監(jiān)測(cè)數(shù)據(jù)處理程序[J].地理空間信息, 2011, 9(3):170-172

        [2] 閆宗梅. Excel公式與函數(shù)的教學(xué)研究與探討[J].學(xué)園:學(xué)者的精神家園, 2013,(5):166-167

        [3] 李雁敏.并發(fā)訪問ORACLE數(shù)據(jù)庫的數(shù)據(jù)死鎖分析和解決措施[J].內(nèi)蒙古科技與經(jīng)濟(jì),2012,(13):79-80

        [4] 崔賽英. Excel函數(shù)學(xué)習(xí)方法與技巧[J].電腦知識(shí)與技術(shù), 2012, 8(18):4 428-4 431

        [5] 曾實(shí). ORACLE數(shù)據(jù)庫優(yōu)化技術(shù)研究[J].科技信息, 2011(27):62

        [6] 昌兆文,劉湖平,曾紹軍.基于NPOI導(dǎo)出Excel文件的研究與實(shí)現(xiàn)[J].中國(guó)管理信息化, 2013(15):93

        [7] 劉惠祥.測(cè)繪資料檔案管理系統(tǒng)[J].江西測(cè)繪, 2010(3):61

        P208

        B

        1672-4623(2017)02-0047-03

        10.3969/j.issn.1672-4623.2017.02.015

        2015-03-24。

        伍莉,工程師,研究方向?yàn)闇y(cè)繪數(shù)據(jù)管理及應(yīng)用。

        猜你喜歡
        批量字典預(yù)處理
        開心字典
        家教世界(2023年28期)2023-11-14 10:13:50
        開心字典
        家教世界(2023年25期)2023-10-09 02:11:56
        批量提交在配置分發(fā)中的應(yīng)用
        基于預(yù)處理MUSIC算法的分布式陣列DOA估計(jì)
        我是小字典
        正版字典
        讀者(2016年14期)2016-06-29 17:25:50
        淺談PLC在預(yù)處理生產(chǎn)線自動(dòng)化改造中的應(yīng)用
        絡(luò)合萃取法預(yù)處理H酸廢水
        淺議高校網(wǎng)銀批量代發(fā)
        基于自適應(yīng)預(yù)處理的改進(jìn)CPF-GMRES算法
        麻豆AⅤ精品无码一区二区| 国产69精品久久久久app下载| 国产女人高潮叫床免费视频| 久久精品无码鲁网中文电影| 中文人妻av大区中文不卡| 青草草视频在线观看华人免费| av天堂午夜精品一区| 国产人妻精品一区二区三区不卡| 2021国产精品久久| 国产精品一区二区三区三| 一区二区三区在线视频免费观看| 国产中文色婷婷久久久精品| 欧美大屁股xxxx高潮喷水| 亚洲中久无码永久在线观看同 | 国产福利片无码区在线观看| 日本人妻系列一区二区| 久久久久久夜精品精品免费啦| 亚洲欧美成人一区二区在线电影| 国产精品久久久久影视不卡| 国产黄色三级三级三级看三级 | 插b内射18免费视频| 国产真实露脸4p视频| 中文字幕一区二区三区四区久久| 26uuu在线亚洲欧美| 欧美性猛交xxxx乱大交3| 91爱爱视频| 在线亚洲精品中文字幕美乳色| 少妇裸体性生交| 成人片黄网站色大片免费观看app| 精品久久久亚洲中文字幕| 一本久道高清视频在线观看| 国产尤物av尤物在线观看| 久久久亚洲欧洲日产国产成人无码 | 久久精品人人做人人爱爱| 亚洲国产综合精品 在线 一区 | 精品人妻一区二区蜜臀av| 国产毛片黄片一区二区三区| 大肉大捧一进一出好爽视频mba| 天啦噜国产精品亚洲精品| 国产天堂av在线播放资源| 久久久亚洲精品无码|