◎趙明

?

計算機(jī)批量數(shù)據(jù)處理方法

◎趙明

在信息時代快速發(fā)展的當(dāng)下，計算機(jī)技術(shù)廣泛應(yīng)用于各個不同的領(lǐng)域，各類形式的計算機(jī)數(shù)據(jù)處理也就相應(yīng)的隨之出現(xiàn)。批量數(shù)據(jù)處理比較集中地反映了各類形式的計算機(jī)數(shù)據(jù)處理過程中可能遇到的多種問題,本文著重討論其過程特征,程序系統(tǒng)、處理流程、操作標(biāo)準(zhǔn)化和質(zhì)量控制等主要問題。

在工作和生活中，我們有各類數(shù)據(jù)要進(jìn)行處理，這都需要用到計算機(jī)。而計算機(jī)的作用主要就是數(shù)據(jù)處理。數(shù)據(jù)處理是指對數(shù)據(jù)的采集、存儲、檢索、加工以及變換和運(yùn)輸。數(shù)據(jù)處理廣泛在于社會生活生產(chǎn)中，對人類社會發(fā)展有重大的作用。對數(shù)據(jù)進(jìn)行處理時有兩種方式，分別是人工處理和自動化裝置處理。計算機(jī)應(yīng)用的很大一部分中都有數(shù)據(jù)處理，在它的基礎(chǔ)上也可以對其他計算機(jī)應(yīng)用進(jìn)行開發(fā)。由于要處理的數(shù)據(jù)規(guī)模不同，并且根據(jù)數(shù)據(jù)來源、類型、結(jié)構(gòu)和時效不同，在進(jìn)行計算機(jī)數(shù)據(jù)處理的時候，其采用的處理方式和方法也有多種選擇。批量數(shù)據(jù)處理能夠?qū)τ嬎銠C(jī)數(shù)據(jù)處理過程中出現(xiàn)的多種問題進(jìn)行反映。此文章對計算機(jī)批量數(shù)據(jù)處理的問題進(jìn)行了系統(tǒng)的介紹。

數(shù)據(jù)處理的特征以及系統(tǒng)設(shè)計要考慮的問題

計算機(jī)運(yùn)算速度快，精度高，數(shù)據(jù)處理的好與壞受系統(tǒng)設(shè)計優(yōu)劣的直接的影響關(guān)系。對于一個批量數(shù)據(jù)處理項目而言，其系統(tǒng)總體方案就要考慮數(shù)據(jù)處理實現(xiàn)的功能目標(biāo)、工作量估算和效率效益分析、處理流程和程序系統(tǒng)以及操作標(biāo)準(zhǔn)化和現(xiàn)場管理的問題。

數(shù)據(jù)處理的硬件軟件環(huán)境考慮。數(shù)據(jù)處理需要什么樣的機(jī)器設(shè)備和程序軟件，主要由數(shù)據(jù)處理對技術(shù)提出的要求來考慮。原始數(shù)據(jù)量、錄入員的錄入速度以及限定的時間都決定著數(shù)據(jù)輸入設(shè)備的數(shù)量。而鍵盤部分、顯示器、主頻頻率都影響著機(jī)器的性能。輸入機(jī)器與主機(jī)機(jī)器類型必須保持一致，如果用終端主機(jī)輸入，則只要考慮主機(jī)性能。主機(jī)不僅需要數(shù)據(jù)處理程序系統(tǒng)需要的系統(tǒng)軟件環(huán)境支持，還應(yīng)注意硬件和軟件的兼容性。

程序系統(tǒng)設(shè)計。計算機(jī)系統(tǒng)設(shè)計有四個定量原理：以經(jīng)常性事件為重點(diǎn)（對經(jīng)常發(fā)生的情況采用優(yōu)化方法的原則進(jìn)行選擇，以得到更多的總體上的改進(jìn)），Amdahl定律（加快某部件執(zhí)行速度所能獲得的系統(tǒng)性能加速比，受限于該部件的執(zhí)行時間占系統(tǒng)中總執(zhí)行時間的百分比），CPU性能公式（執(zhí)行一個程序所需的CPU時間），程序的局部性原理（程序執(zhí)行時所訪問的存儲器地址分布不是隨機(jī)的，而是相對地簇聚）。系統(tǒng)研究、系統(tǒng)設(shè)計、系統(tǒng)發(fā)展以及系統(tǒng)操作構(gòu)成了一個應(yīng)用系統(tǒng)的開發(fā)。而數(shù)據(jù)處理技術(shù)過程實現(xiàn)最主要的部分就是程序系統(tǒng)，輸入、編輯、處理、輸出幾部分。根據(jù)數(shù)據(jù)處理的用途不同，還可能有查詢檢索、更新、連接、數(shù)據(jù)庫等部分。

錄入程序設(shè)計。數(shù)據(jù)錄入程序要綜合考慮原始數(shù)據(jù)的結(jié)構(gòu)和主機(jī)處理的要求，設(shè)計時要在方便操縱、提高錄入質(zhì)量，有效地控制數(shù)據(jù)的重錄、漏錄、數(shù)據(jù)項錯位等方面尋找對策，以減輕主機(jī)編輯、差錯的壓力；主機(jī)處理程序設(shè)計。由于主機(jī)程序設(shè)計方法受主機(jī)處理實現(xiàn)功能的影響有許多不同的選擇，而適合使用的語言也非常廣泛。程序設(shè)計另一個要考慮的問題是數(shù)據(jù)的安全問題，其被引起破壞的原因可能是硬件故障、系統(tǒng)故障、計算機(jī)病毒侵襲等，易造成數(shù)據(jù)丟失、或被非法修改失效等，針對這些問題，只要在程序系統(tǒng)設(shè)計時采取有效預(yù)防措施，當(dāng)系統(tǒng)或數(shù)據(jù)遭到破壞時，就能及時得到修復(fù)。

數(shù)據(jù)處理流程和現(xiàn)場管理

整個計算機(jī)處理過程中各個環(huán)節(jié)的工作程序和實現(xiàn)他們之間的先后次序構(gòu)成了其工作流程。數(shù)據(jù)收集工作完成后，就可以進(jìn)入計算機(jī)處理階段，一般包括數(shù)據(jù)錄入、編輯凈化、查錯改錯、數(shù)據(jù)加載運(yùn)行和輸出結(jié)果過程。當(dāng)大批量數(shù)據(jù)輸入時，一定是在標(biāo)準(zhǔn)化文件的統(tǒng)一要求下對現(xiàn)場進(jìn)行實時監(jiān)控。要求現(xiàn)場主管必須了解掌握許多不確定的情況，并做好處理。在人工環(huán)節(jié)部分，要找經(jīng)驗性強(qiáng)的人來擔(dān)任職務(wù)，比如，怎樣快速有效地查錯、審核和修改，現(xiàn)場的組織調(diào)度等，這些工作的質(zhì)量對處理工作速度和效率有非常大的關(guān)系。

數(shù)據(jù)處理的質(zhì)量控制與分析

數(shù)據(jù)處理就像工廠中的生產(chǎn)過程一樣，其產(chǎn)品稱為信息產(chǎn)品。信息產(chǎn)品的質(zhì)量優(yōu)劣極其重要。因為信息產(chǎn)品非同一般產(chǎn)品，它具有反映現(xiàn)實，指導(dǎo)決策，引導(dǎo)市場，可反復(fù)使用等獨(dú)有的特性，在某些情況下信息產(chǎn)品還會被作為制定政策的依據(jù)，從某種意義上來說是具有權(quán)威性的。

數(shù)據(jù)質(zhì)量受多種因素控制，數(shù)據(jù)處理過程中出現(xiàn)的不同程度的差錯都會對其產(chǎn)生影響。所以必須降低錯誤率，比如在縱向方面，根據(jù)實際情況把項目所允許的最大錯誤率分配到數(shù)據(jù)處理各階段，然后再在各處理階段所允許的最大差錯進(jìn)行限制，從而制定具體的工作細(xì)節(jié)。

成果應(yīng)用效益

更過效益分析有助于方案的總體設(shè)計，可以使方案更全面，更合理，克服主觀盲動性。無論是設(shè)備、技術(shù)還是管理等，都有可能影響到數(shù)據(jù)的處理效率。因此效率分析要做到定量定性相結(jié)合。

應(yīng)急指揮處置更加高效。應(yīng)急指揮微信平臺提供的新型載體可將配網(wǎng)故障的實時圖片、視頻、損失數(shù)據(jù)等信息實現(xiàn)“零時差”傳遞，有效的提高了主管部門對一般故障情況的掌握程度。在應(yīng)急狀態(tài)下，指揮機(jī)構(gòu)能第一時間掌握受災(zāi)現(xiàn)場的各種動態(tài)，不僅能抓住先機(jī)，而且在搶修過程中能及時調(diào)配指令，使整個應(yīng)急指揮及處置過程更加有效。

應(yīng)急資源調(diào)用更加便捷。利用網(wǎng)絡(luò)平臺使應(yīng)急工作更迅速，傳達(dá)工作任務(wù)僅需幾秒鐘，并且應(yīng)急指揮機(jī)構(gòu)及相關(guān)管理人員在應(yīng)急狀態(tài)下無需攜帶或者查閱書面版的應(yīng)急預(yù)案，工作效率顯著提高。

現(xiàn)代社會計算機(jī)飛速發(fā)展，我們必須借助網(wǎng)絡(luò)力量通過二次功能開發(fā)，突破傳統(tǒng)的單一框架，設(shè)計更加嚴(yán)密的程序系統(tǒng)，嚴(yán)格監(jiān)管數(shù)據(jù)處理流程和現(xiàn)場管理，加強(qiáng)數(shù)據(jù)處理的質(zhì)量控制，使得應(yīng)急指揮處置更加高效，應(yīng)急資源調(diào)用更加便捷。利用微信平臺提高工作效率，科學(xué)利用網(wǎng)絡(luò)資源及前沿通信科技，推動企業(yè)安全生產(chǎn)。

(作者單位：廣東省潮州市75240部隊)