楊雪琪 肖宇

摘要：在工作流編程中，個(gè)人經(jīng)常面臨數(shù)據(jù)管理方法的選擇。文章重點(diǎn)闡述了基于文件和基于數(shù)據(jù)庫(kù)的數(shù)據(jù)管理方法，并分析了三種數(shù)據(jù)管理技術(shù)的各自優(yōu)缺點(diǎn)。從數(shù)據(jù)量大小、數(shù)據(jù)安全性、數(shù)據(jù)更新頻率、數(shù)據(jù)共享范圍等四個(gè)維度構(gòu)建了數(shù)據(jù)管理技術(shù)的選擇方法。最后給出了數(shù)據(jù)管理技術(shù)選擇建議：對(duì)于小數(shù)量、低安全性、不更新數(shù)據(jù)、不共享數(shù)據(jù)的工作流數(shù)據(jù)，建議采用人工管理的方式；對(duì)于中等數(shù)據(jù)量或有一定安全性共享性要求或需與他小范圍共享數(shù)據(jù)的工作流，建議使用基于文件的數(shù)據(jù)管理方法；否則，建議選擇基于數(shù)據(jù)庫(kù)的數(shù)據(jù)管理方法。

關(guān)鍵詞：數(shù)據(jù)管理；數(shù)據(jù)庫(kù)；Python；編程；工作流

中圖分類號(hào)：TP311.13-4; G642.0? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）30-0068-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

隨著計(jì)算機(jī)編程語(yǔ)言和軟件技術(shù)的發(fā)展，越來(lái)越多的高校學(xué)生、從業(yè)者與科研人員等非專業(yè)計(jì)算機(jī)編程人員借助高級(jí)編程語(yǔ)言（例如：Python、R和Julia等）完成工作流，從而可自由地測(cè)試與實(shí)現(xiàn)他們的想法[1]。值得注意的是，在編程過(guò)程中，大部分非專業(yè)編程人員往往缺乏數(shù)據(jù)管理意識(shí)，因此可能造成計(jì)算資源的浪費(fèi)和數(shù)據(jù)安全問(wèn)題。特別是在大數(shù)據(jù)時(shí)代，日常數(shù)據(jù)掛歷工作面臨著諸多挑戰(zhàn)[2-3]。本文分析了不同應(yīng)用場(chǎng)景下的數(shù)據(jù)管理方法選擇，以幫助非專業(yè)編程人員更好地完成他們的工作流。

通常情況下，程序接收外界輸入，經(jīng)過(guò)一系列處理過(guò)程之后，輸出數(shù)據(jù)至外界。該過(guò)程涉及數(shù)據(jù)管方法的選擇。在計(jì)算機(jī)技術(shù)不同發(fā)展階段，產(chǎn)生了人工管理、文件管理和數(shù)據(jù)庫(kù)管理等三種不同的數(shù)據(jù)管理方法[3]。在人工管理階段，程序與數(shù)據(jù)之間具有強(qiáng)耦合性，數(shù)據(jù)通過(guò)硬編碼嵌于程序中。這種管理方法適用于具有特殊用途且不需經(jīng)常變更數(shù)據(jù)的程序；在文件管理階段，程序與數(shù)據(jù)解綁，輸入與輸出數(shù)據(jù)以文件的形式保存于外界；在數(shù)據(jù)庫(kù)管理階段，程序與數(shù)據(jù)具有松耦合，程序包含與數(shù)據(jù)庫(kù)交互的語(yǔ)句，可根據(jù)狀態(tài)實(shí)現(xiàn)與數(shù)據(jù)庫(kù)的動(dòng)態(tài)交互。

人工管理方法僅適用于小數(shù)據(jù)量、缺乏外部存儲(chǔ)設(shè)備支持的應(yīng)用，數(shù)據(jù)的增、刪、改等操作均需在源程序中完成，因此靈活性和合作潛力差，并不推薦在工作流編程實(shí)踐中使用。因此，以下將重點(diǎn)介紹分析基于文件和數(shù)據(jù)庫(kù)的數(shù)據(jù)管理技術(shù)在Python工作流編程中的適用場(chǎng)景。

2 基于文件的數(shù)據(jù)管理技術(shù)

通過(guò)文件與外界交互數(shù)據(jù)是當(dāng)今編程實(shí)踐中最常用的方法之一。在日常工作流中，通常將文件（例如：txt、csv、json等格式）輸入到程序中，最后再以文件形式輸出數(shù)據(jù)。

基于文件的數(shù)據(jù)管理方法具有學(xué)習(xí)成本低、兼容性強(qiáng)、易與他人分享等優(yōu)點(diǎn)。首先，該管理方法依賴于操作系統(tǒng)或者需與對(duì)應(yīng)文件格式的軟件共同使用。常見(jiàn)日常辦公軟件（例如：Excel和瀏覽器等）存在于大部分個(gè)人電腦中，因此可以用戶之間可以方便地進(jìn)行數(shù)據(jù)文件的共享與合作。此外，這些外部軟件的使用方法被大部分用戶掌握，因此不需要額外的學(xué)習(xí)成本，與用戶現(xiàn)有使用習(xí)慣兼容性強(qiáng)。最后，文件的形式豐富，可以靈活地存儲(chǔ)各種類型的非結(jié)構(gòu)化數(shù)據(jù)。

基于文件的數(shù)據(jù)管理方法具有運(yùn)行性能低下、安全性低、數(shù)據(jù)一致性差等缺點(diǎn)。然而，外部文件需一次性讀入計(jì)算機(jī)內(nèi)存中，因此在一定程度上會(huì)影響到程序的運(yùn)行性能。隨著數(shù)據(jù)量的增大，這種影響將逐步增加。此外，在將數(shù)據(jù)寫(xiě)出文件時(shí)，文件數(shù)據(jù)的組織形式因文件創(chuàng)建者而異，從而需要額外的數(shù)據(jù)說(shuō)明文件的組織形式。再者，文件難以被多個(gè)應(yīng)用在同一時(shí)間共同使用，數(shù)據(jù)操作需在程序內(nèi)部完成，文件數(shù)據(jù)也容易在傳遞過(guò)程中被篡改。最后，文件易于復(fù)制，因此可能帶來(lái)數(shù)據(jù)不一致、數(shù)據(jù)冗余和數(shù)據(jù)安全性等問(wèn)題。

結(jié)合以上所述優(yōu)缺點(diǎn)，基于文件的數(shù)據(jù)管理技術(shù)適用于數(shù)據(jù)安全性要求低、數(shù)據(jù)更新頻率低的小型個(gè)人項(xiàng)目。例如，小計(jì)算量的科學(xué)研究輸出數(shù)據(jù)的存儲(chǔ)應(yīng)用和個(gè)人財(cái)物管理應(yīng)用等。

在Python編程環(huán)境下，可以利用內(nèi)置函數(shù)open（）讀取或生成文件對(duì)象實(shí)例，利用read（）、readlines（）等方法逐字符或逐行讀取數(shù)據(jù)，利用write（）或writelines（）等方法將數(shù)據(jù)寫(xiě)入到文件。此外，第三方科學(xué)計(jì)算庫(kù)numpy和pandas提供有讀取或?qū)懭敫鞣N文件格式的方法。

3 基于數(shù)據(jù)庫(kù)的數(shù)據(jù)管理技術(shù)

數(shù)據(jù)庫(kù)是計(jì)算機(jī)科學(xué)的重要分支之一，是數(shù)據(jù)管理技術(shù)發(fā)展的高級(jí)階段。按數(shù)據(jù)邏輯組織形式，數(shù)據(jù)庫(kù)可以分為層次數(shù)據(jù)庫(kù)、網(wǎng)狀數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)、文檔型數(shù)據(jù)庫(kù)和鍵值對(duì)型數(shù)據(jù)庫(kù)等[4-5]。此外，近年來(lái)也出現(xiàn)了針對(duì)特定領(lǐng)域的數(shù)據(jù)庫(kù)，例如圖形圖像數(shù)據(jù)庫(kù)和圖數(shù)據(jù)庫(kù)等。無(wú)論是哪一種數(shù)據(jù)庫(kù)，均提供有數(shù)據(jù)增、刪、改、查等工具。大部分?jǐn)?shù)據(jù)庫(kù)支持多個(gè)數(shù)據(jù)應(yīng)用的并發(fā)訪問(wèn)和遠(yuǎn)程訪問(wèn)，且為主流編程語(yǔ)言提供了數(shù)據(jù)操作接口。因此，基于數(shù)據(jù)庫(kù)的數(shù)據(jù)管理技術(shù)可以依賴于數(shù)據(jù)庫(kù)管理系統(tǒng)提供的強(qiáng)大數(shù)據(jù)管理功能開(kāi)展更安全、更具擴(kuò)展性的數(shù)據(jù)管理活動(dòng)。

開(kāi)源關(guān)系型數(shù)據(jù)庫(kù)MySQL和文檔型數(shù)據(jù)庫(kù)MongoDB在業(yè)界的應(yīng)用尤為廣泛，支持文檔也非常豐富。MySQL數(shù)據(jù)庫(kù)提供了社區(qū)開(kāi)源版本，可以在個(gè)人電腦上自由下載和安裝配置。該數(shù)據(jù)庫(kù)提供了一系列的安全控制技術(shù)，例如用戶管理、權(quán)限控制、事務(wù)管理和數(shù)據(jù)庫(kù)備份等。MySQL的數(shù)據(jù)操作主要依賴于SQL語(yǔ)言，因此具有一定的技術(shù)門檻。MongoDB數(shù)據(jù)庫(kù)采用BSON形式存儲(chǔ)數(shù)據(jù)，具有專門的數(shù)據(jù)操縱語(yǔ)言，且提供了用戶管理、權(quán)限控制、事務(wù)管理和數(shù)據(jù)庫(kù)備份等基本功能。相比較而言，MySQL適用于結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，進(jìn)行數(shù)據(jù)庫(kù)操作之前，需要設(shè)定數(shù)據(jù)模式；MongoDB適用于非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，可靈活地存儲(chǔ)數(shù)據(jù)。

在工作流編程應(yīng)用中，利用數(shù)據(jù)庫(kù)可很好地幫助完成數(shù)據(jù)管理工作。例如，對(duì)于計(jì)算密集型的大規(guī)模仿真模擬工作，可以預(yù)先將需探索的模型參數(shù)存入至MongoDB數(shù)據(jù)庫(kù)中，將參數(shù)對(duì)應(yīng)的任務(wù)狀態(tài)分別設(shè)為未評(píng)估、正在評(píng)估和已完成評(píng)估等，然后由多臺(tái)計(jì)算機(jī)遠(yuǎn)程訪問(wèn)該數(shù)據(jù)庫(kù)，讀取未評(píng)估狀態(tài)的參數(shù)組合，在粗粒度上實(shí)現(xiàn)多臺(tái)不限平臺(tái)計(jì)算機(jī)組合的并行計(jì)算，從而加速完成模擬任務(wù)。在程序運(yùn)行過(guò)程中，也可監(jiān)控和查看任務(wù)的完成度和狀態(tài)。

根據(jù)以上優(yōu)缺點(diǎn)，基于數(shù)據(jù)庫(kù)的數(shù)據(jù)管理技術(shù)適用于具有一定數(shù)據(jù)庫(kù)基礎(chǔ)或者學(xué)習(xí)意愿強(qiáng)的用戶。雖然具有一定的門檻，使用數(shù)據(jù)庫(kù)可以使用戶不用考慮文件管理方法中可能存在的各種問(wèn)題。此外，該數(shù)據(jù)管理技術(shù)適用于需要多臺(tái)電腦讀取、更新頻率高、存在多用戶合作生成數(shù)據(jù)的應(yīng)用場(chǎng)景。例如，大型仿真實(shí)驗(yàn)運(yùn)行過(guò)程中的數(shù)據(jù)管理。

在Python編程環(huán)境下，存在與各主流數(shù)據(jù)庫(kù)連接的第三方模塊，例如 PyMySQL和PyMong等。這些模塊都遵循Python提供的統(tǒng)一接口標(biāo)準(zhǔn)，因此學(xué)習(xí)成本較低，操作簡(jiǎn)便。具體而言，對(duì)于數(shù)據(jù)模式較為單一、可不考慮數(shù)據(jù)組織形式的工作流，可采用無(wú)須預(yù)先設(shè)定數(shù)據(jù)模式的非關(guān)系型數(shù)據(jù)庫(kù)作為數(shù)據(jù)管理工具；對(duì)于數(shù)據(jù)模式較為復(fù)雜的工作流，建議先設(shè)計(jì)數(shù)據(jù)模式，然后通過(guò)非關(guān)系型或關(guān)系型數(shù)據(jù)庫(kù)作為數(shù)據(jù)管理工具。

4 三種數(shù)據(jù)管理技術(shù)的選擇

在日常工作流中，需要根據(jù)任務(wù)的相關(guān)性選擇相應(yīng)的數(shù)據(jù)管理技術(shù)。數(shù)據(jù)管理技術(shù)選擇的影響要素主要包括數(shù)據(jù)量大小、數(shù)據(jù)安全性、數(shù)據(jù)更新頻率、數(shù)據(jù)共享范圍等四個(gè)維度，具體選擇建議見(jiàn)表1。注意，有些選項(xiàng)存在著重疊，用戶可以根據(jù)當(dāng)前的環(huán)境酌情考慮數(shù)據(jù)管理技術(shù)。

對(duì)于小數(shù)量、低安全性、不更新數(shù)據(jù)、不共享數(shù)據(jù)的工作流數(shù)據(jù)，建議采用人工管理的方式，將數(shù)據(jù)融入程序中。這樣操作的理由在于，后兩個(gè)數(shù)據(jù)管理技術(shù)需要依賴于外部的應(yīng)用或者程序，一旦外界環(huán)境遭遇了不測(cè)情況，則數(shù)據(jù)將遭受損失，從而影響到工作流的正常運(yùn)行。

對(duì)于中數(shù)據(jù)量或中安全性或低頻更新數(shù)據(jù)或需小范圍共享的工作量數(shù)據(jù)，在數(shù)據(jù)庫(kù)不可獲取的情況下，建議采用基于文件的管理技術(shù)。與人工管理方法相比，該方法將程序與數(shù)據(jù)分離，可以實(shí)現(xiàn)數(shù)據(jù)的外部操作，從而在一定程度上增加了數(shù)據(jù)的自由度和安全性。數(shù)據(jù)文件可獨(dú)立地在同事之間共享，增加了便利性。

對(duì)于中大數(shù)據(jù)量或中高安全性或高頻更新或大范圍共享的工作流數(shù)據(jù)，建議采用基于數(shù)據(jù)庫(kù)的管理技術(shù)。相對(duì)其他兩種技術(shù)，該技術(shù)可以利用數(shù)據(jù)庫(kù)管理系統(tǒng)提供的數(shù)據(jù)操作、數(shù)據(jù)安全性和事務(wù)管理等先進(jìn)的數(shù)據(jù)管理方法，從而可實(shí)現(xiàn)以數(shù)據(jù)為中心的建模與管理，甚至可以幫助規(guī)范工作流程。

5 結(jié)語(yǔ)

本文簡(jiǎn)要分析了工作流中的人工管理、文件管理和數(shù)據(jù)庫(kù)管理等三種主流數(shù)據(jù)管理技術(shù)的優(yōu)缺點(diǎn)，并針對(duì)工作流編程的特點(diǎn)提出了以下選擇建議：1）對(duì)于安全性和共享性要求不高、較少需要與他人合作、需與人共享結(jié)果的工作流，建議使用文件管理方法；2）對(duì)于安全性和共享性要求高、需多臺(tái)電腦寫(xiě)作文完成的工作流，建議使用數(shù)據(jù)庫(kù)管理方法。最后，建議個(gè)人用戶提升數(shù)據(jù)安全意識(shí)，投入時(shí)間學(xué)習(xí)一定的數(shù)據(jù)庫(kù)管理技術(shù)，合理使用數(shù)據(jù)庫(kù)管理工作流數(shù)據(jù)，避免工作中不必要的數(shù)據(jù)損失。

參考文獻(xiàn)：

[1] 肖宇.Python在數(shù)據(jù)庫(kù)教學(xué)中的應(yīng)用[J].電腦知識(shí)與技術(shù)，2020，16（6）：152-153.

[2] 荊曉鵬.大數(shù)據(jù)時(shí)代高校學(xué)生管理工作的挑戰(zhàn)及應(yīng)對(duì)措施試析[J].輕工科技，2021，37（11）：105-106.

[3] 李文瓊.大數(shù)據(jù)時(shí)代背景下高校檔案信息化建設(shè)探究[J].蘭臺(tái)內(nèi)外，2021（28）：1-3.

[4] 王珊，薩師煊.數(shù)據(jù)庫(kù)系統(tǒng)概論[M].5版.北京：高等教育出版社，2014.

[5] 閔昭浩，楊卓凡.NoSQL數(shù)據(jù)庫(kù)與關(guān)系型數(shù)據(jù)庫(kù)對(duì)比[J].電子技術(shù)與軟件工程，2021（14）：199-201.

【通聯(lián)編輯：李雅琪】