亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        雷達(dá)數(shù)據(jù)臺站級在線存儲方法設(shè)計(jì)

        2025-08-10 00:00:00劉家冠湯強(qiáng)黃裔誠方航伸
        農(nóng)業(yè)災(zāi)害研究 2025年5期
        關(guān)鍵詞:臺站硬盤數(shù)據(jù)處理

        中圖分類號:TN957 文獻(xiàn)標(biāo)志碼:B 文章編號:2095-3305(2025)05-0184-03

        隨著新一代天氣雷達(dá)硬件和軟件的逐漸升級,特別是在經(jīng)過雙偏振改造后,雷達(dá)的分辨率大幅度提高,同時(shí)雙偏振雷達(dá)在單偏振雷達(dá)的基礎(chǔ)上多出5個(gè)探測量(差分反射率 ZDR 、協(xié)相關(guān)系數(shù) ρhν/CC 、差分相移 、差分相移率 KDP 和退偏振比LDR),使得數(shù)據(jù)量大大增加。以汕頭天氣雷達(dá)站為例,臺站每天需要存儲的雷達(dá)基數(shù)據(jù)、產(chǎn)品、PNG圖和狀態(tài)信息,經(jīng)壓縮后仍有3GB多,使用傳統(tǒng)的“計(jì)算機(jī)存儲+DVD光盤備份”的方式已難以適應(yīng)臺站的工作需求,也增加了非臺站的氣象科研人員從臺站獲取雷達(dá)數(shù)據(jù)的難度。

        針對氣象大數(shù)據(jù)的存儲問題,前期已有一些計(jì)算機(jī)和氣象工作者展開了相關(guān)研究。祖東輝[1]針對雷達(dá)數(shù)據(jù)中特定回波數(shù)據(jù)需要快速查詢的特點(diǎn),設(shè)計(jì)了一種大容量雷達(dá)數(shù)據(jù)存儲與管理系統(tǒng);雷鳴[2基于大數(shù)據(jù)技術(shù),以關(guān)系型數(shù)據(jù)存儲、分布式NoSQL數(shù)據(jù)庫存儲、網(wǎng)格存儲系統(tǒng)和分布式NAS存儲相結(jié)合的混合云存儲架構(gòu)為基礎(chǔ),建立了統(tǒng)一數(shù)據(jù)集,服務(wù)于省局氣象數(shù)據(jù)中心。這些研究相對復(fù)雜,或主要針對更高一級的氣象數(shù)據(jù)中心,在實(shí)際應(yīng)用時(shí)部署成本較高,無法適應(yīng)基層臺站的工作需求。因此,設(shè)計(jì)了一種適合雷達(dá)站的在線存儲數(shù)據(jù)方法,既能滿足臺站大容量存儲需求,又能實(shí)現(xiàn)臺站可控的在線訪問,以便后期對雷達(dá)產(chǎn)品進(jìn)行應(yīng)用開發(fā)。

        1方案選擇

        新一代天氣雷達(dá)主要由數(shù)據(jù)采集單元RDA、雷達(dá)產(chǎn)品生成系統(tǒng)RPG和主用戶處理系統(tǒng)PUP三部分組成[3]。雷達(dá)基數(shù)據(jù)和狀態(tài)信息在RDA系統(tǒng)上生成,雷達(dá)產(chǎn)品和PNG圖在PUP系統(tǒng)上生成,這部分?jǐn)?shù)據(jù)未經(jīng)壓縮且文件過多,大量占用計(jì)算機(jī)空間,不便于日常管理和日后查詢使用。因此,臺站在選擇存儲方案時(shí)應(yīng)滿足以下三點(diǎn):一是存儲空間夠大且安全,臺站人員不必因存儲容量不足而焦慮;二是能及時(shí)分類和整理大量不同類型的雷達(dá)數(shù)據(jù),以便臺站人員快速查詢;三是能夠?qū)崿F(xiàn)自動(dòng)存儲,并在臺站可控的情況下,充許業(yè)務(wù)內(nèi)網(wǎng)用戶在線訪問。

        如果僅從存儲容量的角度出發(fā),初期想法是直接給RDA和PUP計(jì)算機(jī)配備大容量硬盤。但RDA和PUP均為業(yè)務(wù)專用機(jī),預(yù)置linux系統(tǒng),用于實(shí)時(shí)生成雷達(dá)數(shù)據(jù)。在業(yè)務(wù)專用機(jī)器上增加或改變軟硬件配置,如果出現(xiàn)不兼容問題,會(huì)引發(fā)嚴(yán)重后果。即使無兼容性問題,由于大量零碎分散文件長期累積,最終也難以整理和歸檔,并且無法實(shí)現(xiàn)在線訪問。故臺站提出了一種方案:購買一臺專用數(shù)據(jù)計(jì)算機(jī),配置超大存儲硬盤,將雷達(dá)生成的實(shí)時(shí)數(shù)據(jù)直接上傳至專用計(jì)算機(jī),再進(jìn)行分類整理。該方案雖然可以解決存儲容量、資料分類以及內(nèi)網(wǎng)在線訪問的問題,但是普通計(jì)算機(jī)的使用壽命無法得到保證,一旦存儲硬盤出現(xiàn)故障,數(shù)據(jù)將直接丟失,嚴(yán)重影響臺站工作。因此,以上方案被逐一否定。

        從數(shù)據(jù)安全的角度考慮,必須使用磁盤陣列(RAID)技術(shù)。RAID是將多塊獨(dú)立的磁盤組合成一個(gè)容量巨大的磁盤組,利用個(gè)別磁盤在提供數(shù)據(jù)時(shí)所產(chǎn)生的加成效果,提升整個(gè)磁盤系統(tǒng)的效能。使用這項(xiàng)技術(shù)可將數(shù)據(jù)切割成許多區(qū)段,分別存放于各個(gè)硬盤。RAID技術(shù)還能利用同位檢查(ParityCheck),數(shù)組中任意一個(gè)硬盤故障時(shí)仍可讀出數(shù)據(jù);在數(shù)據(jù)重構(gòu)時(shí),將數(shù)據(jù)經(jīng)計(jì)算后重新置入新硬盤,提升數(shù)據(jù)安全性。

        馮志偉等[論證了RAID技術(shù)在氣象資料數(shù)據(jù)存儲中的應(yīng)用,并詳細(xì)分析了較為常用的DAS、NAS和SAN3種存儲體系的結(jié)構(gòu)及特點(diǎn)。結(jié)合汕頭天氣雷達(dá)站的實(shí)際工作條件,在綜合考慮數(shù)據(jù)的安全性、長久性,以及部署成本、效率等因素后,最終設(shè)計(jì)出利用“專用數(shù)據(jù)處理機(jī)+NAS+FTP”傳輸方案,實(shí)現(xiàn)雷達(dá)數(shù)據(jù)的自動(dòng)存儲和在線訪問。

        其中,NAS(NetworkAttachedStorage)可譯為網(wǎng)絡(luò)附加存儲,是一種專用網(wǎng)絡(luò)數(shù)據(jù)存儲備份器。其以數(shù)據(jù)為中心,將存儲設(shè)備與服務(wù)器徹底分離,集中管理數(shù)據(jù),從而釋放帶寬以提高性能,降低總成本。其成本遠(yuǎn)遠(yuǎn)低于使用服務(wù)器存儲,而效率遠(yuǎn)遠(yuǎn)高于后者,具有較高的性價(jià)比[5]。NAS本身是一臺獨(dú)立的、外設(shè)的、功能強(qiáng)大的RAID,有數(shù)據(jù)保護(hù),且使用和操作界面簡潔,專業(yè)性不強(qiáng)的人員也能管理。

        2具體方案部署

        雷達(dá)數(shù)據(jù)采集單元RDA和主用戶處理系統(tǒng)PUP實(shí)時(shí)生成的雷達(dá)數(shù)據(jù)由于文件過多且未經(jīng)壓縮,無法直接放入NAS服務(wù)器作為臺站資料保存。因此,必須引入一臺數(shù)據(jù)處理機(jī)以實(shí)現(xiàn)雷達(dá)數(shù)據(jù)的緩存、整理和使用,再由數(shù)據(jù)處理機(jī)將整理好的數(shù)據(jù)同步傳送至NAS服務(wù)器永久保存。數(shù)據(jù)傳輸示意圖如下(圖1)。

        圖1汕頭天氣雷達(dá)站數(shù)據(jù)傳輸

        2.1 數(shù)據(jù)處理機(jī)

        數(shù)據(jù)處理機(jī)的工作流程主要是先接收來自RDA和PUP的雷達(dá)實(shí)時(shí)數(shù)據(jù),再將其整理并壓縮,使之成為便于存儲、管理和查詢的雷達(dá)資料,最后同步傳送至NAS服務(wù)器。因此,數(shù)據(jù)處理機(jī)需要部署以下三個(gè)方面的內(nèi)容:一是建立多用戶FTP服務(wù)器,將其與RDA和PUP連接;二是對RDA和PUP傳輸?shù)臄?shù)據(jù)進(jìn)行分類壓縮,該過程可通過編程實(shí)現(xiàn);三是設(shè)置NAS服務(wù)器的同步傳輸功能。

        為便于操作,汕頭天氣雷達(dá)站的數(shù)據(jù)處理機(jī)使用Windowsserver2012系統(tǒng),通過系統(tǒng)自帶的IIS8.0建立4個(gè)用戶FTP服務(wù)器,不同賬號對應(yīng)不同目錄,分別接收來自RDA和PUP的雷達(dá)基數(shù)據(jù)、狀態(tài)信息、雷達(dá)產(chǎn)品和PNG圖,使得4種不同的資料被分別歸檔于數(shù)據(jù)處理機(jī)的4個(gè)不同目錄。再通過雷達(dá)站工作人員編寫的自動(dòng)分類整理壓縮軟件,對這4種資料分別進(jìn)行按天整理和壓縮,最終將雷達(dá)每天實(shí)時(shí)生成的幾萬個(gè)文件打包成4個(gè)壓縮文件,以時(shí)間 + 資料名”的格式命名(如20230501汕頭雷達(dá)基數(shù)據(jù).zip、20230501汕頭雷達(dá)產(chǎn)品.zip、20230501汕頭雷達(dá)PNG圖.zip、20230501汕頭雷達(dá)狀態(tài)信息.zip),最后分別歸檔到另外4個(gè)目錄,并按年月逐級目錄遞歸。壓縮完成后,軟件會(huì)自動(dòng)刪除被壓縮的源文件,節(jié)約儲存空間。

        為實(shí)現(xiàn)數(shù)據(jù)處理機(jī)與NAS服務(wù)器之間的同步增量上傳,數(shù)據(jù)處理機(jī)需安裝NAS服務(wù)器的配套軟件,汕頭天氣雷達(dá)站使用的NAS服務(wù)器是群暉DS1618+,與之配套的同步軟件PC端是“Cloud Station Backup\"軟件安裝完成后,在軟件中設(shè)置NAS服務(wù)器的IP地址、賬號密碼以及需要同步上傳的4種壓縮文件的目錄。數(shù)據(jù)處理機(jī)在正常工作時(shí),在4種壓縮文件的目錄下一旦發(fā)現(xiàn)增量包會(huì)自動(dòng)將增量包上傳至NAS服務(wù)器。

        2.2 NAS服務(wù)器

        群暉DS1618+采用6硬盤位設(shè)計(jì),汕頭天氣雷達(dá)站采用了6個(gè)4TB的企業(yè)級硬盤組成的磁盤陣列,總共 24TB 容量,除去4TB的數(shù)據(jù)冗余,還剩20TB的可用存儲空間,以臺站每天3GB的數(shù)據(jù)量算,可以連續(xù)存儲18年多,從而解決存儲空間不足的問題??紤]到數(shù)據(jù)安全和存儲空間最大化,在創(chuàng)建存儲空間時(shí),雷達(dá)站工作人員選擇群暉的SHR作為磁盤陣列模式。

        SHR(SynologyHybridRAID)是群暉的自動(dòng)RAID管理系統(tǒng),可使用戶創(chuàng)建能優(yōu)化容量和性能的靈活存儲方案[6-7]。當(dāng)NAS服務(wù)器只有1個(gè)硬盤時(shí),RAID為BASIC模式,無數(shù)據(jù)保護(hù);當(dāng)再添加1個(gè)硬盤時(shí),RAID的模式自動(dòng)轉(zhuǎn)換成類似RAID1模式,空間大小不變,但有數(shù)據(jù)保護(hù);當(dāng)使用 N(Ngt;3) 個(gè)硬盤時(shí),RAID會(huì)自動(dòng)轉(zhuǎn)換成類似RAID5模式,有數(shù)據(jù)保護(hù),使用不同容量硬盤時(shí)又能比RAID5模式獲得更大的存儲容量,且易于使用。

        此外,傳統(tǒng)RAID的存儲基于存儲池中最小的硬盤。如果傳統(tǒng)RAID存儲池中的最小硬盤為500GB,則存儲池中所有其他硬盤各自只能提供 500GB 的儲存空間。因此,存儲池最終僅有2TB的可用存儲和4.5TB 的浪費(fèi)存儲。與傳統(tǒng)RAID不同,SHR將每個(gè)硬盤的存儲空間分成小塊,并創(chuàng)建額外的冗余存儲,即將4.5TB的不可用存儲分成較小的可用塊,并盡可能地增加每個(gè)硬盤的存儲容量。SHR在存儲擴(kuò)充方面也優(yōu)于傳統(tǒng)RAID。傳統(tǒng)RAID不允許在存儲池的所有硬盤均更換為較大硬盤前進(jìn)行擴(kuò)充,但SHR允許在2個(gè)硬盤升級后立即擴(kuò)充存儲池,并形成冗余存儲陣列。

        按照群暉DS1618+設(shè)備的說明手冊安裝好硬盤,并使用網(wǎng)線將其連接至汕頭天氣雷達(dá)站業(yè)務(wù)內(nèi)網(wǎng)的交換機(jī)上。為方便客戶安裝使用,群暉DS618+內(nèi)置了WebAssistant工具,在打開DS618+設(shè)備電源后,使用雷達(dá)站業(yè)務(wù)內(nèi)網(wǎng)中任意一臺計(jì)算機(jī)打開網(wǎng)絡(luò)瀏覽器,并訪問“http://find.synology.com”或“http://diskstation:5000\"(Mac計(jì)算機(jī)使用“http://synologynas.local:5000”),WebAssistant會(huì)在網(wǎng)絡(luò)瀏覽器中啟動(dòng),在本地網(wǎng)絡(luò)中搜索并找到Synology設(shè)備。初次登錄時(shí),新設(shè)備狀態(tài)為未安裝,用戶還需進(jìn)一步安裝群暉的DiskStation

        Manager(DSM)系統(tǒng),再根據(jù)提示進(jìn)一步操作,無特殊需求的內(nèi)容可全部使用默認(rèn)設(shè)置。系統(tǒng)安裝完成后會(huì)重啟,并提示用戶創(chuàng)建管理員賬戶和密碼。

        使用群暉默認(rèn)的管理員賬戶登錄DSM系統(tǒng),從主菜單進(jìn)入“存儲空間管理員”,按照“存儲空間創(chuàng)建向?qū)А碧崾荆瑢AID模式設(shè)為SHR模式,快速創(chuàng)建存儲空間;進(jìn)入“套件中心”安裝服務(wù)器端的“CloudStationServer”套件,以實(shí)現(xiàn)數(shù)據(jù)處理機(jī)與NAS服務(wù)器之間的同步傳輸。NAS本身支持NFS、CIFS、FTP、HTTP等協(xié)議,因此雷達(dá)數(shù)據(jù)的在線訪問可通過NAS自帶的FTP協(xié)議完成。具體而言,使用默認(rèn)的管理員賬戶登錄群暉DSM系統(tǒng),從“控制面板”進(jìn)入“用戶賬號”配置選項(xiàng),通過新增用戶賬號,配置1個(gè)安全的FTP訪問賬戶及密碼,并將該賬號設(shè)置為“只讀”權(quán)限;進(jìn)人“共享文件夾”配置選項(xiàng),通過新增共享文件夾,將與數(shù)據(jù)處理機(jī)同步傳輸?shù)?個(gè)雷達(dá)資料文件夾設(shè)置為共享模式,并設(shè)置充許FTP賬戶“只讀”的訪問權(quán)限。

        系統(tǒng)部署完成后,在被許可的單位或個(gè)人請求從雷達(dá)站下載雷達(dá)資料時(shí),臺站人員反需登錄群暉DSM系統(tǒng),在\"文件服務(wù)”的\"FTP”一項(xiàng)中勾選“啟用FTP服務(wù)”(圖2),對方即可通過臺站人員提供的FTP賬號和密碼從NAS服務(wù)器上查詢和下載雷達(dá)資料。在啟用FTP服務(wù)時(shí),可開啟“保存FTP日志”功能,通過日志了解對方登錄和退出FTP服務(wù)器的時(shí)間和下載內(nèi)容,預(yù)防數(shù)據(jù)泄露。在沒有訪問需求時(shí),臺站人員可以關(guān)閉FTP服務(wù),實(shí)現(xiàn)在線訪問功能可控,增強(qiáng)數(shù)據(jù)安全性。

        圖2FTP設(shè)置

        通過以上數(shù)據(jù)處理機(jī)和NAS服務(wù)器的部署設(shè)置,汕頭雙偏振天氣雷達(dá)的所有資料全部實(shí)現(xiàn)了自動(dòng)分類、整理和歸檔,無需人工干預(yù),且所有歸檔資料按年月逐級目錄遞歸,文件名按日期命名排列,查找和使用一目了然。同時(shí),利用NAS服務(wù)器上的FTP功能,實(shí)現(xiàn)了雷達(dá)資料的內(nèi)部共享,為后期開展雷達(dá)產(chǎn)品的研發(fā)工作提供了支持。

        2.3 日常檢查和管理

        雖然本方案的實(shí)施促使雷達(dá)站日常的數(shù)據(jù)存儲工作實(shí)現(xiàn)全自動(dòng)化,但在日常工作中,臺站人員仍應(yīng)定期檢查、維護(hù)和管理設(shè)備,以保障設(shè)備正常工作,確保數(shù)據(jù)存儲安全。具體措施如下:一是定期檢查NAS的運(yùn)行日志。NAS日志詳細(xì)記錄了NAS系統(tǒng)的運(yùn)行狀況,特別是RAID的運(yùn)行情況,并將每個(gè)事件標(biāo)記了序列號、嚴(yán)重等級等。如遇硬盤故障等嚴(yán)重事件,臺站人員可及時(shí)發(fā)現(xiàn)和處理,避免數(shù)據(jù)丟失。二是定期檢查數(shù)據(jù)處理機(jī)運(yùn)行情況。數(shù)據(jù)處理機(jī)處理完成的是最終備份的雷達(dá)資料,為保證資料齊全、分類明確,臺站人員需要定期檢查雷達(dá)數(shù)據(jù)自動(dòng)整理軟件的運(yùn)行情況和資料同步傳輸情況。三是定期更換FTP賬戶的登錄密碼,以增強(qiáng)FTP訪問的安全性。

        3結(jié)束語

        自全國新一代多普勒天氣雷達(dá)網(wǎng)建設(shè)以來,中國氣象局要求不但要有一流的硬件設(shè)備,還要有一流的應(yīng)用開發(fā)。NAS服務(wù)器不僅能實(shí)現(xiàn)雷達(dá)資料在線存儲,其拓展功能也非常強(qiáng)大,為以后雷達(dá)大數(shù)據(jù)的應(yīng)用和共享提供了有力支持。以上方案自試運(yùn)行以來流程穩(wěn)定,臺站人員從以往定期刻錄光盤的工作中徹底解放。相較于以前的計(jì)算機(jī)存儲加光盤備份方式,該方案顯著提高了雷達(dá)數(shù)據(jù)的安全性。利用FTP的在線共享功能,提升了后期雷達(dá)資料二次開發(fā)和使用的便捷性。

        參考文獻(xiàn)

        [1]祖東輝.大容量雷達(dá)數(shù)據(jù)存儲與管理技術(shù)研究[D].成都:電子科技大學(xué),2016.

        [2]雷鳴.氣象大數(shù)據(jù)分布式存儲設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2021,31(5):193-197.

        [3]劉家冠,湯強(qiáng),吳榮深,等.雷達(dá)站遠(yuǎn)程控制和無人值守方案的初步研究[J].氣象水文海洋儀器,2011,28(3):19-21.

        [4]馮志偉,盛梅,陳世春.磁盤陣列技術(shù)在氣象資料數(shù)據(jù)存儲中的應(yīng)用[J].中國科技信息,2007(19):108-109.

        [5]陳鉆.NAS存儲系統(tǒng)在局域網(wǎng)中的應(yīng)用分析及方案[J].華章,2014(27):341-342.

        [6]陳華英.磁盤陣列RAID可靠性分析[J].電子科技大學(xué)學(xué)報(bào),2006,35(3):403-405.

        [7]吳宏波.基于Serv-U的個(gè)人在線存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代計(jì)算機(jī),2011(9):102-105,109.

        猜你喜歡
        臺站硬盤數(shù)據(jù)處理
        怪問趣答
        吉林省地殼厚度與 uPS 比值及其構(gòu)造暗示
        認(rèn)知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補(bǔ)與極大似然估計(jì)法*
        ILWT-EEMD數(shù)據(jù)處理的ELM滾動(dòng)軸承故障診斷
        基于希爾伯特- 黃變換的去噪法在外測數(shù)據(jù)處理中的應(yīng)用
        基于POS AV610與PPP的車輛導(dǎo)航數(shù)據(jù)處理
        白嫩少妇高潮喷水av| 亚洲AV无码久久久一区二不卡 | 欧美精品区| 国产一级黄色av影片| 刚出嫁新婚少妇很紧很爽| 一区二区三区乱码在线 | 欧洲| 久久精品国产四虎| 亚洲妇女av一区二区| 穿着白丝啪啪的av网站| 国产成+人欧美+综合在线观看| 91制服丝袜| 无码一级视频在线| 色综合色综合久久综合频道| 国产精女同一区二区三区久| 美女网站免费观看视频| 日韩在线一区二区三区免费视频| 精品国偷自产在线不卡短视频| 国产一区二区三区在线爱咪咪| 日本精品久久久久中文字幕| 黑人巨大白妞出浆| 无码一区二区三区在| 久久精品久99精品免费| 久久亚洲av无码西西人体| 91av精品视频| 精品自拍偷拍一区二区三区| 图片小说视频一区二区| 免费无码毛片一区二区三区a片| 老熟女熟妇嗷嗷叫91| 国产91极品身材白皙| 男女猛烈xx00免费视频试看| 99久久婷婷国产综合亚洲91| 中文少妇一区二区三区| 亚洲一区毛片在线观看| 国产成人精品999在线观看| 国产精品福利久久香蕉中文| 中文资源在线一区二区三区av| 人妻夜夜爽天天爽三区| 国产香蕉尹人综合在线观| 自拍av免费在线观看| 精品国际久久久久999波多野| 天天爱天天做天天爽|