粟 毅,安小偉,姚 遠(yuǎn)
(云南省地震局,云南 昆明 650224)
目前,云南省地震局的測震波形數(shù)據(jù)普遍采用物理服務(wù)器安裝JOPENS軟件(吳永權(quán),黃文輝,2010)進行匯集,這種方式是通過有線專線傳輸,將數(shù)據(jù)存儲在本地服務(wù)器,定期將波形文件備份至存儲設(shè)備,適用于較多臺網(wǎng)數(shù)據(jù)的傳輸和存儲。在有大規(guī)模臺網(wǎng)數(shù)據(jù)需要傳輸和存儲時,中國地震局臺網(wǎng)中心為滿足測震波形數(shù)據(jù)管理的業(yè)務(wù)需求,選取基于Hadoop大數(shù)據(jù)技術(shù)的分布式文件系統(tǒng)HDFS和分布式計算Spark架構(gòu)進行數(shù)據(jù)的存儲和計算研究(郭凱等,2017)。在小規(guī)模觀測項目或?qū)嶒烅椖恐?,部分測震臺通過4G方式傳輸數(shù)據(jù),部分無人值守臺站通過定期人工讀取數(shù)采存儲卡方式提取數(shù)據(jù)。因此,在保障數(shù)據(jù)及時性、有效性、安全性上還存在不足,尤其是在數(shù)據(jù)的遠(yuǎn)程傳輸、數(shù)據(jù)匯集所需設(shè)備等方面。吳叔坤等(2006)研究廣東數(shù)字地震遙測臺網(wǎng)數(shù)據(jù)傳輸?shù)母鞣N方寸,總結(jié)得出IP/VPN傳輸具有無丟數(shù)誤碼、斷點續(xù)傳、經(jīng)濟實惠、安全可靠等特點。
Hyper-V是一款兼顧了安全性和性能要求的虛擬化產(chǎn)品。數(shù)據(jù)采用4G方式傳回區(qū)域中心服務(wù)器,通過VPN專線進入云南省地震行業(yè)網(wǎng),掛載NAS存儲回傳數(shù)據(jù)(陽小珊等,2012)。此方法適用于小規(guī)模臺網(wǎng)數(shù)據(jù)采集,可應(yīng)用在實驗觀測項目中。本文主要探索服務(wù)器虛擬主機安裝FreeBSD系統(tǒng)(冉慧敏,史勇軍,2011)的波形數(shù)據(jù)文件匯集,以節(jié)約服務(wù)器設(shè)備資源、保障數(shù)據(jù)安全性,為測震數(shù)據(jù)傳輸、存儲等提供技術(shù)參考。
2017年,云南省地震局在小江斷裂帶附近新建20個測震觀測點,在對其數(shù)據(jù)完成匯集和存儲時需要解決2個技術(shù)問題:其一,區(qū)域中心數(shù)據(jù)接收虛擬服務(wù)器在行業(yè)專網(wǎng)內(nèi),與4G無線路由之間跨越2個獨立網(wǎng)絡(luò),因此需通過VPN方式建立2網(wǎng)之間的安全隧道以解決網(wǎng)絡(luò)連接問題;其二,在服務(wù)器資源及存儲資源有限的情況下,利用服務(wù)器虛擬化技術(shù)共享服務(wù)器資源,同時使用NAS存儲系統(tǒng)解決數(shù)據(jù)存儲問題。
首先在區(qū)域中心做測試,將測震儀器數(shù)采與路由器連接,建立4G無線路由與VPN之間的安全隧道并測試網(wǎng)絡(luò)連通,后配置虛擬機和安裝FreeBSD系統(tǒng)和Jopens軟件(冉慧敏,史勇軍,2011),并做好軟件與儀器數(shù)采配置,保證數(shù)據(jù)能傳輸?shù)教摂M服務(wù)器,最后配置NAS與FreeBSD系統(tǒng)之間的網(wǎng)絡(luò)連接,通過ISCSI掛載到系統(tǒng)分區(qū)中,修改Jopens數(shù)據(jù)存儲路徑到NAS設(shè)備,實現(xiàn)測震波形數(shù)據(jù)的非本地存儲(圖1)。
圖1 配置流程圖
本文涉及的遠(yuǎn)程數(shù)據(jù)傳輸是采用“四信”4G無線路由器做鏈路信道,測震儀器數(shù)采設(shè)備通過網(wǎng)線連接路由器,配置好路由器的IP地址映射,同時需開啟路由器遠(yuǎn)程連接屬性,方便后期登陸進行維護。路由器配置完成后需配置VPN專線路由器,將信道運營商私有地址通過VPN專線接入到云南省地震局行業(yè)專網(wǎng)。配置完成后,可在行業(yè)專網(wǎng)直接訪問無線路由器和測震儀器數(shù)采設(shè)備WEB控制頁面,遠(yuǎn)程調(diào)整數(shù)采各項參數(shù)(圖2)。
在區(qū)域中心服務(wù)器上配置Hyper-V虛擬機,此虛擬機僅支持Windows Server 2008 R2及以上服務(wù)器操作系統(tǒng)。配置時需注意,Hyper-V服務(wù)端默認(rèn)不支持FreeBSD網(wǎng)卡,在虛擬機客戶端需選擇舊版本網(wǎng)卡,在虛擬機資源分配時根據(jù)觀測點數(shù)量進行配置,本次架設(shè)20個測震觀測點,需2核以上CPU,5 G以上內(nèi)存,50 G以上硬盤。
本次數(shù)據(jù)接收服務(wù)器部署FreeBSD 11.1操作系統(tǒng),選擇最小化安裝,按系統(tǒng)默認(rèn)分區(qū)方式劃分分區(qū)表,安裝完成后進行網(wǎng)絡(luò)配置,確保系統(tǒng)連通測震儀器數(shù)采設(shè)備。最后進行SSH配置,允許遠(yuǎn)程SSH連接,方便后續(xù)遠(yuǎn)程操作使用。
通過JOPENS6.0軟件完成測震數(shù)據(jù)的接收、分析和存儲,操作系統(tǒng)安裝完成后通過移動硬盤或SSH工具將JOPENS安裝文件導(dǎo)入到系統(tǒng)/usr/目錄下準(zhǔn)備安裝。JOPENS 6.0軟件安裝可參照軟件說明書進行部署。
圖2 數(shù)據(jù)傳輸連接圖
本次應(yīng)用將數(shù)據(jù)存儲位置設(shè)為獨立NAS,也可使用專業(yè)存儲設(shè)備進行存放。
首先配置NAS空間,NAS需接入到與主機相同網(wǎng)段,通過瀏覽器進行訪問,建立ISCSI存儲空間(圖3),并獲取ISCSI target信息(圖4)。
圖3 建立ISCSI存儲空間
圖4 獲取ISCSI target信息
在FreeBSD系統(tǒng)配置ISCSI客戶端連接信息,如沒有安裝ISCSI程序需要進行下載安裝,輸入make install clean自動下載安裝,安裝完成后編輯/etc/rc.conf文件指定配置文件。
將NAS端獲取的ISCSI target信息寫到/etc/iscsi.conf文件,創(chuàng)建ISCSI客戶端連接信息,添加如下內(nèi)容:
target0 { # nickname
targetaddress=10.53.208.234 —NAS存儲IP
TargetName=iqn.2017-09.com.thecus.n4810:iscsi.ynfzx.raid0
}
同時編輯/boot/loader.conf文件,開啟ISCSI連接并制定配置文件存放位置,需添加如下內(nèi)容:
iscsi_initiator_load=”YES”
iscsi target config=“/usr/local/etc/iscsi/targets”
配置完成后執(zhí)行命令kldload iscsi_initiator,啟動iscsi_initiator內(nèi)核,輸入命令建立連接iscontrol-t10.53.208.234-n target0(圖5),查看/var/log/message 記錄da1是否已連接。最后格式化新連接的分區(qū) newfs/dev/da1。
圖5 連接ISCSI
掛載da1分區(qū)到AWS模塊數(shù)據(jù)庫存儲目錄,需用戶自行創(chuàng)建該目錄并賦權(quán)。
# mount/dev/da1 /usr/home/tank
查看是否連接成功 df -h,會發(fā)現(xiàn)多出了一個da1分區(qū)并掛載到/usr/home/tank目錄。
最后用命令在FreeBSD系統(tǒng)根目錄下創(chuàng)建/online 目錄并賦權(quán),在掛載存儲的tank目錄下建立一個符號鏈接文件online到內(nèi)存磁盤。
#ln-sf/online/usr/home/tank/online —連接到存儲目錄
進入到服務(wù)端JOPENS管理頁面,配置AWS模塊存儲路徑(圖6),修改為掛載的ISCSI路徑/usr/home/tank,保存后重啟wildfly服務(wù)。
最后查看波形文件是否寫入到NAS存儲中(圖7)。
圖6 修改配置文件
圖7 查看波形文件
修改JOPENS客戶端配置文件jopens-config. properties,文件位置X:jopensconf將默認(rèn)存數(shù)路徑j(luò)opens.aws.archiveDir=/home/jopens/tank修改為存儲位置,如:/usr/home/tank,即完成了數(shù)據(jù)文件調(diào)用。至此,實現(xiàn)了虛擬機掛接NAS存儲測震波形數(shù)據(jù),接下來,用戶可使用MSDP模塊調(diào)用波形數(shù)據(jù)進行分析處理。
本文總結(jié)了利用Hyper-V虛擬化技術(shù)安裝FreeBSD系統(tǒng)運行JOPENS6.0軟件實現(xiàn)4G無線測震波形數(shù)據(jù)匯集的方法,基于ISCIS技術(shù)實現(xiàn)了測震波形文件在NAS存儲系統(tǒng)上的匯集,結(jié)論如下:
(1)將各類應(yīng)用部署在虛擬主機上,利用虛擬機自身的容錯機制,可提升應(yīng)用的穩(wěn)定性。在分配虛擬機資源時,可根據(jù)應(yīng)用的資源消耗靈活進行分配,也可按應(yīng)用實際使用資源進行后期調(diào)整。
(2)無線數(shù)據(jù)傳輸可作為無人值守臺站、流動觀測臺、實驗儀器數(shù)據(jù)接收等非常規(guī)的數(shù)據(jù)匯集使用。本文對利用VPN技術(shù)解決4G無線接入行業(yè)內(nèi)網(wǎng)的方法進行了實踐。
(3)NAS具有網(wǎng)絡(luò)存儲方式簡單、設(shè)備體量較小、便于數(shù)據(jù)移動等特點,要根據(jù)實際情況來選擇最優(yōu)化的方式。以NAS方式存儲測震波形數(shù)據(jù)并不是最優(yōu)化的方式,推薦還是存放于服務(wù)器本地硬盤,定期做數(shù)據(jù)的導(dǎo)出和刪除工作。本文主要是以節(jié)約資源為主,為資源緊張的實驗項目、小臺網(wǎng)等提出一種解決方式。
(4)本次臺站建設(shè)于2018年1月正式運行,在系統(tǒng)運行期間數(shù)據(jù)接收連續(xù)率為98%,網(wǎng)絡(luò)連接最大延遲約700 ms(臺站物理位置4G信號影響),運行至今接收連續(xù)波形數(shù)據(jù)量600 G左右。系統(tǒng)整體運行狀態(tài)良好,完全能夠滿足小臺網(wǎng)、實驗項目等場景應(yīng)用。