亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        ARQCS啟動策略及其與資源消耗的關系

        2014-07-07 13:09:28劉一鳴周自江阮宇智何文春劉媛媛
        應用氣象學報 2014年4期
        關鍵詞:氣象站時效入庫

        劉一鳴周自江 遠 芳 阮宇智 何文春 孫 超 劉媛媛

        (國家氣象信息中心,北京100081)

        ARQCS啟動策略及其與資源消耗的關系

        劉一鳴*周自江 遠 芳 阮宇智 何文春 孫 超 劉媛媛

        (國家氣象信息中心,北京100081)

        利用2012年4月1日—9月30日IBM P570高性能計算環(huán)境Oracle 11g數(shù)據(jù)庫平臺對全國自動氣象站觀測資料實時質(zhì)量控制系統(tǒng)(ARQCS)的運行監(jiān)控數(shù)據(jù),探討了ARQCS的啟動策略及其與資料解析入庫率、ARQCS的CPU耗時、服務時效之間的關系。結(jié)果表明:自動氣象站資料的解析入庫效率呈“幾”字型分布,每個觀測時次的第5—20分鐘入庫率方差較大,是制約ARQCS質(zhì)量控制時效的主要時間段。設置觀測資料入庫率不低于95%為首次啟動條件,不僅比傳統(tǒng)的第15分鐘定時啟動提前了20.6 s,而且首次啟動時觀測資料入庫率不低于95%的概率從66.38%提升至95.83%。第20分鐘后入庫率僅增加1.36%,在此設置首次質(zhì)量控制的強制啟動點,可保證局部異常延時的資料服務時效。動態(tài)啟動策略使ARQCS的啟動次數(shù)由5次降為2次,平均每日節(jié)約CPU時間391 min。

        自動氣象站觀測資料;實時質(zhì)量控制;啟動策略;計算資源

        引 言

        全國自動氣象站觀測資料實時質(zhì)量控制系統(tǒng)(簡記為ARQCS)是一套基于IBM P570高性能計算環(huán)境Oracle 11g數(shù)據(jù)庫平臺的實時氣象資料業(yè)務應用系統(tǒng),包括對全國3萬多個自動氣象站逐小時觀測資料的解析入庫、質(zhì)量控制、存儲管理和共享服務等流程節(jié)點。隨著自動氣象站觀測資料在實時氣象業(yè)務服務中應用的廣泛和深入[1-5],人們對ARQCS效能的要求也越來越高。

        ARQCS始建于2009年,當時主要以單一的降水資料為例,面向?qū)崟r氣象預報服務需求,開展自動氣象站觀測資料質(zhì)量控制的業(yè)務試驗[6-8]。因質(zhì)量控制的氣象要素單一,算法相對簡單,ARQCS對計算資源的消耗并不明顯,同時,考慮到預報服務的資料時效需求,ARQCS采用每小時后第15,25,35,45,55分鐘共計5次靜態(tài)定時啟動策略,使資料的時效和完整性盡可能匹配合理。但隨著2010年ARQCS向氣溫、氣壓、降水、濕度、風向、風速6個氣象要素拓展[9-10]、2011年和2012年質(zhì)量控制算法的兩次升級以及全國自動氣象站數(shù)量的不斷增加,ARQCS中的數(shù)學邏輯愈發(fā)復雜,運算量急速增多,ARQCS每次啟動會消耗較大的計算資源。與此同時,ARQCS的5次定時啟動意味著數(shù)據(jù)庫系統(tǒng)要進行5次數(shù)據(jù)更新。相應地,資料用戶有可能會啟動5次數(shù)據(jù)庫檢索訪問,數(shù)據(jù)庫系統(tǒng)承載的檢索訪問壓力顯著增加,檢索時效必然降低[11-13]。此外,隨著全國地面報文傳輸改革的推進,ARQCS需要進行實時質(zhì)量控制的要素多達11類158項,質(zhì)量控制算法也必須進一步升級。如何在現(xiàn)有計算環(huán)境與數(shù)據(jù)庫平臺不變的前提下,繼續(xù)使資料質(zhì)量控制能力和服務時效保持較高水平,ARQCS的調(diào)度策略顯得非常重要。

        IBM P570高性能計算環(huán)境Oracle 11g數(shù)據(jù)庫平臺具有完備的數(shù)據(jù)安全性和完整性控制機制[14-16],系統(tǒng)日志完整記錄了自動氣象站觀測資料的解析入庫時效和質(zhì)量控制時效。初步分析表明,雖然局部樣本受觀測系統(tǒng)或通信系統(tǒng)延時等因素影響而呈波動狀態(tài),但對于全國3萬多個自動氣象站的總體樣本來說,資料解析入庫率隨時間變化具有一定規(guī)律,很多有關ARQCS調(diào)度策略的研究[17-19]值得借鑒。本文旨在利用2012年4月1日—9月30日數(shù)據(jù)庫平臺對ARQCS的運行監(jiān)控數(shù)據(jù),探討實時質(zhì)量控制系統(tǒng)中資料解析入庫效率、質(zhì)量控制的CPU耗時、服務時效之間的內(nèi)在關系,嘗試建立ARQCS的動態(tài)啟動策略,以提升其質(zhì)量控制效能。

        1 自動氣象站觀測資料解析入庫時效的統(tǒng)計學特征

        1.1 資料與方法

        目前,ARQCS對全國自動氣象站觀測資料的質(zhì)量控制采用逐觀測時次(當前為逐小時)清算機制。當ARQCS接收到氣象通信系統(tǒng)實時轉(zhuǎn)發(fā)的該時次自動氣象站觀測數(shù)據(jù)文件時,立即自動解析入庫;隨后ARQCS采用定時啟動的機制,基于已成功完成解析入庫的自動氣象站觀測要素數(shù)值完成質(zhì)量控制方法的判定(圖1);同時,數(shù)據(jù)庫系統(tǒng)時鐘會記錄下資料入庫時間。因此,在每個時次后的60 min時間步長內(nèi),通過系統(tǒng)時間記錄可以計算得到該時次全國自動氣象站觀測資料在任意時刻的入庫時效。為便于分析,本文選取入庫率作為資料入庫時效的定量表征指標,并以分鐘作統(tǒng)計單元,這樣第t分鐘的單分鐘入庫率(Rt)和截至第t分鐘的累計入庫率(St)分別為

        其中,Nt,Ni分別為第t,i分鐘入庫的自動氣象站數(shù)量,N0為應入庫的自動氣象站數(shù)量。本文N0為固定值(即N0=31814個站)。

        圖1 ARQCS數(shù)據(jù)流程圖Fig.1 ARQCS data flow chart

        本文使用2012年4月1日00:00—9月30日23:00(世界時,下同)IBM P570高性能計算環(huán)境Oracle 11g數(shù)據(jù)庫平臺的原始時鐘記錄。為排除通信系統(tǒng)、數(shù)據(jù)庫系統(tǒng)故障等對ARQCS的影響,本文剔除了2012年4月16日、5月5日和6月18日等9 d的樣本數(shù)據(jù),這樣有效小時樣本為4176個,利用式(1)和式(2)計算得到了250560分鐘點的單分鐘入庫率和累計入庫率。

        此外,為探討4176個有效小時樣本入庫率的規(guī)律性,本文還通過式(3)和式(4)計算出第t分鐘的平均單分鐘入庫率)和截至第t分鐘的平均累計入庫率,其中M為固定值4176。

        1.2 入庫時效的統(tǒng)計分布特征

        數(shù)據(jù)解析入庫是質(zhì)量控制的前提(圖1),把握數(shù)據(jù)入庫規(guī)律對制定質(zhì)量控制啟動策略具有重要意義。圖2a為4176個有效小時樣本的平均單分鐘入庫率在每個時次的前17 min平均單分鐘入庫率變化最為明顯,20 min之后入庫率基本保持不變,接近于零。結(jié)合業(yè)務系統(tǒng)的實際運行情況來看,前17 min的單分鐘入庫率變化可以分成3個階段:第1階段(第1—4分鐘),系統(tǒng)資源相對充足,通信系統(tǒng)來報數(shù)據(jù)隨時能夠入庫,單分鐘入庫率隨著來報數(shù)量的增加接近線性增長;第2階段(第5—10分鐘),來報相對集中,系統(tǒng)資源遇到瓶頸,出現(xiàn)數(shù)據(jù)等待入庫的情況,入庫效率基本不變;第3階段(第11—17分鐘),隨時間向后推移來報數(shù)據(jù)越來越少,單分鐘入庫率表現(xiàn)為線性下降趨勢,最終接近于零。

        圖2 1 h內(nèi)入庫率分布(a)平均單分鐘入庫率及第1—4分鐘、第5—10分鐘、第11—17分鐘擬合曲線,(b)平均累計入庫率、最低和最高5%的樣本平均累計入庫率,(c)單分鐘入庫率方差Fig.2 Distribution of entry rate(a)averaged entry rate of all samples for every minute and fitted curves from 1st to 4th minute,from 5th to 10th minute and from 11th to 17th minute,(b)averaged accumulated entry rate of all samples,the lowest 5%and the highest 5%of all samples,(c)variance of entry rate for every minute

        從平均累計入庫率St分布曲線(圖2b)可以看到,累計入庫率在1 h內(nèi)由0逐漸增加到97.80%,第14分鐘時超過90%,第17分鐘時超過95%,隨后基本保持穩(wěn)定,從第20—60分鐘僅微增1.36%。圖2b還給出累計入庫率最高5%和最低5%樣本的平均值。對比分析表明,在第4—21分鐘二者相差超過20%,第12分鐘時差距最大,差值達到58%,而在第30分鐘之后二者的差距相對穩(wěn)定地維持在7%左右。與此對應的是較大的入庫率方差(圖2c)出現(xiàn)在第5—20分鐘,最大值也出現(xiàn)在第12分鐘,第35分鐘之后方差基本保持不變。圖2a和圖2c均表明第5—20分鐘入庫率最不穩(wěn)定,數(shù)據(jù)庫系統(tǒng)的瓶頸效應明顯,受觀測系統(tǒng)或通信系統(tǒng)局部異常延時影響,不同時次之間出現(xiàn)較大差異的可能性較大,而在第35分鐘之后不同時次的累計入庫率St平均穩(wěn)定在97%的水平,且時次之間的差異較小。

        2 基于資料完整性和服務時效的ARQCS動態(tài)啟動策略

        2.1 初次啟動時間的確定

        原靜態(tài)啟動策略規(guī)定ARQCS首次啟動時間為第15分鐘。雖然首次質(zhì)控累計入庫率平均可達93.78%,但在最差的情況下只有55%左右(圖2b),并且方差較大(圖2c),表明在該時刻單分鐘入庫率Rt變化劇烈,出現(xiàn)較低累計入庫率的可能性較高;第20分鐘后Rt穩(wěn)定在較低水平(圖2a),累計入庫率St相對穩(wěn)定(圖2b)。對第15—20分鐘中的每分鐘以及第20分鐘之后有代表性的幾個時間點(選取了原靜態(tài)啟動策略下的后4次啟動時間點及1 h內(nèi)最后的第60分鐘)開展St的分段重點分析(表1)表明:在第15分鐘時,累計入庫率S15超過95%的樣本只占總樣本量的66.38%,S15在90%~95%之間的樣本占21.19%,S15低于90%樣本約占12%。在隨后的5 min內(nèi)St超過95%的樣本顯著增加,低于95%的樣本逐漸下降,第16分鐘時St在95%以上的樣本變化最為明顯,增加到74.52%,較前一分鐘增加了8.14%,第17—20分鐘St在95%以上的樣本從79.89%增加到84.89%。

        表1 不同時間累計入庫率St分段出現(xiàn)頻次占總樣本量的比例(單位:%)Table 1 The proportion of accumulated entry rate at different time(unit:%)

        上述分析表明,在第15分鐘時累計入庫率S15在95%以上的樣本只有六成左右,在隨后的幾分鐘內(nèi)常出現(xiàn)大量數(shù)據(jù)入庫的情況,原靜態(tài)啟動策略將初次啟動時間固定在第15分鐘,很可能會造成第15分鐘后幾分鐘內(nèi)即可完成入庫的部分數(shù)據(jù)未參加首次質(zhì)量控制。與此同時,95%的累計入庫率是第15分鐘后幾分鐘內(nèi)比較有希望達到的一個入庫率高值。所以,新啟動策略下將累計入庫率St達到95%的時間點確定為ARQCS的首次啟動時間。

        2.2 強制啟動時間的時效依據(jù)

        為探討每小時入庫率超過特定臨界值的可能性,本文定義累計入庫率在第t分鐘首次超過臨界值m(單位:%)的概率(Pm,t)及其累計值(Qm,t),即累計入庫率在第t分鐘前(含第t分鐘)超過m的概率:

        其中,nm,t表示累計入庫率St在第t分鐘首次超過臨界值m的樣本量,M為固定值4176。最早在第11分鐘P95,t大于零值(圖3a),累計入庫率S11達到95%。并且在圖3b中,第20分鐘Q95,20為84.89%,這表明有超過八成把握首次質(zhì)量控制發(fā)生在第20分鐘結(jié)束之前,同時保證首次啟動時St在95%以上。

        由圖3b可知,即使在第60分鐘,Q95,60也只有91.86%,這意味著有約8.14%的樣本在1 h之內(nèi)St達不到新啟動策略95%的啟動標準。第25分鐘時累計入庫率在90%~95%之間以及超過95%的比例與第20分鐘時無顯著差別(表1),隨后直到第60分鐘該比例變化相對不明顯,且在第20分鐘之后單分鐘入庫率Rt較為穩(wěn)定(圖2a),累計入庫率超過95%的概率Q95,t相對平緩(圖3b),同時考慮到下游實時業(yè)務用戶對服務時效的最大容忍程度,本文將強制啟動ARQCS的時間設為第20分鐘。

        2.3 ARQCS的逐小時自動清算機制

        從表1還可發(fā)現(xiàn),第25分鐘之后不同時刻的累計入庫率St差別較小,結(jié)合圖2a與圖2c可知,在第25分鐘之前絕大部分的數(shù)據(jù)均已完成入庫,在第25—60分鐘的半個多小時內(nèi)只有個別數(shù)據(jù)零星入庫。這就意味著靜態(tài)質(zhì)量控制啟動策略在第25,35,45,55分鐘的4次質(zhì)量控制過程會對基本相同的已入庫數(shù)據(jù)進行多次重復計算,這會造成較大的計算資源消耗,同時用戶檢索的多次跟進會造成數(shù)據(jù)庫系統(tǒng)的工作壓力隨之增加。

        同時由圖2b可以發(fā)現(xiàn),在第20—60分鐘的40 min時間里,還會有平均1.36%的數(shù)據(jù)在ARQCS首次啟動之后完成入庫,而這一比例在最壞情況下高達17.90%。考慮到目前全國考核自動氣象站已達3萬余站,首次啟動后入庫的站數(shù)所占比例雖小,但每份站點數(shù)據(jù)對于提高資料完整性、開展預報與服務均有意義。因此,為了盡可能保證數(shù)據(jù)的完整性,同時減少重復計算造成的資源浪費,本文保留原有啟動策略中的最后一次啟動,即在第55分鐘時完成ARQCS的逐小時自動清算,相應的累計入庫率平均情況下為97.77%,最壞情況下為92.83%,最好情況下為99.01%。

        圖3 累計入庫率St首次超過95%的樣本量占總樣本量的比例P95,t(a)及其累計值Q95,t(b)Fig.3 The proportion of different time when the accumulated entry rate reaches 95%for the first time in an hour(a)and its accumulated value(b)

        3 ARQCS動態(tài)啟動策略的業(yè)務試驗

        3.1 系統(tǒng)實現(xiàn)

        為實現(xiàn)ARQCS的動態(tài)啟動策略,在原系統(tǒng)流程(圖1)的數(shù)據(jù)提取步驟前增加數(shù)據(jù)提取前統(tǒng)計步驟。根據(jù)前文的分析,本文選取了5個決定ARQCS啟動策略的關鍵參數(shù)(表2)。當滿足累計入庫率不小于觸發(fā)啟動的入庫率臨界值時,ARQCS將首次啟動;如果到強制啟動時間(第20分鐘)累計入庫率St仍未滿足,ARQCS將強制首次啟動。在此之后,系統(tǒng)將在逐小時自動清算啟動時間(第55分鐘)到達時再次啟動,以使稍遲入庫的數(shù)據(jù)盡可能完整地參與質(zhì)量控制。

        3.2 業(yè)務模擬試驗效果

        為檢驗動態(tài)啟動策略的運行效果,基于IBM P570高性能計算環(huán)境Oracle 11g數(shù)據(jù)庫平臺,2012年9月22—30日共進行了216 h的業(yè)務模擬試驗。本文從首次啟動時間T1的變化、新增步驟對單次啟動系統(tǒng)開銷的影響、系統(tǒng)整體運行效果的提升等方面對試驗效果進行測評。

        表2 ARQCS動態(tài)啟動策略參數(shù)表Table 2 ARQCS dynamic starting strategy parameters

        3.2.1 首次啟動時間的變化情況

        系統(tǒng)首次啟動時間T1在進行業(yè)務模擬試驗的9 d時間里,ARQCS在新策略下的實際首次啟動時間較原首次啟動時間(第15分鐘)平均提前20.6 s(圖略)。各小時首次啟動時間的頻次分布如圖4所示,最早在第13分鐘啟動,共出現(xiàn)5次,在216 h業(yè)務模擬試驗中占2.31%;最遲在第20分鐘啟動,共出現(xiàn)9次,占總數(shù)的4.17%,在絕大多數(shù)情況下ARQCS首次啟動時St超過95%。

        圖4 2012年9月22—30日首次啟動時間T1頻次分布圖Fig.4 Distribution of the 1st starting time from 22 Sep to 30 Sep in 2012

        3.2.2 新增步驟對單次啟動系統(tǒng)開銷的影響

        流程調(diào)整所帶來的系統(tǒng)性能變化是評定新啟動策略可行性的一項重要指標。試驗結(jié)果表明,對原ARQCS增加的數(shù)據(jù)提取前統(tǒng)計步驟單次查詢平均耗時為0.0136 s,僅占調(diào)整前數(shù)據(jù)提取步驟平均耗時(7.25 s,2012年7月23—24日的240次操作的平均值)的0.19%,最壞耗時0.03 s(圖略),基本滿足對ARQCS的整體運行效果不會造成過多負荷的預期效果。首次啟動前平均進行27次統(tǒng)計查詢(圖5),最多進行66次查詢,即入庫量在第20分鐘前的歷次查詢中均未滿足啟動條件,直到第20分鐘時系統(tǒng)達到強制啟動時間才首次啟動(共有9次試驗為此情況,僅占4.17%)。

        圖5 2012年9月22—30日新增數(shù)據(jù)提取前統(tǒng)計步驟查詢次數(shù)Fig.5 Search times of newly added statistic step before data acquiring from 22 Sep to 30 Sep in 2012

        3.2.3 系統(tǒng)整體運行效果的提升

        圖6 2012年9月22—30日啟動策略調(diào)整前后每小時累計CPU耗時效果對比圖Fig.6 Accumulated CPU time costing per hour before and after changing starting strategy from 22 Sep to 30 Sep in 2012

        增加數(shù)據(jù)提取前統(tǒng)計步驟以后,因ARQCS的啟動引入了入庫時效因子,后續(xù)流程得以優(yōu)化調(diào)整,原來5次系統(tǒng)啟動可減少為2次。在原靜態(tài)啟動策略下,平均每小時累計耗時26.5 min(圖6),首次啟動時間為整點后的第15分鐘;采用動態(tài)啟動策略后,平均每小時累計耗時為10.2 min。ARQCS的整體計算性能開銷大幅下降,平均每小時節(jié)省出的16.3 min計算資源可以有效緩解緊張的系統(tǒng)性能消耗。在進行業(yè)務模擬試驗的9 d時間里,采用動態(tài)啟動策略調(diào)整之后首次啟動的平均累計入庫率St高達94.91%,較原靜態(tài)啟動策略下首次啟動時的平均累計入庫率93.78%有1.13%的提升;在第55分鐘執(zhí)行清算時,平均累計入庫率為99.71%,接近100%的完整性水平。

        4 結(jié)論與討論

        本文利用數(shù)據(jù)庫平臺對ARQCS的運行監(jiān)控數(shù)據(jù),探討了ARQCS的啟動策略及其與資料解析入庫率、ARQCS的CPU耗時、服務時效之間的關系,得到了以下初步結(jié)論:

        1)統(tǒng)計分析發(fā)現(xiàn),自動氣象站資料的解析入庫效率呈“幾”字型分布,具有前段攀升、中段持平、后段回落的特征。每個觀測時次的第5—20分鐘入庫率方差較大,系統(tǒng)資源在集中來報時遇到瓶頸,是制約ARQCS質(zhì)量控制效果的主要時間段。

        2)設置觀測資料入庫率不低于95%為首次質(zhì)量控制啟動時間,不僅比傳統(tǒng)的第15分鐘定時啟動提前了20.6 s,而且首次啟動時觀測資料入庫率不低于95%的概率從66.38%提升至95.83%。第20分鐘后平均入庫率僅增加1.36%,在此設置首次質(zhì)量控制的強制啟動點,可保證觀測系統(tǒng)或通信系統(tǒng)局部異常延時的資料服務時效。對于平均入庫率在第20分鐘后微增的情況,在第55分鐘時完成逐小時自動清算,清算啟動時的平均累計入庫率可達99.71%。

        3)在動態(tài)啟動策略的系統(tǒng)實現(xiàn)中,對數(shù)據(jù)提取步驟進行調(diào)整,所增加的數(shù)據(jù)提取前統(tǒng)計步驟單次查詢平均耗時為0.0136 s,未對ARQCS單次啟動的系統(tǒng)開銷產(chǎn)生過多增加。ARQCS的啟動次數(shù)從5次優(yōu)化為2次,每個觀測時次的總CPU耗時由26.5 min降為10.2 min,平均每天節(jié)約CPU時間391 min。

        在現(xiàn)有計算環(huán)境與數(shù)據(jù)庫平臺不變的前提下,ARQCS動態(tài)啟動策略有效降低了計算資源消耗,提高了系統(tǒng)的整體服務時效。它在慮及自動氣象站入庫率波動變化的前提下,使ARQCS啟動時間點的選擇具備一定的自適應能力,業(yè)務系統(tǒng)的魯棒性整體提升。但在目前實時資料存儲服務架構(gòu)下,數(shù)據(jù)庫吞吐率等影響系統(tǒng)整體性能的瓶頸依然存在。如果未來系統(tǒng)整體架構(gòu)有所改變,能夠有效降低或消除數(shù)據(jù)庫吞吐率對系統(tǒng)性能的影響,ARQCS也將調(diào)整以適應新的數(shù)據(jù)存儲服務體系。

        [1] 鈐偉妙,羅亞麗,張人禾,等.引發(fā)舟曲特大泥石流災害強降雨過程成因.應用氣象學報,2011,22(4):385-397.

        [2] 易笑園,李澤椿,孫曉磊,等.渤海西岸暴雨中尺度對流系統(tǒng)的結(jié)構(gòu)及成因.應用氣象學報,2011,22(1):23-34.

        [3] 李瑞萍,程艷芳,趙彩萍,等.加密自動站資料在強對流天氣分析預報中的應用.氣象科技,2012,40(4):596-600.

        [4] 閔晶晶,劉還珠,曹曉鐘,等.天津“6.25”大冰雹過程的中尺度特征及成因.應用氣象學報,2011,22(5):525-536.

        [5] 何立富,周慶亮,陳濤.“05.6”華南暴雨中低緯度系統(tǒng)活動及相互作用.應用氣象學報,2010,21(4):385-394.

        [6] 任芝花,趙平,張強,等.適用于全國自動站小時降水資料的質(zhì)量控制方法.氣象,2010,36(7):123-132.

        [7] 任芝花,許松,孫化南,等.全球地面天氣報歷史資料質(zhì)量檢查與分析.應用氣象學報,2006,17(4):412-420.

        [8] 劉小寧,鞠曉慧,范邵華.空間回歸檢驗方法在氣象資料質(zhì)量檢驗中的應用.應用氣象學報,2006,17(1):37-42.

        [9] 趙煜飛,任芝花,張強.適用于全國氣象自動站正點相對濕度資料的質(zhì)量控制方法.氣象科學,2011,31(6):687-693.

        [10] 鞠曉慧,任芝花,張強.自動站小時氣壓的質(zhì)量控制方法研究.安徽農(nóng)業(yè)科學,2010,38(27):15130-15133.

        [11] 林子雨,楊冬青,王騰蛟,等.基于關系數(shù)據(jù)庫的關鍵詞查詢.軟件學報,2010,21(10):2454-2476.

        [12] 崔躍生,張勇,曾春,等.數(shù)據(jù)庫物理結(jié)構(gòu)優(yōu)化技術.軟件學報,2013,24(4):761-780.

        [13] 劉波,范士明,劉華.實時數(shù)據(jù)庫混合索引機制的設計與實現(xiàn).計算機應用,2011,31(8):2265-2269.

        [14] 文平.Oracle大型數(shù)據(jù)庫系統(tǒng)在AIX/UNIX上的實戰(zhàn)詳解.北京:電子工業(yè)出版社,2012:593-605.

        [15] 劉憲軍.Oracle RAC 11g實戰(zhàn)指南.北京:機械工業(yè)出版社,2011:6-7.

        [16] 沈宏.Oracle最新技術戰(zhàn)略和產(chǎn)品方向及11G新特點.2011:36.http:∥www.oracle.com/technetwork/cn/community/developer-day/5-oracle-db-platform-11g-1432258-zhs.pdf.

        [17] 楊志邦,徐成,周旭,等.實時系統(tǒng)中彈性調(diào)度策略.計算機應用,2012(2):573-577.

        [18] 鄒勇,淮曉永,李明樹.開放式實時系統(tǒng)中的自適應調(diào)度方法.計算機學報,2004,27(1):58-65.

        [19] 鐘樑,劉曉燕,張晶,等.開放式實時系統(tǒng)資源共享環(huán)境下的調(diào)度方法分析.小型微型計算機系統(tǒng),2012,33(11):2362-2366.

        ARQCSStarting Strategy and Its Relationship with Computing Resource Cost

        Liu Yiming Zhou Zijiang Yuan Fang Ruan Yuzhi He Wenchun Sun Chao Liu Yuanyuan
        (National Meteorological Information Center,Beijing100081)

        AWS Observation Data Real-time Quality Control System (ARQCS)is an operational real-time meteorological data application system under IBM P570 high performance computing(HPC)Oracle 11g database platform.Functions including data decoding,database inserting,quality control(QC),storage management and share service are provided for more than 30000 AWS all over China.In 2009,when ARQCSis firstly built,QC methods including boundary value check,internal consistency check,time consistency check and spatial consistency check is applied to only 1 element of hourly precipitation.And the starting strategy is a static one,which start ARQCS at the 15th,25th,35th,45th and 55th minute every hour.Later in 2010,QC methods of other important meteorological elements including air temperature,air pressure,humidity,wind direction and speed get to be applied in ARQCS.Meanwhile,the system computing logic is made more complex after 2 times of updating in 2011 and 2012.Now,it is planned to extend ARQCS to 158 elements in 11 classes totally,which need more calculating resources accordingly.To guarantee QC capability and service timeliness of ARQCSin a high level under limited computing resources,a series of schemes are designed and investigated.System log under IBM P570 HPC Oracle database environment from 1st April to 30th Sep in 2012 is used to analyze ARQCS performance.It is found that the database entry rate(ER)of AWS data exhibits a trapezoid shaped distribution,and variance of ER is large from the 5th to the 20th minute in one hour,which means accumulated ER at the 15th minute is unstable and a low accumulated ER may be got if ARQCS starts at this time.It also indicates that an accumulated ER of 95%is very possible(84.89%)to get before the 20th minute,and accumulated ER is increased by only 1.36%after the 20th minute in average.So a new dynamic starting strategy is employed,that ARQCS starts for the first time when accumulated ER gets more than 95%or until the 20th minute,and starts for the second time at the 55th minute.With this approach,the possibility for accumulated ER over 95%at the 1st QC starting is increased by 29% (from 66.38%to 95.83%).And the average 1st QC starting time is 20.6 seconds before the 15th minute in original static starting strategy.Also,less number of starts from 5 to 2 decrease the CPU time cost from 26.5 minutes to 10.2 minutes per hour,which means saving 391 minutes CPU time per day.It is concluded that the dynamic starting strategy is effective for ARQCS starting adaptively and ensures system robustness.

        AWS observation data;real-time quality control;starting strategy;computing resource

        劉一鳴,周自江,遠芳,等.ARQCS啟動策略及其與資源消耗的關系.應用氣象學報,2014,25(4):505-512.

        2013-12-02收到,2014-05-05收到再改稿。

        中國氣象局氣象關鍵技術集成與應用面上項目(CMAGJ2013M67),中國氣象局氣象關鍵技術集成與應用重點項目(CMAGJ2013Z01)

        *email:yimingliu@aliyun.com

        猜你喜歡
        氣象站時效入庫
        珠峰上架起世界最高氣象站
        重磅!廣東省“三舊”改造標圖入庫標準正式發(fā)布!
        中國食品品牌庫入庫企業(yè)信息公示①
        中國食品(2021年2期)2021-02-24 03:55:35
        心靈氣象站
        趣味(語文)(2019年3期)2019-06-12 08:50:14
        J75鋼的時效處理工藝
        一種新型耐熱合金GY200的長期時效組織與性能
        上海金屬(2016年3期)2016-11-23 05:19:47
        環(huán)保執(zhí)法如何把握對違法建設項目的追責時效?
        自動氣象站應該注意的一些防雷問題
        身臨其境探究竟 主動思考完任務——《倉儲與配送實務》入庫作業(yè)之“入庫訂單處理”教學案例
        人間(2015年8期)2016-01-09 13:12:42
        X80管線鋼的應變時效行為研究
        上海金屬(2014年1期)2014-12-18 06:51:59
        国产 国语对白 露脸| av天堂手机在线免费| 用力草我小逼视频在线播放| 国产精品久久国产精麻豆| 亚洲av高清不卡免费在线| 精品人妻一区三区蜜桃| 国产熟妇与子伦hd| 免费a级毛片无码a∨免费软件| 日韩一欧美内射在线观看| 亚洲最大无码AV网站观看| 淫妇日韩中文字幕在线| 人妻中出中文字幕在线| 中文字幕34一区二区| 丰满少妇高潮惨叫久久久| 免费无码中文字幕a级毛片| 亚洲av无码第一区二区三区 | 嗯啊好爽高潮了在线观看| 婷婷色香五月综合激激情| 国产午夜亚洲精品午夜鲁丝片| 日韩中文字幕中文有码| 美女裸体无遮挡黄污网站| 一本久久伊人热热精品中文| 人妻少妇中文字幕久久hd高清| 媚药丝袜美女高清一二区| 人妻在卧室被老板疯狂进入| 国产亚洲午夜高清国产拍精品| 久久久久99精品成人片试看| 久久亚洲av成人无码软件| 久久精品国产亚洲av成人无人区 | 国产精品成人av大片| 吃奶摸下高潮60分钟免费视频| 少妇久久久久久被弄到高潮| 暖暖免费 高清 日本社区在线观看| 老熟女熟妇嗷嗷叫91| 亚洲视频观看一区二区| 国产毛片av一区二区| 午夜福利理论片在线观看| 人妻影音先锋啪啪av资源| 久久亚洲AV成人一二三区| 中文字幕亚洲日本va| 国语对白在线观看免费|