亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        大數(shù)據(jù)存儲研究“大有可為”

        2020-12-05 06:58:42鄭緯民
        中國科技財富 2020年10期
        關(guān)鍵詞:存儲系統(tǒng)磁盤系統(tǒng)

        文/鄭緯民

        數(shù)據(jù)存儲的意義,用一句話概括就是“記錄當下,相約未來”。

        數(shù)據(jù)存儲完成了數(shù)據(jù)在時間維度的傳播和跨越,將今天人的智慧、故事、喜怒哀樂、悲歡離愁忠實地記錄下來,供未來的人體驗、學習、借鑒和欣賞。

        在計算機產(chǎn)生之前,人們記載這些故事和智慧的手段是紙和筆,能夠承載和傳遞的信息量十分有限,在現(xiàn)代電子計算機誕生這半個多世紀以來,存儲介質(zhì)發(fā)生了天翻地覆的變化,從早期的打孔紙帶、磁帶到磁盤、固態(tài)盤,再到近些年新涌現(xiàn)的非易失存儲等,負載特征和訪問模式也早已今非昔比,唯一不變的是計算機存儲系統(tǒng)研究在整個計算機領(lǐng)域中的基礎(chǔ)地位和重要意義。

        從學科建設(shè)的角度來看,幾乎沒有一個應(yīng)用和數(shù)據(jù)訪問完全沒有關(guān)系的,所以對于任何一個應(yīng)用來說,在給定訪問模式的前提下,如果希望能夠在現(xiàn)有的硬件上充分發(fā)揮數(shù)據(jù)的讀寫性能,就離不開高效的存儲系統(tǒng)。

        從時代特點來看,我們已經(jīng)進入一個大數(shù)據(jù)時代,全球的數(shù)據(jù)量積累速度加快,數(shù)據(jù)來源和種類多樣、可信度低、價值密度低,所以在這樣一個時代,研究設(shè)計新的存儲系統(tǒng)大有可為。

        從國家需求和戰(zhàn)略發(fā)展來看,數(shù)據(jù)是影響國計民生的戰(zhàn)略資源,我國在“十三五”期間集中建設(shè)數(shù)字中國、網(wǎng)絡(luò)強國,經(jīng)過近五年的開拓創(chuàng)新和銳意進取,我國數(shù)字產(chǎn)業(yè)、網(wǎng)絡(luò)產(chǎn)業(yè)蓬勃發(fā)展,數(shù)字經(jīng)濟、共享經(jīng)濟、人工智能、大數(shù)據(jù)、云計算等已經(jīng)飛入尋常百姓家。

        例如在這次抗擊新冠肺炎疫情的過程中,基于大數(shù)據(jù)的密切接觸者追蹤、篩查技術(shù)就為迅速控制住疫情作出重大貢獻。但從另一方面來說,這也意味著我國經(jīng)濟社會對于數(shù)據(jù)的依存度在不斷上升,盡管我們在計算機領(lǐng)域已經(jīng)取得長足發(fā)展,但是在一些關(guān)鍵技術(shù)上依舊和發(fā)達國家差距較大,其中就包括大數(shù)據(jù)存儲系統(tǒng),不斷上升的數(shù)據(jù)依存度意味著這些技術(shù)短板帶來潛在國家信息安全隱患和發(fā)生系統(tǒng)性重大風險挑戰(zhàn)的可能性也在不斷上升。站在風口浪尖之上,推動我國存儲技術(shù)的持續(xù)發(fā)展,成為這一代計算機人責無旁貸的使命與擔當。

        結(jié)合大數(shù)據(jù)存儲的新特點和新挑戰(zhàn),我認為研究工作應(yīng)主要圍繞存儲系統(tǒng)擴展性、可靠性和集約性三個方面展開。

        存儲的可擴展性的主要問題在于,存儲系統(tǒng)的建設(shè)往往無法一步建設(shè)到位,特別是在大數(shù)據(jù)時代,數(shù)據(jù)的增長速度往往遠遠超過預期,因此必須要實現(xiàn)存儲容量隨著數(shù)據(jù)量的增加能夠逐步動態(tài)擴展。

        這個問題主要的挑戰(zhàn)有兩個,一個是設(shè)備和網(wǎng)絡(luò)選擇方面,往往擴展時必須選擇原來類型的磁盤,新型號的磁盤不行,不同的廠家更不行;二是在線擴展的效率較低,在給一個系統(tǒng)增加了空的磁盤之后,需要在新舊磁盤之間重新分布數(shù)據(jù),從而提高整個系統(tǒng)的讀寫性能,但是在線擴展過程非常慢。

        針對第一個問題,我們團隊設(shè)計了一種可擴展的網(wǎng)絡(luò)存儲系統(tǒng)結(jié)構(gòu),實現(xiàn)了系統(tǒng)和存儲設(shè)備的解耦,可以把異構(gòu)的存儲設(shè)備、IO網(wǎng)絡(luò)集成到一個系統(tǒng)中。針對第二個問題,我們團隊通過觀察發(fā)現(xiàn)一種可重排序窗口特性,基于這一特性采用數(shù)據(jù)批量并行遷移、元數(shù)據(jù)懶惰更新、數(shù)據(jù)遷移量最小化等方法,顯著提高了擴展的執(zhí)行速度。

        存儲的可靠性的主要問題在于,在大數(shù)據(jù)存儲系統(tǒng)中,存儲設(shè)備類多量大,設(shè)備出錯成為一種常態(tài),可靠性不足造成的損失越來越大。IBM對400家公司的調(diào)研表明,由于數(shù)據(jù)損失和宕機給這些企業(yè)帶來的損失高達7000億美元。

        存儲的可靠性保證方法有兩種類型,一種是容災,基本思路是做跨數(shù)據(jù)中心的異地備份,主要用于避免各種因為災害、戰(zhàn)爭、恐怖襲擊導致的系統(tǒng)總體毀損;另一種是容錯,基本思路是通過增加設(shè)備冗余、數(shù)據(jù)恢復等手段,主要用于避免因為存儲部件失效造成的部分數(shù)據(jù)丟失。

        針對容災框架一致性保證困難,數(shù)據(jù)依賴關(guān)系復雜的挑戰(zhàn),我們團隊提出了一種結(jié)構(gòu)無關(guān)的容災框架,實現(xiàn)了進程狀態(tài)和用戶數(shù)據(jù)一起備份的全系統(tǒng)保護思想,設(shè)計了并行流水的恢復機制。針對容錯問題,我們提出了一種輕量編碼方法,設(shè)計了一整套防止數(shù)據(jù)丟失、無需管理員維護的自維護系統(tǒng),能夠用較少的存儲空間使得數(shù)據(jù)不會丟失,系統(tǒng)在生命周期內(nèi)免人工維護。

        存儲的集約性的主要問題在于,面對數(shù)據(jù)產(chǎn)生的速度遠快于磁盤生產(chǎn)速度造成的數(shù)據(jù)產(chǎn)生和存儲容量之間的缺口,如何能夠去除系統(tǒng)中的重復文件和冗余數(shù)據(jù)塊,盡量降低存儲開銷。例如通過調(diào)研,我們發(fā)現(xiàn)在蘭州大學、清華大學校園網(wǎng)絡(luò)存儲的數(shù)據(jù)中,相同的文件存儲副本數(shù)平均達20個,單個文件存儲備份最高達1萬個,因此利用不同用戶之間存在很多內(nèi)容相同的文件這一特點,我們可以通過用戶共享來去掉這些重復的文件,從而節(jié)省存儲空間。

        在此基礎(chǔ)之上,我們團隊在云存儲系統(tǒng)中引入實體化社區(qū),采用面向共享的存儲資源自適應(yīng)組織和數(shù)據(jù)共享管控等關(guān)鍵技術(shù),實現(xiàn)了數(shù)十倍的數(shù)據(jù)共享率,大幅節(jié)省了存儲空間和主干網(wǎng)的流量費用。此外,針對現(xiàn)有主存儲中存有大量相似數(shù)據(jù)塊的問題,我們提出通過位置敏感哈希識別數(shù)據(jù)段的主存儲內(nèi)嵌刪冗方法,刪冗率達到30-70%,基于該方法,我們設(shè)計實現(xiàn)了高效刪冗的存儲系統(tǒng)。

        我們的研究工作就是研究并設(shè)計可以高效擴展、高可靠、既能夠抵御一般性錯誤也能夠抵御各類災難、同時還高度集約,能夠高效存儲大量數(shù)據(jù)的大數(shù)據(jù)存儲系統(tǒng)。近年來,我們的研究成果用于影響國計民生和社會發(fā)展的近數(shù)千家單位,惠及數(shù)千萬用戶,取得顯著經(jīng)濟和社會效益。未來,我們還將繼續(xù)厚植大數(shù)據(jù)存儲系統(tǒng)的科學研究,爭取做出更多有價值、有分量的成果,經(jīng)得起時代、歷史和人民的檢驗。

        猜你喜歡
        存儲系統(tǒng)磁盤系統(tǒng)
        Smartflower POP 一體式光伏系統(tǒng)
        WJ-700無人機系統(tǒng)
        ZC系列無人機遙感系統(tǒng)
        北京測繪(2020年12期)2020-12-29 01:33:58
        分布式存儲系統(tǒng)在企業(yè)檔案管理中的應(yīng)用
        哈爾濱軸承(2020年2期)2020-11-06 09:22:36
        解決Windows磁盤簽名沖突
        電腦愛好者(2019年2期)2019-10-30 03:45:31
        天河超算存儲系統(tǒng)在美創(chuàng)佳績
        修改磁盤屬性
        連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
        磁盤組群組及iSCSI Target設(shè)置
        創(chuàng)建VSAN群集
        国产亚洲精品成人aa片新蒲金| 少妇裸淫交视频免费看| 伊人久久亚洲精品中文字幕| 一本无码中文字幕在线观| 亚洲乱妇熟女爽到高潮视频高清| 五十六十日本老熟妇乱| 三年片大全在线观看免费观看大全 | 国产成a人亚洲精v品无码性色| 亚洲激情人体艺术视频| av毛片在线播放网址| 久久日韩精品一区二区| 国产欧美日韩一区二区三区| 久久精品国产亚洲av电影| 亚洲综合色婷婷七月丁香| 久久久精品国产免费看| 人妻夜夜爽天天爽三区| 国产nv精品你懂得| 综合久久青青草免费观看视频| 女主播啪啪大秀免费观看| 99精品国产成人一区二区| 日日碰狠狠躁久久躁96avv| 人妻中文字幕不卡精品| 日韩精品自拍一区二区| 久久婷婷国产综合精品| 国自产偷精品不卡在线| 国产传媒在线视频| 最新天堂一区二区三区| 国产精品美女久久久久av超清| 国产又爽又黄的激情精品视频| 国产在线精品亚洲视频在线| 99久久精品在线视频| 成人欧美日韩一区二区三区| 双腿张开被9个黑人调教影片| 中文字幕一区二区三区在线视频| 色婷婷久久精品一区二区| 亚洲日本va中文字幕| 免费看一级a女人自慰免费| 色婷婷久久综合中文久久一本| 亚洲字幕中文综合久久| 免费a级毛片无码a∨男男| 亚洲人成综合网站在线|