分片
- 一種基于分片的斷點續(xù)傳方法的實現(xiàn)
，提出了一種基于分片的文件斷點續(xù)傳方法，對需上傳的文件按照一定的規(guī)則進行分片，并結合多線程，提高上傳效率，同時采用斷點續(xù)傳的方式，解決上傳失敗后要全部重新上傳的問題。1 常用的文件上傳方法文件上傳的方式一般分為簡單文件上傳和文件斷點續(xù)傳兩種[6]。簡單文件上傳是指用戶通過客戶端（如瀏覽器）將文件傳輸?shù)椒掌鬟M行保存，在傳輸過程中，服務器不保存文件上傳的狀態(tài)，如果傳輸過程中出現(xiàn)任何問題造成文件傳輸中止，文件需要重新傳輸。文件斷點續(xù)傳是指在使用文件斷點續(xù)傳服務
電子設計工程 2023年23期2023-12-09
- 針對區(qū)塊鏈狀態(tài)分片合謀攻擊的改進方案
,開發(fā)者們提出了分片[6]、DAG[7]、狀態(tài)通道[8-9]、側鏈[10]等多種擴容方案。對比各種擴容方案,分片是最有希望能夠實現(xiàn)高性能而不降低去中心化程度的擴容方案。分片包括網(wǎng)絡分片、交易分片和狀態(tài)分片[11]。其中網(wǎng)絡分片在網(wǎng)絡層將所有節(jié)點劃分到了不同的分片中[12]。交易分片將全網(wǎng)交易劃分到不同的分片中驗證和打包,全網(wǎng)多個分片可以同時打包和驗證不同的交易,并行處理,從而提升全網(wǎng)的整體性能。狀態(tài)分片將完整的賬本信息分別存儲到各個分片當中,各個節(jié)點不再存
計算機應用與軟件 2023年9期2023-10-09
- 面向工業(yè)互聯(lián)網(wǎng)的區(qū)塊鏈分層分片研究
聯(lián)網(wǎng)場景［7］。分片技術是提升區(qū)塊鏈吞吐量最直接有效的手段［8］。將分片技術應用于區(qū)塊鏈就是將原始的區(qū)塊鏈網(wǎng)絡拆分為若干小規(guī)模的區(qū)塊鏈網(wǎng)絡，每個網(wǎng)絡都由原始網(wǎng)絡中的一部分節(jié)點構成，稱為分片。在整個網(wǎng)絡中的交易會被分配到不同分片進行并行處理，因此能夠近似線性地提升區(qū)塊鏈的吞吐量［9］。文獻［10］提出一種基于公有鏈的分片方案ELASTICO。在ELASTICO 的每個共識周期中，參與者都需要計算出工作量證明（Proof of Work，PoW）答案，該答案用
計算機工程 2023年3期2023-03-16
- MinIO分片大小對文件上傳性能的影響
當前主要采用文件分片技術在服務器端對分片文件進行合并[5-6]，MinIO原生就是支持文件分片。文中利用MinIO支持文件分片的特性，采用不同分片大小對文件上傳在響應時間、并發(fā)數(shù)目和持續(xù)時間上進行性能實驗，找到當前集群部署環(huán)境下適合的分片大小。1 MinIO簡介MinIO 是一個基于Apache License v2.0 開源協(xié)議的對象存儲服務，它兼容亞馬遜S3 云存儲服務接口。MinIO 對象存儲系統(tǒng)是為 海量數(shù)據(jù)存儲、人工智能、大數(shù)據(jù)分析而設計，它適合
計算機時代 2023年1期2023-01-30
- 狀態(tài)分片中交易過載處理的節(jié)點競選方案
包括側鏈[4]、分片技術[5]、DAG（directed acyclic graph）技術等[6]。分片是目前最有效的實現(xiàn)高性能而不降低去中心化程度的區(qū)塊鏈擴容方案。分片的思想是“分而治之”，在區(qū)塊鏈系統(tǒng)中，分片是指將事務和存儲劃分為不同的分組，每個分組并行處理交易，從而提升區(qū)塊鏈的性能[7]。分片包括網(wǎng)絡分片、交易分片、狀態(tài)分片等，其中狀態(tài)分片難度最大，狀態(tài)分片在網(wǎng)絡分片和交易分片的基礎上，不僅將交易處理并行化，且因每個分片只存儲與本分片交易相關的狀態(tài)信
計算機工程與應用 2022年22期2022-11-20
- 結合深度強化學習的區(qū)塊鏈分片系統(tǒng)性能優(yōu)化
為有效的方式是將分片技術應用到區(qū)塊鏈中，并對區(qū)塊鏈體系結構進行重新設計。因此，近年來學術界不斷探索在改進的體系結構中利用分片技術的優(yōu)化控制方法提高區(qū)塊鏈吞吐量。目前對于提高區(qū)塊鏈吞吐量的主要方法分為靜態(tài)優(yōu)化方法與動態(tài)優(yōu)化方法。靜態(tài)優(yōu)化方法是指區(qū)塊鏈采用分片技術時，使用的分片策略一直固定不變。采用靜態(tài)優(yōu)化方法的研究有文獻[2-5]。以上研究對于區(qū)塊鏈的分片選擇均是靜態(tài)策略，這不符合動態(tài)的區(qū)塊鏈環(huán)境。因此，有研究提出動態(tài)優(yōu)化方法，將分片技術與深度強化學習（de
計算機工程與應用 2022年19期2022-10-18
- 基于MongoDB 分片集群的海量數(shù)據(jù)存儲設計
。MongoDB分片復制集群，將數(shù)據(jù)分散到不同的MongoDB 節(jié)點，具有負載均衡、故障切換和故障恢復等特點，適合存儲衛(wèi)星影像等海量小文件數(shù)據(jù)，能夠提供更大的讀寫吞吐量。2 MongoDB分片復制集群MongoDB 高可用集群有主從復制（Master-Slaver）、副本集（Replica Set）和分片（Sharding）模式三種部署模式。如表1 所示。表1：分片、副本集集群對比主從復制（Master-Slaver）模式不推薦使用，主節(jié)點宕機不能自動恢復
電子技術與軟件工程 2022年7期2022-07-11
- 利用狀態(tài)歸約處理跨分片交易的多輪驗證方案①
擴容技術主要包括分片方案[5]、DAG[6]、擴塊[7,8]、側鏈技術[9]、狀態(tài)通道[10]等. 其中分片方案是目前擴容技術中最為可行的方案, 它利用“分而治之”的思想, 將區(qū)塊鏈的存儲和負載分散到并行分片上. 目前分片分為網(wǎng)絡分片、交易分片和狀態(tài)分片, 網(wǎng)絡分片是將全網(wǎng)節(jié)點劃分到不同分片中, 是交易分片和狀態(tài)分片的基礎[11]; 交易分片是將全網(wǎng)交易劃分到不同的分片中進行驗證和打包, 全網(wǎng)多個分片通過并行對交易進行驗證和打包可以在一定程度上提升公鏈的性
計算機系統(tǒng)應用 2022年5期2022-06-27
- 聯(lián)合分布算法對區(qū)塊鏈分片的穩(wěn)定性分析優(yōu)化研究
塊鏈網(wǎng)絡可以通過分片實現(xiàn)吞吐量的提高，但分片會降低區(qū)塊鏈的穩(wěn)定性，因此需要在分片前針對各個委員會失敗概率進行預評估，得到具有較高穩(wěn)定性的分片方案[1-6].Hafid等提出的使用Hoeffding邊界算法分析區(qū)塊鏈協(xié)議的穩(wěn)定性，計算單個委員會的失敗概率并乘以委員會數(shù)量得到分片失敗概率的精確邊界，適用于二項分布和超幾何分布的隨機變量[7].Zamani等提出了一種RapidChain方案，其中的穩(wěn)定性分析算法使用超幾何分布對分片節(jié)點進行建模采樣，能準確地計算
四川大學學報（自然科學版） 2022年3期2022-06-17
- 區(qū)塊鏈分片技術綜述
將數(shù)據(jù)庫中擴容的分片方式［2-4］與區(qū)塊鏈技術相結合，自此之后，關于區(qū)塊鏈分片技術的研究一直層出不窮，不少學者從分布式賬本、共識機制、分片方式等方面針對分片技術進行了大量研究。區(qū)塊鏈主要包括網(wǎng)絡分片、交易分片、狀態(tài)分片3 種分片方式，其中，網(wǎng)絡分片是基礎，狀態(tài)分片是瓶頸。網(wǎng)絡分片通過一定的組織方式將整個網(wǎng)絡分成不同分片，各個分片并行處理整個區(qū)塊鏈中的部分交易，各部分交易完全不同，從而同時完成多筆交易驗證。交易分片使得各個網(wǎng)絡分片對交易具有更強的處理能力，其
計算機工程 2022年6期2022-06-16
- 物聯(lián)網(wǎng)區(qū)塊鏈中基于演化博弈的分片算法
提出。其中，網(wǎng)絡分片被認為是解決區(qū)塊鏈可擴展性問題及提升區(qū)塊鏈性能最主要的技術之一[7-10]。分片通過將整個區(qū)塊鏈網(wǎng)絡拆分為多個子網(wǎng)絡，每個子網(wǎng)絡由一個不同的節(jié)點集合進行維護，交易在不同的子網(wǎng)絡內并行處理。由于每個區(qū)塊鏈節(jié)點不必處理系統(tǒng)中所有的交易，因此極大地提升了網(wǎng)絡的交易處理性能。盡管如此，現(xiàn)有的區(qū)塊鏈分片算法仍存在一些挑戰(zhàn)[8]。首先，網(wǎng)絡分片大小是需要考慮的問題，當網(wǎng)絡分片數(shù)目較多，即每個分片內節(jié)點較少時，會導致共識的安全性問題。相反，當網(wǎng)絡分片
電子科技大學學報 2022年3期2022-05-28
- 網(wǎng)絡數(shù)據(jù)自適應組包傳輸方法
干較小的部分進行分片傳輸，對網(wǎng)絡通信各傳輸節(jié)點的承載能力以及整個傳輸鏈路的可靠性和適應性提出了嚴峻挑戰(zhàn)。針對IP分片現(xiàn)象，介紹了超長數(shù)據(jù)包網(wǎng)絡傳輸過程中會存在的問題，提出了基于網(wǎng)絡數(shù)據(jù)包的自適應組包方法，并通過案例進行了測試分析，證明了該方法的可行性。關鍵詞：網(wǎng)絡；分片；自適應中圖分類號：TP393文獻標志碼：A文章編號：1008-1739（2022）04-62-40引言網(wǎng)絡協(xié)議的主要作用是在網(wǎng)絡上的設備之間傳輸和傳遞數(shù)據(jù)，為了完成任務，數(shù)據(jù)經(jīng)常被封裝成特
計算機與網(wǎng)絡 2022年4期2022-04-04
- 面向工程數(shù)據(jù)檢索的ElasticSearch索引優(yōu)化策略
S索引建立、索引分片以及索引段合并方面來對ES進行改進的策略?；诖耍疚氖紫仍谒饕齽?chuàng)建時對ES的分詞器進行修改并配置自定義詞典，其次提出基于集群節(jié)點性能與索引數(shù)據(jù)量大小的索引分片策略，最后根據(jù)節(jié)點性能來選擇合適的段合并時機，通過以上優(yōu)化來提升ES的性能。1 技術基礎本文提出的相關策略是對ES的索引創(chuàng)建、索引分片以及索引段合并方面進行改進，因此先對ES進行一個簡單的介紹。ES是基于Lucene構建的分布式全文智能檢索引擎，具有近實時、高性能、分布式和零配置
計算機與現(xiàn)代化 2022年2期2022-03-10
- 基于分區(qū)型區(qū)塊鏈醫(yī)療電子病歷共享方案
量與可擴展性，將分片（Sharding）技術引入?yún)^(qū)塊鏈系統(tǒng)進行水平擴容（也稱為橫向擴展，Scale-Out），使其在保證網(wǎng)絡去中心化和安全性的情況下可有 效提高性能，如 Elastico［5］、RapidChain［6］、Omniledger［7］、Monoxide［8］、ZILLIQA［9］等系統(tǒng)就引入了分片技術，由分片技術緩解了單鏈結構下數(shù)據(jù)存儲與節(jié)點共識的壓力，并利用分片間的并行特性增大吞吐量，可擴展性也得到了一定程度的提升，但應用到醫(yī)療數(shù)據(jù)共享場景
計算機應用 2022年1期2022-02-26
- 降低跨分片交易回滾概率的多輪驗證方案
擴容技術主要包括分片方案[6]、DAG[7]、擴塊[8-9]、側鏈技術[10]、狀態(tài)通道[11]等。其中分片方案是目前擴容方案中最具可行性的方案，受到廣大學者和社區(qū)人員的關注和重視。區(qū)塊鏈分片的核心思想是將區(qū)塊鏈網(wǎng)絡節(jié)點劃分為若干個集合，每個集合獨立運行共識協(xié)議，對交易進行共識驗證，并且每個集合可以并行地處理不同的交易集合甚至只存儲部分網(wǎng)絡狀態(tài)，從而達到提高交易吞吐量的效果。分片技術雖然可以提升區(qū)塊鏈系統(tǒng)的性能，但同時也帶來了新的挑戰(zhàn)。分片后網(wǎng)絡中必然存在
計算機工程與應用 2022年2期2022-01-25
- 基于區(qū)塊鏈的中醫(yī)電子病歷高效查詢方法研究
g 等［6］通過分片技術提高了區(qū)塊鏈數(shù)據(jù)交易性能；劉懿中等［7］從共識機制方面對區(qū)塊鏈進行了詳細研究；方維維等［8］對PBFT 共識算法進行優(yōu)化，提高了區(qū)塊鏈的可擴展性。區(qū)塊鏈技術在中醫(yī)藥領域的應用主要集中在中醫(yī)電子病歷方面。湯穎［9］分析了區(qū)塊鏈技術在電子病歷中的應用；肖勇等［10］指出中醫(yī)信息化建設中存在的問題，并提出建設性意見。在安全性方面，牛淑芬等［11］提出基于聚合密鑰的密文檢索方案，提高了中醫(yī)電子病歷的安全性；侯姝言等［12］將可追蹤性安全機制
軟件導刊 2021年12期2022-01-07
- 網(wǎng)絡分片技術在艦船網(wǎng)絡中的應用
范穎 胡士毅網(wǎng)絡分片是5G時代的一個非常重要的特征,通過對同一物理網(wǎng)絡進行切片劃分,能夠更好地不同業(yè)務對網(wǎng)絡SLA的不同服務質量要求,同時可以更好更快速的提供新型業(yè)務的部署能力。本文介紹了IP承載網(wǎng)的網(wǎng)絡分片基本概念、目標、切片技術及其方案,重點探討切片技術在艦船網(wǎng)絡中應用,并提出部署建議。1 網(wǎng)絡分片概念與目標3GPP組織對網(wǎng)絡分片的定義如下:在一個物理網(wǎng)絡中,將相關的業(yè)務功能、網(wǎng)絡資源組織在一起,形成一個完整、自治、獨立運維的邏輯網(wǎng)絡,滿足特定的用戶和
數(shù)字技術與應用 2021年10期2021-11-21
- 提升分片規(guī)模和有效性的多輪PBFT驗證方案
擴容方案主要包括分片技術[5]、DAG[6]結構、代理共識協(xié)議、增大區(qū)塊[7]等。Layer2擴容方案主要包括側鏈[8]、狀態(tài)通道[9-10]等。區(qū)塊鏈分片的概念最早是在文獻[5]中提出，本質是一種將計算和存儲分散到對等網(wǎng)絡的分區(qū)方式，每個節(jié)點只維護與其分片相關的信息。分片方案通過切割網(wǎng)絡中的節(jié)點和交易，以實現(xiàn)每秒處理數(shù)千筆交易的區(qū)塊鏈網(wǎng)絡。POW 類共識算法屬于概率性算法，采用最長鏈競爭原則[11]，不適合分片內；POS 類共識算法的邏輯是從整體上假定少
計算機工程與應用 2020年24期2020-12-26
- CDN存量MP4視頻播放優(yōu)化方法
如把MP4切成小分片，每個小分片有一個MP4BOX，或直接使用DASH等MP4分片新格式。對于CDN已經(jīng)存儲的海量MP4文件而言，對其進行重編碼和重新注入是一件極為費時費力的工作。本文提出了一種CDN存量MP4視頻播放優(yōu)化方法，并在實際應用取得了較好的效果。2 CDN虛擬分片方案為優(yōu)化CDN MP4存量內容的播放速度，可在現(xiàn)有MP4文件的基本上為其增加相應索引，如圖1所示。圖1 CDN對MP4文件虛擬分片的交互架構CDN掃描存量的MP4文件，并成生一個外部
廣東通信技術 2020年10期2020-10-26
- 基于SDN的分片網(wǎng)絡資源編排系統(tǒng)設計
0）為解決傳統(tǒng)的分片網(wǎng)絡資源編排系統(tǒng)無法將網(wǎng)絡控制面與網(wǎng)絡數(shù)據(jù)面分離的問題，利用SDN技術對分片網(wǎng)絡資源編排系統(tǒng)進行優(yōu)化。SDN指的就是軟件定義網(wǎng)絡，在2006年由美國斯坦福大學CLean State課題研究組提出。SDN可以作為新型網(wǎng)絡創(chuàng)新架構，能夠利用OpenFlow核心技術將網(wǎng)絡虛擬化。分片網(wǎng)絡資源編排在本質上來講是將網(wǎng)絡設備的網(wǎng)絡控制面與網(wǎng)絡數(shù)據(jù)面分離，形成分片網(wǎng)絡資源，進而實現(xiàn)網(wǎng)絡資源的靈活編排。分片網(wǎng)絡資源編排系統(tǒng)能夠使網(wǎng)絡以管道的形式變得更加
數(shù)字通信世界 2020年9期2020-10-09
- 一種面向公有鏈的輕量級可擴展技術
和可擴展.目前，分片技術被廣泛視為一種能夠解決區(qū)塊鏈三角難題的有效方法，通過將交易和狀態(tài)進行分割，使得不同的分片能夠并行處理不相關的交易，線性提升系統(tǒng)的處理能力.然而，為了避免惡意節(jié)點集中到某個特定分片發(fā)起攻擊，需要周期性地將分片節(jié)點進行重組.由于分片節(jié)點只存儲了當前分片的數(shù)據(jù)，當被劃分到其他分片后，需要下載新分片的數(shù)據(jù)，這個過程被稱為狀態(tài)遷移.狀態(tài)遷移需要下載大量數(shù)據(jù)，不僅中斷了系統(tǒng)的處理，同時也限制了分片切換的頻率.針對節(jié)點存儲資源占用高的問題，研究人
計算機研究與發(fā)展 2020年7期2020-07-18
- 5G+區(qū)塊鏈網(wǎng)絡分片技術
5G+區(qū)塊鏈網(wǎng)絡分片建模，仿真對比了保證分片網(wǎng)絡可信和保證全網(wǎng)可信的兩種網(wǎng)絡分片方案的性能差異，分析了單點受控概率、分片可信度、分片數(shù)量、全網(wǎng)可信度等參數(shù)對分片規(guī)模、網(wǎng)絡規(guī)模的影響，給出了在滿足一定可信度條件下，區(qū)塊鏈網(wǎng)絡分片的最優(yōu)規(guī)模，并提出一定網(wǎng)絡規(guī)模下，區(qū)塊鏈網(wǎng)絡從保證分片網(wǎng)絡可信向保證全網(wǎng)可信方案演進再向更大規(guī)模分片網(wǎng)絡可信方案演進的路線?！娟P鍵詞】 5G;區(qū)塊鏈;擴容;網(wǎng)絡分片doi：10.3969/j.issn.1006-1010.2020.0
移動通信 2020年4期2020-05-07
- MongoDB負載均衡算法優(yōu)化研究
ngoDB的自動分片原理，提出一種改進的基于節(jié)點實時負載的負載均衡算法[3]，以有效解決其自身算法存在的部分問題。1 MongoDB的自動分片1.1 MongoDB簡介MongoDB是10gen公司使用C++編寫開發(fā)的基于分布式文件存儲的開源NoSQL數(shù)據(jù)庫系統(tǒng)，由于其性能高效、功能豐富，在生產(chǎn)中得到了廣泛應用。MongoDB除了具有NoSQL 數(shù)據(jù)庫的相關特性外，還具有自動分片、集群擴展、單點故障自動恢復、復雜查詢等優(yōu)點，非常符合存儲海量的半結構化或非結
計算機技術與發(fā)展 2020年3期2020-04-09
- 散亂數(shù)據(jù)擬合的自適應分片逆尺度空間算法
種帶有刪除機制的分片逆尺度空間算法，核心是將分片稀疏性引入到ISS算法中。在稀疏恢復問題上，相較于ISS算法，該算法能夠更好地保護信號的小尺度非零元素，在應用于散亂數(shù)據(jù)擬合問題中得到了較好的擬合效果。分片稀疏性是一類描述向量中非零元素散亂分布現(xiàn)象的稀疏性。DONOHO和HUO[24]針對片稀疏信號對應觀測矩陣具有的分塊結構，引入分塊矩陣互相干(mutual coherence)條件，可將分塊正交矩陣的精確恢復信號的稀疏度理論上界推廣到一般分塊矩陣之中, 改
圖學學報 2020年1期2020-03-19
- 區(qū)塊鏈節(jié)點存儲優(yōu)化方案
獻[13]提出的分片方案在減少區(qū)塊存儲和提高新節(jié)點加入?yún)^(qū)塊鏈效率方面都有明顯的優(yōu)勢.該方案根據(jù)惡意節(jié)點概率計算分片區(qū)塊數(shù)量，利用區(qū)塊鏈中節(jié)點總數(shù)計算得到分片保存的副本數(shù)量.然而，這種方法存在以下2 個問題：1）將每個分片中編號最小區(qū)塊被惡意節(jié)點攻擊的概率設置為分片概率，使得分片中較新區(qū)塊存在安全問題，因為相比于同一個分片中編號最小的區(qū)塊，分片中編號較大的區(qū)塊只有存儲更多的分片副本才能保證安全；2）將最少副本數(shù)量設定為某個定值也存在安全問題，因為少數(shù)分片副本
應用科學學報 2020年1期2020-01-17
- 飛機蒙皮機器人化制造曲面分片算法研究
加工方式采用手動分片，在規(guī)劃加工軌跡的過程中便已完成各功能區(qū)域劃分[4]，或是根據(jù)機械臂可達范圍對模型進行分片處理[2-3]。文獻[5-7]在規(guī)劃軌跡前對工件三角網(wǎng)格模型進行分片處理，對每一個分片區(qū)域分別進行軌跡規(guī)劃，實現(xiàn)分操作的自動運行，拓展了機器人自動化加工的涵蓋范圍，但從實現(xiàn)角度來看依然存有一些問題：（1）分片結果不能保證任意兩三角面片間法向矢量偏角或近似曲率小于設定閾值，而這正是保證加工質量的關鍵所在；（2）分片結果面積小數(shù)量多，極為瑣碎，不利于加
民用飛機設計與研究 2019年3期2019-11-04
- 結式在分片代數(shù)曲線的研究
張靜【摘要】分片代數(shù)曲線為二元樣條函數(shù)的零點集合，下面主要利用MATLAB程序，探討結式定理在分片代數(shù)曲線中的研究，并通過具體實例證明結式定理在求分片代數(shù)曲線的Bezout數(shù)的過程中存在著缺陷.在計算幾何以及數(shù)學分析中，利用多元樣條函數(shù)對給定散亂數(shù)據(jù)進行插值是一個重要的課題[1]，在多元樣條函數(shù)的插值的過程中，如何選取適當?shù)牟逯到Y點組是一個關鍵的問題，因為并不是對任意給定的插值結點組，多元樣條插值的存在都是唯一的，王仁宏、Oleg Davydov等學者
數(shù)學學習與研究 2019年17期2019-10-18
- 移動通信基站天線的設計與研究
數(shù)管理;數(shù)據(jù)庫;分片;備份與恢復引言近幾年，移動互聯(lián)網(wǎng)蓬勃發(fā)展，導致通信產(chǎn)業(yè)結構持續(xù)發(fā)生變化，傳統(tǒng)語音和短信業(yè)務收入也隨之下降。其主要原因是業(yè)務市場飽和以及來自新的市場進入者的競爭，尤其是OTT業(yè)務（COver The Top，基于開放互聯(lián)網(wǎng)的各種視頻及數(shù)據(jù)服務業(yè)務）對語音、短信業(yè)務的沖擊。此外，隨著更多智能終端的使用，可供用戶選擇的新業(yè)務、應用數(shù)目增長，催生了數(shù)據(jù)流量消耗的增加。這要求未來的天線具有更高的頻帶利用率和頻譜效率。一、基站天線對通信、雷達、導
科學導報·學術 2019年17期2019-09-10
- Spark框架中RDD緩存替換策略優(yōu)化
典的算法沒有考慮分片的計算成本問題[6].現(xiàn)有的研究大多數(shù)基于此類算法改進,其中部分改進算法諸如GreedyDual[7]、GD-Wheel[8]均考慮了訪問歷史和計算成本,但在一個作業(yè)中待處理任務的執(zhí)行邏輯在Spark中是已知的,對訪問RDD歷史次數(shù)進行優(yōu)化的緩存策略效果不明顯.類似的研究還有不考慮RDD的訪問歷史次數(shù)的LCS[9]算法,以及考慮計算成本次數(shù)加權的WR[10]算法.本文針對內存占用率與RDD替換時的權重,考慮了分片的歷史訪問次數(shù)和計算成本
小型微型計算機系統(tǒng) 2019年6期2019-06-06
- 基于MongoDB的數(shù)據(jù)分片與分配策略研究?
和完全索引、自動分片、支持故障恢復、支持各種語言驅動程序，自動處理碎片等功能［7～9］，能夠適應現(xiàn)代Web應用飛速增長的海量數(shù)據(jù)，并且在分布式架構下可以達到很好的性能［10］，是目前最有影響力的NoSQL數(shù)據(jù)庫之一。然而在分布式的系統(tǒng)架構下，如何將數(shù)據(jù)進行分片和分配［11～12］是必須要考慮的，因為兩者策略的選擇會直接影響到整個系統(tǒng)的擴展性以及負載均衡性能［13］。因此本文選擇MongoDB數(shù)據(jù)庫，通過剖析其工作機制以及自動分片的實現(xiàn)算法，提出了分片鍵選擇
計算機與數(shù)字工程 2019年4期2019-05-07
- SpaceWire-D的調度表生成方法
短幀(本文稱之為分片)處理，當Fij只占用1個時間槽時則無需分片，因此下文按兩種情況討論順序約束。3.2.1 不分片的情況當幀F(xiàn)ij在調度表中只出現(xiàn)一次時，顯然其起始位置應不小于0，結束位置應不大于N，即:當幀F(xiàn)ij在調度表中多次出現(xiàn)時，其多個周期偏移值滿足下式所示的約束條件:3.2.2 分片的情況(1)對分片先后順序的約束Fij的各個分片具有固定的先后順序關系，若Fij在調度表中只出現(xiàn)1次，則可表示為如下的約束:式中:(βij)s+1為幀F(xiàn)ij第s+1個
中國空間科學技術 2019年1期2019-04-04
- 基于模糊二分查找的幀分片算法設計與實現(xiàn)
對上層數(shù)據(jù)幀進行分片處理，并在接收端對分片進行聚合處理，恢復原先的上層數(shù)據(jù)幀[2]。對數(shù)據(jù)幀進行分片處理需要耗費處理時間，如何設計一種性能優(yōu)越的幀分片處理算法，對減小協(xié)議開銷，提高數(shù)據(jù)吞吐量，降低系統(tǒng)實現(xiàn)難度具有重要意義。本文設計了一種高效的幀分片算法，并基于C語言對其進行了實現(xiàn)。1 幀分片算法1.1 算法簡介下層數(shù)據(jù)幀最典型的為物理層幀，常見物理層數(shù)據(jù)幀的有效載荷長度具有以下兩個特點：1)最大有效載荷長度會根據(jù)下層某些動態(tài)變化的發(fā)送參數(shù)(例如調制編碼方式
火控雷達技術 2018年4期2019-01-15
- 以分段分片驗收為基礎的新型項目過程管理
我公司創(chuàng)立了分段分片驗收程序。通過分段分片驗收,在支付進度款上有依據(jù),在項目整體的管理上進行聯(lián)動,每到一步就有人會要求驗收,使項目有機成為一體,在后續(xù)中間交接時減少三查四定項,減少后期尾項整改的風險。1 “分段分片驗收”產(chǎn)生的背景1.1 工程建設項目周期短，管理要求高隨著全球經(jīng)濟持續(xù)增長,各類工程項目日益復雜,建設規(guī)模日益龐大,項目外部環(huán)境變化頻繁,政府和企業(yè)對項目工期、質量、環(huán)境、安全以及經(jīng)濟目標的要求越來越高,傳統(tǒng)的工程項目管理,如業(yè)主通過組建一個臨時
石油化工建設 2018年5期2018-03-21
- 基于DASH標準的視頻自適應傳輸方案
、不同碼率的視頻分片和相應的MPD索引文件，客戶端根據(jù)當前網(wǎng)絡狀況等因素向服務器請求相應碼率的視頻分片進行播放。圖1[5]形象展示了DASH的基本原理。圖1 DASH的基本原理當播放視頻內容時，DASH客戶端通過獲取并解析MPD文件，向服務器請求合適碼率的視頻分片。通過適當?shù)木彌_，客戶端在適應了網(wǎng)絡帶寬變化后，并同時監(jiān)測網(wǎng)絡帶寬的波動，根據(jù)其測量結果，繼續(xù)獲取后面的視頻分片，以保持緩沖區(qū)有足夠的緩沖內容。MPD文件格式和視頻分片Segment是DASH技術
計算機工程與設計 2018年3期2018-03-19
- 《六州歌頭》分片、用韻考論
《六州歌頭》的分片存在歧異：通常被視爲上片結句的三言短韻，在劉潛、李冠二人詞中卻是下片開頭。劉、李二人詞雖有相混，分片卻一致，又是現(xiàn)存最早的此調作品。宋初鼓吹曲《六州》不是大曲，類似換頭重複的曲子，詞調《六州歌頭》的音樂與之相同。以《六州》可證較早的《六州歌頭》的三言短韻在下片開頭處。通過對三言短韻特點的分析，上下片首尾位置的統(tǒng)計，創(chuàng)作手法的分析等，可知三言短韻在早期作品中爲下片換頭，後來則多爲上片結句。此調在北宋錯葉、通葉押韻，在南宋則多押平韻。押韻不
詞學 2018年2期2018-03-05
- 基于分片一致性哈希負載均衡策略與應用
00000)基于分片一致性哈希負載均衡策略與應用蘇躍明1,2，李 晨2，田麗華2(1.西安交通大學 軟件學院，陜西 西安 710000；2.百度(中國)有限公司，北京 100000)采用一致性哈希進行數(shù)據(jù)分區(qū)和負載均衡的分布式鍵值存儲系統(tǒng)具有高可擴展性的特點，但一致性哈希中哈希函數(shù)靜態(tài)負載均衡的特性不能滿足日益多樣化的應用場景需求。為了適應以上需求，從一致性哈希策略出發(fā)，結合動態(tài)負載均衡技術，設計了一種基于一致性哈希的動態(tài)負載均衡策略。該策略使用與物理節(jié)點
計算機技術與發(fā)展 2017年11期2017-11-20
- NAPT技術對數(shù)據(jù)包分片的處理實驗
含標示符的數(shù)據(jù)包分片如何處理？在H3 Cloud Lab模擬器上進行仿真實驗，對數(shù)據(jù)包進行分片，探究NAPT對分片的處理過程。實驗發(fā)現(xiàn)地址轉換設備記錄并保存了數(shù)據(jù)包首片的標示符信息，以便對后續(xù)分片（不合標示符）的處理。關鍵詞：網(wǎng)絡端口地址轉換；分片；傳輸層；路由；MTU1概述局域網(wǎng)內的IP地址大多為私有地址，但私有地址只能在局域網(wǎng)內部網(wǎng)中使用，不能在Internet公網(wǎng)上使用，現(xiàn)行的路由器設置也不轉發(fā)帶有私有地址的數(shù)據(jù)包。當私有網(wǎng)絡內的主機需要與位于Int
電腦知識與技術 2017年16期2017-07-14
- 探索數(shù)據(jù)庫分片技術
分即對數(shù)據(jù)庫進行分片處理，對一個數(shù)據(jù)庫中的相關表進行水平拆分，存放到不同實例的數(shù)據(jù)庫中。在大多數(shù)情況下，MySQL的分庫分表就是指的該種方式。數(shù)據(jù)庫分片的得失探討在實際的項目規(guī)劃中，如果沒有必要最好不要進行分片處理。當相關業(yè)務正常運行時，如果數(shù)據(jù)庫的并發(fā)操作沒有達到臨界值，就貿然對其進行分片，反倒變得難以維護，對運維產(chǎn)生不利影響。為了提高運維效能，應該首先考慮通過性能調優(yōu)或者提高應用程序以及數(shù)據(jù)庫設計水平，來推遲分片操作。例如，對于上述產(chǎn)品庫中的衣服表來說
網(wǎng)絡安全和信息化 2017年6期2017-03-09
- IP分片數(shù)據(jù)包真實體驗
層傳輸時采用的了分片的技術手段。下面我們將通過PING命令發(fā)送ICMP數(shù)據(jù)包來真實體驗一下IP分片的全過程?；A知識：以太網(wǎng)數(shù)據(jù)傳送大小限制傳統(tǒng)的以太網(wǎng)是共享性局域網(wǎng)，采用載波偵聽多路訪問/沖突檢測CSMA/CD協(xié)議。最小幀長必須大于整個網(wǎng)絡的最大時延位(最大時延時間內可以傳輸?shù)臄?shù)據(jù)位)。如果幀長度太小，就可能出現(xiàn)網(wǎng)絡上同時有兩個幀在傳播，就會產(chǎn)生沖突(碰撞)而造成網(wǎng)絡無法發(fā)送數(shù)據(jù)。如果數(shù)據(jù)幀太長就會出現(xiàn)有的工作長時間不能發(fā)送數(shù)據(jù)，而且可能超出接受端的緩沖
網(wǎng)絡安全和信息化 2016年9期2016-11-26
- 抗IP分片逃避技術的設計與實現(xiàn)*
NIDS缺乏IP分片的重組功能，不能夠還原出原始的報文，使得NIDS不能進行正常的過濾和檢測。現(xiàn)在的大部分NIDS都具備重組IP分片的功能，但是攻擊者通過精心設置TTL構造的報文[2]，使得報文在NIDS和終端主機之間被丟棄，之后又重傳了內容不同的報文(如圖1所示)，這樣NIDS無法判斷對于同一個序列號(SEQ)，終端主機到底會接收哪個數(shù)據(jù)包，除非NIDS能夠將所有的情況都列出，才能檢測出“root”這種情況。為了能夠正確地分析一條流[3]，NIDS必須首
計算機工程與科學 2015年2期2015-07-10
- 6LoWPAN的Enhanced Route-over的分片和重組機制
te-over的分片和重組機制陳晶晶1，2，李曉記1，鄭 霖1，2（1.桂林電子科技大學，廣西 桂林 541004；2.通信網(wǎng)信息傳輸與分發(fā)技術重點實驗室，河北 石家莊 050081）針對Route-over路由在6LoWPAN中存在需要在每一跳節(jié)點進行分片和重組的問題，提出了一種Enhanced Route-over機制，該機制通過在Route-over轉發(fā)過程中增加映射表和構建虛擬IP幀，改善了Route-over路由在數(shù)據(jù)報端到端傳輸時延方面的性能，
無線電工程 2015年10期2015-06-23
- 基于TCP／IP協(xié)議棧的數(shù)據(jù)包分片技術
P／IP協(xié)議棧的分片技術把數(shù)據(jù)包進行分片，并在接收端對其進行重組。眾所周知，TCP／IP本身是有內部分片的［1］，但是其大小不能大于65 535字節(jié)，并且只能按照默認的1 514字節(jié)的大小在以太網(wǎng)中進行傳輸，但是，網(wǎng)絡傳輸時延、路由器處理時延、丟包率等網(wǎng)絡參數(shù)均與數(shù)據(jù)包長度相關［2］，1 514字節(jié)的長度在網(wǎng)絡環(huán)境良好時，可以使音視頻應用具有良好的效果，這一點在我們的音視頻聊天系統(tǒng)中可以看到，但是一旦網(wǎng)絡環(huán)境不好，可用帶寬減小的時候，只依靠IP本身的分片已
長春工業(yè)大學學報 2015年6期2015-06-12
- 一種改進的主從節(jié)點選舉算法用于實現(xiàn)集群負載均衡
務器需要完成2個分片的查詢工作,而另一臺服務器處于完全空閑的狀態(tài).查詢性能不均衡[4].該缺點主要由兩個原因導致:1)因為每個分片的注冊線程是完全獨立的,每臺服務器上有兩個不同的分片需要注冊,而由于服務器的啟動速度和網(wǎng)路情況都不相同,往往會出現(xiàn)一臺服務器上的兩個分片都首先注冊到zookeeper[5]的分片管理目錄下而成為主節(jié)點,而注冊速度慢的服務器上的兩個節(jié)點都會成為從節(jié)點.2)即使首次創(chuàng)建時主節(jié)點的分配是均衡的,即每臺服務器上有一個主節(jié)點和一個從節(jié)點,
中國計量大學學報 2015年3期2015-02-27
- 基于糾刪碼冗余技術中的數(shù)據(jù)可靠性技術的研究
RS糾刪碼的數(shù)據(jù)分片方法，把用戶數(shù)據(jù)分成若干分片分別存儲到不同存儲節(jié)點。在拜占庭故障的情況下，不同的m個分片的子集可能解碼出不同的數(shù)據(jù)塊，所以使用分片驗證技術來確保分片來自于唯一正確的數(shù)據(jù)塊，從而保證數(shù)據(jù)的可靠性。關鍵詞：糾刪碼冗余技術；數(shù)據(jù)分片1.糾刪碼冗余技術的原理一般來說，糾刪碼可以用一個四元組（n，k，b，k）來表示，其中，k是編碼前文件塊的個數(shù)，b是每個文件塊包含的比特數(shù)，k是一個不小于k的數(shù)，n是編碼后的文件塊個數(shù)[1]。糾刪碼冗余技術用于存儲
卷宗 2015年12期2015-01-07
- 面向分布式環(huán)境的信號驅動任務調度算法
預先計算各個任務分片的EFT(earliest finish time)，以確定任務分片的先后關系。2) 層次優(yōu)先選擇算法。如 PCH(path clustering heuristic)[14]、優(yōu)先工序集調度[15]等，此類算法以最大化同一層任務分片的并行處理為手段，將任務分片的層數(shù)作為優(yōu)先級，以確定任務分片的調度次序。3) 堆棧式回退算法。如 HEFT-lookahead[16]、回退搶占算法[17]等，此類算法考慮了后續(xù)調度中空閑時段被占用的情況，
通信學報 2015年7期2015-01-06
- 6LoWPAN適配層分片重組的研究與實現(xiàn)＊
地址配置、報文的分片和重組、IPv6報頭壓縮、路由、網(wǎng)絡管理等。本文主要分析和研究報文的分片和重組功能［3］。根據(jù)RFC2460協(xié)議規(guī)定，IPv6以下的鏈路層的最大傳輸單元MTU（Maximum Transmission Unit）最小應該是1 280字節(jié)［5］。因此作為鏈路層的6LoPAN就要能夠接收1 280字節(jié)的數(shù)據(jù)包，并將其分成127字節(jié)以內的IEEE 802.15.4能夠接收的MAC層的數(shù)據(jù)幀。1.2 IPv6報文格式根據(jù)RFC2460協(xié)議規(guī)定I
單片機與嵌入式系統(tǒng)應用 2014年4期2014-06-25
- 基于Solr的海量日志信息查詢性能優(yōu)化的研究
性能優(yōu)化；集群；分片中圖分類號：TP393 文獻標識碼：A 文章編號：1671-7597（2014）03-0037-03隨著傳統(tǒng)互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的持續(xù)發(fā)展，網(wǎng)絡帶給我們的是不斷增長的各種不同價值信息，然而如何在信息海洋中快速檢索到有價值信息，對于我們來講至關重要。目前一些搜索公司在公共互聯(lián)網(wǎng)領域提供了很好的解決方案，但是企業(yè)或者政府機關內部相關信息往往需要應用獨立的搜索系統(tǒng)，Solr Cloud則是很好的一個平臺選擇。1 概述隨著企業(yè)和政府信息化建設的持
新媒體研究 2014年3期2014-04-21
- 網(wǎng)絡分片網(wǎng)絡安全威脅就在眼前
網(wǎng)絡分片是自IT興起以來就有的一種經(jīng)過檢驗且可靠的網(wǎng)絡安全原則。早在上世紀70年代，James Martin、Saltzer和Schroeder研究提出的最小權限和職責分離等概念讓企業(yè)懂得了只能給用戶提供業(yè)務所需要的系統(tǒng)訪問權限，而不提供在此范圍之外的權限。但是，在幾十年的時間里，有無數(shù)的安全事件都是因為一些人獲得了本不應該獲得的未授權系統(tǒng)訪問權限。顯然這里出現(xiàn)了問題。例如，最近出現(xiàn)了來自中國的攻擊入侵歐洲網(wǎng)絡的事件，黑客攻破了網(wǎng)絡，并使用高訪問權限盜取數(shù)
計算機與網(wǎng)絡 2014年11期2014-04-15
- IP報文分片技術及其在故障分析中的應用
問題多與IP報文分片有關。2 IP報文分片的原理2.1 MTU在TCP/IP協(xié)議族中，鏈路層的報文叫做“幀”，每種鏈路層協(xié)議對數(shù)據(jù)幀的長度都有一個限制，這個特性稱作最大傳輸單元 (Maxitum Transmission Unit，MTU)[1]，單位為字節(jié)（Byte）。如常用的EthernetII網(wǎng)絡MTU為1500，IEEE 802.3網(wǎng)絡MTU為1492。如果IP層有一個數(shù)據(jù)報要傳，而且數(shù)據(jù)的長度比鏈路層的MTU還大，那么IP層就需要分片，使每一片的
計算機與網(wǎng)絡 2014年8期2014-03-29
- 基于云平臺NoSQL的海量天文圖像存儲研究
驗結果表明，數(shù)據(jù)分片存儲以及選擇最佳的分片大小能有效提高天文數(shù)據(jù)的存儲和訪問效率。海量天文數(shù)據(jù)云存儲NoSQL MongoDB數(shù)據(jù)分片1 引言虛擬天文臺天文數(shù)據(jù)存儲基本采用“Linux+IDE硬盤+軟RAID技術”模式[1]。實際上，傳統(tǒng)的直接存儲技術難以滿足天文領域每日TB級動態(tài)增長的海量數(shù)據(jù)存儲以及數(shù)據(jù)的實時處理、同步傳輸和多點備份等一系列需求[2]。近些年來，由于微軟、蘋果、google、IBM、戴爾和Amazon等知名服務商的加入，云存儲技術發(fā)展更
計算機與網(wǎng)絡 2014年15期2014-02-04
- 6LoWPAN適配層協(xié)議的分片與重組測試方法設計
重要。1 適配層分片與重組技術分析IPv6協(xié)議規(guī)定的鏈路層最小MTU 為1 280字節(jié)，對于不支持該MTU 的鏈路層，協(xié)議要求必須提供對IPv6透明的鏈路層的分片和重組。而IEEE 802.15.4MAC層最大幀長僅為127字節(jié)［2］，因此，適配層需要通過對IP報文進行分片和重組來傳輸超過IEEE 802.15.4MAC層最大幀長的報文。1.1 分 片當上層遞交一個超過適配層最大載荷長度的報文給適配層后，適配層需要對該報文分片進行發(fā)送。適配層分片的判斷條件
單片機與嵌入式系統(tǒng)應用 2013年2期2013-08-27
- OpenFlow網(wǎng)絡中虛擬網(wǎng)絡分片的動態(tài)遷移
輯網(wǎng)絡被稱為一個分片（slice）。FlowVisor對OpenFlow網(wǎng)絡進行分片的主要資源包括：帶寬，拓撲，流表項的個數(shù)，設備CPU。目前在系統(tǒng)中主要體現(xiàn)的是流表項個數(shù)和帶寬。對分片的區(qū)別是用流空間的概念來實現(xiàn)的，每一個流空間是一系列統(tǒng)配規(guī)則。與流表項不同的是它并沒有轉發(fā)規(guī)則。對于進入交換設備的數(shù)據(jù)包，F(xiàn)lowVisor首先要將其攔截并且確定它屬于哪一個分片。每一個分片都有其可見范圍和權限，這需要交換設備對每個分片內的包進行改寫。比如，一個分片內進行廣
網(wǎng)絡安全技術與應用 2013年9期2013-07-23
- P2P流媒體數(shù)據(jù)調度策略研究
中節(jié)點能力和數(shù)據(jù)分片的優(yōu)先級,提出了最少最小優(yōu)先調度算法（LRFA）.算法結合了現(xiàn)有的最少優(yōu)先策略,將數(shù)據(jù)的稀缺性和時間特性作為重要因素,對節(jié)點能力進行了動態(tài)估算,最終實現(xiàn)了節(jié)點資源的充分利用.P2P網(wǎng)絡；數(shù)據(jù)調度；數(shù)據(jù)優(yōu)先級；稀缺優(yōu)先；節(jié)點能力近年來基于P2P技術的流媒體應用已成為研究熱點[1].P2P流媒體系統(tǒng)中普通主機節(jié)點（對等節(jié)點,簡稱Peer節(jié)點）從其他Peer節(jié)點獲取流媒體數(shù)據(jù)的同時,也承擔起為其他Peer節(jié)點轉發(fā)數(shù)據(jù)的任務,充分利用了空閑的網(wǎng)
河南科技學院學報(自然科學版) 2013年1期2013-06-07
- 入侵躲避技術初探
境中。下面就重疊分片躲避與多線程躲避為例，分析一下網(wǎng)絡躲避技術的原理。重疊分片躲避技術分析把一個大的數(shù)據(jù)包分成多個切片(IP包)傳輸，是TCP協(xié)議的功能之一。正常的情況下接收端按照切片的編號、偏移量，再重新組裝成完整的數(shù)據(jù)包。正常的協(xié)議解析過程是每個分片順序排列，并且按序號送達目的主機。由于網(wǎng)絡的不同路徑延遲不同，造成到達目標的分片不一定是順序的;某個分片或許中途損壞要重傳，延遲自然更大一些;有些系統(tǒng)本身的Bug，分片時偏移量寫錯了，造成分片之間有重疊…這
計算機與網(wǎng)絡 2013年8期2013-04-16
- 模糊系統(tǒng)中方形分片線性函數(shù)依K－積分模的泛逼近性
）模糊系統(tǒng)中方形分片線性函數(shù)依K－積分模的泛逼近性段晨霞，王貴君（天津師范大學 數(shù)學科學學院，天津 300387）首先引入方形分片線性函數(shù)和K－擬可加積分的概念，應用誘導算子及積分轉換定理證明了方形分片線性函數(shù)在K－積分模意義下對一類可積函數(shù)的泛逼近性.該結果表明：模糊系統(tǒng)中方形分片線性函數(shù)對連續(xù)函數(shù)的逼近能力可以推廣為對一般可積系統(tǒng)的逼近能力.方形分片線性函數(shù)；K－擬可加積分；＾μ－可積函數(shù)；K－積分模；泛逼近性模糊系統(tǒng)是模擬人腦推理性能的一類有效模型，
天津師范大學學報（自然科學版） 2012年3期2012-01-05