數據局部性(data locality)是2018年公布的計算機科學技術名詞。
基本介紹
- 中文名:數據局部性
- 外文名:data locality
- 所屬學科:計算機科學技術
- 公布時間:2018年
數據局部性(data locality)是2018年公布的計算機科學技術名詞。
數據局部性(data locality)是2018年公布的計算機科學技術名詞。定義一種程式訪問數據時體現出來的特性。程式對記憶體數據的訪問局限在一個較小的地址空間中,以提高記憶體緩衝區的訪問效率。出處《計算機科學技術名詞 》...
基於Intel CAT技術和局部性理論,提出了一種基於部分共享的高速快取動態分配方法,能夠細粒度地動態分配快取資源,支持多種最佳化目標;針對訪存密集型的GPGPU程式,提出了一種同步柵欄感知的快取管理策略,根據非關鍵執行緒束的一級數據快取命中...
訪問局部性有兩種基本類型——時間和空間局部性。時間局部性是指在相對較小的持續時間內對特定數據和/或資源的重用。空間局部性是指在相對靠近的存儲位置內使用數據元素。當數據元素被線性地排列和訪問時,例如遍歷一維數組中的元素,發生...
通過分析多種典型數據中心套用的流量分布,提出了一種自適應的拓撲控制方法Hyb-T,及時檢測和緩解網路熱點,最大化網路吞吐率。(5)提出了主動避免擁塞的任務調度機制。以數據局部性作為調度原則,優先選擇機櫃內部和節點內部的網路傳輸而...
最後,將討論我們的數據模型,從而說明,為什麼Spanner看起來更加像一個關係資料庫,而不是一個鍵值資料庫;還會討論套用如何可以控制數據的局部性。 一個Spanner部署稱為一個universe。假設Spanner在全球範圍內管理數據,那么,將會只有可數...
8.1.1 數據局部性最佳化 8.1.2 服務可擴展性最佳化 8.2 調度最佳化 8.2.1 調度模型 8.2.2 數據本地化 8.2.3 負載均衡 8.2.4 拖後腿問題與推測執行 8.3 運行時最佳化 8.3.1 中間結果快取 8....
但僅僅這一點是不夠的,更重要的是要保證“處理”能從Cache中取得所需的數據,而這些數據本來是保存在原始存儲中的。實際上,Cache技術之所以能廣泛地套用於計算機的軟、硬體領域,主要是因為“處理”對數據要求的“局部性”,具體而言...
申請人前期的研究表明同步原理是數據分析和挖掘的一個有力機制,且基於同步原理的分析方法具有的動態性、局部性及多尺度分析特性很好地契合了目前大規模數據流挖掘面臨的問題和挑戰。因此,本研究擬在大數據時代背景下,以同步原理為新視角...
時間局部性是指如果程式中的某條指令一旦執行,則不久之後該指令可能再次被執行;如果某數據被訪問,則不久之後該數據可能再次被訪問。空間局部性是指一旦程式訪問了某個存儲單元,則不久之後。其附近的存儲單元也將被訪問。另外,根據...
在數據庫,數據存取路徑分為主存取路徑與輔存取路徑,前者主要用於主鍵檢索,後者用於輔助鍵檢索。在系統中,路徑一般分為相對路徑和絕對路徑。簡介 數據存取路徑是指存取數據的位置,由於程式運行具有局部性,不可能把所有數據都調入記憶體,...
數據的空間時域分布局部性又取決於套用環境、軟體算法及檔案組織方式等因素。對於磁碟系統來說,較小數據塊的隨機存取難以使磁碟Cache得到有效利用;較大數據塊的順序存取和重複調用有利用磁碟Cache的效能發揮。 (4)磁碟調度是在一組I/O...
通常,DDM分為興趣和可用性表達、匹配、傳送數據等3個階段。以HLA為例,在HLA框架中,由於使用DDM機制,系統資源隨系統規模急劇增加的趨勢得到很大的緩解。DDM的基本原理是開發仿真任務的局部性,利用數據過濾機制限制冗餘數據的產生和數據...
圖像數據處理的大發展是從 20 世紀 90 年代末開始的。自 1986 年以來,小波理論與變換方法迅速發展,克服了傅立葉分析不能用於局部分析等方面的不足之處,被認為調和分析半個世紀以來工作之結晶。Mallat在 1988 年有效地將小波分析套用...
《多面體編譯理論與深度學習實踐》是2022年清華大學出版社出版的圖書,作者是趙捷、李寶亮。內容簡介 本書分十大章節和三章附錄章節,以現代體系結構特徵為目標,從理論、方法及套用等不同角度,詳細描述了各種提升程式並行性、數據局部性及...
檢索集群在在檢索表設計和檢索過程中都很好的利用了數據的局部性。集群 集群(cluster)技術是一種較新的技術,通過集群技術,可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益,其任務調度則是集群系統中的...
頁遷移的設計目標是通過動態地開發數據局部性,來減小遠程存儲開銷。實現頁遷移的關鍵技術之一是控制頁遷移本身的開銷,否則頁遷移所帶來的數據局部性好處可能被頁遷移本身的開銷抵消。反向頁表在頁遷移中的作用是根據中斷給出的物理地址,...
擬結合離線剖視和在線上抽樣等手段,以及神經網路和效能建模等技術,研究高效的動態特徵感知方法;同時針對不同特徵的圖數據、套用和負載,設計並融合不同劃分算法、編程模型和計算引擎的策略,充分挖掘圖計算過程中的數據局部性和計算並行性...
圖數據的劃分 將一個大圖劃分為若干較小的子圖,是很多圖計算系統都會使用的擴展處理規模的方法;此外,圖劃分還能增強數據的局部性,從而降低訪存的隨機性,提升系統效率。對於分散式圖計算系統而言,圖劃分有兩個目標:(1) 每個子圖的...
因為根據數據局部性原理,往往被頻繁訪問的數據是局部而有限的。為了應對部份這樣的數據而全採用高速存儲實在是過於奢侈。如果我們針對這部份數據另開小灶來解決不是更好?所以分層存儲在這裡就可以大展拳腳。我們把高頻率訪問的數據放在高速...
普通的記憶體讀取是由CPU或DMA設備發出和檢查ECC錯誤,但由於數據局部性原因,它們可能被限制在小範圍的地址空間內,並且保持位置、很長時間不被觸碰。這些位置因而可能容易受到多個軟錯誤的影響,而刷洗可確保在指定時間內檢查整個記憶體。在...
局部性原理 所謂局部性原理, 是指CPU訪問存儲器時, 無論是存取指令還是存取數據, 所訪問的存儲單元都聚集在一個較小的連續區域中。局部性通常有兩種形式:時間局部性(temporal locality):如果一個信息項正在被訪問, 那么在近期它...
針對這一需求,研究者提出了密文訪問控制機制來保護數據在雲端存儲和共享過程中的安全。然而,當數據共享規模大、訪問許可權變更頻繁、數據訪問局部性明顯時,採用密文訪問控制機制會明顯增加用戶訪問雲存儲的延時。本項目研究基於雲存儲網關的...
10.2.3 數據局部性考慮 10.2.4 Spark記憶體調度 10.3配置Spark 10.3.1 Spark配置檔案 10.3.2 命令行參數 10.3.3 系統環境變數 10.3.4 譯編程方式設定配置 10.3.5 master參數 10.3.6 查看所有配置的參數 10.4 Spark ...
存儲器山是一種綜合研究存儲器層次結構的工具。它反映了存儲器層次結構中不同層次的頻寬。也反映了具有不同的時間局部性與空間局部性的程式的性能。通過分析存儲器山的數據,還可以看出存儲器系統的部分硬體參數。簡介 T. Stricker於1997...
隨機存取存儲器(Random Access Memory,RAM),也叫主存,是與CPU直接交換數據的內部存儲器。它可以隨時讀寫(刷新時除外,見下文),而且速度很快,通常作為作業系統或其他正在運行中的程式的臨時數據存儲媒介。局部性原理 早在 1968 年...
快取之所以有效,主要是因為程式運行時對記憶體的訪問呈現局部性(Locality)特徵。這種局部性既包括空間局部性(Spatial Locality),也包括時間局部性(Temporal Locality)。有效利用這種局部性,快取可以達到極高的命中率。在處理器看來,快取...
大數據的規模大,因此構建高效合理的存儲層次結構,可以在保證系統性能的前提下,降低系統能耗和構建成本,利用數據訪問局部性原理.可以從兩個方面對存儲層次結構進行最佳化。從提高性能的角度,可以通過分析套用特徵,識別熱點數據並對其進行快取...
快取工作的原則,就是“引用的局部性”,這可以分為時間局部性和空間局部性。空間局部性是指CPU在某一時刻需要某個數據,那么很可能下一步就需要其附近的數據;時間局部性是指當某個數據被訪問過一次之後,過不了多久時間就會被再一次...