《雲計算環境下大數據本地化技術研究》是依託復旦大學，由王曉陽擔任項目負責人的面上項目。
基本介紹
- 中文名：雲計算環境下大數據本地化技術研究
- 依託單位：復旦大學
- 項目類別：面上項目
- 項目負責人：王曉陽
項目摘要,結題摘要,
項目摘要
大數據的時代已經到來，雲計算研究得到國內外的研究者廣泛關注，目前在雲計算環境下大數據研究的主要成果是在管理架構和處理算法、大數據處理的關鍵技術等領域。關於數據在各個節點的分布對並行算法的執行效率問題則研究得比較少。目前主要注重點在計算的平衡，而數據本身分布方面的工作較為簡單，通常是將數據通過HASH函式均勻地分到各個節點。但是不恰當的數據分布對算法執行的效率有著重要的影響。有鑒於此，本項目提出了數據本地化問題。所謂的數據本地化，是要算法與數據的分布密切結合: 對於存儲在檔案系統的數據，使得算法執行的時候儘量去讀取本地的數據，減少數據在計算節點間的遷移, 從而降低節點間的通信代價，提高算法的執行效率。本項目系統地研究在雲計算框架下數據的本地化技術，以圖數據和矩陣作為主要的大數據研究對象，通過數據分布功能引擎，以較小的代價實現數據最佳化分布。
結題摘要
大數據的時代已經到來，雲計算研究得到國內外的研究者廣泛關注，目前在雲計算環境下大數據研究的主要成果是在管理架構和處理算法、大數據處理的關鍵技術等領域。本項目系統地研究在雲計算框架下數據的本地化技術，以文本數據和矩陣作為主要的大數據研究對象，通過數據分布功能引擎，以較小的代價實現數據最佳化分布。本項目的主要思路是：算法與數據的分布密切結合: 對於存儲在檔案系統的數據，使得算法執行的時候儘量去讀取本地的數據，減少數據在計算節點間的遷移, 從而降低節點間的通信代價，提高算法的執行效率。項目資助下所產生的研究成果將引起重視。
