《面向分散式異構雲數據中心的數據布局最佳化研究》是依託東南大學，由熊潤群擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：面向分散式異構雲數據中心的數據布局最佳化研究
- 項目類別：青年科學基金項目
- 項目負責人：熊潤群
- 依託單位：東南大學
中文摘要,結題摘要,
中文摘要
數據布局是影響雲平台服務質量的重要因素。隨著雲計算套用範圍的不斷拓展和雲數據中心模式的不斷演化，上層大數據套用呈現出數據間關聯度高以及訪問模式愈加複雜等特徵，尤其是地理分布的異構雲數據中心的出現，給數據布局管理帶來了新的挑戰。本項目圍繞分散式異構雲數據中心環境下的數據布局最佳化展開研究。首先，研究雲間數據布局最佳化策略，充分考慮數據關聯性和數據中心的存儲容量、頻寬等約束條件，解決多個雲數據中心協同工作模式下網路傳輸開銷大的問題；其次，研究雲內數據布局最佳化算法，充分考慮大規模存儲介質異構性及動態變化的數據價值等約束條件，解決任務執行性能低下的問題；最後，研究雲數據中心內普適的能耗最佳化機制，充分結合當前系統的數據布局，解決雲平台高能耗、低功效的問題。本項目將為雲服務提供商部署和最佳化大規模地理分布的異構雲數據中心的數據布局管理提供切實有效的解決方案，具有重要的理論意義和套用價值。
結題摘要
本項目針對多個雲數據中心數據布局最佳化問題展開研究。首先，研究分析了單雲數據中心內Hadoop集群的數據布局最佳化策略，對數據訪問帶有傾斜性的數據集，任務執行性能平均提升了近45%；其次，針對現有數據布局策略不合理給雲數據中心帶來的高耗低效性，從數據布局最佳化的角度，研究分析了雲數據中心能耗最佳化機制，與默認布局策略下的集群能耗開銷相比，降幅近達30%；最後，研究分析了多雲數據中心間數據布局最佳化算法，綜合考慮延時、頻寬利用率、供應商鎖定級別、可用性、成本等因素，對多雲數據中心存儲系統的數據存儲流程進行最佳化，設計了異構I/O感知的數據布局最佳化策略，實現數據的合理布局節省了整體網路頻寬約25%。基於上述理論研究成果，項目組開發實現了面向大規模雲數據中心數據布局最佳化系統以及單雲數據中心的能耗最佳化系統。本項目研究成果能為雲服務提供商部署和最佳化大規模地理分布的雲數據中心的數據存儲管理提供一定的理論支持和技術借鑑，同時對於降低雲數據中心運維成本和節能減排具有積極的參考意義。
