《HDFS讀、寫性能機率建模與模型遷移方法研究》是依託西安交通大學，由董博擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：HDFS讀、寫性能機率建模與模型遷移方法研究
- 項目類別：青年科學基金項目
- 項目負責人：董博
- 依託單位：西安交通大學
中文摘要,結題摘要,
中文摘要
HDFS性能建模是雲計算領域研究熱點之一。HDFS性能具有獨特的機率分布特徵，蘊含著有用的信息。但當前尚未開展HDFS性能機率建模研究；並且HDFS性能建模主要使用單一建模方法，性能模型遷移方法的研究處在起步階段。為此，本項目研究一種“實驗建模、分析建模與遷移學習結合”的HDFS讀、寫性能機率建模方法。.首先，基於HDFS工作機理，對檔案大小域（0, BS）範圍的檔案大小（BS代表塊長），採用實驗建模，提出基於“特徵指標值預測-機率密度還原”的性能機率密度函式估計方法；對檔案大小域（BS, +∞）的檔案大小，採用分析建模，提出基於機率密度疊加的性能建模方法。其次，對新平台的HDFS性能機率建模，提出基於實例遷移的HDFS性能機率建模方法。.以上方法能夠建立不同平台HDFS讀、寫性能在檔案大小域的機率模型，減少建模成本、提高建模效率，對其它數據密集型檔案系統性能建模具有借鑑意義。
結題摘要
性能建模是雲計算和大數據領域研究熱點之一。以大數據分析為套用背景，研究數據密集型檔案系統和計算的建模關鍵技術。主要研究內容包括：Hadoop分散式檔案系統性能建模、基於系統辨識的Hadoop MapReduce性能建模、公有雲環境下Spark性能建模和資源最佳化配置方法和Virtual Machine Consolidation性能建模與死鎖避免策略。研究成果發表學術論文14篇，授權國家發明專利2項；成功部署於國稅總局“金稅三期”決策支持風險管理、納稅人信用管理、個人稅收管理等跨省套用系統，實現了“總局+省局”多Hadoop數據中心。並作為主要研究成果獲2017年度國家科學技術進步二等獎，項目負責人為第六完成人。
