大數據流式計算的網路調度最佳化理論與算法研究

《大數據流式計算的網路調度最佳化理論與算法研究》是依託深圳大學，由陳亮擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：大數據流式計算的網路調度最佳化理論與算法研究
• 項目類別：青年科學基金項目
• 項目負責人：陳亮
• 依託單位：深圳大學

項目摘要

大數據流式計算系統用於海量數據的實時處理，在網際網路、工業和金融等領域有著廣泛需求，如何有效利用系統資源提高實時任務的執行效率是其主要挑戰。本項目研究大數據流式計算系統的網路調度最佳化理論及其算法。（1）通過對大數據流式計算系統的實際測量，觀察流式數據處理的負載特徵、流量特徵以及連線特徵等方面。（2）根據系統的基本特徵建立模型，分析系統性能表現及其運行瓶頸。（3）結合數學理論和數據科學思想設計資源管理的最佳化模型，主要討論大數據流式計算任務的分配最佳化、分散式動態調度以及異構資源的負載均衡等關鍵問題。基於理論模型的研究，設計高效地網路調度和資源分配算法，提高系統資源的利用率和系統整體的運行效率。為建立高吞吐、低延遲且持續可靠運行的大數據流式計算系統提供理論依據和實踐指導。

結題摘要

本項目圍繞大數據計算分析與算法套用展開。通過對實際大數據系統的測量觀察，總結了數據傳輸模式及分散式套用特徵。在此基礎上，使用數學建模和數據建模工具對用戶行為、網路流量、資源調度等主要問題展開分析和研究。並結合實際工程探索了大數據計算分析與深度學習模型的實踐套用：（1）通過對海量視頻內容分發網路的數據測量分析，發現用戶使用行動網路的流量特徵並建立模型改進傳輸性能。（2）結合測量數據分析探索效用模型，討論了基於數據反饋的互助型內容傳輸體系，建立數學模型並在實際系統進行大規模套用試驗，有效提升了頻寬資源的利用率。（3）面向大數據問題的具體套用，探索了基於深度學習模型的網際網路視頻推薦和熱度預測的分析方法，並結合實際工程場景獲得檢驗。