海量數據流實時分發技術研究

《海量數據流實時分發技術研究》是依託中國人民解放軍國防科技大學，由馬行空擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：海量數據流實時分發技術研究
• 項目類別：青年科學基金項目
• 項目負責人：馬行空
• 依託單位：中國人民解放軍國防科技大學

中文摘要

在震後救援、災難天氣預警等應急回響領域中，海量數據流實時產生且到達速率難以預測，用戶規模大且興趣各不相同。如何將海量數據流在廣域網範圍內實時分發至具有不同興趣的大規模用戶群體成為當前亟待解決的挑戰性問題。為此，本項目將展開三個方面研究：(1) 為了從大規模複雜訂閱中找出對數據感興趣的用戶群體，研究支持複雜事件處理的實時匹配方法，高效完成數據流上聚合、排序等操作，實現事件匹配高吞吐率。(2) 針對用戶對數據到達實時性的需求，研究海量數據流的實時事件路由方法，結合數據中心網路中的可擴展服務節點，實現毫秒級數據流分發。(3) 針對系統工作負載頻繁波動導致分發實時性降低的問題，研究運行時性能感知的自適應伸縮方法，彈性調整服務節點規模以保證數據分發實時性並提高資源利用率。本項目旨在探索切實可行的保障數據流分發實時性的方法，有效提高應急回響領域中突發事件的檢測和預警水平，增強處置突發事件的救援能力。

結題摘要

隨著網際網路、移動計算、物聯網的高速發展，湧現出了百萬級用戶規模的應急事件回響、線上社交網路、智慧型交通、輿情監控等數據密集型套用，這些套用中海量數據流實時產生且到達速率難以預測，用戶規模巨大且興趣各不相同。如何將海量數據流在廣域網範圍內實時分發至具有不同興趣的大規模用戶群體成為當前亟待解決的挑戰性問題。為此，我們提出了基於兩跳查詢拓撲的通用並行匹配方法、區間數據的分布漸進式Skyline查詢算法，有效降低複雜事件的匹配時間；提出雲輔助的快速事件路由方法解決網路上傳頻寬不足的問題，基於流水線的分散式漸進編碼方法保證數據分發可靠性，基於分組的分散式流水線數據寫入方法降低頻寬消耗；提出基於匹配節點最大工作負載的彈性事件匹配方法，基於簇最大分發完成時間的彈性數據路由方法，提高服務節點的自適應伸縮能力。本項目在事件匹配、Skyline查詢、糾刪碼存儲、數據路由和彈性服務的關鍵技術方面獲得突破，能夠有效提高應急回響領域中突發事件的檢測和預警水平，增強處置突發事件的救援能力。本項目共錄用與發表高水平學術論文13篇，其中SCI檢索論文9篇，EI檢索論文4篇。其中計算機學會A類期刊論文1篇，計算機學會C類期刊7篇。