《分散式流處理系統實時容錯關鍵技術研究》是依託吉林大學，由李洪亮擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：分散式流處理系統實時容錯關鍵技術研究
- 項目類別：青年科學基金項目
- 項目負責人：李洪亮
- 依託單位：吉林大學
項目摘要,結題摘要,
項目摘要
近年來，各行業套用中對大規模流數據進行實時處理與分析的需求激增，分散式流處理技術發展迅速。隨著系統規模的擴展和處理流程的複雜化，系統魯棒性問題日益得到關注，分散式流處理系統故障容錯問題逐漸成為研究熱點。現有工作缺乏面向處理實時性的容錯理論模型，缺乏相應的容錯策略最佳化方法，容錯方法動態性不足難以適應流數據處理特點。本研究重點關注分散式流處理系統的實時性容錯問題，從理論模型、最佳化策略及支撐機制等層面開展研究，主要研究內容包括：面向處理實時性的節點故障代價模型及系統可靠性模型、容錯策略最佳化及動態調整問題、實時性容錯支撐機制及協定等。與現有的工作相比，本研究主要特色包括：將故障對實時性的影響引入到可靠性理論模型中、基於拓撲感知思想根據節點故障代價最佳化實時容錯策略、支持自動並行化和突發性流等場景的容錯策略動態調整等。本研究具有重要的理論價值和廣泛的套用需求。
結題摘要
隨著各行業套用中對大規模流數據進行實時處理與分析的需求激增，分散式流處理技術發展迅速。這類分散式系統規模迅速擴展，數據處理流程日益複雜化，系統魯棒性問題日益得到關注，分散式流處理系統故障容錯問題逐漸成為研究熱點。目前亟需建立面向處理實時性的容錯理論模型，進而快速發展相應的容錯策略最佳化方法。本項目從理論模型、最佳化策略及支撐機制等方面，全面開展流數據處理系統的實時容錯關鍵技術研究。本研究首次建立了面向處理實時性的分散式流數據處理系統節點故障代價模型及系統可靠性模型；在該模型基礎上，進一步建立了多種實時性容錯策略，包括面向容錯代價的容錯策略、面向處理延遲的容錯策略以及面向突發性流負載的容錯策略等；最後，開展了實時性容錯支撐機制及協定研究，基於開源分散式數據處理框架實現了實時容錯流數據處理原型系統SPATE，對本項目的理論研究結果進行驗證。與現有的工作相比，本研究主要特色包括:將故障對實時性的影響引入到可靠性理論模型中、基於拓撲感知思想實現了考慮節點故障代價的最佳化容錯策略、支持自動並行化和突發性流等場景的容錯策略動態調整等。本研究基於通用分散式流數據處理系統模型，相關成果可適用於各類流行的分散式流數據處理平台，如Storm、Flink等。本研究具有重要的理論價值和廣泛的套用需求。
