《集群環境下的高通量事務處理技術》是依託華東師範大學，由宮學慶擔任項目負責人的面上項目。
基本介紹
- 中文名：集群環境下的高通量事務處理技術
- 項目類別：面上項目
- 項目負責人：宮學慶
- 依託單位：華東師範大學
項目摘要,結題摘要,
項目摘要
網際網路的普及讓人們使用信息服務越來越方便，支持各種類型終端的隨時隨地訪問已經成為信息系統建設的新常態。越來越多的套用系統開始採用集群架構來增加擴展能力，應對持續增長的服務壓力。傳統關係資料庫往往成為集群架構系統性能提升的瓶頸，新型分散式資料庫系統的研發已經成為業界關注的熱點，集群環境下的事務處理技術是其中一個重要的研究方向。本項目關注於集群環境下高通量事務處理關鍵技術的研究，具體包括：
1、基於套用日誌分析的數據動態劃分、組織與訪問方法；
2、支持不同隔離級別的事務多版本並發控制機制；
3、基於負載分類的節點間事務調度機制；
4、採用最佳化Consensus協定的節點間數據複製機制；
5、面向金融行業套用的線上事務處理原型系統；
項目的研究工作符合技術發展的趨勢，能夠滿足套用的真實需求，貼合國家發展的戰略需要。申請人在相關研究領域具有一定的技術積累，所提出的研究方案切實可行，能夠保證項目目標的順利完成。
結題摘要
隨著網際網路+套用模式的普及，越來越多的套用系統開始採用集群架構來增加擴展能力，應對持續增長的服務壓力，並且採用基於普通PC伺服器集群的分散式資料庫系統取代傳統的單節點資料庫系統。雖然分散式資料庫系統在處理分析查詢類套用時具有成本低、易於擴展等優點，但在處理交易類套用時面臨著數據一致性、跨節點事務性能、系統可靠性和可用性等問題。本項目關注於集群環境下分散式資料庫中事務處理相關技術的研究，主要成果包括：
1、在分散式的數據組織與訪問技術方面，設計了面向負載的數據動態劃分和複製機制，提出了多種用於性能評估的代價模型，實現了多種啟發式數據劃分算法，並通過實驗對有效性進行了驗證；
2、在分散式系統高可用技術方面，提出了防止控制節點和事務處理節點出現單點故障的高可用框架，能夠在各節點時鐘誤差較小的情況下實現快速選主，實驗結果表明該方法能夠實現分散式資料庫系統主節點故障的秒級恢復；
3、在分散式事務並發控制機制方面，設計和實現了一種高效的快照隔離級別的並發事務控制機制，有效地提高了分散式資料庫系統中的事務處理吞吐率；
4、在節點間數據複製和遷移技術方面，設計並實現了一種考慮節點間負載均衡的數據複製方法，能夠有效提升節點間數據複製的性能；
5、設計並實現了一個面向金融行業交易類套用的分散式資料庫原型系統，對分散式索引、分散式查詢最佳化等影響分散式資料庫事務處理性能的相關技術進行了研發，在金融行業模擬數據集上進行交易測試的吞吐率達到17000TPS。
本項目共發表學術論文8篇，其中CCF-A類論文1篇，CCF-B類論文5篇；申請軟體著作權登記7項；產生碩士畢業論文12篇。本項目所研發技術可以套用於各類Share-nothing架構的分散式資料庫系統，能夠在保證分散式資料庫系統高可靠和高可用特性的同時有效提高系統事務處理的吞吐率；所研發分散式資料庫原型系統適用於各類網際網路套用及企業級信息系統套用。
