《基於NoSQL的海量太陽觀測數據分散式存儲技術的研究》是依託昆明理工大學，由季凱帆擔任項目負責人的地區科學基金項目。
基本介紹
- 中文名：基於NoSQL的海量太陽觀測數據分散式存儲技術的研究
- 項目類別：地區科學基金項目
- 項目負責人：季凱帆
- 依託單位：昆明理工大學
項目摘要,結題摘要,
項目摘要
傳統的集中式數據存儲方式已經無法滿足現代太陽觀測每秒數百兆位元組的高速海量數據存儲要求。本項目以澄江紅外太陽塔（NVST）為依託，研究基於NoSQL的分散式數據存儲技術，實現海量太陽觀測數據的高速安全可靠的存儲、管理、檢索、讀取和維護，並滿足數據動態快速的增長以及對存儲數據的實時處理要求。項目重點開展基於NoSQL的天文數據分布存儲架構、分布存儲中的數據完整性保證技術、高性能並行讀寫技術和存儲節點便捷加入與移除技術這四個方面的工作。力爭突破基於Key-Value與B+樹結合的數據存儲與檢索技術、分片存儲的最最佳化方法和NoSQL中的實時任務分配與任務調度算法等關鍵技術。本項目創新之處在於引入新的存儲體系結構，使用分散式存儲和NoSQL技術實現海量太陽觀測數據的高速可靠的存儲、讀取、管理和擴容，以及為保證數據的一致性和安全性而利用Key-Value機制B+樹實現觀測結果的一次性寫入和結果查詢。
結題摘要
本項目針對大型太陽觀測設備產生的海量數據對存儲模式的需求，結合澄江一米紅外望遠鏡等大型太陽觀測設備，重點研究了基於NoSQL 的天文海量數據分散式存儲的關鍵技術。按照研究任務書，本項目研究了可以滿足當前大型太陽望遠鏡海量數據高速存儲的可行辦法。針對如下四個方面進行了研究：基於NoSQL 的天文數據分布存儲架構；分布存儲中的數據完整性保證技術；高性能並行讀寫技術；存儲節點加入與移除技術。基於這些研究，初步實現一個面向海量天文數據的分散式存儲系統原型AstroFS，以及基於NoSQL的分散式存儲檢索系統，並結合NVST觀測數據，進行了測試。完成既定研究目標如下：（1）對可以滿足天文海量數據存儲的分散式存儲系統進行研究，利用NoSQL的方式實現面向FITS格式檔案的高速分布存儲；（2）提出了可行的天文觀測數據分布存儲的方法與算法，對數據存儲中各類控制參數，如分布數據大小、存儲節點數量等結合太陽觀測數據的特點給出較優的定量指標；（3） 研究Key-Value技術在天文數據存儲的可用性，實現了對KEY值的高速檢索，同時能夠保證數據與檢索信息的一致寫入，確保觀測數據的完整性。（4）結合NVST觀測數據進行的測試表明，AstroFS系統能夠滿足當前NVST太陽望遠鏡的存儲需求。與此同時，本項目還研究了基於AstroFS系統存儲數據的並行GPU計算和太陽圖像相關科學數據處理和科學套用，如對國家天文台懷柔基地磁場數據的處理和太陽光球亮點以及黑子本影亮點等精細結構的研究。
