基於雲計算的虛擬天文台關鍵技術研究

《基於雲計算的虛擬天文台關鍵技術研究》是依託昆明理工大學，由戴偉擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於雲計算的虛擬天文台關鍵技術研究
• 項目類別：青年科學基金項目
• 項目負責人：戴偉
• 依託單位：昆明理工大學

項目摘要

隨著虛擬天文台建設的快速發展，當前基於格線的虛擬天文台面臨管理複雜、套用不透明、難於擴展以及實用性欠缺的問題。本項目旨在深入研究雲計算這一新型計算方式，結合當前天文數據處理實際情況，研究基於雲計算的大型分散式數據密集型計算的可擴展分散式檔案系統、基於雲計算的分散式數據存儲管理技術和與之相關的虛擬化技術、分散式海量數據的快速查找，以及雲計算編程模型與傳統應用程式的雲化問題，並在上述研究的基礎上，開發一個基於雲計算的虛擬天文台套用原型，重點解決數據分布存儲與數據管理問題，用以驗證研究成果，並結合現有天文數據處理中的迫切需求，提高可用性和實用性，推動虛擬天文台技術的發展與普及。

結題摘要

課題是虛擬天文台當前發展的底層存儲和計算架構技術的重要組成部分，在2012年到2014年的三年的時間裡，項目組通過大量而深入的工作，深入研究了雲計算這一新型計算方式，結合當前虛擬天文台天文數據處理的實際情況，針對當前面臨的大型海量數據集存儲和檢索的問題，對流行的各種雲計算底層技術進行了大量的分析和比較，重點研究了基於雲計算的，以Hadoop為底層的分散式系統，通過實驗證明HDFS的檔案系統以及MapReduce計算模式在虛擬天文台海量數據管理和計算的可用性，並依此為基礎實現了一個海量圖像分散式處理平台，該平台已經於2013年套用於中國科學院國家天文台懷柔太陽觀測基地的圖像存儲，解決了原有的擴展性、可管理性等一系列問題，並為後期的線上處理數據、基於IOVA的協定的數據發布提供了較好的基礎。其他的研究重點還包括對雲計算環境下的分散式存儲技術展開研究，特別是分散式數據的快速檢索方面，通過對基於字對齊壓縮的點陣圖索引方法和傳統的Mysql資料庫進行性能比較，發現基於字對齊壓縮的點陣圖索引方法在海量數據檢索性能上有較為明顯的優勢，並實現了太陽數據的歸檔系統，該系統已經在雲南澄江一米紅外太陽塔（NVST）投入使用，解決了NVST觀測數據的快速存儲和高效檢索難題。項目充分利用當前了計算資源，解決虛擬天文台對大規模計算平台與數據存儲平台的需要，對推動我國虛擬天文台建設有較好的套用價值。