格線環境下基於數據交換區的作業分配與再調度

《格線環境下基於數據交換區的作業分配與再調度》是依託吉林大學，由胡亮擔任項目負責人的面上項目。

基本介紹

• 中文名：格線環境下基於數據交換區的作業分配與再調度
• 項目類別：面上項目
• 項目負責人：胡亮
• 依託單位：吉林大學

項目摘要

格線計算能夠高效的完成各種大規模的科學計算以及仿真模擬。隨著大規模計算精度的提高，其產生的數據量也呈指數級不斷增加，格線環境下受到網路和存儲設備的限制，數據的訪問速率遠遠低於處理器的處理速率，成為系統的瓶頸。本項目將提出一種新的作業執行輔助設施：格線數據交換區GSwap，用來為作業的數據交換提供一個高效可靠的場所，並統一管理與作業相關的檔案，改進作業執行中數據交換的模式。提供一個GSwap檔案的訪問代理，依據作業的類型選擇數據訪問模式以及數據分布，為作業訪問GSwap提供一個統一的、透明的訪問接口；提供GSwap節點的異常檢測與處理，提高其檔案訪問服務的可靠性。基於GSwap作業執行中間結果實現檢查點算法，縮小檢查點算法和再調度算法的開銷。在動態格線環境下為調度決策系統提供調度依據，提高作業對數據的訪問效率，使得格線資源的利用更加合理，保證任務完成時間門限值，改進應用程式的執行性能。

結題摘要

格線環境下受到網路和存儲設備的限制，數據的訪問速率遠遠低於處理器的處理速率，成為系統的瓶頸。本項目引入分散式檔案系統的數據共享與傳輸協定改進格線作業數據傳輸模式，提出了一種新的作業執行輔助設施：格線數據交換區GSwap，將分散在多個節點中的檔案已分享資料夾聚合成數據交換區，為格線作業的執行提供了一個數據交換的平台，實現了格線數據副本的索引與校驗。建立了基於雲存儲的檔案訪問代理體系結構，為格線計算作業的數據訪問提供一個統一的、透明的訪問接口。設計了一個基於HDFS的數據備份系統，實現了數據備份與恢復操作的負載平衡。提出了輕量級格線性能監測方法以及基於計算智慧型的格線性能預報方法，設計並實現了低開銷、高精度的通用格線性能線上監測預報系統，為調度決策系統提供調度依據，提高了檔案服務的可靠性。設計了基於身份別名與輔助認證方的方法改進IBE方案，解決了部署IBE系統所遇到的問題，擴大IBE系統的套用範圍，使之更加適用於格線等領域，並基於改進的IBE系統設計了格線資源安全訪問模型，實現了資源的安全訪問。使用偽隨機序列和線性探測再散列方法改進IDEA算法，使用偽隨機生成階段中加入行移位和列移位的過程改進RC4算法，並在算法改進的基礎上設計實現了格線數據加密系統，對格線中存儲與傳輸的數據進行加密保護。提出了合作式本體模型，多步入侵警報關聯模型，樸素貝葉斯分類模型，實現了分散式智慧型入侵檢測系統，能夠為大規模格線計算環境提供安全保障。設計並實現了支持作業調度機制、數據調度機制與檢查點機制的大規模並行作業元調度系統，是國際上公認的格線元調度系統之一，被寫入IBM的技術白皮書，且與世界上格線計算的標準工具集Globus Toolkit同步開發及發布，套用於多家單位的科學研究與產品製造過程中並受到廣泛好評。以上學術成果提高了作業對數據的訪問效率，使得格線資源的利用更加合理，保證任務完成時間門限值，改進應用程式的執行性能。項目執行期內，在國際期刊、國際會議和國核心心期刊上發表論文30篇，出版專著2部，取得國家發明專利1項，申請國家發明專利2項，代表文章發表於分散式計算領域頂級SCI期刊IEEE TPDS。相關學術成果獲得了中國工程院周仲義院士，美國喬治亞大學生物信息學院Ying Xu教授，美國德克薩斯大學達拉斯分校計算機科學系Edwin Sha教授、鄭斯清教授等的好評與認可。