《結合邏輯與物理I/O訪問信息的存儲系統最佳化策略的研究》是依託西南大學,由廖劍偉擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名:結合邏輯與物理I/O訪問信息的存儲系統最佳化策略的研究
- 項目類別:青年科學基金項目
- 項目負責人:廖劍偉
- 依託單位:西南大學
項目摘要,結題摘要,
項目摘要
本項目擬研究主動式存儲系統的I/O最佳化策略,以克服當前主動式存儲系統模型的不足。通過捕獲應用程式的邏輯I/O訪問信息和其在存儲伺服器上的物理I/O訪問信息,採用有向無環圖(DAG, Directed Acyclic Graph)記錄、合併最佳化和管理所有I/O事件;同時構建I/O事件之間的依賴關係。通過建立應用程式的邏輯I/O訪問和物理I/O訪問之間的映射聯繫,利用基於機率計算的預測模型預測並分析邏輯和物理I/O訪問模式,結合I/O事件的依賴關係,為以並行檔案系統為基礎設施的主動式存儲系統準確地執行數據預取和數據物理分布的最佳化操作提供基本決策信息,從而提高I/O子系統的吞吐率並減少應用程式本身的執行時間,最終達到提高系統整體性能的目標。
結題摘要
本項目研究分散式存儲系統的I/O最佳化策略,以克服當前分散式存儲系統模型的不足。通過捕獲應用程式的邏輯I/O訪問信息和其在存儲伺服器上的物理I/O訪問信息,採用有向無環圖(Directed Acyclic Graph, DAG)記錄、合併最佳化和管理所有I/O事件,有助於構建I/O事件的依賴關係。通過建立應用程式的邏輯I/O訪問和物理I/O訪問之間的映射聯繫,利用基於機率計算的預測模型預測並分析邏輯和物理I/O訪問模式,結合I/O事件的依賴關係,為以並行檔案系統為基礎設施的主動式存儲系統準確地引導數據預取和數據物理分布的最佳化策略提供基本決策信息,從而提高I/O子系統的吞吐率並減少應用程式本身的執行時間,最終達到提高系統整體性能的目標。 特別地,本項目通過研究實現部署在存儲結點和I/O結點的存儲伺服器端的自底而上的I/O最佳化機制(包括基於磁碟塊訪問模式的推送式數據預),從而減少計算結點參與I/O最佳化操作的力度進而加速應用程式執行並大幅提升存儲系統輸入/輸出性能,最終解決或者緩解I/O性能與計算性能不匹配的問題。從實驗結果看,本項目所研究的存儲伺服器端的I/O最佳化機制能夠有效地減少客戶端機器參與I/O最佳化的力度達30%以上。簡單之,本項目研究實現的分散式檔案系統支持數據預取和物理塊最佳化分布等I/O最佳化機制,從而達到提供快速I/O回響並提高I/O數據吞吐量的目標。因而,該分散式存儲系統非常適合作為雲計算平台(Fat Server/Thin Client Platform)的存儲系統基礎設施。