《面向用戶數據存儲的雲檔案系統關鍵技術研究》是依託清華大學，由楊廣文擔任項目負責人的面上項目。
基本介紹
- 中文名：面向用戶數據存儲的雲檔案系統關鍵技術研究
- 依託單位：清華大學
- 項目負責人：楊廣文
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
用戶數據存儲轉向雲平台已成為一種不可逆轉的趨勢，然而，現有的分散式檔案系統面對這類特殊的套用時，在可擴展性和存儲利用率等方面尚存在諸多不足。為了解決上述問題，本課題將重點研究面向用戶數據的雲存儲這類特殊套用的雲檔案系統。針對這類套用中用戶多、訪問並發度高、數據量大、數據熱點明顯的特點，解決分散式檔案系統中可擴展性（特別是存儲容量和元數據），重複數據消重，數據熱點偵測以及面向工作負載的數據放置和自適應負載平衡機制等技術問題；研製高效、易於擴展和管理的面向用戶數據線上存儲的雲檔案系統，並利用清華大學已經部署和使用的數據共享平台Corsair進行驗證最佳化。通過上述工作，切切實實推動雲存儲模式在國內的推廣，降低用戶數據的存儲成本和維護代價，同時提高數據的可用性，使用戶切切實實地感受到雲存儲帶來好處；同時為具備條件的企業快速構建自己的雲存儲平台提供支持。
結題摘要
用戶數據存儲轉向雲平台已成為一種不可逆轉的趨勢，然而，現有的分散式檔案系統面對這類特殊的套用時，在可擴展性和存儲利用率等方面尚存在諸多不足。為了解決上述不足，本課題面向用戶數據的雲存儲這類特殊的套用，針對這類套用中用戶多、訪問並發度高、數據量大、數據熱點明顯的特點，探究了分散式檔案系統的可擴展性（特別是存儲容量和元數據）、重複數據刪除、面向工作負載的數據放置和自適應負載平衡機制等技術問題，主要工作和成果包括： 1. 海量檔案系統元數據查詢的方法和技術：1、針對以企業級檔案伺服器、附網存儲設備和部分採用分散式元數據存儲的高性能檔案系統為代表的典型套用場景, 提出了基於選擇性掃描(SmartScan)的元數據快速抓取和同步方法，較好地解決了元數據抓取和同步的效率問題。2、針對部分存儲管理任務對元數據副本和查詢結果的 “足夠新”的需求，提出了基於檔案系統注入的元數據變化跟蹤方法。 2. 提出了一種基於鍵值key-value存儲的分散式檔案系統元數據管理方法，既保證了高效的元數據訪問，又為元數據的修改提供了靈活的接口，能夠保證元數據的一致性。 3. 針對虛擬計算環境中的MapReduce負載，提出了一種數據位置感知的最佳化方法，能夠將同一檔案塊的多個副本均勻分配到不同的物理機中，從根本上減少I/O相互干擾所引起的套用性能急劇下降。 4. 針對虛擬機鏡像存儲，提出了一種基於重複數據刪除技術的存儲方法，同時結合P2P技術和按需傳輸的思想，在節省存儲空間的同時，能夠有效降低網路負載、加快鏡像檔案的分發速度。 5. 通過精簡元數據信息、改進預設的數據分布策略等方式，解決了pNFS分散式檔案系統在處理海量小檔案時性能不足的問題。
