基本介紹
- 軟體名稱：cStor雲存儲
- 開發商：南京雲創存儲科技有限公司
- 包括：分散式存儲軟體和硬體系統
- 特點：高性能、低成本、高可靠
簡介,軟體特性,優異性能,高度可靠,線上伸縮,超大規模,簡單通用,智慧型管理,超低價格,關鍵技術,技術規格,經濟配置,標準配置,高性能配置,
簡介
cStor雲存儲系統是南京雲創存儲科技有限公司自主研發的高科技產品，整套系統包括分散式存儲軟體和硬體系統，與傳統的大規模存儲系統相比，cStor針對絕大多數數據密集型套用的特點從多個方面進行了最佳化，具有高性能、低成本、高可靠、高可伸縮、易用、通用等鮮明特點。
目前cStor雲存儲系統已經廣泛套用於數字地球、網際網路空間、視頻點播、視頻監控、高清影視節目分發、動漫渲染、數字圖書館等領域，在單一工程中的配置達到250TB。兩年多來，在眾多工程中，cStor表現非常穩定，從未出現故障。
cStor雲存儲系統可以獨立運行於客戶的通用計算機硬體上。 cStor雲存儲系統憑著超低的價格、優異的性能、高度可靠、綠色節能、無限容量、線上自動伸縮、易用通用等諸多壓倒性優勢，獲得了廣電、安防、刑偵、政務、交通、動漫等各行業用戶青睞，產品代理和銷售商已發展到數十家。
軟體特性
cStor雲存儲有以下幾大性能：
優異性能
cStor雲存儲系統支持高並發、頻寬飽和利用。cStor雲存儲系統將控制流和數據流分離，數據訪問時多個存儲伺服器同時對外提供服務，實現高並發訪問。自動均衡負載，將不同客戶端的訪問負載均衡到不同的存儲伺服器上。系統性能隨節點規模的增加呈線性增長。系統的規模越大，雲存儲系統的優勢越明顯, 沒有性能瓶頸。
高度可靠
cStor雲存儲系統針對小檔案採用多個數據塊副本的方式實現冗餘可靠，數據在不同的存儲節點上具有多個塊副本，任意節點發生故障，系統將自動複製數據塊副本到新的存儲節點上，數據不丟失，實現數據完整可靠；針對大檔案採用超安存（S3）編解碼算法的方式實現高度可靠，任意同時損壞多個存儲節點，數據可通過超安存算法解碼自動恢復。該特性可適用於對數據安全級別極高的場合，同時相對於副本冗餘的可靠性實現方式大大提高了磁碟空間利用率，不到40%的磁碟冗餘即可實現任意同時損壞三個存儲節點而不丟失數據。元數據管理節點採用雙機鏡像熱備份的高可用方式容錯，其中一台伺服器故障，可無縫自動切換到另一台伺服器，服務不間斷。整個系統無單點故障，硬體故障自動禁止。
線上伸縮
cStor雲存儲系統可以在不停止服務的情況下，動態加入新的存儲節點，無需任何操作，即可實現系統容量從TB級向PB級平滑擴展；也可以摘下任意節點，系統自動縮小規模而不丟失數據，並自動將再下的節點上的數據備份到其他節點上，保證整個系統數據的冗餘數。
超大規模
cStor雲存儲系統支持超大規模集群，理論容量為1024×1024×1024PB。
簡單通用
智慧型管理
cStor雲存儲系統一鍵式安裝，智慧型化自適應管理，簡單方便的監控界面，無需學習即可使用。 cStor雲存儲系統所有管理工作由雲存儲系統管理監控中心完成，使用人員無需任何專業知識便可以輕鬆地管理整個系統。通過專業的分散式集群監控子系統對cStor所有節點實行無間斷監控，用戶通過界面可以清楚地了解到每一個節點的運行情況。
超低價格
cStor雲存儲系統基於廉價的存儲節點，通過cStor雲存儲虛擬化軟體實現統一管理和容錯，提供高效穩定的存儲服務，是傳統SAN系統價格的1/5到1/10。
關鍵技術
中心伺服器模式
cStor 採用中心伺服器模式來管理整個檔案系統，可以大大簡化設計，從而降低實現難度。
Master 管理了分散式檔案系統中的所有元數據。檔案劃分為Chunk 進行存儲，對於Master 來說，每個Chunk Server 只是一個存儲空間。Client 發起的所有操作都需要先通過Master 才能執行。這樣做有許多好處，增加新的Chunk Server是一件十分容易的事情，Chunk Server只需要註冊到Master上即可，Chunk Server之間無任何關係。如果採用完全對等的、無中心的模式，那么如何將Chunk Server的更新信息通知到每一個Chunk Server，會是設計的一個難點，而這也將在一定程度上影響系統的擴展性。Master維護了一個統一的命名空間，同時掌握整個系統內Chunk Server的情況，據此可以實現整個系統範圍內數據存儲的負載均衡。由於只有一個中心伺服器，元數據的一致性問題自然解決。當然，中心伺服器模式也帶來一些固有的缺點，比如極易成為整個系統的瓶頸等。cStor採用多種機制來避免Master成為系統性能和可靠性上的瓶頸，如儘量控制元數據的規模、對Master進行遠程備份、控制信息和數據分流等。
元數據快取
快取（Cache）機制是提升檔案系統性能的一個重要手段，通用檔案系統為了提高性能，一般需要實現複雜的快取機制。cStor檔案系統根據套用的特點，沒有實現快取，這是從必要性和可行性兩方面考慮的。從必要性上講，客戶端大部分是流式順序讀寫，並不存在大量的重複讀寫，快取這部分數據對系統整體性能的提高作用不大；而對於Chunk Server，由於cStor的數據在Chunk Server上以檔案的形式存儲，如果對某塊數據讀取頻繁，本地的檔案系統自然會將其快取。從可行性上講，如何維護快取與實際數據之間的一致性是一個極其複雜的問題，在cStor中各個Chunk Server的穩定性都無法確保，加之網路等多種不確定因素，一致性問題尤為複雜。此外由於讀取的數據量巨大，以當前的記憶體容量無法完全快取。對於存儲在Master中的元數據，cStor採取了快取策略，cStor中Client發起的所有操作都需要先經過Master。Master需要對其元數據進行頻繁操作，為了提高操作的效率，Master的元數據都是直接保存在記憶體中進行操作。同時採用相應的壓縮機制降低元數據占用空間的大小，提高記憶體的利用率。
元數據可靠性保證
首先就單個Master來說，對於前兩種元數據，cStor通過操作日誌來提供容錯功能。第三種元數據信息則直接保存在各個Chunk Server上，當Master啟動或Chunk Server向Master註冊時自動生成。因此當Master發生故障時，在磁碟數據保存完好的情況下，可以迅速恢復以上元數據。為了防止Master徹底當機的情況，採用的雙機鏡像熱備份的方式，一台元數據伺服器異常可快速切換到另一台備用元數據伺服器，正常對外提供服務。
不間斷服務保證
cStor還提供了Master遠程的實時備份，這樣在當前的Master出現故障無法工作的時候，另外一台Master可以迅速接替其工作。系統增減節點不必停止服務，可線上增減存儲節點，存儲節點和元數據節點間通過註冊管理機制自適應管理，實現自動伸縮。
數據可靠性保證
cStor採用副本的方式實現Chunk Server的容錯。每一個Chunk有多個存儲副本（默認為三個），分布存儲在不同的Chunk Server上。副本的分布策略需要考慮多種因素，如網路的拓撲、機架的分布、磁碟的利用率等。對於每一個Chunk，必須將所有的副本全部寫入成功，才視為成功寫入。在其後的過程中，如果相關的副本出現丟失或不可恢復等狀況，Master會自動將該副本複製到其他Chunk Server，從而確保副本保持一定的個數。儘管一份數據需要存儲三份，好像磁碟空間的利用率不高，但綜合比較多種因素，加之磁碟的成本不斷下降，採用副本無疑是最簡單、最可靠、最有效，而且實現的難度也最小的一種方法。
N+M高頑存容災可靠性保證
採用8+3高頑存容錯編碼技術實現在低冗餘的情況下，實現數據的高可靠不丟失，任意損壞三個存儲節點，數據依然完整可靠，只需37.5%磁碟冗餘。
海量數據容量實現
技術規格
經濟配置
cStor雲存儲系統主要是採用千兆網路環境，可以滿足目前大多數常規套用環境要求。
標準配置
cStor雲存儲系統採用萬兆網路環境，主要套用於一般的對讀數據的存儲和處理的環境，如廣電等部門。
高性能配置
cStor雲存儲系統採用InfiniBand交換網路，主要解決對網路速度有特殊要求，並且數據的讀寫和處理有異常高的速度要求的套用環境。
