海量存儲是定期備份一種方式。海量存儲就是每次都把系統中的所有數據向備份存儲介質中進行存儲。因為系統中的數據通常數目巨大，所以稱為“海量”。這種方法的缺點是需要的存儲量大、工作時間長，優點是一旦需要恢複數據則工作比較簡單。海量存儲媒體檔案簡單地說媒體檔案可以不斷的增長進行存儲。
基本介紹
- 中文名：海量存儲媒體檔案
- 外文名：Mass Storage Media File
- 學科：計算機科學
- 定義：媒體檔案可以不斷的增長進行存儲
- 技術：海量存儲
- 類型：多媒體檔案
- 套用：多媒體行業、存儲器設備製造
簡介,海量數據存儲,介紹,研究方向,技術,海量存儲器,套用,
簡介
海量存儲的含義是，其在數據存儲中的容量增長是沒有止境的。海量存儲是定期備份一種方式。海量存儲就是每次都把系統中的所有數據向備份存儲介質中進行存儲。因為系統中的數據通常數目巨大，所以稱為“海量”。這種方法的缺點是需要的存儲量大、工作時間長，優點是一旦需要恢複數據則工作比較簡單。海量存儲媒體檔案簡單地說媒體檔案可以不斷的增長進行存儲。隨著大數據的時代到來，近年來全球數據的增長十分快速，多媒體檔案的增長也不例外。對於數據備份來說，海量存儲媒體檔案是當下多媒體數據持續增長過程一個不錯的方案。
數據備份是容災的基礎，是指為防止系統出現操作失誤或系統故障導致數據丟失，而將全部或部分數據集合從套用主機的硬碟或陣列複製到其它的存儲介質的過程。傳統的數據備份主要是採用內置或外置的磁帶機進行冷備份。但是這種方式只能防止操作失誤等人為故障，而且其恢復時間也很長。隨著技術的不斷發展，數據的海量增加，不少的企業開始採用網路備份。網路備份一般通過專業的數據存儲管理軟體結合相應的硬體和存儲設備來實現。
海量數據存儲
介紹
海量存儲的含義在於，其在數據存儲中的容量增長是沒有止境的。因此，用戶需要不斷地擴張存儲空間。但是，存儲容量的增長往往同存儲性能並不成正比。這也就造成了數據存儲上的誤區和障礙。
海量存儲技術的概念已經不僅僅是單台的存儲設備。而多個存儲設備的連線使得數據管理成為一大難題。因此，統一平台的數據管理產品近年來受到了廣大用戶的歡迎。這一類型產品能夠整合不同平台的存儲設備在一個單一的控制界面上，結合虛擬化軟體對存儲資源進行管理。這樣的產品無疑簡化了用戶的管理。
數據容量的增長是無限的，如果只是一味的添加存儲設備，那么無疑會大幅增加存儲成本。因此，海量存儲對於數據的精簡也提出了要求。同時，不同套用對於存儲容量的需求也有所不同，而套用所要求的存儲空間往往並不能得到充分利用，這也造成了浪費。
研究方向
為了支持大規模數據的存儲、傳輸與處理，針對海量數據存儲目前主要開展如下三個方向的研究：
虛擬存儲技術
存儲虛擬化的核心工作是物理存儲設備到單一邏輯資源池的映射，通過虛擬化技術，為用戶和應用程式提供了虛擬磁碟或虛擬卷，並且用戶可以根據需求對它進行任意分割、合併、重新組合等操作，並分配給特定的主機或應用程式，為用戶隱藏或禁止了具體的物理設備的各種物理特性。存儲虛擬化可以提高存儲利用率，降低成本，簡化存儲管理，而基於網路的虛擬存儲技術已成為一種趨勢，它的開放性、擴展性、管理性等方面的優勢將在數據大集中、異地容災等套用中充分體現出來。
高性能I/O
集群由於其很高的性價比和良好的可擴展性，近年來在HPC領域得到了廣泛的套用。數據共享是集群系統中的一個基本需求。當前經常使用的是網路檔案系統NFS或者CIFS。當一個計算任務在Linux集群上運行時，計算節點首先通過NFS協定從存儲系統中獲取數據，然後進行計算處理，最後將計算結果寫入存儲系統。在這個過程中，計算任務的開始和結束階段數據讀寫的I/O負載非常大，而在計算過程中幾乎沒有任何負載。當今的Linux集群系統處理能力越來越強，動輒達到幾十甚至上百個TFLOPS，於是用於計算處理的時間越來越短。但傳統存儲技術架構對頻寬和I/O能力的提高卻非常困難且成本高昂。這造成了當原始數據量較大時，I/O讀寫所占的整體時間就相當可觀，成為HPC集群系統的性能瓶頸。I/O效率的改進，已經成為今天大多數Linux並行集群系統提高效率的首要任務。
格線存儲系統
高能物理的數據需求除了容量特別大之外，還要求廣泛的共享。比如運行於BECPII上的新一代北京譜儀實驗BESIII，未來五年內將累積數據5PB，分布在全球20多個研究單位將對其進行訪問和分析。因此，格線存儲系統應該能夠滿足海量存儲、全球分布、快速訪問、統一命名的需求。主要研究的內容包括：格線檔案名稱字服務、存儲資源管理、高性能的廣域網數據傳輸、數據複製、透明的格線檔案訪問協定等。
技術
集群技術
海量存儲的含義在於，其在數據存儲中的容量增長是沒有止境的。因此，用戶需要不斷地擴張存儲空間。但是，存儲容量的增長往往同存儲性能並不成正比。這也就造成了數據存儲上的誤區和障礙。
因此，集群技術在近年來受到了追捧。這一技術以數據並發作為前提，用戶可以以模組的方式對存儲容量進行添加，每一個模組都擁有獨立的控制器和快取。這樣一來，用戶可以在增加系統容量的同時對系統性能進行拓展。
統一數據管理
如今，海量存儲的概念已經不僅僅是單台的存儲設備。而多個存儲設備的連線使得數據管理成為一大難題。因此，統一平台的數據管理產品近年來受到了廣大用戶的歡迎。這一類型產品能夠整合不同平台的存儲設備在一個單一的控制界面上，結合虛擬化軟體對存儲資源進行管理。這樣的產品無疑簡化了用戶的管理。
分級存儲
隨著存儲技術的不斷發展，高性能的固態硬碟驅動器成為企業級存儲的一個新的套用技術。但是，固態硬碟居高不下的成本另很多擁有高性能數據吞吐需求的用戶無力承擔。因此，作為數據存儲的重要技術之一，分級存儲應運而生。
顧名思義，分級存儲的目的就在於將不同的數據進行按級別劃分的存儲處理。一般來說，頻繁被訪問的數據會存儲於一級存儲之上，一般來說，對於性能需求比較強烈的用戶都會在一級存儲上部署固態硬碟。二級存儲則一般會選用更為便宜的SAS或者FC驅動器。而在這一層級上存儲的數據則多為訪問相對於一級存儲並不頻繁的數據。
分級存儲似乎同海量存儲並無太多關係，不過實際上，正是由於分級存儲技術的誕生，使得海量存儲產品的性價比達到一個完美的臨界值。
存儲最佳化技術
數據容量的增長是無限的，如果只是一味的添加存儲設備，那么無疑會大幅增加存儲成本。因此，海量存儲對於數據的精簡也提出了要求。同時，不同套用對於存儲容量的需求也有所不同，而套用所要求的存儲空間往往並不能得到充分利用，這也造成了浪費。
針對以上的問題，重複數據刪除和自動精簡配置兩項技術在近年來受到了廣泛的關注和追捧。重複數據刪除通過檔案塊級的比對，將重複的數據塊刪除而只留下單一實例。這一做法使得冗餘的存儲空間得到釋放，從客觀上增加了存儲容量。
為了應對套用在存儲空間上的需求浪費，自動精簡配置技術提出了"按需分配"的概念。也就是說，套用需要多少磁碟空間就分配多少，同時在套用所需磁碟空間減少後進行有效地回收。
海量存儲器
海量存儲器，mass memory，是一種超大容量的輔助存儲器，用海量來形容其存儲容量的龐大。現代情報數量急劇增加，要求龐大的存儲系統貯存情報，例如1970年美國人口調查數據就是由貯存在2000盤磁帶內的10個檔案組成的,總信息量為2.6×11(平方)位。空間探索的高分辨圖像照片，每張照片約有10×8(平方)位數據，相當於一盤10×8(平方)位磁帶的存儲量，千百張照片就需要千百盤磁帶來存儲。海量存儲系統就是為貯存這類海量情報的需要而研製的。有海量磁鼓存儲器、海量磁碟存儲器、海量磁帶存儲器和光碟存儲器等。
套用
安防視頻海量存儲
高清、長周期呈現海量存儲需求
高清已經在安防行業全面鋪開套用。除了帶給用戶能夠看得更清的良好視覺感受外，對存儲容量的需求亦成幾何式增長。例如: 前端IPC有130W到500W像素,碼流也從有2Mbps到8Mbps，而一個130W像素,8Mbps碼流的前端，錄像一個月就需要2531.3GB，數據量不可小覷。
存儲周期方面，現在也有了政府的有力推動。如《中華人民共和國反恐怖主義法》規定採集的視頻圖像數據保存周期不得少於90天；最高人民法院與國家檔案局聯合發布的《關於人民法院訴訟檔案保管期限的規定》更是規定：將法院訴訟檔案的保管期限分為永久、長期、短期三種，根據人民法院訴訟檔案的特點，凡屬本院審判活動形成的需要長遠利用的訴訟檔案，劃為永久保管。凡屬在相當長的時期內需要查考使用的訴訟檔案，劃為長期保管，保管時間為60年。凡屬在相對較短的時期內需要查考利用的訴訟檔案，劃為短期保管，保管時間為30年，可以想像，數據量非常之大。
現有的安防存儲模式
DVR/NVR前端本地存儲
此種模式，一般套用於實施較早項目，使用的是DVR/NVR前端本地存儲,隨著大數據時代的來臨,採用了比較直接的方法,在DVR/NVR直接連線擴展櫃來實現容量的擴容。原來系統及原數據保持不變。此種模式由於採用DVR/NVR存儲容量相對較小，況且DVR/NVR性能較低,信息孤島現象嚴重,無法滿足大數據需求。
集中存儲模式
客戶數據採用磁碟陣列模式。可以採用在存儲節點後直接增加擴展櫃的模式,隨著集群的推出也可以通過增加存儲節點來實現容量增加。相對於DVR/NVR模式,容量大大提升,並實現了數據的集中存儲，同時支持存儲節點間的故障的自動業務接管,最大程度上實現了業務數據的完整性。但是隨著大數據的來臨,後續項目擴容時,需要人為配置設備的負載均衡。一台存儲故障後導致設備存儲的數據部分中斷或者接管設備壓力較大，另外考慮到網路延時，可能導致存儲數據不完整，數據獲取需要人為指定設備數據獲取，管理成本較高等。為了設備的負載均衡,空間的虛擬化設備易維護的問題,雲存儲技術應運而生。
雲存儲模式
隨著雲存儲技術普及.目前市面大體分為通用雲存儲(檔案雲\集群NAS )和視頻雲存儲。
通用雲存儲
通過軟體運用集群技術、虛擬化技術、分散式存儲技術將網路中大量各種不同類型的存儲設備集合起來協同工作，共同對外提供數據存儲和業務訪問功能。
通用雲存儲較傳統集中基本設備形態不變，故主要部件為：存儲伺服器（元數據伺服器）+磁碟陣列。
通用雲存儲中許多都是通過最佳化改造傳統IPSAN/NAS存儲而演化而來，其通過實現伺服器和存儲設備集群化管理，存儲資源虛擬化，達到分散式數據存儲，因其內部數據處理以結構化數據為主。
工作模式：前端攝像機視頻數據流經流媒體伺服器轉發到存儲管理伺服器集群，最後在寫入指定的磁碟陣列。視頻數據需經過流媒體伺服器轉發進入存儲伺服器，一定流媒體故障，系統業務中斷，數據存在丟失風險。
通用雲存儲可以實現存儲資源虛擬化，但虛擬化能力有限。通用雲存儲以結構化的檔案系統存儲非結構化視頻圖片數據，視頻存儲效率低。
基於以上幾點,通用雲存儲產品當前都是面向全行業項目支持，主要作為一款存儲方案，即不對安防視頻套用做套用支撐.不太適合做安防視頻整體的解決方案。
安防專用的視頻雲存儲
基於雲架構進行開發，融合了集群套用、負載均衡、虛擬化、雲結構化、離散存儲等技術，將網路中各種不同類型的存儲設備，通過專業套用軟體集合起來協同工作，共同對外提供視頻、圖片數據存儲和業務訪問服務。
視頻雲存儲基本組成單元: 雲存儲管理伺服器、雲存儲存儲節點、雲存儲軟體。
視頻監控平台根據業務需求為各前端攝像機下發錄像計畫，視頻雲存儲系統根據當前系統內的業務負載情況分配具體的存儲空間，前端攝像機推送視頻數據流直寫到分配的存儲設備上。視頻雲存儲數據傳輸協定支持主流的流媒體協定（如RTSP/ONVIF/PSIA等）和GB/T28181規範；支持平台直接調取，架構簡化而開放，空間自我管理，可獨立組網。
對於通用雲存儲,視頻雲存儲優勢如下：
相在大型視頻監控項目中，視頻雲存儲在視頻/圖片存儲效率優於通用雲存儲；在項目預算中，視頻雲存儲較通用雲存儲能節省部分伺服器投入，有成本優勢；視頻雲存儲是專門針對視頻安防行業的高效安全穩定的後端存儲解決方案，所以可以支撐大量的視頻功能套用，這個也是通用雲存儲所不具備的。
視頻雲存儲特點如下：
高效靈活的空間管理，包括對存儲資源進行虛擬化整合，提高用戶管理效率，以及支持存儲資源的線上擴展，實現容量與性能的線性增長；虛擬空間可靈活調整，不但能擴大，同樣能縮小；後續產品只需要增加存儲節點就能完成容量升級。
海量數據的快速檢索，採用一體化索引設計，大大提高了查找速度；深化視頻、圖片的套用設計，支持I幀信息快速讀取。
持續可靠的數據服務，提供7X24小時不間斷高效可持續的數據服務，充分保護數據安全和可靠性；採用全集群化設計，性能全面提升，設備壓力負載均衡，單/多點故障，錄像業務不中斷；數據存儲採用離散存儲算法，提供系統級高效、穩定存取服務。
高可擴展的套用支撐，系統的高性能設計，能夠並發服務以滿足視頻數據的高速讀取需求；採用流式數據結構，面向視頻、圖片數據而設計，滿足視頻數據的持續寫入；深入開發視頻錄像的專業化套用設計，最佳化了套用的服務質量。
開放透明的兼容系統，統一開放的套用功能接口，由上層業務平台直接調用；數據存儲採用離散存儲算法，提供系統級高效、穩定存取服務。
高可擴展的套用支撐，系統的高性能設計，能夠並發服務以滿足視頻數據的高速讀取需求；採用流式數據結構，面向視頻、圖片數據而設計，滿足視頻數據的持續寫入；深入開發視頻錄像的專業化套用設計，最佳化了套用的服務質量。
開放透明的兼容系統，統一開放的套用功能接口，由上層業務平台直接調用；採用的是標準設備兼容模式，支持標準IP SAN、FC SAN存儲設備的接入；目前需要存儲容量不斷增加,客戶要求數據存儲周期越來越長,帶庫和雲存儲融合方案慢慢呈現在客戶面前。
4.視頻雲+帶庫
長周期數據云存儲+帶庫方案：致力於解決重要數據的歸檔備份，數據快速提取。存儲組成快取存儲系統，提供足夠的存儲空間滿足熱數據及備份數據的容量需求，結合專業的備份軟體和磁帶庫實現數據的線上和離線備份雲存儲系統統一管理冷熱數據存儲及狀態切換，提供對熱數據的轉碼、壓縮等豐富的功能套用。同時完全繼承傳統雲存儲虛擬化資源分配、離散存儲、線上擴容、集群容災,兼容第三方存儲等雲存儲特性
