所謂虛擬存儲，就是把記憶體與外存有機的結合起來使用，從而得到一個容量很大的“記憶體”，這就稱之為虛擬存儲。 可以說，存儲網路平台的綜合性能的優劣，將直接影響到整個系統的正常運行。
基本介紹
- 中文名：虛擬存儲技術
- 外文名： virtual memory technologies
- 結合：記憶體與外存
- 分類：對稱式與非對稱
- 圍繞：記憶體管理
- 性能：數據訪問
虛擬存儲的概念,虛擬存儲的分類,對稱式虛擬存儲,非對稱式虛擬存儲系統,虛擬存儲技術的實現方式,在伺服器端的虛擬存儲,在存儲子系統端的虛擬存儲,網路設備端實施虛擬存儲,虛擬存儲的特點,虛擬存儲的套用,數據鏡像,數據複製,磁帶備份增強設備,實時複本,實時數據恢復,套用整合,虛擬存儲在數字視頻網路中的套用,使用虛擬存儲的目的,網路的虛擬存儲虛擬化的分類,
隨著圍繞數位化、網路化開展的各種多媒體處理業務的不斷增加，存儲系統網路平台已經成為一個核心平台，同時各種套用對平台的要求也越來越高，不光是在存儲容量上，還包括數據訪問性能、數據傳輸性能、數據管理能力、存儲擴展能力等等多個方面。為達到這些要求，一種新興的技術正越來越受到大家的關注，即虛擬存儲技術。
其實虛擬化技術並不是一件很新的技術，它的發展，應該說是隨著計算機技術的發展而發展起來的，最早是始於70年代。由於當時的存儲容量，特別是記憶體容量成本非常高、容量也很小，對於大型應用程式或多程式套用就受到了很大的限制。為了克服這樣的限制，人們就採用了虛擬存儲的技術，最典型的套用就是虛擬記憶體技術。隨著計算機技術以及相關信息處理技術的不斷發展，人們對存儲的需求越來越大。這樣的需求刺激了各種新技術的出現，比如磁碟性能越來越好、容量越來越大。但是在大量的大中型信息處理系統中，單個磁碟是不能滿足需要，這樣的情況下存儲虛擬化技術就發展起來了。在這個發展過程中也由幾個階段和幾種套用。首先是磁碟條帶集（RAID，可帶容錯）技術，將多個物理磁碟通過一定的邏輯關係集合起來，成為一個大容量的虛擬磁碟。而隨著數據量不斷增加和對數據可用性要求的不斷提高，又一種新的存儲技術應運而生，那就是存儲區域網路（SAN）技術。SAN的廣域化則旨在將存儲設備實現成為一種公用設施，任何人員、任何主機都可以隨時隨地獲取各自想要的數據。目前討論比較多的包括iSCSI、FC Over IP 等技術，由於一些相關的標準還沒有最終確定，但是存儲設備公用化、存儲網路廣域化是一個不可逆轉的潮流。
虛擬存儲的概念
所謂虛擬存儲，就是把記憶體與外存有機的結合起來使用，從而得到一個容量很大的“記憶體”，這就稱之為虛擬存儲。
虛擬存儲的分類
目前虛擬存儲的發展尚無統一標準，從虛擬化存儲的拓撲結構來講主要有兩種方式：即對稱式與非對稱式。對稱式虛擬存儲技術是指虛擬存儲控制設備與存儲軟體系統、交換設備集成為一個整體，內嵌在網路數據傳輸路徑中；非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立於數據傳輸路徑之外。從虛擬化存儲的實現原理來講也有兩種方式；即數據塊虛擬與虛擬檔案系統。具體如下：
對稱式虛擬存儲
圖1對稱式虛擬存儲解決方案的示意圖。
對稱式虛擬存儲解決方案的示意圖
對稱式虛擬存儲解決方案的示意圖在圖1所示的對稱式虛擬存儲結構圖中，存儲控制設備 High Speed Traffic Directors（HSTD）與存儲池子系統Storage Pool集成在一起，組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數據交換的過程中起到核心作用。該方案的虛擬存儲過程是這樣的：由HSTD內嵌的存儲管理系統將存儲池中的物理硬碟虛擬為邏輯存儲單元（LUN），並進行連線埠映射（指定某一個LUN能被哪些連線埠所見），主機端將各可見的存儲單元映射為作業系統可識別的盤符。當主機向SAN Appliance寫入數據時，用戶只需要將數據寫入位置指定為自己映射的盤符（LUN），數據經過HSTD的高速並行連線埠，先寫入高速快取，HSTD中的存儲管理系統自動完成目標位置由LUN到物理硬碟的轉換，在此過程中用戶見到的只是虛擬邏輯單元，而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點：
（1）採用大容量高速快取，顯著提高數據傳輸速度。
快取是存儲系統中廣泛採用的位於主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數據時，會把與當前數據存儲位置相連的數據讀到快取中，並把多次調用的數據保留在快取中；當主機讀數據時，在很大幾率上能夠從快取中找到所需要的數據。直接從快取上讀出。而從快取讀取數據時的速度只受到電信號傳播速度的影響（等於光速），因此大大高於從硬碟讀數據時碟片機械轉動的速度。當主機向存儲設備寫入數據時，先把數據寫入快取中，待主機端寫入動作停止，再從快取中將數據寫入硬碟，同樣高於直接寫入硬碟的速度
（2）多連線埠並行技術，消除了I/O瓶頸。
傳統的FC存儲設備中控制連線埠與邏輯盤之間是固定關係，訪問一塊硬碟只能通過控制它的控制器連線埠。在對稱式虛擬存儲設備中，SAN Appliance的存儲連線埠與LUN的關係是虛擬的，也就是說多台主機可以通過多個存儲連線埠（最多8個）並發訪問同一個LUN；在光纖通道100MB/頻寬的大前提下，並行工作的連線埠數量越多，數據頻寬就越高。
（3）邏輯存儲單元提供了高速的磁碟訪問速度。
在視頻套用環境中，應用程式讀寫數據時以固定大小的數據塊為單位（從512byte到1MB之間）。而存儲系統為了保證應用程式的頻寬需求，往往設計為傳輸512byte以上的數據塊大小時才能達到其最佳I/O性能。在傳統SAN結構中，當容量需求增大時，唯一的解決辦法是多塊磁碟（物理或邏輯的）綁定為帶區集，實現大容量LUN。在對稱式虛擬存儲系統中，為主機提供真正的超大容量、高性能LUN，而不是用帶區集方式實現的性能較差的邏輯卷。與帶區集相比，Power LUN具有很多優勢，如大塊的I/O block會真正被存儲系統所接受，有效提高數據傳輸速度；並且由於沒有帶區集的處理過程，主機CPU可以解除很大負擔，提高了主機的性能。
（4）成對的HSTD系統的容錯性能。
在對稱式虛擬存儲系統中，HSTD是數據I/O的必經之地，存儲池是數據存放地。由於存儲池中的數據具有容錯機制保障安全，因此用戶自然會想到HSTD是否有容錯保護。象許多大型存儲系統一樣，在成熟的對稱式虛擬存儲系統中，HSTD是成對配製的，每對HSTD之間是通過SAN Appliance內嵌的網路管理服務實現快取數據一致和相互通信的。
（5）在SAN Appliance之上可方便的連線交換設備，實現超大規模Fabric結構的SAN。
因為系統保持了標準的SAN結構，為系統的擴展和互連提供了技術保障，所以在SAN Appliance之上可方便的連線交換設備，實現超大規模Fabric結構的SAN。
非對稱式虛擬存儲系統
圖2非對稱式虛擬存儲系統示意圖。
非對稱式虛擬存儲系統示意圖
非對稱式虛擬存儲系統示意圖（1）將不同物理硬碟陣列中的容量進行邏輯組合，實現虛擬的帶區集，將多個陣列控制器連線埠綁定，在一定程度上提高了系統的可用頻寬。
但是該方案存在如下一些不足：
（1）該方案本質上是帶區集——磁碟陣列結構，一旦帶區集中的某個磁碟陣列控制器損壞，或者這個陣列到交換機路徑上的銅纜、GBIC損壞，都會導致一個虛擬的LUN離線，而帶區集本身是沒有容錯能力的，一個LUN的損壞就意味著整個Strip裡面數據的丟失。
（2）由於該方案的頻寬提高是通過陣列連線埠綁定來實現的，而普通光纖通道陣列控制器的有效頻寬僅在40MB/S左右，因此要達到幾百兆的頻寬就意味著要調用十幾台陣列，這樣就會占用幾十個交換機連線埠，在只有一兩台交換機的中小型網路中，這是不可實現的。
（3）由於各種品牌、型號的磁碟陣列其性能不完全相同，如果出於虛擬化的目的將不同品牌、型號的陣列進行綁定，會帶來一個問題：即數據寫入或讀出時各並發數據流的速度不同，這就意味著原來的數據包順序在傳輸完畢後被打亂，系統需要占用時間和資源去重新進行數據包排序整理，這會嚴重影響系統性能。
3．數據塊虛擬與虛擬檔案系統
以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同，實際從虛擬化存儲的實現原理來講也有兩種方式；即數據塊虛擬與虛擬檔案系統。
數據塊虛擬存儲方案著重解決數據傳輸過程中的衝突和延時問題。在多交換機組成的大型Fabric結構的SAN中，由於多台主機通過多個交換機連線埠訪問存儲設備，延時和數據塊衝突問題非常嚴重。數據塊虛擬存儲方案利用虛擬的多連線埠並行技術，為多台客戶機提供了極高的頻寬，最大限度上減少了延時與衝突的發生，在實際套用中，數據塊虛擬存儲方案以對稱式拓撲結構為表現形式。
虛擬檔案系統存儲方案著重解決大規模網路中檔案共享的安全機制問題。通過對不同的站點指定不同的訪問許可權，保證網路檔案的安全。在實際套用中，虛擬檔案系統存儲方案以非對稱式拓撲結構為表現形式。
虛擬存儲技術的實現方式
目前實現虛擬存儲主要分為如下幾種：
在伺服器端的虛擬存儲
伺服器廠商會在伺服器端實施虛擬存儲。同樣，軟體廠商也會在伺服器平台上實施虛擬存儲。這些虛擬存儲的實施都是通過伺服器端將鏡像映射到外圍存儲設備上，除了分配數據外，對外圍存儲設備沒有任何控制。伺服器端一般是通過邏輯卷管理來實現虛擬存儲技術。邏輯卷管理為從物理存儲映射到邏輯上的卷提供了一個虛擬層。伺服器只需要處理邏輯卷，而不用管理存儲設備的物理參數。
用這種構建虛擬存儲系統，伺服器端是一性能瓶頸，因此在多媒體處理領域幾乎很少採用。
在存儲子系統端的虛擬存儲
網路設備端實施虛擬存儲
網路廠商會在網路設備端實施虛擬存儲，通過網路將邏輯鏡像映射到外圍存儲設備，除了分配數據外，對外圍存儲設備沒有任何控制。在網路端實施虛擬存儲具有其合理性，因為它的實施既不是在伺服器端，也不是在存儲設備端，而是介於兩個環境之間，可能是最“開放”的虛擬實施環境，最有可能支持任何的伺服器、作業系統、套用和存儲設備。從技術上講，在網路端實施虛擬存儲的結構形式有以下兩種：即對稱式與非對稱式虛擬存儲。
從目前的虛擬存儲技術和產品的實際情況來看，基於主機和基於存儲的方法對於初期的採用者來說魅力最大，因為他們不需要任何附加硬體，但對於異構存儲系統和作業系統而言，系統的運行效果並不是很好。基於互聯設備的方法處於兩者之間，它迴避了一些安全性問題，存儲虛擬化的功能較強，能減輕單一主機的負載，同時可獲得很好的可擴充性。
不管採用何種虛擬存儲技術，其目的都使為了提供一個高性能、安全、穩定、可靠、可擴展的存儲網路平台，滿足節目製作網路系統的苛刻要求。根據綜合的性能價格比來說，一般情況下，在基於主機和基於存儲設備的虛擬存儲技術能夠保證系統的數據處理能力要求時，優先考慮，因為這兩種虛擬存儲技術構架方便、管理簡單、維護容易、產品相對成熟、性能價格比高。在單純的基於存儲設備的虛擬存儲技術無法保證存儲系統性能要求的情況下，我們可以考慮採用基於互連設備的虛擬存儲技術。
虛擬存儲的特點
虛擬存儲具有如下特點：
（1）虛擬存儲提供了一個大容量存儲系統集中管理的手段，由網路中的一個環節（如伺服器）進行統一管理，避免了由於存儲設備擴充所帶來的管理方面的麻煩。例如，使用一般存儲系統，當增加新的存儲設備時，整個系統（包括網路中的諸多用戶設備）都需要重新進行繁瑣的配置工作，才可以使這個“新成員”加入到存儲系統之中。而使用虛擬存儲技術，增加新的存儲設備時，只需要網路管理員對存儲系統進行較為簡單的系統配置更改，客戶端無需任何操作，感覺上只是存儲系統的容量增大了。
（2）虛擬存儲對於視頻網路系統最有價值的特點是：可以大大提高存儲系統整體訪問頻寬。存儲系統是由多個存儲模組組成，而虛擬存儲系統可以很好地進行負載平衡，把每一次數據訪問所需的頻寬合理地分配到各個存儲模組上，這樣系統的整體訪問頻寬就增大了。例如，一個存儲系統中有4個存儲模組，每一個存儲模組的訪問頻寬為50MBps，則這個存儲系統的總訪問頻寬就可以接近各存儲模組頻寬之和，即200MBps。
（3）虛擬存儲技術為存儲資源管理提供了更好的靈活性，可以將不同類型的存儲設備集中管理使用，保障了用戶以往購買的存儲設備的投資。
（4）虛擬存儲技術可以通過管理軟體，為網路系統提供一些其它有用功能，如無需伺服器的遠程鏡像、數據快照(Snapshot)等。
虛擬存儲的套用
由於虛擬存儲具有上述特點，虛擬存儲技術正逐步成為共享存儲管理的主流技術，其套用具體如下：
數據鏡像
數據鏡像就是通過雙向同步或單向同步模式在不同的存儲設備間建立數據複本。一個合理的解決方案應該能在不依靠設備生產商及作業系統支持的情況下，提供在同一存儲陣列及不同存儲陣列間製作鏡像的方法。
數據複製
磁帶備份增強設備
過去的幾年，在磁帶備份技術上鮮有新發展。儘管如此，一個網路存儲設備平台亦應能在磁帶和磁碟間搭建橋路，以高速、平穩、安全地完成備份工作。
實時複本
出於測試、拓展及匯總或一些別的原因，企業經常需要製作數據複本。
實時數據恢復
利用磁帶來還原數據是數據恢復工作的主要手段，但常常難以成功。數據管理工作其中一個重要的發展新方向是將近期內的備份數據（可以是數星期前的歷史數據）轉移到磁碟介質，而非磁帶介質。用磁碟恢複數據就象閃電般迅速（所有檔案能在60秒內恢復），並遠比用磁帶恢複數據安全可靠。同時，整卷（Volume）數據都能被恢復。
套用整合
存儲管理發展的又一新方向是，將服務貼近套用。沒有一個信息技術領域的管理人員會單純出於對存儲設備的興趣而去購買它。存儲設備是用來服務於套用的，比如資料庫，通訊系統等等。通過將存儲設備和關鍵的企業套用行為相整合，能夠獲取更大的價值，同時，大大減少操作過程中遇到的難題。
虛擬存儲在數字視頻網路中的套用
現在我著重介紹虛擬存儲在數字視頻網路中的套用。
數字視頻網路對廣播電視行業來說已經不是一個陌生的概念了，由於它在廣播電視技術數位化進程中起到了重要的作用，國內各級電視台對其給予極大的關注，並且開始構造和套用這類系統，在數字視頻網的概念中完全打破了以往一台錄像機、一個編輯系統、一套播出系統的傳統結構，而代之以上載工作站、編輯製作工作站、播出工作站及節目存儲工作站的流程，便於操作和管理。節目上載、節目編輯、節目播出在不同功能的工作站上完成，可成倍提高工作效率。同時，由於採用非線性編輯系統，除了採集時的壓縮損失外。信號在製作、播出過程中不再有任何損失，節目的技術質量將大大提高。
在現有的視頻網路系統中，雖然電腦的主頻、網路的傳輸速率以及交換設備的性能，已經可以滿足絕大多數套用的要求，但其中存儲設備的訪問頻寬問題成為了系統的一個主要性能瓶頸。視頻編輯、製作具有數據量存儲大、碼流高、實時性強、安全性重要等特點。這就要求套用於視頻領域的存儲技術和產品必須具有足夠的頻寬並且穩定性要好。
在單機套用時，為了保證一台編輯站點有足夠的數據頻寬，SCSI技術、本地獨立磁碟冗餘陣例RAID（Redundant Array of Independent Disks）技術（包括軟體和硬體）被廣泛套用，它通過把若干個SCSI硬碟加上控制器組成一個大容量，快速回響，高可靠性的存儲子系統，從用戶看可作為一個邏輯盤或者虛擬盤，從而大大提高了數據傳輸率和存儲容量，同時利用糾錯技術提高了存儲的可靠性，並可滿足頻寬要求。
隨著節目製作需求的發展，要求2—3台站點共享編輯數據。這時可利用SCSI網路技術實現這一要求。幾台編輯站點均配置高性能的SCSI適配器，連線至共享的SCSI磁碟陣列，既可以實現幾個站點共享數據，又可以保證每一台單機的工作頻寬。
光纖通道技術的成熟套用對視頻網路的發展具有里程碑的意義，從此主機與共享存儲設備之間的連線距離限制從幾米、十幾米，擴展到幾百米、幾千米，再配合光纖通道交換設備，網路規模得到幾倍、十幾倍的擴充。這時候的FC（Fibre Channel光纖通道）磁碟陣列——RAID容錯技術、相對SCSI的高頻寬、大容量，成為視頻網路中的核心存儲設備。
隨著電視台規模的發展，全台級大規模視頻網路的套用被提出。在這種需求下，就必須將更先進的存儲技術與產品引入視頻領域。存儲區域網（SAN）的發展目前正處於全速上升期，各種概念層出不窮。其中具有劃時代意義的是虛擬存儲概念的提出。相對於傳統的交換機加RAID陣列，主機通過硬體層直接訪問陣列中的硬碟的SAN結構，虛擬存儲的定位是將數據存儲功能從實際的、物理的數據存取過程中抽象出來，使普通用戶在訪問數據時不必關心具體的存儲設備的配置參數、物理位置及容量，從而簡化用戶和系統管理人員的工作難度。
在設計一個視頻網路系統的時候，對存儲系統的選用，主要考慮如下幾個因素：（1）總體頻寬性能；（2）可管理性；（3）安全性；（4）可擴展性；（5）系統成本。
當然，這些因素之間有時是相互制約的，特別是系統成本與性能和安全性的關係。如何在這些因素之間尋求合理的、實用的、經濟的配合，是一個需要解決的課題。虛擬存儲技術的出現，為我們在構建視頻網路系統時提供了一個切實可行的高性能價格比的解決方案。
從拓撲結構來講，對稱式的方案具有更高的頻寬性能，更好的安全特性，因此比較適合大規模視頻網路套用。非對稱式方案由於採用了虛擬檔案原理，因此更適合普通區域網路（如辦公網）的套用。
六、虛擬存儲的實現機制
當進程運行時，先將一部分程式裝入記憶體，另一部分暫時留在外存，當要執行的指令不在記憶體時，由系統自動完成將它們從外存調入記憶體工作。
使用虛擬存儲的目的
有效支持多道程式系統的實現和大型程式運行的需要，從而增強系統的處理能力。
網路的虛擬存儲虛擬化的分類
網路的虛擬存儲化技術是當前存儲虛擬化的主流技術，它當前在商業上具有較多的成功產品。典型的網路虛擬存儲技術主要包括網路附加存儲NAS(Network Attached Storage)和存儲區域網路SAN(Storage Area Network)。由於這兩種系統的體系結構、通信協定、數據管理的方式不同，所以NAS主要套用於以檔案共享為基礎的虛擬存儲系統中，而SAN主要套用在以資料庫套用為主的塊級別的數據共享領域。存儲區域網路SAN是當前網路存儲的主流技術。
虛擬化存儲的實現可以分布在從主機到存儲設備之間路徑的不同位置上，由此可把基於網路的存儲虛擬化細分為基於交換機的虛擬化、基於路由器的虛擬化、基於存儲伺服器端的虛擬化。
