基本介紹
- 中文名：浪擎A系鏡像系統
- 類別：系統
- 品牌：浪擎
- 型號：V4.0
1.1 簡介,1.2 套用說明,1.3 支持的套用系統,2.1 系統組成,2.2 鏡像伺服器,2.3 鏡像代理,2.4 Web管理和監控界面,2.5 套用架構,3.1 ACA引擎工作原理,3.2 追逐式全量複製,3.3 技術特性,3.4 主要實現功能,3.5 支持版本列表,4.1 ACA引擎工作原理,4.2 追逐式全量複製,4.3 技術特性,4.4 實現主要功能,4.5 支持版本列表,5.1 並行最佳化增量傳輸技術（POIT）,5.2 技術特性,5.3 支持功能,5.4 支持版本列表,
浪擎·鏡像系統V4.0 技術白皮書
目 錄
1 產品簡介... 3
1.1 簡介... 3
1.2 套用說明... 3
1.3 支持的套用系統... 4
2 系統規格... 4
2.1 系統組成... 4
2.2 鏡像伺服器... 4
2.3 鏡像代理... 5
2.4 Web管理和監控界面... 5
2.5 套用架構... 5
3 MSSQL Server鏡像... 6
3.1 ACA引擎工作原理... 7
3.2 追逐式全量複製... 8
3.3 技術特性... 9
3.4 主要實現功能... 9
3.5 支持版本列表... 9
4 Oracle鏡像... 10
4.1 ACA引擎工作原理... 10
4.2 追逐式全量複製... 11
4.3 技術特性... 12
4.4 實現主要功能... 13
4.5 支持版本列表... 13
5 檔案系統鏡像... 13
5.1 並行最佳化增量傳輸技術（POIT）... 14
5.2 技術特性... 14
5.3 支持功能... 14
5.4 支持版本列表... 15
1 產品簡介
1.1 簡介
首倡線上式套用級容災理念
線上式是指備用伺服器上的資料庫是實時線上的，處於可讀可查詢的狀態，源端發生故障時無需恢復，可以直接使用；套用級是指鏡像系統複製的數據是資料庫事務，是屬於套用層的。
1.2 套用說明
浪擎·鏡像系統在容災、高頻率備份、數據分發與遷移、異地同步等業務領域有廣泛套用。
實時容災提高業務系統可用性
浪擎·鏡像系統可提供持續的、備用端可直接啟用的容災方案，比傳統備份解決方案更高級別的系統可用性，極大地降低了服務停止導致的損失。
系統將主伺服器的數據準實時複製至備用伺服器，建立主系統的可用副本，實現業務系統的冗餘。一旦主伺服器停止服務，可立即啟用備用伺服器上的業務系統並使之投入運行，從而保障業務系統持續運行。
高頻率備份
將多台業務伺服器的數據鏡像（備份）到備份設備，鏡像（備份）周期可達秒級別，備份視窗趨於零，對數據的保護程度遠遠高於傳統備份系統。
業務系統數據及時同步
準實時增量複製將源系統的數據複製到目標系統，使源和目標及時保持同步。SQLServer或Oracle資料庫僅同步變化的記錄數據；檔案或目錄僅同步變化的檔案塊或元數據。系統還可按套用設定同步過濾邏輯，僅複製需要的數據。
數據倉庫系統的數據抽取會對源系統造成巨大壓力，降低其性能和回響速度。利用浪擎·鏡像系統的同步方案可將生產數據快速抽取到數據倉庫，改善業務系統的性能。
1.3 支持的套用系統
浪擎·鏡像系統支持的主流套用系統如下：
l 檔案系統（參見後續說明）
l Oracle （參見後續說明）
l MSSQL Server （參見後續說明）
2 系統規格
2.1 系統組成
浪擎·鏡像系統組成
浪擎·鏡像系統由代理軟體、伺服器軟體和系統管理界面三部分構成。其中，客戶端軟體安裝在需要鏡像的主伺服器上；伺服器軟體安裝在存儲鏡像的備用伺服器上；系統管理界面提供給系統的管理員使用，在主伺服器端進行配置。
2.2 鏡像伺服器
鏡像伺服器軟體是系統的核心部件，負責存儲檔案系統的備份和資料庫系統備份。當鏡像伺服器接收到客戶端同步來的檔案時，將此檔案存儲到設定的目錄下；當接收到資料庫備份數據時，將資料庫備份或後續事務日誌套用到備份資料庫。如果當主伺服器發生故障時，可直接切換至備用伺服器上的資料庫。
2.3 鏡像代理
鏡像代理提供了各種伺服器系統的支持，包括：
l 檔案系統鏡像代理
l MSSQL Server鏡像代理
l Oracle鏡像代理
2.4 Web管理和監控界面
鏡像系統採用Web管理進行鏡像代理和伺服器的管理、監控。管理功能包括：
運行參數設定和系統用戶配置
存儲目錄配置（用於檔案鏡像）
目標資料庫設定（用於資料庫鏡像）
事務Snapshot存儲配置（用於資料庫鏡像）、
鏡像拓撲設定、
定時鏡像計畫配置
監測運行狀態和鏡像任務：
監控運行性能和狀況。監測的任務包括：檔案和資料庫鏡像。性能和運行狀況依據於不同的任務類型。監測程式提供按任務、用戶、客戶端IP進行分類。
2.5 套用架構
系統支持豐富的複製連線拓撲。
一對一複製：
在極為重要的業務系統中，為生產線上的主伺服器建立一套備用系統非常關鍵。當主伺服器因宕機等意外狀況而停止伺服器，可立即啟用備用伺服器提供服務。浪擎·鏡像系統實時或定時將檔案系統或資料庫數據複製到備用伺服器，保證主伺服器與備用伺服器的數據相差一個鏡像周期。
多對一複製：
多對一鏡像是綜合性價比非常高的套用方式，可用於容災、數據同步。在多業務系統環境中，將不同的業務系統複製到目標系統中，為這些業務系統均保存一個冗餘；在分散式的套用環境中，將多個分部或地區的數據匯總複製到總部，實現匯總統計功能。
SQLServer鏡像提供兩個基本功能，實時增量複製和定時全量複製。
浪擎鏡像系統採用ACA(套用捕獲與分析)引擎，實時捕獲源端生產系統的生產數據，然後還原成套用系統的資料庫記錄，然後再通過目標端保存到目標資料庫中，從而實現一個完整的複製過程。
3.1 ACA引擎工作原理
1）鏡像引擎架構
SQLServer資料庫鏡像引擎包括代理、鏡像伺服器軟體兩大部件。代理包含作業系統驅動程式、事務日誌實時捕獲器、事務日誌分析器、自適應數據字典、初步過濾器、傳輸控制器和任務佇列等；鏡像伺服器包含接收佇列、事務佇列和Snapshot存儲、SQL套用機構等。
2）複製流程
事務日誌實時捕獲器通過作業系統核心驅動驅動程式實時監控源SQLServer事務日誌檔案和捕獲其變化數據；事務日誌分析器通過數據字典將日誌數據解析還原成資料庫記錄，並過濾不需要鏡像的表或其他資料庫對象；傳輸控制器從任務佇列中取出記錄數據傳輸至鏡像伺服器。鏡像伺服器接收佇列將記錄數據保存至事務佇列和Snapshot檔案中；SQL套用機構掃描事務佇列，將提交事務套用到目標SQLServer。如下圖所示。
SQLServer鏡像原理示意圖
3）傳輸控制
傳輸控制器記錄當前傳輸成功的事務點。當連線中斷等因素導致傳輸失敗，傳輸控制則停止傳輸工作，嘗試連線直至成功。
4）基準同步
基準同步採用全量複製技術（參見後續說明）實現，將源資料庫備份出來，還原至目標資料庫，實現源和目標資料庫基準一致。
5）目標資料庫狀態
目標SQLServer處於運行狀態，能讀能寫，運行的目標系統保證了系統的一致性。
3.2 追逐式全量複製
在實時增量複製之前，需要保障主、備資料庫之間的數據同步，才能進行後續實時增量複製。從3.2版本開始新增極具特色的全量複製功能：無需停頓、全程自動化、速度極快的追逐式複製功能，適應於那些7x24小時連續運轉的業務系統容災要求。
追逐式複製定義：
追逐式複製：浪擎科技自主研發的一項新技術，在完全無需停止業務資料庫的條件下，極快的將源資料庫全量複製或遷移到目標容災伺服器。追逐式複製技術把源資料庫所有事務，包括快取數據全部複製到目標端，並且對全量複製過程中新增的數據做增量複製，以達到源與目標伺服器數據完全一致的容災要求。
SQLServer資料庫追逐式複製有以下技術特性：
1）複製速度快 追逐式複製相當於兩個資料庫之間直接傳輸數據，經測試追逐式複製速度比使用DTS導入/導出或快照發布的複製技術至少快20倍，可有效的提高複製效率，節省系統資源。
2）源資料庫無需停頓，線上式直接複製 比傳統的資料庫複製技術更據優勢，傳統的資料庫複製方式都需要先停止資料庫再進行複製操作，當進行全量複製操作時，業務系統要停止工作，可能會對用戶使用造成很大麻煩，而追逐式複製就避免了這種情況，它在做全量複製時資料庫無需停止，有效保證業務系統持續運行，不會對用戶造成損失。
3）全程自動化，操作簡單 執行追逐式複製前只需簡單設定便可完成，無需煩瑣的配置工作。
4）保證源伺服器數據與目標伺服器數據完全一致 全量複製技術結合增量複製技術可實現在做全量複製的同時也可把新增的數據內容複製到目標端，確保源伺服器和目標伺服器數據完全一致。
追逐式複製技術原理：
1) 在源資料庫端全量備份資料庫
2）將全量備份數據傳輸至目標伺服器
3）還原全量備份至目標資料庫
4）找出全量備份中的最大LSN
5）以該LSN開始後續增量複製
3.3 技術特性
技術參數 | 說明 |
複製原理 | 捕獲SQLServer的增量事務進行複製 |
複製粒度 | 資料庫記錄 |
複製DML語言 | 複製應用程式提交的數據 |
保存事務日誌 | 系統保存捕獲的事務日誌 |
源與目標硬體規格要求 | 無需一致 |
網路頻寬占用 | 遠小於存儲層複製 |
複製時延 | 異步複製，秒級延時 |
複製最大距離 | 無限制 |
對系統性能的影響 | 源系統CPU占用率不超過5% |
支持套用方式 | 一對一、多對一 |
事務完整性 | 完整、一致 |
目標套用系統狀態 | 運行狀態，能讀能寫 |
複製方向 | 單向，從源至目標 |
支持過濾 | 可設定過濾條件 |
支持版本 | SQLServer 2000、SQLServer 2005 |
3.4 主要實現功能
n 實時單向數據鏡像，單向鏡像以主伺服器系統作為複製的數據源，複製到備用資料庫用於查詢。
n 定時全量鏡像計畫，系統還提供便捷的定時全量鏡像計畫。鏡像計畫作業可配置信息欄位：開始時間、結束時間和日期以及在這段時間之內的鏡像頻率、需要鏡像資料庫。
n 數據一致性校驗，系統提供對鏡像的表進行數據一致性校驗，並修改目標表的數據。這種補償性能力解決當鏡像系統停止時，源和目標產生的不一致性。
3.5 支持版本列表
支持以下SQLServer資料庫版本：
SQLServer 2000、SQLServer 2005
支持以下作業系統：
Windows 2000系列、Windows 2003
4 Oracle鏡像Oracle鏡像代理採用基於REDO LOG日誌分析，將資料庫操作定時或準實時套用到備用資料庫，占用極少的系統開銷，極大地改善資料庫可用性，可用於容災和同步領域。
Oracle鏡像提供兩個基本功能，實時增量複製和定時全量複製。
浪擎鏡像系統採用ACA(套用捕獲與分析)引擎，實時捕獲源端生產系統的生產數據，然後還原成套用系統的資料庫記錄，然後再通過目標端保存到目標資料庫中，從而實現一個完整的複製過程。
4.1 ACA引擎工作原理
1）鏡像引擎架構
Oracle資料庫鏡像引擎包括代理、鏡像伺服器軟體兩大部件。代理包含作業系統驅動程式、事務日誌實時捕獲器、事務日誌分析器、自適應數據字典、初步過濾器、傳輸控制器和任務佇列等；鏡像伺服器包含接收佇列、事務佇列和Snapshot存儲、SQL套用機構等。
2）複製流程
事務日誌實時捕獲器通過作業系統核心驅動驅動程式實時監控源Oracle Redo Log事務日誌檔案和捕獲其變化數據；事務日誌分析器通過數據字典將日誌數據解析還原成資料庫記錄，並過濾不需要鏡像的用戶、表或其他資料庫對象；傳輸控制器從任務佇列中取出記錄數據傳輸至鏡像伺服器。鏡像伺服器接收佇列將記錄數據保存至事務佇列和Snapshot檔案中；SQL套用機構掃描事務佇列，將提交事務套用到目標Oracle。如圖Oracle鏡像示意圖。
3）傳輸控制
傳輸控制器記錄當前傳輸成功的事務點。當連線中斷等因素導致傳輸失敗，傳輸控制則停止傳輸工作，嘗試連線直至成功。
Oracle鏡像示意圖
4）基準同步
基準同步採用全量複製技術（參見後續說明）實現，實現源和目標資料庫基準一致。
5）目標資料庫狀態
目標Oracle實例處於運行狀態，能讀能寫，運行的目標系統保證了系統的一致性。
4.2 追逐式全量複製
在實時增量複製之前，需要保障主、備資料庫之間的數據同步，才能進行後續實時增量複製。從3.2版本開始新增極具特色的全量複製功能：無需停頓、全程自動化、速度極快的追逐式複製功能，適應於那些7x24小時連續運轉的業務系統容災要求。
追逐式複製定義：
追逐式複製：浪擎科技自主研發的一項新技術，在完全無需停止業務資料庫的條件下，極快的將源資料庫全量複製或遷移到目標容災伺服器。追逐式複製技術把源資料庫所有事務，包括快取數據全部複製到目標端，並且對全量複製過程中新增的數據做增量複製，以達到源與目標伺服器數據完全一致的容災要求。
Oracle資料庫追逐式複製有以下技術特性：
1）複製速度快 追逐式複製相當於兩個資料庫之間直接傳輸數據，經測試追逐式複製速度比使用導入/導出（exp/imp）的複製技術至少快20倍，可有效的提高複製效率，節省系統資源。
2）源資料庫無需停頓，線上式直接複製 比傳統的資料庫複製技術更據優勢，傳統的資料庫複製方式都需要先停止資料庫再進行複製操作，當進行全量複製操作時，業務系統要停止工作，可能會對用戶使用造成很大麻煩，而追逐式複製就避免了這種情況，它在做全量複製時資料庫無需停止，有效保證業務系統持續運行，不會對用戶造成損失。
3）全程自動化，操作簡單 執行追逐式複製前只需簡單設定便可完成，無需煩瑣的配置工作。
4）保證源伺服器數據與目標伺服器數據完全一致 全量複製技術結合增量複製技術可實現在做全量複製的同時也可把新增的數據內容複製到目標端，確保源伺服器和目標伺服器數據完全一致。
追逐式複製技術原理：
1) 捕獲資料庫事務變化
2）複製數據檔案，控制檔案，日誌檔案到目標伺服器
3）把源伺服器快取中的數據強行寫入資料庫檔案
4）將事務複製到目標伺服器
6）全量備份完成，繼續增量複製
4.3 技術特性
技術參數 | 說明 |
複製原理 | 捕獲Oracle的增量事務進行複製 |
複製粒度 | 資料庫記錄 |
複製DDL語言 | 複製資料庫定義語言，如： 1) 增加、刪除、修改表 2) 增加、刪除、修改欄位定義 3) 增加、刪除、修改觸發器、存儲過程 … |
複製DML語言 | 複製應用程式提交的數據 |
保存事務日誌 | 系統保存捕獲的事務日誌 |
源與目標硬體規格要求 | 無需一致 |
網路頻寬占用 | 遠小於存儲層複製 |
複製時延 | 異步複製，秒級延時 |
複製最大距離 | 無限制 |
對系統性能的影響 | 源系統CPU占用率不超過5% |
支持套用方式 | 一對一、多對一 |
事務完整性 | 完整、一致 |
目標套用系統狀態 | 運行狀態，能讀能寫 |
複製方向 | 單向，從源至目標 |
支持過濾 | 可設定過濾條件 |
支持版本 | Oracle 8i/9i/10g |
支持作業系統 | Windows、Linux、AIX |
不支持欄位 | 用戶自定義欄位類型 |
Archive Log（日誌歸檔） | 需開啟 |
Supplemental Log（附加日誌） | 需開啟 |
4.4 實現主要功能
n 實時單向數據鏡像，單向鏡像以主伺服器系統作為複製的數據源，複製到備用資料庫用於查詢。
n 定時全量鏡像計畫，系統還提供便捷的定時全量鏡像計畫。鏡像計畫作業可配置信息欄位：開始時間、結束時間和日期以及在這段時間之內的鏡像頻率。
4.5 支持版本列表
作業系統 | Oracle |
Windows 2000系列 | Oracle 8i/9i/10g （非RAC環境） |
Windows 2003 | Oracle 8i/9i/10g （非RAC環境） |
Linux | Oracle 8i/9i/10g （非RAC環境） |
AIX | Oracle 8i/9i/10g （非RAC環境） |
5 檔案系統鏡像鏡像代理內嵌檔案系統驅動程式和核心模組，高效檢測檔案系統，從而實現只鏡像變化的檔案，並且採用檔案塊級增量複製技術，極大的降低了對磁碟空間和網路頻寬的要求。
檔案系統鏡像還適用於檔案分發。例如WEB網頁的發布，通過鏡像代理將手工製作或內容管理系統動態生成的網頁實時或定時分發到不同站點上。
5.1 並行最佳化增量傳輸技術（POIT）
檔案系統系統鏡像採用複雜的並行最佳化增量傳輸算法實現大規模的檔案系統複製。該算法對傳輸任務智慧型分解成更小的任務，然後並行控制傳輸，最大限度的利用可利用的網路頻寬；其次，對於已經鏡像過的檔案在以後鏡像時，將採用最佳化增量傳輸，僅複製不同的數據塊，儘量降低網路流量，極大的提升傳輸速度。
5.2 技術特性
n 系統採用檔案塊級別的增量傳輸算法，高效的傳輸和極少的網路頻寬占用；
n 只複製在設定周期內變化的檔案或目錄；
n 可配置需同步複製檔案檢測目錄；
n 可配置出嚴密的鏡像複製計畫，減少故障發生時的數據丟失；
n 可以過濾檔案系統鏡像代理端檔案刪除事件；
5.3 支持功能
1）並行傳輸
對於檔案或目錄均可實現傳輸任務智慧型分解，然後並行控制傳輸。
2）增量傳輸和斷點續傳
採用基於檔案塊的最佳化增量傳輸技術，僅只傳輸不同檔案塊，儘量減少在網路上的傳輸流量。並且支持斷點續傳功能，當傳輸某檔案失敗，下一次重新傳輸時，在最佳化增量傳輸控制下，將從上一次的傳輸點開始傳輸後續的檔案塊。
3）虛擬目錄映射和訪問控制
4）實時鏡像
鏡像代理採用檔案系統變化實時檢測技術，當檔案在發生變化時可立即將變化的檔案鏡像至鏡像伺服器。
5）定時鏡像
系統還提供便捷的定時鏡像。鏡像計畫作業可配置信息欄位：開始時間、結束時間和日期以及在這段時間之內的鏡像頻率、需要鏡像的檔案或目錄以及過濾表達式。
6）指定的檔案或目錄鏡像
系統支持僅鏡像指定的檔案或目錄；也可採用修改時間、大小、檔案或目錄名組成正則表達式過進行過濾。並可過濾指定的檔案動作，例如過濾刪除動作，不鏡像刪除至目標。
5.4 支持版本列表
作業系統 | 檔案系統格式 |
Windows 2000系列 | NTFS格式 |
Windows XP | NTFS格式 |
Windows 2003 | NTFS格式 |
