通用數據傳輸平台是面向分散式套用的數據傳輸平台，GTP系統以訊息中間件為基礎進行架構，提供滿足企級套用需要的通用傳輸功能。GTP內置的核心服務包括用戶及許可權管理服務，共享服務，檔案收發服務手，資源管理服務；此外．還提供了安全管理、系統管理、日誌管理等輔助服務。
基本介紹
- 中文名：通用數據傳輸平台
- 外文名：General data transmission platform
- 簡稱：GTP
- 定義：面向分散式套用的數據傳輸平台
- 基礎：訊息中件
- 套用學科：網路與接口
定義,通用數據傳輸平台系統,系統設計思想,詳細設計,創新表現,相關名詞,訊息中間件,Sybase的Mobilink技術,
定義
隨著信息技術的快速發展，電子商務技術已經廣泛套用到社會的每個角落。各個行業已經建立起基於廣域網路的信息管理體系，在行業內部，業務信息由基層單位採集，向市縣、她市、省和國家匯集，各行業間，如工商、稅務、銀行、保險和公安等業務互動日益頻繁，信息資源 共享、信息資源的挖掘與利用的需求迅速增長。在信息交換需求迅速增長，交換信息容量的巨增的情況下，建立通用的、快捷安全、可靠而高效的傳輸通道，開發大型、多級信息系統通用數據傳輸平台成為確保龐大的網路信息體系正常運轉的關鍵問題。
通用數據傳輸平台是面向分散式套用的通用數據傳輸平台，GTP系統以訊息中間件為基礎進行架構，提供滿足企級套用需要的通用傳輸功能。GTP內置的核心服務包括用戶及許可權管理服務，共享服務，檔案收發服務手，資源管理服務；此外．還提供了安全管理、系統管理、日誌管理等輔助服務。
中間件是一種獨立的系統軟體或服務程式，在不同的技術之間共享資源，位於客戶機/伺服器的作業系統之上， 管理計算資源和網路通訊。通用數據傳輸平台不但解決各種類型的數據傳輸和共享問題，還能提供數據廣播，支持超大數據(>4G)的傳輸。該平台既可獨立使用，也可以通過二次開發與各種套用系統相結合，還可以擴展套用系統的數據傳輸能力。
通過這個平台，實現了大型網路系統中異構資料庫信息系統間數據信息交換、多級網路系統間數據信息交換. 通過資料庫同步機制研究解決多級 資料庫信息交換過程中上下級資料庫數據不一致問題；實現了傳輸資料庫、傳輸數據的靈活配置。
通用數據傳輸平台系統
系統設計思想
(1)採用基於資料庫同步機制的數據傳輸技術
分析和研究資料庫同步更新機制，探索相關技術，設計傳輸數據緩衝池，通過軟體技術保證傳送數據緩衝池與接收數據緩衝池同步一致，以此確保傳送資料庫與接收資料庫數據的一致性。通過同步技術 解決數據傳輸中的難題——因傳輸故障導致傳送資料庫與接收資料庫數據不一致，提高系統的實用性和穩定性。
(2)支持偶連線與實時網路的傳輸安全技術
傳輸軟體市場 90%的用戶為低端用戶，其網路環境相對較差，絕大多數是撥號網路。目前國內現有的訊息中間件產品，如IBM MQSeries 和 TongLinkQ 等產品在撥號網路上不能實現端點續傳功能，在傳輸發生故障時可能導致數據丟失。為提高軟體的適用範圍，重點突破在撥號網路下傳輸安全性與可靠性的保障技術，實現偶連線與實時網路上發生故障時自動回滾與斷點續傳功能。
(3)採用基於資料庫日誌傳輸的資料庫同步更新技術
目前，傳輸中間件採用數據傳輸方式傳輸數據，所需傳輸的信息量相對較大，由於傳輸數據量大導致傳輸時間較長，增加了傳輸失敗次數，特別是網路不太穩定的單位，數據傳輸時會導致傳輸中斷過於頻繁，使傳輸無法進行。研究資料庫日誌更新機制，傳輸過程中用日誌傳輸替代數據傳輸，減輕傳輸負載，提高傳輸效率。
(4)採用傳輸資料庫配置與傳輸數據配置技術
目前，國內流行的訊息中間件產品都需進行二次開發程式才能進行數據傳輸，由於二次開發程式造成開發周期的延長和開發成本的上升，兩種系統不能很好地融合造成維護困難。研製和開發傳輸資料庫 配置系統與傳輸數據定義系統，實現傳輸資料庫靈活配置與傳輸數據線上定義功能，使傳輸平台具有傳輸對象無關性，減少開發時間，降低維護成本。
詳細設計
(1)傳輸系統原理
數據傳送端：傳輸服務程式負責檢測或連線網路，然後通過客戶代理與數據接收端服務代理通訊確認是否可以傳輸數據，得到確認後調用傳輸控制程式進行數據傳輸。傳輸控制程式實現傳送數據緩衝池與接收數據緩衝池的數據同步，同時監控整個數據傳輸過程。
數據接收端：傳輸服務程式負責網路，通過服務代理與數據傳送端客戶代理通訊應答是否可以傳輸數據，發出確認後調用傳輸控制程式進行數據接收。傳輸控制程式實現傳送數據緩衝池與接收數據緩衝池的數據同步，同時監控整個數據接收過程。
(2)數據同步處理流程
數據同步是一個事件驅動過程，當系統客戶端開始進行同步時，伺服器內部將序列化操作：開始連線、確認用戶、開始同步、執行事務、結束同步、終止連線。
上載事務：begin-upload 事件標誌著上載事務的開始，上載事務由兩個部分組成。首先，在所有遠程表中執行插入和更新操作，然後在所有遠程表中執行刪除操作。
下載事務：begin-download事件標誌著下載事務的開始，下載事務也由兩個部分組成。首先，在所有遠程表執行刪除操作。然後在download-cursor 中為所有遠程表添加行，end-download 事件為所有遠程表結束下載。
(3)數據傳輸流程
整個數據傳輸過程包括數據抽取、數據審核、數據上傳、數據接收、數據審核和數據入庫等步驟。
(4)數據傳輸實現
該系統由數據傳輸程式和傳輸管理系統兩部分組成.。
傳輸管理系統主要是為了實現緩衝池( ASA DB)的自動化，包括建立與刪除緩衝池( buffer)，mobilink 用戶的建立與刪除，數據的導入與導出以及恢復等.。建立與刪除 buffer，mobilink 用戶的建立與刪除是基於 DOS 的批處理檔案通過 ASA 內部的若干實用程式來實現的。但由於在每一級平台中均在建立傳送數據 buffer 和接收數據buffer(二者均作為 mobilink server 的中心DB 存在)時，存儲的 SQL 語句是固定結構。
數據傳輸主程式是針對工作資料庫與傳輸資料庫之間的數據轉化，通過 PB 中的 pipeline 實現兩者之間的數據 copy。傳輸子系統通過 user object to transdata，調用自動建立的 buffer，準備好上下兩極之間的一對傳送與接收數據 buffer 中需要的 DATA ，從而通過 mobilink 自身功能實現 DATA 的自動傳輸。
後台任意類型的資料庫可以與傳輸資料庫實現數據類型轉換，通過 PB 的 pipeline 實現 DATA 的 copy。
對於 buffer ASA DB( 接收與傳送)的形成,是通過 copy 後的表結構動態生成 mobilink 的中心 ASA 中的 SQL 存儲結構。完成下級傳輸平台對上級傳輸平台的任意類型的信息手/自動傳送和上級傳輸平台對下級傳輸平台的檔案與圖片信息的手/自動傳送。
創新表現
(1)支持各種網路環境(特別是網路條件不好、網路不穩定的情況下保證數據傳輸的穩定安全)。
(2)支持主流資料庫系統(傳輸對象可以是 Oracle，Sybase，SQLServer 等分散式和異構資料庫系統) ，體現系統的通用性。
(3)採用傳輸緩衝池同步傳輸技術確保傳送資料庫與接收資料庫數據的一致性，發生故障自動回滾與斷點續傳確保系統的安全可靠性，解決在發生意外故障後數據丟失、傳送資料庫與接收資料庫數據不一致等數據傳輸中的技術難題。
(4)資料庫日誌更新技術避免了大量數據傳輸，比數據傳輸提高效率 50%以上.。採用日誌傳輸可大大地節約傳輸時間，在網路不穩定的地區，由於網路性能不穩經常造成傳輸中斷，頻繁地續傳、重傳導致 網路堵塞和死鎖，影響系統的正常運行。日誌傳輸使傳輸時間大大縮短，減少故障幾率，提高了系統的穩定性。
相關名詞
訊息中間件
面向訊息的中間件(Message oriented Middleware，MoM)是中間件中非常獨特的一類，它支持在一個分散式套用環境中多種用途的訊息交換。在分布的計算進程之間，訊息是通過訊息傳遞、訊息排隊兩種方 法， 以同步或異步方式進行交換的。 中間件領域目前最熱門的技術是異步的訊息中間件。異步中間件技術比同步中間件技術具有更強的容錯性，在系統出現故障時可以保證消 息的正常傳輸。
異步訊息中間件技術可以分為兩類：廣播方式和發布/訂閱方式。廣播方式把訊息分發給系統的所有用戶；發布/訂閱方式可以指定哪種類型的用戶可以接收哪種類型的訊息。發布/訂閱方式由於更加智慧型有效，因而事實上已成為異步中間件的非正式標準。
Sybase的Mobilink技術
MobiLink是一個基於伺服器的同步化引擎，它可以通過串列口、 TCP/IP、HTTP、HotSync、ScoutSync或ActiveSync連線與遠程客戶通信。使用像MobiLink這樣的通用同步技術可以極大地削減開發費用， 因為MobiLink能夠處理高級的同步操作，比如瞬象(snapshot)和時間戳同步、主鍵維持、衝突的檢測和解決等。
在伺服器端，所有的MobiLink 同步邏輯都是通過使用後台資料庫的sQL的事件處理的(MobiLink通過 ODBC連線資料庫，所以事實上支持所有的sQL資料庫)，通過使用 Certicom的SSL/TLS P1us來支持公鑰加密功能(使用橢圓曲線加密系統技術)。
