用友AE(Acceleration Engine)加速引擎是支持企業計算關鍵技術的大數據處理平台,包括處理引擎、開發工具、管理工具及數據服務。處理引擎是A E 的核心部分,它為企業提供多數據源的異構數據進行實時數據集成、提供分散式環境下的訊息匯流排、通過Service Gateway能夠與第三方系統進行服務整合訪問; A E 構建了分散式計算框架,分散式計算框架依託於行、列存儲以及分散式檔案存儲,並且集結了實時數據集成(RDI)和服務網關。AE支持企業ERP、CRM、e-Business和Collaboration等套用系統作為套用數據來源進行數據處理,給企業提供高質量的數據信息服務。
AE包含DW(Data Warehouse)和RDI(Real time Data Integration)兩個核心元件。DW主要提供在海量數據情況下高性能的數據存儲引擎,是一個列存儲的數據倉庫,完成高效的海量數據分析。 RDI實時數據集成系統是基於日誌分析和訊息中間件技術,內部具有高快取,高並發的架構,實現了高性能的增量式實時數據集成和靈活的部署模型。RDI能夠提供對DW的高效數據載入以及第三方系統與DW數據實時同步。
關鍵特性
- 突破伺服器讀取海量數據時記憶體延續增加的缺點,大大減少對硬體的負荷,從而最佳化查詢時的速度;
- 針對業務關係資料庫的大數據量表,劃分多個數據量主題,建立相應的多維數據集;
- “智慧型索引”可智慧型分配CPU、記憶體和硬碟,不僅能和傳統索引一樣高效,還可以做到100%無需人工維護;
- 採用最適合數據倉庫系統的非共享集群架構(shared nothing架構)。實現數據的高可靠性和高可擴展性。數據的分散式存儲支持雲計算環境。
- 將海量數據以極高的壓縮效率壓縮後存儲,避免高成本磁碟投入。
- 列存資料庫可以產生比傳統行存資料庫小得多的磁碟IO,從而在海量數據查詢時達到近乎實時的訪問。
- 支持結構化和非結構化數據服務。