OushuDB

OushuDB是由偶數科技自主研發的新一代極速雲數倉。

基本介紹

• 外文名：OushuDB
• 創始團隊：Apache HAWQ

產品簡介

OushuDB是由偶數科技自主研發的新一代極速雲數倉。可以構建企業核心數倉、數據集市、實時數倉、湖倉一體數據平台，以及BI、即席查詢、實時指標等分析套用。OushuDB符合中國信創標準，通過計算存儲分離架構解決了傳統資料庫高成本、高門檻、難維護、難擴展的問題。

產品特色

雲原生：採用計算存儲分離架構，利用雲伺服器、分散式存儲，對數據基礎設施的可擴展性進行深度最佳化，充分滿足雲端套用高度彈性、無限擴容的要求。支持騰訊雲、阿里雲、華為雲、金山雲、微軟Azure、AWS等主流雲平台。

高性能：面向PB級大數據的複雜查詢，相比MPP和SQL-on-Hadoop快一個數量級。全新設計的執行器讓性能提升5~10倍，顯著降低批處理和即席查詢所需的時間。

強兼容：具備完善的SQL標準和ACID特性，支持HDFS和多種對象存儲的增刪改查、以及偶數自研的Magma存儲。兼容基於Oracle，PostgreSQL，Greenplum開發的數字套用，用戶可以輕鬆實現不同數據基礎設施的平穩遷移。

純國產：OushuDB由國內資料庫核心研發團隊自主開發，符合國家信創標準。偶數研發團隊曾主導國際頂級的資料庫開源項目。

套用廣：OushuDB已在金融、網際網路、電信、政府、製造等行業的數百家頭部企業得到廣泛套用，助力各類企業完成數位化轉型。

技術特點

· 極速執行器: 高效的執行器，比傳統數倉/MPP快5-10倍，比Hadoop SQL引擎要快5-30倍。

· 公有雲和私有雲部署：支持騰訊雲、阿里雲、金山雲、AWS等公有雲平台，同時可以支持主流PaaS雲平台（比如Kubernetes等）和Docker部署。

· 對標準的完善支持：ANSI SQL標準，OLAP擴展，標準JDBC/ODBC，比Hadoop SQL引擎更完善。

· 成熟的並行最佳化器：最佳化器是並行SQL引擎的重要組成部分，對性能影響很大，尤其是對複雜查詢。

· 支持ACID事務特性：這是很多現有基於Hadoop的SQL引擎做不到的，對保證數據一致性很重要。可以有效減少開發及運維人員的負擔。

· 動態數據流引擎：基於UDP的高速網際網路。

· 彈性調度執行：可以根據查詢大小來決定執行查詢使用的節點及Segment個數。

· 支持多種分區方法及多級分區：支持List分區和Range分區。分區表對性能有很大提升作用，如果用戶只想訪問最近一個月的熱數據，查詢只需要掃描最近一個月數據所在分區。

· 支持多種壓縮方法：snappy，gzip，zlib, zstd, lz4, RLE等。

· 多種存儲過程語言支持：python, c/c++, perl等。

· 動態擴容：按照存儲大小或者計算需求動態按需擴容，秒級添加節點。

· 多級資源和負載管理：和外部資源管理器YARN集成；可以管理CPU，Memory資源等；支持多級資源佇列；具有方便的DDL管理接口。

· 支持訪問HDFS及其他系統的數據：各種HDFS格式（文本，ORC等等）以及其他外部系統（Hive等），並且用戶自己可以開發外掛程式來訪問新的數據源。

· 原生的機器學習數據挖掘庫MADLib支持：易於使用及高性能。

· 與Hadoop系統無縫集成：存儲、資源、安裝部署、數據格式和訪問等。

· 完善的安全及許可權管理：kerberos；資料庫，表等各個級別的授權管理。

· 支持多種BI工具：帆軟、觀遠、SmartBI，以及Tableau、SAS、Apache Zeppelin等。

產品區別

OushuDB 和 Apache HAWQ 的區別

· 全新執行引擎，充分利用硬體的所有特性，比Apache HAWQ性能高出5-10倍。

· 支持Update和Delete，以及索引。

· C++可插拔外部存儲：

替換JAVA PXF，性能高數倍，無需安裝部署PXF額外組件，極大簡化了用戶安裝部署和運維；

原生支持CSV/TEXT外部存儲；

可以用於不同集群之間共享數據，比如數據倉庫和集市之間共享及傳輸數據；

可以用於高速數據載入和數據導出；

可以實現高速備份和恢復；

可以實現可插拔檔案系統：比如S3, Ceph等；

可以實現可插拔檔案格式：比如ORC，Parquet等。

· 支持ORC/TEXT/CSV作為內部表格式，支持ORC作為外部表格式 (通過C++可插拔外部存儲)。

· 對PaaS/CaaS雲平台的原生支持，支持Kubernetes集群容器編排與部署。

· Csv和Text檔案格式中對非ASCII字元串或長度大於1的字元串作為分隔設定的支持。