DolphinDB是一款高性能分散式時序資料庫,由浙江智臾科技有限公司自主研發。截止2021年2月,DolphinDB在專業資料庫排名網站DB-Engines的時序資料庫排名中位列第9位,為國產時序資料庫第1位。
DolphinDB集成了功能強大的程式語言和流數據分析系統,為結構化數據的快速存儲、檢索、分析及計算提供一站式解決方案,在大規模數據處理與分析領域擁有世界領先的性能水平,特別適用於量化金融與物聯網等領域對數據存儲、查詢及分析有極高要求的場景。
基本介紹
- 軟體名稱:DolphinDB
- 軟體平台:Linux / Windows
- 開發商:浙江智臾科技有限公司
- 軟體大小:約 50 MB
- 類型:分散式時序資料庫
- 硬體平台:X86 / ARM / 龍芯
套用環境,系統特性,集群區別,處理結構,所處優勢,
套用環境
1.數據倉庫
- PB級歷史數據管理
- 秒級實時數據入庫
- 毫秒級查詢回響
- 支持大量並發用戶訪問
2.研發工具
- 面向數據科學家和分析師
- 互動式數據分析
- 仿真和理是數據回放
3.批量處理作業
- 報表生成
- 數據清洗、歸檔
- 日誌分析
- 機器學習
4.實時數據處理
- BI後台
- 實時報表生成
- 監控和預警
系統特性
- 支持事務和強一致性
- 斷電後重啟迅速
- 支持高可用,也可作負載均衡
- 支持windows/linux,32/64位
- 支持x86、ARM、MIPS
- 1000餘個函式
- 支持opc,mqtt
- 內置腳本語言和記憶體計算引擎
- 腳本語言支持即時編譯(JIT)
- 內置分散式計算引擎、機器學習算法
- 流計算引擎
- 外部數據源拓展
- 基於表和函式的用戶許可權管理
- 支持數據備份、恢復、遷移
- 線上添加欄位、增加數據節點、升級系統
- 原生支持pandas,SQL和主流語言的SDK
- 作業管理功能,腳本實現自動運維
- 集成開發環境
集群區別
DolphinDB普通集群和高可用集群的區別在於,高可用集群採用Raft協定,通過構建多個控制節點構成一個Raft組,保證了元數據的高可用。所以,高可用集群不僅擁有數據高可用和客戶端高可用,還擁有元數據高可用,進一步提高了整個集群的容災性
處理結構
DolphinDB內置了流數據分析功能,支持流數據的發布、訂閱、預處理、實時記憶體計算、複雜指標的滾動視窗計算等,是一個運行高效、使用便捷的流數據處理框架。
與其它流數據系統相比,DolphinDB流數據處理系統的優點在於:
l 吞吐量大,低延遲。
l 與時序資料庫及數據倉庫集成,提供了一站式解決方案。
l 天然具備流表對偶性,支持使用SQL語句進行數據注入和查詢分析。
而且DolphinDB流數據處理系統提供了多種方便的功能,例如:
l 內置時間序列及橫截面聚合引擎
l 高頻交易數據回放
l 流數據過濾等
所處優勢
1.一站式大數據解決方案
適用於金融及物聯網數據採集、存儲、查詢、實時計算、預警、結果展示及反饋。
2.輕量級跨平台部署
使用C++開發,僅20餘兆,非常輕量,可部署於從嵌入式到雲端的各類平台。
3.安全可控
由國人自主研發,無任何外部依賴、安全可控。同時適配國產CPU,實現軟硬體同時自主可控。
4.數據存儲和計算
採用列式存儲,支持數據壓縮。在同樣的硬體設備上,關係型資料庫可支持億級的時序數據,DolphinDB則可支 持萬億級。
5.實時流計算
天然具備流表對偶性,可對物聯網、金融市場採集的實時數據進行清洗、實時統計與分析、即時入庫及可視化展示。
6.豐富的計算功能
計算功能最豐富的資料庫系統使用內置腳本語言,可實現複雜的分散式庫內計算,避免數據遷移,性能超越其他資料庫1-3個數量級。
7.降低綜合使用成本
一站式解決方案、跨平台部署能力、強大的實時數據和歷史數據處理能力、豐富的計算功能及擴展能力極大的降低了企業的綜合使用成本。