TDengine

TDengine

TDengine是濤思數據開發的一款高性能、分散式的物聯網、工業大數據平台,其核心模組是高性能、集群開源、雲原生、極簡的時序資料庫。TDengine專為物聯網、工業網際網路、電力、IT 運維等場景設計並最佳化,具有極強的彈性伸縮能力。同時它還帶有內建的快取、流式計算、數據訂閱等系統功能,能大幅減少系統設計的複雜度,降低研發和運營成本。它能安全高效地將大量設備、數據採集器每天產生的高達 TB 甚至 PB 級的數據進行匯聚、存儲、分析和分發,對業務運行狀態進行實時監測、預警,提供實時的商業洞察。

基本介紹

  • 軟體名稱:TDengine
  • 最近更新時間:2022年12月14日
  • 開發商:濤思數據
  • 軟體授權:TDengineEnterprise、TDengineCloud 
  • 軟體版本:3.1.1.0 
發展歷程,軟體介紹,核心功能,軟體版本,TDengineOSS,作者,支持接口,適用場景,

發展歷程

2019年7月12日,濤思數據正式宣布將TDengine的核心(存儲和計算引擎)以及社區版100%開源。
2020年1月,濤思數據獲GGV等近千萬美元Pre-A輪投資,研發開源的物聯網大數據平台TDengine
2020年4月,濤思數據宣布完成超過1000萬美元的A輪融資,三個月內完成兩輪千萬美元融資。
2021年5月,濤思數據宣布完成4700萬美元B輪融資。本輪融資由經緯中國領投,紅杉資本中國基金、GGV紀源資本、指數資本跟投。
2023年8月,高性能、分散式的物聯網、工業大數據平台 TDengine 在精心籌備後進行了官網的全新改版升級。

軟體介紹

TDengine是一款專為物聯網、工業網際網路等場景設計並最佳化的大數據平台,其核心模組是高性能、集群開源、雲原生、極簡的時序資料庫。它能安全高效地將大量設備、數據採集器每天產生的高達 TB 甚至 PB 級的數據進行匯聚、存儲、分析和分發,對業務運行狀態進行實時監測、預警,提供實時的商業洞察。
它具備處理物聯網和工業大數據所需的所有功能,包括:
數據匯聚(有數據質量保證的數據匯聚):消除數據孤島,為決策者提供更好的巨觀視圖。TDengine能將來自各種類型數據源(包括 PI System、MQTT、OPC 等)的工業數據匯聚到一起,並可以進行數據的清洗、加工、轉換工作,以保證入庫數據的質量,便於集中監測、進行總體數據分析。並且,TDengine是一個零代碼平台,只需很少的配置,即可實現工業數據源的 ETL(提取、轉換和載入)流程。
數據存儲(高性能、分散式的數據存儲):基於開源的時序資料庫TDengineOSS,提供高性能、分散式的數據存儲和基於 SQL 的查詢服務,並有所增強。TSBS 基準測試結果顯示,TDengine的寫入、查詢、存儲性能均遠超InfluxDB、TimescaleDB等時序資料庫,可將典型的物聯網、車聯網、工業網際網路大數據平台的總擁有成本降低至少 50% 以上。並且擁有強大的水平擴展能力,能夠支持 10 億個設備、100 台伺服器節點。
數據分析(支持 AI 的高級數據分析):TDengine為工業數據提供了一個開放的解決方案,使用戶能夠利用現代的數據分析工具進一步挖掘數據的價值,支持公有雲和私有化部署,進而實現更為開放、低成本、並具水平擴展能力的實時分析。通過 SQL 和時序數據擴展,提供內建的分析能力,並支持實時流式計算。能與眾多第三方批分析、實時分析、報表工具、AI/ML 工具、可視化工具無縫集成,如 Grafana、帆軟、永洪、PowerBI等。
數據分發(簡單安全的數據共享、分發):通過 view 的定義以及許可權設定,TDengine既支持將一個資料庫完全開放,設定讀/寫許可權;也支持通過數據訂閱方式,安全、靈活地將庫、超級表、一組或一張表、或聚合處理後的數據分享出去,實時傳送給另外一個套用。像分享線上文檔一樣簡單,只需一個電子郵件地址即可共享您的數據,通過對用戶或用戶組的精細訪問控制來實現對數據的保護,包括可配置到期時間、數據加密和安全訪問令牌。

核心功能

1. 雲原生 (Cloud Native):
a. 時序數據與元數據處理全部採用分散式技術,實現計算和存儲分離,具備水平擴展能力,存儲和計算資源可動態擴容或縮容
b. 支持 10 億個時間線,支持 100 個以上節點,整個集群的啟動速度可以控制在一分鐘以內,完全解決時序數據業內的 High Cardinality 的問題
c. 支持多副本,採用了 RAFT 一致性協定,保證系統的高可用。另外通過 WAL 來保證數據存儲的高可靠
d. 支持容器和 Kubernetes 部署,具備完善的可觀測性(Observability),讓系統的運營維護變的輕鬆簡單
2. 極簡時序數據平台(Simplified Solution):
a. 支持訊息佇列,可指定各種過濾條件,套用可以僅僅訂閱滿足條件的數據,而且對外提供的 API 與 Kafka 類似,無學習成本
b. 支持流式計算,除連續查詢外,也支持事件驅動的流計算,採用 SQL 語法,支持自定義函式,讓流計算的學習成本幾乎為零
c. 支持快取,每條時間線的最新數據全部快取,通過 SQL 函式就可快速獲取,無需再集成 Redis 等快取軟體
d. 通過對快取、流式計算、訊息佇列的支持,採用 TDengine 的時序數據處理系統,不再需要集成Kafka、Redis、Spark 和 Flink 等軟體,技術架構將大為簡化,部署、運營維護成本將大為降低。TDengine 不只是一個時序資料庫,還是一個極簡的時序數據處理平台
3. 便捷的數據分析(Easy Data Analytics):
a. 重新設計了計算引擎,支持標準 SQL,支持嵌套查詢,支持自定義函式,支持 Information Schema 系統資料庫
b. 針對時序數據的處理進行擴展,提供累計求和、時間加權平均、移動平均、變化率、session/state 視窗等眾多時序數據分析功能
c. 通過標籤快速索引,通過分區、分片技術,通過計算節點的彈性伸縮,支持對海量時序數據的多維度的高效聚合分析
d. TDengine 不僅能實時地處理數據的寫入和查詢,也能作為強大的時序數據分析工具

軟體版本

1. TDengineEnterprise
私有化部署的TDengine,可部署在邊緣側、本地、公有雲/私有雲上
具備以下功能和亮點:
l 高性能、支持水平擴展的時序資料庫
l 支持多種數據源的高效寫入
l 支持各種行業的分析與可視化工具
l 具有許可權控制的數據共享、分發
l 數據複製、同步
l 企業特需的安全、運維功能
l 圖形化管理界面
l 國產化支持
2.TDengineCloud
具備以下特點:
l 無需安裝、部署、更不用維護,註冊即可使用,節省人力成本
l 計算與存儲分離,存儲、計算資源可隨時獨立擴容
l 支持私有雲、公有雲以及不同區域間的數據同步
l 支持基於角色的訪問許可權控制(RBAC)
l 企業級服務,支持數據備份、 VPC、IP 白名單等等

TDengineOSS

TDengine OSS 是一款開源、高性能、雲原生的時序資料庫,具有極強的彈性伸縮能力,同時帶有內建的快取、流式計算、數據訂閱等功能,能大幅減少系統設計的複雜度,降低研發和運營成本,是一個極簡的時序數據處理平台。
TDengineOSS主要功能:
l 高效寫入,支持 SQL 寫入和Schemaless寫入
l 高效查詢,支持 SQL,支持嵌套查詢、UDF 等
l 提供一系列時序數據特有查詢和視窗函式
l 支持集群、雲原生,支持水平擴展
l 帶有內建的快取功能,可以不用部署 Redis
l 帶有內建的流式計算,可以不用部署 Spark/Flink
l 帶有內建的數據訂閱,可以不用部署Kafka
l 支持各種程式語言,與很多第三方工具無縫集成

作者

TDengine作者是北京濤思數據科技有限公司創始人陶建輝帶領的濤思數據團隊。

支持接口

TDengine提供了豐富的應用程式開發接口,為了便於用戶快速開發自己的套用,TDengine支持了多種程式語言的連線器,其中官方連線器包括支持 C/C++、Java、Python、Go、Node.js、C# 和 Rust 的連線器。這些連線器支持使用原生接口(taosc)和 REST 接口(部分語言暫不支持)連線TDengine集群。社區開發者也貢獻了多個非官方連線器,例如 ADO.NET 連線器、Lua 連線器和 PHP 連線器。

適用場景

TDengine作為一個基礎性的軟體,原則上,所有使用機器、設備、感測器採集數據的地方都可以用上。一些典型場景羅列如下:
公共安全:上網記錄、通話記錄、個體追蹤、區間篩選

電力行業:智慧型電錶、電網、發電設備的集中監測

通訊行業:話費詳單、用戶行為、基站/通訊設備監測

金融行業:交易記錄、存取記錄、ATM、POS機監測

出行工具:火車/汽車/出租/飛機/腳踏車的實時監測

交通行業:實時路況,路口流量監測,卡口數據;

石油石化:油井、運輸管線、運輸車隊的實時監測

網際網路:伺服器/套用監測、用戶訪問日誌、廣告點擊日誌

物流行業:車輛、貨櫃的追蹤監測

環境監測:天氣、空氣、水文、地質環境等監測;

物聯網:電梯、鍋爐、機械、水錶、氣表等各種聯網設備

軍工行業:各種軍事裝備的數據採集、存儲

製造業: 生產過程管控,流程數據、供應鏈數據採集與分析

相關詞條

熱門詞條

聯絡我們