LXDB是由南京錄信軟體技術有限公司開發的一款輕量級資料庫產品,面向OLAP場景,配置簡單,易於操作,便於運維。已發布單機版和集群版兩個版本。單機版可承載百億數據,集群版可擴展至萬億,實現毫秒級的檢索分析回響。
基本介紹
- 軟體名稱:LXDB
- 軟體平台:Centos 6.5
- 開發商:南京錄信軟體技術有限公司
- 軟體版本:V1.0
- 運行環境:萬兆網卡、記憶體128G、CPU:32執行緒,2顆,16核,32執行緒、Centos 6.5
產生背景
在資料庫發展的初期,主要以傳統關係型資料庫為主,這類資料庫具有原子性、一致性、隔離性和持久性的優勢。
隨著網際網路web網站的興起,傳統關係型資料庫暴露的缺點也越來越多,關係型資料庫可以承載的數據量有限,並且在面對大規模查詢需 求時性能會急劇下降。由此,以NoSQL為主的非關係型資料庫開始湧現。同時傳統關係型資料庫在事務型(OLTP)方面的優勢使得在事務處理中大多選用關係型資料庫,而在分析場景中則大多使用分析型(OLAP)的NoSQL資料庫。
關於分析型(OLAP)的發展可以主要分為三個階段。第一代分析型資料庫所採用的就是傳統關係型資料庫的共享存儲(Share Storage)架構。而這種架構由於存在價格高昂、可擴展性差等劣勢而逐漸被淘汰。
第二代分析型資料庫以MPP(大規模並行處理)架構為主,這類產品的主要優勢是擁有非常快速的查詢性能,在可擴展性方面也得到了進一步提高,一般可以擴展至數十節點規模。
第三代分析型資料庫以SQL-On-Hadoop為主,一般採取了存儲與計算分離的架構,這使得其具備了高度的可擴展性,可以擴展到數千節點。但是其也有著劣勢,這類產品主要依賴於Hadoop,安裝部署和運維成本較高,非常依賴於專業人士的運維。
錄信的第一代產品LSQL採用的是SQL-On-Hadoop的架構,最高支持萬億數據,集群規模可擴展至數千節點。在PB級數據規模下實現了秒級的查詢分析回響。但是在這一過程中,我們發現了Hadoop對於專業運維人員的依賴,以及Hadoop本身運維的複雜給用戶帶來的高昂使用成本。
針對於前期的產品研發經驗和對於市場需求的分析,錄信的第二代產品LXDB採用的是MPP架構,同時對傳統MPP資料庫進行了開創性的革新,重新定義了MPP分散式架構,集群可擴展至數百節點,支持PB級數據規模。在解決了MPP資料庫對於數據規模的局限性的基礎上打造了全新的檢索分析引擎,使得資料庫的查詢和分析性能得到進一步最佳化。同時結合特定場景的資料庫產品特性,例如進一步提升計算性能的記憶體資料庫,用於圖像語音識別和檢索的向量資料庫,用於時空數據處理的時空資料庫的深度融合和開發,打造出了集記憶體計算、向量檢索、時空分析等為一體的輕量級分析型資料庫,基本上做到了資料庫分析領域的全場景覆蓋。