PieDataComputing System（英文縮寫：πDataCS）是由拓數派（杭州拓數派科技發展有限公司，又稱“OpenPie”）於2023年10月24日推出的大模型數據計算系統，以雲原生技術重構數據存儲和計算，一份存儲，多引擎數據計算，讓大模型技術全面賦能行業AI場景套用，為企業創造更大的商業價值，成為AI的基礎科技底座的同時，開啟AI技術的新範式。
基本介紹
- 中文名：大模型數據計算系統
- 外文名：PieDataComputing System
產品詳情,一、計算引擎,二、自研存儲,
產品詳情
一、計算引擎
PieCloudDB
πDataCS首款數據計算引擎PieCloudDB雲原生虛擬數倉，為企業提供全新基於雲數倉數位化解決方案，助力企業建立以數據資產為核心的競爭壁壘，以雲資源最最佳化配置實現無限數據計算可能。
PieCloudDB產品概況
PieCloudDB，是以對行業資料庫的抽象思考和設計原則復用為技術路線，實現了分析型數據數倉上雲虛擬化，將物理數倉整合，根據數據授權動態創建虛擬數倉，按需靈活計算，打破數據孤島，支撐更大模型所需的數據和計算。在雲上，數據計算資源按需擴縮容，提升數倉的敏捷性和彈性，助力企業降低數倉管理複雜度，實現數量級增加可計算數據空間的同時，數量級降低數倉成本，打開無限數據計算空間，推進AI/BI到下一個精度。
- 降低數倉硬體和管理成本：物理數倉整合到雲原生數據計算平台，根據數據授權動態創建虛擬數倉，打破數據孤島，解決數據多副本問題，幫助企業降低數倉管理複雜度，以更低的成本實現存算資源在雲上更靈活的配置；
- 提升數據計算資源利用效益：數據計算資源按需擴縮容，實現計算資源配置最最佳化，提升數倉的敏捷性和彈性，打開無限數據計算空間，支撐更大模型所需的數據和計算。更好地賦能業務發展並走向綠色；
- 堅如磐石丨高安全、高線上、高可靠：TDE技術保證了所有數據在落盤前完成加密，伺服器無感知技術（Serverless）利用雲上無限計算資源和彈性保證了虛擬數倉永遠線上可用，S3存儲和跨雲災備能力保證了永不丟數。
PieCloudVector
πDataCS第二款向量雲原生量計算引擎PieCloudVector，大模型時代的分析型資料庫升維，助力多模態大模型AI套用，進一步實現海量向量數據存儲，向量數據高效查詢，支持和配合大模型的Embeddings，幫助基礎模型在場景AI的快速適配和二次開發，大模型套用必備。
PieCloudML
πDataCS第三款計算引擎PieCloudML，整合企業所有多模態數據資源，提供多模態大模型下數據計算支撐，更貼近數據科學家的需求和使用。
- 計算和存儲彈性，全面兼容主流機器學習生態；
- 原生互動簡墨存儲，充分體現湖倉一體架構優勢；
- 提供探索性數據分析工具，使用筆記本進行互動式建模；
- 最佳化數據準備和ML建模過程，利用PySpark/Python、SparkR/R和Scala工具進行大規模數據預處理和模型訓練開發。
二、自研存儲
JANM 「簡墨」
πDataCS的雲存儲底座JANM 「簡墨」，打造多雲場景下高性能計算引擎的數據存儲底座，真正實現數據互通，一份數據，多引擎計算，為大模型數據計算系統雲存儲保駕護航。
簡墨基於現代化的硬體和設施、雲原生的設計，致力於簡化大數據處理過程中的數據載入、讀取和計算的整個流程，並提供對數據的自適應治理、ACID 的事務支持等功能，保證絕對的數據安全，做到極致的性能最佳化，以完成各種場景下的數據計算和分析任務。
核心功能：一份數據，多引擎計算
- 湖倉一體；
- 更多檔案格式支持；
- 更高效的外部數據提取和載入；
- 數據互通；
- 流式數據處理；
- 高性能的ACID事務支持；
- 自適應數據管理；
- CDC場景的支持；
- 更多雲原生的Index支持。
