Zero ETL (別名:No ETL 或 0 ETL) 是由亞馬遜雲科技投入的技術方向,可以減少企業在不同服務間手動遷移或轉換數據的工作。ETL 是將業務系統的數據經過提取(Extract)、轉換清洗(Transform)和載入(Load)到數據倉庫、大數據平台的過程,將企業中的分散、零亂、標準不統一的數據整合到一起,為企業的決策提供分析依據。Zero ETL 則是一種雲原生的數據處理方式,它不需要進行複雜的數據轉換和清洗,可以直接在雲上一站式的進行數據分析和處理。
2022年12月6日,亞馬遜雲科技在2022 re:Invent全球大會上發布關於“Zero ETL”兩項全新的集成功能。並發布了幾項將數據管理推向 Zero ETL 的新服務,企業不再需要考慮 ETL 的問題,實現將資料庫,數據服務底層打通,把各種各樣的數據都連線到執行分析所需要的地方,實現數據平滑“無感”的流動。
基本介紹
- 中文名:零ETL
- 外文名:Zero ETL
- 別名:No ETL 或 0 ETL
- 所屬公司:亞馬遜雲科技
- 類別:數據集成、數據轉換、數據清洗
基本介紹,主要用途,價值分析,
基本介紹
Zero ETL不是一個服務,而是一個由多種服務組成的解決方案集合,其中涉及到 Amazon Glue、Amazon Redshift、Amazon MSK、Amazon Appflow、Amazon Athena、Amazon Data Exchange 。客戶可以基於自身需求進行端到端數據之旅,實踐數據一體化融合。Zero ETL進一步降低了數據融合的成本,實現數據一體化融合,打破數據孤島。
亞馬遜雲科技就 Zero ETL :通過兩項全新的集成功能,客戶可以連線和分析多地存儲的數據,無需在不同服務間進行數據遷移。首先是 Amazon Aurora Zero-ETL 與 Amazon Redshift 的集成,無需自定義數據通道,即可分析 PB 級的數據;然後是 Amazon Redshift 與 Apache Spark 的集成,讓客戶通過 Apache Spark 訪問 Amazon Redshift 上的實時數據。
Zero ETL 除兩項全新集成功能外,Amazon Redshift auto-copy from S3 的自動複製,使用戶可以從 Amazon S3 平台上自動複製數據,將檔案注入到 Amazon Redshift 當中,自動把新的文檔根據客戶的解決方案還有第三方的資源,整合起來使用。Amazon AppFlow 是一項完全託管的集成服務,使用戶能夠在軟體即服務(SaaS)應用程式與 Amazon S3 和 Amazon Redshift 等亞馬遜雲科技服務之間安全地傳輸數據,支持50多個連線器。Amazon AppFlow 在本地系統和應用程式、SaaS 應用程式和亞馬遜雲服務之間提供雙向數據集成。藉助 Amazon AppFlow,用戶無需編寫代碼即可在數分鐘內設定數據流,幫助客戶打破數據孤島。亞馬遜雲科技數據服務已經可以連線超過100種外部數據源,也包括各類 on-premise 數據源類型,能全面地利用所有數據的力量。
主要用途
Zero ETL 業務數據通常通過 ETL(提取 - 轉換 - 載入)從一個位置移動到另一個位置。這個過程有缺點,因為它需要時間,而且有很多出錯的機會。因此 Zero ETL 旨在通過提供一種安全的方式讓數據在不同系統之間移動而無需人工干預來消除這些問題。它通過所有連線系統之間的持續聯合確保所有數據都是最新的。
價值分析
靈活性高:Zero ETL 可以存儲各種類型的數據,包括結構化數據和非結構化數據,並提供靈活的數據訪問和查詢方式。
成本低:Zero ETL 不需要進行複雜的數據轉換和清洗,可以節省大量的時間和人力資源,從而降低數據處理成本。
處理速度快:Zero ETL 可以直接在數據湖中進行數據分析和處理,避免了數據轉換和清洗過程中的性能瓶頸,從而可以提高數據處理速度。
數據一致性:Zero ETL 由於數據湖中的數據是原始數據,沒有經過複雜的轉換和清洗過程,因此可以保證數據的一致性和準確性。