開放數據處理服務

開放數據處理服務(Open Data Processing Service,簡稱ODPS)是基於飛天分散式平台,由阿里雲自主研發的海量數據離線處理服務。ODPS以RESTful API的形式提供針對PB級別數據的、實時性要求不高的批量結構化數據存儲和計算能力,主要套用於數據分析與統計、數據挖掘、商業智慧型等領域。阿里金融、淘寶指數、數據魔方等阿里巴巴關鍵數據業務的離線處理作業都運行在ODPS上。

ODPS提供了數據上傳下載通道和SQL處理操作,並且提供了海量數據倉庫的解決方案以及針對大數據的分析建模服務。

2014年7月8日,阿里巴巴集團旗下阿里雲計算發布大數據產品——開放數據處理服務ODPS。據悉,ODPS可在6小時內處理100PB數據,相當於1億部高清電影。通過ODPS線上服務,花幾百元即可分析海量數據。全球只有Google、亞馬遜等少數公司掌握這種能力。
業內人士稱,採用傳統方案處理大規模數據,一般得耗資數千萬自建數據中心,請專業技術人員維護運作。一旦數據總量超過100TB,技術挑戰會非常大。能夠對大量數據進行分散式處理的軟體框架Hadoop開源運動降低了這一成本,不過自建一個像樣的Hadoop集群,仍然需要上百萬的起步資金,專業的Hadoop人才則更加稀缺。
阿里雲相關負責人介紹,使用ODPS的成本和門檻很低,它採取按量收費的模式,定價0.3元/GB,即開即用,一個月內免費。根據大部分公司的數據量來測算,一般每月只需花費數百元。
據悉,在對外商用之前,阿里小貸最先將ODPS套用到商業領域,淘寶、支付寶等阿里巴巴最核心的數據業務,都運行在ODPS平台。超過36萬人從阿里小貸借款,最小貸款額為1元,並能實現3分鐘申請、1秒放款、0人工干預。阿里小貸每天得處理30PB數據,包括800億個信息項,運算100多個數據模型。
在公共領域,華大基因利用ODPS進行基因測序,耗時不到傳統方式的十分之一;藥監部門利用ODPS,全程監管藥品流向,解決假藥問題。
阿里雲方面表示,ODPS不僅支持更豐富的SQL語法,還將提供MapReduce編程模型和機器學習建模能力,可以服務更多套用場景。

相關詞條

熱門詞條

聯絡我們