2014年7月8日,阿里巴巴集團旗下阿里雲計算發布大數據產品——開放數據處理服務ODPS。據悉,ODPS可在6小時內處理100PB數據,相當於1億部高清電影。通過ODPS線上服務,花幾百元即可分析海量數據。全球只有Google、亞馬遜等少數公司掌握這種能力。
業內人士稱,採用傳統方案處理大規模數據,一般得耗資數千萬自建數據中心,請專業技術人員維護運作。一旦數據總量超過100TB,技術挑戰會非常大。能夠對大量數據進行分散式處理的軟體框架Hadoop開源運動降低了這一成本,不過自建一個像樣的Hadoop集群,仍然需要上百萬的起步資金,專業的Hadoop人才則更加稀缺。
阿里雲相關負責人介紹,使用ODPS的成本和門檻很低,它採取按量收費的模式,定價0.3元/GB,即開即用,一個月內免費。根據大部分公司的數據量來測算,一般每月只需花費數百元。
據悉,在對外商用之前,阿里小貸最先將ODPS套用到商業領域,淘寶、支付寶等阿里巴巴最核心的數據業務,都運行在ODPS平台。超過36萬人從阿里小貸借款,最小貸款額為1元,並能實現3分鐘申請、1秒放款、0人工干預。阿里小貸每天得處理30PB數據,包括800億個信息項,運算100多個數據模型。
在公共領域,華大基因利用ODPS進行基因測序,耗時不到傳統方式的十分之一;藥監部門利用ODPS,全程監管藥品流向,解決假藥問題。
阿里雲方面表示,ODPS不僅支持更豐富的SQL語法,還將提供MapReduce編程模型和機器學習建模能力,可以服務更多套用場景。