pig(程式語言)

本詞條是多義詞,共4個義項
更多義項 ▼ 收起列表 ▲

Pig是一種數據流語言和運行環境,用於檢索非常大的數據集。為大型數據集的處理提供了一個更高層次的抽象。Pig包括兩部分:一是用於描述數據流的語言,稱為Pig Latin;二是用於運行Pig Latin程式的執行環境。

基本介紹

  • 軟體名稱:Pig
  • 開發商:Apache Software Foundation
Apache Pig 是一個高級過程語言,適合於使用 Hadoop 和 MapReduce 平台來查詢大型半結構化數據集。通過允許對分散式數據集進行類似 SQL 的查詢,Pig 可以簡化 Hadoop 的使用。
用MapReduce進行數據分析。當業務比較複雜的時候,使用MapReduce將會是一個很複雜的事情,比如你需要對數據進行很多預處理或轉換,以便能夠適應MapReduce的處理模式。另一方面,編寫MapReduce程式,發布及運行作業都將是一個比較耗時的事情。Pig的出現很好的彌補了這一不足。Pig能夠讓你專心於數據及業務本身,而不是糾結於數據的格式轉換以及MapReduce程式的編寫。本質是上來說,當你使用Pig進行處理時,Pig本身會在後台生成一系列的MapReduce操作來執行任務,但是這個過程對用戶來說是透明的。

相關詞條

熱門詞條

聯絡我們