大數據基礎(2019年大連理工大學出版社出版的教材)

大數據基礎(2019年大連理工大學出版社出版的教材)

本詞條是多義詞,共3個義項
更多義項 ▼ 收起列表 ▲

《大數據基礎》是2019年大連理工大學出版社出版的教材,作者是周晴紅。

本教材共9個項目,主要內容包括:大數據概述、Linux作業系統的安裝及常用命令、Hadoop集群部署、HDFS基礎操作、HBase資料庫的安裝與套用、MapReduce套用開發、Hive數據倉庫、Flume和Sqoop的安裝與使用、數據可視化技術。

基本介紹

  • 中文名:大數據基礎
  • 作者:周晴紅
  • 出版社:大連理工大學出版社
  • 出版時間:2019年10月
  • ISBN:9787568522267
內容簡介,教材目錄,

內容簡介

《大數據基礎》是新世紀高職高專教材編審委員會組編的大數據專業系列規劃教材之一。
隨著計算機信息技術的發展,雲計算與大數據技術的出現成為信息產業的重大變革。雲計算、物聯網、移動網際網路的迅速發展催生了大數據時代的到來,從多種類型的海量數據中快速獲得有價值信息的能力就是大數據技術,其核心價值是對海量數據的存儲和分析。隨著大數據相關產業的發展,社會急需大量懂技術、能套用的專業技術人才,大數據技術與套用專業己經列入高等職業學校專業目錄,大數據技術與套用專業的人才培養面臨著新的挑戰和機遇。
本教材針對高職院校大數據技術與套用型人才培養的目標、教學對象、教學特點和軟、硬體環境而編寫,結合編者的一線教學經驗,具有實用性、操作性強等特點。本教材得到江蘇省高校“青藍工程”項目資助(軟體技術優秀教學團隊)。作為大數據課程體系的一部分,本教材理論與實踐緊密聯繫,能更好地滿足實踐教學。全書注重實用性,圖文並茂,知識點也以精練為主,理實一體化,讀者學習每一任務只需要花少量的時間即可直接進行實踐操作。
本教材的體系結構及知識點的分布按照學習思維邏輯由淺入深、循序漸進、以學代教的模式編排,編者建議學者按照項目編排順序學習和開展實訓,這樣有利於較為全面地了解大數據技術及套用。

教材目錄

項目1 大數據概述 / 1
 任務1 初識大數據 / 1
  1.1.1 大數據的基本特徵 / 2
  1.1.2 大數據的影響 / 3
  1.1.3 大數據處理的基本流程 / 3
  1.1.4 大數據與雲計算、物聯網的關係 / 5
 任務2 認識Hadoop生態系統 / 6
  1.2.1 Hadoop生態系統概述 / 6
  1.2.2 Hadoop行業套用案例 / 12
 項目小結 / 13
 課後練習 / 13
項目2 Linux作業系統的安裝及常用命令 / 14
 任務1 安裝及配置Linux虛擬機 / 14
  2.1.1 創建Linux虛擬機 / 15
  2.1.2 搭建FTP遠程連線虛擬機 / 28
  2.1.3 在虛擬機上安裝軟體 / 31
 任務2 Linux系統常用命令 / 33
  2.2.1 熟練使用檔案目錄類命令 / 33
  2.2.2 熟練使用vim編輯器 / 35
 項目小結 / 36
 課後練習 / 36
項目3 Hadoop集群部署 / 38
 任務1 Hadoop安裝與配置 / 38
  3.1.1 創建hadoop用戶 / 39
  3.1.2 安裝SSH,配置SSH無密碼登錄 / 39
  3.1.3 安裝Java環境 / 40
  3.1.4 單機模式安裝 / 40
  3.1.5 偽分布模式安裝 / 41
 任務2 Hadoop的啟動和測試 / 42
 任務3 Hadoop偽分布模式實例 / 44
 項目小結 / 45
 課後練習 / 45
項目4 HDFS基礎操作 / 46
 任務1 認識HDFS / 46
  4.1.1 HDFS工作原理 / 47
  4.1.2 HDFS常用命令 / 49
 任務2 上傳檔案到HDFS目錄 / 50
  4.2.1 在HDFS中新建目錄 / 50
  4.2.2 上傳和下載檔案 / 51
  4.2.3 查看檔案內容 / 52
  4.2.4 刪除檔案或目錄 / 52
 任務3 編寫HDFS程式 / 53
  4.3.1 讀取HDFS檔案 / 53
  4.3.2 向HDFS中寫入檔案 / 62
  4.3.3 判斷檔案是否存在 / 62
 項目小結 / 63
 課後練習 / 63
項目5 HBase資料庫的安裝與套用 / 65
 任務1 認識HBase / 65
  5.1.1 HBase簡介 / 66
  5.1.2 HBase基本概念 / 66
  5.1.3 HBase體系架構 / 69
 任務2 HBase開發環境安裝與配置 / 71
  5.2.1 單機模式安裝與配置 / 71
  5.2.2 偽分布模式安裝與配置 / 74
 任務3 使用HBase Shell管理分散式資料庫 / 77
  5.3.1 HBase Shell命令簡介 / 78
  5.3.2 HBase Shell的使用 / 79
 任務4 HBase編程 / 83
  5.4.1 開發HBase應用程式 / 84
  5.4.2 HBase編程實現數據存儲管理 / 87
 項目小結 / 92
 課後練習 / 92
項目6 MapReduce套用開發 / 93
 任務1 認識MapReduce編程模型 / 93
  6.1.1 MapReduce概念 / 94
  6.1.2 MapReduce編程模型 / 94
  6.1.3 MapReduce數據類型 / 97
 任務2 使用Eclipse創建MapReduce工程 / 97
  6.2.1 下載安裝HadoopEclipsePlugin外掛程式 / 98
  6.2.2 配置 MapReduce環境 / 98
  6.2.3 在Eclipse中操作 HDFS中的檔案 / 100
 任務3 MapReduce實現英語單詞統計 / 101
 任務4 MapReduce實現氣象數據分析 / 115
 項目小結 / 123
 課後練習 / 123
項目7 Hive數據倉庫 / 126
 任務1 認識Hive / 126
  7.1.1 Hive簡介 / 127
  7.1.2 Hive架構設計 / 127
  7.1.3 Hive與傳統關係資料庫的對比 / 129
 任務2 Hive安裝與配置 / 131
 任務3 Hive Shell操作 / 133
  7.3.1 Hive的數據類型 / 133
  7.3.2 Hive基本操作 / 139
 任務4 Hive交易數據統計實戰 / 148
 項目小結 / 153
 課後練習 / 153
項目8 Flume和Sqoop的安裝與使用 / 156
 任務1 認識Flume / 156
  8.1.1 Flume相關概念 / 157
  8.1.2 Flume架構 / 158
  8.1.3 Flume常用的類型 / 159
  8.1.4 Flume常用操作命令 / 160
 任務2 Flume環境搭建 / 161
  8.2.1 Flume安裝與配置 / 161
  8.2.2 Flume採集日誌信息到HDFS / 162
 任務3 安裝Sqoop / 165
 任務4 使用Sqoop實現數據遷移 / 168
  8.4.1 Sqoop命令介紹 / 168
  8.4.2 使用Sqoop將數據從MySQL導入HDFS / 169
  8.4.3 使用Sqoop將數據從HDFS導出MySQL / 174
  8.4.4 使用Sqoop將數據從MySQL導入Hive / 177
 項目小結 / 178
 課後練習 / 178
項目9 數據可視化技術 / 179
 任務1 數據可視化簡介 / 179
  9.1.1 數據可視化概述 / 180
  9.1.2 數據可視化常用工具 / 182
 任務2 使用ECharts繪製圖表 / 183
  9.2.1 ECharts圖表製作示例 / 183
  9.2.2 繪製未來一周氣溫變化圖 / 186
  9.2.3 繪製網站訪問南丁格爾圖 / 189
 項目小結 / 192
 課後練習 / 192
參考文獻 / 194

相關詞條

熱門詞條

聯絡我們