《Hadoop大數據平台構建與套用》是一本2018年高等教育出版社出版的圖書，作者是米洪，陳永 ，是以構建和開發“高職院校學生學情分析”系統為項目原型，以任務驅動為主線，指導學生基於Hadoop大數據平台，完成平台搭建與運維、大數據採集與存儲、大數據處理、數據分析及數據可視化等完整的大數據套用案例。
基本介紹
- 書名：Hadoop大數據平台構建與套用
- 作者：陳永 、米洪
- 出版社： 高等教育出版社
- ISBN：9787040491005
內容簡介,圖書目錄,
內容簡介
《Hadoop大數據平台構建與套用》為“十三五”職業教育國家規劃教材，同時為雲計算技術與套用專業校企“雙元”合作開發的教材。
《Hadoop大數據平台構建與套用》以“高職院校學情分析”系統為項目原型，以任務驅動為主線，基於Hadoop大數據平台，講解大數據平台的搭建與運維、大數據的採集與存儲、大數據的處理、數據的分析、數據的可視化等完整的大數據套用案例，全面詳細地講述Hadoop、MapReduce、HDFS、Hive和Sqoop等技術的相關知識，並詳細討論了Mahout大數據分析中的常用算法——K-means聚類算法、Canopy聚類算法、歐氏距離算法、餘弦距離算法、皮爾遜相關係數算法、TF-IDF加權算法等的使用及相關學情分析系統中算法的實現等。
《Hadoop大數據平台構建與套用》具有較強的實用性和可操作性，語言精練，通俗易懂，操作步驟描述詳盡，並配有大量操作圖例。
《Hadoop大數據平台構建與套用》配有微課視頻、課程標準、授課用PPT、單元設計、案例原始碼、習題庫等豐富的數位化學習資源。
與《Hadoop大數據平台構建與套用》配套的數字課程“Hadoop大數據平台構建與套用”已在“智慧職教”網站（www.icve.com.cn）上線，學習者可以登錄網站進行線上學習及資源下載，授課教師可以調用本課程構建符合自身教學特色的SPOC課程，詳見“智慧職教”服務指南。教師也可發郵件至編輯信箱獲取相關資源。
《Hadoop大數據平台構建與套用》可作為高職高專院校大數據套用專業、軟體技術專業、雲計算技術與套用專業的大數據分析與軟體開發等相關課程的教材，也可作為從事火數據分析、雲計算套用等系統開發與分析技術人員的參考用書。
圖書目錄
項目1 認識大數據，實現學情分析系統設計與環境搭建
學習目標
學習情境
任務1．1 設計學情分析系統
任務描述
任務目標
知識準備
任務實施
項目實訓
任務1．2 構建學情分析系統開發環境
任務描述
任務目標
知識準備
任務實施
項目實訓
項目小結
項目2 Hadoop大數據平台的構建
學習目標
學習情境
任務2．1 搭建AmbariHadoop系統
任務描述
任務目標
知識準備
任務實施
項目實訓
任務2．2 使用ApacheAmbari管理Hadoop集群
任務描述
任務目標
知識準備
任務實施
項目實訓
項目小結
項目3 就業崗位數據的採集和存儲
學習目標
學習情境
任務3．1 使用網路爬蟲採集崗位
招聘數據
任務描述
任務目標
知識準備
任務實施
項目實訓
任務3．2 將採集的數據上傳到HDFS
任務描述
任務目標
知識準備
任務實施
項目實訓
任務3．3 使用Sqoop轉換MySQL中的學生成績數據到Hive中
任務描述
任務目標
知識準備
任務實施
項目實訓
項目小結
項目4 崗位數據的處理
學習目標
學習情境
任務4．1 使用HadoopMR對數據進行清洗
任務描述
任務目標
知識準備
任務實施
項目實訓
任務4．2 使用命令行對Hive進行
數據查詢和過濾
任務描述
任務目標
知識準備
任務實施
項目實訓
任務4．3 使用JavaAPI對Hive
進行連線與操作
任務描述
任務目標
知識準備
任務實施
項目實訓
項目小結
……
項目5 崗位和技能數據的分析
項目6 數據的可視化
參考文獻
