大數據技術與套用(東北師範大學提供的慕課)

課程性質

課程定位

大數據技術與套用課程是信息管理等專業的必修課，且具有理論性和套用性特徵。該課程使學習者通過對基於Spark的關聯分析、HBase數據表基本操作、HDFS數據及檔案的增刪改查操作、Hive與MySQL配置、大數據可視化設計方法、Hadoop套用系統體系結構、MapReduce的工作流程等內容的學習。培養學生信息的感知能力，能夠通過科學技術感知信息世界；激發學生學習與製造能力，在學習數據過程中進行數據再造。

適應專業

大數據技術與套用課程適用信息管理等專業學習。

開課信息

開課次數	開課時間	授課老師	學時安排	參與人數
第1次開課	2019年12月20日-2020年03月01日	李雁翎、張利彪、翁彧、陳銀、侯鯤	3小時每周	9951人
第2次開課	2020年03月30日-2020年07月30日	李雁翎、張利彪、翁彧、陳銀、侯鯤		3535人
第3次開課	2020年08月31日-2021年02月15日	李雁翎、張利彪、翁彧、陳銀、侯鯤、張邦佐、王紅岩		2521人
第4次開課	2021年03月09日-2021年06月28日	李雁翎、張利彪、侯鯤、翁彧、羅娜、張邦佐	3-4小時每周	待定

（註：表格內容參考資料）

課程簡介

大數據技術與套用課程介紹了大數據的關鍵技術；Hive數據倉庫基本操作；Hbase數據倉庫載入；大數據可視化常用工具；HDFS 基本組成；基於Spark的關聯分析；HBase數據表基本操作；HDFS數據及檔案的增刪改查操作；大數據可視化設計方法；Hadoop套用系統體系結構；常用的圖例；MapReduce的工作流程等內容。

課程大綱

第一章大數據概述

課時

1.1基本概念

1.2 數據處理

1.3 大數據的特徵

1.4 大數據的關鍵技術

1.5 大數據的套用

第二章 Hadoop基礎

課時

2.1 Hadoop概述

2.2 Hadoop的生態系統

2.3 Hadoop系統架構

2.4 Hadoop套用系統體系結構

第三章 HDFS分散式檔案系統

課時

3.1 HDFS概述

3.2 HDFS 基本組成

3.3 HDFS數據流

3.4 HDFS套用實例

實驗1-1：HDFS數據及檔案的增刪改查操作

實驗1-2：HDFS讀寫檔案

第四章 HBase分散式資料庫

課時

4.1 HBase概述

4.2 HBase數據模型

4.3 HBase的套用實例

實驗2-1：Hbase數據倉庫載入

實驗2-2：HBase數據表基本操作

第五章 Hive數據倉庫工具

課時

5.1 Hive概述

5.2 Hive與MySQL配置

5.3 Hive數據倉庫基本操作

5.4 Hive套用實例

實驗3-1：創建數據倉庫

實驗3-2：數據倉庫的數據查詢與統計

第六章 MapReduce編程框架

課時

6.1 MapReduce概述

6.2 MapReduce的工作流程

6.3大數據分析的數據準備

6.4 常用的大數據分析方法

6.5 常用算法及實例

實驗4-1：基於MapReduce基本統

實驗4-2：基於MapReduce綜合統計

第七章 Spark計算引擎

課時

7.1 Spark概述

7.2 RDD

7.3 Spark編程及實例

實驗5-1：基於Spark的關聯分析

實驗5-2：基於spark的偏好分析

第八章大數據可視化

課時

8.1 大數據可視化概述

8.2 常用的圖例

8.3 大數據可視化設計方法

8.4 大數據可視化常用工具

實驗6-1：數據可視化實驗：氣泡圖

實驗6-2：數據可視化實驗：曲線柱狀複合圖

（註：課程大綱排版從左到右列）

課前預備

預備知識

學習大數據技術與套用課程需具備一定的計算機基本知識，修學過“大學計算機”課程、資料庫基礎、程式設計基礎等知識。

學習資料

書名	作者	出版社
《大資料庫技術及套用》	李雁翎	高等教育出版社
《大資料庫技術及套用實驗教程》	翁彧	高等教育出版社

（註：表格內容參考資料）

授課目標

1、培養學生信息的感知能力，能夠通過科學技術感知信息世界；

2、培養學生表示與推理能力，能夠對客觀世界現象建立表征/模型，能夠進行事件推理；

3、培養學生自然與互動能力，能夠理解智慧型系統的人機互動方式；

4、培養學生學習與製造能力，能夠從數據中學習，以及進行數據再造。

教師簡介

李雁翎，教授，博士生導師。

張利彪，從事計算智慧型、模式識別、圖像處理、決策理論與方法等多方面內容的研究。