《大數據計算技術》，電子科技大學提供的慕課課程，授課教師是林迪 、 湯羽。
基本介紹
- 中文名：大數據計算技術
- 類別：慕課
- 授課教師：林迪 、 湯羽
- 提供院校：電子科技大學
課程概述,課程大綱,
課程概述
大數據套用已成為行業熱點和產業發展新增長點，數據科學與計算技術也是計算機的前沿領域，其中，大數據計算分析提供了核心的技術支撐。本課程從大數據計算系統的三個層次對數據模型、處理算法、計算模型與架構、開發技術標準等內容進行了綜合性的介紹，重點闡述了各類數據分析算法和MapReduce，圖並行計算，互動式處理，流計算，記憶體計算等計算架構。
課程大綱
第一章 大數據計算技術概述
1.1 課程簡介
1.2大數據計算概論（上）
1.3 大數據計算概論（下）
第二章 大數據計算系統
2.1 大數據計算系統
2.2 數據存儲系統
2.3 數據處理系統
2.4 數據處理系統（續）
2.5 數據套用系統
第三章 數據採集方法
3.1 系統日誌數據採集
3.2 網路數據採集
第四章 數據清洗與規約方法
4.1 髒數據類型及處理方法
4.2 數據噪聲處理方法
4.3 數據集成方法
4.4 數據規約方法
4.5 數據建模方法
第五章 數據分析算法
5.1 C4.5算法
5.2 K-均值算法
5.3 SVM算法
5.4 Apriori算法
5.5 kNN算法
5.6 PageRank算法
第六章 文本讀寫技術
6.1 讀取文本檔案
6.2 讀取CSV檔案
6.3 寫入文本檔案
6.4 其他操作
第七章 數據處理技術
7.1 數據合併技術
7.2 數據轉換技術
7.3 數據轉換技術(續)
第八章 數據分析技術
8.1 Numpy工具包
8.2 Numpy工具包：基本運算
8.3 Pandas工具包
8.4 Python Scikit-learn
8.5 Python NLTK 自然語言處理入門
第九章 數據可視化技術
9.1 數據可視化技術
第十章 大數據計算模式
10.1 大數據計算標準
10.2 大數據計算模式
第十一章 Hadoop計算架構
11.1 Hadoop平台
11.2 HDFS分散式檔案系統
11.3 HDFS分散式檔案系統(續)
11.4 分散式存儲模型
11.5 分散式存儲架構
11.6 二次索引表
第十二章 分散式並行計算模型
12.1 並行計算模型
12.2 MapReduce計算架構
12.3 MapReduce計算流程
12.4 MapReduce算例描述
第十三章 圖並行計算架構
13.1圖計算問題
13.2 BSP圖計算模型
13.3 圖並行計算架構
13.4 圖並行計算架構（續）
第十四章 流計算
14.1 流計算模型
14.2 流計算模型（續）
14.3 ACK實現機制
第十五章 記憶體計算模型
15.1 分散式快取系統
15.2 記憶體技術
15.3 MemCloud計算架構
15.4 Spark 記憶體計算
15.5 Spark 記憶體計算（續）
