東京大學資料科學家養成全書

《東京大學資料科學家養成全書》是2020年6月13日臉譜出版的圖書，作者是[日] 冢本邦尊、[日] 山田典一、[日] 大澤文孝、[日] 中山浩太郎（監修）、[日] 松尾豐（協力）。

基本介紹

• 中文名：東京大學資料科學家養成全書
• 作者：[日] 冢本邦尊、[日] 山田典一、[日] 大澤文孝、[日] 中山浩太郎（監修）、[日] 松尾豐（協力）
• 出版社：臉譜
• ISBN：9789862358320

內容簡介

「大數據會消失，數據科學不會」

「所有的科學都是數據科學」

―――信息科學時代最需要閱讀的一本書―――

東京大學資料科學人氣講座全收錄────

★傳說中的東大松尾研究室超熱門課程，第一手內容完整公開！

★用Python學習基本的程式撰寫，邊做邊學，鍛鍊最強的資料科學技能！

★收錄大量練習題和綜合題演練，打好理論基本功，具體套用於實務現場！

★體驗數據科學的魅力，培養整合跨領域課題的創造力！

所謂科學，是從世界上混沌的現象里找出本質，逐步解決各式各樣的問題。在日漸龐大的各種數據當中，運用科學的力量解決各種問題，便可說是資料科學。

資料科學不僅只是數學（統計、機率、機器學習等），更是借用IT等各種力量，不斷挑戰世界上的難題與背後課題的綜合領域。

運用這樣數據科學和人工智慧的力量，減少浪費與沒有效率的事物，進一步創造出新價值，可以讓這個世界更加美好。

█ 動手操作實際的數據，大量練習題馬上學、馬上練、馬上懂！

本書廣泛說明資料科學不可不知的基礎事項，搜羅豐富的重要關鍵知識和好用的參考數據，成為學習數據科學的地圖與羅盤。

書中主要使用Python來學習基本的程式撰寫技巧，以及數據的取得、讀取、操作等，含括各式各樣Python函式庫的使用方式、機率統計的手法、機器學習（監督式學習、非監督式學習、性能調校），還有讓Python高速化的方法和Spark的簡單操作等。

書中說明如何實際將現場的數據進行加工與分析，如何具體運用於市場行銷或金融等，使用何種手法來撰寫程式比較好，以及組合程式的技巧和流程。除了理論解說，也介紹實務性的使用方法，可立即上手套用。

收錄各種類型的實作練習題和綜合問題，以實際的問題為前提來思考，一邊動手實踐。

█ 本書的出版緣由

本書以2017年至2018年於東京大學舉辦的「全球消費智慧捐贈講座」講義和線上課程教材為基礎，用簡潔易懂的形式匯整編纂而成。

這個廣受歡迎的熱門講座首度出版，原因有三：

首先，希望讓更多讀者了解數據科學，培養數據分析技能。資訊時代各行各業都需要數據分析的人才，了解應該具備哪些知識、有何種處理手法、能達成什麼樣的目標，善用數據科學將是致勝的關鍵。

其次，雖然線上資源豐富又方便取得，但並非隨時都能在線上學習。藉由書籍的形式，可因地制宜反覆演練複習。

第三，以學習效果來說，書本的編排有助於深入思考，成效更佳。

█ 本書的目標讀者

▌有程式設計經驗、完成理科大一大二程度數學，以及對於學習數據科學有高度意願的一般人士

▌藉由本書，可掌握資料科學入門程度至中級程度的內容，已達中級程度以上者也能參酌本書來複習數據分析相關知識

▌對於目前備受矚目的深度學習，可透過本書掌握學習深度學習之前必需的基礎技能

█ 在本書里學到的東西

▌Python/Numpy/Scipy/Pandas/Matplotlib的基礎

▌機率/統計/推論/回歸的基礎

▌使用Numpy/Scipy進行科學計算

▌使用Pandas進行數據加工處理（遺漏數據/異常值的處理、時間序列數據的處理）

▌使用Matplotlib進行數據可視化

▌機器學習（多元線性回歸、邏輯回歸、判定樹、k-NN、聚類分析、主成分分析、購物籃分析、模型調校）

圖書目錄

序言

【Chapter1 本書的概要與Python的基礎】

▌1-1 資料科學家的工作

1-1-1 資料科學家的工作

1-1-2 數據分析的流程

1-1-3 本書的架構

1-1-4 對閱讀本書有幫助的文獻

1-1-5 動手來學習吧

▌1-2 Python的基礎

1-2-1Jupyter Notebook的使用方法

1-2-2Python的基礎

1-2-3 串列型別與字典型別

1-2-4 條件分歧與循環

1-2-5 函式

1-2-6 類別與實例

【Chapter2 科學計算、數據加工、圖形描繪函式庫的使用方法基礎】

▌2-1 用於資料分析的函式庫

2-1-1 函式庫的匯入

2-1-2Magic Command

2-1-3 匯入用於本章的函式庫

▌2-2 Numpy的基礎

2-2-1Numpy的匯入

2-2-2 數組的操作

2-2-3 隨機數

2-2-4 矩陣

▌2-3 Scipy的基礎

2-3-1Scipy的函式庫匯入

2-3-2 矩陣運算

2-3-3 牛頓法

▌2-4 Pandas的基礎

2-4-1Pandas的函式庫匯入

2-4-2Series的使用方法

2-4-3DataFrame的使用方法

2-4-4 行列的操作

2-4-5 資料的抽出

2-4-6 數據的刪除與結合

2-4-7 統計

2-4-8 值的排序

2-4-9nan (null)的判斷

▌2-5 Matplotlib的基礎

2-5-1 使用Matplotlib的準備工作

2-5-2 散布圖

2-5-3 圖形的分割

2-5-4 函式圖形的描繪

2-5-5 直方圖

【Chapter3 敘述統計與簡單回歸分析】

▌3-1 統計分析的種類

3-1-1 敘述統計與推論統計

3-1-2 匯入用於本章的函式庫

▌3-2 數據的讀取與對話

3-2-1 讀取網路等處公開的對象數據

3-2-2 數據的讀取與確認

3-2-3 確認數據的性質

3-2-4 量的數據與質的數據

▌3-3 敘述統計

3-3-1 直方圖

3-3-2 平均、中位數、眾數

3-3-3 變異數、標準偏差

3-3-4 摘要統計量與百分位數

3-3-5 箱型圖

3-3-6 變異係數

3-3-7 散布圖與相關係數

3-3-8 描繪所有變數的直方圖與散布圖

▌3-4 簡單回歸分析

3-4-1 簡單線性回歸分析

3-4-2 決定係數

【Chapter4 機率與統計的基礎】

▌4-1 學習機率與統計的準備工作

4-1-1 本章的背景知識

4-1-2 匯入用於本章的函式庫

▌4-2 機率

4-2-1 數學機率

4-2-2 統計機率

4-2-3 條件機率與乘法定理

4-2-4 獨立與相關

4-2-5 貝氏定理

▌4-3 機率變數與機率分布

4-3-1 機率變數、機率函式、分布函式、期望值

4-3-2 各種分布函式

4-3-3 核密度函式

▌4-4 套用：多元機率分布

4-4-1 聯合機率函式與邊際機率函式

4-4-2 條件機率函式與條件期望值

4-4-3 獨立的定義與連續分布

▌4-5 推論統計學

4-5-1 大數法則

4-5-2 中央極限定理

4-5-3 樣本分布

▌4-6 統計推論

4-6-1 估計量與點估計

4-6-2 無偏性與一致性

4-6-3 區間估計

4-6-4 計算估計量

▌4-7 統計檢驗

4-7-1 檢驗

4-7-2 第一型錯誤與第二型錯誤

4-7-3 檢驗大數據的注意事項

【Chapter5 使用Python進行科學計算（Numpy與Scipy）】

▌5-1 概要與事前準備

5-1-1 本章的概要

5-1-2 匯入用於本章的函式庫

▌5-2 使用Numpy計算之套用

5-2-1 索引的參照

5-2-2Numpy的運算處理

5-2-3 數組操作與廣播

▌5-3 使用Scipy計算之套用

5-3-1 內插

5-3-2 線性代數：矩陣分解

5-3-3 積分與微分方程式

5-3-4 最佳化

【Chapter6 使用Pandas進行資料加工處理】

▌6-1 概要與事前準備

6-1-1 匯入用於本章的函式庫

▌6-2 Pandas的基本數據操作

6-2-1 階層型索引

6-2-2 數據的結合

6-2-3 數據的操作與變換

6-2-4 數據的聚合與群組運算

▌6-3 遺漏數據與異常值處理的基礎

6-3-1 遺漏數據的處理方法

6-3-2 異常數據的處理方法

▌6-4 時間序列數據處理的基礎

6-4-1 時間序列數據的處理與變換

6-4-2 移動平均

【Chapter7 使用Matplotlib進行數據可視化】

▌7-1 數據的可視化

7-1-1 關於數據的可視化

7-1-2 匯入用於本章的函式庫

▌7-2 數據可視化的基礎

7-2-1 直方圖

7-2-2 餅圖

▌7-3 套用：金融數據的可視化

7-3-1 將金融數據可視化

7-3-2 顯示K線的函式庫

▌7-4 套用：思考分析結果的表現方式

7-4-1 關於資料製作的重點

【Chapter8 機器學習的基礎（監督式學習）】

▌8-1 機器學習概觀

8-1-1 何謂機器學習？

8-1-2 監督式學習

8-1-3 非監督式學習

8-1-4 強化學習

8-1-5 匯入用於本章的函式庫

▌8-2 多元線性回歸

8-2-1 讀取汽車售價數據

8-2-2 資料的整理

8-2-3 模型建構與評估

8-2-4 模型建構與模型評估流程總結

▌8-3 邏輯回歸

8-3-1 邏輯回歸的範例

8-3-2 資料的整理

8-3-3 模型建構與評估

8-3-4 藉由縮放來提高預測準確度

▌8-4 具正則化項的回歸：Lasso回歸、Ridge回歸

8-4-1Lasso回歸、Ridge回歸的特徵

8-4-2 多元線性回歸與Ridge回歸的比較

▌8-5 判定樹

8-5-1 蕈類數據集

8-5-2 資料的整理

8-5-3 熵：不純度的指標

8-5-4 信息獲利：測量分歧條件的有用性

8-5-5 判定樹的模型建構

▌8-6 k-NN（K最近鄰算法）

8-6-1k-NN的模型建構

▌8-7 支援向量機

8-7-1 支持向量機的模型建構

【Chapter9 機器學習的基礎（非監督式學習）】

▌9-1 非監督式學習

9-1-1 非監督式模型的種類

9-1-2 匯入用於本章的函式庫

▌9-2 聚類分析

9-2-1k-means法

9-2-2 使用k-means法進行聚類分析

9-2-3 將金融市場行銷數據進行聚類分析

9-2-4 使用手肘法判斷群數

9-2-5 聚類分析結果的解釋

9-2-6k-means法以外的手法

▌9-3 主成分分析

9-3-1 嘗試主成分分析

9-3-2 主成分分析的實例

▌9-4 購物籃分析與關聯規則

9-4-1 何謂購物籃分析？

9-4-2 讀取用來進行購物籃分析的樣本數據

9-4-3 關聯規則

【Chapter10 模型的驗證方法與性能調校方法】

▌10-1 模型的評估與提高精確度的方法

10-1-1 機器學習的問題與手法

10-1-2 匯入用於本章的函式庫

▌10-2 模型的評估與性能調校

10-2-1Holdout法與交叉驗證法

10-2-2 性能調校：超參數的調校

10-2-3 性能調校：特徵的處理

10-2-4 模型的種類

▌10-3 模型的評估指針

10-3-1 分類模型的評估：混淆矩陣與關聯指標

10-3-2 分類模型的評估：ROC曲線與AUC

10-3-3 回歸模型的評估指針

▌10-4 集成學習

10-4-1Bagging

10-4-2Boosting

10-4-3 隨機森林、梯度Boosting

10-4-4 進一步了解

【Chapter11 綜合練習問題】

▌11-1 綜合練習問題

11-1-1 綜合練習問題(1)

11-1-2 綜合練習問題(2)

11-1-3 綜合練習問題(3)

11-1-4 綜合練習問題(4)

11-1-5 綜合練習問題(5)

11-1-6 綜合練習問題(6)

11-1-7 參考：今後進行數據分析

【Appendix】

▌A-1 關於本書的環境建置

A-1-1 關於Anaconda

A-1-2 下載Anaconda的套件

A-1-3 安裝Anaconda

A-1-4 安裝pandas-datareader與Plotly

▌A-2 練習問題解答

A-2-1Chapter1練習問題

A-2-2Chapter2練習問題

A-2-3Chapter3練習問題

A-2-4Chapter4練習問題

A-2-5Chapter5練習問題

A-2-6Chapter6練習問題

A-2-7Chapter7練習問題

A-2-8Chapter8練習問題

A-2-9Chapter9練習問題

A-2-10Chapter10練習問題

A-2-11Chapter11綜合練習問題

▌A-3 參考文獻、參考URL

A-3-1 參考文獻

A-3-2 參考URL

結語