《PyTorch語音識別實戰》是一本清華大學出版社出版的圖書，作者是王曉華。
基本介紹
- 中文名：PyTorch語音識別實戰
- 作者：王曉華
- 出版時間：2024年3月1日
- 出版社：清華大學出版社
- ISBN：9787302655657
- 定價：69 元
內容簡介,作者簡介,圖書目錄,
內容簡介
《PyTorch語音識別實戰》使用PyTorch 2.0作為語音識別的基本框架，循序漸進地引導讀者從搭建環境開始，逐步深入到語音識別基本理論、算法以及套用實踐，是較好的一本語音識別技術圖書。本書配套示例源碼、數據集、PPT課件等資源。
《PyTorch語音識別實戰》分為13章，內容包括語音識別之路、PyTorch 2.0深度學習環境搭建、音頻信號處理的理論與Python實戰、音頻處理常用工具包Librosa詳解與實戰、基於DNN的語音情緒分類識別、一學就會的深度學習基礎算法、基於PyTorch卷積層的語音情緒分類識別、詞映射與循環神經網路、基於Whisper的語音轉換實戰、注意力機制與注意力模型詳解、鳥叫的多標籤分類實戰、多模態語音轉換模型基礎、GLM架構多模態語音文字轉換實戰。
《PyTorch語音識別實戰》內容詳盡、示例豐富，適合作為語音識別初學者、深度學習初學者、語音識別技術人員的必備參考書，同時也非常適合作為高等院校或高職高專深度學習、語音識別等課程的教材。
作者簡介
王曉華，高校計算機專業講師，研究方向為雲計算、大數據與人工智慧。其創作的部分圖書：《從零開始大模型開發與微調：基於PyTorch與ChatGLM》《PyTorch 2.0深度學習從零開始學》《Python機器學習與可視化分析實戰》《谷歌JAX深度學習從零開始學》《Spark 3.0大數據分析與挖掘：基於機器學習》《TensorFlow深度學習套用實踐》《TensorFlow語音識別實戰》《TensorFlow 2.0深度學習從零開始學》《深度學習的數學原理與實現》。
圖書目錄
目 錄
第1章 語音識別之路 1
1.1 何謂語音識別 1
1.2 語音識別為什麼那么難 2
1.3 語音識別之路—語音識別的發展歷程 3
1.3.1 高斯混合-隱馬爾科夫時代 4
1.3.2 深度神經網路-隱馬爾科夫時代 5
1.3.3 基於深度學習的端到端語音識別時代 6
1.3.4 多模態架構的語音識別與轉換 7
1.4 基於深度學習的語音識別的未來 8
1.5 本章小結 8
第2章 PyTorch 2.0深度學習環境搭建 9
2.1 環境搭建1：安裝Python 9
2.1.1 Miniconda的下載與安裝 9
2.1.2 PyCharm的下載與安裝 12
2.1.3 Python代碼小練習：計算softmax函式 15
2.2 環境搭建2：安裝PyTorch 2.0 16
2.2.1 Nvidia 10/20/30/40系列顯示卡選擇的GPU版本 16
2.2.2 PyTorch 2.0 GPU Nvidia運行庫的安裝 16
2.2.3 PyTorch 2.0小練習：Hello PyTorch 19
2.3 實戰：基於特徵詞的語音喚醒 20
2.3.1 數據的準備 20
2.3.2 數據的處理 21
2.3.3 模型的設計 24
2.3.4 模型的數據輸入方法 24
2.3.5 模型的訓練 25
2.3.6 模型的結果和展示 26
2.4 本章小結 27
第3章 音頻信號處理的理論與Python實戰 28
3.1 音頻信號的基本理論詳解 28
3.1.1 音頻信號的基本理論 28
3.1.2 音頻信號的時域與頻域 29
3.2 傅立葉變換詳解 30
3.2.1 傅立葉級數 31
3.2.2 連續到離散的計算 33
3.2.3 Python中的傅立葉變換實戰 34
3.3 快速傅立葉變換與短時傅立葉變換 38
3.3.1 快速傅立葉變換Python實戰 39
3.3.2 短時傅立葉變換Python實戰 42
3.4 梅爾頻率倒譜係數Python實戰 44
3.4.1 梅爾頻率倒譜係數的計算過程 44
3.4.2 梅爾頻率倒譜係數的Python實現 45
3.5 本章小結 52
第4章 音頻處理工具包Librosa詳解與實戰 53
4.1 音頻特徵提取Librosa包基礎使用 53
4.1.1 基於Librosa的音頻信號讀取 53
4.1.2 基於Librosa的音頻多種特徵提取 56
4.1.3 其他基於Librosa的音頻特徵提取工具 58
4.2 基於音頻特徵的聲音聚類實戰 59
4.2.1 數據集的準備 59
4.2.2 按標籤類別整合數據集 62
4.2.3 音頻特徵提取函式 63
4.2.4 音頻特徵提取之數據降維 64
4.2.5 音頻特徵提取實戰 65
4.3 本章小結 69
第5章 基於深度神經網路的語音情緒分類識別 70
5.1 深度神經網路與多層感知機詳解 70
5.1.1 深度神經網路與多層感知機 70
5.1.2 基於PyTorch 2.0的深度神經網路建模示例 71
5.1.3 交叉熵損失函式詳解 73
5.2 實戰：基於深度神經網路的語音情緒識別 74
5.2.1 情緒數據的獲取與標籤的說明 75
5.2.2 情緒數據集的讀取 76
5.2.3 基於深度神經網路示例的模型設計和訓練 78
5.3 本章小結 79
第6章 一學就會的深度學習基礎算法 80
6.1 反向傳播神經網路前身歷史 80
6.2 反向傳播神經網路基礎算法詳解 84
6.2.1 最小二乘法詳解 84
6.2.2 梯度下降算法（道士下山的故事） 86
6.2.3 最小二乘法的梯度下降算法及其Python實現 89
6.3 反饋神經網路反向傳播算法介紹 95
6.3.1 深度學習基礎 95
6.3.2 鏈式求導法則 96
6.3.3 反饋神經網路原理與公式推導 97
6.3.4 反饋神經網路原理的激活函式 103
6.4 本章小結 104
第7章 基於PyTorch卷積層的語音情緒分類識別 105
7.1 卷積運算的基本概念 105
7.1.1 基本卷積運算示例 106
7.1.2 PyTorch中的卷積函式實現詳解 107
7.1.3 池化運算 109
7.1.4 softmax激活函式 111
7.1.5 卷積神經網路的原理 112
7.2 基於卷積神經網路的語音情緒分類識別 114
7.2.1 串聯到並聯的改變—數據的準備 114
7.2.2 基於卷積的模型設計 116
7.2.3 模型訓練 117
7.3 PyTorch的深度可分離膨脹卷積詳解 118
7.3.1 深度可分離卷積的定義 119
7.3.2 深度的定義以及不同計算層待訓練參數的比較 121
7.3.3 膨脹卷積詳解 121
7.4 本章小結 122
第8章 詞映射與循環神經網路 123
8.1 有趣的詞映射 123
8.1.1 什麼是詞映射 124
8.1.2 PyTorch中的詞映射處理函式詳解 125
8.2 實戰：循環神經網路與文本內容情感分類 126
8.2.1 基於循環神經網路的中文情感分類準備工作 126
8.2.2 基於循環神經網路的中文情感分類 128
8.3 循環神經網路理論講解 131
8.3.1 什麼是GRU 131
8.3.2 單向不行，那就雙向 133
8.4 本章小結 134
第9章 基於Whisper的語音轉換實戰 135
9.1 實戰：Whisper語音轉換 135
9.1.1 Whisper使用環境變數配置與模型介紹 135
9.1.2 Whisper模型的使用 137
9.1.3 一學就會的語音轉換Web前端 138
9.2 Whisper模型詳解 141
9.2.1 Whisper模型總體介紹 141
9.2.2 更多基於Whisper的套用 143
9.3 本章小結 144
第10章 注意力機制 146
10.1 注意力機制與模型詳解 146
10.1.1 注意力機制詳解 147
10.1.2 自注意力機制 148
10.1.3 ticks和Layer Normalization 153
10.1.4 多頭自注意力 154
10.2 注意力機制的套用實踐：編碼器 157
10.2.1 編碼器的總體架構 157
10.2.2 回到輸入層：初始詞向量層和位置編碼器層 158
10.2.3 前饋層的實現 161
10.2.4 多層模組融合的TransformerBlock層 162
10.2.5 編碼器的實現 164
10.3 實戰編碼器：拼音漢字轉換模型 169
10.3.1 漢字拼音數據集處理 169
10.3.2 漢字拼音轉換模型的確定 171
10.3.3 模型訓練代碼的編寫 172
10.4 本章小結 174
第11章 鳥叫的多標籤分類實戰 175
11.1 基於語音識別的多標籤分類背景知識詳解 175
11.1.1 多標籤分類不等於多分類 176
11.1.2 多標籤損失函式Sigmoid + BCELoss 176
11.2 實戰：鳥叫的多標籤分類 178
11.2.1 鳥叫聲數據集的獲取 178
11.2.2 鳥叫聲數據處理與可視化 179
11.2.3 鳥叫聲數據的批量化數據集建立 182
11.2.4 鳥叫分辨深度學習模型的搭建 185
11.2.5 多標籤鳥叫分類模型的訓練與預測 188
11.3 為了更高的準確率：多標籤分類模型的補充內容 190
11.3.1 使用不同的損失函式提高準確率 190
11.3.2 使用多模型集成的方式完成鳥叫語音識別 192
11.4 本章小結 194
第12章 多模態語音轉換模型基礎 195
12.1 語音文字轉換的研究歷程與深度學習 195
12.1.1 語音文字轉換的傳統方法 195
12.1.2 語音文字轉換基於深度學習的方法 197
12.1.3 早期深度學習語音文字轉換模型介紹 198
12.2 基於GLM架構的多模態語音文本轉換模型 202
12.2.1 最強的人工智慧模型ChatGLM介紹 202
12.2.2 更加準確、高效和泛化性的多模態語音轉換架構—GLM與GPT2 203
12.3 從零開始的GPT2模型訓練與數據輸入輸出詳解 205
12.3.1 開啟低硬體資源GPT2模型的訓練 205
12.3.2 GPT2的輸入輸出結構—自回歸性（auto-regression） 206
12.3.3 GPT2模型的輸入格式的實現 208
12.3.4 經典GPT2模型的輸出格式詳解與代碼實現 210
12.4 一看就能學會的GPT2模型源碼詳解 212
12.4.1 GPT2模型中的主類 212
12.4.2 GPT2模型中的Block類 219
12.4.3 GPT2模型中的Attention類 224
12.4.4 GPT2模型中的MLP類 231
12.5 具有多樣性生成的GPT2生成函式 232
12.5.1 創造性函式的使用與代碼詳解 233
12.5.2 創造性參數temperature與採樣個數TopK簡介 234
12.6 本章小結 236
第13章 GLM架構多模態語音文字轉換實戰 237
13.1 GLM架構詳解 237
13.1.1 GLM模型架構重大突破：旋轉位置編碼 238
13.1.2 添加旋轉位置編碼的注意力機制 239
13.1.3 新型的激活函式GLU詳解 240
13.1.4 調整架構順序的GLMBlock 240
13.1.5 自定義完整的GLM模型（單文本生成版） 243
13.2 實戰：基於GLM的文本生成 247
13.2.1 數據集的準備 247
13.2.2 模型的訓練 250
13.2.3 模型的推斷 252
13.3 實戰：基於GLM的語音文本轉換 253
13.3.1 數據集的準備與特徵抽取 253
13.3.2 語音特徵融合的方法 255
13.3.3 基於多模態語音融合的多模態模型設計 256
13.3.4 模型的訓練 261
13.3.5 模型的推斷 262
13.3.6 多模態模型準確率提高的方法 263
13.4 本章小結 264
