《自然語言處理原理與技術實現》詳細介紹自然語言處理的各個領域，既有理論，也有實現過程。
基本介紹
- 中文名：自然語言處理原理與技術實現
- 作者：羅剛,張子憲
- 出版社：電子工業出版社
- 出版時間：2016年05月
- 頁數：443 頁
- 定價：79.00
- 開本：16 開
- 裝幀：平裝
- ISBN：9787121286209
內容簡介,章節目錄,
內容簡介
本書詳細介紹自然語言處理各主要領域的原理以Java實現，包括中文分詞、詞性標註、依存句法分析等。其中詳細介紹了中文分詞和詞性標註的過程及相關算法，如隱馬爾可夫模型等。在自然語言處理的套用領域主要介紹了信息抽取、自動文摘、文本分類等領域的基本理論和實現過程，此外還有問答系統、語音識別等目前套用非常廣泛的領域。在問答系統的介紹中，本書特地介紹了聊天機器人的實現過程，從句子理解、句法分析、同義詞提取等方面揭示聊天機器人的實現原理。
章節目錄
第1章 套用自然語言處理技術 1
1.1 付出與回報 2
1.1.1 如何開始 2
1.1.2 招聘人員 2
1.1.3 學習 3
1.2 開發環境 3
1.3 技術基礎 4
1.3.1 Java 4
1.3.2 規則方法 5
1.3.3 統計方法 5
1.3.4 計算框架 5
1.3.5 文本挖掘 7
1.3.6 語義庫 7
1.4 本章小結 9
1.5 專業術語 9
第2章 中文分詞原理與實現 11
2.1 接口 12
2.1.1 切分方案 13
2.1.2 詞特徵 13
2.2 查找詞典算法 13
2.2.1 標準Trie樹 14
2.2.2 三叉Trie樹 18
2.2.3 詞典格式 26
2.3 最長匹配中文分詞 27
2.3.1 正向最大長度匹配法 28
2.3.2 逆向最大長度匹配法 33
2.3.3 處理未登錄串 39
2.3.4 開發分詞 43
2.4 機率語言模型的分詞方法 45
2.4.1 一元模型 47
2.4.2 整合基於規則的方法 54
2.4.3 表示切分詞圖 55
2.4.4 形成切分詞圖 62
2.4.5 數據基礎 64
2.4.6 改進一元模型 75
2.4.7 二元詞典 79
2.4.8 完全二叉樹組 85
2.4.9 三元詞典 89
2.4.10 N元模型 90
2.4.11 N元分詞 91
2.4.12 生成語言模型 99
2.4.13 評估語言模型 100
2.4.14 機率分詞的流程與結構 101
2.4.15 可變長N元分詞 102
2.4.16 條件隨機場 103
2.5 新詞發現 103
2.5.1 成詞規則 109
2.6 詞性標註 109
2.6.1 數據基礎 114
2.6.2 隱馬爾可夫模型 115
2.6.3 存儲數據 124
2.6.4 統計數據 131
2.6.5 整合切分與詞性標註 133
2.6.6 大詞表 138
2.6.7 詞性序列 138
2.6.8 基於轉換的錯誤學習方法 138
2.6.9 條件隨機場 141
2.7 詞類模型 142
2.8 未登錄詞識別 144
2.8.1 未登錄人名 144
2.8.2 提取候選人名 145
2.8.3 最長人名切分 153
2.8.4 一元機率人名切分 153
2.8.5 二元機率人名切分 156
2.8.6 未登錄地名 159
2.8.7 未登錄企業名 160
2.9 平滑算法 160
2.10 機器學習的方法 164
2.10.1 最大熵 165
2.10.2 條件隨機場 170
2.11 有限狀態機 171
2.12 地名切分 178
2.12.1 識別未登錄地名 179
2.12.2 整體流程 185
2.13 企業名切分 187
2.13.1 識別未登錄詞 188
2.13.2 整體流程 190
2.14 結果評測 190
2.15 本章小結 191
2.16 專業術語 193
第3章 英文分析 194
3.1 分詞 194
3.1.1 句子切分 194
3.1.2 識別未登錄串 197
3.1.3 切分邊界 198
3.2 詞性標註 199
3.3 重點辭彙 202
3.4 句子時態 203
3.5 本章小結 204
第4章 依存文法分析 205
4.1 句法分析樹 205
4.2 依存文法 211
4.2.1 中文依存文法 211
4.2.2 英文依存文法 220
4.2.3 生成依存樹 232
4.2.4 遍歷 235
4.2.5 機器學習的方法 237
4.3 小結 237
4.4 專業術語 238
第5章 文檔排重 239
5.1 相似度計算 239
5.1.1 夾角餘弦 239
5.1.2 最長公共子串 242
5.1.3 同義詞替換 246
5.1.4 地名相似度 248
5.1.5 企業名相似度 251
5.2 文檔排重 251
5.2.1 關鍵字排重 251
5.2.2 SimHash 254
5.2.3 分散式文檔排重 268
5.2.4 使用文本排重 269
5.3 在搜尋引擎中使用文本排重 269
5.4 本章小結 270
5.5 專業術語 270
第6章 信息提取 271
6.1 指代消解 271
6.2 中文關鍵字提取 273
6.2.1 關鍵字提取的基本方法 273
6.2.2 HITS算法套用於關鍵字提取 275
6.2.3 從網頁中提取關鍵字 277
6.3 信息提取 278
6.3.1 提取聯繫方式 280
6.3.2 從網際網路提取信息 281
6.3.3 提取地名 282
6.4 拼寫糾錯 283
6.4.1 模糊匹配問題 285
6.4.2 正確詞表 296
6.4.3 英文拼寫檢查 298
6.4.4 中文拼寫檢查 300
6.5 輸入提示 302
6.6 本章小結 303
6.7 專業術語 303
第7章 自動摘要 304
7.1 自動摘要技術 305
7.1.1 英文文本摘要 307
7.1.2 中文文本摘要 309
7.1.3 基於篇章結構的自動摘要 314
7.1.4 句子壓縮 314
7.2 指代消解 314
7.3 Lucene中的動態摘要 314
7.4 本章小結 317
7.5 專業術語 318
第8章 文本分類 319
8.1 地名分類 321
8.2 錯誤類型分類 321
8.3 特徵提取 322
8.4 關鍵字加權法 326
8.5 樸素貝葉斯 330
8.6 貝葉斯文本分類 336
8.7 支持向量機 336
8.7.1 多級分類 345
8.7.2 規則方法 347
8.7.3 網頁分類 350
8.8 最大熵 351
8.9 信息審查 352
8.10 文本聚類 353
8.10.1 K均值聚類方法 353
8.10.2 K均值實現 355
8.10.3 深入理解DBScan算法 359
8.10.4 使用DBScan算法聚類實例 361
8.11 本章小結 363
8.12 專業術語 363
第9章 文本傾向性分析 364
9.1 確定詞語的褒貶傾向 367
9.2 實現情感識別 368
9.3 本章小結 372
9.4 專業術語 373
第10章 問答系統 374
10.1 問答系統的結構 375
10.1.1 提取問答對 376
10.1.2 等價問題 376
10.2 問句分析 377
10.2.1 問題類型 377
10.2.2 句型 381
10.2.3 業務類型 381
10.2.4 依存樹 381
10.2.5 指代消解 383
10.2.6 二元關係 383
10.2.7 邏輯表示 386
10.2.8 問句模板 386
10.2.9 結構化問句模板 389
10.2.10 檢索方式 390
10.2.11 問題重寫 395
10.2.12 提取事實 395
10.2.13 驗證答案 398
10.2.14 無答案的處理 398
10.3 知識庫 398
10.4 聊天機器人 399
10.4.1 互動式問答 401
10.4.2 垂直領域問答系統 402
10.4.3 語料庫 405
10.4.4 客戶端 405
10.5 自然語言生成 405
10.6 依存句法 406
10.7 提取同義詞 410
10.7.1 流程 410
10.8 本章小結 411
10.9 術語表 412
第11章 語音識別 413
11.1 總體結構 414
11.1.1 識別中文 416
11.1.2 自動問答 417
11.2 語音庫 418
11.3 語音合成 419
11.3.1 歸一化 420
11.4 語音 420
11.4.1 標註 424
11.4.2 相似度 424
11.5 Sphinx 424
11.5.1 中文訓練集 426
11.6 Julius 429
11.7 本章小結 429
11.8 術語表 429
參考資源 430
後記 431
