性能之巔

《性能之巔》是2015年8月電子工業出版社出版的圖書，作者是【美】格雷格（Gregg,B.）。

基本介紹

• 書名：性能之巔：洞悉系統、企業與雲計算
• 作者：【美】格雷格（Gregg,B.）
• 譯者：徐章寧，吳寒思，陳磊
• 出版社：電子工業出版社
• 出版時間：2015年8月
• 頁數：628 頁
• 定價：128 元
• 開本：16 開
• 裝幀：平裝
• ISBN：9787121267925

內容簡介

《性能之巔：洞悉系統、企業與雲計算》基於Linux 和Solaris系統闡述了適用於所有系統的性能理論和方法，Brendan Gregg 將業界普遍承認的性能方法、工具和指標收集於本書之中。閱讀本書，你能洞悉系統運作的方式，學習到分析和提高系統與應用程式性能的方法，這些性能方法同樣適用於大型企業與雲計算這類最為複雜的環境的性能分析與調優。

內容提要

《性能之巔：洞悉系統、企業與雲計算》基於Linux 和Solaris系統闡述了適用於所有系統的性能理論和方法，Brendan Gregg 將業界普遍承認的性能方法、工具和指標收集於本書之中。閱讀本書，你能洞悉系統運作的方式，學習到分析和提高系統與套用程

書的插圖

目錄

第1 章 緒論 ...................................................................................... 1

1.1 系統性能 ............................................................................................ 1

1.2 人員 ................................................................................................2

1.3 事情 ................................................................................................3

1.4 視角 ................................................................................................4

1.5 性能是充滿挑戰的 ...................................................................................... 4

1.5.1 性能是主觀的 ........................................................................................................... 4

1.5.2 系統是複雜的 ........................................................................................................... 5

1.5.3 可能有多個問題並存 ............................................................................................... 6

1.6 延時 .................................................................................... 6

1.7 動態跟蹤 ......................................................................................................... 7

1.8 雲計算 ........................................................................................................... 8

1.9 案例研究 ....................................................................................................... 8

1.9.1 緩慢的磁碟 ............................................................................................................... 9

1.9.2 軟體變更 ................................................................................................................. 10

1.9.3 更多閱讀 ................................................................................................................. 12

第2 章 方法 .............................................................................................................. 13

2.1 術語 .................................................................................................................. 14

2.2 模型 .......................................................................................................... 14

2.2.1 受測系統 ................................................................................................................. 15

2.2.2 排隊系統 ................................................................................................................. 15

2.3 概念 ........................................................................................................... 16

2.3.1 延時 ......................................................................................................................... 16

2.3.2 時間量級 ................................................................................................................. 17

2.3.3 權衡三角 ................................................................................................................. 18

2.3.4 調整的影響 ............................................................................................................. 19

2.3.5 合適的層級 ............................................................................................................. 19

2.3.6 性能建議的時間點 ................................................................................................. 20

2.3.7 負載vs.架構 ............................................................................................................ 20

2.3.8 擴展性 ..................................................................................................................... 21

2.3.9 已知的未知 ............................................................................................................. 22

2.3.10 指標 ....................................................................................................................... 23

2.3.11 使用率 ................................................................................................................... 24

2.3.12 飽和度 ................................................................................................................... 25

2.3.13 剖析 ....................................................................................................................... 26

2.3.14 快取 ....................................................................................................................... 26

2.4 視角 ............................................................................................................. 28

2.4.1 資源分析 ................................................................................................................. 28

2.4.2 工作負載分析 ......................................................................................................... 29

2.5 方法 .......................................................................................................... 30

2.5.1 街燈反方法 ............................................................................................................. 31

2.5.2 隨機變動反方法 ..................................................................................................... 32

2.5.3 責怪他人反方法 ..................................................................................................... 32

2.5.4 ad hoc 核對清單法 .................................................................................................. 33

2.5.5 問題陳述法 ............................................................................................................. 33

2.5.6 科學法 ..................................................................................................................... 34

2.5.7 診斷循環 ................................................................................................................. 35

2.5.8 工具法 ..................................................................................................................... 35

2.5.9 USE 方法 .................................................................................................................. 36

2.5.10 工作負載特徵歸納 ............................................................................................... 42

2.5.11 向下挖掘分析 ....................................................................................................... 43

2.5.12 延時分析 ............................................................................................................... 44

2.5.13 R 方法 ................................................................................................................... 45

2.5.14 事件跟蹤 ............................................................................................................... 45

2.5.15 基礎線統計 ........................................................................................................... 47

2.5.16 靜態性能調整 ....................................................................................................... 47

2.5.17 快取調優 ............................................................................................................... 47

2.5.18 微基準測試 ........................................................................................................... 48

2.6 建模 ...................................................................................................... 49

2.6.1 企業vs.雲 ................................................................................................................ 49

2.6.2 可視化識別 ............................................................................................................. 49

2.6.3 Amdahl 擴展定律 ................................................................................................... 51

2.6.4 通用擴展定律 ......................................................................................................... 52

2.6.5 排隊理論 ................................................................................................................. 52

2.7 容量規劃 ...................................................................................................... 56

2.7.1 資源極限 ................................................................................................................. 56

2.7.2 因素分析 ................................................................................................................. 58

2.7.3 擴展方案 ................................................................................................................. 58

2.8 統計 .................................................................................................. 59

2.8.1 量化性能 ................................................................................................................. 59

2.8.2 平均值 ..................................................................................................................... 60

2.8.3 標準方差、百分位數、中位數 ............................................................................. 61

2.8.4 變異係數 ................................................................................................................. 62

2.8.5 多重模態分布 ......................................................................................................... 62

2.8.6 異常值 ..................................................................................................................... 63

2.9 監視 ................................................................................................... 63

2.9.1 基於時間的規律 ..................................................................................................... 63

2.9.2 監測產品 ................................................................................................................. 65

2.9.3 啟動以來的信息統計 ............................................................................................. 65

2.10 可視化 .................................................................................................. 65

2.10.1 線圖 ....................................................................................................................... 65

2.10.2 散點圖 ................................................................................................................... 66

2.10.3 熱圖 ....................................................................................................................... 67

2.10.4 表面圖 ................................................................................................................... 68

2.10.5 可視化工具 ........................................................................................................... 69

2.11 練習 .................................................................................................. 70

2.12 參考 ............................................................................................................ 70

第3 章 作業系統 .......................................................................................... 72

3.1 術語 ............................................................................................................ 72

3.2 背景 ................................................................................................................... 73

3.2.1 核心 ......................................................................................................................... 73

3.2.2 棧 ............................................................................................................................. 76

3.2.2 中斷和中斷執行緒 ..................................................................................................... 77

3.2.4 中斷優先權 ............................................................................................................. 78

3.2.5 進程 ......................................................................................................................... 78

3.2.6 系統調用 ................................................................................................................. 80

3.2.7 虛擬記憶體 ................................................................................................................. 82

3.2.8 記憶體管理 ................................................................................................................. 82

3.2.9 調度器 ..................................................................................................................... 83

3.2.10 檔案系統 ............................................................................................................... 84

3.2.11 快取 ....................................................................................................................... 86

3.2.12 網路 ....................................................................................................................... 87

3.2.13 設備驅動 ............................................................................................................... 87

3.2.14 多處理器 ............................................................................................................... 87

3.2.15 搶占 ....................................................................................................................... 88

3.2.16 資源管理 ............................................................................................................... 88

3.2.17 觀測性 ................................................................................................................... 89

3.3 核心 ................................................................................................................ 89

3.3.1 UNIX ................................................................................................... 90

3.3.2 基於Solaris ............................................................................................................. 90

3.3.3 基於Linux ............................................................................................................... 93

3.3.4 差異 ......................................................................................................................... 95

3.4 練習 ............................................................................................................. 96

3.5 參考 ....................................................................................................... 96

第4 章 觀測工具 ....................................................................................... 98

4.1 工具類型 .................................................................................................. 98

4.1.1 計數器 ..................................................................................................................... 99

4.1.2 跟蹤 ....................................................................................................................... 100

4.1.3 剖析 ....................................................................................................................... 101

4.1.4 監視（sar） ........................................................................................................... 102

4.2 觀測來源 ....................................................................................................... 103

4.2.1 /proc ....................................................................................................................... 103

4.2.2 /sys ......................................................................................................................... 108

4.2.3 kstat ........................................................................................................................ 109

4.2.4 延時核算 ............................................................................................................... 111

4.2.5 微狀態核算 ........................................................................................................... 112

4.2.6 其他的觀測源 ....................................................................................................... 112

4.3 DTrace .................................................................................................... 114

4.3.1 靜態和動態跟蹤 ................................................................................................... 115

4.3.2 探針 ....................................................................................................................... 116

4.3.3 provider .................................................................................................................. 116

4.3.4 參數 ....................................................................................................................... 117

4.3.5 D 語言 ................................................................................................................... 117

4.3.6 內置變數 ............................................................................................................... 118

4.3.7 action ..................................................................................................................... 118

4.3.8 變數類型 ............................................................................................................... 119

4.3.9 單行命令 ............................................................................................................... 121

4.3.10 腳本 ..................................................................................................................... 121

4.3.11 開銷 ..................................................................................................................... 122

4.3.12 文檔和資源 ......................................................................................................... 123

4.4 SystemTap ................................................................................................... 124

4.4.1 探針 ....................................................................................................................... 124

4.4.2 tapset ...................................................................................................................... 125

4.4.3 action 和內置變數................................................................................................. 125

4.4.4 示例 ....................................................................................................................... 125

4.4.5 開銷 ....................................................................................................................... 127

4.4.6 文檔和資源 ........................................................................................................... 128

4.5 perf ......................................................................................................................... 128

4.6 觀測工具的觀測 .............................................................................................. 129

4.7 練習 .............................................................................................................. 130

4.8 參考 .............................................................................................................. 130

第5 章 應用程式 ............................................................................................. 131

5.1 應用程式基礎 ................................................................................................ 131

5.1.1 目標 ....................................................................................................................... 132

5.1.2 常見情況的最佳化 ................................................................................................... 133

5.1.3 觀測性 ................................................................................................................... 134

5.1.4 大O 標記法 .......................................................................................................... 134

5.2 應用程式性能技術 ........................................................................................... 135

5.2.1 選擇I/O 尺寸 ........................................................................................................ 135

5.2.2 快取 ....................................................................................................................... 136

5.2.3 緩衝區 ................................................................................................................... 136

5.2.4 輪詢 ....................................................................................................................... 136

5.2.5 並發和並行 ........................................................................................................... 137

5.2.6 非阻塞I/O ............................................................................................................. 139

5.2.7 處理器綁定 ........................................................................................................... 139

5.3 程式語言 ......................................................................................................... 140

5.3.1 編譯語言 ............................................................................................................... 140

5.3.2 解釋語言 ............................................................................................................... 141

5.3.3 虛擬機 ................................................................................................................... 142

5.3.4 垃圾回收 ............................................................................................................... 142

5.4 方法和分析 ................................................................................................ 143

5.4.1 執行緒狀態分析 ....................................................................................................... 143

5.4.2 CPU 剖析 .............................................................................................................. 146

5.4.3 系統調用分析 ....................................................................................................... 148

5.4.4 I/O 剖析 ................................................................................................................. 154

5.4.5 工作負載特徵歸納 ............................................................................................... 155

5.4.6 USE 方法 ............................................................................................................... 155

5.4.7 向下挖掘法 ........................................................................................................... 156

5.4.8 鎖分析 ...................................................................................................... 156

5.4.9 靜態性能調優 ................................................................................. 159

5.5 練習 ......................................................................................................... 160

5.6 參考 ...................................................................................................... 161

第6 章 CPU ............................................................................................. 162

6.1 術語 ..................................................................................................... 163

6.2 模型 ........................................................................................................ 163

6.2.1 CPU 架構 .............................................................................................................. 163

6.2.2 CPU 記憶體快取 ...................................................................................................... 164

6.2.3 CPU 運行佇列 ...................................................................................................... 165

6.3 概念 ............................................................................................................ 165

6.3.1 時鐘頻率 ............................................................................................................... 165

6.3.2 指令 ....................................................................................................................... 166

6.3.3 指令流水線 ........................................................................................................... 166

6.3.4 指令寬度 ............................................................................................................... 167

6.3.5 CPI，IPC ............................................................................................................... 167

6.3.6 使用率 ................................................................................................................... 167

6.3.7 用戶時間/核心時間 .............................................................................................. 168

6.3.8 飽和度 ................................................................................................................... 168

6.3.9 搶占 ....................................................................................................................... 168

6.3.10 優先權反轉 ......................................................................................................... 169

6.3.11 多進程，多執行緒 ................................................................................................. 169

6.3.12 字長 ..................................................................................................................... 170

6.3.13 編譯器最佳化 ......................................................................................................... 171

6.4 架構 ......................................................................................................... 171

6.4.1 硬體 ....................................................................................................................... 171

6.4.2 軟體 ....................................................................................................................... 179

6.5 方法 .................................................................................................................. 184

6.5.1 工具法 ................................................................................................................... 184

6.5.2 USE 方法 ............................................................................................................... 185

6.5.3 負載特徵歸納 ....................................................................................................... 186

6.5.4 剖析 ....................................................................................................................... 187

6.5.5 周期分析 ............................................................................................................... 188

6.5.6 性能監控 ............................................................................................................... 189

6.5.7 靜態性能調優 ....................................................................................................... 189

6.5.8 優先權調優 ........................................................................................................... 189

6.5.9 資源控制 ............................................................................................................... 190

6.5.10 CPU 綁定 ............................................................................................................ 190

6.5.11 微型基準測試 ..................................................................................................... 191

6.5.12 擴展 ..................................................................................................................... 191

6.6 分析 ........................................................................................................... 192

6.6.1 uptime .................................................................................................................... 192

6.6.2 vmstat .................................................................................................................... 194

6.6.3 mpstat .................................................................................................................... 195

6.6.4 sar .......................................................................................................................... 197

6.6.5 ps............................................................................................................................ 198

6.6.6 top .......................................................................................................................... 199

6.6.7 prstat ...................................................................................................................... 200

6.6.8 pidstat .................................................................................................................... 201

6.6.9 time 和ptime ......................................................................................................... 202

6.6.10 DTrace ................................................................................................................. 203

6.5.11 SystemTap ........................................................................................................... 209

6.6.12 perf ....................................................................................................................... 209

6.6.13 cpustat .................................................................................................................. 215

6.6.14 其他工具 ............................................................................................................. 216

6.6.15 可視化 ................................................................................................................. 216

6.7 實驗 ...................................................................................................... 219

6.7.1 Ad Hoc ................................................................................................................... 219

6.7.2 SysBench ............................................................................................................... 220

6.8 調優 ........................................................................................................... 220

6.8.1 編譯器選項 ........................................................................................................... 221

6.8.2 調度優先權和調度類 ........................................................................................... 221

6.8.3 調度器選項 ........................................................................................................... 221

6.8.4 進程綁定 ............................................................................................................... 223

6.8.5 獨占CPU 組 ......................................................................................................... 224

6.8.6 資源控制 ............................................................................................................... 224

6.8.7 處理器選項（BIOS 調優） ................................................................................. 224

6.9 練習 ............................................................................................... 225

6.10 參考資料 ................................................................................................... 226

第7 章 記憶體 ........................................................................................................... 228

7.1 術語 ................................................................................................................... 229

7.2 概念 ...................................................................................................... 2297.2.1 虛擬記憶體 ............................................................................................................... 230

7.2.2 換頁 ....................................................................................................................... 230

7.2.3 按需換頁 ............................................................................................................... 231

7.2.4 過度提交 ............................................................................................................... 233

7.2.5 交換 ....................................................................................................................... 233

7.2.6 檔案系統快取占用 ............................................................................................... 233

7.2.7 使用率和飽和度 ................................................................................................... 234

7.2.8 分配器 ................................................................................................................... 234

7.2.9 字長 ....................................................................................................................... 234

7.3 架構 ......................................................................................................... 2347.3.1 硬體 ....................................................................................................................... 235

7.3.2 軟體 ....................................................................................................................... 239

7.3.3 進程地址空間 ....................................................................................................... 244

7.4 方法 ........................................................................................................ 248

7.4.1 工具法 ................................................................................................................... 249

7.4.2 USE 方法 ............................................................................................................... 249

7.4.3 使用特徵歸納 ....................................................................................................... 250

7.4.4 周期分析 ............................................................................................................... 251

7.4.5 性能監測 ............................................................................................................... 251

7.4.6 泄漏檢測 ............................................................................................................... 252

7.4.7 靜態性能調優 ....................................................................................................... 252

7.4.8 資源控制 ............................................................................................................... 253

7.4.9 微基準測試 ........................................................................................................... 253

7.5 分析 ................................................................................................... 2537.5.1 vmstat .................................................................................................................... 254

7.5.2 sar .......................................................................................................................... 256

7.5.3 slabtop .................................................................................................................... 259

7.5.4 ::kmstat .................................................................................................................. 260

7.5.5 ps............................................................................................................................ 261

7.5.6 top .......................................................................................................................... 262

7.5.7 prstat ...................................................................................................................... 263

7.5.8 pmap ...................................................................................................................... 264

7.5.9 DTrace ................................................................................................................... 2657.5.10 SystemTap ........................................................................................................... 269

7.5.11 其他工具 ............................................................................................................. 269

7.6 調優 .................................................................................. 270

7.6.1 可調參數 ................................................................................................................. 271

7.6.2 多個頁面大小 ....................................................................................................... 273

7.6.3 分配器 ................................................................................................................... 274

7.6.4 資源控制 ............................................................................................................... 274

7.7 練習 .......................................................................................................... 274

7.8 參考資料 ............................................................................................................ 276