高維數據統計方法、理論與套用

《高維數據統計方法、理論與套用》是2018年9月國防工業出版社出版的圖書，作者是（瑞士）彼得·布爾曼、（瑞士）薩拉范德·吉爾。

基本介紹

• 中文名：高維數據統計方法、理論與套用 
• 作者：（瑞士）彼得·布爾曼,（瑞士）薩拉范德·吉爾 
• 譯者：李正欣等
• 出版時間：2018年9月 
• 出版社： 國防工業出版社  
• 頁數：469 頁
• ISBN： 9787118115406  
• 定價：138 元
• 開本：16 開
• 裝幀：精裝

內容簡介

全書共分14章：第1章對本書的主要內容進行概述；第2章介紹線性模型中的Lasso；第3章介紹廣義線性模型中的Lasso；第4章介紹Group Lasso；第5章介紹加性模型和單變數平滑函式；第6章闡述Lasso理論；第7章介紹使用Lasso做變數選擇；第8章闡述懲罰過程理論；第9章介紹非凸損失函式與正則化；第10章介紹穩定解；第11章介紹線性模型及拓展的p-值；第12章介紹貪婪算法及Boosting算法；第13章介紹圖形化建模；第14章介紹機率以及矩不等式。

圖書目錄

第1章緒論001

1.1框架結構001

1.2潛在價值和挑戰001

1.3關於本書002

1.3.1本書的組織結構003

1.4實例003

1.4.1基因學中的生物標記發現及預測004

第2章線性模型中的Lasso006

2.1本章的組織結構006

2.2引言及預備知識007

2.2.1Lasso評估量007

2.3正交觀測量009

2.4預測010

2.4.1Lasso預測的實際套用010

2.4.2漸進理論的一些結果011

2.5變數篩選和ββ0q-範數012

2.5.1變數篩選中的調諧參數選擇014

2.5.2針對DNA結合點的Motif回歸015

2.6變數選擇016

2.6.1鄰域穩定性和irrepresentable條件018

2.7總結關鍵性質和相關假設019

2.8自適應Lasso：兩階段流程020

2.8.1說明：仿真數據和motif回歸021

2.8.2正交觀測量023

2.8.3自適應Lasso：弱條件下的變數選擇024

2.8.4計算024

2.8.5多步驟自適應Lasso025

2.8.6非凸的懲罰函式027

2.9閾值Lasso028

2.10無約束Lasso028

2.11Lasso自由度029

2.12路徑跟蹤算法030

2.12.1協同最佳化和中靶算法032

2.13彈性網路：擴展034

習題035

第3章廣義線性模型和Lasso037

3.1本章組織結構037

3.2引言及預備知識037

3.2.1Lasso估計量：懲罰負的對數似然038

3.3廣義線性模型的重要實例039

3.3.1二元回響變數和logistic回歸039

3.3.2泊松回歸041

3.3.3多類別回響變數和多項分布041

習題043

第4章Group Lasso045

4.1本章組織結構045

4.2引言及預備知識045

4.2.1Group Lasso懲罰046

4.3因子變數作為協變數047

4.3.1DNA序列結合點的預測048

4.4Group Lasso在廣義線性模型中的性質051

4.5廣義Group Lasso懲罰052

4.5.1分組預測懲罰及參數化的不變性053

4.6自適應Group Lasso054

4.7Group Lasso算法055

4.7.1塊坐標下降056

4.7.2塊坐標梯度下降059

習題062

第5章加性模型和單變數平滑函式064

5.1本章的組織結構064

5.2引言和預備知識064

5.2.1加性模型的最大似然懲罰065

5.3稀疏-平滑懲罰066

5.3.1正交基和對角平滑矩陣067

5.3.2自然三次樣條函式和Sobolev空間067

5.3.3計算068

5.4Group Lasso的稀疏-平滑懲罰071

5.4.1算法071

5.4.2其他方法073

5.5數值示例074

5.5.1仿真示例074

5.5.2Motif回歸075

5.6預測和變數選擇076

5.7廣義加性模型077

5.8具有變化係數的線性模型078

5.8.1關於預測的性質079

5.8.2多變數線性模型079

5.9多任務學習079

習題080

第6章Lasso理論082

6.1本章結構082

6.2最小均方與Lasso083

6.2.1介紹083

6.2.2假設真實的參數是線性關係的結果085

6.2.3對真實參數的線性估計090

6.2.4進一步精練：處理較小的係數093

6.3一般凸損失函式的設定095

6.4邊值條件099

6.5無懲罰的廣義線性模型101

6.6Lasso廣義損失的一致性105

6.7一個oracle不等式106

6.8當1≤q≤2時的q-誤差112

6.8.1在廣義損失上的套用和真實函式的稀疏逼近114

6.9加權Lasso115

6.10自適應加權Lasso117

6.11凹懲罰項120

6.11.1基於稀疏oracle不等式的具有r-懲罰的最小平方121

6.11.2這一節（6.11節）的證明122

6.12相容性和（隨機）矩陣125

6.13關於相容性條件130

6.13.1相容性常量的直接限132

6.13.2使用‖βS‖21≤s‖βS‖22的限135

6.13.3包含S的集合140

6.13.4有限等距141

6.13.5稀疏特徵值142

6.13.6更多一致性描述143

6.13.7各種特徵值常量綜述145

習題148

第7章使用Lasso做變數選擇153

7.1介紹153

7.2已有文獻的一些結果154

7.3本章的組織結構155

7.4beta最小條件156

7.5無噪聲情況下的irrepresentable條件158

7.5.1irrepresentable條件的定義159

7.5.2KKT條件159

7.5.3變數選擇的充分必要條件160

7.5.4變數選擇的充分必要條件162

7.5.5Irrepresentable條件和約束回歸164

7.5.6選擇真實有效集的超集166

7.5.7加權irrepresentable條件167

7.5.8加權irrepresentable條件和約束回歸167

7.5.9具有“理想”權重的加權Lasso169

7.6自適應和閾值Lasso的定義170

7.6.1自適應Lasso的定義170

7.6.2閾值Lasso的定義171

7.6.3階的符號171

7.7回顧第6章的結果172

7.8自適應Lasso和閾值Lasso：啟用稀疏特徵值175

7.8.1關於可調參數的條件175

7.8.2結果176

7.8.3與Lasso的比較177

7.8.4自適應Lasso和閾值Lasso的比較179

7.8.5漏報變數的數量的界179

7.8.6加入beta最小條件180

7.9不使用稀疏特徵值的自適應Lasso182

7.9.1調節參數的條件182

7.9.2結果183

7.10一些總結評論184

7.11對於不含稀疏特徵值的無噪聲情況的技術補充185

7.11.1無噪聲（加權）Lasso的預測誤差185

7.11.2無噪聲（加權）Lasso的誤報變數的數量186

7.11.3對無噪聲初始估計閾值187

7.11.4無噪聲自適應Lasso189

7.12在噪聲場景和沒有稀疏特徵值條件下的技術補充194

7.13凹懲罰情況下的選擇198

習題201

第8章懲罰過程理論208

8.1介紹208

8.2本章組織和符號209

8.3具有組結構的回歸211

8.3.1損失函式與懲罰項211

8.3.2經驗過程212

8.3.3Group Lasso的相容條件213

8.3.4一個Group Lasso稀疏度oracle不等式214

8.3.5擴展215

8.4高維加性模型216

8.4.1損失函式與懲罰216

8.4.2經驗過程217

8.4.3平滑Lasso的相容性條件221

8.4.4平滑Group Lasso的稀疏oracle不等式222

8.4.5關於懲罰選擇225

8.5具有時變係數線性模型230

8.5.1損失函式與懲罰230

8.5.2經驗過程232

8.5.3時變係數模型的相容性條件232

8.5.4時變係數模型的稀疏oracle不等式233

8.6多元線性模型和多任務學習234

8.6.1損失函式與懲罰235

8.6.2經驗過程235

8.6.3多任務相容性條件236

8.6.4多任務稀疏oracle不等式237

8.7平滑Group Lasso的逼近條件238

8.7.1Sobolev平滑239

8.7.2對角化平滑240

習題240

第9章非凸損失函式與正則化244

9.1本章組織結構244

9.2有限混合回歸模型244

9.2.1高斯回歸模型的有限混合245

9.2.2懲罰最大似然估計246

9.2.3懲罰最大似然估計的性質249

9.2.4調整參數的選擇250

9.2.5自適應懲罰250

9.2.6採用枯草芽孢桿菌的核黃素生產251

9.2.7仿真示例252

9.2.8數值最佳化254

9.2.9GEM最佳化算法254

9.2.10命題9.2的證明257

9.3線性混合效應模型259

9.3.1模型和1-懲罰估計260

9.3.2線性混合效應模型中的Lasso261

9.3.3隨機效應係數估計261

9.3.4正則化參數的選擇262

9.3.5線性混合效應模型中Lasso的性質262

9.3.6自適應1-懲罰最大似然估計262

9.3.7計算算法263

9.3.8數值結果266

9.41-懲罰非凸負對數似然理論268

9.4.1設定與符號268

9.4.2Lasso非凸損失函式的oracle不等式271

9.4.3有限混合回歸模型理論273

9.4.4線性混合效應模型理論275

9.59.4節的相關證明277

9.5.1引理9.1的證明277

9.5.2引理9.2的證明278

9.5.3定理9.1的證明280

9.5.4引理9.3的證明281

習題282

第10章穩定解283

10.1本章的組織結構283

10.2引言，穩定性和子樣本283

10.2.1線性模型的穩定路徑285

10.3穩定性選擇288

10.3.1正則化的選擇和誤差控制289

10.4數值結果292

10.5擴展294

10.5.1隨機化Lasso294

10.6理論角度上的改進295

10.7證明296

10.7.1樣本分割296

10.7.2定理10.1的證明297

習題299

第11章線性模型及拓展的p-值300

11.1組織結構300

11.2樣本分割及高維變數選擇300

11.3多樣本分割和分族誤差控制303

11.3.1多p-值聚合304

11.3.2分族誤差控制305

11.4多樣本分割和錯誤發現率306

11.4.1錯誤發現率控制307

11.5數值結果308

11.5.1誤差率控制和仿真308

11.5.2計算生物學中的Motif回歸誤差率控制311

11.5.3錯誤發現率控制與仿真311

11.6一致性變數選擇312

11.6.1單樣本分割法313

11.6.2多樣本分割法315

11.7擴展315

11.7.1其他模型315

11.7.2期望誤報選擇控制316

11.8證明316

11.8.1命題11.1的證明316

11.8.2定理11.1的證明318

11.8.3定理11.2的證明319

11.8.4命題11.2的證明320

11.8.5引理11.3的證明321

習題322

第12章貪婪算法及Booting算法323

12.1本章的組織結構323

12.2引言和預備知識323

12.2.1組合方法：多預測及聚合324

12.2.2AdaBoost算法324

12.3梯度Boosting：泛函梯度下降算法325

12.3.1通用FGD算法326

12.4一些損失方程和Boosting算法327

12.4.1回歸327

12.4.2二元分類328

12.4.3泊松回歸330

12.4.4兩種重要的Boosting算法331

12.4.5其他數據結構和模型332

12.5基本流程選擇332

12.5.1廣義線性模型逐元線性最小方差333

12.5.2附加模型的逐元光滑樣條函式334

12.5.3樹337

12.5.4小方差原則337

12.5.5Boosting初始化338

12.6L2 Boosting338

12.6.1非參數曲線估計：關於Boosting的一些基本見解339

12.6.2高維線性模型的L2 Boosting342

12.7前向選擇和正交匹配追蹤345

12.7.1線性模型和平方誤差損失346

12.8證明349

12.8.1定理12.1的證明349

12.8.2定理12.2的證明351

12.8.3定理12.3的證明356

習題359

第13章圖形化建模360

13.1章節內容組織360

13.2預備知識360

13.3無向圖361

13.3.1無向圖馬科夫性質361

13.4高斯圖形化建模362

13.4.1協方差矩陣和邊集懲罰估計362

13.4.2Nodewise回歸366

13.4.3基於無向圖的協方差估計367

13.5二元隨機變數Ising模型368

13.6信實假設369

13.6.1信實失效370

13.6.2信實圖及高斯圖形化建模371

13.7PC算法：疊代估計法372

13.7.1總體PC算法372

13.7.2樣本PC算法374

13.8高維數據一致性376

13.8.1說明377

13.8.2PC算法理論分析377

13.9再論線性模型383

13.9.1部分信實384

13.9.2PC簡化算法385

13.9.3數值結果387

13.9.4高維問題的漸進結果389

13.9.5相關篩選（真獨立篩選）392

13.9.6證明393

習題397

第14章機率以及矩不等式398

14.1本章組織結構398

14.2單個隨機變數結果398

14.2.1次指數隨機變數398

14.2.2亞高斯隨機變數399

14.2.3局部凹函式的Jensen不等式401

14.3Bernstein不等式402

14.4Hoeffding不等式403

14.5p的最大值平均值404

14.5.1Bernstein不等式的使用404

14.5.2Hoeffding不等式的使用406

14.5.3含有亞高斯隨機變數的情形407

14.6集中不等式408

14.6.1Bousquet不等式409

14.6.2Massart不等式410

14.6.3亞高斯隨機變數410

14.7對稱性與收縮性411

14.8Lipschitz損失函式的集中不等式413

14.9隨機設計的方差損失收縮性416

14.9.1噪聲和線性函式的內積417

14.9.2平方線性函式418

14.9.3方差損失420

14.10僅存在低階矩的情形420

14.10.1Nemirovski矩不等式420

14.10.2二次型一致不等式421

14.11熵表示的亞高斯情形集中性422

14.12熵結果427

14.12.1有限維空間和一般凸體的熵428

14.12.2限定係數集428

14.12.3小樣本凸殼：對數形式熵429

14.12.4小樣本凸殼：非對數形式熵430

14.12.5更多改進432

14.12.6舉例：含第（m-1）階有界變差衍生項的方程432

14.12.7本節證明(14.12節)433

習題441

參考文獻445