《三維場景空間的似物性與多模態特徵融合研究》是2020年9月1日清華大學出版社出版的圖書，作者是陳曉智。
基本介紹
- 書名：三維場景空間的似物性與多模態特徵融合研究
- 作者：陳曉智
- 出版社：清華大學出版社
- ISBN：9787302555087
內容簡介,圖書目錄,
內容簡介
論文核心貢獻是把三維場景認知（Thinking in 3D）引入圖像識別，提出了一種數據與認知雙向驅動的三維語義理解的理論框架，在似物性預測和多模態特徵融合等核心問題上取得了關鍵性突破，並套用於自動駕駛場景的三維感知，具有重要理論意義和套用價值。本書適合計算機領域的科研人員和工程師閱讀。
圖書目錄
第 1章緒論 .......................................................................................1
1.1研究背景與意義 ......................................................................1
1.1.1似物性預測與物體檢測 .................................................3
1.1.2三維場景建模與三維物體表示 .......................................4
1.1.3特徵學習與多模態特徵融合 ...........................................5
1.2研究目標與主要貢獻 ...............................................................6
1.3本書的組織結構 ......................................................................9
第 2章基於語義特徵的圖像似物性預測與三維物體檢測 ...................... 11
2.1引言 ..................................................................................... 11
2.1.1背景知識與研究動機 ................................................... 11
2.1.2理論方法與創新點 ...................................................... 12
2.2相關工作 .............................................................................. 14
2.2.1基於底層特徵的似物性預測 ......................................... 14
2.2.2基於圖像的物體檢測與姿態估計 .................................. 15
2.2.3圖像語義特徵提取 ...................................................... 16
2.3基於場景先驗的三維區域選取 ................................................ 16
2.3.1三維場景物體空間估計 ............................................... 17
2.3.2三維物體區域選取策略 ............................................... 18
2.4基於語義特徵的似物性預測 ................................................... 18
2.4.1基於語義特徵的能量最小化模型 .................................. 18
2.4.2三維似物性區域的推理 ............................................... 21
2.4.3能量模型的參數學習 ................................................... 22
2.5基於多任務學習的三維物體檢測網路 ...................................... 22
三維場景空間的似物性與多模態特徵融合研究
2.5.1區域上下文信息融合 ................................................... 23
2.5.2多任務預測網路 ......................................................... 24
2.6實驗分析 .............................................................................. 25
2.6.1數據集和評價指標 ...................................................... 25
2.6.2似物性區域的召回率 ................................................... 26
2.6.3物體檢測與姿態估計 ................................................... 28
2.6.4語義特徵分析 ............................................................. 31
2.7小結與討論 ........................................................................... 34
第 3章基於場景空間認知的三維點雲似物性預測 ................................ 37
3.1引言 ..................................................................................... 37
3.1.1背景知識與研究動機 ................................................... 37
3.1.2理論方法與創新點 ...................................................... 38
3.2相關工作 .............................................................................. 40
3.2.1三維場景點雲表示 ...................................................... 40
3.2.2基於點雲的三維物體檢測 ............................................ 40
3.3基於場景空間認知的點雲三維物體表示 ................................... 41
3.3.1三維點雲的體素格線表示 ............................................ 41
3.3.2三維點雲的似物性準則 ............................................... 42
3.4三維點雲的似物性預測與物體檢測 ......................................... 42
3.4.1基於三維點雲特徵的似物性建模 .................................. 43
3.4.2三維似物性區域的推理 ............................................... 44
3.4.3類別無關的似物性預測 ............................................... 45
3.4.4融合深度信息的雙路檢測網路 ..................................... 46
3.5實驗分析 .............................................................................. 47
3.5.1似物性區域的召回率 ................................................... 47
3.5.2二維物體檢測與姿態估計 ............................................ 51
3.5.3三維物體檢測與定位 ................................................... 53
3.5.4立體視覺與雷射雷達的對比 ......................................... 54
3.5.5模型分解實驗 ............................................................. 56
3.6小結與討論 ........................................................................... 58
目錄 17
第 4章基於數據驅動的多視角三維特徵學習 ....................................... 59
4.1引言 ..................................................................................... 59
4.1.1背景知識與研究動機 ................................................... 59
4.1.2理論方法與創新點 ...................................................... 60
4.2相關工作 .............................................................................. 62
4.2.1數據驅動的似物性預測 ............................................... 62
4.2.2多模態特徵融合 ......................................................... 63
4.3三維點雲的多視角表示方法 ................................................... 63
4.3.1點雲的俯視圖表示 ...................................................... 64
4.3.2點雲的前視圖表示 ...................................................... 64
4.4三維似物性預測網路 ............................................................. 65
4.4.1基於全卷積網路的似物性區域建模 ............................... 65
4.4.2似物性區域生成與似物性預測 ..................................... 66
4.5多視角區域特徵融合網路 ....................................................... 67
4.5.1多視角感興趣區域池化 ............................................... 67
4.5.2深度融合網路 ............................................................. 67
4.5.3三維區域回歸與姿態估計 ............................................ 69
4.5.4隨機訓練與輔助監督 ................................................... 69
4.6實驗與分析 ........................................................................... 70
4.6.1實現細節 ................................................................... 70
4.6.2三維物體檢測性能 ...................................................... 72
4.6.3二維物體檢測性能 ...................................................... 75
4.6.4特徵融合方式對比 ...................................................... 76
4.7小結與討論 ........................................................................... 77
第 5章套用：高效多任務場景語義理解 .............................................. 79
5.1引言 ..................................................................................... 79
5.1.1背景知識與研究動機 ................................................... 79
5.1.2方法概要與創新點 ...................................................... 80
5.2相關工作 .............................................................................. 81
5.2.1神經網路加速 ............................................................. 81
三維場景空間的似物性與多模態特徵融合研究
5.2.2場景語義分割 ............................................................. 82
5.3高效基礎網路 FastNet ............................................................ 82
5.3.1 FastNet網路結構 ....................................................... 83
5.3.2 ImageNet分類性能 .................................................... 86
5.4多任務統一網路模型 ............................................................. 88
5.5自動駕駛感知套用 ................................................................. 90
5.5.1道路障礙物檢測 ......................................................... 90
5.5.2場景語義分割 ............................................................. 91
5.5.3實時多任務語義預測 ................................................... 92
5.6小結與討論 ........................................................................... 93
第 6章總結與展望 ........................................................................... 97
6.1總結 ..................................................................................... 97
6.2展望 ..................................................................................... 99
參考文獻 ........................................................................................... 101
在學期間發表的學術論文與研究成果 ................................................... 115
致謝 .................................................................................................. 117
