《基於深度學習的時序3D深度圖動作語義理解》是依託蘇州大學，由季怡擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於深度學習的時序3D深度圖動作語義理解
- 項目類別：青年科學基金項目
- 項目負責人：季怡
- 依託單位：蘇州大學
項目摘要,結題摘要,
項目摘要
人類視覺系統基於眼睛獲得的色彩，形狀以及深度等信息,通過人腦的分析來獲得對物體及動作的抽象語義。而通過機器學習來模擬這一過程對於智慧型監控，人機互動，視頻檢索等方面有重要的作用和意義。為此，本項目提出利用深度圖和傳統視頻數據相結合，並使用深度學習來模擬人腦的多層神經元傳遞過程來實現對於人體動作不斷變化過程中的動態語義理解。 研究內容及創新點體現在：（1）用深度信念網實現對人體姿態從底層特徵到抽象認知的多層無監督學習過程 （2）將傳統彩色視頻數據和立體深度數據結合來構成多源競爭網路來模擬大腦皮層的視覺感知 （3）通過對輸入流在時間序列上的多層自學網路來模擬神經系統對於人體行為獲得，分段，抽象，識別和理解的逐步認知過程。 這一基於感知，識別，記憶過程的系統不但可以提供機器視覺上高效的學習機制和識別能力，還可以進一步擴展及結合聽覺，觸覺等等多方面信道。
結題摘要
人類視覺系統基於眼睛獲得的色彩，形狀以及深度等信息,通過人腦的分析來獲得對物體及動作的抽象語義。而通過機器學習來模擬這一過程對於智慧型監控，人機互動，視頻檢索等方面有重要的作用和意義。為此，本項目提出利用深度圖和傳統視頻數據相結合，並使用時空特徵抽取，視頻流主題時序變化，以及多層信念網來模擬人腦的多層神經元傳遞過程來實現對於人體動作不斷變化過程中的動態語義理解。 本課題結合人體動作的特徵和動態流程，針對現有方法改進視覺特徵的提取，學習模型的最佳化以及融合等實現對於動作的認知，其研究內容及創新點體現在：（1）研究時序描述子作為視覺單詞模擬人體視覺系統對於時空深度的感知，挖掘傳統2D平面信息所無法提供的線索，並將之作為行為識別的高層語義的底層描述之一 （2）多層次深度學習所得的局部和全局視覺描述提高感知系統中對於動作變化的空間估計準確度，模擬大腦多層次分析方式來獲得人體姿態感知系統。 （3）套用深度網路來實現對於時間軸數據的分析，結合其時序變化信息用在行為建模中，從而實現動作識別中獲得，分段，抽象，識別和理解的逐步認知過程。這一基於感知，識別，記憶過程的系統不但可以提供機器視覺上高效的學習機制和識別能力，還可以進一步擴展及結合聽覺，觸覺等等多方面信道。
