《基於時序語義特徵自動匹配的人體行為預測》是依託東北大學，由王浩然擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於時序語義特徵自動匹配的人體行為預測
- 項目類別：青年科學基金項目
- 項目負責人：王浩然
- 依託單位：東北大學
中文摘要,結題摘要,
中文摘要
讓計算機理解人的運動行為是未來人工智慧技術的發展趨勢之一，具有廣泛的套用前景。傳統行為分析的研究對象是完整的人體行為過程，無法滿足智慧型視頻監控、人機互動系統等現實需求。為此，本課題關注該領域中一個新的科學問題——人體行為預測，旨在通過分析正在進行中的不完整行為過程來預測行為趨勢。主要研究內容包括：1、將多種前景檢測算法相融合，提出基於時空一致性的目標檢測方法，提取視頻中的人體運動區域；2、在人體目標檢測的基礎上，設計一種含有語義信息的行為單元，更加準確地描述人體行為特徵；3、提出行為視頻的自動分割算法，將人體行為過程轉換為行為單元構成的時間序列，利用行為單元在序列中的先後次序來體現時間順序信息；4、提出基於時間規整模型的序列匹配算法，根據匹配的相似性來預測不完整運動行為的類別。本課題立足於國際前沿，兼具理論創新性和實際套用性，將為人體行為預測及相關領域的研究提供關鍵技術和創新性理論。
結題摘要
傳統行為分析的研究對象是完整的人體行為過程，無法滿足智慧型視頻監控、人機互動系統等現實需求。本課題的研究內容主要圍繞人體行為預測，旨在通過分析正在進行中的不完整行為過程來預測行為趨勢。研究內容主要包括：1、對於人體運動區域的前景目標檢測，我們通過檢測人體主要的關節點位置坐標，實現視頻每一幀中的人體姿態估計，準確提取視頻中的人體目標；2、對於人體行為特徵的提取，我們提出了含有語義信息的行為單元和視頻關鍵幀的提取算法，還設計了基於骨骼運動的人體骨架序列特徵提取方法；3、對於視頻時序信息的提取，我們提出了基於自監督學習的排序損失函式來最佳化深度神經網路，獲取運動行為中的時序信息；4、對於行為預測分類器中的時間序列匹配算法，我們在廣義時間規整算法的基礎上加入時間權重約束，實現不完整運動行為的預測；5、我們還提出了基於視頻中人-物互動關係的行為識別方法，利用行為相關的物體信息區分人體姿態非常相似的不同人體行為。通過本項目的研究，豐富和發展了人體行為分析的理論體系，為人體行為預測及相關領域的研究提供了關鍵技術和創新性理論。
