《面向RGB-D視頻的人體動作識別研究》是依託南京理工大學，由宋硯擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：面向RGB-D視頻的人體動作識別研究
- 項目類別：青年科學基金項目
- 項目負責人：宋硯
- 依託單位：南京理工大學
項目摘要,結題摘要,
項目摘要
隨著視頻數據採集技術的飛速發展，監控視頻正滲透到人們生活的各個方面，如何自動的理解視頻中出現的人的動作是智慧型視頻監控技術中的關鍵問題。近來，同步採集RGB和深度數據設備的面世，為視頻人體動作識別提供了新的契機。本項目將針對現有工作的不足，面向RGB-D視頻對人體動作識別的若干關鍵問題展開研究。首先，將基於人體的三維表面研究深度視頻底層特徵，作為RGB特徵的重要補充。然後，將結合RGB和深度兩個通道信息，並充分利用局部特徵的時空位置信息，對視頻中的動作進行描述和表征。具體的，將研究基於雙通道稀疏編碼的時空金字塔的動作描述方法，以及一種4維時空軌跡的生成和描述方法。最後，將研究基於多通道特徵的局部分類器的動作識別方法，以解決同類動作類內差異大的問題。本項目將在理論上推動視頻人體動作識別研究的發展，並在實際中為智慧型視頻監控系統的套用提供關鍵技術。
結題摘要
識別和理解視頻中所發生的人的動作和行為對視頻內容管理、智慧型視頻監控、人機互動和智慧型家居等各方面具有重要意義。本項目基於Kinect 攝像機所提供的同步RGB-D視頻，構建視頻人體動作數據集，並對視頻中出現的人體動作進行識別，在人體動作的特徵提取、動作的描述和表征、動作的識別等關鍵性問題上展開了深入研究。 經過三年的研究工作，本項目構建並發布了一個RGB-D人體動作視頻數據集；利用深度數據的特點，提出了一種新穎的魯棒的特徵用來描述點雲中參考點周圍鄰居點相對於參考點的位置偏移的統計信息；並提出了基於該特徵的三種人體動作描述策略，包括基於骨骼的策略、基於隨機參考點的策略和時空策略，實驗結果表明，基於時空策略的動作表示效果最好；傳統動作識別方法僅僅將RGB和深度信息進行直接融合，無法發揮兩者的優勢，我們提出了一種RGB-D視頻動作描述方法，利用RGB數據對人體表面的具體區塊進行跟蹤，並利用深度數據對這些區塊進行描述，並利用時間金字塔模型對同樣層級的特徵段進行匹配，實驗表明，該方法優於RGB局部時空特徵、基於軌跡的特徵和基於人體關節點位置的特徵；基於RGB-D視頻中常用的三種類型的特徵，即RGB局部時空特徵、骨骼點特徵和點雲特徵，我們研究了利用稀疏表示方法融合多通道特徵的問題，我們基於稀疏表示法提出了三種融合策略，在實驗中，我們驗證了三種融合策略的性能，並且詳細得分析了三種特徵表示描述人體動作的能力。 以上研究成果對提高RGB-D視頻中的人體動作識別的準確率具有重要意義，從而能夠推動公共場所安全監控、個人生活智慧型監控以及人機互動等領域的發展。
