《深度屬性特徵學習及其套用研究》是依託浙江大學，由王東輝擔任項目負責人的面上項目。
基本介紹
- 中文名：深度屬性特徵學習及其套用研究
- 依託單位：浙江大學
- 項目負責人：王東輝
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
深度屬性特徵學習方法是一個嶄新的研究方向，其主要目標是研究從低層多模態特徵到高層屬性特徵的統一的深度學習架構，提出創新性的方法、模型和求解策略，並在具有抽象語義屬性的藝術品檢索問題上實現探索性示範套用。具體研究內容包括分析和評估單模態深度學習方法的性能特點，研究最佳化的單模態深度學習模型，提出具有更高語義表達的單模態特徵深度學習方法；從多模態特徵融合的角度，研究有效的深度學習架構和求解策略，為進一步的深度屬性特徵學習打下基礎；通過對屬性特徵的層次分解，構建多模態特徵到屬性特徵映射的深度學習架構及求解方法，實現更有效的屬性預測和語義註解；通過在典型屬性數據集和特定屬性數據集上的套用研究，評估提出方法在典型套用任務中的具體性能指標。深度屬性特徵學習方法的研究成果不僅對機器學習新方法的研究具有重要的促進作用，而且能夠為大規模特徵學習、語義標註與內容理解、跨模態語義檢索等諸多問題提供新的求解思路。
結題摘要
利用深度架構，能夠有效學習出視覺和聽覺等不同模態輸入的特徵表達。這種表達具有豐富的語義和內在的結構，能夠用來實現分類、識別、檢測、推理等各種智慧型任務。當賦予這種表達特定的屬性時，則能夠更清晰地描述出視音頻輸入中內含的豐富語義以及不同類別之間的語義關係。這樣的屬性特徵可作為不同類別對象之間的共性語義知識，廣泛套用於遷移學習、跨模態推理等智慧型套用領域。因此，屬性特徵的自動學習模型、算法和套用研究具有重要的理論價值和套用前景。 本項目的研究內容主要包括藝術品數據的屬性標註眾包平台、廣義屬性預測模型和算法、多模態屬性預測模型和算法以及基於生成式模型的屬性預測及套用等幾個方面的研究。具體研究內容包括藝術作品視覺感受屬性標註體系的設計、屬性眾包標註平台的研發、基於流形對齊的廣義屬性預測模型及其在零樣本識別中的套用、多模態特徵融合及其在視覺問答中的套用、視覺-屬性映射的最佳化方法、 基於生成式對抗網路的屬性預測模型及套用研究等。 本項目不僅在藝術作品的視覺感受屬性標註上做了有益的探索，而且在屬性預測模型和算法的研究上取得了重要進展，並在零樣本學習、視覺問答等挑戰性任務中得到了成功套用。其中有特色的研究進展包括：1、針對藝術作品屬性標註的獨特性，設計了專門的視覺感受標註屬性，開發了相應的屬性標註眾包平台，構建了屬性標註數據集。2、從不同語義空間的流形結構抽取和對齊的角度來學習屬性預測模型，提出了一種分粒度的流形抽取快速疊代學習算法，獲得了很好的算法性能。3、研究了屬性預測方法在零樣本對象識別中的套用，利用屬性預測作為共享語義知識來連線已知類與未知類別，實現對無訓練樣本未知類對象的識別。4、針對多模態數據，提出了用於屬性預測的多模態特徵融合策略和預測框架，以避免簡單的單模態特徵組合方法引起的性能退化。同時，利用提出的多模態屬性預測模型，實現了多種基於深度網路的視覺問答求解架構，測試了在大規模多模態視覺問答數據集上的性能表現。5、提出了基於循環生成式對抗網路的屬性預測模型，利用生成式對抗模型來自動生成未知類別的視覺語義向量和屬性向量，並成功套用在零樣本識別問題中。
