《基於認知機理和語義信息的互動式人臉檢索》是依託上海大學，由方昱春擔任項目負責人的面上項目。
基本介紹
- 中文名：基於認知機理和語義信息的互動式人臉檢索
- 項目類別：面上項目
- 項目負責人：方昱春
- 依託單位：上海大學
中文摘要,結題摘要,
中文摘要
本課題旨在研究人機人臉認知機理、人臉圖像語義信息分析和目標檢索相關反饋技術，並套用於互動式人臉檢索。本課題研究涉及到面向提高人機人臉認知一致性的特徵表示、基於認知機理的相關反饋問答方式設計、基於語義信息的意識人臉檢索、人臉語義信息相關性研究及套用、相關反饋模型設計、特徵空間中測度理論等關鍵問題，屬於信息科學和認知科學交叉性較強的研究課題。從理論角度而言，本課題深入研究人機人臉認知一致性、人臉圖像語義信息表示和套用以及意識目標檢索技術。從套用角度而言，本課題為人臉認知和互動計算提供了豐富的數據和算法，檢索理論成果可以推廣到人臉圖像以外的其它意識目標檢索套用中。本課題研究內容新穎，求解需要結合認知學知識進行理論和算法上的探索，對意識目標檢索一類問題的求解和套用具有開創性和實用性雙重意義。
結題摘要
本項目研究圍繞互動式人臉圖像檢索展開。互動人臉檢索參照意識臉像通過相關反饋和人機互動機制在大型人臉圖像庫中快速鎖定目標。作為人臉圖像檢索的拓展，本項目依賴人機人臉認知機理、臉像語義信息和意識目標檢索技術三方面研究，涉及了人機互動、圖像理解和信息檢索三個不同研究方向，屬於信息科學和認知科學交叉性較強的研究課題。 本項目研究過程中將主要研究內容凝練成了面向提高人機人臉認知一致性的特徵表示、面向提高人機人臉認知一致性的圖像測度分析、基於認知機理的相關反饋問答方式設計、人臉語義信息分類及相關性研究、基於語義信息的互動式人臉檢索五個關鍵問題。本項目研究採取了由淺入深的研究方式，主要取得了以下成果：（1）採集了接近40000條由目標、候選集和用戶反饋組成記錄的人機人臉認知一致度數據集，這些數據不僅面向互動檢索服務，而且在人類人臉認知能力分析中也具有重要價值。（2）通過大量人機認知實驗，提出了人機認知一致度的量化方法衡量語義鴻溝。（3）提出了特徵選擇穩定性衡量的標準。（4）提出了基於稀疏表示的特徵選擇算法，並且套用到了人臉圖像分析的多個識別任務中。（5）針對互動式人臉檢索，提出了基於相關熵的測度學習方法和基於超圖學習的測度學習方法，有效提高了人機人臉認知一致度。（6）提出了基於多任務學習的人臉圖像屬性分析，提出了基於原型學習的人臉圖像屬性表示，這些方法有效提升了人臉語義信息分類的準確性。（7）結合人臉屬性、圖像特徵和特徵測度研究了人臉語義信息相關性，並且把相關結論套用到了互動式人臉檢索中，算法的收斂速度獲得了顯著提升。所實現的基於屬性分析的互動檢索系統在LFW子集（含3683人）上把隨機瀏覽的平均檢索次數從116次降為21次，加速比達5.50。（8）本項目在人臉面部特徵點檢測方面開展了研究，構建了一個規模超過30000幅圖像的人臉面部特徵點標定庫，在研究過程中和相關套用產生交叉，為把本項目研究成果推向套用作準備。 本項目研究在理論成果、數據積累、系統原型、論文發表、專利申請、人才培養和學術交流合作等各個方面均達到了預期目標。本項目研究涉及到多學科交叉，為人臉認知和互動計算提供了豐富的數據和算法，對意識目標檢索一類問題的求解和套用提供了有價值的積累。
