《基於眼動追蹤的個性化圖像推薦研究》是依託香港理工大學深圳研究院，由池哲儒擔任項目負責人的面上項目。
基本介紹
- 中文名：基於眼動追蹤的個性化圖像推薦研究
- 項目類別：面上項目
- 項目負責人：池哲儒
- 依託單位：香港理工大學深圳研究院
項目摘要,結題摘要,
項目摘要
個性化圖像推薦旨在根據用戶的意圖和偏好給用戶提供更感興趣的圖像檢索結果。個性化圖像推薦目前是圖像檢索的一個熱點，它能為網際網路用戶帶來更舒適的圖像搜尋體驗。與傳統的通過滑鼠鍵盤獲取用戶反饋的方法不同，本研究提出通過對用戶基本無干擾的眼動追蹤來實現個性化圖像推薦，目的是通過眼動數據分析用戶觀看圖像時的隱性反饋信息，從而推測用戶的意圖和偏好，為用戶提供更好的圖像檢索結果。首先，擬設計人性化的圖像檢索界面，並且利用眼動儀記錄用戶在自由和受控兩種不同模式下觀看圖像的眼動數據；然後，針對眼動數據特徵提取困難，擬利用特徵學習性能優異的深度神經網路從眼動數據中提取有用的特徵；接著，結合圖像的眼動特徵和視覺特徵，對圖像進行相關性分類和獲取用戶隱性反饋；最後，向用戶作出個性化圖像推薦。本研究還將對所建系統進行全面的性能評估。
結題摘要
個性化圖像推薦旨在根據用戶的意圖和偏好給用戶提供更感興趣的圖像檢索結果。個性化圖像推薦目前是圖像檢索的一個熱點，它能為網際網路用戶帶來更舒適的圖像搜尋體驗。與傳統的通過滑鼠鍵盤獲取用戶反饋的方法不同，本研究提出通過對用戶基本無干擾的眼動追蹤來實現個性化圖像推薦，目的是通過眼動數據分析用戶觀看圖像時的隱性反饋信息，從而推測用戶的意圖和偏好，為用戶提供更好的圖像檢索結果。圖像檢索的難點是獲取用戶的意圖和偏好，以及圖像的機器匹配和分類。本研究項目的重點工作在於構造一個基於眼動技術的圖像推薦系統的基本算法研究和技術準備，以便將來硬體設備成熟時（配置於電腦的經濟型眼動儀及精確眼動數據的獲取），我們有足夠的算法和軟體技術儲備來構造實用的個性化圖像推薦系統以及其他套用系統。本項目主要研究內容及重要成果包括： （1） 基於眼動技術的圖像檢索界面設計和眼動數據收集及處理 （2） 基於眼動數據進行相關反饋的圖像檢索方法 （3） 基於用戶意圖的圖像檢索算法 （4） 閉環人臉圖像檢索系統 （5） 眼動數據指導下的圖像特徵選取 這個技術不但可用於圖像推薦和圖像分類，還是認知人類圖像理解的非常重要一步。 （6） 用CNN深度模型進行圖像顯著圖及眼動熱點圖預測 把機器學習顯著圖和顯著區域方面的工作向前推進了一步，為改進人類讀圖時的注意力模型及其在圖像理解方面的套用提供了另外一種可能的解決方案。 （7） 深度學習網路的最佳化 該技術除了能夠用於我們的圖像推薦系統，也是一種通用方法，可以用於各類圖像分類、圖像分割及基於視頻的動作識別。 （8） 基於深度學習神經網路的表情識別 基於本項目的研究成果及已有的軟硬體投入，我們可以延伸我們的研究工作至利用腦電圖和眼動融合的方法進行圖像理解和圖像檢索。
