紅外電視法視線跟蹤人機互動自適應工作機制研究

《紅外電視法視線跟蹤人機互動自適應工作機制研究》是依託上海大學，由趙其傑擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：紅外電視法視線跟蹤人機互動自適應工作機制研究
• 項目類別：青年科學基金項目
• 項目負責人：趙其傑
• 依託單位：上海大學

中文摘要

視線跟蹤是一種自然、直接的人機互動通道，建立模型研究系統各構成要素與視線分辨參數間的關係，從而提高系統工作的可靠性等是該領域近期研究的關鍵問題。不同於以往基於統計回歸、樣本訓練的實驗建模和基於眼睛結構進行參數估計的幾何模型等研究方法，本申請提出基於狀態空間分析法建立視線跟蹤人機互動模型，全面客觀的揭示紅外電視法視線跟蹤人機互動系統內外狀態變化引起視線分辨參數改變的機理；基於建立的模型，本申請提出通過貝葉斯聚類決策分析互動歷史信息進行系統狀態辨識，並以不同的系統狀態為神經元建立觸發器模式的神經網路工作機制，為實現不中斷人機會話的情況下，提高系統工作的自適應性和減少或消除頻繁進行系統標定等問題從理論上提供新方法，面向語言和行動障礙的ALS患者護理建立原型系統進行實驗研究。本項研究提出的理論和方法為視線跟蹤在人-機-環境、助老助殘系統、服務機器人、多通道人機互動等領域的套用打下一定基礎。

結題摘要

視線跟蹤人機互動通道具有直接、自然等很多優點，受到人機互動領域廣泛的關注和研究，但視線通道具有連續性的特點，其可靠性容易受到環境因素、人機參數及工作模式的影響，使用過程經常需要頻繁的標定。為了解決這些問題，國內外的學者提出了許多圖像處理算法提取眼部特徵信息，基於統計回歸、樣本訓練的實驗方法和基於眼睛結構的幾何模型估計視線分辨參數和注視方向。這些方法在特定條件下取得較好的效果，但未能全面揭示系統中各部分間相互影響的規律。本項目以提高系統工作的可靠性和自適應性為目的，主要從系統的結構設計及分析、頭眼行為檢測算法、提高互動自然性和可靠性的信息處理方法和自適應工作機制等方面開展了相關工作，並將視線跟蹤人機互動技術集成到服務機器人系統中進行人機協作方面的探索。 基於狀態空間理論建立了攝像機、輔助光源、互動界面、眼睛等子系統構成的狀態空間模型，以各子系統間的相對變化作為系統外部狀態向量，互動界面大小、界面上功能區域大小及布局等作為系統內部狀態向量，通過狀態空間模型全面揭示了紅外電視法視線跟蹤人機互動系統內外狀態改變引起視線分辨參數變化的規律。在理論分析的基礎上，針對視線跟蹤人機互動套用過程中，設備調節標定和用戶姿態多變的特點，提出適應多種姿態和可調節的視線跟蹤人機互動裝置和系統。為了準確提取眼部特徵信息進行注視方向的辨識，提出了基於卡爾曼濾波、光流跟蹤等相結合的特徵提取算法。分析了互動過程中掃視、注視、眨眼及眼睛運動趨勢間的關係，提出了一種綜合的眼動行為檢測方法，該方法為設計合理的人機界面減少隨機性眼動對互動系統可靠性的影響提供了依據。 在系統自適應工作機制方面重點開展了基於貝葉斯理論進行系統標定和狀態辨識的研究，並結合建立的狀態空間模型，根據互動歷史和機率信息研究實時進行人機互動參數修正的機制，初始標定完成後在互動過程中無需重複標定。基於神經認知語義網路設計了自適應人機互動界面，降低非自願互動意識觸發的人機會話進程，提高了系統的穩定性。以上研究方法和成果為視線跟蹤人機互動技術的研究提供了新理論，同時，為視線跟蹤通道在人-機器人自然互動套用方面從理論上進行了一些有益的探索。