《句子語義的視覺表示研究》是依託北京郵電大學，由王小捷擔任項目負責人的重大研究計畫。
基本介紹
- 中文名：句子語義的視覺表示研究
- 項目類別：重大研究計畫
- 項目負責人：王小捷
- 依託單位：北京郵電大學
項目摘要,結題摘要,
項目摘要
認知科學的研究表明，人類在語言習得過程中，其他認知通道(如視覺)的信息具有重要的輔助作用。探索利用其他認知通道的信息輔助進行語言計算，有助於更深刻地理解人類語言處理的機制，為自然語言處理研究提供新的材料和思路，也為像基於語言命令的車輛自動駕駛這樣一些需要多模態信息協同工作的任務提供合適的解決方法。本項目從人類語言認知發展的機理出發，研究如何在視覺信息的基礎上建立語言的意義，力圖在基於圖像的漢語辭彙習得和表示理論及關鍵技術上有所突破。項目著重研究基於圖像-文本描述對的範疇化辭彙聚類技術、視覺對象和描述辭彙間的對齊和表示抽取技術、對象時空關係對齊和抽取技術，以抽取各類漢語辭彙基於視覺信息的語義表示；研究針對描述對象間時空關係的句子語義分析技術，以抽取對象間時空關係的視覺語義描述；結合這些技術，實現一個可以為句子語義生成圖像描述的原型系統，在基於語言命令的車輛自動駕駛任務中進行演示驗證。
結題摘要
認知科學的研究表明，人類在語言習得過程中，視覺通道的信息具有重要的輔助作用，許多語言信息源於視覺感知，即所謂語言的視覺接地。本項目研究在視覺信息的基礎上建立語言的意義，取得了如下成果：提出了一個基於圖像信息的辭彙語義習得模型ViMac。該模型建立了基於靜態圖像信息的辭彙意義習得和表示方法，該方法主要關注名詞、形容詞和方位詞。模型的核心部分包括基於Hellinger距離的語義關聯度計算、基於混合度量的詞聚類、基於多維Hellinger距離的視覺特徵選擇以及空間方向關係的形式化描述與模糊判定，由此來實現視覺特徵和語言辭彙的對應。進而，為了能對新圖像特徵值進行語言描述，提出了一種基於核心成分的視覺語義表征，基於這種表征方法提出了面向新圖像特徵值描述的複合詞生成算法，該算法可生成訓練數據中未出現到的複合詞以描述訓練集中未出現的新圖像特徵值。在此基礎上，實現了一個為靜態圖像自動生成自然語言描述的系統。提出了一個基於視頻信息的動詞辭彙語義習得模型ViMac-V。針對動詞的特點，項目採用框架+論元的語言學結構來構建基於視頻特徵的動詞語義，利用框架來組織視頻情景中運動的各種認知屬性，而論元則被框架支配來實現對具體運動屬性的描述。項目首先基於視覺特徵與詞共現信息、詞性信息以及最小編輯距離進行論元的詞類劃分，並利用二元語法模型進行動詞框架的提取。進而，通過構建自組織神經網路組來實現動詞語義與視頻信息的關聯。其中，基於學習矢量量化的框架激活機制將視頻所凸顯的反映運動信息的各屬性結構與動詞框架相關聯；而對論元則通過SOM網路將其在視覺空間中範疇化。範疇化後的SOM網路連線了高維視頻特徵分布和論元辭彙，再通過框架支配各個帶辭彙化標籤的SOM子網路，組成不同的動詞視覺語義。在此基礎上，實現了一個為視頻自動生成自然語言描述的系統。完成的ViMac和ViMac-V模型已經部署在機器人平台上。同時，也在模型車上實現了一個基於自然語言指令的車輛行駛控制演示系統，模型車能依據自然語言指令行駛。除了基於認知的語言接地的上述工作，基於語言意義習得的發展性，即語言意義是從兒童時起按某種特定順序逐步習得的，視覺信息在語言發展中可以為兒童語言習得提供先驗知識，本項目同時研究了基於兒童語言習得機理的語言習得計算模型，提出了一種階段性兒童語言習得模型。
