《可視數據語義相似性度量及其在場景三維分析中的套用》是依託山東大學，由曾瓊擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：可視數據語義相似性度量及其在場景三維分析中的套用
- 項目類別：青年科學基金項目
- 項目負責人：曾瓊
- 依託單位：山東大學
中文摘要,結題摘要,
中文摘要
場景三維分析是計算機視覺、計算機圖形學等學科的研究熱點，廣泛套用在智慧城市、數字建模等領域。海量可視數據集為計算機理解場景三維信息提供了豐富的數據基礎；然而，現有可視數據集存在多樣、無序、關聯度低、類別粒度粗等特點，不利於探索場景同類物體間的差異以及內聯關係，易產生大量冗餘計算，降低可視數據集使用效率。本項目基於上述問題，擬採用相似性度量幫助有序化組織可視數據集，並研究其套用；研究內容包括：1、研究單物體模型（比如椅子的三維模型）的語義相似性度您櫃精量；2、研究單物體模型與圖像的聯合語義相似性度量；3、研究場景模型（比如客廳的三維模型）的語義相似性度量旋元員；4、研究基於語義相似性的單幅圖像場景重建算法。本項目的目標是基於人類度量相似性的真實數據，提供語義有序的可視數據集合，提出可視數據語義相似院勸樂幾性度量方法，開發基於語義相似性的單幅圖像場景建模方整乘榜想法，為計算機視覺、計算機圖形的交叉研究提供理論及數據基礎。
結題摘要
場景三維分析是計算機視覺、計算機圖形學等學科的研究熱點，廣泛套用在智慧城市、數字建模等領域。海量可視數據集為計宙院院算機理解場景三維信息提供了豐富的數據基礎；然而，現有可視數據集存在多樣、無序、關聯度低、類別粒度粗等特點，不利於探索場景同類物體間的差異以及內聯關係，易產生大量冗餘計算，降低可視數據集使用效率。本項目基於上述問題，擬採用相似性度量幫助有序化組織灶趨和可視數據集，並研究其在可視計算領域的套用。本項目的目標是基於人類度量語義相似性的真實數據，提供語義有序的可視數據集合，提出基於語義特徵的可視數據相似性度量方法，開發基於語義相似性度量的面向可視計算的套用，為計算機視覺、計算機圖形的交叉研究提供理論及數據基礎。 目前該項目已經取得了突破性進展，在IEEE VIS、IEEE TIP、ACM SCA、Visual Informatics等可視計算領域國際期刊及會議發表論文5篇，另1篇論文已由ICLA 2020接收，申請相關專利2項。2017年，項目組提出了面向語義相似性度量的分組式高效眾包採集策略，並基於該策略針對兩個數據集獲取了數百萬相似性度量組。2018年，基於該數據集，項目組提出了面向多屬性語義相似性度量元組的嵌入空間最佳化方法，該方法基於對比損失函式的最佳化策略，可同時對相似性程度以及相應屬性空間進行最佳化，並藉助採集數據過程中的分組方法，大大縮小解空間，從而得到最優解。2018-2019年，項目組探索了語義相似性度量在可視數據組織與計算方面的套用，其中包括圖像及模型檢索、愉旋三維補全與三維建模、舞蹈序列合成、霧霾可視分析、圖像顯著性檢測等問題。目前，項目組所採集的數據與相關代碼均已開源。本項目初步建立了一套面向可視數據的語義相似性度量方法和套用，推動了數據驅動可視計算的發展。
