《利用中層語義對視頻場景進行地理位置標註與分割》是依託深圳大學,由朱映映擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名:利用中層語義對視頻場景進行地理位置標註與分割
- 項目類別:青年科學基金項目
- 項目負責人:朱映映
- 依託單位:深圳大學
《利用中層語義對視頻場景進行地理位置標註與分割》是依託深圳大學,由朱映映擔任項目負責人的青年科學基金項目。
《利用中層語義對視頻場景進行地理位置標註與分割》是依託深圳大學,由朱映映擔任項目負責人的青年科學基金項目。項目摘要近年來從媒體內容中獲取地理位置信息,提供給基於位置服務的套用成為新熱點。不藉助地理標籤,利用中層語義,計算...
面向用戶的視頻標註技術涉及的研究內容包括:視頻內容的語義分析和表示、基於稀疏編碼的中層語義表示、基於知識遷移的自動標註、個性化用戶行為分析及個性化標註問題。課題將通過研究視頻的語義分析和鏡頭場景等概念的抽取,結合用戶的個性化分析和機器學習的方法,來對視頻進行語義標註。面向互動式數位電視服務,建立一個真實的...
利用深度圖像與可見光圖像的互補性,定義了判別性高且對光照變化、遮擋等干擾信號魯棒的三維低層基元特徵;在匹配過程中,加入了中層語義信息和可變先驗模型約束,並通過求解一個有約束的二次規劃問題實現三維場景匹配和姿態估計,最終實現完整的場景重建。在此基礎上,利用分類學習的方法識別地形、根據幾何信息的推理檢測...
研究內容包括:視頻特徵生成式表示與建模的理論和方法,分析視頻中的基本視覺特徵:結構基元和紋理基元;完備的原子事件集合的生成方法,並基於原子事件集合對視頻中的原子事件類別進行標註;將原子事件的時序分割與整體事件的語義描述聯合建模,得到統一的計算模型,進而建立高層語義的推理算法。結題摘要 視頻中事件的內容...
第三,為實現空間場景語義理解,並解決場景分割中存在的“過分割”和“欠分割”兩種問題,分別提出了場景分類和場景分解兩種語義理解方法,綜合考慮了場景內特徵的相似性和場景間語義的依賴性,實驗表明提出的場景分類以及場景分解方法具有較高的精度,能揭示了一些城市地理問題。最後,提出了一個基於層次貝葉斯的層次語義...
本項目圍繞自然場景圖像理解領域前沿發展動態,著重研究場景圖像的語義分割問題,以及場景中重要目標的檢測識別算法進行了深入研究,包括: (1)隨著全卷積網路(FCN)的提出,目前基於深度網路的場景圖像標註的算法框架已經基本形成。以FCN為基本框架,提出同時考慮類內和類間的問題的語義分割方法,提取出具有判別力的特徵...
5.4 複雜背景下版面分割 304 5.5 閱讀順序未知的純文本圖像版面分析 306 5.5.1 已有算法分析 307 5.5.2 基於SVM的複雜純文本圖像版面分析算法 308 5.6 小結 312 參考文獻 312 第6章 基於顯著性和LDA主題模型的圖像場景分類 315 6.1 基於語義生成模型的圖像場景分類概述 315 6.2 基本術語 317 6.3 ...
本項目研究圖像語義分割,預測圖像每個像素(超像素)的標籤,從而在一個算法框架內解決圖像分割、物體檢測、圖像自動標註等諸多任務,將充分利用用戶提供的非精確標籤信息,採取多量化圖像分割策略,綜合提取圖像區域視覺特徵、感知特徵、圖像上下文關係等不同層次線索,將自底向上的圖像內容和自頂向下的先驗知識有機結合...
提出以場景片段中顯著對象出現和共現關係建立社會關係網路結構,發現場景重要顯著位置;(3)動態場景主題發現。提出空間信任傳遞主題模型及動態信任傳遞關係主題模型分別學習單幀和場景的語義可視層次結構,建立動態場景的總的語義可視層次結構,完成場景故事層面的分割。結題摘要 項目是針對複雜動態場景中自我運動和場景運動...
圖像編碼方法可分為兩代:第一代是基於數據統計,去掉的是數據冗餘,稱為低層壓縮編碼方法;第二代是基於內容,去掉的是內容冗餘,其中基於對象(Object-Based)方法稱為中層壓縮編碼方法,其中基於語義(Syntax-Based)方法稱為高層壓縮編碼方法。基於內容壓縮編碼方法代表新一代的壓縮方法,也是最活躍的領域,最早是...
《視覺選擇性導向的場景信息理解與聯想研究》是依託上海交通大學,由周越擔任項目負責人的面上項目。項目摘要 長期以來圖像顯著性區域檢測與分割、場景理解(場景分類、語義標註)被視為計算機視覺領域中兩個相對獨立的問題。近年來,生理學實驗表明:生物視覺系統依賴於選擇性注意力,結合視覺記憶,快速理解場景內容,表明...
本項目的實施可為網路環境下的視頻內容理解提供技術支持,並可套用於視頻監控、瀏覽和搜尋等。結題摘要 在基金項目的資助下,緊緊圍繞時空上下文感知的網路視頻主題目標發現與分割開展研究,在四個方面取得了重要進展。在視覺上下文信息表示與建模方面,提出了一種基於層次化多模態LSTM的視覺語義聯合嵌入方法。在單類視頻...
本課題力爭取得創新性及突破性的研究成果,為新一代視頻服務和管理提供核心算法和技術。結題摘要 本項目針對基於網路信息感知的視頻語義分析和檢索中的關鍵科學問題,對符合網路視頻特性的中層特徵表示、網路視頻標籤定位和標籤噪聲處理、基於多模態中端融合的統計學習方法以及自適應的多策略相關反饋方法展開深入研究,提出了...
圖書目錄 前言 第1章 緒論 第2章 圖像表示與特徵提取 第3章 分類判別模型 第4章 生成模型 第5章 圖像中的目標檢測與識別 第6章 圖像語義標註 第7章 場景中的圖像語義 第8章 深度學習在圖像語義分析中的套用 第9章 圖像語義分析的套用 參考文獻 封底 ...
通過對所涉及的視頻廣告自動檢測、獨立廣告分割、廣告識別、及廣告分類等問題進行深入研究,實現對視頻廣告這一特定對象的深層次語義理解,從而完成電視廣告的智慧型監播的任務。課題研究工作的主要貢獻點包括:1、在跨媒體理論分析方面,提出了一種基於共享子空間的跨媒體分析方法,構建了異構底層特徵空間、中層高維同構特徵...
在該框架下,具體探討視頻中多視覺對象的聯合檢測與分割,以及相應底層視覺特徵的提取與表示。進而探索不同視覺對象、不同屬性之間的關聯模型,並基於此研究中層屬性特徵的學習與表示。最後基於多視覺對象的各層特徵表達,研究嵌入多層間信息傳遞映射及高層語義相關模型的行為語義推理。本項目對推動行為分析與語義描述的理論...
以心理學、腦科學和認知科學為理論依據,利用信息科學的手段,研究人類視覺認知機理,提取人類心理狀態的相關模式,建立心理狀態視覺認知計算模型;以家庭服務機器人為載體,建立針對家庭室內環境場景分類模型以及研究相應的分類方法,重點研究基於中層語義的場景分類方法,以解決在分類中的語義鴻溝問題,從而達到室內場景圖像...
首先提出將遙感圖像視覺特徵抽象為包含低層視覺辭彙、中層關鍵模式及高層語義信息的視覺關鍵字層次模型,分別表示視覺特徵元素的集合表達、低層視覺辭彙的代表性實例表達及圖像場景信息的語義表達,並通過自動聚類和機器學習理論建立層次間的關聯和映射;進一步研究不同尺度遙感圖像視覺顯著特徵提取模型、關鍵模式搜尋和視覺關鍵...
(1) 深入分析多層次視覺特徵學習與表示理論和其蘊含的神經計算本質;(2) 研究滿足慢速性約束的多層次序貫數據的特徵學習方法,建立小角度旋轉與視角變化下的不變性目標描述特徵,提高動態環境下的特定目標識別能力;(3) 研究利用多源圖像信息建立多光譜的層次化特徵學習方法,並套用於環境感知中的語義場景識別任務;(...
基於VIMER-CAE的預訓練模型在下游各類圖像任務上取得了明顯的效果提升,在圖像分類、目標檢測、語義分割等經典下游任務上達到SOTA結果。VIMER-UFO 2.0 多任務視覺表征學習大模型 視覺多任務文心VIMER-UFO 2.0大模型的參數量達到170億,單模型28項公開數據集SOTA,基於飛槳Task MoE架構,根據任務的不同自動選擇激活最...
3.2.3 圖像語義分割與注視點標註 87 3.3 眼動數據可視化分析 91 3.3.1 時間序列可視化 91 3.3.2 空間序列可視化 93 3.3.3 時空序列可視化 94 3.4 眼動實驗指標 95 3.4.1 眼動實驗指標 95 3.4.2 行為指標 97 3.4.3 問卷得分 97 3.5 眼動實驗定量化統計分析 98 3.5.1 分析前準備工作 ...
《顯著視覺相似性度量模型及套用》是依託華中科技大學,由劉文予擔任項目負責人的面上項目。中文摘要 相似性度量是計算機視覺、模式識別等領域中核心和基礎性的問題。本項目提出了一種新的顯著視覺相似性度量模型,該模型採用全局建模方式,將底層特徵表達函式、高層語義表征模型和相似性度量建模到統一框架中,在滿足整體...
大場景高分辨SAR影像在語義空間中的區域圖的作用下,被劃分為混合集聚結構地物像素子空間、結構地物像素子空間和勻質地物像素子空間。針對大場景高解析度SAR影像存在獲取類別標籤樣本數據難的問題,通過對三個不同結構地物的像素子空間的無監督分割來解決SAR影像的無監督分割。由於極不勻質區域地物表示的複雜性與該區域...
本課題針對深度神經網路模型中的自最佳化算法和套用問題開展深入研究,其主要成果包括:在神經網路的自最佳化方面,不斷地提取高層語義信息(如軟標籤、目標分割區域等),利用自反饋機制來指導網路模型的最佳化學習過程,進一步提高神經網路模型的辨別能力;引入基於長短時記憶模型的循環網路模組,不斷挖掘有意義的知識信息,遺忘...
4.2.3 基於主題語義模型的遙感目標提取 4.3 精細化遙感目標識別 4.3.1 基於區域對象機率標記的遙感目標識別 4.3.2 基於形狀統計模型的遙感目標識別 4.3.3 基於語義樹匹配學習的遙感目標識別 參考文獻 第5章 複雜場景描述與分類 5.1 複雜場景的分層描述 5.1.1 低層圖像場景描述 5.1.2 中層圖像場景描述...
其次,在目前行為識別算法中,針對特徵表達方面普遍存在的底層信號特徵和高層語義之間的“語義鴻溝”問題,擬提出基於屬性方法的特徵表達。該屬性表達是對低層特徵的中層語義表達,能夠有效的緩解語義鴻溝給行為識別帶來的負面影響,為提高行為識別精度奠定基礎。最後,為了提高行為模型的識別能力和魯棒性,本課題擬採用稀疏...
11.2 媒體顯著對象本體語義標註 11.3 語義場景分割 11.4 靜態顯著對象分割 11.4.1 種子區域生長 11.4.2 注意力種子選擇 11.5 層次本體語義標註 11.6 實驗與分析 11.6.1 層次語義標籤標註實驗 11.6.2 媒體顯著本體語義標註實驗 11.7 本章小結 附錄A 圖清單 附錄B 表清單 附錄C 縮略詞及中英文辭彙...
因此,儘管MPEG-4框架已經制定,但至今仍沒有通用的有效方法去根本解決視頻對象分割問題,視頻對象分割被認為是一個具有挑戰性的難題,基於語義的分割則更加困難。目前進行視頻對象分割的一般步驟是:先對原始視頻/圖像數據進行簡化以利於分割,這可通過低通濾波、中值濾波、形態濾波來完成;然後對視頻/圖像數據進行特徵...
12.1場景理解概述 12.2模糊推理 12.2.1模糊集和模糊運算 12.2.2模糊推理方法 12.3遺傳算法圖像解釋 12.3.1遺傳算法原理 12.3.2語義分割和解釋 12.4場景目標標記 12.5場景分類 12.5.1詞袋/特徵包模型 12.5.2pLSA模型 12.5.3LDA模型 總結和複習 第4單元研 究 示 例 第13章多...