《基於Constellation模型的自然場景文本檢索方法研究》是依託哈爾濱工業大學，由劉家鋒擔任項目負責人的面上項目。
基本介紹
- 中文名：基於Constellation模型的自然場景文本檢索方法研究
- 依託單位：哈爾濱工業大學
- 項目類別：面上項目
- 項目負責人：劉家鋒
項目摘要,結題摘要,
項目摘要
自然場景中文本的識別與檢索是近年來字元識別領域研究的一個熱點問題，現有的研究方法大多以傳統的OCR技術為基礎，首先檢測和定位場景圖像中的文本，然後分離字元前景與背景，OCR識別字元，最後檢索文本。然而自然場景圖像同傳統的掃描文本圖像存在著明顯的差異，字元文本存在於雜亂的背景之中，拍攝視角的不同造成文本具有較大的幾何變形，存在光照變化、字元顏色不統一的現象，字元可能發生局部破損、斷裂和被遮擋，這些現象造成了此項研究到目前為止很難取得令人滿意的結果。本項目提出將Constellation模型引入場景文本檢索的研究，利用圖像的局部特徵描述對場景字元建模，通過模型組合實現對自然場景圖像中文本關鍵字的直接檢索，避免了傳統研究方法在檢測，背景分離和識別中所遇到的困難。本項目為自然場景文本識別與檢索開闢了一種新的研究思路，將推動此領域研究的進一步發展。
結題摘要
本課題針對自然場景圖像中文本信息的檢測與識別方法進行了研究。首先提出了一種基於局部特徵和Constellation模型的場景文本識別新方法,該方法利用字元上具有顯著性的局部區域集合表征整個字元，然後利用Constellation模型來描述局部特徵的表觀以及局部特徵間的位置關係。這一方法可以有效地適應場景圖像中背景雜亂、光照不均、攝影機參數不確定、字型字形多變以及不平整表面等不利因素對識別和檢索所造成的影響，提高了場景文本識別的魯棒性。同時我們還提出了一種基於隨機投影的場景文本聚類方法，該方法可以高效地自動歸類收集到的文本圖像樣本，為文本識別與檢索方法的學習打下了良好的基礎。 為了提高自然場景圖像中文本識別與檢索的計算效率，在本課題中我們對局部特徵選擇方法和文本區域檢測進行了研究。提出了一種基於筆跡寬度信息的局部特徵選擇方法，該方法利用字元上局部特徵的尺度與圖像中的筆跡寬度信息來選擇出與文本相關的局部特徵，從而減少了需要處理的局部特徵數量，提高了算法的運算效率和準確率。此外，我們還提出一種基於局部特徵的多尺度文本區域檢測方法。在文本區域分類器訓練過程中，提出了一種多示例半監督學習方法，有效地解決了分類器訓練過程中存在的未知參數問題。最後，我們將課題提出的算法套用於ICDAR及微軟數據集，實驗結果表明，本研究所提出的場景文本識別與檢索方法具有較高的準確性和魯棒性。
