手寫中文文本識別的高擴展判別學習理論和方法

《手寫中文文本識別的高擴展判別學習理論和方法》是依託哈爾濱工業大學，由蘇統華擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：手寫中文文本識別的高擴展判別學習理論和方法
• 依託單位：哈爾濱工業大學
• 項目類別：青年科學基金項目
• 項目負責人：蘇統華

項目摘要

手寫漢字識別是模式識別領域的重要分支，作為電子化中文文檔的利器，對於整個國家具有戰略意義。手寫中文文本識別是最自然的漢字輸入技術之一，但面臨嚴峻的性能瓶頸。海量訓練數據和判別學習都有助於性能的提升，卻存在巨大的計算複雜度。本項目旨在從理論、算法和實現三個層面上設計基於分散式計算環境的高擴展判別學習方法。研究內容包括：1、建立當前最先進的基準識別系統，特別提出一種新穎的輕量級隱馬爾可夫模型；2、研究分散式判別學習理論框架，支持對算法的收斂性、泛化界和複雜度的分析；3、研究生成式基準系統的分散式判別學習方法，在擴展當前計算模型的基礎上，實現手寫中文文本識別系統的分散式判別學習。本項目將建立具有鮮明特色的分散式判別學習的完整體系；提出針對大類別序列模式判別學習的一系列創新方法。最終解決手寫中文文本識別的性能和效率雙重瓶頸，並得到可推廣到其它領域的重要成果。

結題摘要

手寫漢字識別是模式識別領域的重要分支，作為電子化中文文檔的利器，對於整個國家具有戰略意義。手寫中文文本識別是最自然的漢字輸入技術之一，但面臨性能和效率的雙重瓶頸。海量訓練數據和判別學習都有助於性能的提升，卻存在巨大的計算複雜度。本項目緊緊圍繞手寫文本識別中的高擴展判別學習理論和方法，設計了一系列對海量訓練數據和大類別序列標記任務具有高擴展性、快收斂性和強泛化性的普適學習方法。在解決手寫文本識別中的性能和效率兩方面的瓶頸問題上，主要開展了三個層面的研究工作。第一，提出基於MPE判別學習的手寫漢字識別框架。它的目標函式是識別錯誤的光滑近似，可以通過EBW最佳化方法求解。加入樣本合成技術擴充訓練數據後，相較MLE，MPE可以減少28%的識別錯誤；得到的性能是HMM/GMM框架下最好的結果，可以為其他研究者提供比較基準。第二，基於CPU+GPU異構計算架構，提出適用於大規模、大類別分類任務的原型學習算法框架。通過分解和重組算法的計算任務,將密集的計算負載轉移到GPU上，而CPU只需進行少量的流程控制；然後根據任務類型自適應地決定是採用分塊策略還是並行歸約策略來實現。方案在小批量處理的模式下，該算法最高可達194倍的加速比（GTX680）或638倍（GTX980）。第三，提出基於網路傳播的快速原型預測算法和免解壓的原型模型壓縮算法，用於解決目前移動終端上的預測速度瓶頸和存儲限制。前者建立的原型網路遵循小世界效應，在一定條件下可以保證任意節點間以較小的測地路徑可達，這為利用連結關係去搜尋優質的節點提供了依據。為限制搜尋空間，加入貪心選擇過程，只讓少數幾個優質節點進入擴展佇列。通過理論層面的網路結構分析和實踐層面的算法傳播性分析，揭示了算法在執行效率和實用性上的優勢。後者通過對原型向量在每個維度上進行聚類，得到含256條目的字典，並用字典的元素索引替換該維度上的原型向量值。替換後，存儲空間得到4倍的消減。這一精簡方案，對於更複雜的原型模型會越加有效。在識別時，無需重構原型向量，而是直接在字典上進行運算，然後分發給對應向量元素。本項目的研究成果發表專著1本，發表SCI期刊論文2篇、核心期刊論文2篇、國際會議論文2篇；同時項目組取得ICDAR’2013手寫漢字識別競賽的兩項冠軍；原型學習相關的成果也已經成功得到產品轉化。