基於深度學習的結構化預測模型研究

《基於深度學習的結構化預測模型研究》是依託南開大學，由劉傑擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於深度學習的結構化預測模型研究
• 項目類別：青年科學基金項目
• 項目負責人：劉傑
• 依託單位：南開大學

中文摘要

具有結構化特性的數據廣泛存在於自然語言理處理、計算機視覺、生物信息等重要套用領域之中。傳統的結構化預測模型主要考慮數據樣本之間的結構，而不能適應樣本內部的複雜性。針對複雜的結構化數據，本課題創新性地綜合考慮數據之間和數據內部的結構信息，開創性地在結構化預測模型中引入用深度學習思想，提出具有高層次隱含特徵學習能力的深度結構化預測模型。特別針對結構化數據，本課題還設計具有變換不變性特徵學習能力的隱藏層和相應的模型學習算法，有效解決複雜結構數據中的結構化預測問題。基於該模型的深層結構，本課題進一步提出面向結構化數據的遷移學習算法，藉助輔助任務和未標註數據，降低模型的標註代價並提升模型的泛化性。研究成果將極大推進結構化預測模型在複雜任務中的套用，是對機器學習理論的重要探索和擴展，具有重要的理論價值和廣泛的套用前景。

結題摘要

在計算機視覺、web挖掘、自然語言處理等多個領域的識別、預測任務中，數據之間具有複雜的結構性關係，同時數據內部也具有很高的複雜結構信息。有效利用數據的結構特性可以幫助模型更好的進行預測。本項目在結構化預測問題中綜合考慮數據點之間，以及數據點內部的結構信息，以深度學習為切入點，在複雜的結構化數據中自動學習具有高層語義的特徵，提高結構化數據預測的準確性和魯棒性。針對上述問題，本項目首先提出了具有深層架構的有監督結構化預測模型，研究考慮數據樣本內部結構特性的不變性特徵學習。提出在考慮序列結構的同時，引入具有二維空間卷積變換的特徵抽取層，將數據內部劃分為若干有交疊的子區域，疊代地進行特徵變換，從而利用數據的相對的位置結構信息，降低模型對偏移等變化的敏感性。這一結構化模型不僅考慮了數據點之間的結構信息，而且兼顧了數據內部的結構信息，在動作識別等實際的結構化預測任務中取得了更好的準確性和魯棒性。其次，針對實際套用中廣泛存在的標註數據較少而無標註數據大量存在的情況，本項目提出了無監督深度結構化模型，進一步提升深度結構化模型的泛化性，降低對於大量標註數據的依賴性。通過學習過程中使用充足的無標註數據，本項目所提出一種無監督的結構重構和數據點重構的綜合損失函式能夠獲得更好的泛化性。 再次，通過深度結構化模型的多層結構，提出了能夠在相關任務之間進行知識和信息的共享遷移學習方法及半監督學習方法。在結構化模型的深層架構中，每一隱藏層負責學習某一個概念層次上的抽象特徵，本項目利用隱藏層的這一特點，在不同任務之間進行隱藏層參數的共享，完成任務之間的在某一層面的信息傳遞，從而引入相關任務的標註數據或無標註數據，實現遷移學習及半監督學習。最後，在理論方法研究成果的基礎上，分別面向計算機視覺、Web挖掘等重要的套用問題展開廣泛的研究。首先將深度結構化預測模型套用於動作識別、手寫單詞識別等序列標註任務，取得優於現有算法的識別性能。其次，針對信息檢索中的查詢理解、排序學習以及縮略詞識別問題，本項目分別提出基於遷移學習的多排序模型深度融合算法，以及半監督深度條件隨機場模型來解決此類問題，取得了較好的效果。此外，針對具有網路結構的大規模社交分析任務，本項目提出了並行化的網路結構分析算法。