有一定物理基礎的神經網路及其泛化技術研究

《有一定物理基礎的神經網路及其泛化技術研究》是依託武漢大學，由胡鐵松擔任項目負責人的面上項目。

基本介紹

• 中文名：有一定物理基礎的神經網路及其泛化技術研究
• 項目類別：面上項目
• 項目負責人：胡鐵松
• 依託單位：武漢大學

項目摘要

過學習與泛化能力差是神經網路研究的焦點和難點問題，充分利用複雜研究對象中部分物理過程的已知動力學性，建立有一定物理基礎的神經網路模型是揭示研究對象內在機理的客觀要求，也是改善神經網路泛化性能的必然途徑。申請項目以土壤墒情預測問題為背景，採用數值模擬與室內試驗、野外田間試驗相結合的研究方法，借鑑通用學習網路的建模技術，建立有一定物理基礎的神經網路，詮釋隱元輸出與網路參數的物理含義，探討動力學特性對神經網路泛化誤差、訓練誤差、樣本數與網路規模的影響機理，提出動力學特性約束條件下的監督學習算法、正則化項構造方法以及樣本採集技術，研究利用根系吸水過程、降雨入滲過程中的動力學特性來緩解墒情預測神經網路訓練中存在的過學習問題。它的研究將實現神經網路由黑箱子模型向有一定物理意義模型的轉變，為從本質上改善網路泛化性能提供新的有效途徑。

結題摘要

神經網路因其對任意非線性函式或泛函的良好逼近能力使其得到了極其廣泛的套用，但同時也因其純粹採用數據驅動的監督學習算法使其成為 “黑箱子”模型。實際上，對於研究問題的結構特徵、統計特徵和動力學特性等內在機理並非一無所知，但是如何利用這些內在機理或者是物理機制改善網路的泛化能力，這方面的研究基本屬於空白。 （1）項目全面評述了基於領域知識的神經網路模型開發與套用研究現狀，開展了土壤剖面含水率的室內試驗和野外田間的測定試驗，首次建立了基於土壤動力學特性和放射性核素遷移擴散動力學特性的機理神經網路模型與求解算法的研究，分析了動力學特性對神經網路泛化誤差、訓練誤差、樣本數與網路規模的影響機理。 （2）以土壤墒情過程預測為例為例，構建基於Richards方程的土壤墒情預測神經網路模型，對土壤剖面10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm處的含水率同時進行預測，結果表明：先驗神經網路模型預測結果的相關係數都達到了0.98以上、相對誤差都在0.1‰以內、確定性係數都到達了0.95以上，具有更高的預測精度，並且能夠更加符合實際模型的變化規律和趨向，使得違背客觀規律的數據明顯減少。以土壤深度10cm和90cm處含水率的預測為例，研究了Richards方程的改善能力與網路結構、學習精度和約束強弱之間的關係，結果表明：Richards方程改善神經網路模型預測效果的能力隨著學習精度的提高而逐漸變小；隨著隱含層節點數的增加，Richards方程的改善能力大致表現出先變大後變小的趨勢，在局部範圍內有一定的波動現象；隨著約束條件不斷增強，Richards方程的改善能力逐漸提高。 （3）以放射性核素遷移擴散預測為例，建立了一種以放射性流出物在受納水體中的遷移擴散組分輸運方程為基礎的新型神經網路模型，該模型耦合組分輸運方程和神經網路模型，採用主從種群粒子群算法尋求滿足組分輸運方程的神經網路權值與閾值。以湖北鹹寧大畈核電站受納水體富水水庫為研究對象，對事故工況下長半衰期核素遷移擴散進行模擬預測，研究結果表明有一定物理基礎的神經網路模型是一種有效、可行的預測方法，預測結果與機理模型的模擬輸出擬合度較好，新模型較傳統的黑箱神經網路模型以及基於單調型先驗知識神經網路模型具有更強的泛化性能改善能力。