非常返狀態

非常返狀態(non-recurrent state)亦稱瞬時狀態，不是常返狀態的狀態。換句話說，馬爾可夫鏈的狀態i稱為非常返的，如果鏈從狀態i出發，它將以正的機率不再返回i，這又等價於說不管鏈從哪一個狀態出發，以機率1它最多只能經過狀態i有限多次。

基本介紹

• 中文名：非常返狀態
• 外文名：non-recurrent state
• 別名：瞬時狀態
• 學科：數學
• 適用場合：馬爾可夫鏈
• 相關名詞：常返狀態
• 類型：數學術語

簡介

設任意的 稱 為馬氏鏈在0時從狀態i出發,經n步轉移後，首次到達狀態j的機率。簡稱首達機率。

記 ，稱為馬氏鏈在0時從狀態i出發，永遠不能轉移到 狀態j的機率。

又記 ，稱 為馬氏鏈在0時從狀態i出發，經有限步轉移後終究到達狀態j的機率（也稱遲早機率）。

特別的，當i=j時，表示馬氏鏈在0時從狀態i出發，經有限步轉移後終究返回狀態i的機率。

利用機率可以定義狀態類型：

設狀態

（1）若 則稱狀態i是常返的（返回的）；

（2）若 則稱狀態i是非常返的(滑過狀態)。

當i為常返態時，也就有

即 構成機率分布，則相應的數學期望為

則 表示馬氏鏈從狀態i出發首次再返回狀態i的平均時間（或平均轉移步數）。

利用量 可以進一步定義狀態類型：

（1）若 則稱狀態i為正常返狀態；

（2）若 則稱狀態i為零常返狀態（消極常返狀態）。

狀態類型的判斷

定理

定理1

設狀態 ，則

（1）狀態i是常返的（ ）充要條件為

（2）狀態i是非常返的( )充要條件為

定理2

齊次馬氏鏈的狀態空間S可唯一地分解為有限或可列無限多個互不相交的狀態子集的並。即

其中D是所有非常返狀態構成的狀態子集。

均是由常返態構成的不可約閉集。

每個狀態子集中的狀態有著相同的狀態類型：即 或者均為零常返,或者均為正常返非周期，或者均為正常返周期且周期相同。

定理3

設X是狀態有限的齊次馬氏鏈， 則

(1) X的非常返狀態集D不可能是閉集；

(2) X不存在零常返狀態；

(3) 若X是不可約的， 則X所有的狀態都是正常返的。

舉例

設狀態空間S={1, 2, 3, 4}的馬爾可夫鏈，它的一步轉移機率矩陣為

試分析馬氏鏈的狀態的常返與否。

解：馬氏鏈的狀態轉移圖為

因為

所以 ，所以狀態常返。

又 ，故狀態1正常返。

因為

所以 ，故狀態3非常返。

類似可以討論狀態2和4。

因此可用下面的圖來表示各狀態的關係：