非常返狀態(non-recurrent state)亦稱瞬時狀態,不是常返狀態的狀態。換句話說,馬爾可夫鏈的狀態i稱為非常返的,如果鏈從狀態i出發,它將以正的機率不再返回i,這又等價於說不管鏈從哪一個狀態出發,以機率1它最多只能經過狀態i有限多次。
基本介紹
- 中文名:非常返狀態
- 外文名:non-recurrent state
- 學科:數學
- 適用場合:馬爾地夫鏈
- 別稱:瞬時狀態
- 相關名詞:常返狀態
簡介,狀態類型的判斷,定理,定理1,定理2,定理3,舉例,
簡介
記
,稱為馬氏鏈在0時從狀態i出發,永遠不能轉移到
狀態j的機率。


又記
,稱
為馬氏鏈在0時從狀態i出發,經有限步轉移後終究到達狀態j的機率(也稱遲早機率)。




設狀態

(1)若
則稱狀態i是常返的(返回的);

(2)若
則稱狀態i是非常返的(滑過狀態)。

當i為常返態時,也就有

即
構成機率分布,則相應的數學期望為


則
表示馬氏鏈從狀態i出發首次再返回狀態i的平均時間(或平均轉移步數)。

利用量
可以進一步定義狀態類型:

(1)若
則稱狀態i為正常返狀態;

(2)若
則稱狀態i為零常返狀態(消極常返狀態)。

狀態類型的判斷



定理
定理1
設狀態
,則

(1)狀態i是常返的(
)充要條件為


(2)狀態i是非常返的(
)充要條件為


定理2
齊次馬氏鏈的狀態空間S可唯一地分解為有限或可列無限多個互不相交的狀態子集的並。即

其中D是所有非常返狀態構成的狀態子集。

每個狀態子集中的狀態有著相同的狀態類型:即 或者均為零常返,或者均為正常返非周期,或者均為正常返周期且周期相同。
定理3
設X是狀態有限的齊次馬氏鏈, 則
(1) X的非常返狀態集D不可能是閉集;
(2) X不存在零常返狀態;
(3) 若X是不可約的, 則X所有的狀態都是正常返的。
舉例
設狀態空間S={1, 2, 3, 4}的馬爾可夫鏈,它的一步轉移機率矩陣為

試分析馬氏鏈的狀態的常返與否。
解:馬氏鏈的狀態轉移圖為

因為

所以
,所以狀態常返。

又
,故狀態1正常返。


因為

所以
,故狀態3非常返。

類似可以討論狀態2和4。
因此可用下面的圖來表示各狀態的關係:
