半馬爾可夫過程(semi-Markov process)馬爾可夫鏈的一種推廣
半馬爾可夫過程(semi-Markov process)馬爾可夫鏈的一種推廣.人們知道，若{X (t),t}0}是一馬爾可夫鏈，0<=ta)Gt,GtZG…是這鏈發生狀態轉移的時刻，則隨機序列{X =X (t +0),n}0}是一離散時間參數馬爾可夫鏈，而且鏈(X<t)}在狀態Xn=X(tn+0)逗留的時間:.}+}-t.}+Wt (n=0,1,2,…)是指數分布隨機變數，其分布的參數可以依賴於狀態X .現在，如果保留{X.,,n}叫是一馬爾可夫鏈的要求，但允許r 十，(n=0,1,2, w)可以有依賴於狀態X。和X，十，的任意分布，則過程{X(t),t}0}稱為半馬爾可夫過程.
若{X (t),t}0}是一半馬爾可夫過程，則{Xn,t , .}{0} (X，和t，的意義如上)是一馬爾可夫更新過程.反之，若{(X ,t ),n,0}是一馬爾可夫更新過程，則由
定義的過程{X (t) ,t,0}是一半馬爾可夫過程.因為半馬爾可夫過程和馬爾可夫更新過程有這樣的對應關係，所以人們有時把這兩類過程看做是等同的(參見“馬爾可夫更新過程”).
