馬爾可夫更新過程

在機率和統計學中，馬爾可夫更新過程是一個概括馬爾可夫跳躍過程概念的隨機過程。 其他隨機過程如馬可夫鏈，泊松過程和更新過程可以作為MRP（馬爾可夫更新過程）的特殊情況得出。

基本介紹

• 中文名：馬爾可夫更新過程
• 外文名：Markov renewal process
• 學科：數學
• 英文縮寫：MRP
• 本質：馬爾可夫跳躍過程的隨機過程
• 相關名詞：馬爾可夫判決過程

簡介

在機率和統計學中，馬爾可夫更新過程是一個概括馬爾可夫跳躍過程概念的隨機過程。 其他隨機過程如馬可夫鏈，泊松過程和更新過程可以作為MRP（馬爾可夫更新過程）的特殊情況得出。

定義

考慮一個狀態空間 。 考慮一組隨機變數 ，其中 是跳躍時間， 是馬爾可夫鏈中的關聯狀態。 令 到達時間。 那么序列 被稱為馬爾可夫更新過程，如果

與其他隨機過程的關係

1.如果我們為 定義了一個新的隨機過程 ，則過程 被稱為半馬爾科夫過程。 注意，MRP和半馬爾可夫過程之間的主要區別在於前者被定義為一個兩元組的狀態和時間，而後者則是隨著時間的推移演化的實際隨機過程，並且該過程的任何實現都具有一個定義 狀態為任何給定的時間。 整個過程不是馬爾可夫語，即不記憶，如在連續時間馬爾可夫鏈/過程（CTMC）中發生的。 相反，這個過程只是在指定的跳躍時刻的馬爾科夫。 這就是半馬爾可夫這個名字的由來。 （另見：半馬爾可夫模型）。

2.所有保持時間指數分布的半馬爾可夫過程（在上述項目符號中定義）稱為CTMC。 換句話說，如果到達之間的時間是指數分布的，並且如果達到狀態和下一個狀態的等待時間是獨立的，那么我們有一個CTMC。

3.MRP中的序列是離散時間馬爾科夫鏈。 換句話說，如果時間變數在MRP方程中被忽略，我們最終得到一個DTMC。

4.如果τ的序列是獨立且相同分布的，並且如果它們的分布不依賴於狀態，則該過程是更新過程。 所以，如果國家被忽視，我們有一連串的時代，那么我們有一個更新過程。