賦值馬氏過程

賦值馬氏過程( stationary Markov process)具有，v個狀態的馬氏過程。當它在任意時刻從狀態i轉移到狀態J時可以獲得相應的效益，記為r。因這種馬氏過程隨著狀態轉移可得到一系列的效益，故稱。