折扣模型

折扣模型是採用折扣指標的馬爾可夫決策過程。考慮到決策者對時間的偏好，未來的損失(或收益)和等額的目前的損失(或收益)對決策者產生的影響是不完全相同的。在許多經濟問題中，決策者對現在的損失(或收益)實際上比對未來的損失(或收益)看得更重些。因此，在把未來的損失折算為目前的損失時，需要乘上一個折扣率，在經濟學上稱為貼現率。

折扣率β是大於0且小於1的一個實數，它把下一個周期的期望損失(或收益)折算到上一個周期。已經證明：如果一個策略是β折扣最優的，那么初始時刻的決策規劃所構成的平穩策略對同一個β也是折扣最優的，而且它還可以分解為若干個確定性平穩策略，它們對同一個β都是最優的。現在已有計算這種最優策略的算法，例如策略疊代法等。