主觀機率和先驗分布,基本概念,機率(probability),主觀機率,機率的數學定義,主客觀機率的比較,設定先驗分布時的幾點假設,離散型隨機變數先驗分布的設定,連續型RV的先驗分布的設定,無信息先驗分布,為什麼要研究無信息先驗,如何設定無信息先驗分布,利用過去的數據設定先驗分布,有θ的統計數據,狀態θ不能直接觀察時,
主觀機率和先驗分布
Subjective Probability and Prior Distribution
本章主要參考文獻:60,52,上帝怎樣擲骰子
基本概念
機率(probability)
1. 頻率
fn(A)==Na/N
2.每個基本事件等可能
3.公理化定義
E是隨機試驗,S是E的樣本空間,對E的每一事件A,對應有確定實數P(A),若滿足:
① 非負性:0≤P(A)≤1
② 規範性: P(S)=1
③可列可加性:對兩兩不相容事件Ak (k=1,2…) (Ai∩ Aj=φ)
P(∪Ak)=∑P(Ak)
則稱P(A)為事件A發生的機率
主觀機率
(subjective probability, likelihood)
1. 為什麼引入主觀機率
。有的自然狀態無法重複試驗
如:明天是否下雨
新產品銷路如何
明年國民經濟成長率如何
能否考上博士生
。試驗費用過於昂貴、代價過大
例:洲飛彈命中率
戰爭中對敵方下一步行動的估計
2.主觀機率定義:合理的信念的測度
某人對特定事件會發生的可能的度量。
即他相信(認為)事件將會發生的可能性大小的程度。
這種相信的程度是一種信念,是主觀的,但又是根據經驗、各方面知識,對
客觀情況的了解進行分析、推理、綜合判斷而設定(Assignment)的,與主觀臆測不同。
機率的數學定義
對非空集Ω,元素ω,即Ω={ω},F是Ω的子集A所構成的σ-域(即Ω∈F;
若A∈F則A∈F;
若Ai∈F i=1,2,…則∪Ai∈F)
若P(A)是定在F上的實值集函式,它滿足
① 非負性 P(A)≥0
② 規範性 P(Ω)=1
③可列可加性
則稱P(A)為直的(主以或客觀)機率測度,簡稱機率
ω為基本事件
A為事件
三元總體(Ω,F,P)稱為機率空間
注意:主觀機率和客觀機率(objective probability)有相同的定義
主客觀機率的比較
(一) 基本屬性:
O:系統的固有的客觀性質,在相同條件下重複試驗時頻經的極限
S:機率是觀察者而非系統的性質,是觀察者對對系統處於某狀態的信任程度
(二)拋硬幣:正面向上機率為1/2
O:只要硬幣均勻,拋法類似,次數足夠多,正面向上的機率就是1/2,這是簡單的
定義。
S:這確是定義,DMer認為硬幣是均勻的,正、反面出現的可能性(似然率)相同,1
/2是個主觀的量。
(三)下次拋硬幣出現正面的機率是1/2
O:這種說法不對,不重複試驗就談不上機率
S:對DMer來說,下次出現正、反是等可能的。但是他不是說硬幣本身是公正的,它可能會有偏差,就他現有知識而言,沒有理由預言一面出現的可能會大於另一面,但多次拋擲的觀察結果可以改變他的信念。
O、S:下次拋硬幣出現正面還是反面不能確定,但知道:
要么是正面,要么是反面。
先驗分布(Prior distribution)及其設定
在決策分析中,尚未通過試驗收集狀態信息時所具有的信息叫先驗信息,由先驗信息所確定的機率分布叫先驗分布。
設定先驗分布是Bayesean分析的需要.
設定先驗分布時的幾點假設
1.連通性(Connectivity),又稱可比性
即事件A和B發生的似然性likelihood是可以比較的:
A>L B或A L B或B>L A 必有一種也僅有一種成立.
** A>L B讀作 A 發生的似然性大於B 發生的似然性,
A L B 讀作 A 發生的似然性與B 發生的似然性相當。
2.傳遞性(Transitivity)
若對事件A,B,C , A >L B, B >L C 則A >L C
3. 部分小於全體:若A?B則BL A
例:設定明年國民經濟成長率時:
①A:8~11% B:12~15% C:15~20%
若 A >L B, B >L C , 則 A >L C
② A:8~11% D:8~10% 必有D >L A
離散型隨機變數先驗分布的設定
1.對各事件加以比較確定相對似然率
例1. 考博士生 E:考取 E:考不取
若P(E)=2P(E) 則P(E)=2/3 P(E)=1/3
例2。某地氣候狀況:正常年景θ1,旱θ2,澇θ3
正常與災年之比:3∶2 則P(θ1)=0.6
水旱災之比1∶1 P(θ2)=P(θ3)=0.2
該法適用於狀態數較少的場合
2.打賭法
設 事件E發生時收入P,(0 <P <1) 且 E\c=(1—P)
調整P,使決策人感到兩者無差異為止, 則:P(E)=P
連續型RV的先驗分布的設定
1.直方圖法
·該法適用於θ取值是實軸的的某個區間的情況
·步驟:①,將區間劃分子區間θi…離散化
②設定每個子區間的似然率π(θi)…賦值
③變換成機率密度曲線
例如:明年國民經濟的增長率
·缺點:①子區間的劃分沒有標準
②賦值不易
③尾部誤差過大
2.相對似然率法
·適用範圍:同1
步驟:①離散化
②賦值:給出各區間似然的相對比值
③規範化:
例如:同1
A. 相對似然率R 似然率π(A)
子區間8~9% 10 10/ΣR
7~8 9 9/ΣR
9~10 7.5 7.5/ΣR
B. 決策者給出每二個狀態似然率的比例關係
aij= pi/pj (1)
應有
aij= 1/aji (2)
aij=aik.akj (3)
在(3)式不滿足時,可用最小二乘法估計決策人心目中真正的主觀機率分布Pi i=1,…,n
即求規劃問題
min{∑∑(aijpj - pi)}
s.t. ∑pi= 1 , pi≥0
*用拉格朗日乘數法,構造拉格朗日函式
L=
上式對 ,i=1,2…n求偏導數,並令其為0,得:
l=1,2,…,n.
與 聯列,構成n+1階齊次方程組,求得Pi, i=1,…,n
3.區間對分法
·適用範圍:可以是開區間
·步驟:①求中位
②確定上、下四分位點(quartile fractile)
③由於誤差積累,最多確定八分位點(Eighth fractile)
例:產品銷售量(預計明年)
·缺點:精度差
4.與給定形式的分布函式相匹配
這是最常用,且常常被濫用的方法
·步驟:①選擇一個與先驗信息匹配得最好的函式
如正態,泊松,β,e-Cauchy分布等
例:a)在單位時間以恆常的平均比率入出現,則在T單位長度時間內該事件出現的次數服從Poisson分布
2-4
b)若影響某一隨機變數的因素很多而每一因素的作用均不顯著,則該變數服從常態分配。例如,測量誤差,彈落點,人的生理特徵的度量,農作物產量等均服從常態分配。
c)事件A出現的機率為P,n次獨立試驗出現r次A的機率b(p,r,n)= . 即服從二項分布。
②參數估計:
A.矩法:N(μ,σ) Be(α,β)
·缺點:尾部估計不準,但對矩的影響卻很大
B.分位數:利用幾個分位點和現成的機率密度
函式分位數表,估計參數並檢驗。
5. 機率盤法(dart)
用園盤中的扇形區表示抽獎事件, 透用於西方管理人員
·注意:狀態的機率或機率分布不是也不應富由決策分析人員來設定,而應當由決策人和有關問題專家提供基本信息。
理由:
無信息先驗分布
為什麼要研究無信息先驗
·Bayesean法需要有先驗分布,
貝葉斯法的簡明性使人在無信息時也想用它。
如何設定無信息先驗分布
1.位置參數
隨機變數X的機率密度函式形如f(x-θ)時θ∈ 稱為位置參數
其無信息先驗 π(θ)必為一常數
2.標度參數
X的密度函式為1/σf(x/σ)σ>稱為標度密度σ稱為標度參數
其無信息先驗π(σ)=1/σ
利用過去的數據設定先驗分布
有θ的統計數據
為能獲得θ的觀察值θi i=1,…,n的數據,則可:
①通過直方圖勾劃出先驗分布
②選取可能的函式形式作為先驗分布,再定參數
③求頻率(離散RV)
狀態θ不能直接觀察時
若直接觀察的只是與 有關的 (通常都是如此)則要從 中獲取 的先驗信息很困難: 的分布是隨邊緣分布m(.)而定的:
m(x)= 或m(x)=
X、Θ的聯合密度是h(x,θ)=f(x|θ)μ(θ)
由 估計m(x)不難,但即使f(x|θ)已知,由此估計μ(θ