主觀貝葉斯方法【特制材料】

《主觀貝葉斯方法【特制材料】》由會(huì)員分享，可在線閱讀，更多相關(guān)《主觀貝葉斯方法【特制材料】（30頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、 主觀Bayes方法1課程知識(shí) 概述l主觀Bayes方法l又稱(chēng)為主觀概率論l一種處理不確定性推理l一種基于概率邏輯的方法l以概率論中的貝葉斯公式為基礎(chǔ)l首先應(yīng)用于地礦勘探專(zhuān)家系統(tǒng)PROSPECTOR2課程知識(shí)5.3.1 基本Bayes公式 概率論基礎(chǔ)l條件概率：條件概率：設(shè)設(shè)A，B是兩個(gè)隨機(jī)事件，是兩個(gè)隨機(jī)事件，則，則是在是在B事件已經(jīng)發(fā)生的條件下，事件已經(jīng)發(fā)生的條件下，A事件發(fā)送的概事件發(fā)送的概率。率。乘法定理乘法定理:0)(BP)()()|(BPABPBAP)()|()(BPBAPABP3課程知識(shí)5.3.1 基本Bayes公式全概率公式：設(shè)全概率公式：設(shè) 事件滿(mǎn)足：事件滿(mǎn)足：兩兩互不相容，

2、即當(dāng)兩兩互不相容，即當(dāng) 時(shí)，時(shí)，有有 樣本空間樣本空間 則對(duì)任何事件則對(duì)任何事件B,有下式成立：有下式成立：稱(chēng)為稱(chēng)為全概率公式全概率公式。ji jiAA)1(0)(niAPiUniiAD1)|()()(1iniiABPAPBPnAAA,.,214課程知識(shí)5.3.1 基本Bayes公式BayesBayes公式：設(shè)公式：設(shè) 事件滿(mǎn)足：事件滿(mǎn)足：兩兩互不相容，即當(dāng)兩兩互不相容，即當(dāng) 時(shí)，時(shí)，有有 樣本空間樣本空間 則對(duì)任何事件則對(duì)任何事件B,有下式成立：有下式成立：稱(chēng)為稱(chēng)為貝葉斯公式貝葉斯公式。ji jiAA)1(0)(niAPiUniiAD1niBPABPAPBAPiii,.,2,1,)()|()

3、()|(nAAA,215課程知識(shí)5.3.1 基本Bayes公式l把全概率公式帶入貝葉斯公式后，得如下公式:njjjiiiABPAPABPAPBAP1)|()()|()()|(ni,.,2,16課程知識(shí)5.3.1 基本Bayes公式l又有產(chǎn)生式規(guī)則lIF E THEN Hil用產(chǎn)生式中的前提條件E代替Bayes公式中的B，用Hi 代替公式中的Ai,就可以得到公式：l用來(lái)求得在條件E下，Hi的先驗(yàn)概率。niHPHEPHPHEPEHPnjjjiii,.,2,1,)()|()()|()|(17課程知識(shí)5.3.1 基本Bayes公式l在有些情況下，有多個(gè)證據(jù)E1,E2,En和多個(gè)結(jié)論H1,H2,.,Hn

4、，并且每個(gè)證據(jù)都以一定程度支持結(jié)論，這是可對(duì)上面的公式進(jìn)行擴(kuò)充，得：niHPHiEPHEPHPHEPHEPEEEHPnjjmjiimini,.,2,1,)()|(.)|()()|(.)|().|(111218課程知識(shí)5.3.1 基本Bayes公式l此時(shí)，只要知道Hi的先驗(yàn)概率P(Hi)以及Hi成立時(shí)證據(jù)E1,E2,Em出現(xiàn)的條件概率P(E1|Hi),P(E2|Hi),P(Em|Hi)，就可以求得在E1,E2,.,Em出現(xiàn)情況下Hi的條件概率P(Hi|E1E2.Em)9課程知識(shí)5.3.2 主觀Bayes方法l主觀Bayes方法的基本思想l由于證據(jù)E的出現(xiàn)，使得P(H)變?yōu)镻(H|E)l主觀Bay

5、es方法,就是研究利用證據(jù)E，將先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|E)l主觀Bayes方法引入兩個(gè)數(shù)值（LS，LN）用來(lái)度量規(guī)則成立的充分性和必要性。其中，lLS:充分性量度lLN:必要性量度10課程知識(shí)5.3.3 知識(shí)不確定性的表示l1.知識(shí)表示方法知識(shí)表示方法l在地礦勘探專(zhuān)家系統(tǒng)中，為了進(jìn)行不確定性推理，把所有的知識(shí)規(guī)則連接成一個(gè)有向圖，圖中的各節(jié)點(diǎn)代表假設(shè)結(jié)論，弧代表規(guī)則。l在主觀Bayes方法中，知識(shí)的不確定性是以一個(gè)數(shù)值對(duì)（LS，LN）來(lái)進(jìn)行描述的。其具體產(chǎn)生式規(guī)則形式表示為：lIF E THEN (LS,LN)H (P(H)11課程知識(shí)5.3.3 知識(shí)不確定性的表示l其中，(L

6、S,LN)是為度量產(chǎn)生式規(guī)則的不確定性而引入的一組數(shù)值，用來(lái)表示該知識(shí)的強(qiáng)度，LS和LZ的表示形式如下。l(1)充分性度量(LS)的定義)|()|(HEPHEPLS它表示E對(duì)H的支持程度，取值范圍為0,+)。12課程知識(shí)5.3.3 知識(shí)不確定性的表示l(2)必要性度量的定義它表示E對(duì)H的支持程度，即E對(duì)H為真的必要程度，取值范圍0,+)。)|(1)|(1)|()|(HEPHEPHEPHEPLN13課程知識(shí)5.3.3 知識(shí)不確定性的表示l結(jié)合Bayes公式，得：P(H|E)=P(E|H)P(H)/P(E)lBayes公式除以上式得：)()()|()|()|()|(HPHPHEPHEPEHPEHP

7、14課程知識(shí)5.3.3 知識(shí)不確定性的表示l為了討論方便，引入幾率函數(shù) 又l則可以化為)(1)()(xPxPxO)(1)()(xOxOxP)|()|(HEPHEPLS)()()|()|()|()|(HPHPHEPHEPEHPEHP)()|(HOLSEHO15課程知識(shí)5.3.3 知識(shí)不確定性的表示l上式被稱(chēng)為Bayes公式的幾率似然性形式。LS稱(chēng)為充分似然性，如果LS-+，則證據(jù)E對(duì)于推出H為真是邏輯充分的。l同理，可得關(guān)于LN的公式：lO(H|E)=LN O(H)l其被稱(chēng)為Bayes公式的必率似然性形式。LN稱(chēng)為必然似然性，如果LN=0，則有O(H|E)=0。這說(shuō)明當(dāng)E為真時(shí)，H必為假，即E對(duì)

8、H來(lái)說(shuō)是必然的。16課程知識(shí)5.3.3 知識(shí)不確定性的表示l2.LS和LN的性質(zhì)(1)LS的性質(zhì)LS表示證據(jù)E的存在，影響結(jié)論H為真的概率：O(H|E)=LS O(H)l當(dāng)LS1時(shí)，P(H|E)P(H),即E支持H，E導(dǎo)致H為真的可能性增加；l當(dāng)LS-+時(shí),表示證據(jù)E將致使H為真；l當(dāng)LS=1時(shí)，表示E對(duì)H沒(méi)有影響，與H無(wú)關(guān)；l當(dāng)LS1時(shí)，P(H|E)P(H),即E支持H，E導(dǎo)致H為真的可能性增加；l當(dāng)LN-+時(shí),表示證據(jù)E將致使H為真；l當(dāng)LN=1時(shí)，表示E對(duì)H沒(méi)有影響，與H無(wú)關(guān)；l當(dāng)LN1且LN1LS1LS=1=LN19課程知識(shí)5.3.4 證據(jù)不確定性的表示l1.單個(gè)證據(jù)不確定性的表示方法

9、單個(gè)證據(jù)不確定性的表示方法l證據(jù)通?？梢苑譃槿C據(jù)和部分證據(jù)。全證據(jù)就是所有的證據(jù)，即所有可能的證據(jù)和假設(shè)，他們組成證據(jù)E。部分證據(jù)S就是E的一部分，這部分證據(jù)也可以稱(chēng)之為觀察。在主觀Bayes方法中，證據(jù)的不確定性是用概率表示的。全證據(jù)的可行度依賴(lài)于部分證據(jù)，表示為P(E|S)，為后驗(yàn)概率。20課程知識(shí)5.3.4 證據(jù)不確定性的表示l2.組合證據(jù)的不確定性的確定方法組合證據(jù)的不確定性的確定方法l當(dāng)證據(jù)E由多個(gè)單一證據(jù)合取而成，即l如果已知P(E1|S),P(E2|S),P(En|S)，則lP(E|S)=minP(E1|S),P(E2|S),P(En|S)l若證據(jù)E由多個(gè)但以證據(jù)析取而成，即l

10、P(E|S)=maxP(E1|S),P(E2|S),P(En|S)l對(duì)于非運(yùn)算，lP(E|S)=1-P(E|S)nEEEE.21nEEEE.2121課程知識(shí)5.3.5 不確定性推理計(jì)算l1.確定性證據(jù)確定性證據(jù)l(1)證據(jù)確定出現(xiàn)時(shí)證據(jù)E肯定出現(xiàn)的情況下，吧結(jié)論H的先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|S)的計(jì)算公式為：l(2)證據(jù)確定不出現(xiàn)時(shí)證據(jù)E肯定不出現(xiàn)的情況下，把結(jié)論H的先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|E)的計(jì)算公式為：1)()1()()|(HPLSHPLSEHP1)()1()()|(HPLNHPLNEHP22課程知識(shí)5.3.5 不確定性推理計(jì)算l(2)不確定性證據(jù)l在現(xiàn)實(shí)中,證

11、據(jù)往往是不確定的,即無(wú)法肯定它一定存在或一定不存在l用戶(hù)提供的原始證據(jù)不精確l用戶(hù)的觀察不精確l推理出的中間結(jié)論不精確l假設(shè)S是對(duì)E的觀察,則P(E|S)表示在觀察S下,E為真的概率,值在0,1；23課程知識(shí)5.3.5 不確定性推理計(jì)算l此時(shí)0P(E|S)1，故計(jì)算后驗(yàn)概率P(R|S),不能使用Bayes公式l可以采用下面的公式修正（杜達(dá)公式）)|()|()|()|()|(SEPEHPSEPEHPSHP1）E肯定存在，即P(E|S)=1,且P(E|S)=0，杜達(dá)公式簡(jiǎn)化為：1)()1()()|()|(HPLSHPLSEHPSHP24課程知識(shí)5.3.5 不確定性推理計(jì)算2）E肯定不存在，即P(E

12、|S)=0,P(E|S)=1，杜達(dá)公式簡(jiǎn)化為：1)()1()()|()|(HPLNHPLNEHPSHP3）P(E|S)=P(E)，即E和S無(wú)關(guān),利用全概率公式（公式7），杜達(dá)公式可以化為：)()()|()()|()|(HPEPEHPEPEHPSHP25課程知識(shí)5.3.5 不確定性推理計(jì)算4)當(dāng)P(E|S)為其它值（非0，非1，非P(E)）時(shí)，則需要通過(guò)分段線形插值計(jì)算：1)|()(),()|()(1)()|()()()|(0),|()()|()()|()|(SEPEPEPSEPEPHPEHPHPEPSEPSEPEPEHPHPEHPSHP?26課程知識(shí)5.3.6結(jié)論不確定性的合成和更新算法l1.

13、結(jié)論不確定性的合成算法結(jié)論不確定性的合成算法ln條規(guī)則都支持同一結(jié)論R,l這些規(guī)則的前提條件E1,E2,En 相互獨(dú)立l每個(gè)證據(jù)所對(duì)應(yīng)的觀察為S1,S2,Snl先計(jì)算O(H|Si)，然后再計(jì)算所有觀察下，H的后驗(yàn)幾率計(jì)算方法:)()()|()()|()()|(),.,|(2121HOHOSHOHOSHOHOSHOSSSHOnnL27課程知識(shí)5.3.6結(jié)論不確定性的合成和更新算法l2.結(jié)論不確定性的更新算法結(jié)論不確定性的更新算法l其思想是，按照順序使用規(guī)則對(duì)先驗(yàn)概率進(jìn)行更新，再把得到的更新概率當(dāng)做先驗(yàn)概率，更新其他規(guī)則，這樣繼續(xù)更新直到所有的規(guī)則使用完。28課程知識(shí)小 結(jié)l主觀Bayes方法（條件概率）l當(dāng)一個(gè)事件發(fā)生后，先驗(yàn)概率如何轉(zhuǎn)變?yōu)楹篁?yàn)概率l推理前知道結(jié)論的先驗(yàn)概率信息l證據(jù)不確定時(shí)，必須采用杜達(dá)等推導(dǎo)公式:lP(R|S)=P(R|E)P(E|S)+P(R|E)P(E|S)29課程知識(shí)30課程知識(shí)