基于局部泛化誤差界的RBF網(wǎng)絡(luò)訓(xùn)練方法研究ppt課件

《基于局部泛化誤差界的RBF網(wǎng)絡(luò)訓(xùn)練方法研究ppt課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《基于局部泛化誤差界的RBF網(wǎng)絡(luò)訓(xùn)練方法研究ppt課件（22頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,基于局部泛化誤差界的RBF網(wǎng)絡(luò)訓(xùn)練方法研究,報(bào)告人：劉曉艷,基于局部泛化誤差界的RBF網(wǎng)絡(luò)訓(xùn)練方法研究報(bào)告人：劉曉艷,1,主要內(nèi)容,課題來源及背景和意義,研究現(xiàn)狀及分析,所做的工作,遇到的問題及進(jìn)一步的工作,參考文獻(xiàn),主要內(nèi)容課題來源及背景和意義,2,課題來源及背景和意義,RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇中，即隱含層神經(jīng)元個(gè)數(shù)的確定問題，一直是難點(diǎn)。合理的選擇其結(jié)構(gòu)會(huì)提高RBF神經(jīng)網(wǎng)絡(luò)的泛化能力。,局部泛化誤差模型，考慮分類器在輸入空間局部區(qū)域上的泛化能力。對于量化的考察對于網(wǎng)絡(luò)的容錯(cuò)能力（error-tolera

2、nce）和泛化能力(generalization ability)有一定啟發(fā)意義。,神經(jīng)網(wǎng)絡(luò)的敏感性標(biāo)示著這種分類器的variance特性，而經(jīng)驗(yàn)誤差的大小則是標(biāo)示著分類器的bias特性，將兩者有機(jī)的結(jié)合起來作為一種評價(jià)分類器泛化能力的標(biāo)準(zhǔn)可能會(huì)有很好的效果。（,criteria,）,課題來源及背景和意義RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇中，即隱含層,3,研究現(xiàn)狀及分析,介紹局部泛化誤差模型現(xiàn)狀,敏感性SM(sensitivity measure),敏感性定義及其計(jì)算,敏感性用途,Constructive for neural network,Center selection,Feature/sampl

3、e/weight accuracy selection,研究現(xiàn)狀及分析介紹局部泛化誤差模型現(xiàn)狀敏感性定義及其計(jì)算敏感,4,敏感性定義及其計(jì)算,定義：衡量網(wǎng)絡(luò)輸出對于輸入或權(quán)重（或其他的參數(shù)）的擾動(dòng)而改變程度的定量度量。,對象上：,Sensitivity to input perturbation,Sensitivity to weight perturbation,Sensitivity to neuron perturbation,計(jì)算方式上：,Partial derivative sensitivity analysis,stochastic sensitivity analysis,要求

4、激活函數(shù)對于輸入是可微的并且輸入擾動(dòng)必須很小,考察輸出變化的期望或方差概率特性,敏感性定義及其計(jì)算定義：衡量網(wǎng)絡(luò)輸出對于輸入或權(quán)重（或其他的,5,敏感性的應(yīng)用,正是由于敏感性考察網(wǎng)絡(luò)各參數(shù)的變化對于網(wǎng)絡(luò)輸出的影響程度，因而，基于敏感性分析來優(yōu)化或調(diào)整各參數(shù)的選擇即成為它的主要應(yīng)用方向。,敏感性引用于RBF神經(jīng)網(wǎng)絡(luò)的中心選擇（結(jié)構(gòu)選擇）,1.“,Sensitivity analysis applied to the construction of radial basis function networks”D.Shia,D.S.Yeung,J.Gao,2.“,LOCALIZED GENERAL

5、IZATION ERROR AND ITS APPLICATION TO RBFNN TRAINING”,WING W.Y.NG,DANIEL S.YEUNG,DE-FENG WANG,ERIC C.C.TSANG,XI-ZHAO WANG,3.“,Hidden neuron pruning multilayer perceptrons using a sensitivity measure”Daniel s.yeung，xiaoqin zeng,敏感性用于sample selection（Active learning）,“Active Learning Using Localized Ge

6、neralization Error of Candidate Sample as Criterion”Patrick P.K.Chan，Wing W.Y.Ng，Daniel S.Yeung,敏感性用于feature selection,wing,敏感性的應(yīng)用正是由于敏感性考察網(wǎng)絡(luò)各參數(shù)的變化對于網(wǎng)絡(luò)輸出的,6,研究現(xiàn)狀及分析,現(xiàn)存的局部泛化誤差模型理論,differences between the maximum and minimum values of the target output,分類問題中，目標(biāo)輸出的最大最小值之差至少為1，那么將該模型用于結(jié)構(gòu)選擇時(shí)就會(huì)出現(xiàn)問題。,研究現(xiàn)狀及

7、分析現(xiàn)存的局部泛化誤差模型理論difference,7,研究現(xiàn)狀及分析,現(xiàn)存的局部泛化誤差模型用于RBFNN的結(jié)構(gòu)選擇,思想：兩個(gè),分類器f1，f2，如果存在Q1，使得,f2 has a,better,Generalization,capability,RSM（Q1）a,for f1,RSM（Q2）a，for f2,Q1 Q2,在相同誤差界標(biāo)準(zhǔn)下，設(shè)計(jì)分類器使得它覆蓋的Q鄰域比較大，認(rèn)為覆蓋的鄰域面積越大，得到的分類器的泛化能力越好。,分析：界的閾值a的取值標(biāo)準(zhǔn)難以確定，現(xiàn)存的方法建議a取0.25，這樣在解上述二次方程時(shí)就會(huì)出現(xiàn)問題。,研究現(xiàn)狀及分析現(xiàn)存的局部泛化誤差模型用于RBFNN的結(jié)構(gòu)選

8、擇,8,研究現(xiàn)狀及分析,分類問題中取值大于1,0.25,1.由于在解方程時(shí)存在矛盾之處，造成該模型用于RBFNN結(jié)構(gòu)設(shè)計(jì)時(shí)存在問題。,2.有關(guān)界的表達(dá)式，存在常數(shù)A其值是否相對過大的問題，相對于前兩項(xiàng)如果取值過大的話，其失去意義。,3.單純的將經(jīng)驗(yàn)誤差作為訓(xùn)練RBF分類器的標(biāo)準(zhǔn)的話，存在過擬和 以及得到的分類器的泛化能力不高的缺點(diǎn)。,研究現(xiàn)狀及分析分類問題中取值大于10.251.由于在解方程,9,所做的工作,將經(jīng)驗(yàn)誤差項(xiàng)和敏感性項(xiàng)的加和做為一種新的評價(jià)分類器泛化能力的標(biāo)準(zhǔn)（QNBQ neighborhood balance）?？疾炱浜侠硇?。,將QNB用于RBFNN的結(jié)構(gòu)選擇，設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。,用

9、范數(shù)形式簡化現(xiàn)有的局部泛化誤差模型的分析表達(dá)式。得到一種基于范數(shù)的局部泛化誤差界的分析式。,所做的工作將經(jīng)驗(yàn)誤差項(xiàng)和敏感性項(xiàng)的加和做為一種新的評價(jià)分類器,10,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性,measure for classifier complexity,圖示（1）：“,simple”classifier,Low SM，but bad training error,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性measure fo,11,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性,圖示（2）,：“,complex”classifier,high SM，but bad generaliza

10、tion capability and maybe overfitting,VC維較大,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性圖示（2）：“com,12,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性,圖示（3）,：“,good fit”classifier，what we expected,Good balance,between,Training error,SM,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性圖示（3）：“goo,13,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性(實(shí)驗(yàn)),Sensitivity measure 衡量RBFNN復(fù)雜程度,Iris dataset,Ionosphere d

11、ataset,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性(實(shí)驗(yàn))Sensit,14,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性(實(shí)驗(yàn)),Hidden number（K）,QNB作為一個(gè)衡量分類器評價(jià)標(biāo)準(zhǔn)的合理性(實(shí)驗(yàn))Hidden,15,QNB用于RBFNN的結(jié)構(gòu)選擇(architecture selection),Algorithm:,Step 1:,Start with the number of the hidden neurons by 1.,Step 2:,Perform k-means clustering to find the location of centers for the

12、 hidden numbers.,Step 3:,Select the width of each neuron to be half of the maximum distance between the,center itself and other neurons.,Step 4:,Using pseudo-inverse method to obtain the weight.,Step 5:,For a selected Q value,compute the current neural networks error bound by the following equation:

13、,Step 6:,Find the minimum error bound,and output the corresponding hidden neurons number.,QNB用于RBFNN的結(jié)構(gòu)選擇(architecture s,16,初步實(shí)驗(yàn)情況,Hidden number,9,13,8,8,7,10,9,7,7,9,8.7,(average),Train accuracy,0.9619,0.9810,0.9238,0.9714,0.9524,0.9619,0.9714,0.9619,0.9810,0.9714,0.9638,(average),Test accuracy,0.9

14、333,0.9556,0.8667,1,0.9333,0.9778,0.9333,0.9111,0.9556,0.9333,0.9400,(average),(Iris,Q=0.1)information,：,4 150，3 classes,(Pima,Q=0.1)information,：,8768，2 classes,Hidden number,23,22,15,18,17,22,22,26,18,21,20.4,(average),Train accuracy,0.7989,0.7877,0.7914,0.7803,0.7877,0.7952,0.8082,0.8007,0.8007,0

15、.7952,0.7946,(average),Test accuracy,0.7749,0.7706,0.7662,0.7489,0.7662,0.7792,0.7359,0.7489,0.7749,0.7619,0.7628,(average),初步實(shí)驗(yàn)情況Hidden number91388710977,17,初步實(shí)驗(yàn)情況,Hidden number,7,8,8,7,9,7,9,7,8,8,7.8000,(average),Train accuracy,0.9597,0.9919,0.9758,0.9839,0.9839,0.9597,0.9758,0.9597,0.9758,0.9758

16、,0.9742,(average),Test accuracy,0.9259,0.9444,1,0.9074,0.9815,0.9815,0.9444,0.9630,0.9815,0.9630,0.9593,(average),(Wine,Q=1.5)information,：,13178，3 classes,Hidden number,17,18,16,15,19,18,14,18,16,16,16.7（average）,Train accuracy,0.9184,0.9388,0.9347,0.9143,0.9469,0.9347,0.9429,0.9510,0.9347,0.9224,0.9339（average）,Test accuracy,0.9245,0.9245,0.9528,0.9340,0.9151,0.9245,0.9245,0.9057,0.9434,0.9340,0.9283（average）,(Ionosphere,Q=1.0)information,：,34 351，2 classes,初步實(shí)驗(yàn)情況Hidden number78879797887,18,初步