《BP神經(jīng)網(wǎng)絡(luò)》PPT課件.ppt

《《BP神經(jīng)網(wǎng)絡(luò)》PPT課件.ppt》由會員分享，可在線閱讀，更多相關(guān)《《BP神經(jīng)網(wǎng)絡(luò)》PPT課件.ppt（63頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

第2部分：BP神經(jīng)網(wǎng)絡(luò),主要內(nèi)容 一. 人工神經(jīng)網(wǎng)絡(luò)基本知識 生物神經(jīng)網(wǎng)絡(luò)、生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)、人工神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)三要素 典型激活函數(shù) 神經(jīng)網(wǎng)絡(luò)幾種典型形式 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五. 應(yīng)用,人工神經(jīng)網(wǎng)絡(luò) 是生物神經(jīng)網(wǎng)絡(luò)的某種模型(數(shù)學(xué)模型) 是對生物神經(jīng)網(wǎng)絡(luò)的模仿 基本處理單元為人工神經(jīng)元,1. 生物神經(jīng)系統(tǒng)與生物神經(jīng)元 大量生物神經(jīng)元的廣泛、復(fù)雜連接，形成生物神經(jīng)網(wǎng)絡(luò) (Biological Neural Network, BNN)。 實(shí)現(xiàn)各種智能活動 生物神經(jīng)元(neuron)是基本的信息處理單元,(1)生物神經(jīng)系統(tǒng) 生物神經(jīng)元(neuron)是基本的信息處理單元,其組成： 樹突(dendrites), 接收來自外接的信息 細(xì)胞體(cell body), 神經(jīng)細(xì)胞主體，信息加工 軸突(axon), 細(xì)胞的輸出裝置，將信號向外傳遞， 與多個(gè)神經(jīng)元連接 突觸 （synapsse), 神經(jīng)元經(jīng)突觸向其它神經(jīng)元（胞體或樹突）傳遞信號,(2)生物神經(jīng)元的基本特征 神經(jīng)元之間彼此連接 神經(jīng)元之間的連接強(qiáng)度決定信號傳遞的強(qiáng)弱 神經(jīng)元之間的連接強(qiáng)度可以隨訓(xùn)練改變 學(xué)習(xí)、遺忘、疲勞 ----神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱，按外部的激勵(lì)信號做自適應(yīng)變化 興奮與抑制 信號可以起興奮作用，也可以起抑制作用 一個(gè)神經(jīng)元接受信號的累積效果（綜合大小，代數(shù)和）決定該神經(jīng)元的狀態(tài)(興奮、抑制) 每個(gè)神經(jīng)元可以有一個(gè)“閾值”,2. 人工神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)元,(1)基本的人工神經(jīng)元模型,McCulloch-Pitts神經(jīng)元模型 輸入信號；鏈接強(qiáng)度與權(quán)向量； 信號累積 激活與抑制,(1) 基本的人工神經(jīng)元模型,(2) 輸出函數(shù)f,(2)幾種常見形式的傳遞函數(shù)(激活函數(shù)),(2) 輸出函數(shù)f,(2) 輸出函數(shù)f,主要內(nèi)容 人工神經(jīng)網(wǎng)絡(luò)基本知識 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié) 構(gòu)的選擇 五. 應(yīng)用,,各神經(jīng)元接受來自前級的輸入，并產(chǎn)生輸出到下一級，無反饋，可用一有向無環(huán)圖表示。 網(wǎng)絡(luò)中的節(jié)點(diǎn)分兩類：輸入節(jié)點(diǎn)；計(jì)算節(jié)點(diǎn)(神經(jīng)元節(jié)點(diǎn)) 節(jié)點(diǎn)按層(layer)組織 ： 第i層的輸入只與第i-1層的輸出相連。 輸入信號由輸入層輸入,由第一層節(jié)點(diǎn)輸出，傳向下層，…… 前饋：信息由低層向高層單向流動。 ------------------------------------------------- 可見層 輸入層 (input layer) 輸入節(jié)點(diǎn)所在層，無計(jì)算能力 輸出層 (output layer) 節(jié)點(diǎn)為神經(jīng)元 隱含層( hidden layer) 中間層，節(jié)點(diǎn)為神經(jīng)元,1.前饋(forward)神經(jīng)網(wǎng)絡(luò),,具有三層計(jì)算單元的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),2. 感知器神經(jīng)網(wǎng)絡(luò)(感知器)、感知器神經(jīng)元,感知器神經(jīng)元,單層感知器網(wǎng)絡(luò),,感知器神經(jīng)元的傳遞函數(shù) 單層感知網(wǎng)絡(luò)可以實(shí)現(xiàn)線性分類,2. 感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元(續(xù)),(1)多層感知器(MLP) 的一致逼近性,單個(gè)閾值神經(jīng)元可以實(shí)現(xiàn)任意多輸入的與、或及與非、或非邏輯門。 任何邏輯函數(shù)可由兩層前饋網(wǎng)絡(luò)（一層計(jì)算單元）實(shí)現(xiàn)。 三層或三層以上的前饋網(wǎng)絡(luò)通常稱為多層感知器 多層感知器的適用范圍大大超過單層網(wǎng)絡(luò)。,3. 多層感知器（含兩層以上的計(jì)算單元）,多層感知器示意,當(dāng)神經(jīng)元的輸出函數(shù)為sigmoid等函數(shù)時(shí)，三層前饋網(wǎng)絡(luò)(含兩層計(jì)算單元)可以逼近任意的多元非線性函數(shù)。,主要內(nèi)容 一. 人工神經(jīng)網(wǎng)絡(luò)基本知識、神經(jīng)元與感知器 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 數(shù)據(jù)處理及 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五 應(yīng)用,基于閾值神經(jīng)元的多層感知器不足 隱含層不直接與外界連接，誤差無法直接估計(jì) 中間層神經(jīng)元的激活函數(shù)為閾值函數(shù)(或階躍函數(shù)) 無法采用梯度下降法訓(xùn)練神經(jīng)元權(quán)值 基于BP算法的多層感知器(BP網(wǎng)絡(luò)) 各計(jì)算單元(神經(jīng)元節(jié)點(diǎn))傳遞函數(shù)：Sigmoid函數(shù) 誤差逐層反向傳播； 信號逐層正向傳遞,BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩個(gè)階段 (1)信號正向傳遞過程 輸入信息從輸入層經(jīng)隱層逐層、正向傳遞，直至得到各計(jì)算單元的輸出 (2)誤差反向傳播過程 輸出層誤差從輸出層開始，逐層、反向傳播，可間接計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值.,,,,,BP網(wǎng)絡(luò)的優(yōu)點(diǎn) ①特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題 BP網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能 ②具有自學(xué)習(xí)能力 網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實(shí)例集自動提取“合理的”求解規(guī)則 ③網(wǎng)絡(luò)具有一定的推廣、概括能力。,BP網(wǎng)絡(luò)的問題，如： ①BP算法的學(xué)習(xí)速度較慢 ②網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大 ③網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定。 ④網(wǎng)絡(luò)的預(yù)測能力（泛化能力、推廣能力）與訓(xùn)練能力（逼近能力、學(xué)習(xí)能力）的矛盾 。。。。。。,主要內(nèi)容 一. 人工神經(jīng)網(wǎng)絡(luò)基本知識、神經(jīng)元與感知器 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五 應(yīng)用,PART1.輸入/輸出數(shù)據(jù)的處理 回歸或狀態(tài)預(yù)測，數(shù)據(jù)處理方式有所區(qū)別 建模前輸入輸出數(shù)據(jù)的預(yù)處理—正向標(biāo)準(zhǔn)化 建模后輸入輸出數(shù)據(jù)的后處理—反向標(biāo)準(zhǔn)化 特征的平移 特征的尺度調(diào)整 ?[0,1],[-1,1],[-a,a],[0,a],PART2.神經(jīng)網(wǎng)絡(luò)的層次選擇 對多層網(wǎng)絡(luò)要確定選用幾個(gè)隱含層？ 1988年Cybenko指出，若各節(jié)點(diǎn)均采用S型函數(shù)，則 一個(gè)隱含層足以實(shí)現(xiàn)任意判決分類問題； 兩個(gè)隱含層足以實(shí)現(xiàn)輸入圖形的任意輸出 網(wǎng)絡(luò)層次選取依經(jīng)驗(yàn)和情況而定，通常不宜過多。,PART3.節(jié)點(diǎn)數(shù)目的確定 輸入層、輸出層、隱含層節(jié)點(diǎn)數(shù) 1. 輸入層節(jié)點(diǎn)數(shù)的確定 節(jié)點(diǎn)數(shù)=輸入向量的維數(shù),2.輸出層節(jié)點(diǎn)數(shù)的確定 節(jié)點(diǎn)數(shù)取決于: 輸出的表示方法; 類別數(shù)目； 待逼近的函數(shù)數(shù)目。 (1)兩類別問題 單輸出型 1個(gè)判別函數(shù)，1個(gè)輸出節(jié)點(diǎn) (2)多類別問題 輸出節(jié)點(diǎn)數(shù)是類別數(shù)：“C中取1(1-of-C)” C位“0-1”二進(jìn)制編碼 輸出節(jié)點(diǎn)數(shù)是二進(jìn)制編碼的狀態(tài)數(shù) 8類問題，3位二進(jìn)制數(shù) 可能會需增加1個(gè)隱含層以滿足要求 (3)輸出節(jié)點(diǎn)數(shù)是待逼近的函數(shù)個(gè)數(shù),隱含層節(jié)點(diǎn)數(shù)目越大，網(wǎng)絡(luò)學(xué)習(xí)能力越強(qiáng)，但不能保證預(yù)測能力好 —“過學(xué)習(xí)(過擬合)” overfitting 隱含層節(jié)點(diǎn)不能過少，網(wǎng)絡(luò)不能構(gòu)建復(fù)雜決策面：節(jié)點(diǎn)數(shù)越小，網(wǎng)絡(luò)學(xué)習(xí)能力低 --“欠學(xué)習(xí)(欠擬合)” underfitting 如何選擇適當(dāng)數(shù)目“隱含層”節(jié)點(diǎn)，以取得“過學(xué)習(xí)”與 “欠學(xué)習(xí)”之間的平衡？,3.隱含層節(jié)點(diǎn)數(shù)的確定,試湊法 結(jié)合問題先驗(yàn)知識 結(jié)合特定算法 對隱含層節(jié)點(diǎn)數(shù)的選擇，Nielson等指出： 除了圖像情況，在大多數(shù)情況下，可使用4-5個(gè)隱含層節(jié)點(diǎn)對應(yīng)1個(gè)輸入節(jié)點(diǎn)。 在圖像情況下，像素的數(shù)目決定了輸入節(jié)點(diǎn)的數(shù)目，此時(shí)隱含層結(jié)點(diǎn)可取輸入結(jié)點(diǎn)數(shù)的10%左右。 其它經(jīng)驗(yàn),主要內(nèi)容 一. 人工神經(jīng)網(wǎng)絡(luò)基本知識、神經(jīng)元與感知器 二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類 三. BP神經(jīng)網(wǎng)絡(luò) 四. 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇 五 應(yīng)用 回歸 狀態(tài)預(yù)測,1.狀態(tài)預(yù)測 --參考《MATLAB神經(jīng)網(wǎng)絡(luò)30個(gè)案例分析》 例.基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類—四類語音特征信號分析 每組語音信號為24維輸入； 四類語音信號：民歌、古箏、搖滾、流形 共計(jì)2000組語音信號 要求：基于BP網(wǎng)絡(luò)設(shè)計(jì)一個(gè)語音信號類別預(yù)測模型 代碼：見案例1,例：,2. 回歸估計(jì) 例：基于BP神經(jīng)網(wǎng)絡(luò)的公路運(yùn)量(客運(yùn)量、貨運(yùn)量)預(yù)測 公路運(yùn)量與該地區(qū)人數(shù)、機(jī)動車數(shù)量、公路面積有關(guān)。 已知某地區(qū)20年的公路運(yùn)量有關(guān)數(shù)據(jù)，對于未來某兩年，若明確該地區(qū)人數(shù)、機(jī)動車數(shù)量、公路面積，要求：預(yù)測該地區(qū)的公路運(yùn)量。 分析： (1)明確模型輸入輸出關(guān)系 (2)建模： 原始數(shù)據(jù)讀取；數(shù)據(jù)標(biāo)準(zhǔn)化處理；網(wǎng)絡(luò)訓(xùn)練； (3)模型評價(jià)： 對原始數(shù)據(jù)仿真，明確預(yù)測誤差 (4)輸出預(yù)測結(jié)果：對新數(shù)據(jù)預(yù)測結(jié)果,