BP神經(jīng)網(wǎng)絡(luò)方法對車牌照字符的識別畢業(yè)設(shè)計

《BP神經(jīng)網(wǎng)絡(luò)方法對車牌照字符的識別畢業(yè)設(shè)計》由會員分享，可在線閱讀，更多相關(guān)《BP神經(jīng)網(wǎng)絡(luò)方法對車牌照字符的識別畢業(yè)設(shè)計（71頁珍藏版）》請在裝配圖網(wǎng)上搜索。

武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 I 頁摘 要為了對車牌字符的識別，本文將 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用于汽車車牌的自動識別，在車牌圖像進行預(yù)處理后的基礎(chǔ)上，重點討論了用 BP 神經(jīng)網(wǎng)絡(luò)方法對車牌照字符的識別。 首先將訓(xùn)練樣本做圖像預(yù)處理，對車牌上的字符進行分割，得到單個字符。對大小不一的字符做歸一化后，對字符進行特征提取，把長為 15，寬為 25 的歸一化后的圖像中的字符信息提取出來，圖像中白點置為 0，圖像中的黑點置為 1，這樣就得到了 15×25 的特征向量，這個特征向量記錄的就是字符的特征。把這個特征向量送到 BP 網(wǎng)絡(luò)中進行訓(xùn)練，得到了訓(xùn)練好的權(quán)值，把他保存到“win.dat”和“whi.dat”中。然后打開要識別的圖片（即車牌） ，對圖像進行預(yù)處理后就可以識別了。識別率也在 90%以上，表明該方法的有效性。關(guān)鍵字：車牌識別；LPR；字符識別；特征提??； BP 神經(jīng)網(wǎng)絡(luò)；武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 II 頁AbstractFor the discernment to the number plate character, this text applies BP neural network to the automatic discernment of the automobile number plate, on the basis that the number plate picture goes on in advance treated , is it use BP neural network method to car discernment , license plate of character to discuss especially. Will train samples to do the pretreatment of the picture at first, character in number plate cut apart, get the individual character. After making normalization to the character not of uniform size, drew the characteristic to the character 15, wide to draw out for character information of 25 picture behind the normalization, picture white point it puts to be 0, black point of picture is it as 1 , receive 15* 25 characteristic vector quantity like this to put, what the vector quantity of this characteristic is written down is the characteristic of the character . Send the characteristic vector quantity BP network train, get good right value of training, keep him in win.dat and whi.dat. Open picture (namely number plate) discerned to want, go on to picture in advance treated to can discern. The discerning rate is above 90% too; show the validity of this method.Key word：The number plate discerning；The character discerning；LPR；The characteristic is drawn；BP neural network；武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 III 頁目 錄摘要.ⅠABSTRACT.Ⅱ第一章 概述.11.1 基本概念 11.2 字符識別簡介 21.2.1 字符識別發(fā)展概況 .21.2.2 字符識別系統(tǒng)用到的方法 .31.2.3 字符識別原理.41.3 國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢 51.4 基于神經(jīng)網(wǎng)絡(luò)的字符識別系統(tǒng) 61.4.1 系統(tǒng)簡介61.4.2 系統(tǒng)的基本技術(shù)要求71.4.3 系統(tǒng)的軟硬件平臺.7第二章 字符識別系統(tǒng)中的關(guān)鍵技術(shù).82.1 特征提取 82.1.1 基本概念82.1.2 區(qū)域內(nèi)部的數(shù)字特征 .102.1.3 基于邊界的形狀特征 .132.2 神經(jīng)網(wǎng)絡(luò) 182.2.1 人工神經(jīng)元 182.2.2 人工神經(jīng)網(wǎng)絡(luò)構(gòu)成 .222.2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則232.2.4 BP 神經(jīng)網(wǎng)絡(luò) .24第三章 系統(tǒng)的實現(xiàn).313.1 系統(tǒng)流程圖 313.2 程序?qū)崿F(xiàn) 313.3 程序的總體框架 36第四章 系統(tǒng)使用說明、測試及注意事項.37武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 IV 頁4.1 系統(tǒng)使用說明 374.2 系統(tǒng)測試 394.2.1 數(shù)字識別 394.2.2 字母識別 404.2.3 漢字識別 404.2.4 車牌識別 414.3 注意事項 41第五章 結(jié)論和展望.42致謝.43參考文獻(xiàn).44外文原文與譯文.46? 外文原文46? 譯文57武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 0 頁第一章 概 述1.1 基本概念隨著 21 世紀(jì)經(jīng)濟全球化和信息時代的到來，計算機技術(shù)、通信技術(shù)和計算機網(wǎng)絡(luò)技術(shù)迅猛發(fā)展，自動化的信息處理能力和水平不斷提高，并在人們社會活動和生活的各個領(lǐng)域得到廣泛應(yīng)用。高速度、高效率的生活節(jié)奏，使汽車普及成為必然趨勢，交通管理自動化越來越成為亟待解決的問題。在這種情況下，作為信息來源的自動檢測、圖像識別技術(shù)越來越受到人們的重視。目前指紋識別、視網(wǎng)膜識別技術(shù)已經(jīng)到了實用階段；聲音識別技術(shù)發(fā)展也相當(dāng)快，而對汽車牌照等相關(guān)信息的自動采集和管理對于交通車輛管理、園區(qū)車輛管理、停車場管理、交警稽查等方面有著十分重要的意義，成為信息處理技術(shù)的一項重要研究課題。車輛牌照識別（License Plate Recognition, LPR）技術(shù)作為交通管理自動化的重要手段，其任務(wù)是分析、處理汽車監(jiān)控圖像，自動識別汽車牌號，并進行相關(guān)智能化數(shù)據(jù)庫管理。LPR 系統(tǒng)可以廣泛應(yīng)用于高速公路電子收費站、出入控制、公路流量監(jiān)控、失竊車輛查詢、停車場車輛管理、公路稽查、監(jiān)測黑牌機動車、監(jiān)控違章車輛的電子警察等需要車牌認(rèn)證的重要場合，尤其在高速公路收費系統(tǒng)中，實現(xiàn)不停車收費技術(shù)可提高公路系統(tǒng)的運行效率，LPR 系統(tǒng)更具有不可替代的作用，因而對 LPR 車牌識別技術(shù)的研究和應(yīng)用系統(tǒng)開發(fā)具有重要的現(xiàn)實意義。LPR 系統(tǒng)中的兩個關(guān)鍵子系統(tǒng)是車牌定位系統(tǒng)和車牌字符分割識別系統(tǒng)。關(guān)于車牌識別技術(shù)及定位系統(tǒng)研究，國內(nèi)外學(xué)者已經(jīng)作了大量工作，但實際效果并不理想，對輔助光源要求高，很難有效解決復(fù)雜背景下多車牌識別的技術(shù)難題，如：車牌圖像的傾斜、車牌表面污穢或磨損、光線干擾等都會影響定位的準(zhǔn)確性。傳統(tǒng)車牌識別一般僅支持單一車輛，背景比較簡單。而當(dāng)今許多實際應(yīng)用場合，如在繁忙交通路口臨時對欠稅費報廢掛失等車輛的稽查，則監(jiān)視區(qū)域比較復(fù)雜，現(xiàn)有識別方法無法直接應(yīng)用，一般同時出現(xiàn)多輛汽車，背景有廣告牌、樹木、建筑物、斑馬線以及各種背景文字等。武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 1 頁車牌定位與識別方法，總體來說是圖像處理技術(shù)與車牌本身特點的有機結(jié)合，當(dāng)然也包括小波分析、神經(jīng)網(wǎng)絡(luò)、數(shù)學(xué)形態(tài)學(xué)、模糊理論等數(shù)學(xué)知識的有效運用。一個車牌定位與識別系統(tǒng)基本包括：圖像預(yù)處理、車牌搜索、車牌定位、車牌校正、車牌字符分割和字符識別結(jié)果的輸出。本系統(tǒng)主要是在對汽車圖像進行細(xì)致分析，從而研究車牌定位與識別的算法問題。1.2 字符識別簡介1.2.1 字符識別發(fā)展概況字符識別發(fā)展可分為三個階段：第一個階段為初級階段，在這一階段中，技術(shù)上是應(yīng)用一維圖像的處理方法完成二維圖像的識別任務(wù)。這樣萌芽了一個基本思想—抽取特征向量的構(gòu)造和它的相關(guān)函數(shù)?，F(xiàn)在此法仍不失為一種重要的匹配方法。第二個階段為基礎(chǔ)理論研究階段。提出了表示邊界的鏈碼法，用于結(jié)構(gòu)分析的細(xì)化思想，以及一些離散圖形上的拓?fù)湫匝芯浚纬闪瞬粌H能抽取局部特征， 而且能抽取大范圍的凹凸區(qū)域、連通性、孔等特征的算法，完成了作為基礎(chǔ)理論核心的“特征抽取理論” ，及所謂的 K-L 展開法工作。第三個階段為發(fā)展階段。這一階段的研究工作是技術(shù)和實際相結(jié)合，針對實際系統(tǒng)的要求和設(shè)備可能提供的條件，提出了更為復(fù)雜的技術(shù)。但就多種方法分類來說為二大方法：相關(guān)法和構(gòu)造解析法。在這兩類方法的基礎(chǔ)上，已研究出了不同類各具特色的實用系統(tǒng)。字符識別系統(tǒng)根據(jù)輸入設(shè)備的不同有如下分類 [19]，如圖 1.1 所示：武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 2 頁目前開展比較多，并進入實用階段的是光學(xué)字符識別系統(tǒng) (OCR 系統(tǒng))。日本雖說起步不是最早，但因投入了大量的人力和物力，目前處于世界領(lǐng)先地位。七五年日本擁有 650 臺光學(xué)字符識別機，進入了實用階段。到一九七八年，能閱讀英文字母、數(shù)字、片假名和平假名等 118 種 OCRT0300 上市。之后，其研究方向轉(zhuǎn)向了漢字識別。我國是從七十年代開始字符研究的。一九七八年，中科院自動化研究所等合作研制出了“倍函自動化分檢機” ，可識別 0～9 個數(shù)字；一九八七年清華大學(xué)研制的漢字識別系統(tǒng)通過了技術(shù)鑒定，可識別國家二級漢字庫 6000 多字，識別率可達(dá) 99%，速度為 1 字/4 秒；一九八七年十二月，西安交大人工智能和機器人研究所研制的漢字識別系統(tǒng)也通過了技術(shù)鑒定，同樣可識別漢字 6000 多，識別速度可達(dá) 1 字/1 秒，識別率達(dá) 98%以上，處于國內(nèi)領(lǐng)先地位。這都為字符識別的實際應(yīng)用提供了廣闊的前景。1.2.2 字符識別系統(tǒng)用到的方法字符識別系統(tǒng)用到的方法很多。下面以表格的形式，其用到的方法作一簡單的介紹和比較。統(tǒng)計決策 句法結(jié)構(gòu) 模糊判決 邏輯推理 神經(jīng)網(wǎng)絡(luò)主要理 概率論 形式語言 模糊數(shù)學(xué) 演繹邏輯 神經(jīng)生理學(xué)字符識別磁識別 光學(xué)識別 機械識別在線識別 脫機識別單個字符識別 連筆字符識別印刷體字符識別手寫體字符識別圖 1.1 字符識別分類表 1.1 幾種識別方法的比較武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 3 頁論支柱 數(shù)理統(tǒng)計 自動機技術(shù) 布爾代數(shù)模式描述方法 特征向量符號串、樹、圖 模糊集合字符串表示的事實以不同活躍度表示的輸入結(jié)點集模式類判定是一個聚合類。用條件概率分布 P(X| wi)表示，m 類就有m 個分布，然后判定未知模式屬于哪一個分布。是一種語言。用一個文法表示一類，m類就有 m 個文法，然后判定未知模式遵循哪一個文法。是一種集合運算。用隸屬度將模糊集合劃分為若干子集，m 類就有 m 個子集，然后根據(jù)擇近原則分類。是一種布爾演算。從事實出發(fā)運用一系列規(guī)則，推理得到不同結(jié)果，m 類就有 m 個結(jié)果。是一個非線性動態(tài)系統(tǒng)。通過對樣本的學(xué)習(xí)建立起記憶，然后將未知模式判決為其最接近的記憶。主要方法幾何分類：線性分類、非線性分類統(tǒng)計分類：Bayes決策無教師的分類：聚類分析自動機技術(shù)CYK 剖析算法Early 算法轉(zhuǎn)移圖法隸屬度函數(shù)的設(shè)計：模糊設(shè)計法二元對比排序法推理法模糊集運算規(guī)則模糊矩陣產(chǎn)生式推理語義網(wǎng)推理框架推理BP 模型HOP 模型高階網(wǎng)主要優(yōu)缺點優(yōu)點：比較成熟，能考慮干擾、噪聲等影響，識別模式基元能力強。缺點：對結(jié)構(gòu)復(fù)雜的模式抽取特征困難。不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)，難以從整體考慮識別問題。優(yōu)點：識別方便，可從簡單的基元開始，由繁至簡。能反映模式的結(jié)構(gòu)特性，能描述模式的性質(zhì)，對圖像的畸變的抗干擾能力較強。缺點：當(dāng)存在干擾及噪聲時，抽取基元困難，且易失誤。優(yōu)點：由于用隸屬度函數(shù)作為樣品與模板間相似度的度量，故往往能反映它們整體的與主要的特性，從而允許樣品有相當(dāng)?shù)母蓴_與畸變。缺點：準(zhǔn)確合理的隸屬度往往難以建立，故限制了它的應(yīng)用。優(yōu)點：已建立了關(guān)于知識表示及組織，目標(biāo)搜索及匹配的完整體系。對需同過眾多規(guī)則的推理達(dá)到目標(biāo)確認(rèn)的問題，有很好的效果。缺點：當(dāng)樣品有缺損，背景不清晰，規(guī)則不明確甚至有歧義時，效果不好。優(yōu)點：可處理一些環(huán)境信息十分復(fù)雜，背景知識不清楚，推理規(guī)則不明確的問題。允許樣品有較大的缺損和畸變。缺點：模型在不斷豐富與完善中，目前能識別的程式類還不夠多。武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 4 頁1.2.3 字符識別原理近年來，字符識別逐漸成為模式識別領(lǐng)域內(nèi)的一個重要分支。和其他模式識別的應(yīng)用一樣，字符識別的基本思想也是匹配判別。抽取代表未知字符模式本質(zhì)的表達(dá)形式 (如各種特征) 和預(yù)先存儲在機器中的標(biāo)準(zhǔn)字符模式表達(dá)形式的集合 (稱為字典) 逐一匹配，用一定的準(zhǔn)則進行判別，在機器存儲的標(biāo)準(zhǔn)字符模式表達(dá)形式的集合中，找出最接近輸入字符模式的表達(dá)形式，該表達(dá)形式對應(yīng)的字就是識別結(jié)果。字符識別的原理框圖如圖 1.2。字符識別的原理如上圖所示。文字經(jīng)光電掃描，模數(shù)轉(zhuǎn)換為帶灰度值的數(shù)字信號送至預(yù)處理環(huán)節(jié)。預(yù)處理的內(nèi)容和要求取決于識別方法，一般包括行字切分，二值化，規(guī)范化等。經(jīng)過預(yù)處理，字符模式成為規(guī)范化的二值數(shù)字點陣信息。對該二值化漢字點陣，抽取一定的表達(dá)形式后，與存儲在字典中已知的標(biāo)準(zhǔn)字符表達(dá)形式匹配判別，就可識別出輸入的未知字符。圖 1.3 中點劃線以下是識別系統(tǒng)的學(xué)習(xí)部分。學(xué)習(xí)是根據(jù)多個未知字樣抽取出模式表達(dá)形式，自動構(gòu)造或修改充實字典，不斷提高系統(tǒng)識別率。字符的模式表達(dá)形式和相應(yīng)的字典形式有多種，每種形式又可以選擇不同的特征，每種特征又有不同的抽取方法。這些就使得判別方法和準(zhǔn)則以及所用的數(shù)學(xué)工具不同，形成了種類繁多，形式各異的字符識別方法。1.3 國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢車牌識別技術(shù)自 1988 年以來，人們就對它進行了廣泛的研究，目前國內(nèi)外圖 1.2 字符識別的原理框圖預(yù) 處 理 模式表達(dá) 判 別字 典學(xué) 習(xí)識別部分學(xué)習(xí)部分教師字符圖像武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 5 頁已經(jīng)有眾多的算法，一些實用的 LPR 技術(shù)也開始用于車流監(jiān)控、出入控制、電子收費、移動稽查等場合。然而，無論是 LPR 算法還是 LPR 產(chǎn)品幾乎都存在一定的局限性，都需要適應(yīng)新的要求而不斷完善，如現(xiàn)有系統(tǒng)幾乎都無法有效解決復(fù)雜背景下的多車牌圖像分割定位與有效識別的技術(shù)障礙，另外也很難適應(yīng)全天候復(fù)雜環(huán)境及高速度的要求。車牌字符識別實際上是依附在車牌上的印刷體文字的識別，能否正確識別不僅是文字識別技術(shù)的問題，還是考慮其載體——車牌區(qū)域的影響。車牌字符識別技術(shù)是文字識別技術(shù)與車牌圖像自身因素協(xié)調(diào)兼顧的綜合性技術(shù)。由于攝像機的性能、車牌的整潔度、光照條件、拍攝時的傾斜角度及車輛運動等因素的影響使牌照中的字符可能出現(xiàn)比較嚴(yán)重的模糊、歪斜、缺損或污跡干擾，這些都給字符識別帶來了難度。盡管如此，我國依然有大量的學(xué)者從事車牌字符識別研究，文獻(xiàn)給出了基于神經(jīng)網(wǎng)絡(luò)的車牌識別方法，對于解析度較高和圖像比較清晰的車牌，這些方法能有效識別車牌中的字符，但對于較低解析度和較為模糊的車牌無能為力，因為這些方法只有在車牌中的每個字符被獨立分割出來的前提下才能完成識別工作。而獨立分割車牌取得字符，對較低解析度和較為模糊的車牌來說是非常困難的。車牌字符識別的研究在技術(shù)上已經(jīng)取得了一定突破，然而離復(fù)雜多變的實際應(yīng)用要求還有一定差距，許多新方法僅停留在理論和文章上或者限定在比較狹窄的約束范圍內(nèi)，并不能以產(chǎn)品的形式大范圍投入使用。因而車牌字符識別的實用化研究仍然有很長的路要走。目前的車牌識別方法主要是針對車輛自動緩?fù)Ｊ召M、停車場管理等場合，所監(jiān)視的區(qū)域一般只有單一車輛，背景也比較簡單。而如今的許多實際應(yīng)用場合，監(jiān)視區(qū)域比較復(fù)雜，現(xiàn)有的方法無法直接應(yīng)用。比如在移動交警稽查、高速公路的監(jiān)視與監(jiān)控、城市交通要道的監(jiān)視與監(jiān)控，所監(jiān)控的區(qū)域一般會同時出現(xiàn)多輛汽車，背景也比較復(fù)雜，有廣告牌、樹木、建筑物、斑馬線以及各種背景文字等。所以本課題針對這種情況創(chuàng)新性的提出了一種復(fù)雜背景下多車牌定位分割與識別方法，并考慮了彩色分割與 ColorLP 算法，這也是當(dāng)前車牌圖像識別的發(fā)展趨勢。當(dāng)然，車牌識別系統(tǒng)的具體應(yīng)用發(fā)展也很迅猛，從原來的停車靜止拍攝場景應(yīng)用，如收費站、停車場等，發(fā)展到移動公路車輛稽查、違章自動報警、超載闖紅燈等實時監(jiān)控場合應(yīng)用，增加神經(jīng)網(wǎng)絡(luò)自適應(yīng)識別學(xué)習(xí)訓(xùn)練功能，對于武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 6 頁系統(tǒng)響應(yīng)的速度、網(wǎng)絡(luò)化、智能化、識別成功率等實用化要求也越來越高。隨著上述核心技術(shù)的研究發(fā)展，應(yīng)用領(lǐng)域和功能等也獲得大幅提高。1.4 基于神經(jīng)網(wǎng)絡(luò)的字符識別系統(tǒng)1.4.1 系統(tǒng)簡介該系統(tǒng)是為了辨認(rèn)識別圖像中的字符而設(shè)計的，它通過對圖片的一系列處理，最后識別得出圖片中顯示的字符。 系統(tǒng)即可以單獨使用，也可以把它作為一個識別系統(tǒng)的軟件核心應(yīng)用到車牌識別系統(tǒng)中去。1.4.2 系統(tǒng)的基本技術(shù)要求下面是系統(tǒng)具體要達(dá)到的基本技術(shù)要求1.輸入圖片中可以含有多個字符；2.字符的識別準(zhǔn)確率大于90%；3.每張圖片的處理時間（識別時間）不能大于1S；4.對圖片噪聲具有較強的適應(yīng)性；5.系統(tǒng)要能長時間無故障的運行；6.系統(tǒng)的操作要求簡單；1.4.3 系統(tǒng)的軟硬件平臺(1).系統(tǒng)的軟件平臺因為系統(tǒng)運行的過程當(dāng)中，主要進行的都是圖象處理，在這個過程當(dāng)中要進行大量的數(shù)據(jù)處理，所以處理器和內(nèi)存要求比較高，CUP要求主頻在600HZ及其以上，內(nèi)存在128MB及其 以上。(2).系統(tǒng)的軟件平臺系統(tǒng)可以運行于 Windows 98, Windows2000, Windows XP 或者 Windows 2003 操作系統(tǒng)下。程序調(diào)試時，需要使用 Microsoft Visual C++ 6.0（SP6）。武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 7 頁第二章 字符識別系統(tǒng)中的關(guān)鍵技術(shù)2.1 特征提取圖像處理的高級階段是數(shù)字圖像分析（也對以稱為圖像理解） ，主要使用計算機系統(tǒng)，從圖像中提取有用的數(shù)據(jù)或信息，生成非圖像的描述或表示，如數(shù)值、符號等，即抽取圖像特征，從而識別視覺圖像。為了能讓計算機系統(tǒng)認(rèn)識圖像，人們首先必須尋找出算法，分析圖像的特征，然后將其特征用數(shù)學(xué)的辦法表示出來并教會計算機也能讀懂這些特征。這樣，計算機才能具有認(rèn)識或者識別圖像的本領(lǐng)，稱圖像模式識別，也叫圖像識別。要使計算機具有識別的本領(lǐng)，首先要得到圖像的各種特征，即特征提取。圖像特征是指圖像的原始特性或?qū)傩浴Ｃ恳环鶊D像都有其本身的特征，其中有些是視覺直接感受到的自然特征，如亮度、邊緣的輪廓、紋理或色彩等；有些是需要通過變換或測量才能得到的人為特征，如譜、直方圖等。圖像特征提取的結(jié)果給出了某一具體的圖像中與其他圖像相區(qū)別的特征。例如，描述物體表面灰度變化的紋理特征，描述物體外形的形狀特征等。2.1.1 特征提取基本概念圖像識別是根據(jù)一定的圖像特征進行的，顯然這些特征的選擇很重要，它強烈地影響到圖像識別分類器的設(shè)計、性能及其識別結(jié)果的準(zhǔn)確性。特征選擇錯誤，分類就個能分得準(zhǔn)確，甚至無法分類。因此，特征選擇是圖像識別中的一個關(guān)鍵問題。由于實際問題中常常不容易找到那些最重要的特征，或者某些圖像特征還會隨著環(huán)境的變化而發(fā)生變化，這就使得特征的選擇和提取復(fù)雜化。特征選擇和提取的基本任務(wù)是如何從眾多特征中找出那些最有效的特征。在樣本數(shù)量不是很多的情況下，用很多特征進行分類器設(shè)計，從計算復(fù)雜程度和分類器性能來看都是不適宜的。因此研究如何把高維特征寧間壓縮到低維特征空間以便有效地識別圖像成為一個重要的課題，例如手寫體文字識別的特征選擇的研究已將近半個世紀(jì)，但依然是一個研究的難點和熱點。武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 8 頁為了進行識別，需要把圖像從測量空間變換到維數(shù)大大減少的特征空間，被識別的圖像在這個特征空中就是由一個特征向量來表示。為了方便起見，對幾個經(jīng)常用道的有關(guān)名詞作一些說明。1. 特征形成 根據(jù)待識別的圖像，通過計算機產(chǎn)生一維原始特征，稱之為特征形成。2. 特征提取原始特征的數(shù)量很大，或者說圖像本身處于一個高維空間中，通過映射(或變換)的方法可以用低維空間來表示樣本，這個過程叫做特征提取。映射后的特征是原始特征某種組合。所謂特征提取在廣義上說是一種變換。3. 特征提取從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的，這個過程叫做特征選擇。目前幾乎沒有解析的方法能夠知道特征的選擇，很多情況下，憑直覺的引導(dǎo)可以列出一些可能的特征表，然后用特征排序的方法計算不同特征的識別效率。利用其結(jié)果對表進行刪減，從而選出若干最好的特征。良好的特征應(yīng)具備以下 4 個特點：(1) 可區(qū)別性。對屬于不同類的圖像來說，他們的特征應(yīng)具備明顯的差異。(2) 可靠性。對于不同類型的圖像，特征值應(yīng)該比較接近。例如，雜志封面的文字圖像的分割中，顏色是一個不好的特征。因為，封面文字的顏色可以是各種色彩，盡管它們都屬于文字圖像。(3) 獨立性好。所選擇的特征之間彼此不相關(guān)。例如細(xì)胞的曲徑和細(xì)胞的面積高度相關(guān)，因為面積大致與直徑的平方成正比。這兩個特征基本上反映的是相同的屬性，即細(xì)胞的大小。但是，有時相關(guān)性很高的特征組合起來可以減少噪聲干擾，它們一般不作為單獨的特征使用。(4) 數(shù)量少。圖像識別系統(tǒng)的復(fù)雜程度隨著系統(tǒng)維數(shù)（特征的個數(shù)）迅速增長。尤為重要的是用來訓(xùn)練分類器和測試結(jié)果的圖像樣本隨特征數(shù)量呈指數(shù)關(guān)系增長。而且，增加帶噪聲的特征或與現(xiàn)存特征相關(guān)性高的特征實際上會使識別系統(tǒng)的性能下降。武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 9 頁實際應(yīng)用中特征提取過程往往包括：先測試一組自覺上合理的特征，然后減少成數(shù)目合適的滿意集。通常符合上述要求的理想特征是很少甚至沒有的。對計算機圖像識別系統(tǒng)而言，物體的形狀是一個賴以識別的重要特征。一個圖像形狀和結(jié)構(gòu)特征有兩種形式，一種是數(shù)字特征主要包括幾何屬性（如長短、面積、距離和凹凸特性等） ，統(tǒng)計屬性（如黑色像素點在垂直方向的投影）和拓?fù)鋵傩裕ㄈ邕B通、歐拉數(shù)） ；另一種是由字符串和圖等所表示的句法語言。它可以刻畫某一圖像不同部分之間的相互關(guān)系（如文字識別中的筆劃關(guān)系） ，也可以描述不同目標(biāo)間的關(guān)系。由于感興趣的是圖像的形狀和結(jié)構(gòu)特征，所以其灰度信息往往可以忽略，只要能將它與其他目標(biāo)或背景區(qū)分開來即可。常用的一種技術(shù)是二值化圖像，即將感興趣的部分（區(qū)域或邊界）標(biāo)以最大灰度級，把背景（也包括其他任何不感興趣的部分）標(biāo)以最小灰度級，通常為零。二值化圖像在形狀和結(jié)構(gòu)分析中占有很重要的地位，本節(jié)討論的算法如沒有特別說明都是基于二值化圖像的。2.1.2 區(qū)域內(nèi)部的數(shù)字特征1. 矩給定二維連續(xù)函數(shù) f(x,y)，下式定義了其 pq 階矩：(2.1)矩在文字識別中作為有效統(tǒng)計特征而被廣泛運用，它之所以能被用來表征一幅二維圖像是基于下面的帕普利斯（Papoulis）惟一性定理：如果 f(x,y)是分段連續(xù)的，只在 xy 平面的有限部分中有非零值，則所有各階矩皆存在，并且矩序列{M pq}此才惟一地被 f(x,y)所確定，反之{M pq}也唯一地確正 f(x,y)。對一幅二值圖像{ f(x,y):i,j=0,1,2…N-1}來說，上述條件無疑可被滿足。因此，可定義其 pq 階矩為：Mpq=∑∑f(i,j)i pjq (2.2)不同 p、q 值下可以得到不同的圖像矩 Mpq。 ，常用的區(qū)域矩特征有以下幾個：(1) 質(zhì)心武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 10 頁(2.3)(2) 中心矩 (2.4)(3) Hu 矩組 Hu 矩組是{m pq}個矩的函數(shù)，它滿足平移、旋轉(zhuǎn)不變性，因而可被廣泛地應(yīng)用于區(qū)域形狀識別中。M1=m20＋m 02M2=(m20－m 02)2＋4m 112M3=(m30－3m 12)2＋(3m 21+ m03)2M4=(m30＋m 12)2＋(m 21+ m03)2M5=( m30－m 12)( m30＋m 12) (m30＋m 12)2－3(m 21+ m03)2 ＋( 3m 12－m 03) (m21+ m03) 3(m30＋m 12)2－(m 21+ m03)2 M6=(m20－m 02) (m30＋m 12) 2 －(m 21+ m03)2 ＋4m 11 (m30＋m 12)(m21+ m03) M7=(3m12－m 30)( m30＋m 12) (m30＋m 12) 2 －3(m 21+ m03)2 ＋(3m21－m 30)( m21＋m 30) (m03＋m 12) 2 －3(m 12+ m03)2 如果上述的 7 個 Hu 矩中的 mpq 用 來代替，則得到的矩還可以滿足尺度不變性。特別地，M 7 滿足鏡像對稱不變性。(4) 面積區(qū)域的面積定義為區(qū)域中的像素點數(shù)：(2.5) 其中 max 為一位圖像的最大灰度級。(5) 扁度扁度定義為區(qū)域的長短軸之比：(2.6) 根據(jù)帕普利斯的定理，將要無窮多的 mpq 序列才能確定 f(x,y)。在實際應(yīng)用武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 11 頁中，這是不可能實現(xiàn)的，通常取前幾階矩即可，但是這會帶來誤差。2. 投影投影的示意圖如圖 2-1 所示。圖像的數(shù)為{f (x,y)}。S 為投影方向，t 為與其垂直的方向，t 與 x 軸夾角為 ?，則{f (x,y)} 沿著 S 的投影定義為：(2.7)當(dāng) ? 固定時，p(t, ?)為ｔ的函數(shù)，亦即一個一維波形。不斷地從 0~2∏變換?，可得到在不同方向上{f (x,y)}的投影。S y (x,y) t??? x圖 2.1 坐標(biāo)投影(t,s)與原坐標(biāo)系(x,y)間的對應(yīng)關(guān)系由投影定理，對滿足一定條件的{f (x,y)}， 如果知道全部方向上的{p(t, ?)}，就可以唯一地恢復(fù) {f (x,y)}，然而統(tǒng)矩方法一樣，獲得所有方向上的投影在實際應(yīng)用中是行不通的。通常取若干個特定方向上的投影作為以{f (x,y)}形狀特征度量，特別地，在 x 軸和 y 軸上的投影定義為：(2.8)(2.9)應(yīng)用投影定理，可以把二維圖像的問題轉(zhuǎn)變?yōu)橐痪S的曲線波形的問題。3．歐拉數(shù)圖像的歐拉數(shù)是圖像的一中拓?fù)湫再|(zhì)度量，它表明了圖的連通性。歐拉數(shù)定義為一個圖中或一個區(qū)域中的孔數(shù) H 和連接部分?jǐn)?shù) C 的差：E=C－H。對數(shù)字降像而言，如果圖像的背景用 0 標(biāo)記，目標(biāo)物體用 1 記，則歐拉數(shù)可用下式計算：武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 12 頁(2.10)n(1)表明圖像中像素點均數(shù)目， 表示二位圖像中具有垂直相鄰兩個 1 標(biāo)記的狀態(tài)記數(shù)，n(1 1) 表示具有水平相鄰 1 標(biāo)記的狀態(tài)記數(shù)， 表示 4個 1 標(biāo)記相鄰的狀態(tài)記數(shù)。4.幾何特征(1) 面積和周長面積 S 和周長 L 是描述區(qū)域大小的基本特征。計算圖像中某個區(qū)域的面積以及該區(qū)域的周長，根據(jù)它們的比值可以分析或提取該區(qū)域所代表的圖像形狀特征。粗略地說，圖像中的區(qū)域面積Ｓ就是圖像中相同標(biāo)記的像素數(shù)目。由于連續(xù)圖像采用離散的像素點描述時，產(chǎn)生了誤差。例如一個包含 50 個像素的對角線比一個 50 個像素的水平直線要長。因此，在計算血積的過程中對每一個不同像素模式加上不同的權(quán)值，以減少誤差。區(qū)域的周長二用區(qū)域中相鄰邊緣點間的距離之和來表示，同樣存在誤差補償?shù)膯栴}。(2) 圓形度 R圓形度用來表示目標(biāo)物體形狀接近圓形的程度，其計算公式為：(2.11)式中 S 為區(qū)域的面積，L 為周長，R 的取值范圍為 0〈R≤1，R 越人，則區(qū)域越接近圓形。以連續(xù)的圓形，正方形和正三角形為例，它們的圓形度 R 分別為：圓形 R＝1，正方形 R＝0.79，正三角形 R＝0.60。(3) 凹凸特性凹凸特性時區(qū)域的基本特性之一。區(qū)域的凹凸性可以通過以下方法進行判別：區(qū)域內(nèi)任意兩像素間的連線穿過區(qū)域外的像素，則此區(qū)域為凹形。相反，區(qū)域內(nèi)任意兩像素間的連線不穿過區(qū)域外的像素，則稱為凸形。在粘連字符的切分和文字識別等領(lǐng)域，經(jīng)常利用宇符輪廓的凹凸特性分析其特征，2.1.3 基于邊界的形狀特征武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 13 頁１．傅立葉描繪子對于邊界來說，最重要的是組成邊界的點的位置信息?；叶刃畔⑼耆梢院雎?。因此可以將邊界看成是直角坐標(biāo)下的點集構(gòu)成的曲線 y=f (x,y)，其中 x是橫坐標(biāo)，y 是縱坐標(biāo)?？衫酶盗⑷~變換描述 y=f (x,y)，這一方法稱為傅立葉描繪子。(1) Zahn 描繪子若以 y=f (x,y)直接進行傅立葉交換，則變換的結(jié)果將與具體的 x 和 y 坐標(biāo)值有關(guān)，不能滿足平移和旋轉(zhuǎn)的不變性要求。為了解決這個問題，引入封閉曲線本身的內(nèi)稟參量構(gòu)造曲線方程，再做傅立葉交換。由于邊界通常是封閉曲線。設(shè) r 是順時針方向的封閉曲線。引入曲線本身的內(nèi)稟參量即曲線弧長 l 構(gòu)造曲線方程，它的參數(shù)表達(dá)式為z(l)=(x(l),y(l)) (2.12)式中 0≤l≤L，L 是曲線全長。曲線的初始點為 l＝0，?(l)是曲線弧長為 l的點的切線方向。定義：φ(l)= ?(l)－?(0) (2.13)則 φ(l)的變化規(guī)律可以描述封閉曲線的形狀，很明顯它是平移和旋轉(zhuǎn)不變的。由于 φ(l)不是一個周期函數(shù)，為將其變換為周期函數(shù)引入另一個變量則 t?[0,2Π]。可定義為：φ*(t)= φ(tL/2Π)+t t?[0,2Π] (2.14)則 φ*(t)是[0,2Π]的周期函數(shù)，而且它對封閉曲線 r 的平移、旋轉(zhuǎn)和尺度都是不變的。構(gòu)造 r-φ*(t)間的對應(yīng)關(guān)系是一對一的，即介尺度變化下是相似的，如果反演 φ*(t)-r，則可得出一組相似的封閉曲線。由于 φ*(t)是周期函數(shù)，因此可用它的傅立葉系數(shù)來描述它，在[0,2Π]上展成傅立葉級數(shù)為：(2.15)其中：武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 14 頁(2.16)(2.17)(2.18)其中 n=1,2,…。φ0V1Vm=V0V2△l m Vm-1 φ1V3φ2圖 2.2 數(shù)字圖像下的多邊形邊界數(shù)了圖像中，封閉曲線 r 通常是由折線構(gòu)成的多邊形或可用多邊形來近似。設(shè)多邊形頂為 v0,v1, …, vm-1, 邊 vi-1vi 的長度為△ li(I=1,2,…,m),如圖 2.2 所示。其中△l m 是邊界 vm-1 v0 之長。在每邊 vi-1vi 上， φ(l)為常數(shù)，設(shè) φi-1, 定義,則：(2.19)武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 15 頁(2.20)(2.21)其中 n=1,2,…。這樣，區(qū)域邊界 r 就可用序列{a 0,a1,b1,a2,b2,…}進行描述可刻畫。(2) Person—Fu 傅立葉描繪子上面求 an 和 bn 時，已經(jīng)指出對數(shù)了圖像而言，φ(l)是分段連續(xù)的，即在(v k-1,vk)邊上是常數(shù)，而在端點上是不連續(xù)的，存在跳變。這會導(dǎo)致傅立葉變換中產(chǎn)生高頻分量，因而在用 Zahn 描述時，常要較多的傅立葉級數(shù)，以保證信息不會有大的丟失。Person 和 Fu 將 r 與下面的復(fù)參量對應(yīng)：u(l)＝x(l)+iy(l)。其中 l 仍然是弧長，x(l)和 y(l)分別是曲線上點的橫坐標(biāo)及縱坐標(biāo)。相應(yīng)的傅立葉變換為：(2.22)(2.23)其中 ，v k 是多邊形第 k 個頂點的復(fù)數(shù)坐標(biāo)。經(jīng)過同 Zahn 方法類似的歸一化處理，{a n}對廣的平移、旋轉(zhuǎn)和尺度變換具有不變性。適當(dāng)?shù)厝a n}的前幾項就可在信息損失較小的前提下描述邊界 r。(a) 邊界的 8 種走向和對應(yīng)的方向碼 (b) 邊界產(chǎn)生的方向鏈碼圖 2.32.．鏈碼武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 16 頁對于離散的數(shù)字圖像，區(qū)域的邊界輪廓可理解為相鄰邊界像素點之問的單元連線逐段相連而成?？紤]數(shù)字圖像像素點(x,y)的一個 8 鄰域，顯然在該點處的邊界只能在以下幾個方向：正東、東北、正北、西北、正面、西南、正南和東南，如圖 2.3(a)所示。對于每一種方向賦以一種碼表示，如上面 8 個方向分別對應(yīng)于 0、1、2、3、4、5、6 和 7，這些碼稱為方向碼。假設(shè)從某一個起點開始，將邊界的走向按上面的編碼方式記錄下來，可形成如下的序列 a1 a2 a3…an。a 1~ an 取值為 0~7，這一序列稱為鏈碼的方向鏈。再加上一些標(biāo)識碼，即可構(gòu)成鏈碼。從圖 2-3(b)可知，偶數(shù)鏈碼段為垂自或水平方向的代碼段，奇數(shù)鏈碼段為對角線段。對圖 2-3(b)所示的一個圖像區(qū)域，若以 S 點為出發(fā)點，按逆時針的方向進行，所構(gòu)成的邊界鏈碼應(yīng)為556570700122333。當(dāng)然，也可以按順時針方向進行，所構(gòu)成的邊界鏈碼完全不同逆時針方向行進的情況。因此，邊界鏈碼具有行進的方向性，在具體應(yīng)用時必須加以注意。有了鏈碼的方向鏈后，再加上一些標(biāo)識碼，即可構(gòu)成鏈碼。常用的標(biāo)識碼有兩種：(1) 加上特殊專用的鏈碼結(jié)束標(biāo)志。如采用“!”作為結(jié)束標(biāo)志，則圖 2-3(b)的鏈碼應(yīng)為 556570700122333!。(2) 標(biāo)上起始點的坐標(biāo)。如圖圖 2-3(b)的鏈碼為556570700122333xyz，xyz 為起始點 S 的坐標(biāo)，用 3 位 8 進制數(shù)表示。從鏈碼可以得出邊界的許多形狀特征：(1) 鏈的長度(2.24)其中。表示方向鏈中偶數(shù)碼的數(shù)目，此表示奇數(shù)碼的個數(shù)。奇數(shù)的用人的權(quán)重修正后，邊界的長度檢測時可以彌補圖像離散化的誤差。(2) 邊界所表示區(qū)域的寬度和高度設(shè)方向鏈為{a 1 a2 a3…an}，定義 ai 在 x 軸上的分量為 aix，在 y 軸上的分量為 aiy 則：ai=0 時， aix＝1，a iy＝0ai=1 時， aix＝1，a iy＝1武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 17 頁ai=2 時， aix＝0，a iy＝1ai=3 時，a ix＝－1，a iy＝1ai=4 時，a ix＝－1，a iy＝0ai=5 時，a ix＝－1，a iy＝－1ai=6 時，a ix＝0，a iy＝－1ai=7 時，a ix＝1，a iy＝－1設(shè) x0 和 y0 是起始點的坐標(biāo)，則： (2.25)(2.26)(3) 鏈碼所包圍的區(qū)域面積：(2.27)(2.28)(4) 假如兩個像素點可由方向鏈聯(lián)接{a 1 a2 a3…an}，則這兩點的距離為：(2.29)上述的區(qū)域特征用鏈碼來計算，計算比較簡單。但是在描述形狀時，信息并不完全，這些數(shù)值特征與具體的形狀之間并不—一對應(yīng)。因此，不能只用這些數(shù)值進行形狀識別，必須與其他特征信息相結(jié)合使用，作為補充信息，卻能大大提高系統(tǒng)的識別性能。2.2 神經(jīng)網(wǎng)絡(luò) 2.2.1 人工神經(jīng)元生物神經(jīng)網(wǎng)絡(luò)（BNN）信息傳遞過程為多輸入單輸出（MISO）系統(tǒng)，信號為脈沖，當(dāng)脈沖到達(dá)突觸前膜時，前膜釋放化學(xué)物質(zhì)，結(jié)果在突觸后產(chǎn)生突觸后電位，其大小與脈沖密度有關(guān)（時間總合效應(yīng)） ，并且各通道都對電位產(chǎn)生影響（空間總合效應(yīng)） 。ANN 等效模擬電壓近似 BNN 脈沖密度，僅有空間累加無時間武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 18 頁累加（可認(rèn)為時間累加己隱含于等效模擬電壓之中） 。1．神經(jīng)元模型神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個多輸入/多輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響之外，同時也受到神經(jīng)元內(nèi)部其他因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個額外輸入信號，稱為偏差（Bats） ， 有時也稱為閥值或門限值。見圖 2.4。圖 2.4 基本神經(jīng)元模型上圖 a=f(wp)是不加偏差的輸入輸出關(guān)系，其中 w 是權(quán)重，p 是輸入；a=f(wp+b)是帶偏差的輸入輸出關(guān)系，w、p 意義同上，b 是偏差，f 是所謂的作用函數(shù)。經(jīng)過抽象，可得到數(shù)學(xué)表達(dá)式如下：(2.30)(2.31)ωi： 數(shù)值(Weigthts)；θ：閥值(Threshold)；б(s)：作用函數(shù)(Activated Transfer Function)。作用函數(shù)的基本作用是：(1) 控制輸人對輸出的激活作用；(2) 對輸入、輸出進行函數(shù)轉(zhuǎn)換；(3) 將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。2．幾種常用的作用函數(shù)武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 19 頁包括閥值型（硬限制型） 、線性型、S 型函數(shù)(Sigmoid)、輻射基函數(shù)等。下面各圖形中的 n（W*P 十 b）是輸入，a 是輸出。 (1)．閥值型（硬限制型）有兩種形式，第一種是：(2.32)當(dāng)輸入大于 0 時，輸出為 1；輸入小于 0 時，輸出為 0。見圖 2.5。圖 2.5 閾值型作用函數(shù)一第二種是：(2.33)也就是當(dāng)輸入大于 0 時，輸出為 1；反之為-1。見圖 2.6。圖 2.6 閾值型作用函數(shù)二(2)．線性型也有兩種情況，全線性型和正線性型，如下：① 全線性A=f (W*P+b)=W*p+b (2.34)此時輸出與輸入成正比關(guān)系。見圖 2.7。武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 20 頁圖 2.7 全線性作用函數(shù)②．正性型 (2.35)當(dāng)輸入大于 0 時，輸出與輸入成正比關(guān)系；反之，輸出恒為 0；見圖 2.8。圖 2.8 正線性作用函數(shù)(3)．S 型函數(shù)（Sigmoid）也有兩種可能的函數(shù)類型。① 對數(shù)正切y=1/(e-n+1) (2.36)輸出與輸入成對數(shù)正切關(guān)系，見圖 2.9。圖 2.9 S 型函數(shù)（對數(shù)正切）② 雙曲正切y=tanh(n) (2.37)輸入與輸出成雙曲正切關(guān)系，見圖 2.10。武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 21 頁圖 2.10 S 型函數(shù)（雙曲正切）(4)．輻射基函數(shù)① 高斯函數(shù)函數(shù)的形狀見圖 2.11。圖 2.11 輻射基函數(shù)（高斯函數(shù)）② 三角波函數(shù)函數(shù)的形狀見圖 2.12。圖 2.12 輻射基函數(shù)（三角波函數(shù)）2.2.2 人工神經(jīng)網(wǎng)絡(luò)構(gòu)成人工神經(jīng)網(wǎng)絡(luò)有很多構(gòu)成形式，比如基本型、前向型、回歸型以及互聯(lián)型等，下面我們列出一些前兩種神經(jīng)網(wǎng)絡(luò)構(gòu)成形式。1．基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型如圖 2.13 所示。武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 22 頁圖 2.13 人工神經(jīng)網(wǎng)絡(luò)基本模型 圖中，輸入經(jīng)過神經(jīng)元之間的連接值和作用函數(shù)，得到輸出，再與目標(biāo)值相比較，根據(jù)其差值信息，反饋回來進行神經(jīng)元之間連接值的調(diào)整。2． 前向網(wǎng)絡(luò)結(jié)構(gòu)如圖 2.14 所示。圖 2.14 前向網(wǎng)絡(luò)結(jié)構(gòu)其中，x 1,x2,…,xn 是輸入,y 1,y2,…,yn 是輸出。前向網(wǎng)絡(luò)的特點如下：(1) 神經(jīng)元分層排列，可又多層；。(2) 層間無連接；(3) 方向由入到出.感知網(wǎng)絡(luò)（Perceptron 即為此） ，應(yīng)用最為廣泛。2.2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 23 頁ANN 中的核心問題就是如何決定網(wǎng)絡(luò)連接的加權(quán)系數(shù)（Weight） 。這一小節(jié)介紹 M 些常用的學(xué)習(xí)規(guī)則。1．Hebb 學(xué)習(xí)規(guī)則1949 年，D.O.Hebb 基于生理學(xué)和心理學(xué)的研究，對生物神經(jīng)細(xì)胞如何進行學(xué)習(xí)的問題，剔除了一個直覺得假說：“當(dāng)兩個神經(jīng)元都處于興奮狀態(tài)時，連接這兩個神經(jīng)元的權(quán)值將得到加強” ，公式表示如下：(2.38)上式中，△W ij 是連接權(quán)值的變化，V i、V j 是兩個神經(jīng)元的活化水平，α 是學(xué)習(xí)系數(shù)。2．δ 學(xué)習(xí)規(guī)則也稱為誤差校正規(guī)則或者剃度方法，著名的 BP 方法即為其中一種。(2.39)(2.40)上式中，△W ij 為權(quán)值的改變，α 為學(xué)習(xí)系數(shù)，V i 是當(dāng)前神經(jīng)元的興奮度，δ 是實際輸出與期望輸出的偏差。2.2.4 BP 神經(jīng)網(wǎng)絡(luò)BP 網(wǎng)絡(luò)是應(yīng)用中經(jīng)常碰到的，這一節(jié)將詳細(xì)介紹一下 BP 網(wǎng)絡(luò)。1．BP 網(wǎng)絡(luò)模型BP 神經(jīng)網(wǎng)絡(luò)模型見圖 2.15圖 2.15 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以看出，BP 網(wǎng)絡(luò)一般情況下有一個輸入層，一個隱藏層（有時是兩個武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 24 頁或更多） ，一個輸出層。2．輸入輸出關(guān)系I-H（輸入層到隱藏層）(2.41) (2.42)H-O（隱藏層導(dǎo)輸出層） (2.43)其中，輸人層神經(jīng)元個數(shù)為 n，隱含層神經(jīng)元個數(shù)為 n1，輸出層神經(jīng)元個數(shù)為 S2。3．網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練前面已經(jīng)說過，神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題之一是權(quán)值的確定。下面，討論一下BP 網(wǎng)絡(luò)中的權(quán)值確定方法。我們假定輸入 q 組本 p1,p2,…,pq，p i Rn，期望輸出為 T1,T2,…,Tq，這里 T Rs2，網(wǎng)絡(luò)的實際輸出為 a21,a22,…,a2q,a2 Rs2。評價的準(zhǔn)則是誤差最小，所以網(wǎng)絡(luò)訓(xùn)練的實質(zhì)轉(zhuǎn)化為一個優(yōu)化問題。這里考慮用梯度法（Gradient）來找出誤差與加權(quán)系數(shù)的關(guān)系，以得到加權(quán)系數(shù)改變的規(guī)律。定義誤差函數(shù)為：(2.44)我們利用剃度下降法求權(quán)值的變化及誤差的反向傳播。(1)．輸出層的權(quán)值變化從第 i 個輸入到第 k 個輸出的權(quán)值改變有：(2.45)武漢科技大學(xué)本科畢業(yè)設(shè)計(論文)第 25 頁同理可得：(2.46) (2)．隱含層權(quán)值變化(2.47)其中， 同理可得， 。(3)．解釋輸出層誤差 ej(j=1-S2)隱含層誤差 ei(i=1-n2),這里，可以認(rèn)為 ei 是由 ej 加權(quán)組合形成的，由于作用函數(shù)的存在，e j 的等效作用為 δ ji=ejf ‘()。4．BP 網(wǎng)絡(luò)的設(shè)計問題在進行 BP 網(wǎng)絡(luò)的設(shè)計時，一般應(yīng)從網(wǎng)絡(luò)的層數(shù)，每層中的神經(jīng)元個數(shù)和激活函數(shù)、初始值以及學(xué)習(xí)速率等幾個方面來進行考慮。下面討論各自的選取原則。(1)．網(wǎng)絡(luò)的層數(shù)理論上已經(jīng)證明：具有偏差和至少一個 S 型隱含層加上一個線性輸入層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)可以進一步的降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化。另外不能用僅具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題。因為能用單層網(wǎng)絡(luò)完美解決的問題，用自適應(yīng)線性網(wǎng)絡(luò)也一定能解決，而且自適應(yīng)線性網(wǎng)絡(luò)的運算速度還要快。而對于只能用非線性函數(shù)解決的問題，