《模式識別第6章模式特征的選擇與提取.ppt》由會員分享，可在線閱讀，更多相關(guān)《模式識別第6章模式特征的選擇與提取.ppt（31頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、,武漢大學電子信息學院,IPL,第六章 模式特征的選擇與提取,模式識別與神經(jīng)網(wǎng)絡(luò)Pattern Recognition and Neural Network,,內(nèi)容目錄,,IPL,第六章 模式特征的選擇與提取,6.1 引言,3,2,4,5,6.2 類別可分離性判據(jù),6.3 特征提取與K-L變換,6.4 特征的選擇,6.5 討論,1,,第六章 模式特征的選擇與提取,3,6.1 引言,特征的選擇與提取是模式識別中重要而困難的一個環(huán)節(jié)： 分析各種特征的有效性并選出最有代表性的特征是模式識別的關(guān)鍵一步 降低特征維數(shù)在很多情況下是有效設(shè)計分類器的重要課題 三大類特征：物理、結(jié)構(gòu)和數(shù)學特征 物理和結(jié)構(gòu)特征
2、：易于為人的直覺感知，但有時難于定量描述，因而不易用于機器判別 數(shù)學特征：易于用機器定量描述和判別，如基于統(tǒng)計的特征,第六章 模式特征的選擇與提取,4,特征的形成,特征形成 (acquisition)： 信號獲取或測量原始測量 原始特征 實例： 數(shù)字圖象中的各像素灰度值 人體的各種生理指標 原始特征分析： 原始測量不能反映對象本質(zhì) 高維原始特征不利于分類器設(shè)計：計算量大，冗余，樣本分布十分稀疏,引言,第六章 模式特征的選擇與提取,5,特征的選擇與提取,兩類提取有效信息、壓縮特征空間的方法：特征提取和特征選擇 特征提取 (extraction)：用映射（或變換）的方法把原始特征變換為較少的新特征
3、 特征選擇(selection) ：從原始特征中挑選出一些最有代表性，分類性能最好的特征 特征的選擇與提取與具體問題有很大關(guān)系，目前沒有理論能給出對任何問題都有效的特征選擇與提取方法,引言,第六章 模式特征的選擇與提取,6,特征的選擇與提取舉例,細胞自動識別： 原始測量：（正常與異常）細胞的數(shù)字圖像 原始特征（特征的形成，找到一組代表細胞性質(zhì)的特征）：細胞面積，胞核面積，形狀系數(shù)，光密度，核內(nèi)紋理，和漿比 壓縮特征：原始特征的維數(shù)仍很高，需壓縮以便于分類 特征選擇：挑選最有分類信息的特征 特征提?。簲?shù)學變換 傅立葉變換或小波變換 用PCA方法作特征壓縮,引言,第六章 模式特征的選擇與提取,7,
4、6.2 類別可分離性判據(jù),類別可分離性判據(jù)：衡量不同特征及其組合對分類是否有效的定量準則 理想準則：某組特征使分類器錯誤概率最小 實際的類別可分離性判據(jù)應(yīng)滿足的條件： 度量特性： 與錯誤率有單調(diào)關(guān)系 當特征獨立時有可加性： 單調(diào)性： 常見類別可分離性判據(jù)：基于距離、概率分布、熵函數(shù),第六章 模式特征的選擇與提取,8,基于距離的可分性判據(jù),類間可分性:=所有樣本間的平均距離：,可分性判據(jù),(8-1),squared Euclidian,(8-5),類內(nèi)平均距離,類間距離,(8-6),第六章 模式特征的選擇與提取,9,基于距離的可分性判據(jù)矩陣形式,可分性判據(jù),基于距離的準則概念直觀，計算方便，但與
5、錯誤率沒有直接聯(lián)系,樣本類間離散度矩陣,樣本類內(nèi)離散度矩陣,類間可分離性判據(jù),第六章 模式特征的選擇與提取,10,基于概率的可分性判據(jù),基于概率的可分性判據(jù)：用概率密度函數(shù)間的距離來度量,可分性判據(jù),散度：,第六章 模式特征的選擇與提取,11,正態(tài)分布的散度,可分性判據(jù),Mahalanobis,第六章 模式特征的選擇與提取,12,基于熵函數(shù)的可分性判據(jù),熵函數(shù)：,可分性判據(jù),Shannon熵：,平方熵：,熵函數(shù)期望表征類別的分離程度：,第六章 模式特征的選擇與提取,13,類別可分離性判據(jù)應(yīng)用舉例,圖像分割：Otsu灰度圖像閾值算法(Otsu thresholding) 圖像有L階灰度，ni是灰
6、度為i的像素數(shù)，圖像總像素數(shù) N= n1+n2+ + nL 灰度為i的像素概率：pi = ni/N 類間方差：,可分性判據(jù),第六章 模式特征的選擇與提取,14,Otsu thresholding,灰度圖像閾值:,可分性判據(jù),Otsu灰度圖像二值化算法演示及程序分析:,第六章 模式特征的選擇與提取,15,6.3 特征提取與K-L變換,特征提?。河糜成洌ɑ蜃儞Q）的方法把原始特征變換為較少的新特征 PCA (Principle Component Analysis)方法：進行特征降維變換，不能完全地表示原有的對象，能量總會有損失。希望找到一種能量最為集中的的變換方法使損失最小 K-L (Karhun
7、en-Loeve)變換：最優(yōu)正交線性變換，相應(yīng)的特征提取方法被稱為PCA方法,第六章 模式特征的選擇與提取,16,K-L變換,離散K-L變換：對向量x用確定的完備正交歸一向量系uj展開,特征提取,第六章 模式特征的選擇與提取,17,離散K-L變換的均方誤差,用有限項估計x ：,特征提取,該估計的均方誤差：,第六章 模式特征的選擇與提取,18,求解最小均方誤差正交基,用Lagrange乘子法：,特征提取,結(jié)論：以相關(guān)矩陣R的d個本征向量為基向量來展開x時，其均方誤差為：,K-L變換：當取矩陣R的d個最大本征值對應(yīng)的本征向量來展開x時，其截斷均方誤差最小。這d個本征向量組成的正交坐標系稱作x所在的
8、D維空間的d維K-L變換坐標系， x在K-L坐標系上的展開系數(shù)向量y稱作x的K-L變換,第六章 模式特征的選擇與提取,19,K-L變換的表示,K-L變換的向量展開表示：,特征提取,K-L變換的矩陣表示：,第六章 模式特征的選擇與提取,20,K-L變換的性質(zhì),y的相關(guān)矩陣是對角矩陣：,特征提取,第六章 模式特征的選擇與提取,21,K-L變換的性質(zhì),特征提取,K-L坐標系把矩陣R對角化，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達到降低特征維數(shù)的目的,第六章 模式特征的選擇與提取,22,K-L變換圖解,,二次曲線方程,標準二次曲線方程,特征提取,第六章
9、 模式特征的選擇與提取,23,K-L變換的數(shù)據(jù)壓縮圖解,取2x1變換矩陣U=u1，則x的K-L變換y為： y = UTx = u1T x = y1 變換的能量損失為,特征提取,第六章 模式特征的選擇與提取,24,K-L變換的產(chǎn)生矩陣,數(shù)據(jù)集KN=xi的K-L變換的產(chǎn)生矩陣由數(shù)據(jù)的二階統(tǒng)計量決定，即K-L坐標系的基向量為某種基于數(shù)據(jù)x的二階統(tǒng)計量的產(chǎn)生矩陣的本征向量 K-L變換的產(chǎn)生矩陣可以有多種選擇： x的相關(guān)函數(shù)矩陣R=ExxT x的協(xié)方差矩陣C=E(x-) (x-)T 樣本總類內(nèi)離散度矩陣：,特征提取,第六章 模式特征的選擇與提取,25,未知類別樣本的K-L變換,用總體樣本的協(xié)方差矩陣C=
10、E(x-) (x-)T進行K-L變換，K-L坐標系U=u1,u2,...,ud按照C的本征值的下降次序選擇 例：設(shè)一樣本集的協(xié)方差矩陣是：求最優(yōu)2x1特征提取器U解答：計算特征值及特征向量V, D=eig(C);特征值D=24.736, 2.263T,特征向量:由于12，故最優(yōu)2x1特征提取器此時的K-L變換式為：,特征提取,第六章 模式特征的選擇與提取,26,6.4 特征的選擇,特征選擇:=從原始特征中挑選出一些最有代表性、分類性能最好的特征進行分類 從D個特征中選取d個,共 種組合。若不限定特征選擇個數(shù)，則共2D種組合 典型的組合優(yōu)化問題 特征選擇的方法大體可分兩大類： Filter方法
11、：根據(jù)獨立于分類器的指標J來評價所選擇的特征子集S，然后在所有可能的特征子集中搜索出使得J最大的特征子集作為最優(yōu)特征子集。不考慮所使用的學習算法。 Wrapper方法：將特征選擇和分類器結(jié)合在一起，在學習過程中表現(xiàn)優(yōu)異的的特征子集會被選中。,第六章 模式特征的選擇與提取,27,經(jīng)典特征選擇算法,許多特征選擇算法力求解決搜索問題，經(jīng)典算法有： 分支定界法 單獨最優(yōu)特征組合法 順序后退法 順序前進法 模擬退火法 Tabu搜索法 遺傳算法,特征選擇,第六章 模式特征的選擇與提取,28,單獨最優(yōu)特征組合,計算各特征單獨使用時的可分性判據(jù)J并加以排隊，取前d個作為選擇結(jié)果 不一定是最優(yōu)結(jié)果 當可分性判據(jù)
12、對各特征具有(廣義)可加性，該方法可以選出一組最優(yōu)的特征來，例： 各類具有正態(tài)分布 各特征統(tǒng)計獨立 可分性判據(jù)基于Mahalanobis距離,特征選擇,第六章 模式特征的選擇與提取,29,順序后退法,該方法根據(jù)特征子集的分類表現(xiàn)來選擇特征 搜索特征子集：從全體特征開始，每次剔除一個特征，使得所保留的特征集合有最大的分類識別率 依次迭代，直至識別率開始下降為止 用“l(fā)eave-one-out”方法估計平均識別率：用N-1個樣本判斷余下一個的類別，N次取平均,特征選擇,第六章 模式特征的選擇與提取,30,6.5 討論,特征的選擇與提取是模式識別中重要而困難的一步 模式識別的第一步：分析各種特征的有效性并選出最有代表性的特征 降低特征維數(shù)在很多情況下是有效設(shè)計分類器的重要課題 三大類特征：物理、結(jié)構(gòu)和數(shù)學特征 物理和結(jié)構(gòu)特征：易于為人的直覺感知，但難于定量描述，因而不易用機器判別 數(shù)學特征：易于用機器定量描述和判別,第六章 模式特征的選擇與提取,31,習題,1. 試推導(8-6)式，即：,2. 試由(8-1)式推導(8-5)式，即：,3. 習題8.1,9. 習題9.1,
模式識別第6章模式特征的選擇與提取.ppt
