基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法研究.ppt

《基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法研究.ppt》由會員分享，可在線閱讀，更多相關(guān)《基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法研究.ppt（59頁珍藏版）》請在裝配圖網(wǎng)上搜索。

,The Graduation Thesis Defense,基于卷積神經(jīng)網(wǎng)絡(luò)的 目標(biāo)檢測算法研究,哈爾濱理工大學(xué) Harbin University of Science and Technology,,,哈爾濱理工大學(xué)-測通學(xué)院,,CONTENTS,1,4,2,5,3,6,研究背景,研究方法2,理論基礎(chǔ),結(jié)論,研究方法1,科研成果,RESEARCH BACKGROUNDS,RESEARCH FRAMWORK,RESEARCH METHODS,ANALYSIS AND DISCUSSION,CONCLUSION,SCIENTIFIC ACHIEVEMENTS,,,,1,研究背景,RESEARCH BACKGROUNDS,內(nèi)容簡介 BRIEF INTRODUCTION,本文以智能交通為背景，針對智能視頻監(jiān)控系統(tǒng)進(jìn)行剖析，對其中目標(biāo)檢測算法進(jìn)行了具體的研究和改進(jìn)。 首先，針對目標(biāo)檢測特征提取環(huán)節(jié)，本文以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，構(gòu)建深度特征提取器，提取深度特征訓(xùn)練可變形部件模型，作為最終的檢測模型，并有效的提高檢測精度。 另外，在目標(biāo)后處理環(huán)節(jié)中，將抑制重復(fù)檢測和誤檢的面積重疊率閾值動態(tài)化后，進(jìn)一步的提高了檢測精度，減少了誤檢和重檢。,PPT模板下載： 行業(yè)PPT模板： 節(jié)日PPT模板： PPT素材下載： PPT背景圖片： PPT圖表下載： 優(yōu)秀PPT下載： PPT教程： Word教程： Excel教程： 資料下載： PPT課件下載： 范文下載： 試卷下載： 教案下載： PPT論壇：,智能交通中的目標(biāo)檢測,傳統(tǒng)的視頻監(jiān)控解決方案只是進(jìn)行視頻圖像的記錄、存儲與調(diào)取等機(jī)械的操作，用來記錄發(fā)生的事情，不具有針對異常情況進(jìn)行預(yù)測和報警的作用。需要工作人員時時刻刻查看顯示屏，才能進(jìn)行預(yù)測和報警。由于傳統(tǒng)視頻監(jiān)控技術(shù)的不足，所以智能視頻監(jiān)控被用來幫助工作人員發(fā)現(xiàn)異常情況并及時報警。,,1,研究背景,RESEARCH BACKGROUNDS,智能視頻監(jiān)控的功能是讓計算機(jī)模擬人類的大腦對圖像的處理機(jī)制，利用攝像頭模擬的人類的眼睛，運行圖像處理算法，分析從攝像頭中獲取的圖像序列，并對被監(jiān)控場景中的內(nèi)容進(jìn)行理解，實現(xiàn)對異常行為的自動預(yù)警和報警。智能監(jiān)控的智能化主要表現(xiàn)在對圖像序列中的目標(biāo)進(jìn)行檢測、目標(biāo)識別，理解目標(biāo)的行為。目前常用的智能監(jiān)控系統(tǒng)主要包括視頻獲取、圖像預(yù)處理、目標(biāo)檢測、目標(biāo)分類、目標(biāo)跟蹤、目標(biāo)行為分析和理解等七個部分，圖1-1給出了智能監(jiān)控系統(tǒng)具體的流程圖。,圖1-1,國內(nèi)現(xiàn)狀,大部分目標(biāo)檢測算法任然使用單一或者幾種手工設(shè)計的特征。手工設(shè)計的特征，不僅計算開銷大，降低算法的執(zhí)行速度，對于目標(biāo)多樣性的變化并沒有很好地魯棒性，嚴(yán)格限制應(yīng)用前提。因此亟需對特征提取進(jìn)行改進(jìn)。,,1,研究背景,RESEARCH BACKGROUNDS,國外現(xiàn)狀,在國外，也經(jīng)歷了由人工設(shè)計特征到算法自動設(shè)計并提取特征的過程。2010年， Dalai等利用人工設(shè)計的方向梯度直方圖特征，訓(xùn)練出來多視角的可變形的檢測模型，雖然有效的提高了檢測精度，但仍然存在計算復(fù)雜，對小目標(biāo)魯棒性不強等問題。2012年，卷積神經(jīng)網(wǎng)絡(luò)在全球圖像分類比賽中得到最優(yōu)的成績，因此卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)的提取圖像特征受到重視，卷積神經(jīng)網(wǎng)絡(luò)通過反向傳播算法進(jìn)行網(wǎng)絡(luò)參數(shù)的更新，通過自適應(yīng)的調(diào)整不同特征的權(quán)重有效的組合特征，得到魯棒性更好的高層特征。因此，如果讓計算機(jī)主動學(xué)習(xí)圖像的特征，相對于人工設(shè)計的特征而言，能夠有效的提高檢測精度，改善實驗結(jié)果。,,1,研究背景,RESEARCH BACKGROUNDS,國外現(xiàn)狀,,1,研究背景,RESEARCH BACKGROUNDS,目標(biāo)檢測；卷積神經(jīng)網(wǎng)絡(luò)；非極大值抑制,本文研究的最終目的是將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測任務(wù)中：如何避免手工設(shè)計的特征，減少計算的復(fù)雜度，提高算法執(zhí)行速度，最終提高檢測精度。具體的基于現(xiàn)有的開發(fā)庫，在現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，利用遷移學(xué)習(xí)和重新訓(xùn)練，更新模型參數(shù)，提取深度特征并訓(xùn)練分類器。同時在滑動窗口檢測后，動態(tài)化面積重疊率閾值，進(jìn)一步提高檢測精度。,,目標(biāo)檢測,針對不同場景圖像，能夠?qū)Σ煌惸繕?biāo)進(jìn)行自動檢測和識別，定位目標(biāo)的位置和識別目標(biāo)的類型。,,卷積神經(jīng)網(wǎng)絡(luò),一種模擬人類大腦皮層視覺處理機(jī)制，由多個神經(jīng)元連接并列成一層，多層神經(jīng)元構(gòu)成多層視覺處理結(jié)構(gòu)。,,非極大值抑制,檢測過程得到的重復(fù)檢測和誤檢，需要利用非極大值抑制算法來減少，對于不同類的目標(biāo)需要動態(tài)化面積重疊率閾值。,,1,研究背景,RESEARCH BACKGROUNDS,,研究 內(nèi)容,,深度學(xué)習(xí),研究了深度學(xué)習(xí)的背景知識：包括深度學(xué)習(xí)的概念，以及典型的常用的深度學(xué)習(xí)模型。,,卷積神經(jīng)網(wǎng)絡(luò),研究了卷積神經(jīng)網(wǎng)絡(luò)的基本原理，組成和連接方式。,,基于深度特征的目標(biāo)檢測,研究了基于現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型Alexnet,通過遷移學(xué)習(xí)，獲得深度特征提取器，提取特征訓(xùn)練多組件的可變形部件模型，對不同類目標(biāo)的多樣姿態(tài)進(jìn)行檢測。,,基于動態(tài)閾值的非極大值抑制,研究了目標(biāo)檢測后處理過程，分析了其中的非極大值抑制算法，對核心的閾值進(jìn)行了動態(tài)化，實現(xiàn)了自適應(yīng)的抑制重檢和誤檢。,,1,研究背景,RESEARCH BACKGROUNDS,1,2,3,深度學(xué)習(xí),卷積神經(jīng)網(wǎng)絡(luò)的連接方式,卷積神經(jīng)網(wǎng)絡(luò),,2,研究框架,RESEARCH FRAMWORKS,,深度學(xué)習(xí)概念,典型的深度學(xué)習(xí)模型,,卷積神經(jīng)網(wǎng)絡(luò)基本原理,前向傳播和反向傳播,,局部感受野和權(quán)值共享,多核卷積,,,,2,研究框架,RESEARCH FRAMWORKS,在大數(shù)據(jù)，大模型，大計算的驅(qū)動下，深度學(xué)習(xí)屬于一種深度學(xué)習(xí)模型。其實深度學(xué)習(xí)實質(zhì)就是將低層特征進(jìn)行有效的組合從而生成更豐富的深層特征，現(xiàn)有的許多識別和分類模型都是淺層模型，限制較多，在樣本數(shù)量較少，計算機(jī)計算單元不足的情況下，對高非線性的復(fù)雜函數(shù)的逼近能力不足，所以應(yīng)用于識別和檢測問題時，會出現(xiàn)分類準(zhǔn)確率不高，泛化性不足等問題。而利用深度學(xué)習(xí)框架則不同，通過訓(xùn)練深層非線性的多層網(wǎng)絡(luò)模型，學(xué)習(xí)到的最優(yōu)模型參數(shù)可以將樣本的最本質(zhì)的特征表示出來。 深度學(xué)習(xí)最經(jīng)典的模型就是全連接的神經(jīng)網(wǎng)絡(luò)，如自適應(yīng)編碼器，深度置信網(wǎng)絡(luò)，還有就是卷積神經(jīng)網(wǎng)絡(luò)。,1.深度學(xué)習(xí),,深度學(xué)習(xí)的基本概念,,深度學(xué)習(xí)的典型結(jié)構(gòu),,,2,研究框架,RESEARCH FRAMWORKS,2.卷積神經(jīng)網(wǎng)絡(luò),,卷積神經(jīng)網(wǎng)絡(luò)的基本原理,卷積神經(jīng)網(wǎng)絡(luò)是第一個真正訓(xùn)練多層神經(jīng)元連接的深度學(xué)習(xí)模型，該模型構(gòu)造方式是受到人類視覺系統(tǒng)處理機(jī)制的影響，利用權(quán)值共享的神經(jīng)元在輸入圖像上進(jìn)行卷積計算，則能獲得同一種特征，當(dāng)利用多種不同權(quán)值的神經(jīng)元在輸入圖像上進(jìn)行卷積操作，則能獲得多種特征。該網(wǎng)絡(luò)可以直接輸入原始圖像，避免了對圖像進(jìn)行復(fù)雜的前期預(yù)處理，因而得到廣泛的應(yīng)用。,,2,研究框架,RESEARCH FRAMWORKS,CNN模型AlexNet，是由多層神經(jīng)元構(gòu)成，其中前5層為卷積層，因為這些層神經(jīng)元的連接方式是通過卷積核模板連接，是非全連接的方式連接，所以稱為卷積層。后三層為全連接層，采用的連接方式為全連接，所以稱為全連接層。,,卷積神經(jīng)網(wǎng)絡(luò)的基本原理,卷積層，每一層和前一層之間依靠卷積核連接，每一個卷積核都在前一層特征映射圖的局部感受野進(jìn)行卷積操作，同時由于卷積核表示的是神經(jīng)元權(quán)重。卷積模板為22，上一層的特征圖分辨率是44，用這個卷積核在特征圖上按固定的步長和順序遍歷計算一遍，計算得到33的特征圖,池化層也是CNN模型中重要的一層，對于降低特征向量的維數(shù)，避免維數(shù)災(zāi)難有重要的作用。所以一般情況下，池化層都是跟隨在卷積層的后面。圖像在某一區(qū)域的特征分布與其他區(qū)域的特征分別類似。所以在描述大的圖像時，可以對不同位置的特征進(jìn)行聚合統(tǒng)計，聚合統(tǒng)計后在求均值或者最大值，均值或者是最大值即為池化后的結(jié)果。,,2.卷積神經(jīng)網(wǎng)絡(luò),,,2,研究框架,RESEARCH FRAMWORKS,2.卷積神經(jīng)網(wǎng)絡(luò),,卷積神經(jīng)網(wǎng)絡(luò)的基本原理,從人類大腦角度理解神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元與我們的大腦無關(guān)，是通過函數(shù)f將輸入圖像轉(zhuǎn)變成類別評分。,,,2,研究框架,RESEARCH FRAMWORKS,2.卷積神經(jīng)網(wǎng)絡(luò),,卷積神經(jīng)網(wǎng)絡(luò)的基本原理,從人類大腦角度理解神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元與我們的大腦無關(guān)，是通過函數(shù)f將輸入圖像轉(zhuǎn)變成類別評分。,,2,研究框架,RESEARCH FRAMWORKS,,卷積神經(jīng)網(wǎng)絡(luò)的基本原理,,2.卷積神經(jīng)網(wǎng)絡(luò),,2,研究框架,RESEARCH FRAMWORKS,,前向傳播和反向傳播,,2.卷積神經(jīng)網(wǎng)絡(luò),,2,研究框架,RESEARCH FRAMWORKS,,前向傳播和反向傳播,,2.卷積神經(jīng)網(wǎng)絡(luò),,2,研究框架,RESEARCH FRAMWORKS,,局部感受野和權(quán)值共享,,2.卷積神經(jīng)網(wǎng)絡(luò),（a）神經(jīng)元在感受野全連接,（b）神經(jīng)元在感受野局部連接,,2,研究框架,RESEARCH FRAMWORKS,,多核卷積,,2.卷積神經(jīng)網(wǎng)絡(luò),邊緣特征,LBP特征,,3,研究方法1,RESEARCH METHODS1,1,基于深度特征的目標(biāo)檢測,,提取深度特征,訓(xùn)練分類器,目標(biāo)檢測,結(jié)果與分析,,遷移學(xué)習(xí),深度特征金字塔,,訓(xùn)練LSVM,PASCAL數(shù)據(jù)集,,單組件目標(biāo)檢測,多組件目標(biāo)檢測,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,Felzenswalb等人[40]研究了基于可變形部件模型DPM，通過提取目標(biāo)的HOG特征，對組成目標(biāo)的局部模型建模，采用多樣本學(xué)習(xí)并進(jìn)行推理，最后利用根濾波器和部分濾波器對測試圖像進(jìn)行匹配檢測實現(xiàn)目標(biāo)檢測。該方法為基于模型的檢測方法提供了新的思路, 但是局部判別式模型只采用了HOG特征，忽略的一些可靠的高層和底層特征，在一定程度上制約了檢測的精度。,本章利用CNN對DPM算法進(jìn)行改進(jìn)。首先通過遷移學(xué)習(xí)獲取CNN模型AlexNet，然后將其截斷獲得AlexNet的卷積層，用來提取豐富的高層特征，具體是利用模型的前5層卷積層來獲取深度特征，然后利用特征金字塔的每一層特征訓(xùn)練隱藏變量的支持向量機(jī)LSVM得到DPM的全局檢測器和局部檢測器。檢測的過程中要對測試圖像構(gòu)造全局特征映射圖和局部特征映射圖，再對局部特征映射圖進(jìn)行池化，之后級聯(lián)全局特征映射圖得到新的特征映射圖，然后用訓(xùn)練好的判別式模型去卷積級聯(lián)后的特征映射圖，得到檢測結(jié)果。實驗表明，利用CNN獲取深度特征，訓(xùn)練可變形部件模型，有效的改進(jìn)了算法的檢測精度。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,遷移學(xué)習(xí),,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,遷移學(xué)習(xí),,通過分析AlexNet模型中的隱層可以發(fā)現(xiàn)，其中的底層的功能的是圖像通用特征的提取，并在高層生成圖像的深度特征。這一發(fā)現(xiàn)暗示，如果將AlexNet的底層看做一個特征提取器，則可以在其他的視覺任務(wù)重復(fù)中使用。因此最終用ImageNet訓(xùn)練AlexNet模型獲得初始參數(shù)，然后利用遷移學(xué)習(xí)獲得最終的模型參數(shù)。,,參數(shù) 遷移,源任務(wù),目標(biāo)任務(wù),,,,可變形部件模型,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,深度特征金字塔,,,,,首先要截斷該網(wǎng)絡(luò)，去除掉最后卷積層后的Mp層(max pool，如圖2-4)，所有的全連接層(fc6，fc7，fc8，如圖2-4)。這樣，網(wǎng)絡(luò)的輸出變成了第5層卷積層計算得到的256通道特征映射圖。 其中最左側(cè)的是輸入圖像，后面的5層是卷積層，最右側(cè)的是第5層卷積層，也就是卷積模型的輸出層，該層包含256個卷積模板，所以得到的特征金字塔每層都有256個通道特征圖。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,提取深度特征,,,從圖3-4中可以看出，利用AlexNet前5層卷積層得到的深度特征金字塔的可視化圖，選取的是256通道中的最后一個通道的七層。圖中第一排第一列是原圖像，接著從左往右分別是深度特征金字塔層的第一層、第二層、第三層，第二排從左往右表示的是深度特征金字塔的第四至第七層。從圖中可以看出，金字塔層的第一層尺度是原圖像尺度的十分之一。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,訓(xùn)練分類器,,,PASCAL VOC 2007數(shù)據(jù)集 訓(xùn)練及測試樣本,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,訓(xùn)練分類器,,,本文采用的DPM算法，需要訓(xùn)練出目標(biāo)的 全局模型和局部模型，由于沒有在訓(xùn)練集 和測試集中的標(biāo)注文件中給出部件的類別 和位置信息，所以相當(dāng)于將部件的信息隱 藏起來了，將這些信息作為隱藏變量，將 所有的隱藏變量定義為集合，集合中定義 了樣本所有可能的隱藏變量值。,,,這里是模型參數(shù)向量，是隱藏變量。是樣本所有可能取的隱藏變量值的集合。對以上得分閾值化，就可以得到了樣本的分類類標(biāo)。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,訓(xùn)練分類器,,,本文使用帶類標(biāo)的樣本,來訓(xùn)練參數(shù)， 通過最小化下面的目標(biāo)函數(shù)：,,,其中是標(biāo)準(zhǔn)鉸鏈損失函數(shù)，常數(shù)C控制正則項的相對權(quán)重。,,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,單組件目標(biāo)檢測,,,,1. 獲得5層CNN輸出的 256通道7層特征金字 塔，對于其中的每一 層分別輸入到檢測系 統(tǒng)中；,2. 將每一層通道特征圖分別 去和根濾波器，個部件濾 波器進(jìn)行卷積，得到個特 征圖；,3. P個局部檢測器得到的特 征圖進(jìn)行距離池化層處理；,單組件可變形部件模型檢測流程圖,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,單組件目標(biāo)檢測,,,,4.局部檢測器池化后的個特征圖級聯(lián)上全局檢測器的特征圖；,5. 通道的特征圖和目標(biāo)幾何濾波器進(jìn)行卷積，得到的是判別式模型在輸入特征金字塔每一層的得分。,單組件可變形部件模型檢測流程圖,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,多組件目標(biāo)檢測,,,在本文實驗中，因為每個組件DPM模型在金字塔每一層都會產(chǎn)生一個得分圖，假設(shè)即為組件在金字塔層的位置q產(chǎn)生的檢測得分。在多組件的DPM模型中，每個組件都會在同一位置形成得分競爭，因此在金字塔的每一個位置都會得到一個最高分，即：,,,其中即為多組件的DPM模型在金字塔層q位置的最終的得分，的計算公式可以利用公式（3-12）計算。,,其中組件c的目標(biāo)幾何濾波器，是根濾波器和部件濾波器在位置的得分子陣，是組件的得分偏差。具體的多組件DPM模型競爭方式。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,PASCAL VOC2007數(shù)據(jù)集實驗結(jié)果,,,對于不同算法需要有同一的評價指標(biāo)來衡量該算法的性能如何，本文用的評價指標(biāo)是：precision–recall曲線，該曲線是最常用的評價檢測算法性能的指標(biāo)，類似的還有ROC曲線和DET曲線，本文選擇precision–recall曲線作為評價本文提出的DP-DPM算法性能的指標(biāo)。曲線縱坐標(biāo)為precision，衡量的是在檢測結(jié)果中，檢測正確的正樣本占檢測出來的正樣本的比重。橫坐標(biāo)為recall，衡量的是檢測出來的真正樣本占所有真正樣本的比重。評價精度計算的是recall坐標(biāo)區(qū)域的平均值，即PR曲線包圍的面積，不同算法對比時，平均高的表示算法的準(zhǔn)確率更好。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,檢測結(jié)果與分析,,,,,,圖3-9表示訓(xùn)練不同組件數(shù)，部件數(shù)為5的DPM模型在VOC2007數(shù)據(jù)集中檢測自行車和馬的精度對比圖。其中DP-DPM表示深度特征金字塔訓(xùn)練LSVM得到的分類模型，用DP-DPM表示，HOG-DPM表示HOG特征金字塔訓(xùn)練LSVM得到的分類模型，用HOG-DPM表示。從圖3-9（a）中可以看出，5個部件數(shù)的DP-DPM模型的檢測結(jié)果要明顯優(yōu)于5個部件數(shù)的HOG-DPM模型的檢測結(jié)果。,在自行車的檢測結(jié)果中可以看出，單組件時DP-DPM精度為0.532，HOG-DPM精度為0.312， 改進(jìn)后的精度提高了70.5%；3組件時，DP-DPM相對于HOG-DPM改進(jìn)了63.2%；6組件時， DP-DPM相 對于HOG-DPM改進(jìn)了45.9%。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,檢測結(jié)果與分析,,,,從圖3-9（b）中可以看出，5個部件數(shù)的DP-DPM模型的檢測結(jié)果要明顯優(yōu)于5個部件數(shù)的HOG-DPM模型的檢測結(jié)果。在馬的檢測結(jié)果中可以看出，單組件時DP-DPM精度為0.532，HOG-DPM精度為0.342，改進(jìn)后的精度提高了55.5%；3組件時，DP-DPM相對于HOG-DPM改進(jìn)了59.8%；6組件時，DP-DPM相對于HOG-DPM改進(jìn)了56.7%。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,檢測結(jié)果與分析,,,表 3-1 DP-DPM和HOG-DPM兩種算法在PASCAL VOC2007數(shù)據(jù)集上的檢測結(jié)果。,兩種算法分別訓(xùn)練1個、3個、6個組件的DPM模型，含有的部件數(shù)都為5。對于VOC2007數(shù)據(jù)集中的所有的目標(biāo)類，改進(jìn)后DP-DPM算法的檢測精度相對于改進(jìn)的HOG-DPM算法的檢測精度都有大幅提高，且隨著組件越多，檢測精度越高，這是因為組件越多，包含目標(biāo)不同視角的剛性結(jié)構(gòu)模型也就越多，模型匹配的越準(zhǔn)確，精度自然就能提高。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,檢測結(jié)果與分析,,,表 3-2 DP-DPM和HOG-DPM兩種算法在PASCAL VOC2012數(shù)據(jù)集上的檢測結(jié)果,對于PASCAL VOC2012數(shù)據(jù)集中目標(biāo)類，改進(jìn)后DP-DPM模型的檢測精度相對于改進(jìn)前的HOG-DPM模型有很大提高。從表3-2中見隨著組件數(shù)量的增加，各類的檢測精度逐漸提高。,,3,研究方法1,RESEARCH METHODS1,,3.基于深度特征的目標(biāo)檢測,,小結(jié),,,本章通過介紹基于HOG特征的目標(biāo)檢測算法，引出單一特征有效性不高的問題，然后介紹了如何利用CNN的來提取深度特征金字塔，包括如何獲得預(yù)訓(xùn)練的AlexNet模型，然后通過遷移學(xué)習(xí)獲得目標(biāo)模型的初始參數(shù)，并將AlexNet模型截斷獲得包含5層卷積層的特征提取器，依次提取圖像的深度特征。然后介紹了如何利用提取的特征向量訓(xùn)練LSVM得到單組件的DPM模型；最后介紹了通過競爭方式判斷出多組件中的得分最高的組件。,,3,研究方法,RESEARCH METHODS,2,基于動態(tài)閾值的非極大值抑制,,動態(tài)閾值的非極大值抑制,固定閾值的非極大值抑制,結(jié)果與分析,,重檢與誤檢,非極大值抑制,VOC2012數(shù)據(jù)集實驗結(jié)果,VOC2007數(shù)據(jù)集實驗結(jié)果,,真實場景的檢測結(jié)果,,,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,固定閾值非極大值抑制算法,檢測后處理過程,完整的目標(biāo)檢測算法包括三個階段，學(xué)習(xí)階段，預(yù)測階段，和抑制重復(fù)檢測階段。第一階段主要是特征提取并且訓(xùn)練可變形部件模型，第二階段主要是利用模型對測試樣本進(jìn)行預(yù)測，第三階段的任務(wù)是對預(yù)測的結(jié)果進(jìn)行檢查，抑制掉多余的重復(fù)檢測和誤檢。 當(dāng)前，目標(biāo)檢測普遍使用基于貪心策略的非極大值抑制算法[47]，因為它簡單高效。在DPM算法中都有不錯的表現(xiàn)。,,NMS,,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,重復(fù)檢測和誤檢,基于滑動窗口的檢測，本文使用的方法是保持圖像尺度不變，調(diào)整滑動窗口的尺度，利用不同尺度的滑動窗口分別遍歷圖像，利用分類模型對特征向量進(jìn)行判斷。保持圖像尺度不變，改變滑動窗口的尺度來檢測目標(biāo)。,滑動窗口經(jīng)過閾值判斷后保留下來的窗口，包括重檢和誤檢的,經(jīng)過非極大值抑制算法，抑制掉了重檢和誤檢后，保留了檢測正確的窗口,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,固定閾值的非極大值抑制,NMS過程的實現(xiàn)是由三個循環(huán)嵌套組成的，第一層循環(huán)也稱為外層循環(huán)，在外循環(huán)遍歷所以窗口的分?jǐn)?shù)并且按照分?jǐn)?shù)由高到低將窗口排序，選擇分?jǐn)?shù)最高的作為初始窗口，剩下的窗口稱為抑制窗口。第二層循環(huán)稱為中層循環(huán)，中層循環(huán)是為了計算初始窗口和抑制窗口的面積重疊率o。第三層循環(huán)稱為內(nèi)循環(huán)，內(nèi)循環(huán)是為了比較o和閾值overlap的大小并且抑制o大于overlap的抑制窗口。,,由于窗口分?jǐn)?shù)在外層循環(huán)經(jīng)過排序，所以一側(cè)的窗口分?jǐn)?shù)總是比候選的窗口分?jǐn)?shù)低，所以中環(huán)和內(nèi)環(huán)迭代n-1次剛好就是初始窗口和抑制窗口做n-1次比較，并且n-1次比較后內(nèi)環(huán)和中環(huán)中止。公式說明了傳統(tǒng)非極大值抑制中閾overlap的大小。,,,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,重復(fù)檢測和誤檢,固定閾值的非極大值抑制,動態(tài)閾值非極大值抑制,將原始算法中的overlap動態(tài)化,,,,,,,,目標(biāo)檢測結(jié)果圖,NMS作用后,ANMS作用后,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,VOC2007數(shù)據(jù)集實驗結(jié)果,,圖4-5表示的是ANMS-PART，ANMS-ROOT，NMS-PART和NMS-ROOT四種不同的方式在VOC2007數(shù)據(jù)集中小汽車和馬的檢測精度對比圖。其中ANMS-PART表示的是單獨利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；ANMS-ROOT表示單獨利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制全局檢測器的檢測結(jié)果中的重檢和誤檢；NMS-PART表示的是單獨利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；NMS-ROOT表示單獨利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制全局檢測器檢測結(jié)果中的重檢和誤檢。,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,VOC2007數(shù)據(jù)集實驗結(jié)果,,圖4-5表示的是ANMS-PART，ANMS-ROOT，NMS-PART和NMS-ROOT四種不同的方式在VOC2007數(shù)據(jù)集中小汽車和馬的檢測精度對比圖。其中ANMS-PART表示的是單獨利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；ANMS-ROOT表示單獨利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制全局檢測器的檢測結(jié)果中的重檢和誤檢；NMS-PART表示的是單獨利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；NMS-ROOT表示單獨利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制全局檢測器檢測結(jié)果中的重檢和誤檢。,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,VOC2007數(shù)據(jù)集實驗結(jié)果,表4-1中PART表示的局部檢測器，ROOT是全局檢測器。從表4-1中發(fā)現(xiàn)ANMS-DPM現(xiàn)對于NMS-DPM在VOC2007數(shù)據(jù)集中，檢測精度都有所提高，說明引入分?jǐn)?shù)比和尺度比的動態(tài)化的抑制閾值對不同目標(biāo)類具有更好的普適性，能夠根據(jù)得分和尺度來自適應(yīng)選擇合適的抑制閾值。部件檢測精度提高最多的是bicycle類，使用ANMS代替NMS之后，部件濾波器檢測精度提高了14.4%；根濾波器檢測精度提高最多的是person類，提高程度為12.2%。部件濾波器檢測精度提高程度最低的是sofa類，提高程度為2.7%。根濾波器提高檢測精度提高最低的是train類，提高程度為1.9%。,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,VOC2007數(shù)據(jù)集實驗結(jié)果,ANMS-DPM算法在PASCAL VOC2007數(shù)據(jù)集上的檢測結(jié)果圖,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,VOC2012數(shù)據(jù)集實驗結(jié)果,表4-2中反映出改進(jìn)后的ANMS-DPM與改進(jìn)前NMS-DPM相比，在 VOC2012數(shù)據(jù)集上的檢測得分更高些。從表4-2中可以看出，全局檢測器檢測時，精度提高最多的類是馬，檢測精度提高程度為10.3%；提高最少的類是行人，提高程度為2%；局部檢測器檢測時，提高精度最高的類為摩托車，提出程度為9%，提高程度最少的為馬，降低了4%。,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,VOC2012數(shù)據(jù)集實驗結(jié)果,ANMS-DPM算法在PASCAL VOC2012數(shù)據(jù)集上的檢測結(jié)果圖,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,真實場景的檢測結(jié)果,（a）無遮擋尺度單一的行人檢測,（b）有遮擋尺度不一的行人檢測,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,真實場景的檢測結(jié)果,（a）無遮擋尺度單一的行人檢測,（b）有遮擋尺度不一的行人檢測,,4,研究方法,RESEARCH METHODS,,4.基于動態(tài)閾值的非極大值抑制,,小結(jié),本章主要圍繞DPM目標(biāo)檢測算法后處理過程中應(yīng)用的非極大值抑制算法展開，通過分析非極大值抑制算法，找出該算法的不足，即固定的面積重疊率閾值，緊接著提出利用檢測窗口分?jǐn)?shù)的二階矩將目標(biāo)類分開，然后在子類當(dāng)中再利用分?jǐn)?shù)比和尺度比建立數(shù)學(xué)模型，利用分?jǐn)?shù)和尺度比自適應(yīng)的選擇面積重疊率閾值。為了驗證改進(jìn)后的自適應(yīng)閾值的非極大值算法的有效性，分別在PASCAL VOC2007和PASCAL VOC 2012兩數(shù)據(jù)集中進(jìn)行實驗，且從根濾波器和部件濾波器兩個角度進(jìn)行對比。實驗結(jié)果發(fā)現(xiàn)，改進(jìn)后的ANMS算法具有很好的普適性，不管是根濾波器還是部件濾波器，對數(shù)據(jù)集中所有類，檢測精度都有不同程度的提高。,,,本文針對智慧城市技術(shù)的核心技術(shù)目標(biāo)檢測算法，分析了該類算法的兩類問題：一是特征，現(xiàn)有算法基本采用的是人工設(shè)計的單一特征或幾種特征組合。這些人工設(shè)計的特征設(shè)計復(fù)雜且很容易引入噪聲，無法充分的包含圖像的有用信息。二是后處理過程，現(xiàn)有的后處理算法只采用了固定大小的抑制閾值，無法針對不同目標(biāo)自適應(yīng)的調(diào)整閾值。 本文CNN為基礎(chǔ)，提取深度特征訓(xùn)練可變形部件模型，得到最終的檢測模型，有效的提高了檢測精度。另外對非極大值抑制的閾值動態(tài)化，也提高了檢測精度。,,5,結(jié)論,CONCLUSION,,,1,2,王愛麗,胡長雨. 基于ORB特征的復(fù)雜場景下的增強現(xiàn)實. 哈爾濱理工大學(xué)學(xué)報, 2017, 4(中文核心，已錄用).,Aili Wang, Changyu Hu, X Liu, et al. A modified of the non-maxima suppression algorithm International Conference of Electronic Engineering & Information Science, 2016, January, 69-72(EI會議，待檢索).,,科研成果,,6,科研成果,CONCLUSION AND SUGGESTIONS,致謝感恩,The Graduation Thesis Defense,,,,