機(jī)器視覺(jué).ppt

《機(jī)器視覺(jué).ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《機(jī)器視覺(jué).ppt（138頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、基本概念簡(jiǎn)介1.概述2.Marr視覺(jué)理論3.二維圖像分析概述4.成像幾何基礎(chǔ)5.攝像機(jī)模型與攝像機(jī)標(biāo)定6.立體視覺(jué)與三維重建l機(jī)器視覺(jué)也稱為計(jì)算機(jī)視覺(jué)，包括單目視覺(jué)、雙目（立體）視覺(jué)和多目視覺(jué)l研究用計(jì)算機(jī)來(lái)模擬生物外部顯示器或宏觀視覺(jué)功能的科學(xué)和技術(shù)l首要目標(biāo)是用圖像創(chuàng)建或恢復(fù)現(xiàn)實(shí)視覺(jué)模型，然后認(rèn)知現(xiàn)實(shí)世界l工業(yè)生產(chǎn)自動(dòng)化（零部件定位，抓放，識(shí)別，質(zhì)量檢測(cè)）；l移動(dòng)機(jī)器人導(dǎo)航；l生物醫(yī)學(xué)圖像分析；l遙感圖像解讀：航空攝影圖像、氣象衛(wèi)星圖像、資源衛(wèi)星圖像l現(xiàn)代應(yīng)用以人為中心，或以人為觀察目標(biāo)（上世紀(jì)90年代中期），主要觀察人類的行為、動(dòng)作、表情等，屬于復(fù)雜任務(wù)。l當(dāng)今的計(jì)算機(jī)已經(jīng)具有了性價(jià)比較

2、高的，能夠滿足需求的計(jì)算能力l視覺(jué)監(jiān)視（Visual Surveilance）l多幅圖像或視頻中場(chǎng)景的分割和解釋（Segmentation and interpretation of scenes in images or videos）l人機(jī)接口（Human-Computer Interfaces）l先進(jìn)感知（Enhanced perception）l安全識(shí)別（Secure Identification）l場(chǎng)景中人的存在與定位（Precence and Location）l身體各部分（body parts）檢測(cè)：面部（face）、四肢（limbs）、手（hands）等l人的動(dòng)作（action

3、s)、行為（behavior）、姿態(tài)（gesture）、情緒（emotion）、步態(tài)（gait）、指紋（fingerprint）、虹膜（iris）檢測(cè)l各種球類運(yùn)動(dòng)分析l礦業(yè)、森林業(yè)、農(nóng)業(yè)、自然資源和生態(tài)環(huán)境檢測(cè)l三維物體重構(gòu)l城市規(guī)劃設(shè)計(jì)l遠(yuǎn)程教育、多媒體教育l遠(yuǎn)程手術(shù) l輸入設(shè)備l低層視覺(jué)l中層視覺(jué)l高層視覺(jué)l體系結(jié)構(gòu)1.國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議（ICCV）2.國(guó)際模式識(shí)別會(huì)議（ICPR）3.國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（CVPR）4.歐洲計(jì)算機(jī)視覺(jué)會(huì)議（ECCV）5.亞洲計(jì)算機(jī)視覺(jué)會(huì)議（ACCV）1.International Journal of computer Vision2.IEEE

4、Trans. On PAMI3.IEEE Trans.on Robotics and Automation4.IEEE Trans. On Image Processing5.CVGIP(Computer vision, graphics and Image processing)6.Visual image Computing7.IJPRAI(International Journal of Pattern Recognition and Artificial Intelligence)8.Pattern Recognition1.馬頌德，張正友：計(jì)算機(jī)視覺(jué)計(jì)算理論與算法基礎(chǔ)，科學(xué)出版社，北

5、京，1998第一版2.賈云得：機(jī)器視覺(jué)，科學(xué)出版社，北京，2004年4月第一版3.計(jì)算機(jī)視覺(jué)中的多視圖幾何4.David A. Forsyth, Jean Ponce: Computer Vision: A Modern Approach (清華大學(xué)出版影印版,電子工業(yè)出版社出版翻譯版)l場(chǎng)景圖像通常是灰度圖像，即三維場(chǎng)景在二維平面上的投影。l場(chǎng)景信息通過(guò)灰度圖像或灰度圖像序列恢復(fù)處理l需要進(jìn)行多點(diǎn)對(duì)一點(diǎn)的映射逆變換，信息恢復(fù)過(guò)程中還需要有關(guān)的場(chǎng)景知識(shí)和投影幾何知識(shí)。l包括：成像設(shè)備成像設(shè)備景物探測(cè)成像 數(shù)字化設(shè)備數(shù)字化設(shè)備將成像設(shè)備輸出的模擬信號(hào)轉(zhuǎn)換為二維/三維數(shù)字化圖像l常用的成像設(shè)備：C

6、CD彩色/黑白攝像機(jī)、數(shù)字掃描儀、超聲成像探測(cè)儀、CT成像設(shè)備、紅外成像系統(tǒng)、激光成像系統(tǒng)、計(jì)算成像系統(tǒng)等l觀測(cè)系統(tǒng)使用的光波段：根據(jù)探測(cè)對(duì)象不同的物理介質(zhì)、材料和狀態(tài)可以從可見(jiàn)光、紅外、X射線、微波、超聲到射線。l觀測(cè)對(duì)象：靜止的、運(yùn)動(dòng)的、平面的、立體的。l產(chǎn)品內(nèi)部缺陷（內(nèi)部裂紋和氣孔等）檢驗(yàn)：X射線照相或超聲探測(cè)l航空?qǐng)D像：普通的視頻攝像機(jī)l衛(wèi)星圖像：氣象衛(wèi)星紅外成像傳感系統(tǒng)獲取不同云層的圖像（云圖）；海洋衛(wèi)星合成孔徑雷達(dá)獲取海洋、淺灘等圖像以重構(gòu)海洋波浪及海灘的三維表面圖；資源衛(wèi)星多光譜探測(cè)器（multiple spectral sensor, MSS）獲取地表相應(yīng)點(diǎn)的多個(gè)光譜段的反射特

7、性（紅外、可見(jiàn)光、紫外等），用于找礦、森林和農(nóng)作物調(diào)查、自然災(zāi)害測(cè)報(bào)、資源和生態(tài)環(huán)境監(jiān)測(cè)等l醫(yī)學(xué)圖像分析：X射線成像、計(jì)算機(jī)層析（computerd tomography, CT）、核磁共振成像（magnetic resonance imaging, MRI）、超聲成像等。可以對(duì)圖像進(jìn)行增強(qiáng)、標(biāo)記、染色等以幫助醫(yī)生診斷疾病，協(xié)助醫(yī)生對(duì)感興趣的區(qū)域進(jìn)行定量測(cè)量和比較；利用專家知識(shí)系統(tǒng)對(duì)圖像（圖像系列）進(jìn)行自動(dòng)分析和解釋，給出診斷結(jié)果lMarr理論把視覺(jué)過(guò)程看作一個(gè)信息處理的過(guò)程，并提出對(duì)于信息處理過(guò)程的研究應(yīng)分為計(jì)算理論、表示（數(shù)據(jù)結(jié)構(gòu)）與算法、硬件實(shí)現(xiàn)三個(gè)層次l回答作為信息處理過(guò)程的視覺(jué)過(guò)程，

8、它的輸入是什么？輸出是什么？為什么由這個(gè)輸入可以求得輸出（輸入輸出之間存在的內(nèi)在約束）等問(wèn)題。l或者說(shuō)“計(jì)算的目的是什么？為什么這一計(jì)算是合適的？執(zhí)行這一計(jì)算的策略是什么？l表示和算法層次回答如何實(shí)現(xiàn)計(jì)算理論，特別是輸入輸出的表示（數(shù)據(jù)結(jié)構(gòu)）是什么，為實(shí)現(xiàn)表示之間的變換應(yīng)當(dāng)采用什么算法l硬件實(shí)現(xiàn)層次解決在物理上如何實(shí)現(xiàn)這種表示和算法lMarr理論規(guī)定視覺(jué)過(guò)程為從二維的圖像信息中定量地恢復(fù)出圖像所反映的場(chǎng)景中的三維物體的形狀和空間位置l視覺(jué)過(guò)程所要完成的任務(wù)分成三個(gè)階段：圖像 要素圖 2.5維圖 三維表示 早期視覺(jué)或低層視覺(jué)（low level）：由輸入圖像獲得要素圖。借用了大量圖像處理技術(shù)和算

9、法，如濾波、增強(qiáng)、邊緣檢測(cè)等，以便從圖像中抽取如“零交叉”、斑點(diǎn)、端點(diǎn)、焦點(diǎn)、邊緣、線條、有效線段、線段組、曲線組織、邊界以及色彩等關(guān)于場(chǎng)景的基本特征（要素圖）。即圖像中強(qiáng)度變化劇烈處的位置及其幾何分布和組織結(jié)構(gòu)，邊界等。還包括各種圖像變換（如校正）、紋理檢測(cè)、圖像運(yùn)動(dòng)檢測(cè)等方法。 目的：更清楚地表示原始二維圖中像的重要信息中期視覺(jué)或中層視覺(jué)（middle level）：由輸入圖像和要素圖恢復(fù)各點(diǎn)離觀察者的距離（場(chǎng)景深度）、 可見(jiàn)表面上各點(diǎn)的法線方向、輪廓、深度上的不連續(xù)點(diǎn)、表面法向上的不連續(xù)點(diǎn)等有關(guān)場(chǎng)景的2.5維圖。 實(shí)現(xiàn)的途徑：立體視覺(jué)（ stereo vision)、測(cè)距成像（range

10、 fingder)、運(yùn)動(dòng)估計(jì)(motion estimation)、明暗特征、紋理特征等所謂從X恢復(fù)形狀的估計(jì)方法。系統(tǒng)標(biāo)定、系統(tǒng)成像模型等研究一般也在這個(gè)層次上進(jìn)行。后期視覺(jué)或高層視覺(jué)（High Level）：在以物體為中心的坐標(biāo)系中，在輸入圖像、要素圖、2.5維圖，恢復(fù)物體的完整三維圖，建立物體三維描述、識(shí)別三維物體并確定物體的位置和方向，給出各物體之間的空間關(guān)系的描述。1 圖像的多義性：三維場(chǎng)景投影為二維圖像，深度和不可見(jiàn)部分的信息被丟失了。不同視角下的圖像有極大不同，遮擋丟失信息、不同形狀的物體投影在圖像平面上產(chǎn)生相同圖像。2 環(huán)境因素影響：如照明、物體形狀、表面顏色、攝像機(jī)以及空間位

11、置變化。3 成像過(guò)程存在畸變和噪聲4 不同的知識(shí)引導(dǎo)可能產(chǎn)生不同的空間關(guān)系，從而產(chǎn)生不同的識(shí)別結(jié)果。5 數(shù)據(jù)量大，需要大存儲(chǔ)空間，不易提高處理速度。l主動(dòng)視覺(jué)（active vision）l面向任務(wù)的視覺(jué)（task-oriented vision）l基于知識(shí)、基于模型的視覺(jué)（knowledge-based, model-based vision）l多傳感器信息融合l集成視覺(jué)l圖像處理通常是把一幅圖像變換成另外一幅圖像，信息恢復(fù)任務(wù)留給人來(lái)完成，包括圖像增強(qiáng)、圖像壓縮、模糊校正與非聚焦圖像等內(nèi)容，輸入和輸出都是圖像l機(jī)器視覺(jué)的輸入是圖像，輸出為另一種形式（如物體輪廓表示等），重點(diǎn)是在人的最小干預(yù)

12、下，由計(jì)算機(jī)自動(dòng)恢復(fù)和識(shí)別場(chǎng)景信息。l計(jì)算機(jī)圖形學(xué)通過(guò)幾何基元（線、圓、自由曲面等）生成圖像，在可視化（visualization）和虛擬現(xiàn)實(shí)（virtual reality）中起著很重要的作用。屬于圖像綜合l機(jī)器視覺(jué)解決計(jì)算機(jī)圖形學(xué)的相反問(wèn)題，從圖像中估計(jì)幾何基元和其他特征，屬于圖像分析。l隨著技術(shù)的發(fā)展，兩個(gè)領(lǐng)域開(kāi)始互相借鑒，后者使用了前者的曲線和曲面表示方法等技術(shù)，前者采用后者的技術(shù)，在計(jì)算機(jī)中建立逼真的圖像模型。l模式識(shí)別主要用于識(shí)別各種符號(hào)、圖畫(huà)等平面圖形，一般指一類事物區(qū)別于其他事物所具有的共同特征，主要方法有統(tǒng)計(jì)方法和句法方法兩種。l模式識(shí)別是機(jī)器視覺(jué)識(shí)別物體的重要基礎(chǔ)之一，同時(shí)

13、還經(jīng)常需要其它的技術(shù)。人工智能（artificial intelligent, AI）的許多技術(shù)在機(jī)器視覺(jué)的各個(gè)方面起著重要作用，被認(rèn)為是人工智能的一個(gè)分支，涉及智能系統(tǒng)的設(shè)計(jì)和智能計(jì)算的研究。在圖像處理和特征提取后，用仍哦能夠智能方法對(duì)場(chǎng)景特征進(jìn)行表示、分析和理解。其三個(gè)過(guò)程是：感知（將外界信息轉(zhuǎn)換成信號(hào)并表示為符號(hào)）、認(rèn)知（對(duì)符號(hào)進(jìn)行操作）和行動(dòng)（將符號(hào)轉(zhuǎn)成影響外界的信號(hào)）。人工神經(jīng)網(wǎng)絡(luò)（artificail neural networks, ANNs）是一種信息處理系統(tǒng)。可以作為一種方法和機(jī)制解決機(jī)器視覺(jué)中的許多問(wèn)題。由大量簡(jiǎn)單的處理單元（神經(jīng)元）通過(guò)具有強(qiáng)度的連接相互聯(lián)系起來(lái)，實(shí)現(xiàn)并行

14、分布式處理（parallel distribution processing, PDP），最大特點(diǎn)是可以通過(guò)改變連接強(qiáng)度來(lái)調(diào)整系統(tǒng)，使其適應(yīng)復(fù)雜的環(huán)境，實(shí)現(xiàn)類似人的學(xué)習(xí)、歸納和分類等功能使用各種知識(shí)特征模型、成像模型、物體模型、物體間的關(guān)系等，在視覺(jué)的各個(gè)階段，盡可能地進(jìn)行自動(dòng)運(yùn)算系統(tǒng)應(yīng)該使用那些可以被明確表示的知識(shí)，時(shí)系統(tǒng)有更高的適應(yīng)性和魯棒性，也可以求解機(jī)器視覺(jué)中較難的問(wèn)題1.常用術(shù)語(yǔ)回顧（基于圖像處理課基礎(chǔ)）2.二維圖像預(yù)處理回顧3.圖像區(qū)域分析和邊緣檢測(cè)4.二維機(jī)器視覺(jué)應(yīng)用l灰度圖像，二值圖像和彩色圖像l直方圖與圖像閾值圖像可以表示成取值范圍為0,G的實(shí)函數(shù):f(xi, yi, tk,

15、 l); i, j = 0, 1, 2, , N-1; k = 0, 1, 2, , n-1; l = 0, 1, 2, ,m式中自變量(xi, yi)是位置坐標(biāo)； tk是圖像攝取時(shí)刻；l是獲取圖像的傳感器所使用的波段。垂直方向像素采樣間隔x=xi+1-xi;水平方向像素采樣間隔y=yj+1-yj;t=tk+1-tk為時(shí)間間隔單幅圖像可以用矩陣形式表示1,2, 11 , 10, 11, 21, 12, 11 , 10, 11, 02, 01 , 00, 0NMMMMNNNfffffffffffff每個(gè)矩陣元素稱為圖像的像素。fi,j表示位于圖像第i行第j列的元素灰度的大小，灰度的變化是圖像的特

16、征源。該矩陣包含了單幅圖像關(guān)于景物的全部原始信息。l人類視覺(jué)在理解僅由兩個(gè)灰度級(jí)組成的線條、輪廓影像或其他圖像時(shí)沒(méi)有任何困難，而且應(yīng)用場(chǎng)合很多。l計(jì)算二值圖像特性的算法簡(jiǎn)單、容易理解和實(shí)現(xiàn)，計(jì)算速度很快l二值圖像所需的內(nèi)存小，對(duì)計(jì)算設(shè)備要求低，256級(jí)的灰度圖像的視覺(jué)系統(tǒng)所需內(nèi)存是二值圖像系統(tǒng)的8倍。l許多二值視覺(jué)系統(tǒng)技術(shù)也可以用于灰度圖像視覺(jué)系統(tǒng)上，如物體模板等。l應(yīng)用場(chǎng)合：物體輪廓足以用來(lái)識(shí)別物體且周圍環(huán)境可以適當(dāng)?shù)乜刂?。許多工業(yè)場(chǎng)合都屬于這種情況l生成方式：通常是用閾值分割方式將灰度圖像變換為二值圖像。l圖像灰度直方圖：一種灰度特性，指圖像所有灰度值出現(xiàn)的相對(duì)頻率。l圖像閾值：來(lái)源于如下

17、假設(shè)同一物體表面上的點(diǎn)集投影到圖像上得到的像素點(diǎn)集在空間上十分靠近，且具有相似的灰度。根據(jù)該假設(shè)來(lái)組合圖像中的像素，然后可以把各組合與圖像的其余部分分開(kāi)。l如果物體的灰度值落在某一區(qū)間內(nèi)，并且背景的灰度值在這一區(qū)間之外，則可以通過(guò)閾值運(yùn)算得到物體的二值圖像，即把區(qū)間內(nèi)的點(diǎn)置成1，區(qū)間外的點(diǎn)置成0。對(duì)于二值視覺(jué)，分割和閾值化同義。閾值的確定決定了圖像分割的效果。l由于視覺(jué)系統(tǒng)的自主性能要求，不能采用交互式凡是分析圖像，必須利用圖像灰度分布特點(diǎn)和有關(guān)的物體知識(shí)來(lái)進(jìn)行自動(dòng)閾值選擇。圖像特征是圖像解釋的基礎(chǔ)。常用的圖像特征有：（1）灰度：包括多光譜、彩色信息；（2）邊緣：描述灰度變化的程度和位置；（3

18、）紋理特征：描述圖像中反復(fù)出現(xiàn)的局部模式和它們的排列規(guī)則，（4）形狀特征：描述物體、區(qū)域或基元的外形；（5）物體表面主方向，即三維物體表面的法向；（6）傳感器與物體表面各點(diǎn)的距離；（7）物體運(yùn)動(dòng)信息；許多圖像的灰度值是非均勻分布的，灰度值集中在一個(gè)小區(qū)間內(nèi)的圖像很常見(jiàn)（對(duì)比度很弱的圖像），曝光不足會(huì)造成圖像灰度變化范圍小，層次不豐富?？梢杂弥狈綀D拉伸，直方圖均衡等方法對(duì)圖像進(jìn)行修正，提高圖像的主觀質(zhì)量。一種圖像尺度變換，把在灰度區(qū)間a, b內(nèi)的像素點(diǎn)映射到z1, zk區(qū)間?？梢孕拚捎谄毓獠蛔阍斐傻幕叶茸兓秶?，層次不豐富的圖像。改善視覺(jué)感知條件，達(dá)到圖像增強(qiáng)的目的。變換可以是線性的或非線性

19、的設(shè)a, b為獲得的圖像灰度變化范圍，拉伸后灰度范圍擴(kuò)展為z1, zk，一般由于曝光不充份，區(qū)間a, b常為空間z1, zk的子空間，元區(qū)間內(nèi)的像素點(diǎn)z映射為新區(qū)間內(nèi)像素點(diǎn)z的函數(shù)為：11)(zazabzzzk如果圖像的大多數(shù)像素灰度值分布在區(qū)間a, b，則可以使用映射函數(shù)：bzzazzbzazazabzzzkk111)(若要突出圖像中具有某些灰度值物體的細(xì)節(jié)，而又不犧牲其它灰度上的細(xì)節(jié)，可以采用分段灰度變換，使需要的細(xì)節(jié)灰度值區(qū)間得到拉伸，不需要的細(xì)節(jié)得到壓縮，以增強(qiáng)對(duì)比度，也可以采用連續(xù)平滑函數(shù)進(jìn)行灰度變換圖像增強(qiáng)最常用、最重要的方法之一。利用圖像灰度分布（直方圖）信息，對(duì)灰度分布形式作校

20、正來(lái)修正圖像灰度，是基于度量空間（灰度分布）的灰度修正方法。(1)統(tǒng)計(jì)：圖像總像素?cái)?shù)：64*64=4096=n 灰度量化級(jí)：8； 最大最小灰度：rmax, rmin(2)圖像作正規(guī)化處理：(3)作灰度分布直方圖：Pr(r,)=nk/n(4)作累積分布函數(shù)：minmaxminrrrrr0( )( )kkrjkjsp rT rrknkPr(rk)=nk/n07900.191/7 (0.14)10230.252/7 (0.28)8500.213/7 (0.42)6500.164/7 (0.56)3290.085/7 (0.70)2450.066/7 (0.84)1220.031810.02s0s1s

21、2s3s4s5s6s70.19 0.44 0.65 0.81 0.89 0.95 0.98 1(5)按量化間隔作校正：原圖像灰度階數(shù)為8，每個(gè)間隔長(zhǎng)度為170.14，將sk值按接近法則歸入各自的量化級(jí)，并重新歸類。sk歸類結(jié)果s0 =1/7s1=3/7s2=5/7s0s1s2s3=6/7s4=6/7s3,4s5=1s6=1s7=1s5,6,7(6)取sk的分布函數(shù)Ps(sk)，它服從0，1均勻分布，將rk灰度改為對(duì)應(yīng)的sk,得到經(jīng)直方圖校正后0，1中的正規(guī)化圖像rknksk=T(rk) nskPs(sk)=nsk/nr0=0r1=1/7r2=2/77901023850s0=1/7s1=3/7s

22、2=5/779010238500.190.240.21r3=3/7r4=4/7656329s3,4=6/7 656+329=985 0.24r5=5/7r6=6/7r7=124512281s5.6.7=1245+122+81=4480.10(7)對(duì)原來(lái)取ri (i = 0,1,2,7)灰度的像素改變灰度值r0s0； r1s1； r2s2； r3， r4 s3，4； r5， r6， r7 s5，6，7(8)作反變換：s=(rmax-rmin)s+rmin，恢復(fù)到原圖像灰度范圍圖像常被強(qiáng)度隨機(jī)信號(hào)（也稱為噪聲）所污染，常見(jiàn)的噪聲有椒鹽（Salt & Pepper）噪聲、脈沖噪聲、高斯噪聲等。椒鹽噪

23、聲含有隨機(jī)出現(xiàn)的黑白亮度值，脈沖噪聲只含有隨機(jī)的白強(qiáng)度值（正脈沖噪聲）或黑強(qiáng)度值（負(fù)脈沖噪聲），高斯噪聲含有亮度服從高斯或正態(tài)分布的噪聲，是許多傳感器噪聲得很好模型，如攝像機(jī)的電子干擾噪聲使用連續(xù)窗函數(shù)內(nèi)像素加權(quán)和實(shí)現(xiàn)濾波，同一模式的權(quán)重因子可以作用在每一個(gè)窗口內(nèi)，因此是空間不變的，可以使用卷積模板實(shí)現(xiàn)濾波；如果圖像的不同部分使用不同的濾波權(quán)重因子，且仍然可以用濾波器完成加權(quán)運(yùn)算，則線性濾波器就是空間可變的。常用的線性濾波器有平均值濾波器（會(huì)使圖像的邊緣模糊）和高斯濾波器。線性平滑濾波器去除高斯噪聲的效果很好，且在大多數(shù)情況下，對(duì)其他類型的噪聲也有很好的效果。l最簡(jiǎn)單的線性濾波器是局部均值運(yùn)算

24、，即每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，鄰域的大小控制著濾波程度大尺度鄰域會(huì)加大濾波程度，但作為驅(qū)除大噪聲的代價(jià)，也會(huì)導(dǎo)致圖像細(xì)節(jié)的損失。l設(shè)計(jì)濾波器時(shí)，選擇濾波權(quán)值應(yīng)是得濾波器只有一個(gè)峰值，成為主瓣，并且在水平和垂直方向上是對(duì)稱的。l任何不是像素加權(quán)運(yùn)算的濾波器都是非線性濾波器，非線性濾波器也可以是空間不變的，即在圖像的任何位置上可以進(jìn)行相同的運(yùn)算而不考慮圖像位置或空間的變化。用像素點(diǎn)鄰韻灰度值的中值來(lái)代替該像素點(diǎn)的灰度值，在去除脈沖噪聲、椒鹽噪聲的同時(shí)能保留圖像邊緣細(xì)節(jié)，因?yàn)樗灰蕾囉卩徲騼?nèi)那些與典型值差別很大的值。計(jì)算以點(diǎn)i,j為中心的函數(shù)場(chǎng)像素的步驟如下： （1）在函數(shù)窗內(nèi)按亮

25、度值大小排列像素點(diǎn)； （2）選擇排序像素級(jí)的中間值作為點(diǎn)i, j的新值l均值濾波的平滑功能會(huì)使圖像邊緣模糊，中值濾波在去除脈沖噪聲的同時(shí)也將圖像中的線條細(xì)節(jié)濾除掉，邊緣保持濾波器可以在濾除噪聲脈沖的同時(shí)，不至于使圖像邊緣十分模糊。l基本過(guò)程：對(duì)灰度圖像的每一個(gè)像素點(diǎn)i, j取適當(dāng)大小的一個(gè)鄰域（如33），分別計(jì)算該點(diǎn)的左上角、左下角、右上角、右下角子鄰域的灰度分布均勻度V，然后取最小均勻度對(duì)應(yīng)區(qū)域的均值作為該像素點(diǎn)的新的灰度值。011001001222),/),(,jifjifVNjifjifV（或左上角V=1/4;右上角V=3/4；左下角V=0;右下角V1/2，由圖可知，分布越均勻，V值越小

26、，左下角鄰域全為0，因此V0為最小值，像素i,j處的灰度值應(yīng)為0。l連通成份標(biāo)記；l細(xì)化l膨脹與收縮；l歐拉數(shù)和區(qū)域邊界；l距離測(cè)量；可以把二值圖像區(qū)域縮成線條，以逼近區(qū)域的中心線（骨架或核線）。目的是減少圖像成分，只留下區(qū)域的最基本信息，以便進(jìn)一步分析和識(shí)別。主要對(duì)細(xì)長(zhǎng)形區(qū)域有效。l連通區(qū)域必須細(xì)化成連通線結(jié)構(gòu)l細(xì)化結(jié)果最少應(yīng)該是8連通l保留終止線的位置l細(xì)化結(jié)果應(yīng)該近似于中軸線l由細(xì)化引起的附加突刺（短分支）應(yīng)該是最小的l在至少33鄰域內(nèi)檢查圖像的每一點(diǎn)，剝?nèi)^(qū)域邊界，一次剝?nèi)ヒ粚訄D像，直至區(qū)域被細(xì)化成一條線，通常用迭代法實(shí)現(xiàn)l細(xì)化迭代算法：對(duì)于每一個(gè)像素，如果滿足以下條件，則去除該像素點(diǎn)

27、：（1）沒(méi)有上鄰點(diǎn)（下鄰點(diǎn)左鄰點(diǎn)右鄰點(diǎn)）；（2）不是孤立點(diǎn)或終止線；（3）去除該像素點(diǎn)不會(huì)斷開(kāi)區(qū)域；重復(fù)這一步驟直至沒(méi)有像素點(diǎn)可以去除為止。l膨脹（expanding）：如果某一連通成分可以變化，使一些背景像素點(diǎn)變成前景像素點(diǎn)，這一運(yùn)算就稱為膨脹（或稱擴(kuò)展）l如果物體像素點(diǎn)全方位地消減或變?yōu)楸尘跋袼攸c(diǎn)時(shí)，則稱為收縮（或稱腐蝕）。可以看作是擴(kuò)展背景l(fā)先擴(kuò)展后收縮算法（閉操作）可以補(bǔ)上不希望存在的洞；先收縮后擴(kuò)展算法（開(kāi)操作）則能去除孤立的噪聲點(diǎn)。l設(shè)一幅圖像的前景為S，背景為 ，便解則是那些屬于S且與鄰接的點(diǎn)集。在大多數(shù)應(yīng)用中，都采用一個(gè)特定的順序跟蹤邊界點(diǎn)，一般是按順時(shí)針?lè)较蚋?SSl邊緣點(diǎn)

28、：兩邊像素的灰度值有顯著的不同或一個(gè)在較亮的區(qū)域內(nèi)部，另一個(gè)在外部l邊緣段：邊緣點(diǎn)坐標(biāo)及其方向的總和，邊緣的方向可以是梯度角。l輪廓：邊緣列表或一條邊緣列表的曲線模型l邊緣檢測(cè)器：從圖像中抽取邊緣（邊緣點(diǎn)或邊緣段）集合的算法l邊緣連接：從無(wú)序邊緣表形成有序邊緣表的過(guò)程，習(xí)慣上邊緣的表示采用順時(shí)針?lè)较蚺判騦邊緣跟蹤：用于確定輪廓圖像（濾波后的圖像）的搜索過(guò)程l一幅圖像可以看作是圖像強(qiáng)度連續(xù)函數(shù)的采樣點(diǎn)陣列，圖像灰度值的顯著變化可用梯度的離散逼近函數(shù)檢測(cè)，定義為矢量：l矢量G（x, y）的方向就是函數(shù)f (x, y)增大時(shí)的最大變化率方向；梯度的幅值為yfxfGGyxGyx),(22),(yxGG

29、yxGl實(shí)際應(yīng)用中，通常用絕對(duì)值來(lái)近似梯度幅值l 或l梯度的方向定義為： ，其中a角是相對(duì)x軸的角度l對(duì)于數(shù)字圖像，梯度公式中的導(dǎo)數(shù)可以用差分近似，最簡(jiǎn)單的梯度近似表達(dá)式為：l j 對(duì)應(yīng)x軸方向l i對(duì)應(yīng)y軸方向yxGGyxG),(),max(),(yxGGyxG)/arctan(),(yxGGyxajifjifGjifjifGyx, 1,1,l可以用簡(jiǎn)單卷積模板來(lái)完成計(jì)算lGX= Gy=l常用22一階差分模板求x和y的偏導(dǎo)數(shù)lGx= Gy=-111-1-1 1-1 111-1 -1lRoberts算子：R(i, j)=max| f(A0) - f(A4)|, | f(A2) - f(A6)|

30、lSobel算子：S(i, j)= | (f(A0) +2 f(A1)+ f(A2) (f(A6) +2f(A5) + f(A4)| +| ( f(A0) +2 f(A7)+ f(A6) - f(A2)+2f(A3) + f(A4)|方向偏導(dǎo)：sx=(A2+cA3+A4)-(A0+cA7+A6); sy= (A0+cA1+A2)-(A6+cA5+A4); c=2lPrewitt算子：方程同Sobel算子，但常量c=1l一階導(dǎo)數(shù)邊緣檢測(cè)器中，如果求出的一階導(dǎo)數(shù)高于某一閾值，則確定該點(diǎn)為邊緣點(diǎn)，但會(huì)導(dǎo)致檢測(cè)的邊緣點(diǎn)太多，更好的辦法是求梯度局部最大值對(duì)應(yīng)的點(diǎn)并認(rèn)定為邊緣點(diǎn)。l常用的二階微分算子有：拉

31、普拉斯算子；二階方向?qū)?shù)；Canny邊緣檢測(cè)器等函數(shù)f(x,y)的拉普拉斯算子公式：以點(diǎn)i,j為中心的x和y方向上的二階偏導(dǎo)數(shù)近似為22222fffxy2222( ,12 , ) ,1( 1, 2 , )1, ff i jf i jf i jxff ijf i jf ijyl將以上兩式合并得到能用來(lái)近似拉普拉斯算子的模板：l即l當(dāng)拉普拉斯算子輸出出現(xiàn)過(guò)零點(diǎn)時(shí)表示有邊緣存在2010141010 222( , )( , )( , )(1, )(1, )( ,1)( ,1)4 ( , )xyf i jf i jf i jf ijj ijj i jf i jf i jl邊緣分為階躍狀和屋頂狀兩種l邊緣

32、檢測(cè)算法步驟： （1）濾波；（2）增強(qiáng)；（3）檢測(cè)；（4）定位l由邊緣檢測(cè)器生成的邊緣集可以分成真邊緣集和假邊緣集兩個(gè)子集以及場(chǎng)景中漏檢的邊緣集。假邊緣集稱之為假陽(yáng)性，漏掉的邊緣集則稱為假陰性l邊緣連接和邊緣跟蹤之間的區(qū)別：前者將邊緣檢測(cè)器產(chǎn)生的無(wú)序邊緣集作為輸入，輸出一個(gè)有序邊緣集，后者將一幅圖像作為輸入，輸出一個(gè)有序邊緣集l邊緣檢測(cè)使用局部信息來(lái)決定邊緣，邊緣跟蹤使用整個(gè)圖像信息決定一個(gè)像素點(diǎn)是否是邊緣l假邊緣概率；l丟失邊緣概率；l邊緣方向角估計(jì)誤差；l邊緣估計(jì)值到真邊緣的距離平方均值；l畸變邊緣和其他諸如角點(diǎn)和結(jié)點(diǎn)的誤差范圍（1）（2）涉及邊緣檢測(cè)器算法的性能；（3）（4）涉及邊緣定位

33、、方向估計(jì)算法的性能；（5）關(guān)心邊緣算法偏離理想模型的誤差范圍歐拉數(shù)（Eular）或虧格數(shù)（genus）可作為識(shí)別物體的特征，定義為連通成份減去洞數(shù)，E = C H。E 歐拉數(shù)； C連通成份； H洞數(shù)。公式給出一個(gè)具有平穩(wěn)、旋轉(zhuǎn)和比例不變特性的拓?fù)涮卣?。l歐幾里德距離l街區(qū)距離l棋盤(pán)距離2212212211)()(),(jjiijijidEuclidean2121jjiidBlock),max(2121jjiidChessl用計(jì)算機(jī)圖像處理和分析系統(tǒng)對(duì)景物的諸目標(biāo)提取形狀特征，對(duì)景物作識(shí)別、理解。l圖像經(jīng)過(guò)邊緣提取、分割后獲得若干分割區(qū)域，對(duì)各區(qū)域提取形狀特征，通過(guò)這些區(qū)域的空間分布關(guān)系的分析

34、，借助關(guān)于景物的知識(shí)，對(duì)景物作分析和理解。區(qū)域形狀特征的提取是形狀分析的基礎(chǔ)。l對(duì)區(qū)域的內(nèi)部或外形通過(guò)各種變換，提取區(qū)域的形狀特征l對(duì)區(qū)域的內(nèi)部、外形或骨架（區(qū)域內(nèi)與最接近的邊界點(diǎn)保持等距的點(diǎn)的軌跡）在圖像的空間域提取區(qū)域的形狀特征l利用圖像層測(cè)型數(shù)據(jù)結(jié)構(gòu)，提取區(qū)域的形狀特征l 區(qū)域內(nèi)部變換是形狀分析的經(jīng)典方法，包括求區(qū)域的各階統(tǒng)計(jì)矩、投影和截口以及模板匹配，通過(guò)各種形式的變換把區(qū)域映射到變換的值空間，將區(qū)域轉(zhuǎn)換為曲線、向量或數(shù)量，作為區(qū)域的形狀特征。l區(qū)域的外形變換指對(duì)區(qū)域的邊界作各種變換。將區(qū)域的邊界或骨架轉(zhuǎn)換成向量或數(shù)量，作為區(qū)域的形狀特征。常用傅立葉描述算子、Hough變換、廣義Hou

35、gh變換、邊界和骨架的多項(xiàng)式逼近等。l采用整體幾何數(shù)學(xué)結(jié)構(gòu)形態(tài)理論，不經(jīng)過(guò)變換而直接在圖像的空間域?qū)^(qū)域內(nèi)部提取形狀特征。l文字、染色體細(xì)胞等區(qū)域的區(qū)域骨架含有本質(zhì)的形狀信息。l對(duì)區(qū)域的邊界、骨架作空間域分析的主要方法包括鏈碼、描述和結(jié)構(gòu)方法。將區(qū)域邊界或骨架分解成一系列基元，對(duì)它們的描述即是對(duì)邊界或骨架的形狀描述設(shè)f(i, j) i, j = 1,2, n是區(qū)域二值圖像或抑制背景以后的區(qū)域圖像，它的（u, v）階統(tǒng)計(jì)矩、形心、u, v階中心矩定義為：ninjvuvuninjvujjiijifmmmjmmijijifvum11,11)()(,()0 , 0(/ ) 1 , 0()0 , 0(/

36、 )0 , 1 (),(),(l0階矩為圖像面積l當(dāng) 時(shí)，區(qū)域沿I軸方向伸長(zhǎng)，當(dāng) 時(shí)，區(qū)域關(guān)于I軸對(duì)稱，當(dāng) 時(shí)，區(qū)域關(guān)于J軸對(duì)稱。l中心矩具有平移、旋轉(zhuǎn)不變性的特點(diǎn)0220mm030m003ml給定一條直線，用垂直于該直線的一組等間距直線將一幅二值圖像分割成若干條，每一條內(nèi)像素值為1的像素?cái)?shù)量為該條二值圖像在給定直線上的投影,當(dāng)給定直線為水平或垂直直線時(shí)，計(jì)算二值圖像每一列行上像素值為1的像素?cái)?shù)量，就得到了二值圖像的水平和垂直投影l(fā)投影不是唯一的，同樣的投影可能對(duì)應(yīng)不同的圖像l密集度（Compact)：C=A/p2C 為密集度，A為圖形的面積， p為圖形的周長(zhǎng)l體態(tài)比：定義為區(qū)域最小外接矩形的

37、長(zhǎng)與寬之比正方形和圓的體態(tài)比為1，細(xì)長(zhǎng)形物體的體態(tài)比大于1。一般成像系統(tǒng)通常將三維場(chǎng)景變換成二維灰度或彩色圖像，這樣圖像就失去了深度信息。而獲取場(chǎng)景中各點(diǎn)相對(duì)于攝像機(jī)的距離是視覺(jué)系統(tǒng)的重要任務(wù)之一l被動(dòng)測(cè)距指視覺(jué)系統(tǒng)接收來(lái)自場(chǎng)景發(fā)射或反射的光能量，形成有關(guān)場(chǎng)景光能量分布函數(shù)（灰度圖像），在圖像的基礎(chǔ)上恢復(fù)場(chǎng)景深度圖l主動(dòng)測(cè)距指視覺(jué)系統(tǒng)首先向場(chǎng)景發(fā)射能量，然后接收?qǐng)鼍皩?duì)所發(fā)射能量的反射能量，也稱為測(cè)距成像系統(tǒng)（rangefinder），最常用的是雷達(dá)測(cè)距系統(tǒng)和三角測(cè)距系統(tǒng)三維場(chǎng)景到二維灰度或彩色圖像的變換可以用一個(gè)從三維空間到二維空間的映射表示 f: 如果考慮時(shí)變?nèi)S場(chǎng)景，則上述變換是四維空間到

38、三維空間的變換，如果再考慮某一波段或某幾個(gè)波段的光譜，則上式的維數(shù)將增加到五維或更高維。),(),(23yxzyxRR透視投影(perspective projection)是最常用的成像模型，可以用針孔成像模型來(lái)近似表示。其特點(diǎn)是所有來(lái)自場(chǎng)景的光線均通過(guò)一個(gè)投影中心，它對(duì)應(yīng)于透鏡的中心。經(jīng)過(guò)投影中心且垂直于圖像平面（成像平面）的直線稱為投影軸或光軸。針孔模型，表示了空間任何一點(diǎn)P（Xw, Yw, Zw）在圖像上的成像位置p。點(diǎn)O和Xc,Yc,Zc組成的直角坐標(biāo)系稱為攝像機(jī)坐標(biāo)系。 透視投影的特例，也稱平行投影(parallel projection) 指用平行于光軸的光將場(chǎng)景投射到圖像平面上

39、。 當(dāng)透視投影模型的焦距F很大且物體距投影中心很遠(yuǎn)時(shí)，透視投影可以用正交投影來(lái)近似。正交投影的方程為： x = x y = y坐標(biāo)系OXYZ構(gòu)成攝像機(jī)坐標(biāo)系。O為攝像機(jī)光心 由透視投影圖可知：空間任意一點(diǎn)P（X,Y,Z)在圖像上的成像位置（投影位置）p(x,y)為光心O與P點(diǎn)的連線OP與圖像平面的交點(diǎn)，這種關(guān)系也稱為中心射影或透視投影。點(diǎn)P在圖像平面中的位置p的坐標(biāo)為：x/X= y/Y=f/Z，f為攝像機(jī)焦距，X，Y，Z是點(diǎn)P在攝像機(jī)坐標(biāo)系中的坐標(biāo)，用Xc，Yc，Zc表示。則 x = fXc/Zc y = fYc/Zc （1）101000000001ccccZYXffyxZ (2)在圖像上定義

40、直角坐標(biāo)系u, v，每一像素的坐標(biāo)（u,v)分別是該像素在數(shù)組中的列數(shù)與行數(shù)），（u, v)是以像素為單位的圖像坐標(biāo)系的坐標(biāo)。 x, y是以物理單位（如毫米）表示的坐標(biāo)系，原點(diǎn)O定義在攝像機(jī)光軸與圖像平面的交點(diǎn)，一般位于圖像中心。若O在u, v坐標(biāo)系中的坐標(biāo)為（u0，v0），每一個(gè)像素在x軸與y軸方向上的物理尺寸為dx，dy，則圖像中任意一個(gè)像素在兩個(gè)坐標(biāo)系下的坐標(biāo)(x,y)和(u,v)間有如下關(guān)系：u = x/dx +u0 v = y/dy+v0用齊次坐標(biāo)與矩陣形式表示為：11001001100yxvdyudxvu110000100vudyvdydxudxyx（3）(4)逆關(guān)系表示為：由于攝

41、像機(jī)可安放在環(huán)境中的任何位置，在環(huán)境中還要選擇一個(gè)基準(zhǔn)坐標(biāo)系來(lái)描述攝像機(jī)的位置，并用它描述環(huán)境中任何物體的位置，該坐標(biāo)系稱為世界坐標(biāo)系。它由Xw， Yw，Zw軸組成。攝像機(jī)坐標(biāo)系用Xc,Yc,Zc表示，攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系可以用旋轉(zhuǎn)矩陣R（3*3正交正交單位矩陣）單位矩陣）與三維平移向量t來(lái)描述。因此空間中某一點(diǎn)P在世界坐標(biāo)系與攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)如果分別是（Xw， Yw，Zw，1）T與（Xc， Yc，Zc，1）T，于是存在如下關(guān)系：1111wwwwwwcccZYXZYXZYX1M0tR(5)M1為4*4矩陣將式（4）和（5）代入（2）MXXMM0tR0tRw21110100

42、0000110100000000100010001100wwwyxwwwcZYXvuZYXffdydxvuZ(6)其中，x= f/dx, y = f/dy; M為34矩陣，稱為投影矩陣。back在在（6）式）式中，投影矩陣中，投影矩陣M由由M1 ，M2兩部分組成，兩部分組成， M1完全由x,y,u0,v0決定，由于它們只與攝像機(jī)內(nèi)部結(jié)構(gòu)有關(guān)，稱這些參數(shù)為攝像機(jī)內(nèi)部參數(shù)； M2完全由攝像機(jī)相對(duì)于世界坐標(biāo)系的方位決定，稱為攝像機(jī)外部參數(shù)，確定某一攝像機(jī)的內(nèi)外參數(shù)稱為攝像機(jī)標(biāo)定（定標(biāo)）。 用于確定攝像機(jī)或測(cè)距傳感器在場(chǎng)景中的位置、方向以及與場(chǎng)景坐標(biāo)之間的關(guān)系。 起源于高空攝影測(cè)量技術(shù)，是攝影測(cè)量中的

43、經(jīng)典問(wèn)題。 攝像機(jī)定標(biāo)一般都需要一個(gè)放在攝像機(jī)前的特制的標(biāo)定參照物（reference object），攝像機(jī)獲取該物體的圖像，并由此計(jì)算攝像機(jī)的內(nèi)外參數(shù)。標(biāo)定參照物上的每一個(gè)特征點(diǎn)相對(duì)與世界坐標(biāo)系的位置在制作時(shí)應(yīng)精確測(cè)定，世界坐標(biāo)系可選為參照物的物體坐標(biāo)系。在得到這些已知點(diǎn)在圖像上的投影位置后，可由式（6）計(jì)算出攝像機(jī)的內(nèi)外參數(shù)。 M矩陣為一3*4矩陣，有12個(gè)需要求解的參數(shù)。如果在標(biāo)定參照物上有n個(gè)已知點(diǎn)，就可以獲得2n個(gè)關(guān)于M矩陣元素的線性方程，可以用最小二乘法解出12個(gè)參數(shù)。然后可以用某種算法分解M矩陣，獲得全部攝像機(jī)的內(nèi)外參數(shù)。 線性模型不能準(zhǔn)確地描述成像幾何關(guān)系，尤其在使用廣角鏡頭

44、時(shí)，在遠(yuǎn)離圖像中心處會(huì)有較大畸變（aberration） ?？捎靡韵鹿矫枋觯?xa=x+ x(x, y) ya=y+ y(x,y)(xa,ya)為由針孔線性模型計(jì)算出的圖像點(diǎn)坐標(biāo)的理想值，(x, y)是實(shí)際的圖像點(diǎn)的坐標(biāo)， x與y是非線性畸變值，與圖像點(diǎn)在圖像中的位置有關(guān)?；儼◤较蚧?radial aberration)、離心畸變(decentering aberration)、薄棱鏡畸變(thin prism aberration)，這些非線性畸變參數(shù)，與線性模型的參數(shù)u0,v0,x,y一起構(gòu)成了非線性模型攝像機(jī)的內(nèi)部參數(shù)。計(jì)算機(jī)應(yīng)用于機(jī)器人技術(shù)。攝像機(jī)固定在機(jī)器人手臂的末端執(zhí)行器上

45、。目的是當(dāng)機(jī)器人的末端執(zhí)行器（手爪）在執(zhí)行某任務(wù)時(shí)，由攝像機(jī)測(cè)定末端執(zhí)行器與工件的相對(duì)位置。為使機(jī)器人控制器可以將手爪處于能抓取物體的任意姿態(tài)與位置，當(dāng)手爪還沒(méi)有達(dá)到這個(gè)方位時(shí)，機(jī)器人必須知道物體相對(duì)于平臺(tái)坐標(biāo)系的位置（Cobj, Ce)將物體坐標(biāo)系Cobj看作世界坐標(biāo)系，物體相對(duì)于攝像機(jī)坐標(biāo)系Cc的位置就是攝像機(jī)外參數(shù)，可以用攝像機(jī)定標(biāo)方法求得，如果還知道攝像機(jī)坐標(biāo)系Cc相對(duì)機(jī)器人手爪平臺(tái)坐標(biāo)系Ce的方位，攝像機(jī)所測(cè)量的物體相對(duì)于攝像機(jī)坐標(biāo)系的方位(Ra, ta)就可以轉(zhuǎn)換成相對(duì)于平臺(tái)的方位(Ce, Cobj)，即機(jī)器人所需要的數(shù)據(jù)。由于攝像機(jī)是固定在手爪平臺(tái)上的，因此，一旦固定，R和t就是

46、常量。l控制機(jī)器人手爪在不同的位置觀察空間一個(gè)已知的標(biāo)定參考物，從而推導(dǎo)攝像機(jī)坐標(biāo)系Cc和機(jī)器人手爪平臺(tái)坐標(biāo)系Ce之間的相對(duì)位置R和t與多次觀察結(jié)果的關(guān)系。l由于無(wú)法用人眼看到攝像機(jī)坐標(biāo)系， R和t必須由定標(biāo)的方法計(jì)算，這種定標(biāo)稱為機(jī)器人手眼定標(biāo)。在某些場(chǎng)合，由于攝像機(jī)的焦距要經(jīng)常調(diào)節(jié)，攝像機(jī)的位置也會(huì)根據(jù)周圍的環(huán)境而移動(dòng)，因此需要在每次調(diào)節(jié)后重新對(duì)攝像機(jī)的內(nèi)外參數(shù)進(jìn)行標(biāo)定。在許多情況下，不方便甚至不可能在每次標(biāo)定時(shí)都在攝像機(jī)前放置標(biāo)定參照物，因此出現(xiàn)了攝像機(jī)自標(biāo)定方法。自標(biāo)定不使用標(biāo)定參照物，但必須能控制攝像機(jī)運(yùn)動(dòng)并由運(yùn)動(dòng)圖像分析中得到攝像機(jī)參數(shù)，因此應(yīng)用范圍為機(jī)器人手眼系統(tǒng)或主動(dòng)視覺(jué)系統(tǒng)。

47、l對(duì)任何空間點(diǎn)P，如已知它的坐標(biāo)Pw=(Xw, Yw, Zw,1)T，就可求出它的圖像點(diǎn)p的位置（u, v），但式（6）中M是34不可逆矩陣，當(dāng)已知M與（u, v）時(shí)，由式（6）給出的三個(gè)方程中消去Zc，只可得到關(guān)于Xw, Yw, Zw的兩個(gè)線性方程，由這兩個(gè)線性方程組成的方程組即為射線OP的方程，也就是說(shuō)，投影點(diǎn)為p的所有點(diǎn)均在該射線上，因此該空間點(diǎn)是不能唯一確定的。 與單攝像機(jī)定標(biāo)的差別在于：通過(guò)定標(biāo)，測(cè)量雙攝像機(jī)之間的相對(duì)位置。過(guò)程：1. 兩攝像機(jī)分別標(biāo)定，獲得各自內(nèi)外參數(shù)，設(shè)外參分別為R1, t1和R2, t2，分別表示兩個(gè)攝像機(jī)與世界坐標(biāo)系之間的相對(duì)位置，對(duì)任意一點(diǎn)P，如果它在世界坐

48、標(biāo)系、C1坐標(biāo)系和C2坐標(biāo)系下的非齊次坐標(biāo)分別為xw, xc1, xc2，則xc1 = R1xw+t1xc2 = R2xw+t2消去xw得到：xc1=R1R2-1xc2+t1-R2-1T2兩攝像機(jī)之間的幾何關(guān)系可用以下R和t表示：R = R1R2-1 t = t1-R2-1t2在某些立體視覺(jué)算法中，必須知道R和t圖像匹配技術(shù)是計(jì)算機(jī)立體視覺(jué)研究的核心問(wèn)題之一，目的是在兩幅由不同攝像機(jī)拍攝的圖像中，確定對(duì)應(yīng)空間同一點(diǎn)的圖像點(diǎn)，主要是依據(jù)圖像特征來(lái)確定相應(yīng)像點(diǎn) ，涉及匹配特征的選取問(wèn)題。良好的匹配特征應(yīng)具有可區(qū)分性、不變性、穩(wěn)定性、唯一性以及有效解決歧義匹配的能力。1、確定以哪些特征作為匹配的特征

49、 ;2、怎樣把這些對(duì)應(yīng)特征匹配起來(lái) ,并得到視差信息 常用的匹配特征有：圖像灰度、邊緣或零交叉點(diǎn)、亮度峰值或重心匹配算法中，主要的問(wèn)題是根據(jù)一幅圖像上的某一特征點(diǎn)的圖像信息，在另一幅匹配圖像上找到對(duì)應(yīng)的外極線(epi-polar line)，然后在外極線上尋找匹配點(diǎn)的圖像坐標(biāo)。 在基本立體視覺(jué)系統(tǒng)中，如果將左右兩個(gè)攝像機(jī)拍攝的空間物體的圖像 I1與I2分別稱為標(biāo)準(zhǔn)圖像（I1）和對(duì)應(yīng)圖像（I2），物體上的任意一點(diǎn)P，在左右兩個(gè)攝像機(jī)拍攝的I1與I2上都可以找到相應(yīng)的圖像點(diǎn)，分別稱為p1和p2，它們對(duì)應(yīng)于空間的同一點(diǎn)，稱為對(duì)應(yīng)點(diǎn)（或匹配點(diǎn)）。p1點(diǎn)的對(duì)應(yīng)點(diǎn)必然位于I2上由p1與兩個(gè)攝像機(jī)的相對(duì)幾何

50、位置決定的某一條直線上，該直線稱為圖像I2上對(duì)應(yīng)于p1點(diǎn)的極線（epipolar line）。 在需要進(jìn)行匹配的點(diǎn)的周圍取一適當(dāng)區(qū)域（模板），在匹配圖像上的一定范圍內(nèi)（極線所在范圍）逐點(diǎn)比較與模板同樣大小的區(qū)域內(nèi)的灰度，計(jì)算被比較區(qū)域的正規(guī)化相關(guān)系數(shù)R（R1）。在理想狀態(tài)，當(dāng)兩個(gè)區(qū)域內(nèi)的灰度特征相同時(shí)，R=1，但實(shí)際上由于種種原因，這個(gè)條件是很難達(dá)到的，因此在極線范圍內(nèi)所有點(diǎn)周圍模板尺寸區(qū)域內(nèi)的灰度特征后，得到一組R值，找出其中具有最大R值的區(qū)域，則區(qū)域的中心點(diǎn)為要搜尋的匹配點(diǎn)。 式中，N為模板區(qū)域內(nèi)像素?cái)?shù)；Mi = (Xi, Yi)為模板, Ii = (U+Xi, V+Yi)為匹配圖像上以（

51、U，V）為起始點(diǎn)的圖像區(qū)域。 2222()( , )() () )iiiiiiiiNI MIMR U VNIINMM 在圖像I1上任取一點(diǎn)p1，如果知道它在I2上的對(duì)應(yīng)點(diǎn)p2的位置，則可以用立體視覺(jué)的方法計(jì)算空間點(diǎn)P的三維坐標(biāo)。 如果知道一個(gè)多面體的各個(gè)頂點(diǎn)的三維坐標(biāo)與相鄰關(guān)系，則該多面體的形狀與位置是唯一確定的。因此，用立體視覺(jué)的方法獲取三維點(diǎn)的坐標(biāo)是最基本的，也是最簡(jiǎn)單的。假定，空間任意點(diǎn)P在兩個(gè)攝像機(jī)C1與C2上的圖像點(diǎn)p1與p2已經(jīng)從兩個(gè)圖像中分別檢測(cè)出來(lái)， 即已知p1與p2為空間同一點(diǎn)P的對(duì)應(yīng)點(diǎn)。C1與C2攝像機(jī)已標(biāo)定，它們的投影矩陣分別為M1與M211112342332322312

52、24223222221214213212211222134133132131124123122121114113112111111ZYXmmmmmmmmmmmmvuZZYXmmmmmmmmmmmmvuZcc在上式中消去Zc1或Zc2，得到關(guān)于X，Y，Z的四個(gè)線性方程：2342214213233221223222112312234221421323322122322211231213411241231331122132112113111341114113133111213211111311)()()()()()()()()()()()(mvmZmmvYmmvXmmvmumZmmuYmmuXmmu

53、mvmZmmvYmmvXmmvmumZmmuYmmuXmmu 由于空間點(diǎn)P是O1p1與O2p2的交點(diǎn)，它必然同時(shí)滿足上兩式。因此，可以將兩式聯(lián)立求出P點(diǎn)的坐標(biāo)（X，Y，Z）。事實(shí)上，該兩式為包含(X，Y，Z)三個(gè)變量的四個(gè)線性方程，只需要其中三個(gè)就可以解出X，Y，Z，因?yàn)橐呀?jīng)假設(shè)p1與p2點(diǎn)是空間同一點(diǎn)的對(duì)應(yīng)點(diǎn)，因此已經(jīng)假設(shè)了直線O1p1與直線O2p2一定相交，或者說(shuō)，四個(gè)方程必定有解，而且解是唯一的。從二維圖像或圖像序列去解釋三維場(chǎng)景中存在哪些物體，這些物體是以什么空間位置或相互關(guān)系而存在的也稱為計(jì)算機(jī)視覺(jué)或圖像理解或圖像解釋l距離信息的獲取l物體表面主方向信息的獲取l物體或體元的表示和描述l三維場(chǎng)景的模型、關(guān)系結(jié)構(gòu)和模型匹配l基于圖像的距離估計(jì)和測(cè)量：立體視差測(cè)距；紋理梯度測(cè)距；遮擋提示測(cè)距；聚焦測(cè)距；圖像序列測(cè)距l(xiāng)基于相場(chǎng)景發(fā)射能量的技術(shù)的距離估計(jì)和測(cè)量：根據(jù)脈沖飛行時(shí)間測(cè)距；三角測(cè)距l(xiāng)基于上兩項(xiàng)技術(shù)綜合的距離估計(jì)和測(cè)量：結(jié)構(gòu)光測(cè)距