《最小二乘曲線擬合與參數(shù)辨識(shí).ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《最小二乘曲線擬合與參數(shù)辨識(shí).ppt（53頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、m次獨(dú)立試驗(yàn)的數(shù)據(jù),1、引言,,1801年初，天文學(xué)家皮亞齊發(fā)現(xiàn)了谷神星。 1801年末，天文愛(ài)好者奧博斯，在高斯預(yù) 言的時(shí)間里，再次發(fā)現(xiàn)谷神星。 1802年又成功地預(yù)測(cè)了智神星的軌道。,高斯自己獨(dú)創(chuàng)了一套行星軌道計(jì)算 理論。 高斯僅用1小時(shí)就算出了谷神星的 軌道形狀，并進(jìn)行了預(yù)測(cè),1794年，高斯提出了最小二乘的思想。,,未知量的最可能值是使各項(xiàng)實(shí)際觀測(cè)值和計(jì)算值之間差的平方乘以其精確度的數(shù)值以后的和為最小。,1794年，高斯提出的最小二乘的基本原理是,2、最小二乘辨識(shí)方法的基本概念,通過(guò)試驗(yàn)確定熱敏電阻阻值和溫度間的關(guān)系,當(dāng)測(cè)量沒(méi)有任何誤差時(shí)，僅需2個(gè)測(cè)量值。 每次測(cè)量總是存在隨機(jī)誤差。
2、,, 使 最小 /* minimax problem */,太復(fù)雜, 使 最小,不可導(dǎo)，求解困難, 使 最小,測(cè)量誤差的平方和最小,常見(jiàn)做法：,2.1 利用最小二乘法求模型參數(shù),根據(jù)最小二乘的準(zhǔn)則有,根據(jù)求極值的方法，對(duì)上式求導(dǎo),,,,2.1 利用最小二乘法求模型參數(shù),,,,,,,,2.2 一般最小二乘法原理及算法,,,2.2 一般最小二乘法原理及算法,,若考慮被辨識(shí)系統(tǒng)或觀測(cè)信息中含有噪聲,,如果定義,,2.2 一般最小二乘法原理及算法,,,,2.2 一般最小二乘法原理及算法,,2.2 一般最小二乘法原理及算法,,,2.2 一般最小二乘法原理及算法,,2.2 一般
3、最小二乘法原理及算法,,證明：,,,,,證明：,,根據(jù)第（1）式的證明，顯然有,2.2 一般最小二乘法原理及算法,解：由題意得量測(cè)方程,,,,,,2.2 一般最小二乘法原理及算法,2.3 加權(quán)最小二乘法原理及算法,一般最小二乘估計(jì)精度不高的原因之一是對(duì)測(cè)量數(shù)據(jù)同等對(duì)待 各次測(cè)量數(shù)據(jù)很難在相同的條件下獲得的 有的測(cè)量值置信度高，有的測(cè)量值置信度低的問(wèn)題 對(duì)不同置信度的測(cè)量值采用加權(quán)的辦法分別對(duì)待 置信度高的，權(quán)重取得大些；置信度低的，權(quán)重取的小些,,,2.3 加權(quán)最小二乘法原理及算法,,,2.3 加權(quán)最小二乘法原理及算法,,2.3 加權(quán)最小二乘法原理及算法,,馬爾可夫估計(jì),,,,2.3 加權(quán)最小
4、二乘法原理及算法,例3.2 用2臺(tái)儀器對(duì)未知標(biāo)量各直接測(cè)量一次， 量測(cè)量分別為z1和z2，儀器的測(cè)量誤差均值為0，方 差分別為r和4r的隨機(jī)量，求其最小二乘估計(jì)，并 計(jì)算估計(jì)的均方誤差。,2.3 加權(quán)最小二乘法原理及算法,解：由題意得量測(cè)方程,,,例3.4 考慮仿真對(duì)象,,選擇如下的辨識(shí)模型進(jìn)行一般的最小二乘參數(shù)辨識(shí)。,,2.3 加權(quán)最小二乘法原理及算法,4階M序列,輸出信號(hào),,,,,,,一般最小二乘參數(shù)辨識(shí)流程圖,1 線性最小二乘問(wèn)題,一、最小二乘問(wèn)題的一般提法,在實(shí)際應(yīng)用中，經(jīng)常遇到下列數(shù)據(jù)處理問(wèn)題：,已知函數(shù) 在m個(gè)點(diǎn)上的數(shù)據(jù)表，尋求其近似函數(shù)。,設(shè) 的近似函數(shù)為,其中 是
5、某函數(shù)族中的已知線性無(wú)關(guān)函數(shù)。,稱為 殘向量,尋求一組常數(shù) ，要求,的2-范數(shù)達(dá)到最小。,,,則得到最小二乘問(wèn)題：,,上述問(wèn)題的解也稱為方程組 的最小二乘解。,當(dāng) 時(shí)稱之為超定（或矛盾）方程組。,所謂”曲線擬合”,是指根據(jù)給定的數(shù)據(jù)表,尋找一個(gè) 簡(jiǎn)單的表達(dá)式來(lái)”擬合”該組數(shù)據(jù),此處的”擬合”的含義 為:不要求該表達(dá)式對(duì)應(yīng)的近似曲線完全通過(guò)所有的數(shù) 據(jù)點(diǎn),只要求該近似曲線能夠反映數(shù)據(jù)的基本變化趨勢(shì).,,二、最小二乘多項(xiàng)式擬合,引例1：考察某種纖維的強(qiáng)度與其拉伸倍數(shù)的關(guān)系. 下表是實(shí)際測(cè)定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)的 拉伸倍數(shù)的數(shù)據(jù)記錄:,可以看出,纖維強(qiáng)度隨 拉伸倍數(shù)
6、增加而增加,,并且24個(gè)點(diǎn)大致分 布在一條直線附近,,,該直線稱為這一問(wèn)題的數(shù)學(xué)模型。,因此可認(rèn)為強(qiáng)度與 拉伸倍數(shù)之間的主 要關(guān)系是線性關(guān)系,怎樣確定a,b,使得直線能較好地反映所給數(shù)據(jù)的基 本“變化趨勢(shì)”?,采用最小二乘的思想,令,問(wèn)題轉(zhuǎn)化為求參數(shù) 使 達(dá)到最小值。,這種求線性函數(shù)y=a+bx的過(guò)程稱為線性擬合。,,一般地，設(shè) 的近似函數(shù)為,尋求 ，使得,則稱 為函數(shù) 的多項(xiàng)式擬合。,滿足下列法方程組：,非線性擬合,某些非線性擬合問(wèn)題可轉(zhuǎn)化為線性擬合問(wèn)題,線性化處理：,令,則,由線性擬合方法可得到 和 ，從而得到 和 。,又如：若非線性函數(shù)取為,令,其中,,,三、最小
7、二乘問(wèn)題解的存在性、唯一性,方程組 相容的充要條件是,滿秩分解,證明：,記,不妨假設(shè) 的前 列 線性無(wú)關(guān),令,其中,,(滿秩分解),其中,其中,因此，對(duì)任何 階矩陣總存在滿秩分解,證明：,充分性,設(shè) 是 的解,,,必要性,設(shè) 是方程組的最小二乘解,記 ,,由極值的必要條件知：,即,,方程組 必存在最小二乘解。,證明：,記,則存在滿秩分解,法方程組可寫(xiě)成：,證明：,由定理7.1.3知， 是一個(gè)最小二乘解。,設(shè) 是方程組的任一最小二乘解，下證：,,唯一性易證,解：,,,,解：,例2：求一個(gè)形如 ( 為常數(shù))的經(jīng)驗(yàn)公 式，使它能和下表給出的數(shù)據(jù)相擬合:,,對(duì) 兩邊取對(duì)數(shù)得,,令,此時(shí),寫(xiě)出法方程組,其中,
最小二乘曲線擬合與參數(shù)辨識(shí).ppt
