曲線擬合最小二乘法ppt課件

《曲線擬合最小二乘法ppt課件》由會員分享，可在線閱讀，更多相關(guān)《曲線擬合最小二乘法ppt課件（30頁珍藏版）》請在裝配圖網(wǎng)上搜索。

曲線擬合,曲線擬合問題,仍然是已知 x1 … xn ; y1 … yn, 求一個簡單易算的近似函數(shù) f(x) 來擬合這些數(shù)據(jù)。,但是① n 很大；,② yi 本身是測量值，不準確，即 yi ? f (xi),這時沒必要取 f(xi) = yi , 而要使 ?i=f(xi) ? yi 總體上 盡可能地小。,這種構(gòu)造近似函數(shù) 的方法稱為曲線擬合，f(x) 稱為擬合函數(shù),稱為“殘差”,1,,,y=f(x),y=p(x),插值,2,,,求一條曲線,使數(shù)據(jù)點均在離此曲線的上方或下方不遠處,所求的曲線稱為擬合曲線,它既能反映數(shù)據(jù)的總體分布,又不至于出現(xiàn)局部較大的波動,更能反映被逼近函數(shù)的特性,使求得的逼近函數(shù)與已知函數(shù)從總體上來說其偏差按某種方法度量達到最小。,擬合,3,與函數(shù)插值問題不同,曲線擬合不要求曲線通過所有已知點,而是要求得到的近似函數(shù)能反映數(shù)據(jù)的基本關(guān)系。在某種意義上,曲線擬合更有實用價值。 兩種逼近概念: 插值: 在節(jié)點處函數(shù)值相同. 擬合: 在數(shù)據(jù)點處誤差平方和最小 在對給出的實驗(或觀測)數(shù)據(jù) 作曲線擬合時,怎樣才算擬合得最好呢？,,4,常見做法：,使 最小,較復雜，,使 最小,不可導，求解困難,使 最小,“使 ?i=P(xi) ? yi 盡可能地小”有不同的準則,5,曲線擬合的最小二乘法,一、擬合問題的提出及其最小二乘法,6,例 某物質(zhì)的溶解度y和溫度x的關(guān)系經(jīng)測定滿足下面數(shù)據(jù)表，試建立該問題的數(shù)學模型.,將(x, y)的數(shù)據(jù)點描在一坐標紙上，則如下圖所示.,7,y與x近似成拋物線關(guān)系，,數(shù)據(jù)點分布在一拋物線的兩側(cè).,從圖中可見，,因此，可以猜測,即有,這就是本問題的數(shù)學模型.,8,確定了問題的數(shù)學模型后，,即,這里,是線性無關(guān)函數(shù)系，,為待定常數(shù).,9,在例1中，設(shè)函數(shù),誤差為,我們希望猜想的數(shù)學模型應(yīng)盡量接近觀測數(shù)據(jù)，,即使得誤差帶權(quán)平方和,越小越好.,10,11,根據(jù)最小二乘原理，應(yīng)取 和 使 有極小值，故 和 應(yīng)滿足下列條件：,（1）直線擬合 設(shè)已知數(shù)據(jù)點 ,分布大致為一條直線。作擬合直線 ,該直線不是通過所有的數(shù)據(jù)點 ,而是使偏差平方和,,,,,為最小。,,,,,,,12,即得如下方程組,,例 設(shè)有某實驗數(shù)據(jù)如下： 1 2 3 4 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963,,,,,,,,,,用最小二乘法求以上數(shù)據(jù)的擬合函數(shù) 解:把表中所給數(shù)據(jù)畫在坐標紙上,將會看到數(shù)據(jù)點的分布可以用一條直線來近似地描述,設(shè)所求的,13,擬合直線為 記x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963 則正規(guī)方程組為,,,,,其中,將以上數(shù)據(jù)代入上式正規(guī)方程組,得,14,解得,即得擬合直線,15,,,（2）多項式擬合 有時所給數(shù)據(jù)點的分布并不一定近似地呈一條直線,這時仍用直線擬合顯然是不合適的,可用多項式擬合。對于給定的一組數(shù)據(jù) 尋求次數(shù)不超過n (nm ) 的多項式，,,,來擬合所給定的數(shù)據(jù)，與線性擬合類似，使偏差的 平方和,,為最小,16,由于Q可以看作是關(guān)于 ( j=0,1,2,…, n)的多元函數(shù), 故上述擬合多項式的構(gòu)造問題可歸結(jié)為多元函數(shù)的極值問題。令,,得,,即有,17,,這是關(guān)于系數(shù) 的線性方程組，通常稱為正規(guī)方程組?？梢宰C明，正規(guī)方程組有惟一解。,,例 設(shè)某實驗數(shù)據(jù)如下： 1 2 3 4 5 6 0 1 2 3 4 5 5 2 1 1 2 3,,,,,,,,,,,,用最小二乘法求一個多項式擬合這組數(shù)據(jù),18,解：將已給數(shù)據(jù)點描在坐標系中，可以看出這些點 接近一條拋物線，因此設(shè)所求的多項式為,,由法方程組（3.2）, 經(jīng)計算得,m=6,,,其法方程組為,,解之得,,,所求的多項式為,19,幾種常見的數(shù)據(jù)擬合情況。圖 ( a ) 表示數(shù)據(jù)接近于直線，故宜采用線性函數(shù) 擬合；圖(b)數(shù)據(jù)分布接近于拋物線。可采擬合；二次多項式,,,擬合；,,(a),(b),20,圖 ( c ) 的數(shù)據(jù)分布特點是開始曲線上升較快隨后逐 漸變慢,宜采用雙曲線型函數(shù) 或指數(shù)型函 數(shù) 圖 ( d ) 的數(shù)據(jù)分布特點是開始曲線下降快,隨后逐漸變慢,宜采用 或 或 等數(shù)據(jù)擬合。,,,,,,( c ),( d ),21,例3.13 設(shè)某實驗數(shù)據(jù)如下: 1 2 3 4 5 6 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3,,,,,,,,,,,,用最小二乘法求擬合曲線,解:將已給數(shù)據(jù)點描在坐標系中下圖所示,可以看出這些點接近指數(shù)曲線,因而可取指數(shù)函數(shù) 作為擬合函數(shù).對函數(shù) 兩邊取對數(shù)得. 令 得 則就得到線性模型,,,,,,22,則正規(guī)方程組為,,其中,,,,,將以上數(shù)據(jù)代入上式正規(guī)方程組，得,,解得,,由 得,,,,,,23,由 得,于是得到擬合指數(shù)函數(shù)為,（4）超定方程組的最小二乘解 設(shè)線性方程組Ax=b中， ,b是m維已知向量，x是n維解向量，當m＞n，即方程組中方程的個數(shù)多于未知量的個數(shù)時，稱此方程組為超定方程組。一般來說，超定方程組無解（此時為矛盾方程組),這時需要尋求方程組的一個“最近似”的解. 記 ,稱使 ,即 最小的解 為方程組Ax=b的最小二乘解。,,,,,,25,定理 是Ax=b的最小二乘解的充分必要條件為 是 的解. 證明:充分性 若存在n維向量 ,使 任取一n維向量 ,令 ,則 且,,,,,,,,,,,,所以 是Ax=b的最小二乘解。,26,必要性:r的第i個分量為, ,記,,,,由多元函數(shù)求極值的必要條件，可得,,,即,,,,由線性代數(shù)知識知,上式寫成矩陣形式為,,它是關(guān)于的線性方程組,也就是我們所說的正規(guī)方程組或法方程組?？梢宰C明如果A是列滿秩的,則方程組（5.48）存在惟一解,27,例 求超定方程組,,的最小二乘解,并求 誤差平方和。,解:方程組寫成矩陣形式為,,正規(guī)方程組為,,28,,即,,解得,,此時,誤差平方和為,,,29,我們已經(jīng)討論了最小二乘意義下的曲線擬合問題,由于方程比較簡單,實際中應(yīng)用廣泛,特別是因為任何連續(xù)函數(shù)至少在一個較小的鄰域內(nèi)可以用多項式任意逼近,因此用多項式作數(shù)據(jù)擬合,有它的特殊重要性。從而在許多實際問題中,不論具體函數(shù)關(guān)系如何,都可用多項式作近似擬合,但用多項式擬合時,當n較大時(n≥7),其法方程的系數(shù)矩陣的條件數(shù)一般較大,所以往往是病態(tài)的,因而給求解工作帶來了困難。,,,,30,