《最小二乘法》PPT課件.ppt

《《最小二乘法》PPT課件.ppt》由會員分享，可在線閱讀，更多相關(guān)《《最小二乘法》PPT課件.ppt（74頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

第5章 線性參數(shù)的最小二乘法處理,最小二乘法是用于數(shù)據(jù)處理和誤差估計(jì)中的一個很得力的數(shù)學(xué)工具。對于從事精密科學(xué)實(shí)驗(yàn)的人們說來，應(yīng)用最小二乘法來解決一些實(shí)際問題，仍是目前必不可少的手段。,第一節(jié) 最小二乘法原理,最小二乘法的發(fā)展已經(jīng)歷了200多年的歷史，它最早起源于天文和大地測量的需要，其后在許多科學(xué)領(lǐng)域里獲得了廣泛應(yīng)用。特別是近代矩陣?yán)碚撆c電子計(jì)算機(jī)相結(jié)合。使最小二乘法不斷地發(fā)展而久盛不衰。 最小二乘法的產(chǎn)生是為了解決從一組測量值中尋求最可信賴值的問題。,一、問題背景,在測量的實(shí)驗(yàn)數(shù)據(jù)處理中，經(jīng)常需要根據(jù)兩個量的一批觀測數(shù)據(jù)(xi，yi)，i=1，2，…，n求出這兩個變量Y與X之間所滿足的一個函數(shù)關(guān)系式Y(jié)＝f(X)。 若變量間的函數(shù)形式根據(jù)理論分析或以往的經(jīng)驗(yàn)已經(jīng)確定好了，而其中有一些參數(shù)是未知的，則可通過觀測的數(shù)據(jù)來確定這些參數(shù)； 若變量間的具體函數(shù)形式尚未確定，則需要通過觀測數(shù)據(jù)來確定函數(shù)形式及其中的參數(shù)。,一、問題背景,在多數(shù)估計(jì)和曲線擬合的問題中，不論是參數(shù)估計(jì)還是曲線擬合，都要求確定某些(或一個)未知量，使得所確定的未知量能最好地適應(yīng)所測得的一組觀測值，即對觀測值提供一個好的擬合。 解決這類問題最常用的方法就是最小二乘法。 在一些情況下，即使函數(shù)值不是隨機(jī)變量，最小二乘法也可使用。,設(shè)X和Y兩個物理量之間的函數(shù)關(guān)系為 假定此函數(shù)關(guān)系f已知，但其中a1，a2，…，ak等參數(shù)還未求出，現(xiàn)對于X和Y有一批觀測數(shù)據(jù)： {xi，yi} ，i＝1，2，…,n，要利用這批數(shù)據(jù)在一定法則之下作出這些參數(shù)a1，a2，…，ak的估計(jì)。,假設(shè)諸觀測值相互獨(dú)立且服從正態(tài)分布。在等精度觀測的情況下，即認(rèn)為各誤差服從相同的正態(tài)分布N(0， σy)。 現(xiàn)在的問題是一個參數(shù)估計(jì)問題：需要給出a1，a2，…，ak的估計(jì)值 ， ，…， 。 解決這類問題最常用的方法就是最小二乘法。在一些情況下，即使函數(shù)值不是隨機(jī)變量，最小二乘法也可使用。,,一般根據(jù)測量的實(shí)際情況，可假設(shè)變量X的測量沒有誤差(或與Y的誤差相比很小，可略去)，而變量Y的測量有誤差，故關(guān)于Y的觀測值yi可以寫成 這里y0i表示xi對于的Y的變量真值，△i表示相應(yīng)的測量誤差。,二、最小二乘法準(zhǔn)則與正規(guī)方程,在參數(shù)估計(jì)問題中，最小二乘法的法則是： 所選取的參數(shù)估計(jì)值 ， ，…， 應(yīng)使變量Y的諸觀測值yi與其真值的估計(jì)值(又叫擬合值)，即f(xi；a1,a2，…ak)之差的平方和為最小。 用式子表示時，記殘差νi為,,,最小二乘法就是要求,=最小,在這個條件下，利用數(shù)學(xué)中求極值的方法可以求出參數(shù) ， ，…， 。這樣求出的參數(shù)叫參數(shù)的最小二乘估計(jì)。,正規(guī)方程,根據(jù)數(shù)學(xué)分析中求函數(shù)極值的條件：,=最小,共得k個方程，稱正規(guī)方程，求此聯(lián)立方程的解可得出諸參數(shù)估計(jì)值 (j＝1，2，…，k)。,,不等精度情況下的最小二乘法,以上是等精度觀測的情況，若諸觀測值yi是不等精度的觀測，即它們服從不同的方差σi2的正態(tài)分布N(0，1)，那么也不難證明，在這種情況下，最小二乘法可改為： 選取的參數(shù)估值應(yīng)使諸觀測值yi與其估計(jì)值 之差的加權(quán)平方和為最小。用式子表示就是要使,,=最小,其中，wi為各觀測值yi的權(quán)。wi＝σ2／σi2，，i＝1，2，…，n。這里σ2為任選的正常數(shù)，它表示單位權(quán)方差。,不等精度情況下的最小二乘法正規(guī)方程,同樣地，根據(jù)數(shù)學(xué)分析中求函數(shù)極值的條件：,共得k個方程，稱正規(guī)方程，求此聯(lián)立方程的解可得出諸參數(shù)估計(jì)值 (j＝1，2，…，k)。,最小二乘法的幾何意義,從幾何圖形上可看出,最小二乘法就是要在穿過各觀測點(diǎn)(xi，yi)之間找出這樣一條估計(jì)曲線，使各觀測點(diǎn)到該曲線的距離的平方和為最小。,Y,X,,,,,,,,,,,,,,,,,,,,,,三、最小二乘法與最大似然法的關(guān)系,如果假定各觀測值是相互獨(dú)立且服從正態(tài)分布，期望值是μ(xi；a1，a2，…，ak)，方差是σi2, 則觀測值的似然函數(shù)為,最大似然法要求上式取極大值，這就相當(dāng)于要求指數(shù)項(xiàng)中的,=最小,這就說明了在觀測值服從正態(tài)分布的條件下，最小二乘估計(jì)與最大似然估計(jì)是一致的。,觀測值不服從正態(tài)分布時的最小二乘估計(jì),實(shí)質(zhì)上，按最小二乘條件給出最終結(jié)果能充分地利用誤差的抵償作用，可以有效地減小隨機(jī)誤差的影響，因而所得結(jié)果具有最可信賴性。 假若觀測值不服從正態(tài)分布，則最小二乘估計(jì)并不是最大似然估計(jì)。但應(yīng)該指出，在有些問題中觀測值雖然不服從正態(tài)分布，但當(dāng)樣本容量很大時，似然函數(shù)也趨近于正態(tài)分布，因此，這時使用最小二乘法和最大似然法實(shí)質(zhì)也是一致的。,不服從正態(tài)分布時最小二乘法的統(tǒng)計(jì)學(xué)性質(zhì),若觀測值是服從正態(tài)分布的，這時最小二乘法和最大似然法實(shí)際上是一回事。但觀測值不服從正態(tài)分布或其分布未知時，這時用最小二乘法顯得缺乏理論的驗(yàn)證。但應(yīng)該指出，作為一種公理來使用，最小二乘法仍然是可以接受的，而且可以證明，所得到的估計(jì)仍然具有一些很好的統(tǒng)計(jì)性質(zhì)，這些性質(zhì)是：,(1)解是無偏的，即,(2)解是觀測值的線性組合，且有最小方差。這稱為高斯—馬爾可夫定理; (3) 加權(quán)的殘差平方和的期望值是,當(dāng)σ2＝1，即取wi＝1/σi2，這時稱,為χ2 量。期望值為n－k。,第二節(jié) 線性參數(shù)的最小二乘法,一般情況下，最小二乘法可以用于線性參數(shù)的處理，也可用于非線性參數(shù)的處理。由于測量的實(shí)際問題中大量的是屬于線性的，而非線性參數(shù)借助于級數(shù)展開的方法可以在某一區(qū)域近似地化成線性的形式。 因此，線性參數(shù)的最小二乘法處理是最小二乘法理論所研究的基本內(nèi)容。,一、線性參數(shù)的測量方程一般形式,線性參數(shù)的測量方程一般形式為,（5-7）,相應(yīng)的估計(jì)量為,（5-8）,誤差方程,其誤差方程為,（5-9）,二、線性參數(shù)的誤差方程式的矩陣形式,設(shè)有列向量,和nt階矩陣(n＞t),則線性參數(shù)的誤差方程式(5—9)可表示為,即,（5-10）,等精度測量最小二乘原理的矩陣形式,即,或,（5-11）,（5-12）,殘余誤差平方和最小這一條件的矩陣形式為,不等精度測量最小二乘原理的矩陣形式,最小二乘原理的矩陣形式為,或,（5-14）,（5-13）,式中的P為nn階權(quán)矩陣。,線性參數(shù)的不等精度測量還可以轉(zhuǎn)化為等精度的形式，從而可以利用等精度測量時測量數(shù)據(jù)的最小二乘法處理的全部結(jié)果。,三、線性參數(shù)最小二乘法的正規(guī)方程,為了獲得更可取的結(jié)果，測量次數(shù)n總要多于未知參數(shù)的數(shù)目t，即所得誤差方程式的數(shù)目總是要多于未知數(shù)的數(shù)目。因而直接用一般解代數(shù)方程的方法是無法求解這些未知參數(shù)的。 最小二乘法則可以將誤差方程轉(zhuǎn)化為有確定解的代數(shù)方程組(其方程式數(shù)目正好等于未知數(shù)的個數(shù))，從而可求解出這些未知參數(shù)。這個有確定解的代數(shù)方程組稱為最小二乘法估計(jì)的正規(guī)方程(或稱為法方程)。,1．線性參數(shù)的最小二乘法處理的基本程序,線性參數(shù)的最小二乘法處理程序可歸結(jié)為： （1）根據(jù)具體問題列出誤差方程式； （2）按最小二乘法原理，利用求極值的方法將誤差方程轉(zhuǎn)化為正規(guī)方程； （3）求解正規(guī)方程，得到待求的估計(jì)量； （4）給出精度估計(jì)。 對于非線性參數(shù)，可先將其線性化，然后按上述線性參數(shù)的最小二乘法處理程序去處理。,建立正規(guī)方程是待求參數(shù)最小二乘法處理的基本環(huán)節(jié)。,2．等精度測量的線性參數(shù)最小二乘法處理的正規(guī)方程,線性參數(shù)的誤差方程式為,最小二乘法處理的正規(guī)方程為,（5-19）,這是一個t元線性方程組．當(dāng)其系數(shù)行列式不為零時，有唯一確定的解，由此可解得欲求的估計(jì)量,線性參數(shù)正規(guī)方程的矩陣形式,正規(guī)方程(5—19)組，還可表示成如下形式,表示成矩陣形式為,線性參數(shù)正規(guī)方程的矩陣形式,（5-21）,又因,有,即,（5-22）,若令,則正規(guī)方程又可寫成,（5-22）,（5-23）,若矩陣C是滿秩的，則有,的數(shù)學(xué)期望,,因,式中Y、X為列向量(n 1階矩陣和tl階矩陣),可見,是X的無偏估計(jì)。,其中矩陣元素Y1，Y2，…，Yn為直接量的真值，而Xl，X2，…，Xn為待求量的真值。,例5—1,在不同溫度下，測定銅棒的長度如下表，試估計(jì)0℃時的銅棒長度y0和銅的線膨脹系數(shù)α。,解： （1）列出誤差方程,式中, li——在溫度ti下銅棒長度的測得值； α——銅的線膨脹系數(shù)。,令y0＝a，αy0=b為兩個待估計(jì)參量，則誤差方程可寫為,(2) 列出正規(guī)方程,為計(jì)算方便，將數(shù)據(jù)列表如下：,將表中計(jì)算出的相應(yīng)系數(shù)值代人上面的正規(guī)方程得,（3）求出待求估計(jì)量,求解正規(guī)方程解得待求估計(jì)量,即,按矩陣形式解算,由正規(guī)方程，有,則,所以,（4）給出實(shí)驗(yàn)結(jié)果,銅棒長度yt隨溫度t的線性變化規(guī)律為,3．不等精度測量的線性參數(shù)最小二乘法處理的正規(guī)方程,不等精度測量時線性參數(shù)的誤差方程仍如上述式(5—9)一樣，但在進(jìn)行最小二乘法處理時，要取加權(quán)殘余誤差平方和為最小，即,用矩陣表示的正規(guī)方程與等精度測量情況類似，可表示為,（5-27）,即,上述正規(guī)方程又可寫成,（5-28）,該方程的解，即參數(shù)的最小二乘法處理為,（5-29）,令,則有,（5-30）,例5—2,某測量過程有誤差方程式及相應(yīng)的標(biāo)準(zhǔn)差如下：,試求x1，x2的最小二乘法處理正規(guī)方程的解。,解： （1）首先確定各式的權(quán),（2）用表格計(jì)算給出正規(guī)方程常數(shù)項(xiàng)和系數(shù),（3）給出正規(guī)方程,（4）求解正規(guī)方程組,解得最小二乘法處理結(jié)果為,四、最小二乘原理與算術(shù)平均值原理的關(guān)系,為了確定一個量X的估計(jì)量x，對它進(jìn)行n次直接測量，得到n個數(shù)據(jù) l1，l2，…，ln，相應(yīng)的權(quán)分別為p1，p2，…，pn，則測量的誤差方程為,(5-35),其最小二乘法處理的正規(guī)方程為,(5-36),由誤差方程知a＝l，因而有,可得最小二乘法處理的結(jié)果,(5-37),這正是不等精度測量時加權(quán)算術(shù)平均值原理所給出的結(jié)果。,對于等精度測量有,則由最小二乘法所確定的估計(jì)量為,此式與等精度測量時算術(shù)平均值原理給出的結(jié)果相同。,由此可見，最小二乘法原理與算術(shù)平均值原理是一致的，算術(shù)平均值原理可以看做是最小二乘法原理的特例。,第三節(jié) 精度估計(jì),對測量數(shù)據(jù)最小二乘法處理的最終結(jié)果，不僅要給出待求量的最可信賴的估計(jì)量，而且還要確定其可信賴程度，即應(yīng)給出所得估計(jì)量的精度。,一、測量數(shù)據(jù)的精度估計(jì),為了確定最小二乘估計(jì)量X1，X2，…，Xt的精度，首先需要給出直接測量所得測量數(shù)據(jù)的精度。測量數(shù)據(jù)的精度也以標(biāo)準(zhǔn)差σ來表示。因?yàn)闊o法求得σ的真值，因而只能依據(jù)有限次的測量結(jié)果給出σ的估計(jì)值 ，所謂給出精度估計(jì)，實(shí)際上是求出估計(jì)值 。,,（一）等精度測量數(shù)據(jù)的精度估計(jì),設(shè)對包含t個未知量的n個線性參數(shù)方程組（5－7）進(jìn)行n次獨(dú)立的等精度測量，獲得了n個測量數(shù)據(jù)l1，l2，…，ln。其相應(yīng)的測量誤差分別為δ1，δ2，…，δn，它們是互不相關(guān)的隨機(jī)誤差。因?yàn)橐话闱闆r下真誤差δ1，δ2，…，δn是未知的，只能由殘余誤差νl，ν2，…，νn給出σ的估計(jì)量。,前面已證明,是自由度為（n－t）的χ2變量。,根據(jù)χ2變量的性質(zhì)，有,（5-39）,取,（5-40）,可以證明它是σ2的無偏估計(jì)量,因?yàn)?習(xí)慣上，式5-40的這個估計(jì)量也寫成σ2，即,（5-41）,因而測量數(shù)據(jù)的標(biāo)準(zhǔn)差的估計(jì)量為,（5-43）,例5．3,試求例5．1中銅棒長度的測量精度。,已知?dú)堄嗾`差方程為,將ti，li，值代人上式，可得殘余誤差為,（二）不等精度測量數(shù)據(jù)的精度估計(jì),不等精度測量數(shù)據(jù)的精度估計(jì)與等精度測量數(shù)據(jù)的精度估計(jì)相似，只是公式中的殘余誤差平方和變?yōu)榧訖?quán)的殘余誤差平方和，測量數(shù)據(jù)的單位權(quán)方差的無偏估計(jì)為,（5-44）,通常習(xí)慣寫成,（5-45）,測量數(shù)據(jù)的單位權(quán)標(biāo)準(zhǔn)差為,（5-46）,二、最小二乘估計(jì)量的精度估計(jì),最小二乘法所確定的估計(jì)量X1，X2，…，Xt的精度取決于測量數(shù)據(jù)的精度和線性方程組所給出的函數(shù)關(guān)系。對給定的線性方程組，若已知測量數(shù)據(jù)l1，l2，…，ln的精度，就可求得最小二乘估計(jì)量的精度。,下面首先討論等精度測量時最小二乘估計(jì)量的精度估計(jì)。,設(shè)有正規(guī)方程,現(xiàn)要給出由此方程所確定的估計(jì)量xl，x2，…，xt的精度。為此，利用不定乘數(shù)法求出xl，x2，…，xt的表達(dá)式，然后再找出估計(jì)量xl，x2，…，xt的精度與測量數(shù)據(jù)l1，l2，…，ln精度的關(guān)系，即可得到估計(jì)量精度估計(jì)的表達(dá)式。,設(shè)d11，dl2，…，dlt；d2l，d22，…，d2t：…； dtl，dt2，…，dtt分別為下列各方程組的解：,則各估計(jì)量xl，x2，…，xt的方差為,（5-52）,相應(yīng)的標(biāo)準(zhǔn)差為,（5-53）,式中，σ為測量數(shù)據(jù)的標(biāo)準(zhǔn)差。,不等精度測量的情況與此類似。,矩陣形式的結(jié)果表達(dá),利用矩陣的形式可以更方便地獲得上述結(jié)果。 設(shè)有協(xié)方差矩陣(nn階矩陣),式中,等精度獨(dú)立測量,若l1，l2，…，ln為等精度獨(dú)立測量的結(jié)果，即 且相關(guān)系數(shù)ρij = 0，即Dlij = 0,協(xié)方差矩陣,于是估計(jì)量的協(xié)方差為,式中各元素即為上述的不定乘數(shù)，可由矩陣(ATA)求逆而得，或由式(5—51)求得。,各估計(jì)量xl，x2，…，xt的方差為,不等精度測量,同樣，也可得不等精度測量的協(xié)方差矩陣,式中 σ——單位權(quán)標(biāo)準(zhǔn)差。,矩陣,式中各元素即為不定乘數(shù)，可由(ATPA)求逆得到，也可由式(5—54)求得。,例5—4 試求例5—1中銅棒長度和線膨脹系數(shù)估計(jì)量的精度,已知正規(guī)方程為,測量數(shù)據(jù)li的標(biāo)準(zhǔn)差為,解：,根據(jù)所給正規(guī)方程的系數(shù)，可列出求解不定乘數(shù)方程組,（1）列出求解不定乘數(shù)方程組，并求解,分別解得,（2）計(jì)算估計(jì)量a、b的標(biāo)準(zhǔn)差,可得估計(jì)量a、b的標(biāo)準(zhǔn)差為,因,（3）求出y0、α的標(biāo)準(zhǔn)差,故有,第四節(jié) 組合測量的最小二乘法處理,所謂組合測量，是指直接或間接測量一組被測量的不同組合值，從它們相互組合所依賴的若干函數(shù)關(guān)系中，確定出各被測量的最佳估計(jì)值。 在精密測試工作中，組合測量占有十分重要的地位。例如，作為標(biāo)準(zhǔn)量的多面棱體、度盤、砝碼、電容器以及其它標(biāo)準(zhǔn)器的檢定等，為了減小隨機(jī)誤差的影響，提高測量精度，可采用組合測量的方法。 通常組合測量數(shù)據(jù)是用最小二乘法進(jìn)行處理，它是最小二乘法在精密測試中的一種重要的應(yīng)用。,組合測量應(yīng)用,為簡單起見，現(xiàn)以檢定三段劃線間距為例，說明組合測量的數(shù)據(jù)處理方法。 如圖5—1所示，要求檢定刻線A、B、C、D間的距離x1、x2、x3。,（1）測量方案及測量數(shù)據(jù),測量數(shù)據(jù),組合測量的方案,（2）誤差方程,根據(jù)測量方案列出誤差方程,誤差方程的矩陣形式,（3）寫出誤差方程的相關(guān)矩陣,（4）求解估計(jì)量x1、x2、x3的最佳估計(jì)值,由式（5-24）得,式中,所以,最后解得,（5）計(jì)算各次的測量誤差值,ν1 = －0.013mm ν2 = 0.002mm ν3 = 0.007mm ν4 = 0.005mm ν5 = －0.015mm ν6 = 0.008mm,將最佳估計(jì)值,代入誤差方程,得,（6）計(jì)算各次測得數(shù)據(jù)的標(biāo)準(zhǔn)差,,=0.000536mm3,因?yàn)槭堑染葴y量，測得數(shù)據(jù)l1，l2．l3，l4，l5，l6的標(biāo)準(zhǔn)差相同，為,,（6）求出估計(jì)量x1、x2、x3的標(biāo)準(zhǔn)差,因,故有,例2,測量平面三角形的三個角，得 A＝485′10″； B＝6025′24″； C＝7042′7″。 假設(shè)各測量值權(quán)分別為1，2，3，求A、B、C的最佳估計(jì)值。,解： 本例有一個約束條件,這類約束條件容易消去，將C＝180－A－B代入即可。 另外，在計(jì)算中應(yīng)注意將角度、分、秒值化度。,（1）列出不等權(quán)的測量方程組并計(jì)算,有關(guān)計(jì)算值列表如下,（2）寫出不等權(quán)的正規(guī)方程組，并求解,正規(guī)方程組,解得,（3）計(jì)算測量精度標(biāo)準(zhǔn)差,,（4）計(jì)算不定乘數(shù),不定乘數(shù)方程組 4d11＋3 d12＝1 3d11－5 d12＝0 4d21＋3 d22＝0 3d21－5 d22＝1,解得,（5）計(jì)算最佳估計(jì)值標(biāo)準(zhǔn)差,,,,（6）給出結(jié)果,即,本章重要概念小結(jié),1. 最小二程原理,2.線性參數(shù)的正規(guī)方程 解 是X的無偏估計(jì),,證明了最小二乘法原理與算術(shù)平均值原理是一致的,在一些情況下，即使函數(shù)值不是隨機(jī)變量，最小二乘法也可使用。,說明了在觀測值服從正態(tài)分布的條件下，最小二乘估計(jì)與最大似然估計(jì)是一致的。,為χ2 量,期望值為n－k。,一個很好的統(tǒng)計(jì)量,本章重要概念小結(jié),3. 測量數(shù)據(jù)的精度估計(jì),是σ2的無偏估計(jì)量,4. 各估計(jì)量xl，x2，…，xt的精度,本章作業(yè),5-1 5-2 5-3 5-6,問題？ Any Question?,