Nieliniowa metoda najmniejszych kwadratów - algorytm Gaussa-Newtona

Szacowanie parametrów modelu nieliniowego rozpoczyna się od doboru wartości początkowych (tzw. punktów startowych) b(0) tak, aby były one bliskie rzeczywistym wartościom parametrów b i umożliwiały otrzymanie zbieżności algorytmu. Najczęściej metodę Gaussa-Newtona łączy się z inną metodą, która umożliwia otrzymanie dobrych początkowych przybliżeń parametrów. Taką metodę stanowi np. metoda m punktów polegająca na arbitralnym (w przyakładzie ponizej wykonano dla 2 i 7 obserwcji) wyborze m punktów empirycznych i założeniu, że współrzędne tych punktów spełniają dokładnie równanie rozpatrywanej krzywej. W ten sposób uzyskuje się układ- przeważnie nieliniowy -m równań z m niewiadomymi parametrami, których rozwiązanie stanowi szukane przybliżenie parametrów. 

Algorytm Gaussa-Newtona wykorzystuje się do estymacji parametrów strukturalnych modeli nieliniowych. Poniżej została przedstawiona ogólna postać funkcji nieliniowej:

Y_t= f(x_t,b)+x_t       t=1,...,N,

Gdzie:

y_t  - obserwacje zmiennej objaśnianej,

x_t = [x_tl]- wektor obserwacji P zmiennych objaśniających,

b = [b_j]- wektor K parametrów strukturalnych,

ξ_t – realizacje składników losowych,

Przy czym zakładamy, że składniki losowe ξ_t są nieskorelowane, mają średnią zero oraz jednakową, dodatnią i skończoną wariację.

Zastosowanie MNK wprost do modelu nieliniowego Gaussa-Newtona, czyli wyznaczenie estymatora b wektora parametrów β, takiego że:

minS(b) = min å [ y_t - f (x_t,b) ]² = S(b)

prowadzi do nieliniowego układu równań normalnych, który  rozwiązujemy za pomocą numerycznych procedur iteracyjnych.

Następnym etapem metody Gaussa-Newtona jest obliczenie pierwszych pochodnych cząstkowych względem parametrów strukturalnych występujących w modelu. (pochodna po β_j dla j=1,2...) Pierwsze pochodne cząstkowe wykorzystuje się we wzorze pozwalającym na obliczenie odchyleń d_j ^(l) kolejnych przybliżeń β_j ^(l) od wartości rzeczywistych β_j.

W tym celu posłużą nam podstawowe wzory na pochodne znane już w liceum:

1. Funkcji elementarnych, jak również na pochodne funkcji wykładniczej i logarytmicznej:

2. Funkcji pochodnej sumy, różnicy, iloczynu oraz ilorazu:

Metoda Gaussa-Newtona polega, więc na zastąpieniu modelu w l-tej iteracji jego liniowa aproksymantą (liniowym przybliżeniem).

 Za pomocą algorytmu Gaussa-Newtona, w celu oszacowania parametrów strukturalnych modelu nieliniowego stosuje się następujący wzór:

d ^(l)=[(Z^(l))^TZ^(l)]^-1(Z^(l))^Te^(l)

gdzie:

             Z^(l)=[Z^(l)_tj]=[¶f(x_t,b)/¶b_j]_b=b^(l)  - macierz N*K pierwszych

pochodnych cząstkowych względem parametrów obliczonych dla ustalonych w l-tej iteracji przybliżeń

 b ^{(l )}oraz danych obserwacji zmiennych objaśniających.

                                                e^(l)=[e_t^(l)]=[y_t – f(x_t,b^(l))] - wektor różnic miedzy 

zaobserwowanymi wartościami zmiennej zależnej a l-tym przybliżeniem (wartościami teoretycznymi z l-tej iteracji).

Wartości d_j^{(l )} są szacunkami d_j^(l) *d_j^(l) są to odchylenia l-tych przybliżeń b_j^(l) od wartości rzeczywistych b_j, co przedstawia poniższe równanie:  

d_j^(l)=b_j - b_j^(l)

Mając dobrane wartości początkowe należy przystąpić do pierwszej iteracji. Postępowanie iteracyjne wykonuje się według wzoru:

                                   b_j^(l+1) = b_j^(l)+d_j^(l)

Iteracja pierwsza będzie wyglądała w następujący sposób:              

                                     b_j^(l) = b_j⁽⁰⁾+d_j⁽⁰⁾

Iteracja druga będzie miała następującą postać:

                                   b_j⁽²⁾= b_j⁽¹⁾+d_j⁽¹⁾

Postępowanie iteracyjne kontynuuje się tak długo, aż wartości bezwzględne wszystkich poprawek będą równe zeru z zadaną dokładnością (np. 1%).

2.Słownik pojęć i terminów dotyczący prezentowanej metody Gaussa-Newtona.

1.metoda Gaussa-Newtona dotyczy ciągu zastosowań MNK, w którym rolę macierzy X ( obserwacji zmiennych objaśniających-egzogenicznych) pełni macierz Z^(l), a rolę wektora y ( obserwacji zmiennej zależnej –endogenicznej) wektor e^(l)

2.metoda najmniejszych kwadratów jest metodą estymacji polegającą na tym, że za wektor parametrów strukturalnych b przyjmuje wektor b, który minimalizuje sumę kwadratów reszt.

3. estymacja – szacowanie parametrów         

4. szacowanie parametrów modelu ekonometrycznego – sprowadza się do przypisywania nieokreślonym liczbowo parametrom konkretnych wartości liczbowych

5. zmienne objaśniane (zwane opisywanymi lub zależnymi) - zmienne te są wyjaśniane przez model.

6.  zmienne objaśniające (zwane też opisującymi lub niezależnymi) - zmienne te nie są wyjaśniane przez model

7. punkty startowe – to wartości początkowe od których rozpoczyna się szacowanie parametrów modelu

Przykład:

W poniższej tabeli przedstawione są wartości dla dwóch zmiennych. Pierwsza zmienna X oznacza miesięczne dochody na osobę, natomiast druga zmienna Y oznacza miesięczne wydatki na osobę na pieczywo, nabiał, warzywa i owoce w gospodarstwach domowych w 2004 roku. Moim celem jest oszacowanie parametrów modelu nieliniowego z dokładnością wynoszącą 1,6%:

Model według teorii ekonomii może mieć następującą nieliniową postać analityczną:

Przeprowadzę własne obliczenia  za pomocą jednego z najlepszych narzędzi statystycznych jakim jest pakiet StatisticaPL.

Wybieram odpowiedni moduł programu:

Wprowadzam dane do programu i wybieram własną postać modelu:

Wprowadzam postać mojego modelu oraz funkcję straty jak MNK czyli minimalizacja sumy kwadratów odchyleń wartości rzeczywistych od teoretycznych.

Wybieram metodę quasi-Newtona:

Ustalam wartości początkowe parametrów:

Otrzymuję wynik działania algorytmu programu po 10 iteracjach:

Dokonam weryfikacji tego modelu po wzgledem zakładanych warunków stosowalności tej metody:

-         zakładamy, że składniki losowe ξ_t są nieskorelowane,

-         mają średnią zero oraz jednakową, dodatnią i skończoną wariację.

Współczynnik determinacji mówi iż zmienność objaśniającej została wyjaśniona przez model

w 99% co uważam za duży sukces.

Wartości reszt modelu prezentują się następująco:

A ich średnia wartość 0,148 co stanowi  0,148/40,45= 0,003 czyli 0,3% wartości objaśnianej.

Wielkość tą można uznać statystycznie za równą 0.

Wykres dopasowania wartości rzeczywistych i teoretycznych wyznaczonych przez model:

Zbadam zgodność rozkładu składnika losowego z rozkładem normalnym:

Wartość p<0,59 dla statystyki Shapiro Wilka mówi iż na zwyczajowym poziomie istotności 0,05 nie ma podstaw do odrzucania hipotezy Ho mówiącej o normalności rozkładu składnika losowego.

Ostatnim testem będzie badanie stałości wariancji składnika losowego.

Otrzymany wynik z Analizy Danych:

Wartość krytyczna podana odczytana z tablic i podana przez program wynosi F*=5,987

a wartośc obliczona statystki F=0,11.

Ponieważ F<F* nie istnieje istotna różnica między wariancjami obu prób i mogę uznać, iż składnik losowy ma stałą wariancję.

Ten sam wniosek można wysnuć z wartości-p która znacznie przekroczyła poziom istotności 0,05 czyli nie ma podstaw do odrzucenia hipotezy Ho mówiącej o stałości wariancji składnika losowego.

Podsumowanie.

Ponieważ weryfikacja modelu wskazuje na jego poprawność model mogę uznać za dobry i przydatny do wykorzystania  w prognozowaniu  wartości objaśnianej.

Wyznaczę prognozę miesięcznych wydatków na osobę na pieczywo, nabiał, warzywa i owoce w gospodarstwach domowych w rodzinie gdzie dochód na osobę wynosi 850zł.

Zatem w rodzinie tej wydatki na pieczywo, nabiał , warzywa i owoce wyniesie 28,93zł na jednego członka rodziny.

opracował:
red. Mariusz Styś

Wszelkie publikacje prezentowane tutaj są chronione prawami autorskimi.
Kopiowanie zabronione zgodnie z Ustawą z dnia 4 lutego 1994 r. o prawie autorskim
i prawach pokrewnych
All right reserved © 2006 www.ekonometria.com

ekonometria