Metoda celor mai mici pătrate
Metoda celor mai mici pătrate # 151; Metoda de a găsi parametrii optimi ai regresiei liniare. astfel încât suma erorilor pătratice (a reziduurilor de regresie) este minimă. Metoda este de a minimiza distanța euclidiană - \ mathbf \ | „> între doi vectori - valori vectoriale reconstruite ale variabilei dependente și vectorul valorilor reale ale variabilei dependente.
Declarația problemei
Sarcina metoda celor mai mici pătrate constă în selectarea unui vector „> care minimizează eroarea - \ mathbf \ | ^ 2“ >. Această eroare este distanța de la vectorul „> la un vector“ >. Vector „> se află în prostanstvo coloane din matrice ca“ > este o combinație liniară a coloanelor acestei matrice cu coeficienți. Găsirea unor soluții „> prin metoda celor mai mici pătrate este echivalentă cu problema găsirii unui punct = A \ mathbf“ >, care se află cel mai apropiat de „> și stocate astfel, în spațiul de coloane ale matricei. Astfel, vectorul“ > ar trebui să fie de proiecție " > în spațiul coloanei și vectorul rezidual - \ mathbf „> trebuie să fie ortogonale acestui spațiu. Ortogonalitatea este ca fiecare vector în spațiul coloanei este o combinație liniară de coloane cu anumiți coeficienți, și anume, un vector „> Pentru toate în spațiu.“ >, Acești vectori trebuie să fie perpendicular diferența> - \ mathbf „>:Deoarece această ecuație trebuie să dețină pentru orice vector „>, se
Decizia privind metoda celor mai mici pătrate sistem inconsistent = \ mathbf „>, format din ecuații cu necunoscute este o ecuație
care se numește o ecuație normală. În cazul în care coloanele matricei sunt liniar independente, atunci matricea este reversibilă și singura soluție
Proiecția vectorului „> la spatiul are forma de coloane
Matricea A ^ T „> numita matrice vector de proiectare“ > pentru coloanele matricei spațiu. Această matrice are două proprietăți principale: este idempotente și simetrice. Reciproca este de asemenea adevărat: o matrice care are aceste două proprietăți este un design matrice pe coloanele sale spațiale.
EXEMPLU construirea de regresie liniară
set de eșantionare # 151; tabel
Având în vedere modelul de regresie # 151; polinom pătratic
Modelul atribuit este liniar. Pentru a găsi valoarea optimă a vectorului parametrului = \ Langle \ rangle ^ T „> efectuate următoarele substituții:
Apoi, matricea variabilă liberă a permutări valorile vor fi sub forma
Set model de criterii de calitate: funcția de eroare
Aici, vectorul = \ Langle „>. Este necesară pentru a găsi astfel de parametri“ >, ceea ce ar oferi un minim al acestei funcționale,
Este necesar de a găsi astfel de parametri „>, care oferă un minim # 151; normale - reziduuri \ mathbf „>.
Pentru a găsi funcția reziduală minimă necesită echivalarea derivatelor la zero. Derivatele funcției „> se completează până
Această expresie coincide cu ecuația normală. Soluția la această problemă trebuie să satisfacă sistemul de ecuații liniare
La primirea soldului puteți complot funcția de găsit.
Când contactați matricea „> se presupune că matricea este non-singular și prost condiționat. Pentru informații cu privire la modul de a lucra cu matrici bolnavi condiționat, a se vedea. Articolul descompunere Singular.