Methode der kleinsten Quadrate

Einleitung

Die Methode der kleinsten Quadrate wird benutzt, um zu einer Menge von Punkten eine Kurve zu finden, die möglichst nahe an den Punkten verläuft.

In diesem Artikel werden ganzrationale Funktionen als Kurvenfunktionen zum Einsatz, das Verfahren ist aber auch mit allen anderen Funktionen wie z.B. trigonometrischen Funktionen, Logarithmusfunktionen möglich.

Lineare Funktion (Ausgleichsgerade)

Eine lineare Funktion ist eine ganzrationale Funktion 1. Grades und hat folgende Form:

$$ f(x) = p_0 + p_1 \cdot x $$

Nehmen wir an, es sind folgende Punkte gegeben:

\( x \) 0 1 2 3 4
\( y \) 2 1 0 -1 1

Man kann nun für jeden Punkt eine Gleichung aufstellen und erhält folgendes Gleichungssystem:

\begin{matrix} p_0 & + & 0*p_1 & = & 2 \\ p_0 & + & 1*p_1 & = & 1 \\ p_0 & + & 2*p_1 & = & 0 \\ p_0 & + & 3*p_1 & = & -1 \\ p_0 & + & 4*p_1 & = & 1 \end{matrix}

In Matrixschreibweise mit der Koeffizientenmatrix \( A \):

$$ \underset{ A }{\underbrace{ \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{bmatrix} }} \begin{bmatrix} p_0 \\ p_1 \end{bmatrix} = \underset{ b }{\underbrace{ \begin{bmatrix} 2 \\ 1 \\ 0 \\ -1 \\ 1 \end{bmatrix} }} $$

Nun müssen beide Seiten der Gleichung mit der transponierten Koeffizientenmatrix \( A^T \) multipliziert werden:

$$ \underset{ A^T \cdot A }{\underbrace{ A^T \cdot \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{bmatrix} }} \begin{bmatrix} p_0 \\ p_1 \end{bmatrix} = \underset{ A^T \cdot b }{\underbrace{ A^T \cdot \begin{bmatrix} 2 \\ 1 \\ 0 \\ -1 \\ 1 \end{bmatrix} }} $$

Um diese Gleichung zu lösen werden nun \( A^T \cdot A \) und \( A^T \cdot b \) berechnet:

$$ A^T \cdot A = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 \\ 0 & 1 & 2 & 3 & 4 \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{bmatrix} = \begin{bmatrix} 5 & 10 \\ 10 & 30 \end{bmatrix} $$ $$ A^T \cdot b = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 \\ 0 & 1 & 2 & 3 & 4 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \\ 0 \\ -1 \\ 1 \end{bmatrix} = \begin{bmatrix} 3 \\ 2 \end{bmatrix} $$

Damit vereinfacht sich das Gleichungssystem folgendermaßen:

$$ \begin{bmatrix} 5 & 10 \\ 10 & 30 \end{bmatrix} \begin{bmatrix} p_0 \\ p_1 \end{bmatrix} = \begin{bmatrix} 3 \\ 2 \end{bmatrix} $$

Diese Gleichung löst man mit dem Gauß-Jordan-Algorithmus oder der Cramerschen Regel und erhält die Kurvenparameter und damit die Ausgleichsfunktion:

$$ p_0 = \dfrac{7}{5} \qquad p_1 = -0,4 $$ $$ f(x) = \dfrac{7}{5} -0,4 \cdot x $$

Quadratische Funktion (Ausgleichsparabel)

Eine quadratische Funktion ist eine ganzrationale Funktion 2. Grades und hat folgende Form:

$$ f(x) = p_0 + p_1 \cdot x + p_2 \cdot x^2 $$

Nehmen wir an, es sind folgende Punkte gegeben:

\( x \) 0 1 2 3 4
\( y \) 2 1 0 -1 1

Man kann nun für jeden Punkt eine Gleichung aufstellen und erhält folgendes Gleichungssystem:

\begin{matrix} p_0 & + & 0*p_1 & + & 0*p_2 & = & 2 \\ p_0 & + & 1*p_1 & + & 1*p_2 & = & 1 \\ p_0 & + & 2*p_1 & + & 4*p_2 & = & 0 \\ p_0 & + & 3*p_1 & + & 9*p_2 & = & -1 \\ p_0 & + & 4*p_1 & + & 16*p_2 & = & 1 \end{matrix}

In Matrixschreibweise mit der Koeffizientenmatrix \( A \):

$$ \underset{ A }{\underbrace{ \begin{bmatrix} 1 & 0 & 0 \\ 1 & 1 & 1 \\ 1 & 2 & 4 \\ 1 & 3 & 9 \\ 1 & 4 & 16 \end{bmatrix} }} \begin{bmatrix} p_0 \\ p_1 \\ p_2 \end{bmatrix} = \underset{ b }{\underbrace{ \begin{bmatrix} 2 \\ 1 \\ 0 \\ -1 \\ 1 \end{bmatrix} }} $$

Nun müssen beide Seiten der Gleichung mit der transponierten Koeffizientenmatrix \( A^T \) multipliziert werden:

$$ \underset{ A^T \cdot A }{\underbrace{ A^T \cdot \begin{bmatrix} 1 & 0 & 0 \\ 1 & 1 & 1 \\ 1 & 2 & 4 \\ 1 & 3 & 9 \\ 1 & 4 & 16 \end{bmatrix} }} \begin{bmatrix} p_0 \\ p_1 \\ p_2 \end{bmatrix} = \underset{ A^T \cdot b }{\underbrace{ A^T \cdot \begin{bmatrix} 2 \\ 1 \\ 0 \\ -1 \\ 1 \end{bmatrix} }} $$

Um diese Gleichung zu lösen werden nun \( A^T \cdot A \) und \( A^T \cdot b \) berechnet:

$$ A^T \cdot A = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 \\ 0 & 1 & 2 & 3 & 4 \\ 0 & 1 & 4 & 9 & 16 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ 1 & 1 & 1 \\ 1 & 2 & 4 \\ 1 & 3 & 9 \\ 1 & 4 & 16 \end{bmatrix} = \begin{bmatrix} 5 & 10 & 30 \\ 10 & 30 & 100 \\ 30 & 100 & 354 \end{bmatrix} $$ $$ A^T \cdot b = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 \\ 0 & 1 & 2 & 3 & 4 \\ 0 & 1 & 4 & 9 & 16 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \\ 0 \\ -1 \\ 1 \end{bmatrix} = \begin{bmatrix} 3 \\ 2 \\ 8 \end{bmatrix} $$

Damit vereinfacht sich das Gleichungssystem folgendermaßen:

$$ \begin{bmatrix} 5 & 10 & 30 \\ 10 & 30 & 100 \\ 30 & 100 & 354 \end{bmatrix} \begin{bmatrix} p_0 \\ p_1 \\ p_2 \end{bmatrix} = \begin{bmatrix} 3 \\ 2 \\ 8 \end{bmatrix} $$

Diese Gleichung löst man mit dem Gauß-Jordan-Algorithmus oder der Cramerschen Regel und erhält die Kurvenparameter und damit die Ausgleichsfunktion:

$$ p_0 = \dfrac{79}{35} \qquad p_1 = -\dfrac{74}{35} \qquad p_2 = \dfrac{3}{7} $$ $$ f(x) = \dfrac{79}{35} -\dfrac{74}{35} \cdot x + \dfrac{3}{7} \cdot x^2 $$

Quellen