Methode der kleinsten Quadrate

Die Methode der kleinsten Quadrate (kurz: MKQ) oder KQ-Methode (englisch method of least squares oder lediglich least squares, kurz: LS); zur Abgrenzung von daraus abgeleiteten Erweiterungen wie z. B. der verallgemeinerten Methode der kleinsten Quadrate oder der zweistufigen Methode der kleinsten Quadrate auch mit dem Zusatz „gewöhnliche“ bezeichnet, d. h. gewöhnliche Methode der kleinsten Quadrate (englisch ordinary least squares, kurz: OLS; veraltet Methode der kleinsten Abweichungsquadratsumme) ist das mathematische Standardverfahren zur Ausgleichungsrechnung.

Dabei wird zu einer Menge von Datenpunkten eine Funktion bestimmt, die möglichst nahe an den Datenpunkten verläuft und somit die Daten bestmöglich zusammenfasst. Die am häufigsten verwendete Funktion ist die Gerade, die dann Ausgleichsgerade genannt wird. Um die Methode anwenden zu können, muss die Funktion mindestens einen Parameter enthalten. Diese Parameter werden dann durch die Methode bestimmt, so dass, wenn die Funktion mit den Datenpunkten verglichen und der Abstand zwischen Funktionswert und Datenpunkt quadriert wird, die Summe dieser quadrierten Abstände möglichst gering wird. Die Abstände werden dann Residuen genannt.

Typischerweise werden mit dieser Methode reale Daten, etwa physikalische oder wirtschaftliche Messwerte, untersucht. Diese Daten beinhalten oft unvermeidbare Messfehler und Schwankungen. Unter der Annahme, dass die gemessenen Werte nahe an den zugrunde liegenden „wahren Werten“ liegen und zwischen den Messwerten ein bestimmter Zusammenhang besteht, kann die Methode verwendet werden, um eine Funktion zu finden, die diesen Zusammenhang der Daten möglichst gut beschreibt. Die Methode kann auch umgekehrt verwendet werden, um verschiedene Funktionen zu testen und dadurch einen unbekannten Zusammenhang in den Daten zu beschreiben.

In der Beispielgrafik sind Datenpunkte und eine Ausgleichsfunktion eingetragen. Es wird eine allgemeine Funktion (die Modellfunktion) ausgewählt, die zur Fragestellung und den Daten passen sollte, hier eine logistische Funktion. Deren Parameter werden nun so bestimmt, dass die Summe der Abweichungsquadrate ${\displaystyle e}$ der Beobachtungen ${\displaystyle y}$ von den Werten der Funktion minimiert wird. In der Grafik ist die Abweichung ${\displaystyle e}$ an der Stelle ${\displaystyle x}$ als senkrechter Abstand der Beobachtung ${\displaystyle y}$ von der Kurve zu erkennen.

In der Stochastik wird die Methode der kleinsten Quadrate meistens als regressionsanalytische Schätzmethode benutzt, wo sie auch als Kleinste-Quadrate-Schätzung bzw. gewöhnliche Kleinste-Quadrate-Schätzung bezeichnet wird. Da die Kleinste-Quadrate-Schätzung die Residuenquadratsumme minimiert, ist es dasjenige Schätzverfahren, welches das Bestimmtheitsmaß maximiert. Angewandt als Systemidentifikation ist die Methode der kleinsten Quadrate in Verbindung mit Modellversuchen z. B. für Ingenieure ein Ausweg aus der paradoxen Situation, Modellparameter für unbekannte Gesetzmäßigkeiten zu bestimmen.