Lösung: Bei der Schätzung der Regressionskoeffizienten verfolgen wir das Ziel, dass die resultierende Regressionsgerade die Punktewolke möglichst gut beschreibt. Die Abweichungen von der Geraden sollen möglichst klein sein. Außerdem dürfen sich bei der Schätzung positive und negative Abweichungen von der Regressionsgeraden nicht gegeneinander aufheben. Bei der Methode der kleinsten Quadrate werden die Regressionskoeffizienten so gewählt, dass die durch sie beschriebene Regressionsgerade die Summe der quadratischen n Abstände von der Geraden minimiert. Formal wird dies durch den Ausdruck ∑ ( yν − yˆ ν ) 2 ν=1 beschrieben. Der Ausdruck wird quadriert, damit sich positive Abweichungen und negative Abweichungen nicht gegeneinander aufheben. Alternativ können wir statt eines quadratischen Ausdrucks auch die Beträge der Abstände minimieren. Auch so ist gesichert, dass sich Abweichungen in verschiedene Richtungen nicht saldieren und die Abweichungen von der Regressionsgeraden möglichst gering sind. Somit gewinnen wir auch über die n Minimierung des Ausdrucks ∑ yν − yˆ ν Regressionskoeffizienten. Wählen wir als ν=1 n Optimierungskriterium lediglich die Minimierung der Summe der Abstände ∑ ( yν − yˆ ν ) , ν=1 dann heben sich die positiven und negativen Abweichungen gegeneinander auf. Somit ist diese Methode nicht geeignet, um die Regressionskoeffizienten zu schätzen. Selbstverständlich gibt es auch noch weitere Methoden, die zur Schätzung der Regressionskoeffizienten in Frage kommen. Alle Schätzmethoden führen zu unterschiedlichen Werten der Regressionskoeffizienten. In der Praxis am weitesten verbreitet und angewendet ist die KQ-Methode. Um sachlich fundiert die Güte der Schätzung beurteilen zu können, ist es wichtig, die wesentlichen Vorund Nachteile dieser Methode zu kennen. Durch die Quadrierung der Fehler wird zwar auf einfache Weise eine gegenseitige Aufhebung positiver und negativer Abweichungen vermieden. Andererseits werden große Abweichungen durch die Quadrierung jedoch stärker in der Zielfunktion berücksichtigt als bei anderen Schätzmethoden. Dadurch kann die Regressionsgerade schon bei einzelnen extremen Werten stark verschoben werden. Somit können wenige Punkte einen großen Einfluss auf die Lage der Regressionsgeraden haben. Um dem Problem einer zu starken Gewichtung von extremen Werten (große Abweichungen) begegnen zu können, macht es unter Umständen Sinn, statt des Quadrierens die Minimierung der Beträge der Abstände als Schätzfunktion zu verwenden. Allerdings treten bei dieser Methode formale Schwierigkeiten bei der Bestimmung der Regressionskoeffizienten auf. Aus diesem Grund wird im linearen Regressionsmodell in erster Linie immer die KQ-Methode verwendet, um die Regressionskoeffizienten zu schätzen. 1 1 Im Rahmen der sog. robusten Regression wird die Methode der Minimierung der Beträge der Abweichungen tatsächlich auch trotz dieser formalen Probleme angewendet.