Orthogonale Projektion und kleinste Quadrate
Lesen anpassen
Nach dieser Lektion kannst du
das orthogonale Komplement eines Unterraums bestimmen,
einen Vektor orthogonal auf einen Unterraum projizieren, mit einer Orthonormalbasis oder über das Komplement,
beweisen, dass die orthogonale Projektion der Punkt mit dem kleinsten Abstand ist,
ein unlösbares Gleichungssystem über die Normalgleichungen bestmöglich lösen,
eine Ausgleichsgerade durch Messpunkte berechnen.
Vorausgesetzt: Das Gram-Schmidt-Verfahren, Orthogonalität und Orthonormalbasen, Rang einer Matrix und Lösbarkeit
Bei einem Versuch misst du vier Wertepaare : , , , . Sie liegen ungefähr auf einer Geraden , aber nicht genau. Setzt man die vier Punkte ein, entsteht ein Gleichungssystem mit vier Gleichungen und zwei Unbekannten:
Aus den ersten beiden folgt , , und dann ist die dritte Gleichung falsch. Das System hat keine Lösung. Welche Gerade ist dann die beste?
Die Antwort ist eine geometrische: Man sucht im Unterraum aller möglichen „rechten Seiten“, die eine Gerade liefern kann, den Punkt, der dem Messvektor am nächsten liegt. Wie man in einer Ebene den nächsten Punkt zu einem gegebenen Punkt findet, weißt du aus der Schule: Man fällt das Lot. Diese Lektion macht daraus ein Werkzeug für jeden euklidischen Vektorraum.
Wie im ganzen Kapitel ist ein euklidischer Vektorraum; im ist das Standardskalarprodukt gemeint.
Im sei die Gerade durch in Richtung . Welcher Punkt von liegt am nächsten an ?
Orthogonales Komplement
Es sei ein Unterraum. Das orthogonale Komplement von ist
ist wieder ein Unterraum: Es ist , und aus folgt . Außerdem ist , denn ein in beiden erfüllt .
Wird von aufgespannt, genügt es, die Orthogonalität zu den zu prüfen: Ist für alle , dann ist wegen der Linearität orthogonal zu jeder Linearkombination der .
Komplemente im R³
Komplemente im R³
Für die Gerade ist , eine Ebene. Für die Ebene ist , die -Achse.
Allgemein im : Ist und die Matrix mit diesen Spalten, dann sind die Bedingungen genau die Zeilen des Systems :
Das orthogonale Komplement berechnet man also mit dem Gauß-Verfahren. Gegenbeispiel zur Anschauung: Ein Komplement im Sinn von „alles, was nicht in liegt“ ist nicht. Der Vektor liegt weder in noch auf der -Achse.
Orthogonale Zerlegung
Es sei ein endlichdimensionaler Unterraum ( selbst darf unendlichdimensional sein, etwa ). Dann lässt sich jedes eindeutig schreiben als
Ist eine ONB von , dann ist . Ist endlichdimensional, gilt außerdem .
Existenz. Nach dem Gram-Schmidt-Verfahren hat eine ONB . Wir setzen und . Für jedes ist . Weil die den Raum aufspannen, ist .
Eindeutigkeit. Aus mit und folgt .
Dimension. Ergänze zu einer ONB von . Jedes mit liegt in . Umgekehrt hat jedes die Darstellung , in der die ersten Koeffizienten sind. Also ist eine ONB von , und .
Orthogonale Projektion
Für einen endlichdimensionalen Unterraum heißt die Abbildung
die orthogonale Projektion auf . Mit einer ONB von ist ; daran sieht man, dass linear ist. Das Bild ist , der Kern ist , und : Ein Vektor aus bleibt beim Projizieren, wie er ist.
Kennzeichnung ohne Formel: ist der Vektor , für den senkrecht auf steht. Diese Beschreibung hängt nur von ab, nicht von der gewählten ONB.
- 5
- 5
- 33,9°
Das Skalarprodukt ist : Der Winkel ist spitz, die Projektion von zeigt in dieselbe Richtung wie .
Probier es aus
Projektion auf eine Ebene über das Komplement
Projektion auf eine Ebene über das Komplement
Gesucht ist für und die Ebene . Statt erst eine ONB der Ebene zu bauen, nutzt man mit . Aus folgt , und die Projektion auf eine Gerade kennst du:
Probe: , also , und ist ein Vielfaches von . Der Abstand von zur Ebene ist , wie mit der Hesseschen Normalform aus der Schule: .
Bestapproximation
Es sei ein endlichdimensionaler Unterraum und . Dann ist der eindeutig bestimmte Vektor in mit kleinstem Abstand zu : Für alle gilt
Beweisidee: Der Umweg über bildet ein rechtwinkliges Dreieck, und die Hypotenuse ist länger als jede Kathete.
Es sei . Wir zerlegen . Der erste Summand liegt in (Definition der Projektion), der zweite in , weil beide Vektoren und in liegen. Also sind die Summanden orthogonal, und der Satz des Pythagoras ergibt
Gleichheit gilt genau dann, wenn ist, also für .
Beste lineare Näherung einer Funktion
Beste lineare Näherung einer Funktion
In mit suchen wir die Funktion , die im Sinn dieses Abstands am besten annähert. Der Unterraum der Polynome vom Grad höchstens hat nach der letzten Lektion die orthogonale Basis mit und . Mit und ist
Die beste Näherung ist die Konstante , die keine Steigung hat: Der Graph von ist symmetrisch, und jede Steigung würde auf einer Seite so viel verschlechtern, wie sie auf der anderen verbessert. Der Fehler ist genau das dritte Polynom aus dem Gram-Schmidt-Beispiel, und der kleinste Abstand ist .
Wie groß ist der Abstand des Punktes von der Ebene ? (Auf zwei Nachkommastellen.)
Von der Bestapproximation zu den Normalgleichungen
Von der Bestapproximation zu den Normalgleichungen
Gegeben sind mit Spalten und . Das System hat vielleicht keine Lösung. Gesucht ist ein , für das der Fehler so klein wie möglich ist. Weil die Summe der Quadrate der Einträge ist, heißt das die Methode der kleinsten Quadrate.
Die Vektoren sind genau die Linearkombinationen der Spalten: Sie bilden den Unterraum des .
Normalgleichungen
Es seien und .
- minimiert genau dann, wenn .
- Die Normalgleichungen sind immer lösbar.
- Sind die Spalten von linear unabhängig (Rang ), dann ist invertierbar, und die Lösung ist eindeutig.
Die erste Aussage ist die Herleitung oben. Lösbar sind die Normalgleichungen, weil in liegt, es also ein mit gibt; dieses löst sie.
Für die dritte Aussage genügt es zu zeigen, dass nur die Lösung hat. Aus folgt , also . Weil die Spalten linear unabhängig sind, ist dann . Eine quadratische Matrix mit trivialem Kern ist invertierbar.
Die Ausgleichsgerade zu den Messpunkten
Die Ausgleichsgerade zu den Messpunkten
Zurück zu den Punkten , , , und dem Ansatz . Gesucht sind , für die die Summe der Quadrate der Abweichungen in -Richtung minimal ist.
Das System in Matrixform: Die erste Spalte gehört zu (lauter Einsen), die zweite zu (die ).
Bei jeder Ausgleichsgeraden , die mit den Normalgleichungen berechnet wird, ist die Summe der Residuen gleich . Warum?
Normalgleichungen falsch gekürzt
Normalgleichungen falsch gekürzt
Zwei verbreitete Fehlschlüsse:
- „Aus kürzt man und erhält .“ Oder gleich: „.“
- „Die Ausgleichsgerade macht die senkrechten Abstände der Punkte zur Geraden möglichst klein.“
ist eine -Matrix mit und hat einen großen Kern; man darf sie nicht kürzen. Eine Inverse gibt es für nicht quadratisches gar nicht. Hätte eine Lösung, wäre die Rechnung überflüssig.
Die Methode der kleinsten Quadrate minimiert , also die Abstände in -Richtung, im Bild der Messpunkte senkrecht zur -Achse. Die Orthogonalität, die dabei entsteht, findet im der Messwerte statt (), nicht in der Zeichenebene der Punkte.
Zusammenfassung
besteht aus allen Vektoren, die auf ganz senkrecht stehen; im ist , wenn die Spalten von den Raum aufspannen.
Für endlichdimensionales zerfällt jedes eindeutig in mit , ; endlichdimensional ist .
für eine ONB von ; gekennzeichnet durch und .
Bestapproximation: ist der eindeutige Punkt von mit kleinstem Abstand zu (Beweis mit Pythagoras).
Oft ist schneller, etwa bei einer Ebene mit Normalenvektor.
Kleinste Quadrate: ist minimal genau für die Lösungen von ; bei linear unabhängigen Spalten ist die Lösung eindeutig.
Ausgleichsgerade : hat die Spalten und ; die Residuen sind orthogonal zu beiden.
Übungen
Es sei . Welche Menge ist ?
Wie groß ist der Abstand des Punktes von der Ebene ?
Zu den Punkten , , wird eine Ausgleichsgerade durch den Ursprung, , gesucht. Bestimme mit den Normalgleichungen.
Bestimme die Steigung der Ausgleichsgeraden durch die Punkte , , .
In mit : Welche Funktion nähert am besten an?
Es sei endlichdimensional und ein Unterraum. Beweise .