Einführung in die Numerische Mathematiklehre/SS12/... · An introduction to numerical methods and...

Einführung in die Numerische Mathematik

Thomas [email protected]

Thomas [email protected]

Universität Heidelberg

30. Oktober 2012

Inhaltsverzeichnis

Literaturverzeichnis ii

1 Einleitung 11.1 Konditionierung von numerischen Problemen . . . . . . . . . . . . . . . . . 51.2 Rundungsfehleranalyse und Stabilität von numerischer Algorithmen . . . . 15

2 Nullstellenbestimmung 192.1 Motivation und Einordnung . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.2 Stabilität und Kondition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.3 Intervallschachtelung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242.4 Das Newton-Verfahren in 1D . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.4.1 Das klassische Newton-Verfahren . . . . . . . . . . . . . . . . . . . . 272.4.2 Das Newton-Verfahren als Defekt-Korrektur . . . . . . . . . . . . . . 322.4.3 Das vereinfachte Newton-Verfahren . . . . . . . . . . . . . . . . . . . 332.4.4 Das gedämpfte Newton-Verfahren . . . . . . . . . . . . . . . . . . . 33

2.5 Weitere Verfahren zur Nullstellensuche . . . . . . . . . . . . . . . . . . . . . 342.6 Konvergenzbegriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362.7 Vier Verfahren im Vergleich . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

3 Interpolation und Approximation 473.1 Polynominterpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

3.1.1 Lagrangesche Darstellung . . . . . . . . . . . . . . . . . . . . . . . . 513.1.2 Newtonsche Darstellung . . . . . . . . . . . . . . . . . . . . . . . . . 523.1.3 Interpolation von Funktionen und Fehlerabschätzungen . . . . . . . 54

3.2 Spline Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583.3 Numerische Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633.4 Richardson Extrapolation zum Limes . . . . . . . . . . . . . . . . . . . . . . 673.5 Numerische Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

3.5.1 Interpolatorische Quadratur . . . . . . . . . . . . . . . . . . . . . . . 733.5.2 Stückweise interpolatorische Quadraturformeln . . . . . . . . . . . . 773.5.3 Gauß-Quadratur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803.5.4 Romberg-Quadratur . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

3.6 Approximationstheorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 983.6.1 Gauss-Approximation: Beste Approximation in der L2-Norm . . . . 99

4 Numerische Lineare Algebra 1094.1 Grundlagen der linearen Algebra . . . . . . . . . . . . . . . . . . . . . . . . 109

i

Inhaltsverzeichnis

4.2 Lösungsmethoden für lineare Gleichungssysteme . . . . . . . . . . . . . . . 1164.2.1 Störungstheorie & Stabilitätsanalyse von linearen Gleichungssystemen1174.2.2 Das Gauß’sche Eliminationsverfahren und die LR-Zerlegung . . . . . 1204.2.3 LR-Zerlegung für diagonaldominante Matrizen . . . . . . . . . . . . 1314.2.4 Die Cholesky-Zerlegung für positiv definite Matrizen . . . . . . . . . 1324.2.5 Dünn besetzte Matrizen und Bandmatrizen . . . . . . . . . . . . . . 134

4.3 Nachiteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1404.4 Orthogonalisierungsverfahren und die QR-Zerlegung . . . . . . . . . . . . . 145

4.4.1 Das Gram-Schmidt Verfahren . . . . . . . . . . . . . . . . . . . . . . 1464.4.2 Householder-Transformationen . . . . . . . . . . . . . . . . . . . . . 1494.4.3 Givens-Rotationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

4.5 Überbestimmte Gleichungssysteme, Gauß’sche Ausgleichrechnung . . . . . . 1584.6 Berechnung von Eigenwerten . . . . . . . . . . . . . . . . . . . . . . . . . . 164

4.6.1 Konditionierung der Eigenwertaufgabe . . . . . . . . . . . . . . . . . 1654.6.2 Direkte Methode zur Eigenwertberechnung . . . . . . . . . . . . . . 1684.6.3 Iterative Verfahren zur Eigenwertberechnung . . . . . . . . . . . . . 1694.6.4 Das QR-Verfahren zur Eigenwertberechnung . . . . . . . . . . . . . 1744.6.5 Reduktionsmethoden zur Eigenwertbestimmung . . . . . . . . . . . . 176

5 Numerische Iterationsverfahren 1815.1 Der Banachsche Fixpunktsatz . . . . . . . . . . . . . . . . . . . . . . . . . . 1815.2 Fixpunkt-Iterationen zum Lösen von nichtlinearen Gleichungen . . . . . . . 186

5.2.1 Newton-Verfahren im Rn . . . . . . . . . . . . . . . . . . . . . . . . 1865.2.2 Newton-Kantorovich . . . . . . . . . . . . . . . . . . . . . . . . . . . 1875.2.3 Vereinfachtes und gedämpftes Newton-Verfahren . . . . . . . . . . . 192

5.3 Iterative Lösungsverfahren für lineare Gleichungssysteme . . . . . . . . . . . 1955.3.1 Konstruktion von Fixpunktverfahren . . . . . . . . . . . . . . . . . . 1985.3.2 Konvergenzkriterium für Jacobi- und Gauß-Seidel-Iteration . . . . . 1995.3.3 Relaxationsverfahren: das SOR-Verfahren . . . . . . . . . . . . . . . 2045.3.4 Praktische Aspekte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2075.3.5 Abstiegs & Gradientenverfahren . . . . . . . . . . . . . . . . . . . . 209

6 Anwendungsbeispiel: dünner Balken 2216.1 Modellierung eines elastischen Balkens . . . . . . . . . . . . . . . . . . . . . 2226.2 Diskretisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

6.2.1 Diskretes Modell mit globaler Interpolation . . . . . . . . . . . . . . 2256.2.2 Diskretes Modell mit stückweiser Interpolation . . . . . . . . . . . . 2256.2.3 Vergleich und Diskussion der beiden Modelle . . . . . . . . . . . . . 226

6.3 Lösungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2276.4 Ein Beispiel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

6.4.1 Globaler Polynomansatz . . . . . . . . . . . . . . . . . . . . . . . . . 2286.4.2 Stückweiser Polynomansatz . . . . . . . . . . . . . . . . . . . . . . . 2306.4.3 Analyse und Vergleich . . . . . . . . . . . . . . . . . . . . . . . . . . 233

ii

Literaturverzeichnis

[1] Jörg Bewersdorff. Algebra für Einsteiger: Von der Gleichungsauflösung zur Galois-Theorie. Wiesbaden, 2004.

[2] J.F. Epperson. An introduction to numerical methods and analysis. John Wiley &Sons, 2007.

[3] J. Douglas Faires and Richard L. Burdon. Numerische Methoden. Spektrum Akade-mischer Verlag, 1994.

[4] A. Grama, A. Gupta, G. Karypis, and V. Kumar. Introduction to Parallel Computing.Addison-Wesley, 2003. 2nd edition.

[5] G. Hämmerlin and K.-H. Hoffmann. Numerische Mathematik. Springer Verlag, 1992.

[6] M. Hanke-Bourgeois. Grundlagen der numerischen Mathematik und des Wissen-schaftlichen Rechnens. Vieweg-Teubner Verlag, 2009.

[7] IEEE. IEEE 754-2008: Standard for floating-point arithmetic. Technical report, IEEEStandards Association, 2008. doi:10.1109/IEEESTD.2008.4610935.

[8] Rainer Kress. Numerical Analysis. Springer Verlag, 1998.

[9] R. Rannacher. Einführung in die numerische mathematik. Technical report, Univer-sität Heidelberg, 2006. http://numerik.uni-hd.de/˜lehre/notes.

[10] R. Rannacher. Numerik partieller Differentialgleichungen. Technical report, Univer-sität Heidelberg, 2008. http://numerik.uni-hd.de/˜lehre/notes.

[11] R. Rannacher. Numerik gewöhnlicher Differentialgleichungen. Technical report, Uni-versität Heidelberg, 2011. http://numerik.uni-hd.de/˜lehre/notes.

[12] T. Richter. Numerik partieller Differentialgleichungen. Technical report, UniversitätHeidelberg, 2011. http://numerik.uni-hd.de/˜richter/teaching.shtml.

[13] H. R. Schwarz and N. Köckler. Numerische Mathematik. Vieweg-Teubner Verlag,2011.

[14] Dirk Werner. Funktionalanalysis. Springer, 2004.

iii

Literaturverzeichnis

iv

1 Einleitung

In der numerischen Mathematik werden Verfahren zum konkreten “Lösen” von mathema-tischen Problemen entworfen und analysiert. Dabei ist die numerische Mathematik engmit anderen Zweigen der Mathematik verbunden und kann auch nicht von dem Anwen-dungsgebiet, also z.B. der Chemie, Physik oder Medizin getrennt werden. Der übliche Wegvon Problem zur Lösung ist lang:

1. Mathematische Modellierung Das zugrundeliegende Problem wird mathematisch er-fasst, es werden Gleichungen entwickelt, die das Problem beschreiben. Ergebnis desmathematischen Modells kann ein lineares Gleichungssystem sein, aber z.B. aucheine Differentialgleichung.

2. Analyse des Modells Das mathematische Modell muss auf seine Eigenschaften unter-sucht werden: existiert eine Lösung, ist diese Lösung eindeutig? Hier kommen alleTeilgebiete der Mathematik zum Einsatz, von der Linearen Algebra über Statistik,Gruppentheorie zur Theorie von partiellen Differentialgleichungen.

3. Numerische Verfahrensentwicklung Ein numerisches Lösungs- oder Approximations-verfahren wird für das Modell entwickelt. Viele mathematische Modelle (etwa Dif-ferentialgleichungen) können nicht exakt gelöst werden und oft kann eine Lösung,auch wenn sie existiert, nicht angegeben werden. Die Lösung einer Differentialglei-chung ist eine Funktion f : [a, b] → R und zur genauen Beschreibung müsste derFunktionswert an den unendlich-vielen Punkten des Intervalls [a, b] bestimmt wer-den. Jede durchführbare Verfahrensvorschrift kann allerdings nur aus endlich vielenSchritten bestehen. Das Problem muss zunächst diskretisiert werden, also auf einendlich-dimensionales reduziert werden. Die Numerische Mathematik befasst sichmit der Analyse der numerischen Verfahren, also mit Untersuchung von Konvergenzund Approximationsfehlern.

4. Implementierung Das numerische Verfahren muss auf einem Computer implemen-tiert werden. Zur effizienten Implementierung müssen spezielle Algorithmen ent-wickelt werden. Um moderne Computer-Architekturen nutzen zu können muss dasVerfahren z.B. für die Verwendung von Parallelrechnern modifiziert werden.

5. Auswertung Die numerischen Ergebnisse (etwa das Simulationsergebnis einer Flug-zeugumströmung) müssen ausgewertet werden. Dies beinhaltet eine grafische Dar-stellung der Ergebnisse sowie in technischen Anwendungen z.B. die Auswertung vonKräften die nur indirekt gegeben sind. Anhand von Plausibilitätsanalysen muss dieQualität der Ergebnisse beurteilt werden. Unter Umständen führt diese Überprüfungzu neuen mathematischen Modellen oder modifizierten numerischen Verfahren.

1

1 Einleitung

Die Teilaspekte dürfen nicht getrennt voneinander gesehen werden. Ein effizienter Algorith-mus ist nichts wert, wenn das zugrundeliegende Problem überhaupt keine wohldefinierteLösung hat, ein numerisches Verfahren für ein Anwendungsproblem ist wertlos, wenn derComputer in absehbarer Zeit zu keiner Lösung kommt.

Das Ergebnis einer numerischen Aufgabe ist im Allgemeinen eine Zahl, oder eine endlicheMenge von Zahlen. Beispiele für numerische Aufgaben sind das Berechnen der Nullstel-len einer Funktion, die Berechnung von Integralen, die Berechnung der Ableitung einerFunktion in einem Punkt, aber auch komplexere Aufgaben wie das Lösen einer Differen-tialgleichung.

Zum Lösen von numerischen Aufgaben werden wir unterschiedliche Verfahren kennenler-nen. Wir grenzen zunächst ein:

Definition 1.1 (Numerisches Verfahren, Algorithmus). Ein numerisches Verfahren ist ei-ne Vorschrift zum Lösen oder zur Approximation einer mathematischen Aufgabe. Ein nu-merisches Verfahren heißt direkt, falls die Lösung bis auf Rundungsfehler exakt berechnetwerden kann. Ein Verfahren heißt approximativ falls die Lösung nur angenähert werdenkann. Ein Verfahren heißt iterativ, falls die Näherung durch mehrfache Ausführung desVerfahrens verbessert werden kann.

Beispiele für direkte Lösungsverfahren sind die p/q-Formel zur Berechnung von Nullstel-len quadratischer Polynome (siehe Kapitel 2) oder der Gauß’sche Eliminationsalgorithmus(Kapitel 4) zum Lösen von linearen Gleichungssysteme. Approximative Verfahren müssenz.B. zum Bestimmen von komplizierten Integralen oder auch zum Berechnen von Nullstel-len allgemeiner Funktionen eingesetzt werden. Wir betrachten ein Beispiel eines direktenVerfahrens:

Beispiel 1.2 (Polynomauswertung). Es sei durch

p(x) = a0 + a1x+ · · ·+ anxn

ein Polynom gegeben. Dabei sei n ∈ N sehr groß. Wir werten p(x) in einem Punkt x0 ∈ Rmit dem trivialen Verfahren aus:

Algorithmus 1.3 (Polynom-Auswertung).

1. Für i = 0, 1, . . . , n berechne yi := aixi0

2. Berechne p =∑Ni=0 yi.

Wir berechnen den Aufwand zur Polynom-Auswertung: In Schritt 1. des Algorithmus sindzur Berechnung der yi i Multiplikationen notwendig, insgesamt

0 + 1 + 2 + · · ·+ n = n(n+ 1)2 = n2

2 + n

2 .

2

In Schritt 2 weitere n Additionen notwendig. Der Gesamtaufwand des Algorithmus beträgtdemnach n2/2 + n/2 Multiplikationen sowie n Additionen. Wir fassen eine Addition undeine Multiplikation zu einer elementaren Operation zusammen und erhalten zusammenals Aufwand der trivialen Polynomauswertung

A1(n) = n2

n+ n

2

elementare Operationen.

Wir schreiben das Polynom um

p(x) = a0 + x(a1 + x(a2 + · · ·+ x(an−1 + xan) . . . ))

und leiten hieraus einen weiteren Algorithmus her:

Algorithmus 1.4 (Horner-Schema).

1. Setze p := an

2. In Schritt i = n− 1 bis 0 berechne p := ai + x · p

Jeder der n Schritte des Verfahrens benötigt eine Multiplikation sowie eine Addition, alsoergibt sich ein Aufwand von

A2(n) = n

elementare Operationen. Das Horner-Schema benötigt für die gleiche Aufgabe wesentlichweniger Operationen, man denke nur an Polynome n� 1000.

Definition 1.5 (Numerischer Aufwand). Der Aufwand eines numerischen Verfahrens istdie Anzahl der notwendigen elementaren Operationen. Eine elementare Operation ist eineAddition und eine Multiplikation.

Meist hängt der Aufwand eines Verfahrens von der Problemgröße ab. Die ProblemgrößeN ∈ N wird von Problem zu Problem definiert, beim Lösen eines linearen Gleichungssy-stems Ax = b mit einer Matrix A ∈ RN×N ist die Größe der Matrix die Problemgröße.Beim Auswerten eines Polynoms p(x) = anx

n + an−1xn−1 + · · ·+ a0 in einem Punkt x ist

die Problemgröße die Anzahl der Koeffizienten n.

Zur einfachen Schreibweise definieren wir:

3

1 Einleitung

Definition 1.6 (Landau-Symbole). (i) Es sei g(n) eine Funktion mit g →∞ für n→∞.Dann ist f ∈ O(g) genau dann, wenn

lim supn→∞

∣∣∣∣f(n)g(n)

∣∣∣∣ <∞sowie f ∈ o(g) genau dann, wenn

limn→∞

∣∣∣∣f(n)g(n)

∣∣∣∣ = 0.

(ii) Sei g(h) eine Funktion mit g(h) → 0 für h → 0. Wir definieren wie oben f ∈ O(g)sowie f ∈ o(g).

Einfach gesprochen: f ∈ O(g), falls f höchstens so schnell gegen ∞ konvergiert wie g undf ∈ o(g), falls g schneller als f gegen ∞ geht. Entsprechend gilt für g → 0. dass f ∈ O(g),falls f mindestens so schnell gegen Null konvergiert wie g und f ∈ o(g) falls f schnel-ler als g gegen Null konvergiert. Mit Hilfe der Landau-Symbole lässt sich der Aufwandeines Verfahrens einfacher charakterisieren. Im Fall der trivialen Polynomauswertung inAlgorithmus 1.3 gilt für den Aufwand A1(n) in Abhängigkeit der Polynomgröße n:

A1(n) ∈ O(n2),

und im Fall des Horner-Schema’s von Algorithmus 1.4

A2(n) ∈ O(n).

Wir sagen: der Aufwand der trivialen Polynomauswertung wächst quadratisch, der Auf-wand des Horner-Schema’s linear. Weiter können mit den Landau-Symbolen Konvergenz-begriffe quantifiziert und verglichen werden. In den entsprechenden Kapiteln kommen wirauf diesen Punkt zurück.

Numerische Lösungen sind oft mit Fehlern behaftet. Fehlerquellen sind zahlreich: die Ein-gabe kann mit einem Messfehler versehen sein, das numerische Verfahren approximiertdie Lösung nur (ist also kein direktes Verfahren), die Aufgabe kann nur mit Hilfe einesComputers oder Taschenrechners gelöst werden und ist mit Rundungsfehlern versehen.Wir definieren:

Definition 1.7 (Fehler). Sei x ∈ R die Approximation einer Größe x ∈ R. Mit |δx| =|x− x| bezeichnen wir den absoluten Fehler und mit |δx|/|x| den relativen Fehler.

Üblicherweise ist die Betrachtung des relativen Fehlers von größerer Bedeutung: denn einabsoluter Messfehler von 100m ist klein, versucht man den Abstand zwischen Erde undSonne zu bestimmen, jedoch groß, soll der Abstand zwischen Mensa und Mathematikge-bäude gemessen werden.

4

1.1 Konditionierung von numerischen Problemen

Messung 0.58s 0.61s 0.62s 0.54s 0.64s 0.598sMessfehler (rel) 4% 0.5% 2% 10% 6% 1%Größe 1.65m 1.82m 1.89m 1.43m 2.01m 1.76mFehler (abs) 0.15m 0.02m 0.09m 0.37m 0.21m 0.04mFehler (rel) 8% 1 % 5% 21% 12% 2%

Tabelle 1.1: Experiment 1: Größenbestimmung durch Fallenlassen eines Balles.

Messung 1.60s 1.48s 1.35s 1.53s 1.45s 1.482sMessfehler (rel) 5% 2.5% 11% <1% 5% 2%Größe 2.53m 1.47m 0.48m 1.90m 1.23m 1.49mFehler (abs) 0.73m 0.33m 1.32m 0.10m 0.57m 0.31mFehler (rel) 40% 18% 73% 6% 32% 17%

Tabelle 1.2: Experiment 2: Größenbestimmung durch Hochwerfen des Balles.


Bei der Analyse von numerischen Verfahren spielen Fehler, insbesondere die Fortpflanzungvon Fehlern eine entscheidende Rolle. Wir betrachten ein Beispiel:

Beispiel 1.8 (Größenbestimmung). Thomas will seine Größe h bestimmen, hat allerdingskein Maßband zur Verfügung. Dafür hat er eine Uhr, einen Ball und im Physikunterrichtgut aufgepasst. Zur Lösung der Aufgabe hat er zwei Ideen:

1. Verfahren 1: Thomas lässt den Ball aus Kopfhöhe fallen und misst die Zeit t0, bisder Ball auf dem Boden auskommt. Die Höhe berechnet er aus der Formel für denfreien Fall,

y(t) = h− 12gt

2 ⇒ h = 12gt

20,

mit der Gravitationskonstante g = 9.81.

2. Verfahren 2: der Ball wird 2m über den Kopf geworfen und wir messen die Zeit bisder Ball wieder auf dem Boden angekommen ist. s = 2m werden in t′ =

√2s/g

Sekunden zurückgelegt, hierfür benötigt der Ball eine Startgeschwindigkeit von v0 =gt′ =

√2sg ≈ 6.26 m/s. Es gilt für die Flugbahn:

y(t) = h+ v0t−12gt

2 ⇒ h = 12gt

20 − v0t0.

Das zweite Verfahren wird gewählt, weil die Zeit t0, die der Ball in Verfahren 1 zumFallen benötigt, sehr klein ist. Große Messfehler werden vermutet. Wir führen zunächstAlgorithmus 1 durch und messen 5 mal (exakte Lösung h = 1.80m und t0 ≈ 0.606s). DieErgebnisse sind in Tabelle 1.1 zusammengefasst. In der letzten Spalte wurde als Zeit der

5

1 Einleitung

Mittelwert aller Messergebnisse gewählt. Dies geschieht in der Hoffnung den Messfehlerzu optimieren.

Wir führen nun Algorithmus 2 durch und messen 5 mal (exakte Lösung h = 1.80m und t0 ≈1.519s). In Tabelle 1.2 sind die Messergebnisse und ermittelten Größen zusammengefasst.In der letzten Spalte wird wieder der Mittelwert aller Messergebnisse betrachtet.

Trotz anfänglicher Zweifel erweist sich Algorithmus 1 als stabiler. Mögliche Fehlerquellensind der Messfehler bei der Bestimmung der Zeit t0 sowie bei Algorithmus 2 die Genauigkeitbeim Erreichen der Höhe von 2m. In Algorithmus 1 führt der Messfehler zu etwa demdoppelten relativen Fehler in der Höhe. Bei Algorithmus 2 führen selbst kleine Fehler≤ 1% in den Messungen zu wesentlich größeren Fehlern im Ergebnis. Der immer nochkleine Fehler von 5% bei der ersten Messung führt zu einem Ergebnisfehler von etwa 40%.Auch bei Betrachtung des Mittelwerts über alle Messwerte ist die ermittelte Größe von1.49m keine gute Näherung.

Wir wollen nun untersuchen, welche Auswirkung der Fehler in der Eingabe eines Algorith-mus auf das Ergebnis hat. Hierzu sei die Aufgabe wieder allgemein durch die VorschriftA : x 7→ y beschrieben. Die Eingabe x sei mit einem Fehler δx behaftet. Die gestörteEingabe x = x+ δx liefert ein gestörtes Ergebnis y = y + δy:

y = A(x), δy = y − y = A(x)−A(x) = A(x+ δx)−A(x).

Wir teilen durch y = A(x) und erweitern rechts mit δx sowie mit x

δy

y= A(x+ δx)−A(x)

δx

x

A(x)δx

x

Auf der linken Seite verbleibt der relative Fehler im Ergebnis, rechts steht der relativeEingabefehler multipliziert mit einem Differenzenquotienten für die ersten Ableitung derAufgabe. Wir approximieren: ∣∣∣∣δyy

∣∣∣∣ ≈ ∣∣∣∣∂A(x)∂x

x

A(x)

∣∣∣∣ · ∣∣∣∣δxx∣∣∣∣ ,

und nennen die GrößeκA,x := ∂A(x)

∂x

x

A(x) ,

die Konditionszahl der Aufgabe A(·) in Bezug auf die Eingabe x. Die Konditionszahlbeschreibt die relative Fehlerverstärkung einer Aufgabe in Bezug auf eine Eingabegröße.Wir definieren:

Definition 1.9 (Konditionszahl). Es sei A : Rn → Rm. Wir nennen

κi,j := ∂Ai(x)∂xj

xjAi(x)

die relative Konditionszahl der Aufgabe. Eine Aufgabe heißt schlecht konditioniert, falls|κi,j | � 1, ansonsten gut konditioniert. Im Fall |κi,j | < 1 spricht man von Fehlerdämp-fung, ansonsten von Fehlerverstärkung.

6


Wir setzen das Beispiel zur experimentellen Größenbestimmung fort:

Beispiel 1.10 (Größenbestimmung, Fortsetzung).

1. Verfahren 1: Zum Durchführen des Verfahrens h(t0) als Eingabe die gemessene Zeitt0 erforderlich. Für die Konditionszahl gilt:

κh,t0 := ∂h(t0)∂t0

t0h(t0) = gt0

t012gt

20

= 2.

Ein relativer Fehler in der Eingabe δt0/t0 kann demnach einen doppelt so großenrelativen Fehler in der Ausgabe verursachen.

2. Verfahren 2: Wir bestimmen die Konditionszahl in Bezug auf die Geschwindigkeitdie Zeit t0:

κh,t0 = (gt0 − v0) t012gt

20 − v0t0

= 2 gt0 − v0gt0 − 2v0

Wir wissen, dass bei exaktem Wurf und ohne Messfehler, der Ball t0 ≈ 1.519 sunterwegs ist bei einer Startgeschwindigkeit von v0 ≈ 6.26m/s. Dies ergibt:

κh,t0 ≈ κh,v0 ≈ 8.

Fehler in der Eingaben δt0/t0 sowie δv0/v0 werden um den Faktor 8 verstärkt. Diedurch die Konditionszahlen vorhergesagten Fehlerverstärkungen lassen sich in Tabel-len 1.1 und 1.2 zu Beispiel 1.8 gut wiederfinden.

Die Analyse von Fehlern und Fehlerfortpflanzungen spielen eine zentrale Rolle in der nu-merischen Mathematik. Fehler treten vielfältig auf, auch ohne ungenaue Eingabewerte.Oft sind numerische Algorithmen sehr komplex, setzen sich aus vielen Operationen zu-sammen. Bei der Approximation mit dem Computer treten unweigerlich Rundungsfehlerauf. Da der Speicherplatz im Computer, bzw. die Anzahl der Ziffern auf dem Taschenrech-ner beschränkt sind, treten Rundungsfehler schon bei der bloßen Darstellung einer Zahlauf. Auch wenn es für die numerische Aufgabe

x2 = 2, ⇔ x = ±√

2,

mit x = ±√

2 eine einfach anzugebene Lösung gibt, so kann diese auf einem Computernicht exakt dargestellt werden:

√2 = 1.41421356237309504880 . . .

Der naheliegende Grund für einen zwingenden Darstellungsfehler ist der beschränkte Spei-cher eines Computers. Ein weiterer Grund liegt in der Effizienz. Ein Computer kann nichtmit beliebig langen Zahlen rechnen. Grund ist die beschränkte Datenbandbreite (das sinddie 8-Bit, 16-Bit, 32-Bit oder 64-Bit der Prozessoren). Operationen mit Zahlen in länge-rer Darstellung müssen zusammengesetzt werden, ähnlich dem schriftlichen Multiplizierenoder Addieren aus der Schule.

7

1 Einleitung

Computer speichern Zahlen gerundet in Binärdarstellung, also zur Basis 2:

rd(x) = ±n2∑

i=−n1

ai2i, ai ∈ {0, 1}.

Die Genauigkeit der Darstellung, somit der Rundungsfehler hängt von der Anzahl derZiffern, also von n1 und n2 ab. Die Fixkommadarstellung der Zahl im Binärsystem lautet:

rd(x) = [an2an2−1 . . . a1a0.a−1a−2 . . . a−n1 ]2

Praktischer ist die Gleitkommadarstellung von Zahlen. Hierzu wird die Binärdarstellungnormiert und ein gemeinsamer Exponent eingeführt:

rd(x) = ±

0∑i=−n1−n2

ai+n22i 2n2 , ai ∈ {0, 1}.

Der führende Term (die ai) heißt die Mantisse und wird von uns mit M bezeichnet, denExponenten bezeichnen wir mit E. Der Exponent kann dabei eine positive oder negativeZahl sein. Zur Vereinfachung wird der Exponenten E als E = e − b, mit einer positivenZahl e ∈ N und dem Bias b ∈ N geschrieben. Der Biaswert b wird in einer konkretenZahldarstellung fest gewählt. Der variable Exponentanteil e wird selbst im Binärformatgespeichert. Es bleibt, die Anzahl der Binärstellen für Mantisse und Exponent zu wählen.Hinzu kommt ein Bit für das Vorzeichen S ∈ {+,−}. Die Gleitkommadarstellung imBinärsystem lautet:

rd(x) = S · [m0.m−1m−2 . . .m−#m]2 · 2[e#e...e1e0]2−b

Die Mantisse wird üblicherweise mit m0 = 1 normiert zu M ∈ [1, 2). D.h., die führendeStelle muss nicht explizit gespeichert werden.

Auf modernen Computern hat sich das IEEE 754 -Format zum Speichern von Zahlenetabliert:

8


Definition 1.11 (Normalisierte Gleitkommazahlen im IEEE 754-Format). Das IEEE-754Format [7] beschreibt die Gleitkommadarstellung einer Zahl im Binärformat:

x = s ·M · 2E−b,

mit einem Vorzeichen s ∈ {+,−}, einer Mantisse M ∈ [1, 2) sowie einem ExponentenE ∈ N mit Bias b ∈ N. Die Gleitkommazahl wird in Binärdarstellung gespeichert:

se#e . . . e2e1m#m . . .m2m1

mit #e Bit für den Exponenten und #m Bit für die Mantisse. Der Bias wird im All-gemeinen als 2#e−1 − 1 gewählt. Die Interpretation der Zahlen hängt vom Exponentenab:

Null Im Fall E = 0 und M = 0 ist x = ±0. Die Unterscheidung zwischen +0 und −0entsteht beim Runden kleinen Zahlen zur Null. Im direkten Vergleich gilt +0 = −0.

Unendlich Im Fall E = 2#e − 1 (also alle Bit im Exponenten gleich 1) und M = 0 istx = ±∞. Unendlich entsteht etwa beim Teilen durch 0 (mit Vorzeichen!) oder fallsdas Ergebnis zu groß (oder negativ zu klein) ist um darstellbar zu sein.

NaN Im Fall E = 2#e − 1 und M > 0 steht der Wert für Not a Number und tritt zumBeispiel bei der Operation 0/0 oder ∞−∞ auf.

Normalisierte Zahl Im Fall 0 ≤ E < 2#e−1 steht die Zahl für

s · 1.m#e . . .m2m1 · 2E−b.

Das Rechnen mit Gleitkommazahlen kann im Computer effizient realisiert werden. ImIEEE-754 Format wird die Gleitkommadarstellung durch denormalisierte Zahlen erweitert.Wir erwähnen dies zur Vollständigkeit:

Bemerkung 1.12 (Denormalisierte Zahlen). Denormalisierte Zahlen dienen zum Schlie-ßen der Lücke zwischen Null und der kleinsten positiven darstellbaren Zahl 1.0 . . . 001 ·2−b.Im Fall E = 0 und M > 0 wird die Zahl interpretiert als:

s · 0.m#e . . .m2m1 · 21−b.

Die Genauigkeit bei der Rechnung mit denormalisierten Zahlen ist reduziert.

In Tabelle 1.3 sind verschiedene Gleitkommadarstellungen zusammengefasst, die historischund aktuell benutzt werden. Derzeit wird fast ausschließlich das IEEE-Format verwendet.Hier sind zwei Darstellungen üblich, single-precision (in C++ float) und double-precision(in C++ double). Durch die Normierung der Mantisse wird ein Bit, das sogenannte hidden-bit gewonnen. Historisch wurden in Rechensystemern jeweils unterschiedliche Zahlendar-stellungen gewählt. Während die ersten Computer noch im Prozessor integrierte Rechen-einheiten für Gleitkomma-Arithmetik, die sogenannte floating-point processing unit (FPU)

9

1 Einleitung

Größe Vorzeichen Exponent Mantisse Biaseinfache Genauigkeit (single) 32 Bit 1 Bit 8 Bit 23+1 Bit 127doppelte Genauigkeit (double) 64 Bit 1 Bit 11 Bit 52+1 Bit 1023Zuse Z1 (1938) 24 Bit 1 Bit 7 Bit 15 Bit —IBM 704 (1954) 36 Bit 1 Bit 8 Bit 27 Bit 128i8087 Coprozessor (1980) Erste Verwendung von IEEE (single + double)Intel 486 (1989) Erste integrierte FPU in Standard PCNVIDIA G80 (2007) GPU (single)NVIDIA Fermi (2010) GPU (double)

Tabelle 1.3: IEEE-754 Format in einfacher und doppelter Genauigkeit sowie Gleitkomma-formate in aktueller und historischer Hardware.

hatten, verschwand diese zunächst wieder aus den üblichen Computern und war nur inspeziellen Rechnern vorhanden. In Form von Coprozessoren konnte eine FPU nachgerü-stet werden (z.B. der Intel 8087 zum Intel 8086). Der “486er” war der erste Prozessor fürHeimcomputer mit integrierter FPU. Heute können Gleitkommaberechnungen effizient aufGrafikkarten ausgelagert werden. Die Prozessoren der Grafikkarten, die graphics processingunit (GPU) ist speziell für solche Berechnungen ausgelegt (z.B. schnelle Berechnungenvon Lichtbrechungen und Spiegelungen, Abbilden von Mustern auf 3D-Oberflächen). Spe-zielle Steckkarten (z.B. NVIDIA Tesla), welche gleich mehrere GPU’s enthalten werden inHöchstleistungssystemen eingesetzt. Die Genauigkeit der Darstellung ist im Wesentlichenvon den in der Mantisse zu Verfügung stehenden Stellen bestimmt. Größte und kleinstedarstellbare Zahlen sind durch die Stellen im Exponenten bestimmt. In numerischen Ver-fahren ist die Verwendung von doppelt-genauer Zahlendarstellung (double) üblich. DieRecheneinheiten moderner Computer nutzen intern eine erhöhte Genauigkeit zum Durch-führen von elementaren Operationen. (80 Bit bei modernen Intel-CPU’s). Gerundet wirderst nach Berechnung des Ergebnis.

Beispiel 1.13 (Gleitkommadarstellung). Wir gehen von vierstelliger Mantisse und vierStellen im Exponent aus mit Bias 24−1 − 1 = 7.

• Die Zahl x = −96 hat zunächst negatives Vorzeichen, also S = 1. Die Binärdarstel-lung von 96 ist

9610 = 1 · 64 + 1 · 32 + 0 · 16 + 0 · 8 + 0 · 4 + 0 · 2 + 0 · 1 = 11000002,

normalisiert

6410 = 1.10002 · 2610 = 1.12 · 21310−710 = 1.12 · 211012−b.

Als Gleitkommadarstellung ergibt sich 1110110002.

• Die Zahl x = −384 hat wieder negatives Vorzeichen und S = 1. Die Binärdarstellungvon 384 ist:

38410 = 1 ·256 + 1 ·128 + 0 ·64 + 0 ·32 + 0 ·16 + 0 ·8 + 0 ·4 + 0 ·2 + 0 ·1 = 1100000002,

10


also normalisiert

38410 = 1.1000 · 2810 = 1.1000 · 21510−710 = 1.10002 · 211112−b.

Alle Bits im Exponenten sind 1. Der spezielle Wert E = 11112 ist jedoch zur Spei-cherung von NaN (Not a Number) vorgesehen. Die Zahl 384 ist zu groß um in diesemZahlenformat gespeichert zu werden. Stattdessen wird −∞ oder Binär 1111100002gespeichert.

• Die Zahl x = 1/3 = 0.33333 . . . ist positiv, also S = 0. Die Binärdarstellung von1/3 ist

13 = 0.01010101 . . .2 .

Normalisiert, mit vierstelliger Mantisse erhalten wir

13 ≈ 1.01012 · 2−2 = 1.01012 · 252−72 = 1.01012 · 201012−b,

also die Binärdarstellung 0010101012. Wir mussten bei der Darstellung runden underhalten rückwärts

1.01012 · 201012−7 = 1.3125 · 2−2 = 0.328125,

mit dem relativen Fehler: ∣∣∣∣∣ 13 − 1.01012 · 201012−b

13

∣∣∣∣∣ ≈ 0.016

• Die Zahl x =√

2 ≈ 1.4142135623 . . . ist positiv, also S = 0. Gerundet gilt:√

2 ≈ 1.01112

Diese Zahl liegt bereits normalisiert vor. Mit Bias b = 7 gilt für den Exponentene = 0 = 7− 7 √

2 ≈ 1.01112 · 201112−b,

also 001110111. Rückwärts in Dezimaldarstellung erhalten wir

1.01112 · 201112−b = 1.4375,

mit dem relativen Darstellungsfehler∣∣∣∣∣√

2− 1.4375√2

∣∣∣∣∣ ≈ 0.016.

• Schließlich betrachten wir die Zahl x = −0.003. Mit S = 1 gilt:

0.00310 ≈ 0.000000001100012

11

1 Einleitung

und normalisiert

0.00310 ≈ 1.100012 · 2−9 = 1.1100012 · 2−2−7.

Der Exponent −9 = −2−b ist zu klein und kann in diesem Format (also vier Stellenfür den Exponenten) nicht dargestellt werden. Die Zahl kann hingegen denormalisiertdargestellt werden als:

0.00310 ≈ ·0.01102 · 20−7.

Binär ergibt dies 1000001102. Umrechnen in Dezimaldarstellung liefert:

0.01102 · 20−7 = 0.375 · 2−7 ≈ 0.0029,

mit dem relativen Darstellungsfehler∣∣∣∣0.003− 0.00290.003

∣∣∣∣ ≈ 0.033.

Aus der begrenzten Anzahl von Ziffern ergibt sich zwangläufig ein Fehler bei der Durchfüh-rung von numerischen Algorithmen. Der relative Fehler, der bei der Computer-Darstellungx einer Zahl x ∈ R entstehen kann ∣∣∣∣rd(x)− x

x

∣∣∣∣ist durch die sogenannte Maschinengenauigkeit beschränkt:

Definition 1.14 (Maschinengenauigkeit). Die Maschinengenauigkeit eps ist der maxima-le relative Rundungsfehler der Zahldarstellung und wird bestimmt als:

eps := inf{x > 0 : rd(1 + x) > 1}.

Sind im Zahlenformat denormalisierte Zahlen vorgesehen, so verschlechtert sich die Ge-nauigkeit für x→ 0.

Da Rundungsfehler zwangsläufig auftreten, gelten grundlegende mathematische Gesetzewie das Assoziativgesetz oder das Distributivgesetz in Computern nicht mehr. Aufgrundvon Rundungsfehlern spielt die Reihenfolge, in denen Operationen ausgeführt werden einewichtige Rolle und verfälscht das Ergebnis. Auch ein einfacher Vergleich von Zahlen ist oftnicht möglich, die Abfrage if (3.8/10.0==0.38) kann durch Rundung das falsche Ergebnisliefern und muss durch Abfragen der Art if ( |3.8/10.0 − 0.38| < eps) ersetzt werden.

Bemerkung 1.15. Die Maschinengenauigkeit hat nichts mit der kleinsten Zahl zu tun,welche auf einem Computer darstellbar ist. Diese ist wesentlich durch die Anzahl der Stel-len im Exponenten bestimmt. Die Maschinengenauigkeit wird durch die Anzahl der Stellenin der Mantisse bestimmt. Bei der üblichen Gleitkommadarstellung mit doppelter Genau-igkeit (double in c++) gilt eps ≈ 10−16, bei einfacher Genauigkeiten, z.B. auf Grafikkartengilt eps ≈ 10−8.

12


Rundungsfehler treten bei jeder elementaren Operation auf. Daher kommt der Konditio-nierung der Grundoperationen, aus denen alle Algorithmen aufgebaut sind, eine entschei-dende Bedeutung zu:

Beispiel 1.16 (Konditionierung von Grundoperationen, Auslöschung).

1. Addition, Subtraktion: A(x, y) = x+ y:

κA,x =∣∣∣∣ x

x+ y

∣∣∣∣ =∣∣∣∣∣ 11 + y

x

∣∣∣∣∣Im Fall x ≈ −y kann die Konditionszahl der Addition (x ≈ y bei der Subtraktion)beliebig groß werden. Ein Beispiel mit vierstelliger Rechnung:

x = 1.021, y = −1.019 ⇒ x+ y = 0.002.

Jetzt sei y = 1.020 gestört. Der relative Fehler in y ist sehr klein: |1.019−1.020|/|1.019| ≤0.1%. Wir erhalten das gestörte Ergebnis

x+ y = 0.001,

und einen Fehler von 100%. Die enorme Fehlerverstärkung bei der Addition vonZahlen mit etwa gleichem Betrag wird Auslöschung genannt. Hier gehen wesentlicheStellen verloren. Auslöschung tritt üblicherweise dann auf, wenn das Ergebnis einernumerischen Operation verglichen mit den Eingabewerten einen sehr kleinen Betraghat. Kleine relative Fehler in der Eingabe verstärken sich zu großen relativen Fehlernim Ergebnis.

2. Multiplikation: A(x, y) = x · y. Die Multiplikation zweier Zahlen ist stets gut kondi-tioniert:

κA,x =∣∣∣∣y xxy

∣∣∣∣ = 1.

3. Division: A(x, y) = x/y. Das selbe gilt für die Division:

κA,x =∣∣∣∣∣1y xxy

∣∣∣∣∣ = 1, κA,y =∣∣∣∣∣ xy2

yxy

∣∣∣∣∣ = 1.

4. Wurzelziehen: A(x) =√x:

κA,x =∣∣∣∣ 12√x

x√x

∣∣∣∣ = 12 .

Ein Fehler in der Eingabe wird im Ergebnis sogar reduziert.

Die meisten numerischen Algorithmen bestehen im Kern aus der wiederholten Ausführungdieser Grundoperationen. Der Aufwand von Algorithmen wird in der Anzahl der notwen-digen elementaren Operationen (in Abhängigkeit von der Problemgröße) gemessen. Die

13

1 Einleitung

CPU Jahr Flops PreisZuse Z3 1941 0.3 EinzelstückeIBM 704 1955 5 · 103 >10 000 000 EuroIntel 8086 + 8087 1980 50 · 103 2 000 Euroi486 1991 1.4 · 106 2 000 EuroIPhone 4s 2011 100 · 106 500 Euro2xPentium III 2001 800 · 106 2 000 EuroCore i7 2011 100 · 109 1 000 EuroHelics I (Parallelrechner am IWR) 2002 1 · 1012 1 000 000 EuroNvidia GTX 580 (GPU) 2010 1 · 1012 500 EuroK Computer 2011 10 · 1015 ???

Tabelle 1.4: Gleitkomma-Geschwindigkeit sowie Anschaffungskosten einiger aktueller undhistorischer Computer.

Laufzeit eines Algorithmus hängt wesentlich von der Leistungsfähigkeit des Rechners ab.Diese wird in FLOPS, also floating point operations per second gemessen. In Tabelle 1.4fassen wir die erreichbaren FLOPS für verschiedene Computer-Systeme zusammen. DieLeistung ist im Laufe der Jahre rapide gestiegen, alle zehn Jahre wird etwa der Faktor1000 erreicht. Die Leistungssteigerung beruht zum einen auf effizienterer Hardware. ErsteComputer hatten Register mit 8 Bit Breite, die in jedem Takt (das ist die MHz Anga-be) verarbeitet werden konnten. Auf aktueller Hardware stehen Register mit 64 Bit zurVerfügung. Hinzu kommt eine effizientere Abarbeitung von Befehlen durch sogenanntesPipelining: die übliche Abfolge im Prozessor beinhaltet “Speicher lesen, Daten bearbei-ten, Ergebnis speichern”. Das Pipelining erlaubt es dem Prozessor schon den Speicher fürdie nächste Operation auszulesen, während die aktuelle bearbeitet wird. So konnte dieAnzahl der notwendigen Prozessortakte pro Rechenoperation erheblich reduziert werden.Die Kombination aus Intel 8086 mit FPU 8087 hat bei einem Takt von 8 Mhz und 50 000Flops etwa 150 Takte pro Fließkommaoperation benötigt. Der 486er braucht bei 66 Mhzund etwa 1 000 000 Flops nur 50 Takte pro Operation. Der Pentium III liegt bei etwa 5Takten pro Fließkommaoperation. In den letzten Jahren beruht die Effizienzsteigerungwesentlich auf einem sehr hohen Grad an Parallelisierung. Ein aktueller Core I7 Prozessorkann mehrere Operationen gleichzeitig durchführen. Eine Nvidia 580 GPU erreicht ihreLeistung mit über 500 Rechenkernen. Um diese Leistung effizient nutzen zu können müssendie Algorithmen entsprechend angepasst werden, so dass auch alle 500 Kerne ausgelastetwerden. Kann ein Algorithmus diese spezielle Architektur nicht ausnutzen, so fällt dieLeistung auf etwa ein Gigaflop zurück, also auf das Niveau des Pentium III aus dem Jahr2001. Werden die 500 Kerne hingegen optimal ausgenutzt, so erreicht eine Grafikkarte diegleiche Leistung wie der Heidelberger Linux-Cluster helics aus dem Jahr 2002. ModerneSuper-Computer wie der K Computer (schnellster Computer der Welt in 2012) vernetzenüber 500 000 Kerne.

14

1.2 Rundungsfehleranalyse und Stabilität von numerischer Algorithmen

1.2 Rundungsfehleranalyse und Stabilität von numerischerAlgorithmen

Beim Entwurf von numerischen Algorithmen für eine Aufgabe sind oft unterschiedlicheWege möglich, welche sich z.B. in der Reihenfolge der Verfahrensschritte unterscheiden.Unterschiedliche Algorithmen zu ein und derselben Aufgabe können dabei rundungsfeh-lerbedingt zu unterschiedlichen Ergebnissen führen:

Beispiel 1.17 (Distributivgesetz). Wir betrachten die Aufgabe A(x, y, z) = x · z − y · z =(x− y)z und zur Berechnung zwei Vorschriften:

a1 := x · z a1 := x− y,a2 := y · z a := a1 · z,a := a1 − a2.

Es sei x = 0.519, y = 0.521, z = 0.941. Bei vierstelliger Arithmetik erhalten wir:

a1 := rd(x · z) = 0.4884 b1 := rd(x− y) = −0.002a2 := rd(y · z) = 0.4903 b2 := rd(a1 · z) = −0.001882a3 := rd(a1 − a2) = −0.0019

Mit A(x, y, z) = −0.001882 ergeben sich die relativen Fehler:∣∣∣∣−0.0001882− a30.0001882

∣∣∣∣ ≈ 0.01,∣∣∣∣−0.0001882− b2

0.0001882

∣∣∣∣ = 0.

Das Distributivgesetz gilt auf dem Computer nicht!

Die Stabilität hängt also entscheidend vom Design des Algorithmus ab. Eingabefehler,oder auch Rundungsfehler, die in einzelnen Schritten entstehen, werden in darauffolgendenSchritten des Algorithmus verstärkt. Wir analysieren nun beide Verfahren im Detail undgehen davon aus, dass in jedem der elementaren Schritte (wir haben hier nur Additionund Multiplikation) ein relativer Rundungsfehler ε mit |ε| ≤ eps entsteht, also

rd(x+ y) = (x+ y)(1 + ε), rd(x · y) = (x · y)(1 + ε),

Zur Analyse eines gegebenen Algorithmus verfolgen wir die in Rundungsfehler, welche injedem Schritt entstehen und deren Akkumulation:

Beispiel 1.18 (Stabilität des Distributivgesetzes). Wir berechnen zunächst die Konditi-onszahlen der Aufgabe:

κA,x =∣∣∣∣∣ 11− y

x

∣∣∣∣∣ , κA,y =∣∣∣∣∣ 11− x

y

∣∣∣∣∣ , κA,z = 1.

Für x ≈ y ist die Aufgabe schlecht konditioniert. Wir starten mit Algorithmus 1 undschätzen in jedem Schritt den Rundungsfehler ab. Zusätzlich betrachten wir Eingabefeh-ler (oder Darstellungsfehler) von x, y und z. Wir berücksichtigen stets nur Fehlerterme

15

1 Einleitung

erster Ordnung und fassen alle weiteren Terme mit den Landau-Symbolen (für kleine ε)zusammen:

a1 =x(1 + εx)z(1 + εz)(1 + ε1) = xz(1 + εx + εz + ε1 +O(eps2))= xz(1 + 3ε1 +O(eps2)),

a2 =y(1 + εy)z(1 + εz)(1 + ε2) = yz(1 + εy + εz + ε2 +O(eps2))= yz(1 + 3ε2 +O(eps2)),

a3 =(xz(1 + 3ε1)− yz(1 + 3ε2) +O(eps2))(1 + ε3)= (xz − yz)(1 + ε3) + 3xzε1 − 3yzε2 +O(eps2)

Wir bestimmen den relativen Fehler:∣∣∣∣a3 − (xz − yz)xz − yz

∣∣∣∣ = |(xz − yz)ε3 − 3xzε1 + 3yzε2||xz − yz|

≤ eps+ 3 |x|+ |y||x− y|

eps.

Die Fehlerverstärkung dieses Algorithmus kann für x ≈ y groß werden und entspricht etwa(Faktor 3) der Konditionierung der Aufgabe. Wir nennen den Algorithmus daher stabil.

Wir betrachten nun Algorithmus 2:

a1 =(x(1 + εx)− y(1 + εy))(1 + ε1)= (x− y)(1 + ε1) + xεx − yεy +O(eps2)

a2 =z(1 + εz)((x− y)(1 + ε1) + xεx − yεy +O(eps2)

)(1 + ε2)

= z(x− y)(1 + ε1 + ε2 + εz +O(eps)2) + zxεx − zyεy +O(eps2).

Für den relativen Fehler gilt in erster Ordnung:∣∣∣∣a2 − (xz − yz)xz − yz

∣∣∣∣ = |z(x− y)(ε1 + ε2 + εz) + zxεx − zyεy||xz − yz|

≤ 3eps+ |x|+ |y||x− y|

eps

Die Fehlerverstärkung kann für x ≈ y wieder groß werden. Der Verstärkungsfaktor istjedoch geringer als bei Algorithmus 1. Insbesondere fällt auf, dass dieser zweite Algorithmusbei Fehlerfreien Eingabedaten keine Fehlerverstärkung aufweist. (Das ist der Fall εx = εy =εz = 0).

Beide Algorithmen sind stabil, der zweite hat bessere Stabilitätseigenschaften als der erste.

Wir nennen zwei Algorithmen stabil, obwohl der eine wesentlich bessere Stabilitätseigen-schaften hat. Der Stabilitätsbegriff dient daher oft zum relativen Vergleich verschiedenerAlgorithmen. Wir definieren

Definition 1.19 (Stabilität). Ein numerischer Algorithmus zum Lösen einer Aufgabeheißt stabil, falls die bei der Durchführung akkumulierten Rundungsfehler den durch dieKondition der Aufgabe gegebenen unvermeidlichen Fehler nicht übersteigen.

16

1.2 Rundungsfehleranalyse und Stabilität von numerischer Algorithmen

Wir halten fest: für ein schlecht konditioniertes Problem existiert kein stabiler Algorithmusmit einer geringeren Fehlerfortpflanzung als durch die Konditionierung bestimmt. Für gutkonditionierte Problem können jedoch sehr instabile Verfahren existieren.

Der wesentliche Unterschied zwischen beiden Algorithmen aus dem Beispiel ist die Rei-henfolge der Operationen. In Algorithmus 1 ist der letzte Schritt eine Subtraktion, derenschlechte Kondition wir unter dem Begriff Auslöschung kennengelernt haben. Bereits ak-kumulierte Rundungsfehler zu Beginn des Verfahrens werden hier noch einmal wesentlichverstärkt. Bei Algorithmus 2 werden durch die abschließende Multiplikation die Rundungs-fehler die zu Beginn auftreten nicht weiter verstärkt. Aus dem analysierten Beispiel leitenwir einer Regel her:

“Bei dem Entwurf von numerischen Algorithmen sollen schlecht konditionierteOperationen zu Beginn durchgeführt werden.”

17

1 Einleitung

18

2 Nullstellenbestimmung

2.1 Motivation und Einordnung

Das Lösen von nichtlinearen Gleichungen spielt eine grundlegende Rolle in der Mathema-tik. Oft werden solche Aufgabenstellungen als Nullstellenproblem formuliert. Die Nullstel-lenbestimmung von linearen und quadratischen Polynomen ist das einfachste Beispiel undbereits aus der Schule bekannt. Insbesondere kann hierfür noch eine geschlossene Formel(Auflösen nach der Variablen, p-q-Formel, quadratische Ergänzung) angegeben werden.Aber schon bei Gleichungen dritten Grades gibt es keine geschlossene Lösungsformel, dielediglich mit reellen Zahlen arbeitet. Es sollte erwähnt werden, dass jedoch eine geschlos-sene Formel für kubische Gleichungen unter Zuhilfenahme der komplexen Zahlen existiert(entdeckt von Cardano im Jahr 1545). Eine Zusammenfassung findet der Leser in [1].

Um diese Art von Gleichungen (numerisch) zu lösen, formulieren wir die Aufgabe alsNullstellensuche (vergleiche zur p-q-Formel). Dies bedeutet, dass wir eine Nullstelle derAbbildung (Funktion)

f : D(f) ⊂ R→ R,

suchen, wobei D(f) den Definitionsbereich von f bezeichnet. Jede nichtlineare Gleichung

g(x) = y

kann durch die Transformation f(x) := g(x) − y in eine Nullstellenaufgabe geschriebenwerden:

f(x) = 0.

Das allgemeine Nullstellenproblem muss meist mit einem Iterationsverfahren gelöst wer-den. Ausgehend von einem Startwert x0, der zufällig gewählt sein kann (aber Vorsicht!!, dieakkurate Wahl eines Startwertes ist oft nicht trivial) besser aber klug bestimmt werden soll-te, erhalten wir mit Hilfe der Iterationsvorschrift eine Folge von Punkten xk, k = 1, 2, 3, . . .,deren Grenzwert gegen die Nullstelle x ∈ R konvergiert:

f(x0)→ f(x1)→ f(x2) · · · → f(x) = 0.

In der Praxis kann der unendliche Grenzprozess nicht durchgeführt werden. Stattdessenwird die Iteration bei einem N ∈ N gestoppt und das Folgenglied xN wird als Appro-ximation der Nullstelle xN ≈ x betrachtet. Hieraus ergeben sich unmittelbar wichtigeFragenstellungen, die wir in diesem Kapitel untersuchen wollen und uns in den weiterenKapiteln wieder begegnen werden. Im Einzelnen sind dies:

19


• Im Sinne des ersten Kapitels 1: welche Aussagen können wir zur Stabilität und derKonditionierung der Nullstellenbestimmung machen?

• Konstruktion eines effizienten numerischen Verfahrens.

• Wie schnell konvergiert (xk)k∈N gegen x? Das bedeutet insbesondere die Quantifizie-rung Konvergenzordnung und Konvergenzrate (Maße für die Konvergenzgeschwin-digkeit). In Analysis I/II haben wir bisher immer von einer Folge xk → x gesprochen,die gegen den Grenzwert konvergiert. Diese Aussage ist in der Praxis aber nutzlos,da wir in endlicher Rechenzeit eine Lösung erhalten möchten.

• Konvergiert das ausgewählte numerische Verfahren auf beliebig großen Intervallenund mit beliebig gewählten Startwerten x0, oder nur dann, wenn der Startwert x0bereits hinreichend nahe an der gesuchten Nullstelle ist? In anderen Worten: ist dasVerfahren lokal oder global konvergent?

• Abschätzung der zu erwartenden Konvergenz mittels einer aussagekräftigen Fehler-schranke für die Approximation |xN − x|. Hier werden wir zwischen der a priori unda posteriori Fehleranalyse unterscheiden. Bei der a priori Fehleranalyse wird derFehler |xN − x| vor der Rechnung abgeschätzt. Dies gibt dem Numeriker eine grobeSchranke zum Verhalten der Fehlerentwicklung, die aber lediglich asymptotisch rich-tig ist - und somit für quantitative Aussagen oft nutzlos ist. Dagegen wird bei dera posteriori Fehleranalyse der Fehler |xN − x| während der Rechnung abgeschätzt,alle bereits berechneten Approximation x0, x1, . . . , xN können in die Abschätzungeinfließen. A posteriori Abschätzungen lassen oft quantitative Aussagen zu, die zurSteuerung des numerischen Verfahrens genutzt werden können.

Im Rest dieses Kapitels werden wir die oben genannten Fragen anhand verschiedenerVerfahren diskutieren und die Schlüsselbegriffe spezifizieren.

Generell lassen sich die Verfahren zur Nullstellensuche in ableitungsfreie Verfahren (z.B.Intervallschachtelung, Sekantenmethode, sukzessive Approximation) und ableitungsbehaf-tete Verfahren einteilen (Newton-artige Verfahren). Exemplarisch betrachten wir dazu dieIntervallschachtelung und das klassische Newton-Verfahren. Die weiteren Verfahren wer-den am Ende des Kapitels zusammenfassend erläutert mit Hinweisen auf weiterführendeLiteratur.

Der Sinn dieses Kapitels ist einerseits die Brücke von bereits bekannten Problemstellungenin der Schule (hier: Nullstellenbestimmung) zu Aussagen der Analysis (z.B. Zwischenwert-satz, Konvergenz) zu schlagen. Gleichzeitig gehören die Algorithmen dieses Kapitels zu dergroßen Klasse von Fixpunktverfahren. Diese Verfahren werden wir ausführlich in Kapitel 5besprechen. Insbesondere sind diese Verfahren auf höherdimensionale Funktionen f ∈ Rnsowie zum Lösen von Differentialgleichungen geeignet (siehe [11, 10] und entsprechendeHinweise auf die Fachliteratur).

20

2.2 Stabilität und Kondition


Wir werden zunächst auf die Stabilität und in Bezug auf Kapitel 1 die Konditionierung derNullstellensuche eingehen. Als Beispiel seien Polynome zweiten Grades gewählt. Hier liegtmit der p-q-Formel ein direktes Lösungsverfahren zur Nullstellenberechnung vor. Trotzdieser auf den ersten Blick einfachen Aufgabe (da sogar exakt lösbar), können numerischeSchwierigkeiten hieran demonstriert werden, die bereits mit logischem Vorstellungsvermö-gen einleuchtend sind.

Abbildung 2.1: Die vier möglichen Situationen bei der Nullstellensuche quadratischerFunktionen: stabile Situation, doppelte Nullstelle, zwei Nullstellen nah bei-einander und keine reellen Nullstellen.

Wir unterscheiden vier Situationen, wie in Abbildung 2.3 skizziert:

1. Stabile Situation: die beiden Nullstellen liegen hinreichend weit auseinander.

2. Doppelte Nullstelle, d.h. f(x) = f ′(x) = 0: die Berechnung einer doppelten Nullstelleist immer schlecht konditioniert, denn durch Rundungsfehler (Kapitel 1) könnte einnumerisches Verfahren unter Umständen nicht nur die eine einzige Nullstelle finden,sondern entweder zwei (siehe 3.) oder keine (siehe 4.) Nullstellen liefern.

3. Hinreichend nah beieinander liegende Nullstellen sind numerisch schwierig zu be-rechnen. Insbesondere gilt dies, falls mehr als eine einzige Nullstelle gesucht wird.

4. Hier liegen keine reellen Nullstellen vor. Allerdings können wir immer noch kom-plexe Nullstellen finden (Fundamentalsatz der Algebra). Die Suche nach komplexenNullstellen kann ebenfalls schlecht konditioniert sein. Dies werden aber nicht wei-ter betrachten. Eine Beschreibung numerischer Verfahren zur Berechnung komplexerNullstellen seien als Übungsaufgabe gestellt.

Beispiel 2.1 (Konditionierung der p-q-Formel). Wir berechnen die Konditionierung derNullstellenberechnung mit der p-q-Formel in Abhängigkeit von den Koeffizienten. Dazu sei

f(x) = x2 − px+ q = 0, x ∈ R.

21


Für die Wurzeln x1,2 gilt

x1,2 = x1,2(p, q) = p

2 ±

√p2

4 − q

und wegen f(x) = (x− x1)(x− x2) auch p = x1 + x2 sowie q = x1 · x2 (Satz von Vieta).Die Konditionszahlen werden berechnet durch:

k11 = ∂x1∂p

p

x1= 1 + x2/x1

1− x2/x1,

k12 = ∂x1∂q

q

x1= 1

1− x2/x1.

Entsprechende Resultate erhalten wir für k22 und k21. Die Berechnung der Wurzeln vonx1, x2 ist demnach schlecht konditioniert, falls x1/x2 ∼ 1, d.h. wenn die Wurzeln ver-gleichsweise nah beieinander liegen. Dann sind nämlich die Konditionszahlen sehr groß.

Beispiel 2.2. Das vorherige Beispiel wird mit konkreten Zahlenwerten weitergeführt. Essei p = 4 und q = 3.999:

f(x) = x2 − 4x+ 3.9999 = 0,

mit den Nullstellen x1,2 = 2± 0.01. Dann gilt für die Konditionzahl

k12 = 11− x1/x2

= 99.5.

Das entspricht einer möglichen Fehlerverstärkung um den Faktor 100. Bei einer Störungvon p um 1% zu p = 4.04 erhalten wir die gestörten Nullstellen

x1 ≈ 2.304, x2 ≈ 1.736,

mit relativen Fehlern von etwa 15%.

Bei einer Störung von p um minus 1% zu p = 3.96 erhalten wir keine reellen Nullstellenmehr - sondern die komplexen Nullstellen

x1 ≈ 1.98± 0.28196i.

Die Nullstellenbestimmung kann also sehr schlecht konditioniert sein, falls die beiden Null-stellen nahe beieinander liegen. Wir untersuchen nun die Stabilität des gut konditioniertenFalls mit Nullstellen die weit separiert sind. Es sei also ein Polynom

f(x) = x2 − px+ q,

mit |q| � p2/4 gegeben. Die beiden Lösungen lauten:

x1,2 = p

2 ±

√p2

4 − q,

also x1 ≈ p und x2 ≈ 0. Aus den vorherigen Beispielen haben wir gelernt, dass die Aufgabefür |x1/x2| � 1 gut konditioniert ist. Wir berechnen die Nullstellen mit der p/q-Formel:

22


1 a1 = p2/42 a2 = a1 − q3 a3 = √a2 ≥ 0 .

Im Fall p < 0 wird zur Vermeidung von Auslöschung zuerst die zweite Wurzel berechnetx2 = p/2 − a3 berechnet, ansonsten die erste x1 = p/2 + a3. Die (akzeptable) Fehlerfort-pflanzung lautet in diesem Fall (p > 0):∣∣∣∣∆x1

x1

∣∣∣∣ ≤ ∣∣∣∣ 11 + 2a3/p

∣∣∣∣︸︷︷︸<1

∣∣∣∣∆pp∣∣∣∣+ ∣∣∣∣ 1

1 + p/2a3

∣∣∣∣︸︷︷︸<1

∣∣∣∣∆a3a3

∣∣∣∣ .Die zweite Wurzel x1 kann mit Hilfe von zwei unterschiedlichen Varianten bestimmt wer-den, die sich allerdings in ihren Stabilitätseigenschaften stark unterscheiden.

• Variante 1: x2 = p/2− a3 von der p-q-Formel,

• Variante 2: x2 = q/x1 von Satz von Vieta.

Falls |q| � p2/4, dann ist a3 ≈ p/2 (im Fall p > 0), und daher tritt bei Variante 1automatisch Auslöschung auf. Die Rundungsfehler in p und a3 übertragen sich wie folgt:∣∣∣∣∆x2

x2

∣∣∣∣ ≤ ∣∣∣∣ 11− 2a3/p

∣∣∣∣︸︷︷︸�1

∣∣∣∣∆pp∣∣∣∣+ ∣∣∣∣ 1

1− p/2a3

∣∣∣∣︸︷︷︸�1

∣∣∣∣∆a3a3

∣∣∣∣ .

Für |q| � p2/4 ist dieser Algorithmus sehr instabil. Variante 2 hingegen erfordert lediglicheine Division x2 = q/x1. Diese ist immer gut konditioniert (vergleiche Beispiel 1.16):∣∣∣∣∆x2

x2

∣∣∣∣ ≤ ∣∣∣∣∆qq∣∣∣∣+ ∣∣∣∣∆x2

x2

∣∣∣∣ ,womit dieser Algorithmus stabil ist.

Bemerkung 2.3. Die Quintessence dieser Betrachtungen ist, dass es zu gut konditio-nierten Problemen verschiedene Algorithmen mit unterschiedlichen Stabilitätseigenschaf-ten geben kann. Auf den Punkt gebracht: im Sinne der Stabilität sollten bei der Lösungquadratischer Gleichungen nicht beide Wurzeln aus der p/q-Formel berechnet werden!

Beispiel 2.4. Es sollen die Nullstellen von

x2 − 4x+ 0.01 = 0

bestimmt werden. Vierstellige Rechnung ergibt:

1 a1 = 42 a2 = 3.993 a3 = 1.998

23


und damit (wegen p > 0) für die erste Nullstelle x1 = 3.998 mit einem Fehler |∆x1/x| ≈0.00013. Die andere Wurzel kann mit den beiden Varianten berechnet werden:

• Exakte Rechnung: x2 ≈ 0.0002501564,

• Variante 1: x2 = 0.002, mit einem Fehler |∆x2/x2| ≈ 0.2

• Variante 2: x2 = 0.002501, mit einem Fehler |∆x2/x2| ≈ 0.00023.

Die berechneten Wurzeln der beiden Varianten unterscheiden sich stark. Hinweis: die 4-stellige Rechengenauigkeit dient hier nur zum Zwecke der Demonstration. Man mache sichaber bewusst, dass sich die Instabilität bei größeren Genauigkeiten überträgt.

2.3 Intervallschachtelung

Das einfachste Verfahren zur Nullstellenbestimmung ist die Intervallschachtelung, wurdebereits in Analysis I eingeführt, und basiert auf dem Zwischenwertsatz.

Es sei f ∈ C[a, b] und x, y ∈ [a, b] mit x < y. Falls f(x) und f(y) unterschiedlicheVorzeichen haben, d.h.,

f(x)f(y) < 0,

dann besitzt die Funktion f nach dem Zwischenwertsatz mindestens eine Nullstelle in(a, b). Das folgende Verfahren ermittelt eine Approximation dieser Nullstelle.

f

a0 b0

b1a1

a2 b2

Abbildung 2.2: Geometrische Interpretation der Intervallschachtelung.

24

2.3 Intervallschachtelung

Satz 2.5 (Intervallschachtelung). Es sei f ∈ C[a, b] mit f(a)f(b) < 0. Man definiere eineFolge von Intervallen [an, bn] mit n = 0, 1, 2, . . . , N , durch

[a0, b0] = [a, b]

und

[an+1, bn+1] =

[an, xn] falls f(an)f(xn) < 0,[xn, bn] falls f(xn)f(bn) < 0,[xn, xn] falls f(xn) = 0,

wobei xn = 12(an + bn) der Mittelpunkt des Intervalls [an, bn] ist. Dann gilt, dass xn →

x (n→∞) für eine Nullstelle x von f und

|xn − x| ≤b− a2n+1 .

Diese Fehlerschranke verhält sich wie eine geometrische Folge mit dem Quotienten 12 (Kon-

vergenzrate) und hat die Konvergenzordnung p = 1 (mehr dazu in Abschnitt 2.6).

Beweis: Falls f(xn) = 0 für ein n ∈ N, dann ist die Nullstelle exakt gefunden. ImFolgenden wird dieser Fall nicht mehr betrachtet. Nach Konstruktion gilt

a ≤ a1 ≤ . . . ≤ an ≤ an+1 ≤ bn+1 ≤ bn ≤ . . . b1 ≤ b,

und damit|bn − an| =

|bn−1 − an−1|2 = |bn−2 − ab−2|

22 = . . . = |b− a|2n . (2.1)

Somit ist (an) eine monoton wachsende und nach oben beschränkte Folge. Damit ist diesenach dem Monotoniekriterium konvergent (Analysis I). Analog erhalten wir die Konver-genz für die Folge (bn), die monoton fallend und nach unten beschränkt ist. Somit gilt

x := limn→∞

bn = limn→∞

(an + (bn − an)) = limn→∞

an + limn→∞

(bn − an) = limn→∞

an.

Da an ≤ xn ≤ bn für alle n ∈ N folgt limn→∞ xn = x. Aus der Stetigkeit von f folgt weiter

f(an)f(bn) ≤ 0 ∀n ∈ N

und dies impliziert

f(x)2 = limn→∞

f(an)f(bn) ≤ 0 ⇒ f(x) = 0.

Es bleibt die Konvergenzrate zu bestimmen. Es gilt an ≤ x ≤ bn (∀n) und

xn − an = bn − xn = b− a2n+1 .

Da x ∈ [an, xn] oder x ∈ [xn, bn] folgt die Behauptung:

|xn − x| ≤b− a2n+1 .

�

25


Bemerkung 2.6 (A priori Fehlerabschätzung). Die in Satz 2.5 angegebene Fehlerabschät-zung

|xn − x| ≤b− a2n+1 .

ist eine a priori Fehlerabschätzung, da diese bereits vor der Rechnung angegeben werdenkann.

Abschließend diskutieren wir noch eine a posteriori Fehlerabschätzung, die allerdings diestetige Differenzierbarkeit von f voraussetzt:

Satz 2.7 (A posteriori Fehlerabschätzung). Es sei f ∈ C1[a, b] mit f(a)f(b) < 0 und füralle x ∈ [a, b] gilt

0 < m ≤ f ′(x) ≤M.

Für die Nullstelle x von f und die in Satz 2.5 definierte Folge (xn)n∈N gilt dann

|f(xn)|M

≤ |xn − x| ≤|f(xn)|m

.

Beweis: Wird dem fleißigen Leser als Übungsaufgabe überlassen. �

Die a posteriori Fehlerschranke kann als Abbruchkriterium zum Beenden der Intervall-schachtelung genutzt werden, allerdings nur, falls f stetig differenzierbar in [a, b] ist. Un-abhängig davon gibt es im Allgemeinen Fall drei sinnvolle Abbruchkriterien:

• f(xn) = 0: d.h. die Nullstelle ist exakt gefunden.

• [an, bn] < TOL

• n = N0: d.h. Angabe einer Maximalanzahl von Iterationsschritten (mit dem Nachteil,dass die Nullstelle noch nicht genügend genau approximiert worden ist.

Beispiel 2.8. Es sei b− a = 1, dann liefert die a priori Abschätzung

|x9 − x| < 10−3, |x19 − x| < 10−6, |x29 − x| < 10−9.

Das heißt in der 29-ten Iteration kann eine Genauigkeit von TOL = 10−9 erwartet werden.

Wir halten fest, dass die Intervallschachtelung ein numerisch sehr stabiles Verfahren ist(d.h. bei Vorzeichenwechsel in [a, b] liefert das Verfahren stets eine Nullstelle - Vorteil!),allerdings sehr langsam gegen die gesuchte Nullstelle konvergiert (Nachteil!), denn 29 Ite-rationen für eine Toleranz von 10−9 ist nicht besonders empfehlenswert. Zweiter Nachteilist, dass gute Zwischenlösungen (je nachdem was das Abbruchkriterium ist) von dem Ver-fahren nicht wahrgenommen werden [3], S. 33, siehe praktische Übungen, Blatt 1 sowieBeispiel 2.7. Aufgrund seiner Stabilität wird das Intervallschachtelungsverfahren häufigals Startverfahren für andere Verfahren genutzt (siehe auch Abschnitt 2.7). Allerdings istdie Intervallschachtelung auf reelle Funktionen beschränkt (im Gegensatz zu den weite-ren Verfahren, die wir im Anschluss kennen lernen werden) und das Auffinden doppelterNullstellen ist nicht möglich.

26

2.4 Das Newton-Verfahren in 1D


Das Newtonverfahren ist eines der wichtigsten numerischen Verfahren zur Nullstellenbe-stimmung. Es ist nicht nur auf den Fall Rd mit d > 1 erweiterbar, sondern wird auchzur Lösung von Differentialgleichungen häufig genutzt, wobei die Differentialgleichungs-aufgabe wiederum in Form eines Nullstellenproblems formuliert wird (siehe weiterführendeLiteratur [11, 10, 12] und enthaltene Literaturverweise).

Es sei f ∈ C1[a, b]. Falls die erste Ableitung f ′(x) ohne große Probleme berechenbar ist(für 1D Probleme ist das gewöhnlich der Fall, allerdings kann das bei mehrdimensionalenProblemstellungen schwieriger werden - trotzdem oft auch noch möglich), dann stellt dasNewton-Verfahren eine sehr effiziente Methodik zur Berechnung einer Nullstelle dar. DasNewton-Verfahren hat viele Ableger - es gibt nicht das eine einzige Newton-Verfahren.Das klassische Newton-Verfahren (auch Newton-Raphson-Verfahren genannt) ist durchfolgende Überlegung motiviert. Die Funktion f wird im Näherungswert xk linearisiert undder iterierte Wert xk+1 als Abzisse des Schnittpunktes der Tangente (an f) mit der x-Achsedefiniert.

2.4.1 Das klassische Newton-Verfahren

Verfahren 2.9 (Newton-Verfahren). Es sei f ∈ C1[a, b] und x0 ∈ [a, b] ein geeigneterStartwert. Die Tangente an f ist durch

t(x) = f(xk) + (x− xk)f ′(xk), k = 0, 1, 2, . . . ,

gegeben. Dann ist die Nullstelle xk+1 bestimmt durch

xk+1 = xk −f(xk)f ′(xk)

, k = 0, 1, 2, . . . . (2.2)

Die Iteration wird bei Erfüllung des Abbruchkriteriums 2.11 beendet.

Diese Iteration ist möglich, solange f ′(xk) 6= 0.

Die Iteration 2.2 gehört (wie in der Motivation bereits erwähnt) zur Klasse der Fixpunk-titerationen mit der Iterationsfunktion

F (x) := x− f(x)f ′(x) . (2.3)

Für einen Fixpunkt x = F (x) gilt offenbar f(x) = 0.

Als Hauptresultat des Abschnitts zeigen wir

27


fx1 x0

Abbildung 2.3: Geometrische Interpretation des Newton-Verfahrens.

Satz 2.10 (Newton-Verfahren). Die Funktion f ∈ C2[a, b] habe im Innern des Intervalls[a, b] eine Nullstelle x, und es seien

m := mina≤x≤b

|f ′(x)| > 0, M := maxa≤x≤b

|f ′′(x)|.

Es sei ρ > 0 so gewählt, dass

q := M

2mρ < 1, Kρ(x) := {x ∈ R : |x− x| ≤ ρ} ⊂ [a, b].

Dann sind für jeden Startpunkt x0 ∈ Kρ(x) die Newton-Iterierten xk ∈ Kρ(x) definiertund konvergieren gegen die Nullstelle x. Desweiteren gelten die a priori Fehlerabschätzung

|xk − x| ≤2mM

q2k , k ∈ N,

und die a posteriori Fehlerabschätzung

|xk − x| ≤1m|f(xk)| ≤

M

2m |xk − xk+1|2, k ∈ N.

Beweis: Wir rekapitulieren zunächst einige Resultate aus der Analysis. Für zwei Punktex, y ∈ [a, b], x 6= y, gilt aufgrund des Mittelwertsatzes der Differentialrechnung∣∣∣∣f(x)− f(y)

x− y

∣∣∣∣ = |f ′(ζ)| ≥ m,

mit einem ζ ∈ [x, y]. Daraus folgt

|x− y| ≤ 1m|f(x)− f(y)|.

28


Die Nullstelle x von f ist demnach die einzige in [a, b].

Als zweites Hilfsmittel nutzen wir die Taylor-Formel mit Restglied zweiter Ordnung:

f(y) = f(x) + (y − x)f ′(x) + (y − x)2∫ 1

0f ′′(x+ s(y − x))(1− s) ds. (2.4)

Wir setzen

R(y;x) := (y − x)2∫ 1

0f ′′(x+ s(y − x))(1− s) ds = f(y)− f(x)− (y − x)f ′(x). (2.5)

Unter Berücksichtigung der Voraussetzung für f ′′ erhalten wir

|R(y;x)| ≤M |y − x|2∫ 1

0(1− s) ds = M

2 |y − x|2.

Für x ∈ Kρ(x) nutzen wir die Iterationsfunktion (5.2), so dass gilt

F (x)− x = x− f(x)f ′(x) − x = − 1

f ′(x)(f(x) + (x− x)f ′(x)

).

Mit (2.5) und dort y = x folgt:

−R(x;x) =(f(x) + (x− x)f ′(x)

).

Zusammenfassend erhalten wir

|F (x)− x| ≤ M

2m |x− x|2 ≤ M

2mρ2 < ρ. (2.6)

Dies impliziert, dass F (x) ∈ Kρ(x). Die Abbildung F ist eine Selbstabbildung in Kρ(x).Insbesondere bedeutet das, dass für x0 ∈ Kρ(x) auch alle Newton-Iterierten xk in Kρ(x)liegen. Wir setzen

ρk := M

2m |xk − x|,

so dass mit Hilfe von (2.6) folgt:

ρk ≤ ρ2k−1 ≤ . . . ≤ ρ2k

0 , |xk − x| ≤2mM

ρ2k0 .

Fürρ0 = M

2m |x0 − x| ≤M

2mρ < 1

konvergieren die Iterierten xk → x für k → ∞. Desweiteren haben wir die a priori Ab-schätzung gezeigt. Es bleibt die a posteriori Fehlerabschätzung zu beweisen. Hierzu nutzenwir die Taylor-Formel (2.4) und setzen dort y = xk, x = xk−1. Dann

f(xk) = f(xk−1) + (xk − xk−1)f ′(xk−1)︸︷︷︸=0

+R(xk;xk−1)

und|xk − x| ≤

1m|f(xk)− f(x)| ≤ M

2m |xk − xk−1|2,

wobei wir f(x) = 0 ausgenutzt haben. Damit haben wir alles gezeigt. �

29


Satz 2.11 (Abbruchkriterium 1 des Newton-Verfahrens). Die Iteration wird beendet (d.h.wir haben eine akzeptable Lösung xakzeptabel gefunden), falls

|xk+1 − xk||xk|

< TOL, (2.7)

wobei die Tolerenz TOL beispielsweise durch TOL = 10−12 gegeben ist. Das Abbruchkri-terium (2.7) misst den relativen Abstand zwischen zwei aufeinanderfolgenden Iteriertenxk+1 und xk; in anderen Worten, falls zwei Iterierte nah genug beieinander liegen, dannist die Nullstelle näherungsweise bestimmt.

Bemerkung 2.12 (Alternatives Abbruchkriterium des Newton-Verfahrens). Aufgrundder Konstruktion des Newton-Verfahrens gilt:


, k = 0, 1, 2, . . . ,

so dass mit Hilfe der Voraussetzung aus Satz 2.10

m := mina≤x≤b

|f ′(x)| > 0,

gilt|xk+1 − xk| =

∣∣∣∣ f(xk)f ′(xk)

∣∣∣∣ ≤ ∣∣∣∣f(xk)m

∣∣∣∣ .Das heißt, ein kleines Residuum f(xk) kann ebenfalls (bei festem m) als (absolutes) Ab-bruchkriterium genutzt werden:

|f(xk)| < TOL. (2.8)

Bemerkung 2.13. Für eine zweimal stetig differenzierbare Funktion f existiert zu jedereinfachen Nullstelle x stets eine (evtl. sehr kleine) Umgebung Kρ(x), für die die Voraus-setzungen von Satz 2.10 erfüllt sind. Das Problem beim Newton-Verfahren ist also dieBestimmung eines im Einzugsbereich der Nullstelle x gelegenen Startpunktes x0 (lokaleKonvergenz). Dieser kann z.B. mit Hilfe der Intervallschachtelung (siehe entsprechendeBemerkung oben) berechnet werden. Dann konvergiert das Newton-Verfahren sehr schnell(quadratische Konvergenz) gegen die Nullstelle x.

Bemerkung 2.14. Das Newton-Verfahren kann auch zur Bestimmung von doppeltenNullstellen genutzt werden, allerdings konvergiert das Verfahren dann nur noch schlichtlinear, d.h. p = 1, was in Beispiel 2.31 explizit gezeigt wird.

Bemerkung 2.15 (Einordnung des Newton-Verfahrens). Aufgrund der (möglichen)schnellen Konvergenz zählt das Newton-Verfahren zu den attraktivsten Verfahren in dernumerischen Mathematik zur Ermittelung von Nullstellen. Aufgrund des möglicherweisesehr kleinen Einzugsbereich und damit der Abhängigkeit von der konkreten Aufgabenstel-lung kann das Newton-Verfahren nicht zu den black-box Lösern gezählt werden.

30


Beispiel 2.16. Falls der Startpunkt x0 im Einzugsbereich des quadratischen Konvergenzliegt, dann konvergiert das Newton-Verfahren sehr schnell gegen die gesuchte Nullstelle.Es sei z.B. q ≤ 1

2 , dann gilt nach nur 10 Iterationsschritten

|x10 − x| ≤2mM

q210 ∼ 2mM

10−300.

Diese Toleranz ist jenseits jeglicher Rechengenauigkeit, allerdings vergleiche man diesesErgebnis mit der a priori berechneten erwarteten Toleranz der Intervallschachtelung!

Beispiel 2.17 (Wurzelberechnung). Die n-te Wurzel einer Zahl a > 0 ist die Nullstelleder Funktion f(x) = xn − a. Das Newton-Verfahren zur Berechnung von x = n

√a > 0

lautet (mit f ′(x) = nxn−1):

xk+1 = xk −xnk − anxn−1

k

= 1n

{(n− 1)xk + a

xn−1k

},

bzw. als Defektkorrektur-Iteration:

nxn−1k δx = xnk − a,xk+1 = xk − δx.

Folgende Spezialfälle leiten sich daraus ab:

xk+1 = 12

{xk + a

xk

}, (Quadratwurzel),

xk+1 = 13

{2xk + a

x2k

}, (Kubikwurzel),

xk+1 = (2− axk)xk, n = −1, (Kehrwert).

Da stets f ′′(x) = n(n − 1)xn−2 6= 0, erhalten wir die Konvergenzordnung p = 2. DieFehlerkonstante beträgt

C =∣∣∣∣ f ′′(x)2f ′(x)

∣∣∣∣ = 12√

2.

Aufgrund von Satz 2.10 konvergiert xk → x(k → ∞), falls x0 nahe genug bei x gewähltwird. Bei diesem Beispiel ist die Konvergenz allerdings für alle x0 > 0 gesichert, da dieFolge (xk)k∈N monoton fällt und notwendig gegen x = n

√a konvergiert.

Bemerkung 2.18. Mit dem in dem vorangegangen Beispiel wird auf vielen Rechnerndie Wurzel n

√a berechnet. Desweiteren ermöglichte die Darstellung zur Berechnung des

Kehrwertes, erstmals die Berechnung ohne Ausnutzung der Division sondern lediglich unterZuhilfenahme von Multiplikationen und Subtraktionen.

31


2.4.2 Das Newton-Verfahren als Defekt-Korrektur

In der Praxis wird das Newton-Verfahren oft als Defektkorrektur-Iteration ausgeführt. Wirdefinieren:

Definition 2.19 (Defekt). Es sei x ∈ R eine Approximation der Lösung von f(x) = y.Mit

d(x) = y − f(x),

wird der Defekt bezeichnet. Der Defekt wird auch als das Residuum bezeichnet.

Es sei im Folgenden y = 0 (falls nicht transformieren wir die Gleichung entsprechendum), so dass wir wie üblich ein Nullstellenproblem lösen. Für die Approximation xk istdurch dk := 0 − f(xk) der Defekt der k-ten Iterierten gegeben und wir schreiben dasNewton-Verfahren in der Form:

Definition 2.20 (Newton-Verfahren als Defektkorrektur).

f ′(xk)δx = dk, dk := −f(xk),xk+1 = xk + δx, k = 0, 1, 2, . . . .

Die Iteration wird bei Erfüllung des Abbruchkriteriums 2.11 beendet.

Diese Art der Berechnung kann bei vielen Fixpunktiterationsverfahren angewendet werden(nicht bei allen!) und wird uns wieder bei der iterativen Lösung von linearen Gleichungs-systemen begegnen. Insbesondere hat das Defektkorrektur-Verfahren den Vorteil, dass dieAbleitung nicht mehr im Nenner steht - oder anders gesprochen, wir müssen nicht mehrdie Inverse der ersten Ableitung explizit angegeben. Für 1D Funktionen ist die expliziteAngabe kein Problem. Wie verhält es sich aber bei höherdimensionalen Funktionen? (wirverweisen dazu auf Kapitel 5). Der Defekt d(x) = y − f(x) einer Gleichung ist eng mitdem Fehler x− x verbunden. Es gilt der folgende allgemeine Satz:

Satz 2.21 (Defekt-Fehler Abschätzung). Es sei f ∈ C1[a, b] eine differenzierbare Funk-tion und x ∈ (a, b) die Lösung von f(x) = y. Für die Approximation x ∈ (a, b) gilt dieFehlerabschätzung

|x− x| ≤ 1m|d(x)|,

mit m = min[a,b] |f ′(x)|.

Beweis: Es gilt mit einem ξ ∈ [a, b]:

d(x) = y − f(x) = f(x)− f(x)x− x

(x− x) = f ′(ξ)(x− x).

Hieraus folgt sofort die Behauptung. �

32


2.4.3 Das vereinfachte Newton-Verfahren

Häufig ändert sich im Verlauf der Newton-Iteration die Ableitung f ′(x) nicht mehr gra-vierend. In diesem Fall eignet sich das vereinfachte Newton-Verfahren. Die Idee ist rechteinfach: berechne die Ableitung f ′(x) nur wenige Male (im Idealfall nur für x0) und belassediese für alle weiteren Schritte bei diesem Wert:

Definition 2.22 (Vereinfachtes Newton-Verfahren). Zu einem Startwert x0 ∈ R werdenApproximation durch die folgende Vorschrift gebildet:

xk+1 = xk −f(xk)f ′(c) , k = 0, 1, 2, . . . .

Hierbei ist c ein fest gewählter Punkt, etwa x = x0.

Das vereinfachte Newton-Verfahren konvergiert nur noch linear. Die Konvergenz kann je-doch, falls f ′(c) eine gute Approximation für f ′(xk) ist sehr gut sein. Das vereinfachteNewton-Verfahren spielt dann seine Vorteile aus, falls die erste Ableitung aufwendig zuberechnen ist (was bei den Beispielen in diesem Kapitel jedenfalls nicht der Fall ist, aberbei der Nullstellensuche im Rn (siehe Kapitel 5) oder bei Problemen mit Differentialglei-chungen oder Optimierungsproblemen).

Dieses Verfahren kann in der theoretischen Analyse als ein Spezialfall der allgemeinenFixpunktiteration aufgefasst werden. Wir verweisen hierzu auf Kapitel 5 und [9], S. 162.

2.4.4 Das gedämpfte Newton-Verfahren

Das Hauptproblem bei der Durchführung des Newton-Verfahrens ist die Bestimmung einesgeeigneten Startwertes x0 (siehe obige Bemerkungen), so dass quadratische Konvergenzerwartet werden kann. Deshalb wird in der Praxis häufig mit einer Variante gearbeitet,dem sogenannten gedämpften Newton-Verfahren:

Definition 2.23 (Gedämpftes Newton-Verfahren). Es sei x0 ein geeigneter Startwert. DieDefektkorrektur-Iteration des gedämpften Newton-Verfahrens lautet:

f ′(xk)δx = f(xk),xk+1 = xk − λkδx, k = 0, 1, 2, . . . ,

wobei λk ∈ (0, 1] den sog. Dämpfungsparameter bezeichnet.

Je kleiner λk gewählt wird, desto geringer ist der Abstand zwischen xk+1 und xk. Einkleines λ kann helfen, um Konvergenz zu sichern, obwohl der Einzugbereich der quadrati-schen Konvergenz noch nicht gesichert ist. So wird vermieden, dass die Iteration weit ausdem Einzugbereich herausspringt. Eine optimale Wahl von λk ist (abh. von der Problem-stellung) sehr kompliziert werden. Zum Beispiel gibt es ausgeklügelte Algorithmen zur

33


Bestimmung von λk für Newton-Verfahren, die zur Lösung von Optimierungsproblemengenutzt werden (siehe Nocedal/Wright, Numerical Optimization). Oft hilft die einfacheStrategie

λk,0 = 1, λk,l+1 = λk,l2 , l = 0, 1, 2, . . . ,

solange bis für das neue Residuum gilt

|f(xk+1)| < |f(xk)|.

Dieser Algorithmus wird Line-Search genannt.

2.5 Weitere Verfahren zur Nullstellensuche

Im diesem Abschnitt fassen wir kurz weitere Verfahren zur Nullstellensuche zusammen.Zum tieferen Verständnis sei auf die angegebene Literatur verwiesen.

Sekantenverfahren

Das Sekantenverfahren gehört zur Klasse der Interpolationsmethoden und hat eine direk-te Verbindung zu dem bereits kennengelernten Newtonverfahren. Geometrisch betrach-tet wird bei dem Newton-Verfahren eine Tangente an die Funktion gelegt, während beidem Sekantenverfahren eine Sekante als Approximation zur Ableitung f ′(x) genutzt wird.Hierdurch wird die explizite Berechnung von f ′(x) vermieden. Dies macht Sinn falls f ′(x)schwierig/aufwendig zu berechnen ist. Das Sekantenverfahren ist effizienter als die Null-stellenbestimmung mit Hilfe der Intervallschachtelung und auch einfacher zu realisierenals die sukzessive Approximation (Banachscher Fixpunktsatz); siehe nächster Abschnittsowie Kapitel 5.

Konkret wird bei dem Sekantenverfahren die Ableitung f ′(x) durch einen Differenzenquo-tienten ersetzt, etwa durch

f ′(xk) = f(xk)− f(xk−1)xk − xk−1

.

Die Iterationsvorschrift erfordert zwei Startwerte x0 und x1, so dass

xk+1 = xk −xk − xk−1

f(xk)− f(xk−1)f(xk).

Eine wichtige Beobachtung ist, dass die Sekantenmethode unter Umständen zur Auslö-schung im Nenner neigt (zur Auslöschung siehe Kapitel 1). Analog zum Newton-Verfahrenkann eine Analyse mit entsprechender Fehlerabschätzung durchgeführt werden. Hierzu ver-weisen wir auf [9], Satz 5.3 auf S. 167. Das Sekanten-Verfahren ist eine Kuriosität, da keineganzzahlige Konvergenzordnung bewiesen werden kann. Stattdessen gilt asymptotisch:

|xk − x| ≤ Cqγkk , γk →

12(1 +

√5) ≈ 1.6818,

34

2.5 Weitere Verfahren zur Nullstellensuche

also eine Ordnung von etwa 1.6. Die Konstante q hängt wie beim Newton-Verfahren vomEinzugbereich ab.

In Kombination mit der bereits diskutierten Intervallschachtelung in Abschnitt 2.3 erhaltenwir ein stabilisiertes Verfahren:

Definition 2.24 (Regula falsi). Es sei f eine stetige Funktion auf [a0, b0] := [a, b] mitf(a)f(b) < 0. Eine Approximation von f(xn+1) = 0 wird mittels

xn+1 := an −f(an)(bn − an)f(bn)− f(an)

bestimmt. Dann ist das nächste Intervall gegeben durch

[an+1, bn+1] =

[an, xn] falls f(an)f(xn) < 0,[xn, bn] falls f(xn)f(bn) < 0,[xn, xn] falls f(xn) = 0,

In Worten bedeutet dies, dass das Verfahren approximierende Geraden (Sekanten) bil-det, aber analog zur Intervallschachtelung die Nullstelle durch kleiner werdende Intervalleeinschließt.

Die Konvergenzgeschwindigkeit ist vergleichbar zu den beiden Verfahren durch die dieregula falsi definiert ist.

Sukzessive Approximation

Die sukzessive Approximation basiert auf dem Banachschen Fixpunktsatz. Das Verfah-ren eignet sich insbesondere zur Nullstellenbestimmung höherdimensionaler Funktionen.Daher verweisen wir auf Kapitel 5 für eine ausführliche Diskussion.

Berechnung komplexer Nullstellen

Nach dem Fundamentalsatz der Algebra besitzt jedes komplexe Polynom n-ten Grades,n+ 1 Nullstellen. Die bisherigen Verfahren eignen sich nicht zur Berechnung von komple-xen Nullstellen. Entsprechende Verfahren werden in der Literatur diskutiert und für eineDiskussion im Rahmen dieses Skriptums sei auf die Übungsaufgaben verwiesen.

35


2.6 Konvergenzbegriffe

In diesem Abschnitt wird die Konvergenz iterativer Verfahren anhand der bereits disku-tierten Beispiele in einem allgemeinen Rahmen gefasst. Die theoretischen Resultate werdenallgemein für Fixpunktpunktverfahren hergeleitet, so dass das Newton-Verfahren als einSpezialfall aufgefasst werden kann. Die Aussagen dieses Abschnitts sind auf andere itera-tive Verfahren die wir später kennenlernen ebenfalls anwendbar (z.B. iterative Lösung vonGleichungssystemen).

Die folgenden Überlegungen sind durch die bereits bekannten Abschätzungen motiviert.Für die Intervallschachtelung gilt:

|xn − x| ≤b− a2n+1 ,

mit der Konvergenzrate 12 und der Konvergenzordnung p = 1 (lineare Konvergenz).

Das Newtonverfahren besitzt (lokal) in der Umgebung einer Nullstelle das Konvergenzver-halten

|xk − x| ≤ c |xk−1 − x|2.

Wir sprechen von einem quadratisch konvergenten Verfahren oder auch von einem Verfah-ren 2-ter Ordnung.

Allgemein gilt

Definition 2.25 (Konvergenzordnung). Wir nennen ein Iterationsverfahren zur Berech-nung einer Nullstelle x von Konvergenz mit der Ordnung p mit p ≥ 1, wenn gilt

|xk − x| ≤ c|xk−1 − x|p,

mit einer festen Konstanten c > 0. Im Fall p = 1, d.h. linearer Konvergenz heißt die besteKonstante c ∈ (0, 1) die lineare Konvergenzrate. Gilt bei linearer Konvergenzrate zusätzlichck → 0 (k →∞), d.h.

|xk − x| ≤ ck |xk−1 − x|,

so sprechen wir von superlinearer Konvergenz.

Grundsätzlich gilt (zumindest asymptotisch), dass superlinear konvergente Folgen schnel-ler als (schlicht) lineare Folgen konvergieren. Außerdem konvergieren Verfahren mit Ord-nung p+1 schneller als Verfahren mit der Ordnung p. Außerdem gilt, je kleiner die Konver-genzrate c ist, desto schneller ist die Konvergenz. Allerdings hat die Konvergenzordnungwesentlich größeren Einfluss auf die Konvergenzgeschwindigkeit, als die Konvergenzrate.Letztlich sollte bemerkt werden, dass Verfahren mit p > 3 sehr selten Anwendung finden.Sehr oft nutzt der Numeriker Newton-artige Verfahren, so dass p ≈ 2 gilt.

36


Bemerkung 2.26. Die Konvergenzordnung hat einen direkten praktischen Nutzen. AlsNäherung erwartet wir bei einem iterativen Verfahren der Ordnung p > 1 zur Lösung desProblems g(x) = 0, dass sich die Anzahl der korrekten Dezimalstellen bei jeder Iterationver-p-facht. Bei Verfahren erster Ordnung erwarten wir, dass sich die Anzahl der korrektenDezimalstellen in etwa um den Summanden | log10(g′(x))| erhöht.

Im Folgenden betrachten wir Fixpunktprobleme der Form

xk+1 = g(xk), k = 0, 1, 2, . . . .

Bei Fixpunktiterationen mit stetig differenzierbarer Abbildung g(·) gilt mit dem Mittel-wertsatz der Analysis:∣∣∣∣xk+1 − x

xk − x

∣∣∣∣ =∣∣∣∣g(xk)− g(x)

xk − x

∣∣∣∣→ |g′(x)| (k →∞). (2.9)

Hieraus implizieren wir, dass die lineare Konvergenzrate asymptotisch (k → ∞) geradegleich |g′(x)| ist. Dementsprechend liegt im Falle g′(x) = 0 (mindestens) superlineareKonvergenz vor.

Aus (2.9) können wir folgende Definition ableiten:

Definition 2.27. Ein Fixpunkt x einer stetig differenzierbaren Abbildung g(·) heißt an-ziehend, falls |g′(x)| < 1 ist. Im Fall |g′(x)| > 1, wird ein Fixpunkt abstoßend genannt.

Der folgende Satz liefert ein einfaches Kriterium zur Bestimmung der Konvergenzordnungeiner differenzierbaren Fixpunktiteration. Er kann auch zur Konstruktion von Verfahrenmit hoher Ordnung genutzt werden:

Satz 2.28 (Iterative Verfahren mit Ordnung p ≥ 2). Die Funktion g(·) sei in einer Um-gebung des Fixpunktes x p-mal stetig differenzierbar. Die Fixpunktiteration xk+1 = g(xk)hat genau dann die Ordnung p, wenn

g′(x) = . . . = g(p−1)(x) = 0 und g(p) 6= 0.

Beweis:

• Teil 1 (Rückrichtung)Es seien g′(z) = . . . = g(p−1)(z) = 0. Im Punkt z lautet die Taylorformel mit demRestglied p-ter Ordnung:

xk+1 − z = g(xk)− g(z) =p−1∑j=1

(xk − z)j

j! g(j)(z) + (xk − z)p

p! g(p)(ξk).

Damit erhalten wir die Abschätzung:

|xk+1 − z| ≤1p! max |g(p)| |xk − z|p.

37


• Teil 2 (Hinrichtung)Es sei nun umgekehrt die Iteration von p-ter Ordnung, sprich

|xk+1 − z| ≤ c|xk − z|p.

Falls es ein minimales m ≤ p − 1 mit g(m)(z) 6= 0 gäbe, aber g(j)(z) = 0, j =1, . . . ,m−1, so würde jede Iterationsfolge (xk)k∈N mit hinreichend kleinem |x0−z| 6=0) notwendig gegen z wie

|xk − z| ≤∣∣∣∣ 1m!g

(m)(ξk)∣∣∣∣ |xk−1 − z|m,

also mit der Ordnung m. Hier finden wir aber einen Widerspruch zu der Annahme,dass die Iteration von der Ordnung p ist:

|g(m)(z)| = limk→∞

|g(m)(ξk)| ≤ c m! limk→∞

|xk − z|p−m = 0.

Hieraus folgt, dass für g′(z) = . . . = g(p−1)(z) = 0, aber g(p)(z) 6= 0, dass die Iterationnicht von höherer Ordnung als p sein kann.

�

Beispiel 2.29 (Darstellung des Newton-Verfahrens als Fixpunktverfahren). Die allgemei-ne Fixpunktiteration lautet

xk+1 = g(xk), k = 0, 1, 2, . . . . (2.10)

Das bereits diskutierte Newton-Verfahren lässt sich in dieser Notation wie folgt herleiten.Es sei wie üblich f die Funktion des Nullstellenproblems und h eine hinreichend glatteFunktion, die in einer Umgebung der Nullstelle x nicht verschwindet. Es sei

g(x) := x+ h(x)f(x), (2.11)

mit der Fixpunkt-Eigenschaft g(x) = x. die zu (2.10) zugehörige Iterationsfunktion. An-wendung der Produktregel und Satz 2.28 ergeben in x:

g′(x) := 1 + h′(x) f(x)︸︷︷︸=0

+h(x)f ′(x) != 0.

Hieraus folgt die Bedingung an h(x) in x:

h(x) = − 1f ′(x) .

Wir wählen h(x) nun für alle x gemäß diese Vorschrift, so dass

h(x) := − 1f ′(x) .

38


Einsetzen in (2.11) liefert die Iterationsfunktion

g(x) := x− f(x)f ′(x) ,

und der Iterationsvorschrift

xk+1 := g(xk) = xk −f(xk)f ′(xk)

, k = 0, 1, 2, . . . .

Beispiel 2.30 (Konvergenzordnung Newton für einfache Nullstellen). Im umgekehrtenFall zu Beispiel 2.29 sei das Newton-Verfahren nun als bekannt vorausgesetzt. Mit Hilfe desSatzes 2.28 kann explizit die Konvergenzordnung des Newton-Verfahrens ermittelt werden:

g′(x) = 1− f ′(x)2 − f(x)f ′′(x)f ′(x)2 = 0,

und im Allgemeinen g′′(x) 6= 0. Damit ist das Newton-Verfahren (wie bereits vorher dis-kutiert) quadratisch konvergent.

Mehrfache Nullstellen

Das Newton-Verfahren kann auch zur Suche von doppelten Nullstellen verwendet werden,allerdings konvergiert es nur noch höchstens superlinear bei mehrfachen Nullstellen.

Es sei x eine zweifache Nullstelle der Funktion f , d.h. f(x) = f ′(x) = 0 und f ′′(x) 6= 0.Dann gilt mit Zwischenwerten ζk, ηk ∈ [xk, x]:


= xk −f(xk)− f(x)f ′(xk)− f ′(x)

xk − xxk − x

= xk −f ′(ζk)f ′′(ηk)

.

Beispiel 2.31 (Konvergenzordnung Newton für doppelte Nullstellen). Für das Newton-Verfahren zur Bestimmung einer einfachen Nullstelle der Funktion f lautet die Iterations-funktion g(x) = x− f(x)

f ′(x) . Mit Hilfe des Satzes 2.28 gilt

g′(x) = 1− f ′(x)2 − f(x)f ′′(x)f ′(x)2 = 0.

Sei nun ebenfalls f ′(x) = 0 (doppelte Nullstelle). Hier können wir nun die Regel vonL’Hopital verwenden

limx→x

g′(x) = f ′′(x) limx→x

f(x)f ′(x)2 = f ′′(x) lim

x→x

f ′(x)2f ′(x)f ′′(x) = f ′′(x) 1

2f ′′(x) = 12 .

Damit ist das Newton-Verfahren nach Satz 2.28 zur Bestimmung doppelter Nullstellen nurlinear konvergent.

39


Im Fall von mehrfachen Nullstellen lässt sich die quadratische Konvergenzordnung desNewton-Verfahrens durch einen Trick erreichen. Wir machen zur Iteration den Ansatz:

xk+1 = xk − ωf(xk)f ′(xk)

mit einem Relaxationsparameter ω, ähnlich dem gedämpften Newton-Verfahren. Ange-nommen, es liegt eine p-fache Nullstelle vor f(x) = f ′(x) = . . . = f (p−1)(x) = 0 undf (p)(x) 6= 0, so wählen wir ω = p. Da ω > 1 sprechen wir von Überrelaxation. Das sogewonnene Verfahren konvergiert wieder quadratisch. Der Beweis findet sich in der Lite-ratur, etwa [9], S. 168. Der praktische Nutzen dieser Modifikation ist beschränkt, da manbei der Suche nach einer Nullstelle üblicherweise nicht deren Vielfachheit kennt.

2.7 Vier Verfahren im Vergleich

In diesem Beispiel vergleichen wir drei besprochene Verfahren hinsichtlich Konvergenz-Geschwindigkeit und -Ordnung sowie Anzahl der Iterationen um eine mögliche Fehler-toleranz zu erreichen. Wir vergleichen die Intervallschachtelung, das klassische Newton-Verfahren sowie das vereinfachte Newton-Verfahren. Zuletzt diskutieren wir das kombi-nierte Verfahren, in dem die Intervallschachtelung als Startiteration für das klassischeNewton-Verfahren genutzt wird.

Konfiguration

Gesucht wird eine Nullstelle der Funktion (siehe auch [3], S. 34ff)

f(x) = x3 + 4x2 − 10

im Intervall [1, 2]. Die Abbruchtoleranz ist gegeben durch TOL = 10−8. Da f(1) = −5und f(2) = 14 kann die Intervallschachtelung angewendet werden. Als Startwert für dasNewton-Verfahren sei x0 = 1 gewählt. Die maximale Anzahl der Iterationen (sprich fallsTOL nicht unterschritten wird) sei N = 30. Für das vereinfachte Newton-Verfahren seidie Ableitung durch f ′(x0) approximiert. Die exakte Nullstelle ist auf zehn Dezimalstellengenau x = 1.3652300134.

Diskussion Intervallschachtelung

Wir erkennen lineare Konvergenz mit einzelnen Ausschlägen, wie sehr gut in Grafik 2.4 zusehen ist. Dies ist der oben diskutierte zweite Nachteil der Intervallschachtelung: ein u. U.sprunghaftes Konvergenzverhalten. Das Verfahren wird nach 27 Iterationen abgebrochen,da dann TOL unterschritten wird.

Diskussion Newton

Wir erkennen perfekte quadratische Konvergenz (siehe Grafik 2.5) und das Unterschreitenvon TOL nach bereits 5 Iterationen. Die quadratische Konvergenz bedeutet in etwa eineVerdopplung in der Anzahl der richtigen Nachkommastellen in jedem Schritt, was gut inTabelle 2.2 zu sehen ist. (Von Iteration 3 auf 4 ist die Konvergenz sogar noch etwas besser).

40


0 5 10 15 20 25 3010

−9

10−8

10−7

10−6

10−5

10−4

10−3

10−2

10−1

100

Bisektions−Methode: f(x) = x3+4x

2−10

Iterationen

|x−xk|

Abbildung 2.4: Fehler vs. Iterationen für das Intervallschachtelungsverfahren.

Diskussion vereinfachtes Newton

Analog zur Intervallschachtelung erkennen wir lineare Konvergenz des Verfahrens (sieheGrafik 2.6). Die TOL wird ebenfalls bei 27 Iterationen unterschritten. Die lineare Konver-genz spiegelt sich ebenfalls im Fehler |x− xk| wieder. Lineare Konvergenz bedeutet, dasssich der Fehler in jeder Iteration etwas halbiert.

Diskussion Intervallschachtelung als Startiteration für Newton

Die Intervallschachtelung wird nach 3 Iterationen abgebrochen, um so einen besserenStartwert als x0 = 1 für das Newton-Verfahren zu bekommen. Nach drei Iterationen istx0 = 1.375. Mit diesem Startwert wird nun das klassische Newton-Verfahren gestartet. ImVergleich zu vorher können wir die Anzahl der Newton-Iterationen tatsächlich verringernund erreichen die TOL in 3 Schritten.

41


Tabelle 2.1: Nullstellenbestimmung mit Intervallschachtelung.Iter xk |x− xk|1 1.500000000000000 0.1347699866000002 1.250000000000000 0.1152300134000003 1.375000000000000 0.0097699866000004 1.312500000000000 0.0527300134000005 1.343750000000000 0.0214800134000006 1.359375000000000 0.0058550134000007 1.367187500000000 0.0019574866000008 1.363281250000000 0.0019487634000009 1.365234375000000 0.00000436160000010 1.364257812500000 0.00097220090000011 1.364746093750000 0.00048391965000012 1.364990234375000 0.00023977902500013 1.365112304687500 0.00011770871250014 1.365173339843750 0.00005667355625015 1.365203857421875 0.00002615597812516 1.365219116210938 0.00001089718906217 1.365226745605469 0.00000326779453118 1.365230560302734 0.00000054690273419 1.365228652954102 0.00000136044589820 1.365229606628418 0.00000040677158221 1.365230083465576 0.00000007006557622 1.365229845046997 0.00000016835300323 1.365229964256287 0.00000004914371324 1.365230023860931 0.00000001046093125 1.365229994058609 0.00000001934139126 1.365230008959770 0.00000000444023027 1.365230016410351 0.000000003010351

Tabelle 2.2: Nullstellenbestimmung mit dem klassischen Newton-Verfahren.Iter xk |x− xk|1 1.000000000000000 0.3652300134000002 1.454545454545455 0.0893154411454553 1.368900401069519 0.0036703876695194 1.365236600202116 0.0000065868021165 1.365230013435367 0.000000000035367

42


1 1.5 2 2.5 3 3.5 4 4.5 510

−12

10−10

10−8

10−6

10−4

10−2

100

Newton−Methode: f(x) = x3+4x

2−10

Iterationen

|x−xk|

Abbildung 2.5: Fehler vs. Iterationen für das klassische Newton-Verfahren.

0 5 10 15 20 25 3010

−9

10−8

10−7

10−6

10−5

10−4

10−3

10−2

10−1

100

Vereinfachte Newton−Methode: f(x) = x3+4x

2−10

Iterationen

|x−xk|

Abbildung 2.6: Fehler vs. Iterationen für das vereinfachte Newton-Verfahren.

43


Tabelle 2.3: Nullstellenbestimmung mit dem vereinfachten Newton-Verfahren.Iter xk |x− xk|1 1.000000000000000 0.3652300134000002 1.454545454545455 0.0893154411454553 1.314527696195615 0.0507023172043854 1.388762800510863 0.0235327871108635 1.353026194519825 0.0122038188801756 1.371237342903140 0.0060073295031407 1.362192451689584 0.0030375617104168 1.366745706220543 0.0015156928205439 1.364468629666006 0.00076138373399310 1.365611206121441 0.00038119272144111 1.365038845782882 0.00019116761711812 1.365325803195075 0.00009578979507513 1.365181995089162 0.00004801831083814 1.365254079370617 0.00002406597061715 1.365217950694894 0.00001206270510616 1.365236059360180 0.00000604596018017 1.365226983049599 0.00000303035040118 1.365231532280867 0.00000151888086819 1.365229252128885 0.00000076127111520 1.365230394983596 0.00000038158359621 1.365229822164451 0.00000019123554922 1.365230109271854 0.00000009587185423 1.365229965368448 0.00000004803155224 1.365230037495444 0.00000002409544425 1.365230001344089 0.00000001205591026 1.365230019463803 0.00000000606380327 1.365230010381875 0.000000003018125

Tabelle 2.4: Nullstellenbestimmung mit Intervallschachtelung als Startiteration für dasNewton-Verfahren.

Iter xk |x− xk|1 1.375000000000000 0.0097699866000002 1.365276476101218 0.0000464627012183 1.365230014472403 0.000000001072403

44


1 1.2 1.4 1.6 1.8 2 2.2 2.4 2.6 2.8 310

−9

10−8

10−7

10−6

10−5

10−4

10−3

10−2

Newton−Methode mit Intervallschachtelung: f(x) = x3+4x

2−10

Iterationen

|x−xk|

Abbildung 2.7: Fehler vs. Iterationen für das Newton-Verfahren mit dem Intervallschach-telungsverfahren als Startiteration.

45


46

3 Interpolation und Approximation

In dem ersten großen Kapitel beschäftigen wir uns mit der Frage, wie eine Reihe vonDaten (z.B. aus physikalischen Messungen, experimentelle Beobachtungen, Börse, etc.)durch eine möglichst einfache Funktion p(x) (z.B. Polynome) angenähert werden kann.Auf der anderen Seite soll geklärt werden, wie komplizierte Funktionen durch einfachereFunktionen aus einer bestimmten Klasse (z.B. Raum der Polynome) approximiert werdenkönnen.

Bei der Interpolation wird die approximierende Funktion p derart konstruiert, dass diesean den vorliegenden (diskreten) Daten exakt ist:

p(xk) = yk, k = 0, 1, 2, 3, . . . , n.

Die Stützstellen und Stützwerte (xk, yk) sind entweder diskrete Datenwerte (z.B. von Ex-perimenten) oder durch Funktionen bestimmt yk = f(xk). Mit Hilfe der Interpolation p(x)können bis dato unbekannte Werte an Zwischenstellen ξ ∈ (xk, xk+1) oder das Integralbzw. die Ableitung von p bestimmt werden. Darüberhinaus hat die Interpolation eine we-sentliche Bedeutung zur Entwicklung weiterer numerischer Verfahren, wie beispielsweisenumerische Quadratur, Differentiation oder in weiterführenden Vorlesungen EntwicklungFiniter Elemente [10].

Die Approximation ist allgemeiner gefasst. Wieder wird eine einfache Funktion p(x) (alsowieder z.B. ein Polynom) gesucht, welche diskrete oder durch Funktionen bestimmte Da-tenwerte (xk, yk) möglichst gut approximiert. Im Gegensatz zur Interpolation wird jedochnicht p(xk) = yk explizit gefordert. Was die Approximation auszeichnet wird von Fallzu Fall entschieden. Möglich ist z.B. bei der Approximation einer Funktion f die besteApproximation bzgl. einer Norm

p ∈ P : ‖p− f‖ = minq∈P‖q − f‖,

wobei P die Klasse der betrachteten einfachen Funktionen ist (also z.B. alle quadratischenPolynome). Eine Anwendung der Approximation ist das “Fitten” von diskreten Daten-werten, welche durch Experimente gegeben sind. Oft werden viele tausend Messwerte be-rücksichtigt, die von der zugrundeliegenden (etwa physikalischen) Formel jedoch aufgrundvon statistischen Messfehlern nicht exakt im Sinne der Interpolation, sondern nur appro-ximativ erfüllt werden sollen. Eine zweite Anwendung ist wieder die möglichst einfacheDarstellung von gegebenen Funktionen.

Beispiel 3.1 (Interpolation: Personen in der Mensa mit einer Stichprobe). Die Studenten,die Numerik 0 bei Thomas hören, schließen eine Wette gegen die parallel verlaufende

47


Vorlesung Einführung in die Wahrscheinlichkeitstheorie und Statistik ab. Es gilt die Anzahlder Mittagessenden Personen diesen Mittwoch um Punkt 12:00 zu schätzen. Allerdingsgibt es ein Problem, dass um diese Zeit die Vorlesung der Numerik 0 stattfindet - und diemöchte niemand missen.

Daher verabreden sich die Studenten kurz vor der Vorlesung um 11:00 Uhr und zählenalle Personen und dann wieder um 13:00 nach der Vorlesung. Folgende Zahlen haben sieermittelt:

(t1, y1) = (11.00, 50), (t2, y2) = (13.00, 350),

11 12 13 1410

50

100

150

200

250

300

350

Personen

Uhrzeit

Abbildung 3.1: Lineare Interpolation zwischen zweier gegebener Messwerte.

In Vorlesung habe alle gut aufgepasst: durch Aufstellen der Interpolationsfunktion (hiereine schlichte Gerade) können die Studenten nun den Wert (Anzahl der Personen) durchAblesen ermitteln. Die Schätzung sagt eine Anzahl von 200 Personen voraus. Dieser Wertist natürlich nur eine Schätzung da der Anstieg sich wahrscheinlich nicht linear verhält.

Beispiel 3.2 (Approximation: Personen in der Mensa bei mehreren Stichproben). DieStudenten der Numerik 0 haben auch bei der Approximation gut aufgepasst und machenan nun jede Woche an verschiedenen Tagen Stichproben von der Anzahl der Personen inder Mensa. Die ermittelte Datenmenge kann nicht mehr interpoliert werden, allerdingsstellen sie nun eine approximierende Funktion auf, die die wahrscheinliche Personenzahlam letzten Mittwoch in der Vorlesungszeit voraussagen soll.

Ablesen der Regressionsgeraden ergibt eine Schätzung von ca. 250 Personen in der Mensa.

Grundsätzlich hat die Darstellung als einfache Funktion den großen Vorteil, dass Elemen-taroperationen (wie bei der Interpolation bereits angemerkt), wie Ableitungsbildung undIntegration, viel einfacher ausgeführt werden können. Die Wahl der einfachen Funktion ist

48

11 12 13 1410

50

100

150

200

250

300

350

Personen

Uhrzeit

Abbildung 3.2: Approximation gegebener Messwerte.

eine der entscheidenden Fragen, die es zu klären gilt: Polynom, Spline, trigonometrischeFunktion? Das hängt im wesentlichen von der gegebenen Aufgabenstellung ab.

Einen Zusammenhang zwischen Polynomen und stetigen Funktionen stellt der Weierstraß-sche Approximationssatz her (Analysis I):

Satz 3.3 (Weierstraßsche Approximationssatz). Es sei f ∈ C[a, b]. Dann gibt es zu jedemε > 0 ein auf [a, b] definiertes Polynom p, so dass

|f(x)− p(x)| < ε ∀x ∈ [a, b].

Der Weierstraßsche Approximationssatz besagt zunächst, dass es möglich ist, jede stetigeFunktion beliebig gut durch ein Polynom zu approximieren, hilft jedoch noch nicht beider praktischen Durchführung. Auch hier gibt es einen einfachen Ansatz in der Analysis:

Satz 3.4 (Taylor-Entwicklung). Es sei f ∈ Cn+1[a, b]. Für das n-te Taylor-Polynom zux0 ∈ (a, b)

tn(x;x0) :=n∑k=0

f (k)(x0)k! (x− x0)k

ist eine Approximation zu f in der Umgebung von x0. Es gilt die Fehlerabschätzung:

f(x)− tn(x;x0) = f (n+1)(ξx)(n+ 1)! (x− x0)n+1,

mit einer Zwischenstelle ξx ∈ [a, b].

49


Hier ist C([a, b]) der Vektorraum der auf dem Intervall [a, b] stetigen Funktionen undCk([a, b]) der Raum der auf [a, b] k-mal stetig differenzierbaren Funktionen. Die Taylor-Entwicklung ermöglicht eine konkrete Vorgehensweise zum Erstellen eines approximativenPolynoms. Wir sehen jedoch bereits, dass wir eine sehr starke Regularität von f benötigen.Darüber hinaus ist die Taylor-Entwicklung nur für Funktionen, nicht aber für diskreteDatenwerte (xk, yk) möglich.

Neben der Taylor-Entwicklung von Funktionen stellt die Analysis noch die Fourier-Analysezur Approximation von periodischen Funktionen f mit Hilfe von trigonometrischen Poly-nomen zur Verfügung.

3.1 Polynominterpolation

Wir bezeichnen mit Pn den Vektorraum der Polynome vom Grad ≤ n:

Pn :={p(x) =

n∑k=0

akxk |ak ∈ R, k = 0, . . . , n

}.

Definition 3.5 (Lagrangesche Interpolationsaufgabe). Die Lagrangesche Interpolations-aufgabe besteht darin, zu n+1 paarweise verschiedenen Stützstellen (Knoten) x0, . . . , xn ∈R und zugehörigen gegebenen Stützwerten y0, . . . , yn ∈ R ein Polynom p ∈ Pn zu bestim-men, so dass die Interpolationsbedingung

p(xk) = yk, k = 0, . . . , n,

erfüllt ist.

Satz 3.6. Die Lagrangesche Interpolationsaufgabe ist eindeutig lösbar.

Beweis: Die Eindeutigkeit wird zuerst nachgewiesen. Es seien p1, p2 ∈ Pn zwei Lösungen.Dann gilt für das Differenzpolynom p := p1 − p2 ∈ Pn:

p(xk) = 0, k = 0, . . . , n,

d.h. p hat n+ 1 Nullstellen und ist folglich das Nullpolynom. Dies kann mit Hilfe des Sat-zes von Rolle nachgewiesen werden. Zum Nachweis der Existenz betrachten wir die Glei-chungen p(xk) = yk, k = 0, . . . , n. Dies kann als ein lineares Gleichungssystem aufgefasstwerden, welches n+ 1 Gleichungen für die n+ 1 unbekannten Koeffizienten a0, . . . , an desPolynoms p ∈ Pn. Wegen der bereits gezeigten Eindeutigkeit des Interpolationspolynomsp (also der Injektivität) hat dieses System notwendigerweise eine Lösung (Surjektivität).�

Die gegebenen Stützwerte yk können Werte einer gegebenen Funktion f sein, d.h.

f(xk) = yk, k = 0, 1, . . . , n,

50


oder auch beliebige diskrete Datenwerte

(xk, yk), k = 0, 1, . . . , n.

3.1.1 Lagrangesche Darstellung

In diesem Abschnitt verwenden wir zur Konstruktion des Interpolationspolynoms die La-grangeschen Basispolynome

L(n)k (x) :=

n∏j=0,j 6=k

x− xjxk − xj

∈ Pn, k = 0, 1, . . . , n.

Die Basiseigenschaft möge der aufmerksame Leser selbst verifizieren. Als zweite Eigen-schaft erhalten wir

L(n)k (xl) = δkl :=

{1, k = l

0, k 6= l,

wobei δkl das Kronecker-Symbol bezeichnet.

Satz 3.7 (Lagrangesche Darstellung). Das Polynom p ∈ Pn gemäß

p(x) :=n∑k=0

ykL(n)k (x)

erfüllt die Interpolationsbedingung p(xk) = yk.

Beweis: Zunächst gilt wegen L(n)k ∈ Pn auch für die Linearkombination p ∈ Pn. Weiter

folgt sofort:

p(xj) =n∑k=0

ykL(n)k (xj) =

n∑k=0

ykδkj = yj .

�

Die Lagrangesche Darstellung des Interpolationspolynoms besticht durch ihre Einfach-heit. Sie hat allerdings den großen Nachteil, das jedes Basispolynom L

(n)k (x) von sämt-

lichen Stützstellen x0, x1, . . . , xn abhängt. Angenommen zur Steigerung der Genauigkeitsoll eine Stützstelle xn+1 hinzugenommen werden, so müssen sämtliche Basispolynomeausgetauscht werden.

51


3.1.2 Newtonsche Darstellung

Die Newtonsche Darstellung der Lagrangeschen Interpolationsaufgabe löst dieses Problemdurch eine andere Wahl von Basispolynomen:

N0(x) := 1,

Nk(x) :=k−1∏j=0

(x− xj), k = 1, . . . , n.

Das Basispolynom Nk(x) hängt nur von den Stützstellen x0, . . . , xk ab. Bei Hinzunah-me einer Stützstelle xk+1 müssen die ersten Basispolynome nicht geändert werden. DasInterpolationspolynom wird nach dem Ansatz

p(x) =n∑k=0

akNk(x),

bestimmt. Für die Stützstelle xk gilt Nl(xk) = 0 für alle l > k. Wir gehen rekursiv vor:

y0!= p(x0) = a0,

y1!= p(x1) = a0 + a1(x1 − x0),

...

yn!= p(xn) = a0 + a1(xn − x0) + . . .+ an(xn − x0) · · · (xn − xn−1).

Im Gegensatz zur vorher kennengelernten Lagrangeschen Darstellung kann ein weiteresDatenpaar (xn+1, yn+1) leicht hinzugefügt werden. Ist das Interpolationspolynom pn :=p =∈ Pn gegeben, so kann eine Stützstelle xn+1 einfach hinzugenommen werden:

yn+1!= pn+1(xn+1) = pn(xn+1)+an+1Nn+1(xn+1) ⇒ an+1 = yn+1 − pn(xn+1)

Nn+1(xn+1) . (3.1)

In der Praxis werden die Koeffizienten ak auf eine numerisch stabilere und effizientereWeise bestimmt:

Satz 3.8. Das Lagrangesche Interpolationspolynom zu den Punkten (xk, yk), k = 0, . . . , nlautet bezüglich der Newtonschen Polynombasis:

p(x) =n∑k=0

y[x0, . . . , xk]Nk(x).

Die Notation y[x0, . . . , xk] bezeichnet die dividierten Differenzen, welche über die folgenderekursive Vorschrift definiert sind:

1 f ü r k = 0, . . . , n s e t z e y[xk] := yk2 f ü r l = 1, . . . , n und3 f ü r k = 0, . . . , n− l berechne4 y[xk, . . . , xk+l] := y[xk+1,...,xk+l]−y[xk,...,xk+l−1]

xk+l−xk

52


Beweis: Wir bezeichnen mit pk,k+l in Pl das Polynom, welches die Interpolation zu denl+1 Punkte (xk, yk), . . . , (xk+l, yk+l) darstellt. Insbesondere ist durch p0,n ist das gesuchtePolynom p ∈ Pn gegeben. Wir zeigen, dass die folgende Aussage für alle l = 0, . . . n undk = 0, . . . , n− l gilt:

pk,k+l(x) = y[xk]+y[xk, xk+1](x−xk)+ · · ·+y[xk, . . . , xk+l](x−xk) · · · (x−xk+l−1). (3.2)

Wir führen den Beweis durch Induktion nach dem Polynomgrad l. Für l = 0 gilt pk,k(x) =y[yk] = yk. Angenommen, die Behauptung sei richtig für l − 1 ≥ 0. D.h. insbesonde-re, das Polynome pk,k+l−1 ist in Darstellung (3.2) gegeben und interpoliert die Punkte(xk, yk), . . . , (xk+l−1, yk+l−1) und das Polynom pk+1,k+l interpoliert die Punkte (xk+1, yk+1),. . . , (xk+l, yk+l). Dann ist durch

q(x) = (x− xk)pk+1,k+l(x)− (x− xk+l)pk,k+l−1(x)xk+l − xk

, (3.3)

ein Interpolationspolynom durch die Punkte (xk, yk), . . . , (xk+l, yk+l) gegeben. Dies machtman sich durch Einsetzen von xi in q(x) deutlich. Für innere Punkte i = k + 1, . . . , k +l − 1 gilt pk,k+l−1(xi) = pk+1,k+l(xi) = yi, für xk und xk+l ist jeweils einer der beidenFaktoren gleich Null. Es gilt somit für das gesuchte Interpolationspolynom pk,k+l = q.Nach Konstruktion (3.1) gilt jedoch auch die folgende Darstellung:

pk,k+l(x) = pk,k+l−1(x) + a(x− xk) · · · (x− xk+l−1).

Koeffizientenvergleich des führenden Monoms xn zwischen dieser Darstellung und (3.3)liefert mit Hilfe von (3.2) für pk,k+l−1 sowie pk+1,k+l:

a = y[xk+1, . . . , xk+l]− y[xk, . . . , xk+l−1]xk+l − xk

= y[xk, . . . , xk+l].

�

Dieses rekursive Konstruktionsprinzip legt sofort einen Algorithmus zum Auswerten derInterpolation an einer Stelle ξ ∈ R nahe, ohne dass das gesuchte Interpolationspolynomp(x) zuvor explizit bestimmt werden muss. Wir gehen hierzu von der Darstellung (3.3)aus:

Algorithmus 3.9 (Neville-Schema). Es seien die Stützstellenpaare (x0, y0), . . . , (xn, yn)gegeben sowie der Auswertungspunkt ξ. Berechne p(ξ) = p0,n:

1 f ü r k = 0, . . . , n s e t z e pk,k := yk2 f ü r l = 1, . . . , n und3 f ü r k = 0, . . . , n− l berechne4 pk,k+l := pk,k+l−1 + (ξ − xk)

pk+1,k+l−pk,k+l−1xk+l−xk

Bei der Durchführung des Neville-Schemas erhalten wir mit pk,l automatisch die Appro-ximationen der Interpolationspolynome durch (xk, yk), . . . , (xk+l, yk+l). Wir führen dasNeville-Schema exemplarisch durch:

53


Beispiel 3.10 (Neville-Schema). Wir betrachten die Stützstellenpaare (0, 0), (1, 1), (2, 8), (3, 27),welche von der Funktion f(x) = x3 abgegriffen sind. Wir führen das Neville-Schema re-kursiv aus:

p00 = 0 p11 = 1 p22 = 8 p33 = 27p01 = 0.5 p12 = −2.5 p23 = −20.5

p02 = −0.25 p13 = 2p03 = 0.125

Die finale Approximation p03 = 0.125 = 0.53 ist exakt. Dies ist zu erwarten, da f ∈ P3.Als Stichprobe betrachten wir die sehr schlechte Approximation p23, welche sich durch daslinearen Interpolationspolynom p2,3(x) durch die Stützstellen (2, 8) und (3, 27), also durch

p2,3(x) = 8 + 27− 83− 2 (x− 2) = 19x− 30

ergibt. Es gilt p2,3(0.5) = −20.5.

3.1.3 Interpolation von Funktionen und Fehlerabschätzungen

In diesem Abschnitt diskutieren wir die Interpolation von Funktionen. Die Punkte sind nunnicht mehr durch einen Datensatz gegeben, sondern durch Auswertung einer gegebenenFunktion f auf [a, b]:

yk = f(xk), xk ∈ [a, b], k = 0, . . . , n.

Die Durchführbarkeit, also Existenz und Eindeutigkeit eines Interpolationspolynoms wur-de bereits in den vorangehenden Abschnitten beantwortet. Bei der Interpolation von Funk-tionen stellt sich hier die Frage wie gut das Interpolationspolynom p ∈ Pn die Funktion fauf [a, b] approximiert.

Satz 3.11 (Interpolationsfehler mit differenziellem Restglied). Es sei f ∈ Cn+1[a, b] undp ∈ Pn das Interpolationspolynom zu f in den n+ 1 paarweise verschiedenen Stützstellenx0, . . . , xn. Dann gibt es zu jedem x ∈ [a, b] ein ξ ∈ (a, b), so dass

f(x)− p(x) = fn+1(ξ)(n+ 1)!

n∏j=0

(x− xj). (3.4)

Insbesondere gilt

|f(x)− p(x)| ≤maxξ∈(a,b) |fn+1(ξ)|

(n+ 1)!

n∏j=0|x− xj |. (3.5)

Beweis: Falls x mit einer Stützstelle zusammenfällt, d.h. x = xk für ein k ∈ {0, . . . , n},dann verschwindet der Fehler und wir sind fertig. Es sei daher x 6= xk für alle k = 0, 1, . . . , n

54


und F ∈ Cn+1[a, b] mit

F (t) := f(t)− pn(t)−K(x)n∏j=0

(t− xj).

K(x) sei so bestimmt, so dass F (x) = 0. Dies ist möglich, dan∏j=0

(t− xj) 6= 0 ⇒ K(x) = f(t)− pn(t)∏nj=0(t− xj)

.

Dann besitzt F (t) in [a, b] mindestens n+2 verschiedene Nullstellen x0, x1, . . . , xn, x. Durchwiederholte Anwendung des Satzes von Rolle hat die Ableitung F (n+1) mindestens eineNullstelle ξ ∈ (a, b). Mit

0 = F (n+1)(ξ) = f (n+1)(ξ)− p(n+1)(ξ)−K(x)(n+ 1)! = f (n+1)(ξ)− 0−K(x)(n+ 1)!.

Hieraus folgt die Behauptung mittels

K(x) = f (n+1)(ξ)(n+ 1)! ⇒ f(x)− pn(x) = f (n+1)(ξ)

(n+ 1)!

n∏j=0

(x− xj)

�

Satz 3.12 (Interpolationsfehler mit Integral-Restglied). Es sei f ∈ Cn+1[a, b]. Dann giltfür x ∈ [a, b] \ {x0, . . . , xn} die Darstellung

f(x)− p(x) = f [x0, . . . , xn, x]n∏j=0

(x− xj),

mit den Interpolationsbedingungen f [xi, . . . , xi+k] := y[xi, . . . , xi+k] und

f [x0, . . . , xn, x] =∫ 1

0

∫ t1

0· · ·∫ tn

0f (n+1)(x0 + t1(x1 − x0) + . . .+ t(x− xn)

)dt . . . dt2 dt1.

Beweis: Wird folgen. �

Für den Fehler der Lagrange-Interpolation können die folgenden Betrachtungen geführtwerden. In (3.4) wird für großes n der Term 1

(n+1)! sehr klein. Das Produkt∏nj=0(x− xj)

wird klein, wenn die Stützstellen sehr dicht beieinander liegen. Sind alle Ableitungen vonf gleichmäßig (bzgl. der Ableitungsstufe) beschränkt auf [a, b], so gilt mit (3.5), dass

maxa≤x≤b

|f(x)− p(x)| → 0, n→∞.

Haben die Ableitungen der zu interpolierenden Funktion jedoch ein zu starkes Wachstum-verhalten für n→∞, z.B.

f(x) = (1 + x2)−1, |fn(x)| ≈ 2nn!O(|x|−2−n),

so konvergiert die Interpolation nicht gleichmäßig auf [a, b].

55


-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

-1 -0.5 0 0.5 1

-0.004

-0.002

0

0.002

0.004

0.006

0.008

0.01

0.012

-1 -0.5 0 0.5 1

Abbildung 3.3: Interpolationspolynome pm(x) ∈ P2m. Links: das komplette Interpolati-onsintervall. Rechts: Ausschnitt nahe y = 0.

Beispiel 3.13. Die Funktion f(x) = |x|, x ∈ [−1, 1] werde mit Hilfe der Lagrange-Interpolation in den Stützstellen

xk = −1 + kh, k = 0, . . . , 2m, h = 1/m, x 6= xk

interpoliert. Dies ergibt das globale Verhalten

pm 9 f(x), m→∞.

Zwar ist f in diesem Beispiel nicht differenzierbar, dennoch ist dieses Verhalten derLagrange-Interpolation auch bei anderen Beispielen zu beobachten. Man betrachte z.B. dieFunktion

f(x) = (1 + x2)−1, x ∈ [−5, 5].

Wir fassen die bisherigen Ergebnisse zusammen:

Bemerkung 3.14. Der Approximationssatz von Weierstraß besagt, dass jede Funktionf ∈ C([a, b]) durch ein Polynom beliebig gut approximiert werden kann. Die Analysis gibtjedoch keine Hilfestellung bei der konkreten Durchführung der Approximation. Die Lagran-gesche Interpolation ist eine Möglichkeit zur Approximation. Die Qualität dieser Appro-ximation wird jedoch wesentlich durch die Regularität der Daten, also durch f bestimmt.Eine gleichmäßige Approximation von Funktionen mit Lagrangeschen Interpolationspoly-nomen ist im Allgemeinen nicht möglich.

Die Lagrangesche Interpolation “krankt” demnach an den gleichen Einschränkungen derTaylor-Entwicklung, Satz 3.4. Von der Möglichkeit, eine nur stetige Funktion f ∈ C([a, b])beliebig gut zu approximieren sind wir noch weit entfernt.

Ein zweiter Nachteil der Lagrange-Interpolation ist die fehlende Lokalität. Eine Störungvon in einer Stützstelle (xk, yk) hat Auswirkung auf alle Lagrange-Polynome und insbe-sondere auf das gesamte Interpolationsintervall. Wir betrachten hierzu ein Beispiel:

56


Beispiel 3.15 (Globaler Fehlereinfluss). Wir suchen das Interpolationspolynom zu derFunktion f(x) = 0 in den 2m+ 1 Stützstellen

xk = −1 + kh, k = −m, . . . ,m, h = 1m.

Das exakte Interpolationspolynom p ∈ P2m ist natürlich durch p = 0 gegeben. Wir nehmenan, dass die Funktionsauswertung in Nullpunkt gestört ist:

yk ={

0 k 6= 0ε k = 0

,

mit einem kleinen ε. Das gestörte Interpolationspolynom ist in Lagrangescher Darstellunggegeben durch

p(x) =m∏

i=−m,i 6=0

x− xixi

.

In Abbildung 3.3 zeigen wir pm ∈ P2m für die Fälle m = 1, 2, 4, 8 mit einer Störung ε =0.01. Trotz dieser kleinen Störung an der Stelle x = 0 weichen die Interpolationspolynomam Intervallrand sehr stark von yk = 0 ab. In der unteren Abbildung sieht man, dass fürkleine Polynomgrade, also m = 1 und m = 2 der maximale Fehler auf dem Intervall nichtgrößer als die anfängliche Störung ε = 0.01 ist. Die Lagrangesche Interpolation ist instabilfür große Polynomgrade.

Hermite Interpolation

Zum Abschluss der Funktionsinterpolation erwähnen wir noch eine Verallgemeinerung, diesogenannte Hermitesche Interpolationsaufgabe. Diese unterscheidet sich von der Lagrange-Interpolation durch die Möglichkeit neben Funktionswerten p(xk) = f(xk) auch Gleichheitvon Ableitungswerten p(i)(xk) = f (i)(xk) zu fordern. Wir fassen zusammen:

Satz 3.16 (Hermite Interpolation). Es sei f ∈ C(n+1)([a, b]). Es seien x0, . . . , xm paar-weise verschiedene Stützstellen und µk ∈ N für k = 0, . . . ,m ein Ableitungsindex. Fernegelte n = m+

∑mk=0 µk . Das Hermitesche Interpolationspolynom zu

k = 0, . . . ,m : p(i)(xk) = f (i)(xk), i = 0, . . . , µk,

ist eindeutig bestimmt und zu jedem x ∈ [a, b] existiert eine Zwischenstelle ξ ∈ [a, b], sodass gilt:

f(x)− p(x) = f [x0, . . . , x0︸︷︷︸µ0+1

, . . . , xm, . . . , xm︸︷︷︸µm+1

, x]m∏k=0

(x− xk)µk+1

= 1(n+ 1)!f

(n+1)(ξ)m∏k=0

(x− xk)µk+1.

57


3.2 Spline Interpolation

Ein wesentlicher Defekt der globalen Interpolation aus dem vorherigen Abschnitt ist, dassdie interpolierenden Polynome starke Oszillationen zwischen den Stützstellen mit immergrößeren Werten annehmen. Der Grund ist die generische Steifheit, die durch die impli-zite Forderung von C∞-Übergängen in den Stützstellen gegeben ist. Die Steifheit kanndadurch reduziert werden, dass die globale Funktion als stückweise polynomiale (Teil)-Funktionen bzgl. der Zerlegung a = x0 < x1 < . . . < xn < b zusammengesetzt wird. Inden Stützstellen xi werden dann geeignete Differenzierbarkeitseigenschaften gefordert. Amhäufigsten werden in der Literatur sogenannte kubische Splines verwendet. Allerdings hateine spezielle Klasse, die linearen Splines, eine besondere Bedeutung für die numerischeLösung von Differentialgleichungen mit Hilfe der Finite Elemente Methode [10, 12].

Das wesentliche Ziel dieses Abschnitts liegt im Verständnis der stückweisen Approximati-on. Dieses Konzept erlaubt die gleichmäßige Abschätzung der Konvergenz und verhindertOszillationen am Rand des Intervalls, wie sie in Beispiel 3.15 auftreten.

f(x)

Ii

yi

a = x0 xi−1 xi b = xn

yi−1

Abbildung 3.4: Spline-Interpolation.

Das globale Intervall (wie vorher [a, b] =: I) wird in Teilintervalle Ii = [xi−1, xi] mit derLänge hi = xi−xi−1 unterteilt. Die Feinheit der gesamten Intervallunterteilung wird durchh := maxi=1,...n hi charakterisiert. Zur Definition der Splinefunktion (kurz Spline) seiendie Vektorräume von stückweisen polynomialen Funktionen wie folgt gegeben:

Sk,rh [a, b] := {p ∈ Cr[a, b], p|Ii ∈ Pk(Ii)}, k, r ∈ {0, 1, 2, . . .}.

Zu einem Satz gegebener Stützwerte (die wie in Abschnitt 3.1 aus gegebenen Datenwertenoder Funktionswerten stammen können) in dem Gesamtintervall I, wird eine Interpolie-rende p ∈ Sk,rh [a, b] mit Hilfe von geeigneten Interpolationsbedingungen bestimmt.

Wir diskutieren nun einige Beispiele, wobei der Fokus auf der Idee des ganzen Prozes-ses liegt und weniger auf der Beweisführung bei Fragen zu Existenz, Eindeutigkeit undFehlerabschätzung.

Beispiel 3.17 (Stückweise lineare Interpolation). Die stückweise lineare Lagrange-Interpolierende(d.h. k = 1, r = 0) approximiert eine gegebene Funktion f auf [a, b] durch einen Polygonzug

58


f(x)

Ii

yi


yi−1

p

Abbildung 3.5: Stückweise lineare Interpolation p einer Funktion f .

in den Stützstellen xi, i = 0, . . . , n:

p ∈ S1,0h [a, b] = {p ∈ C[a, b], p|Ii ∈ P1(Ii)},

mit den Interpolationsbedingungen

p(xi) = f(xi), i = 0, . . . , n.

Anwendung der Fehlerabschätzung für die Lagrange-Interpolation separat auf jedem Ii lie-fert die globale Fehlerabschätzung

maxx∈[a,b]

|f(x)− p(x)| ≤ 12h

2 maxx∈[a,b]

|f ′′(x)|. (3.6)

Für Schrittweite giltmaxx∈[a,b]

|f(x)− p(x)| → 0 (h→ 0),

gleichmäßig auf dem gesamten Intervall. Im Gegensatz hierzu erhalten wir für n → ∞also für größer werdenden Polynomgrad keine gleichmäßige Konvergenz!

Bemerkung 3.18. Wir halten fest, dass eine gleichmäßige Approximation für Splinesdurch (3.6) gewährleistet ist, falls h → 0 (d.h. eine immer größer werdende Anzahl vonStützstellen). Es ist wichtig, dass eine größere Anzahl von Stützstellen bei der Lagrange-Interpolation nicht hilft, da hier die Anzahl Stützstellen an den Polynomgrad gekoppeltsind. D.h. eine größere Anzahl von Stützstellen impliziert automatisch einen höheren Poly-nomgrad. Allerdings können höhere Ableitungen der zu interpolierenden Funktion f starkesWachstum haben, wodurch die gleichmäßige Fehlerabschätzung in (3.5) nichtig wird.

Die Interpolierende des vorangegangenen Beispiels wird mit Hilfe der sogenannten Kno-tenbasis von S

(1,0)h ([a, b]) konstruiert. Diese Knotenbasis besteht aus den Hutfunktionen

φi ∈ S(1,0)h [a, b], i = 0, . . . , n, die durch die Bedingung

φi(xj) = δij

59


Iixi−1 xi xi+1

1

φi(x)

Abbildung 3.6: Lineare Knotenbasisfunktion - auch Hutfunktion genannt.

eindeutig bestimmt sind. Die Interpolierende p von f erlaubt dann die Darstellung in Formvon

p(x) =n∑i=0

f(xi)φ(xi).

Diese Konstruktion stellt die Analogie zur Lagrangeschen Darstellung des Lagrange-Interpo-lationspolynoms her. Im Gegensatz zu dieser globalen Sichtweise arbeiten wir aber bei denSplines lokal, da die Hutfunktionen φi nur in den direkt an der jeweiligen Stützstelle xiangrenzenden Teilintervallen von Null verschieden ist (siehe Abbildung 3.6).

Bemerkung 3.19. Aus den bisherigen Betrachtungen der linearen Splines erhalten wirdie Erkenntnis, dass eine höhere globale Glattheit (sprich Differenzierbarkeit) offensichtlichnicht sinnvoll zu erzielen ist. Man mache sich nochmals klar, dass an den Stützstellenkeine Differenzierbarkeit vorliegen kann (wegen r = 0) und versuche sich den Fall r = 1vorzustellen.

Bemerkung 3.20. Bei Interesse an höheren Vorlesungen zur Numerik sollte das Kon-struktionsprinzip der linearen Splines nicht vergessen werden, da es die Grundlage derFinite Elemente Technik bildet [10, 12].

Wie in Bemerkung 3.19 erläutert, ist die Konstruktion von linearen Splines mit höherenglobalen Glattheitseigenschaften nicht ohne weiteres möglich. Erhöht man jedoch den loka-len Polynomgrad auf jedem Teilintervall, so kann mit Hilfe der Interpolationsbedingungenhöhere Glattheit erzielt werden. Dies führt auf die kubischen Splines, d.h. k = 3.

Beispiel 3.21 (Stückweise kubische Interpolation). Es sei auf jedem Teilintervall Ii einkubisches Polynom vorgeschrieben, d.h. k = 3 mit r = 0, so dass S(3,0)

h [a, b]. Die Interpo-lationsbedingungen für den Fall r = 0 (d.h. globale Stetigkeit) lauten

p(xi) = f(xi).

60


Zur eindeutigen Bestimmung eines kubischen Polynoms sind in jedem Ii vier Bedingungennotwendig, so dass zwei zusätzliche Interpolationspunkte vorgegeben werden:

p(xij) = f(xij),

wobei xij ∈ Ii, i = 1, . . . , j = 1, 2. Durch diese stückweise kubische Lagrange-Interpolationist eindeutig ein global stetiger Spline p ∈ S(3,0)

h [a, b] festgelegt.

Anstatt die Interpolationsbedingung durch Zwischenwerte xij ∈ (xi−1, xi) anzureichern istes auch möglich Ableitungswerte vorzugeben:

Beispiel 3.22 (Stückweise kubische Hermite-Interpolation). Es sei wiederum auf jedemTeilintervall Ii ein kubisches Polynom vorgeschrieben, d.h. k = 3 und dieses Mal mitr = 1, so dass S(3,1)

h [a, b]. Die Interpolationsbedingungen für den Fall r = 1 (d.h. globaleStetigkeit und einmalige globale Differenzierbarkeit) lauten

p(xi) = f(xi), p′(xi) = f ′(xi)

Durch diese vier Bedingungen p ∈ S(3,1)h [a, b] eindeutig festgelegt.

Bemerkung 3.23. Nutzt man zusätzlich zu den Punktwerten die Ableitungsinformation inden Stützstellen zur Konstruktion einer Interpolierenden, so wie in Beispiel 3.2 geschehen,dann spricht man von Hermite-Interpolation. Diese Interpolationsaufgabe kann für globaleund lokale Interpolationen genutzt werden, siehe Satz 3.16

Satz 3.24. Für den kubischen Spline p (d.h. k = 3) mit r = 0 oder r = 1 zur Approxima-tion der Funktion f gilt die globale Fehlerabschätzung

maxx∈[a,b]

|f(x)− p(x)| ≤ 14!h

4 maxx∈[a,b]

|f (4)(x)|.

Zur eindeutigen Bestimmung einer stückweise kubischen Funktion sind auf jedem IntervallIi vier Bedingungen erforderlich. Dennoch unterscheiden sich die Sätze an Bedingungen inden beiden betrachteten Beispielen. Bei der stückweise kubischen Lagrange Interpolationin Beispiel werden in den n Intervallen jeweils vier Bedingungen p(xij) = f(xij) gestellt,wobei an den Intervallenden xi die gleiche Interpolationsbedingung doppelt auftaucht.Insgesamt ist die stückweise kubische Lagrange Interpolation durch 3n + 1 Bedingungengegeben. Die stückweise Hermite Interpolation in Beispiel hat auch vier Bedingungen proIntervall. An den Intervallenden treten nun jedoch 2 Bedingungen doppelt auf, so dasssich global 2n+ 2 Bedingungen ergeben.

Soll die globale Regularität der Interpolation weiter gesteigert werden, so schlägt dertriviale Ansatz zusätzlich p′′(xi) = f ′′(xi) zu fordern fehl, da dies zu sechs Bedingungenpro Teilintervall führen würde (bei nur vier Unbekannten von eines kubischen Polynoms).

61


Es ist dennoch möglich für eine stückweise kubische Interpolation global C2([a, b]) zuerreichen. Dies wird durch den kubischen Spline realisiert, welcher auf dem Prinzip derEnergieminimierung basiert. Zu Stützstellen xi für i = 0, . . . , n wird eine Funktion s ∈S

(3,2)h gesucht mit der Eigenschaft:

s(xi) = f(xi) = yi, i = 0, . . . , n,∫ b

as′′(x)2 dx = min!.

Die Ableitungswerte von s(x) müssen in den Stützstellen keiner Interpolationsbedingunggenügen, s(x) muss global lediglich stetig zweimal differenzierbar sein (d.h., die Ablei-tungswerte von s(x) müssen an den Enden der Teilintervalle stetig sein) und die Energie,also das Integral über die zweiten Ableitungen muss minimiert werden.

Hieraus ist wohl auch der Begriff Spline entsprungen, da seine Übersetzung ins Deutscheder Biegestab ist. Man stelle sich einen elastischen Stab vor, welcher an gewissen Punktenfestgehalten wird, dazwischen jedoch eine freie Form annehmen darf. Nach physikalischenGrundprinzipien wird diese Form die Energie des Stabes minimieren. Das Energiemini-mierungsprinzip ist höchst wichtig und tritt in der Natur und Alltag häufig auf (z.B.Seifenhäute). Man mache sich klar, dass eine minimale Energie den geringsten Energie-verbrauch bedeutet und damit Treibstoffkosten gespart werden kann.

Diese Form des Splines ist die am häufigsten genutzte Spline-Interpolationsaufgabe undhat z.B. große Anwendungen in der Computergrafik.

Mathematisch ausgedrückt bedeutet Energieminimierung im Falle des Splines:

∫ b

as′′(x)2 dx = min!

bzgl. aller möglichen interpolierenden (hinreichend glatten) Funktionen.

Definition 3.25 (Kubischer Spline). Eine Funktion sn : [a, b]→ R wird kubischer Splinebzgl. Zerlegung a = x0 < x1 < . . . < xn = b genannt, wenn gilt

i) sn ∈ C2[a, b].

ii) sn|[xi−1,x] ∈ P3, i = 1, . . . n.

Falls zusätzlich

iii) s′′n(a) = s′′n(b) = 0

gilt, so heißt der Spline natürlich.

62

3.3 Numerische Differentiation

Satz 3.26 (Existenz, Energieminimierung und Fehlerabschätzung kubischer Splines). Essei f eine gegebene zu interpolierende Funktion oder y0, . . . , yn eine Reihe von Messwerten.Durch x0, x1, . . . , xn seien n + 1 paarweise verschiedene Stützstellen gegeben. Der durchdie Interpolationsvorschrift

sn(xi) = f(xi) = yi ∈ R, i = 0, . . . , n, s′′n(a) = ya ∈ R, s′′n(b) = yb ∈ R

beschriebene kubische Spline existiert. Er ist eindeutig bestimmt durch die Vorgabe derzweiten Ableitungsinformationen.Sei weiter g ∈ C2([a, b]) beliebig mit g(xi) = f(xi) = yi mit xi ∈ [a, b] sowie ya = g′′(a)und yb = g′′(b). Dann gilt das Prinzip der Energieminimierung:∫ b

a|s′′n(x)|2 dx ≤

∫ b

a|g′′(x)|2 dx, ∀g ∈ C2[a, b].

Falls f ∈ C4[a, b], so gilt die Fehlerabschätzung

maxa≤x≤b

|f(x)− sn(x)| ≤ 12h

4 maxa≤x≤b

|f (4)(x)|.

Beweis: Siehe [9], S. 43-47. �


In diesem Abschnitt befassen wir uns mit einer einfachen numerischen Aufgabe: zu einergegebenen Funktion f : [a, b] → R soll in einem Punkt x0 ∈ (a, b) die Ableitung f ′(x0)oder die n-te Ableitung f (n)(x0) berechnet werden. Wir gehen davon aus, dass es mit ver-tretbarem Aufwand nicht möglich ist, die Funktion f(x) symbolisch zu Differenzieren unddie Ableitung an der Stelle x0 auszuwerten. Wir benötigen also Approximationsverfahrenzur Bestimmung der Ableitung. Die grundlegende Idee wird durch das folgende Verfahrenbeschrieben:

Verfahren 3.27 (Numerische Differentiation). Die Funktion f : [a, b] → R wird durchein Polynom p(x) interpoliert. Die n-te Ableitung f (n)(x0) wird durch die n-te Ableitungdes Polynoms p(n)(x0) approximiert.

Im Folgenden entwickeln wir einige einfache Verfahren zur Approximation von Ableitun-gen, welche auf der Interpolation beruhen.

Lineare Interpolation Wir interpolieren f(x) linear in den Stützstellen x0 sowie x0 + h:

p1(x) = f(x0)x0 + h− xh

+ f(x0 + h)x− x0h

, p′1(x) = f(x0 + h)− f(x0)h

.

63


Wir approximieren in x = x0 und erhalten mit Taylorentwicklung von f(x0 + h) um x0

p′1(x0) = f(x0 + h)− f(x0)h

= f ′(x0) + h

2 f′′(x0) +O(h2),

bei gegebener Differenzierbarkeit von f eine Approximation der ersten Ableitung vonerster Ordnung, also p′1(x0) = f ′(x0) +O(h). Diese erste Approximation heißt einseitigerDifferenzenquotient . Dabei kann zur Approximation natürlich auch eine Stützstelle x0−hlinks von der Auswertungsstelle gewählt werden:

p1(x) = f(x0)− f(x0 − h)h

= f ′(x0) + h

2 f′′(x0) +O(h2).

Insbesondere bei der Diskretisierung von gewöhnlichen Differentialgleichungen haben sichfür diese beiden Varianten die Begriffe Vorwärtsdifferenzenquotient und Rückwärtsdiffe-renzenquotient etabliert (je nachdem, ob die weitere Stützstelle nach vorne x0 + h oderzurück x0 − h greift).

Aus Symmetriegründen erscheint es ebenso sinnvoll, das Interpolationspolynom in derMitte zwischen den beiden Stützstellen auszuwerten. Wir legen daher ein lineares Inter-polationspolynom durch die beiden Stützstellen x0 − h und x0 + h:

p1(x) = f(x0 − h)x0 + h− x2h + f(x0 + h)x− x0 + h

2h , p′1(x) = f(x0 + h)− f(x0 − h)2h .

Wir approximieren wieder bei x0 und erhalten mit Taylorentwicklung beider Terme umden Mittelpunkt x0 wegen

f(x0 ± h) = f(x0)± hf ′(x0) + h2

2 f′′(x0)± h3

6 f′′′(x0) + h4

24f(iv)(x0) +O(h5),

die bessere Approximation von zweiter Ordnung:

p′1(x0) = f(x0 + h)− f(x0 − h)2h = f ′(x0) + h2

6 f′′′(x0) +O(h4). (3.7)

Diese wichtige Approximation wird zentraler Differenzenquotient genannt. Das Ausnut-zen von Symmetrie beim Entwurf von numerischen Verfahren führt oft zu einer besserenKonvergenzordnung als zunächst erwartet. So ein Verhalten wird im Allgemeinen Supe-rapproximation genannt.

Eine lineare Interpolation p1 ∈ P1 eignet sich nicht zur Approximation höherer Ableitun-gen, da p′1 konstant ist.

Quadratische Interpolation Wir interpolieren f(x) mit Hilfe der drei Stützstellen x0−h,x0, x0 + h durch ein quadratisches Polynom:

p2(x) = f(x0 − h)(x0 − x)(x0 + h− x)2h2

+ f(x0)(x− x0 + h)(x0 + h− x)h2 + f(x0 + h)(x− x0 + h)(x− x0)

2h2 .

64


In x = x0 gilt für erste und zweite Ableitungen:

p′2(x0) = f(x0 + h)− f(x0 − h)2h , p′′2(x0) = f(x0 + h)− 2f(x0) + f(x0 − h)

h2 .

Für die erste Ableitung ergibt sich erstaunlicherweise wieder der zentralen Differenzen-quotienten, der schon durch lineare Interpolation hergeleitet wurde. Dies ist der Ursprungder Bezeichnung Superapproximation: mit Hilfe der linearen Interpolierenden wird ein Er-gebnis erreicht, das eigentlich erst bei quadratischer Interpolierender zu erwarten wäre.

Für die zweite Ableitung erhalten wir mit Taylorentwicklung:

p′′2(x0) = −2f(x0) + f(x0 − h) + f(x0 + h)h2 = f ′′(x0) + 1

12h2f (iv)(x0) +O(h4)

den zentrale Differenzenquotient für die zweite Ableitung.

Wir können auf der Basis von p2 auch einen einseitigen Differenzenquotienten für diezweite Ableitung herleiten. Dies erfolgt durch Approximation von f ′′(x0−h) ≈ p′′2(x0−h).Wieder mit Taylorentwicklung erhalten wir

p′′(x0 − h) = f ′′(x0 − h) + hf ′′′(x0 − h) +O(h2)

lediglich eine Approximation erster Ordnung. Neben der Ordnung des Interpolationspoly-noms p(x) kommt es entscheidend auf die entsprechende Wahl der Stützstellen an.

Wir betrachten ein Beispiel:

Beispiel 3.28. Es seif(x) = tanh(x).

Wir suchen eine Approximation von

f ′(1

2

)≈ 0.7864477329659274, f ′′

(12

)≈ −0.7268619813835874.

Zur Approximation verwenden wir für die vier bisher diskutieren Differenzenquotienten zuverschiedenen Schrittweiten h > 0:

In Abbildung 3.7 tragen wir die Fehler der Approximationen gegenüber der Schrittweiteauf. Hier ist deutlich der Unterschied zwischen linearer und quadratischer Ordnung in hzu erkennen.

Stabilität

Abschließend untersuchen wir die Stabilität der Differenzenapproximation. Die Koeffizi-enten der verschiedenen Formeln wechseln das Vorzeichen, somit besteht die Gefahr derAuslöschung. Exemplarisch führen wir die Stabilitätsanalyse für die zentralen Differenzen-approximation zur Bestimmung der ersten Ableitung durch. Wir gehen davon aus, dass die

65


hf( 1

2 +h)−f( 12 )

h

f( 12 +h)−f( 1

2−h)2h

f( 12 +2h)−f( 1

2 +h)+f( 12 )

h2f( 1

2 +h)−2f( 12 )+f( 1

2−h)h2

12 0.598954 0.761594 −0.623692 −0.65056114 0.692127 0.780461 −0.745385 −0.70666718 0.739861 0.784969 −0.763733 −0.721740116 0.763405 0.786079 −0.753425 −0.725577132 0.775004 0.786356 −0.742301 −0.726540164 0.780747 0.786425 −0.735134 −0.726782

Exakt 0.786448 0.786448 −0.726862 −0.726862

Tabelle 3.1: Differenzenapproximation von f ′(1/2) (zwei Tabellen links) und f ′′(1/2)(rechts) der Funktion f(x) = tanh(x). Dabei ist jeweils der einseitige bzw.der zentrale Differenzenquotient genutzt worden.

1e-05

0.0001

0.001

0.01

0.1

1

0.01 0.1 1

Fe

hle

r

h

Approximation der ersten AbleitungEinseitig

Zentral

1e-05

0.0001

0.001

0.01

0.1

1

0.01 0.1 1

Fe

hle

r

h

Approximation der zweiten AbleitungZentral

Einseitig

Abbildung 3.7: Fehler bei der Differenzenapproximation der ersten (links) und zweiten(rechts) Ableitung von f(x) = tanh(x) im Punkt x0 = 1

2 .

Funktionswerte an den beiden Stützstellen nur fehlerhaft (mit relativem Fehler |ε| ≤ eps)ausgewertet werden können und erhalten:

p′(x0) = f(x0 + h)(1 + ε1)− f(x0 − h)(1 + ε2)2h (1 + ε3)

= f(x0 + h)− f(x0 − h)2h (1 + ε3) + ε1f(x0 + h)− ε2f(x0 − h)

2h +O(eps2).

Für den relativen Fehler gilt∣∣∣∣ p′(x0)− p′(x0)p′(x0)

∣∣∣∣ ≤ eps+ |f(x0 + h)|+ |f(x0 − h)||f(x0 + h)− f(x0 − h)| eps+O(eps2).

Im Fall f(x0 + h) ≈ f(x0 − h) also f ′(x0) ≈ 0 kann der Fehler beliebig stark verstärktwerden. Je kleiner h gewählt wird, umso größer wird dieser Effekt, denn:

f(x0 + h)− f(x0 − h) = 2hf ′(x0) +O(h2).

66

3.4 Richardson Extrapolation zum Limes

Dieses Ergebnis ist gegenläufig zur Fehlerabschätzung für den Differenzenquotienten (3.7).Bei der numerischen Approximation müssen beide Fehleranteile addiert werden:

|f ′(x0)− p′(x0)||f ′(x0)| ≤ |f

′(x0)− p′(x0)||f ′(x0)| + |p

′(x0)− p′(x0)||f ′(x0)|

≤ 13h

2 +O(h4) + maxξ |f(ξ)||f ′(x0)|h eps+O(eps2).

Für kleines h steigt der Rundungsfehleranteil. Der Gesamtfehler wird minimal, falls beideFehleranteile balanciert sind, also im Fall:

h2 ≈ eps

h⇒ h ≈ 3

√eps.


Eine wichtige Anwendung der Interpolation ist die Extrapolation zum Limes. Die Idee lässtsich am einfachsten anhand eines Beispiels erklären. Wir wollen die Ableitung f ′(x0) einerFunktion f im Punkt x0 mit Hilfe des einseitigen Differenzenquotienten berechnen:

a(h) := f(x0 + h)− f(x0)h

.

Der Schrittweitenparameter h bestimmt die Qualität der Approximation a(h) ≈ f ′(x0).Für h→ 0 gilt (bei Vernachlässigung von Rundungsfehlern) a(h)→ f ′(x0). An der Stelleh = 0 lässt sich a(h) jedoch nicht auswerten. Die Idee die Extrapolation zum Limes ist esnun, ein Interpolationspolynom p(x) durch die Stützstellenpaare (hi, a(hi)) für eine Folgevon Schrittweiten h0, h1, . . . , hn zu legen und den Wert p(0) als Approximation für a(0)zu verwenden.

Es stellt sich die grundlegende Frage: hat die Interpolierende in den Stützstellen h0, . . . , hnauch Aussagekraft außerhalb des Intervalls I := [mini hi,maxi hi]? Beispiel 3.15 lässt dieszunächst nicht vermuten. Hier war die Approximationseigenschaft durch Oszillationen inPunkten zwischen den Stützstellen schon am Rande des Intervalls I stark gestört. Wirbetrachten dennoch ein einfaches Beispiel:

Beispiel 3.29 (Extrapolation des einseitigen Differenzenquotienten). Zu f ∈ C3([a, b])sei

a(h) = f(x0 + h)− f(x0)h

= f ′(x0) + h

2 f′′(x0) + h2

6 f′′′(ξx0,h), (3.8)

die einseitige Approximation der ersten Ableitung. Wir legen durch die Stützstellen (h, a(h))sowie (h/2, a(h/2)) das lineare Interpolationspolynom,

p(t) =(t− h

2h− h

2

)a(h) +

(t− hh2 − h

)a

(h

2

),

67


und werten dieses an der Stelle t = 0 als Approximation von a(0) aus:

a(0) ≈ p(0) = 2a(h

2

)− a(h).

Für a(h/2) sowie a(h) setzen wir die Taylor-Entwicklung (3.8) ein und erhalten mit

p(0) = 2(f ′(x0) + h

4 f′′(x0) + h2

24f′′′(ξx0,h/2)

)−(f ′(x0) + h

2 f′′(x0) + h2

6 f′′′(ξx0,h)

)= f ′(x0) +O(h2),

eine Approximation der ersten Ableitung von zweiter Ordnung in der Schrittweite h.

Dieses Extrapolationsprinzip lässt sich mit weiteren Stützstellen und Interpolation mitPolynomen von größerem Grad fortsetzen.

Dieses Beispiel zeigt, dass durch das Prinzip der Extrapolation es grundsätzlich möglichist, die Ordnung eines Verfahrens durch geschickte Kombination der Ergebnisse a(hi) zuverbessern. Eine solche Vorgehensweise, bei der Ergebnisse eines numerischen Verfahrensweiter verarbeitet werden, wird Postprocessing genannt.

Satz 3.30 (Einfache Extrapolation). Es sei a(h) : R+ → R eine n + 1 mal stetig diffe-renzierbare Funktion mit der Summenentwicklung

a(h) = a0 +n∑j=1

ajhj + an+1(h)hn+1,

mit Koeffizienten aj ∈ R sowie an+1(h) = an+1 +o(1). Weiter sei (hk)k=0,1,... mit hk ∈ R+eine monoton fallende Schrittweitenfolge mit der Eigenschaft

0 < hk+1hk≤ ρ < 1. (3.9)

Es sei p(k)n ∈ Pn das Interpolationspolynom zu (hk, a(hk)), . . . , (hk+n, a(hk+n)). Dann gilt:

a(0)− p(k)n (0) = O(hn+1

k ) (k →∞).

Beweis: In Lagrangescher Darstellung gilt

p(k)n (t) =

n∑i=0

a(hk+i)L(n)k+i(t), L

(n)k+i =

n∏l=0,l 6=i

t− hk+lhk+i − hk+l

. (3.10)

Für die Lagrangeschen Basispolynome gilt die Beziehung:

n∑i=0

hrk+iL(n)k+i(0) =

1 r = 0,0 r = 1, . . . , n,(−1)n

∏ni=0 hk+i r = n+ 1.

(3.11)

68


Der Nachweis erfolgt durch Analyse der Lagrangeschen Interpolation von tr für verschie-dene Exponenten r. Wir setzen die Entwicklung von a(h) in die Polynomdarstellung (3.10)ein und erhalten für t = 0:

p(k)n (0) =

n∑i=0

a0 +n∑j=1

ajhjk+i + an+1(hk+i)hn+1

k+i

L(n)k+i(0).

Mit (3.11) und an+1(hk+i) = an+1 + o(hk+i) folgt:

p(k)n (0) = a0 + an+1(−1)n

n∏i=0

hi+k +n∑i=0

o(1)hn+1k+i L

(n)k+i(0).

Mit der Schrittweitenbedingung (3.13) hk+i ≤ ρihk gilt für die Lagrangeschen Basispoly-nome in t = 0:

|L(n)k+i(0)| =

n∏l=0,l 6=i

∣∣∣∣∣∣ 1hk+ihk+l− 1

∣∣∣∣∣∣ ≤n∏

l=0,l 6=i

∣∣∣∣ 1ρi−l − 1

∣∣∣∣ = c(ρ, n). (3.12)

Insgesamt folgt mit hk+i ≤ hk

p(k)n = a(0) + (−1)nan+1h

n+1k + o(hn+1

k ).

�

Die Schrittweitenbedingung ist notwendig zum Abschätzen von |L(n)k+i| = O(1) und ver-

hindert das starke Oszillieren der Basisfunktionen bei t = 0 wie in Beispiel 3.15 beobach-tet. Eine zulässige Schrittweitenfolgen zur Extrapolation ist hi = h0

2i . Die einfache Wahlhi = h0/i hingegen ist nicht zulässig, da hier hk+1/hk → 1 gilt und eine Abschätzung inSchritt (3.12) nicht mehr gleichmäßig in k möglich ist.

Um die Extrapolationsvorschrift auf ein gegebenes Verfahren anzuwenden, werden dieApproximationen p

(k)n (0) mit Hilfe des Neville-Schemas aus Algorithmus berechnet. Wir

führen hierzu Beispiel 3.29 fort:

Beispiel 3.31 (Extrapolation des Differenzenquotienten). Wir approximieren die Ablei-tung von f(x) = tanh(x) an der Stelle x0 = 0.5 und berechnen die Approximationen mitdem einseitigen Differenzenquotienten. Exakter Wert tanh′(0.5) ≈ 0.78645:

h a(h) pkk pk,k+1 pk,k+2 pk,k+32−1 0.59895 0.59895 0.78530 0.78836 0.786502−2 0.69213 0.69213 0.78759 0.786732−3 0.73986 0.73986 0.786952−4 0.76341 0.76341

Die Richardson-Extrapolation spielt ihre Stärke erst dann voll aus, wenn die zugrunde-liegende Funktion a(h) eine spezielle Reihenentwicklung besitzt, welche z.B. nur gerade

69


Potenzen von h beinhaltet. Für den zentralen Differenzenquotienten gilt bei hinreichenderRegularität von f :

a(h) := f(x0 + h)− f(x0 − h)2h = f ′(x0) +

n∑i=1

f (2i+1)x0(2i+ 1)! h

2i +O(h(2n+1)).

Die Idee ist es nun, diese Entwicklung bei der Interpolation auszunutzen und nur Polyno-me in 1, h2, h4, . . . zu berücksichtigen. Der zentrale Differenzenquotient ist kein Einzelfall.Bei der numerischen Quadratur werden wir das Romberg-Verfahren kennenlernen, welchesebenso auf der Extrapolation einer Vorschrift mit Entwicklung in h2 beruht. Auch bei derApproximation von gewöhnlichen Differentialgleichungen lernen wir mit dem Gragg’schenExtrapolationsverfahren eine Methode kennen, die auf diesem Prinzip beruht. Daher for-mulieren wir ohne Beweis denn allgemeinen Satz zur Richardson-Extrapolation:

Satz 3.32 (Richardson-Extrapolation zum Limes). Es sei a(h) : R+ → R für ein q > 0eine q(n+ 1) mal stetig differenzierbare Funktion mit der Summenentwicklung

a(h) = a0 +n∑j=1

ajhqj + an+1(h)hq(n+1),

mit Koeffizienten aj ∈ R sowie an+1(h) = an+1+o(1). Weiter sei (hk)k=0,1,... eine monotonfallende Schrittweitenfolge hk > 0 mit der Eigenschaft

0 < hk+1hk≤ ρ < 1. (3.13)

Es sei p(k)n ∈ Pn (in hq) das Interpolationspolynom zu (hqk, a(hk)), . . . , (hqk+n, a(hk+n)).

Dann gilt:a(0)− p(k)

n (0) = O(hq(n+1)k ) (k →∞).

Beweis: Der Beweis ist eine einfache Modifikation von Satz 3.31 und kann imWesentlichenmit Hilfe der Substitution hk = hqk übertragen werden. Für Details, siehe [9]. �

Prinzipiell erlaubt die Richardson-Extrapolation bei hinreichender Regularität eine be-liebige Steigerung der Verfahrensordnung. Üblicherweise werden jedoch nur einige wenigeExtrapolationsschritte aus den letzten Verfahrenswerten hk, hk+1, . . . , hk+n verwendet. DieExtrapolation wird am einfachsten mit dem modifizierten Neville-Schema durchgeführt.

Algorithmus 3.33 (Modifiziertes Neville-Schema zur Extrapolation). Für h0, h1, . . . , hnsei a(hi) bekannt. Berechne:

1 f ü r k = 0, . . . , n s e t z e ak,k := a(hk)2 f ü r l = 1, . . . , n und3 f ü r k = 0, . . . , n− l berechne4 ak,k+l := ak,k+l−1 −

ak+1,k+l−ak,k+l−1hqk+lhqk

−1

70

3.5 Numerische Integration

Wir schließen die Richardson-Extrapolation mit einem weiteren Beispiel ab:

Beispiel 3.34 (Extrapolation des zentralen Differenzenquotienten). Wir approximierendie Ableitung von f(x) = tanh(x) an der Stelle x = 0.5 mit dem zentralen Differenzen-quotienten und Extrapolation. Exakter Wert ist tanh′(0.5) ≈ 0.7864477329:

h a(h) = pkk pk,k+1 pk,k+2 pk,k+32−1 0.761594156 0.7867493883 0.7864537207 0.78644774432−2 0.780460580 0.7864721999 0.78644783772−3 0.784969295 0.78644936032−4 0.786079344

Bereits die jeweils erste Extrapolation pk,k+1 liefert weit bessere Ergebnisse als die Ex-trapolation des einseitigen Differenzenquotienten. Die beste Approximation verfügt über 8richtige Stellen.


Die numerische Integration (oder auch numerische Quadratur) dient zur approximativenBerechnung von Integralen. Mögliche Gründe sind

• Die Stammfunktion eines Integrals lässt sich nicht durch eine elementare Funktionausdrücken. Z.B. ∫ ∞

0exp(−x2)dx,

∫ ∞0

sin(x)x

dx.

• Eine Stammfunktion existiert in geschlossener Form, aber die Berechnung ist derartaufwendig, so dass numerische Methoden vorzuziehen sind.

• Der Integrand ist nur an diskreten Stellen bekannt; beispielsweise bei Messreihen-daten.

Bei der numerischen Integration basieren die Methoden auf den bereits kennengelern-ten Interpolatonsmethoden. Sie sind somit eine klassische Anwendung der der Polynom-Interpolation sowie Spline-Interpolation. Erstere führen auf die sogenannten interpolatori-schen Quadraturformeln während die Spline-Interpolation auf die stückweise interpolatori-sche Quadratur (die in der Literatur auch häufig unter dem Namen der zusammengesetztenoder summierten Quadratur zu finden ist).

Bei der interpolatorischen Quadratur einer Funktion f(x) auf dem Intervall [a, b] wirdzunächst eine Interpolationspolynom zu gegebenen Stützstellen x0, x1, . . . , xn kreiert, wel-ches dann integriert wird (basiert dementsprechend auf Abschnitt 3.1). Bei der GaußQuadratur wird die Position der Stützstellen xi ∈ [a, b] im Intervall so bestimmt, dass dieresultierende Integrationsformel eine optimale Ordnung erzielt. Zuletzt betrachten wir alsAnwendung der Extrapolation zum Limes (Abschnitt 3.4), dass sogenannte Romberg’scheIntegrationsverfahren in Abschnitt 3.5.4.

71


Definition 3.35 (Quadraturformel). Es sei f ∈ C[a, b]. Unter einer numerischen Qua-draturformel zur Approximation von I(f) :=

∫ ba f(x) dx verstehen wir die Vorschrift:

In(f) :=n∑i=0

αif(xi),

mit n+1 paarweise verschiedenen Stützstellen x0, . . . , xn sowie n+1 Quadraturgewichtenα0, . . . , αn.

Zunächst bringen wir zur Veranschaulichung einige einfache Beispiele:

Definition 3.36 (Boxregel). Die Box-Regel zur Integration auf [a, b] ist die einfachsteQuadraturformel und basiert auf Interpolation von f(x) mit einem konstanten Polynomp(x) = f(a) und Integration von p(x) (siehe Abbildung 3.8):

I0(f) = (b− a)f(a).

Neben dieser linksseitigen Boxregel existiert mit I0(f) = (b−a)f(b) auch die rechtsseitigeBoxregel.

Die Boxregel hat ihre Bedeutung bei der Herleitung des Riemann-Integrals. Die Boxregelist vergleichbar mit dem einseitigen Differenzenquotienten. Eine bessere Quadraturformelerhalten wir durch Ausnutzen von Symmetrieeigenschaften:

Definition 3.37 (Mittelpunktsregel). Zur Herleitung der Mittelpunktregel wird die Funk-tion f(x) in der Mitte des Intervalls mit einem konstanten Polynom interpoliert:

I0(f) = (b− a)f(a+ b

2

).

Siehe Abbildung 3.8.

Diese beiden Regeln basieren auf einer Interpolation von Grad Null. Zur Herleitung derTrapezregel wird f(x) in den beiden Intervallenden linear interpoliert:

Definition 3.38 (Trapezregel). Die Trapezregel ist durch Integration der linearen Inter-polation in (a, f(a)) sowie (b, f(b)) gebildet:

I1(f) = b− a2 (f(a) + f(b)).

Siehe auch Abbildung 3.8

72


a b

f(x)

a x0 = a+b2 b

f(x)

a b

f(x)

Abbildung 3.8: Linksseitige Boxregel, Mittelpunktsregel und Trapezregel zurIntegralapproximation.

3.5.1 Interpolatorische Quadratur

Die interpolatorischen Quadraturformeln werden über die Konstruktion eines geeignetenInterpolationspolynoms hergeleitet. Zu den gegebenen Stützstellen a ≤ x0 < . . . < xn ≤ bwird gemäß Abschnitt 3.1 das Lagrangsche Interpolationspolynom als Approximation derFunktion f gebildet:

pn(x) =n∑i=0

f(xi)L(n)i (x).

Dieses wird dann integriert:

I(n)(f) :=∫ b

apn(x) dx =

n∑i=0

f(xi)∫ b

aL

(n)i (x) dx︸︷︷︸=αi

.

Die Quadraturgewichte

αi =∫ b

aL

(n)i (x)dx (3.14)

hängen offensichtlich nicht von der zu integrierenden Funktion f(x) ab, dafür vom In-tervall [a, b] sowie von den Stützstellen x0, . . . , xn. Dies impliziert die Frage, ob durchgeschickte Verteilung der Stützstellen die Qualität der Gewichte verbessert werden kann.(Als Vorwegnahme auf den nach-nachfolgenden Abschnitt kann diese Frage in der Tag mitJa beantwortet werden).

Bevor wir einzelne Quadratur-Formeln analysieren und nach möglichst leistungsfähigenFormeln suchen, können wir zunächst ein einfaches aber doch allgemeines Resultat herlei-ten:

Satz 3.39 (Lagrange-Quadratur). Für die interpolatorischen Quadraturformeln In(f) mitn+ 1 paarweise verschiedenen Stützstellen x0, x1, . . . , xn gilt zur Approximation des Inte-grals I(f) =

∫ ba f(x) dx die Fehlerdarstellung

I(f)− In(f) =∫ b

af [x0, . . . , xn, x]

n∏j=0

(x− xj) dx,

mit Newtonscher Restglieddarstellung.

73


Beweis: Der Beweis folgt unmittelbar durch Integration der entsprechenden Fehlerab-schätzung für die Lagrange-Interpolation in Satz 3.12. �

Hieraus folgt eine wichtige Eigenschaft der interpolatorischen Quadraturformeln:

Korollar 3.40. Die interpolatorische Quadraturformel I(n)(·) ist exakt für alle Polynomevom Grad n.

Beweis: Folgt direkt aus der Konstruktion der interpolatorischen Quadraturformeln, dafür jedes f ∈ Pn sofort p = f gilt. �

Die Integrierbarkeit von Polynomen wird genutzt, um die Ordnung von Quadraturregelnzu charakterisieren:

Definition 3.41 (Ordnung von Quadraturregeln). Eine Quadraturformel I(n)(·) wird(mindestens) von der Ordnung m genannt, wenn durch sie mindestens alle Polynomeaus Pm−1 exakt integriert werden. D.h. die interpolatorischen Quadraturformeln I(n)(·) zun+ 1 Stützstellen sind mindestens von der Ordnung n+ 1.

Im Folgenden werden wir die bereits eingeführten einfachen Quadraturformeln näher ana-lysieren und ihre Fehlerabschätzung sowie Ordnung bestimmen. Hierzu werden wir dieNewtonsche Integraldarstellung des Interpolationsfehlers aus Satz 3.39 nutzen.

Satz 3.42 (Boxregel). Es sei f ∈ C1[a, b]. Die Boxregel (Definition 3.36) ist von ersterOrdnung und es gilt die Fehlerabschätzung:

I0(f) := (b− a)f(a), I(f)− I0(f) = (b− a)2

2 f ′(ξ),

mit einer Zwischenstelle ξ ∈ (a, b).

Beweis: Die Boxregel basiert auf der Interpolation mit einem konstanten Polynom, hatdaher erste Ordnung. Aus Satz 3.39 folgt mit x0 = a:

I(f)− I0(f) =∫ b

af [a, x](x− a) dx,

wobei mit Satz 3.12 weiter gilt:

I(f)− I0(f) =∫ b

a

∫ 1

0f ′(a+ t(x− a))(x− a)dtdx.

Wir wenden den Mittelwertsatz der Integralrechnung zweimal an und erhalten

I(f)− I0(f) = f ′(ξ)∫ b

a

∫ 1

0(x− a) dtdx = 1

2f′(ξ)(b− a)2,

74


mit einem Zwischenwert ξ ∈ (a, b). �

Die Boxregel ist die einfachste Quadraturformel. In Analogie zur Diskussion bei den Dif-ferenzenquotienten können wir bei der Mittelpunktsregel durch geschickte Ausnutzungder Symmetrie eine bessere Approximationsordnung erwarten. Um diese bessere Ordnungzu erreichen müssen wieder Superapproximationeigenschaften genutzt werden, welche imAllgemeinen etwas Mehraufwand erfordern:

Satz 3.43 (Mittelpunktsregel). Es sei f ∈ C2[a, b]. Die Mittelpunktsregel (Definition 3.37)ist von Ordnung 2 und es gilt die Fehlerabschätzung:

I0(f) := (b− a)f(a+ b

2

), I(f)− I0(f) = (b− a)3

24 f ′′(ξ),


Beweis: Aufgrund der Interpolation mit konstantem Polynom ist zunächst ist nur ersteOrdnung zu erwarten. Es gilt mit Satz 3.4:

I(f)− I0(f) =∫ b

af

[a+ b

2 , x

](x− a+ b

2

)dx.

Angenommen f(x) ein lineares Polynom. Dann ist f ′ konstant und also f [(a+ b)/2, x] =f [(a+ b)/2, x] mit x ∈ [a, b]. Aus Symmetriegründen folgt:

I(rf)− I0(f) = f [(a+ b)/2, x]︸︷︷︸konstant

∫ b

a

(x− a+ b

2

)dx︸︷︷︸

=0

= 0.

Zur Herleitung der Fehlerabschätzung soll diese Argumentation weiter genutzt werden.Das Restglied einer beliebigen linearen Funktion f verschwindet. Daher können wir einbeliebiges f (welches wir weiter unten spezifizieren) in die Fehleridentität (3.15) für allge-meines f ∈ C2([a, b]) einschieben:

I(f)− I0(f) =∫ b

af

[a+ b

2 , x

](x− a+ b

2

)dx

=∫ b

a

(f

[a+ b

2 , x

]− f

[a+ b

2 , x

])(x− a+ b

2

)dx.

Es gilt mit Taylor-Entwicklung von f ′ um den Mittelwert:

f

[a+ b

2 , x

]=∫ t

0f ′(a+ b

2 + t

(x− a+ b

2

))dt

=∫ t

0

(f ′(a+ b

2

)+ t

(x− a+ b

2

)f ′′(ξ)

)dt,

75


mit einem Mittelwert ξ. Wir wählen nun f so, dass f [(a+ b)/2, x] = f ′((a+ b)/2). Dannfolgt (mit nochmaliger Anwendung des Mittelwertsatzes der Integralrechnung):

I(f)− I0(f) = f ′′(ξ)∫ b

a

∫ 1

0t

(x− a+ b

2

)2dt dx = (b− a)3

24 f ′′(ξ).

�

Die höhere Ordnung der Mittelpunktsregel erhalten wir nur durch Einschieben der Nullin Form einer linearen Funktion f . Mit dem gleichen Aufwand wie die Boxregel, also miteiner Auswertung der Funktion f(x) erreicht die Mittelpunktsregel die doppelte Ordnung.

Satz 3.44 (Trapezregel). Es sei f ∈ C2([a, b]). Die Trapezregel (Definition 3.38) ist vonOrdnung 2 und es gilt die Fehlerabschätzung:

I1(f) := b− a2 (f(a) + f(b)), I(f)− I1(f) = (b− a)3

12 f ′′(ξ),


Beweis: Mit Satz 3.4 gilt:

I1(f)− I(f) =∫ b

af [a, b, x](x− a)(x− b)dx. (3.15)

Für f [a, b, x] gilt bei zweimaliger Anwendung des Mittelwertsatzes der Integralrechnung:

f [a, b, x] =∫ 1

0

∫ t1

0f ′′(a+ t1(b− a) + t(x− b))dt dt1 = 1

2f′′(ξa,b,x),

mit einem Zwischenwert ξx. Hiermit erhalten wir mit nochmaliger Anwendung des Mit-telwertsatzes (da (x− a)(x− b) ≤ 0) die Restgliedabschätzung:

I(f)− I1(f) = 12

∫ b

af ′′(ξx)(x− a)(x− b) dx = (b− a)3

12 f ′′(ξ),

mit einem weiteren Zwischenwert ξ ∈ (a, b). �

Die Verwendung eines quadratischen Interpolationspolynoms führt auf die Simpson Regel:

Satz 3.45 (Simpson-Regel). Es sei f ∈ C4[a, b]. Die Simpson-Regel, basierend auf Inter-polation mit quadratischem Polynom:

I2(f) = b− a6

(f(a) + 4f

(a+ b

2

)+ f(b)

),

ist von Ordnung vier und es gilt:∫ b

af(x) = I(f)− I2(f) = f (4)(ξ)

2880 (b− a)5,

wobei ξ ∈ (a, b).

76


Beweis: Der Beweis folgt analog zu den Beweisen zu Mittelpunkts- und Trapezregel undsei dem Leser als Übung gestellt. Dabei müssen wieder das Superapproximationsprinzipausgenutzt werden. �

Bemerkung 3.46. Wie bei der Mittelpunktsregel ist die Ordnung der Simpson-Regel einePotenz höher als zu erwarten wäre. Treibt man dieses Spiel weiter und konstruiert nochhöhere Quadraturformeln, dann erkennen wir ein allgemeines Prinzip: bei Quadratur mitgeraden Interpolationspolynomen, wird die Fehlerordnung um eine Potenz erhöht. Diesfolgt jeweils aus Symmetriegründen.

Bei allen bisherigen Quadraturformeln sind die Stützstellen gleichmäßig im Intervall [a, b]verteilt. Diese Formeln werden Newton-Cotes-Formeln genannt:

Definition 3.47 (Newton-Cotes-Formeln). Quadraturregeln mit äquidistant im Intervall[a, b] verteilten Stützstellen heißen Newton-Cotes-Formeln. Gehören die Intervallenden asowie b zu den Stützstellen, so heißen die Formeln abgeschlossen, ansonsten offen.

In Tabelle 3.2 fassen wir einige gebräuchliche Newton-Cotes Formeln zusammen. Ab n ≥ 7bei den abgeschlossenen Formeln und ab n = 2 bei den offenen Formeln, treten negativeQuadraturgewichte αi auf. Dies führt zu dem Effekt, dass auch bei rein positiven Integran-den Auslöschung auftreten kann. Daher sind diese Formeln aus numerischer Sicht nichtmehr anwendbar.

Tabelle 3.2: Eigenschaften und Gewichte der Newton-Cotes Formeln.n Gewichte αi Name0 1 offen Boxregel1 1

2 ,12 geschlossen Trapezregel

2 16 ,

46 ,

16 geschlossen Simpson-Regel

3 324 ,

924 ,

924 ,

324 geschlossen Newton’s 3/8-Regel

4 14180 ,

64180 ,

24180 ,

64180 ,

14180 geschlossen Milne’s-Regel

3.5.2 Stückweise interpolatorische Quadraturformeln

Die interpolatorische Quadratur aus dem vorangegangenen Abschnitt beruht auf der Inte-gration eines Interpolationspolynoms p. Für dieses gilt die Fehlererabschätzung (Satz 3.11):

f(x)− p(x) = f (n+1)(ξ)(n+ 1)!

n∏i=0

(x− xi).

Die Genauigkeit der Quadratur kann prinzipiell auf zwei Wege verbessert werden: derVorfaktor kann durch Wahl von mehr Stützstellen klein gehalten werden, denn es gilt

77


1/(n + 1)! → 0. Dies führt jedoch nur dann zur Konvergenz des Fehlers, falls die Ablei-tungen f (n) nicht zu schnell wachsen, siehe Beispiel 3.15. Als zweite Option bleibt dasProdukt der Stützstellen. Eine einfache Abschätzung besagt wegen x, x0, . . . , xn ∈ [a, b]:∣∣∣∣∣

n∏i=0

(x− xi)∣∣∣∣∣ ≤ (b− a)n+1.

Interpolationsfehler (und somit auch Quadraturfehler) lassen sich durch Potenzen der In-tervallgröße beschränken. Dies wird zur Entwicklung von stabilen und konvergenten Qua-draturformeln entsprechend dem Vorgehen der summierten Interpolation (Abschnitt 3.2)genutzt. Hierzu sei

a = y0 < y1 < · · · < ym = b, hi := yi − yi−1,

eine Zerlegung des Intervalls [a, b] in m Teilintervalle mit Schrittweite hi. Auf jedem dieserm Teilintervalle wird die Funktion f mit Hilfe einer Quadraturformel approximiert:

Inh (f) =m∑i=1

In[yi−1,yi](f).

Aus Satz 3.39 folgt sofort eine allgemeine Fehlerabschätzung für die summierten Quadra-turformeln

Satz 3.48 (Summierte Quadratur für n ungerade). Es sei f ∈ Cn+1([a, b]) sowie a =y0 < · · · < ym = b eine Zerlegung des Intervalls mit Schrittweiten hi := yi − yi−1 sowieh := max hi. Für die die summierte Quadraturformeln Inh (f) gilt die Fehlerabschätzung:

I(f)− Inh (f) ≤ cmax[a,b]|f (n+1)|hn+1,

mit einer Konstante c(n) > 0.

Beweis: Der Beweis folgt einfach aus Kombination von Satz 3.39 sowie der differentiellenRestglieddarstellung der Lagrange-Interpolation. �

Satz 3.49 (Summierte Quadratur für n gerade). Es sei f ∈ Cn+1([a, b]) sowie a = y0 <· · · < ym = b eine Zerlegung des Intervalls mit Schrittweiten hi := yi − yi−1 sowie h :=max hi. Für die die summierte Quadraturformeln Inh (f) gilt die Fehlerabschätzung:

I(f)− Inh (f) ≤ cmax[a,b]|f (n+2)|hn+2,

mit einer Konstante c(n) > 0.

Beweis: Der Beweis folgt einfach aus Kombination von Satz 3.39 sowie der differentiellenRestglieddarstellung der Lagrange-Interpolation. �

78


f(x)

Ii

yi


yi−1

p

Abbildung 3.9: Summierte Trapezregel zur Integralapproximation.

Bemerkung 3.50. Von den einfachen Quadraturregeln überträgt sich demnach die ver-besserte Konvergenzordnung bei geraden n auf die summierten Quadraturformeln.

Aus diesen Resultaten kann ein wichtiges Ergebnis abgelesen werden: für h → 0, alsofür steigende Feinheit der Intervallzerlegung konvergiert die summierte Quadratur fürbeliebiges n. Mit Hilfe von summierten Quadraturregeln lassen sich somit auch Funktionenmit schnell wachsenden Ableitungen integrieren. Darüber hinaus eignen sich summierteRegeln auch zur Integration von Funktionen, die nur eine geringe Regularität, etwa f ∈C1([a, b]) aufweisen. Da es möglich ist die Ordnung n klein zu halten sind summierteQuadraturregeln numerisch stabiler. Zur Veranschaulichung betrachten wir in Abbildung3.9 die summierte Trapezregel

Im folgenden konkretisieren wir einige einfache summierte Quadraturregeln. Hierzu be-trachten wir ausschließlich äquidistante Zerlegungen des Intervalls [a, b]:

a = y0 < · · · < ym = b, h := b− am

, yi := a+ ih, i = 0, . . . ,m. (3.16)

Satz 3.51 (Summierte Boxregel). Es f ∈ C1[a, b] sowie durch (3.16) eine äquidistanteZerlegung des Intervalls gegeben. Für die summierte Boxregel

I0h(f) = h

m∑i=1

f(yi),

gilt die Fehlerabschätzung:

|I(f)− I0h(f)| ≤ b− a

2 hmax[a,b]|f ′|.

Beweis: Aus Satz 3.42 folgern wir durch Summation über die Teilintervalle

I(f)− I0h(f) =

m∑i=1

h2

2 f′(ξi),

79


mit Zwischenstellen ξi ∈ [yi−1, yi]. Das Ergebnis folgt nun mit (b− a) =∑i hi sowie durch

Übergang zum Maximum. �

Mit der summierten Boxregel haben wir also sogar für nur stückweise stetig differenzier-bare Funktionen eine konvergente Quadraturformel für h → 0. Entsprechend gilt für dieTrapezregel:

Satz 3.52 (Summierte Trapezregel). Es f ∈ C2[a, b] sowie durch (3.16) eine äquidistanteZerlegung des Intervalls gegeben. Für die summierte Trapezregel

I1h(f) = h

2

m∑i=1

(f(yi−1) + f(yi)) = h

2 f(a) + hm−1∑i=1

f(yi) + h

2 f(b)

gilt die Fehlerabschätzung:

|I(f)− I1h(f)| ≤ b− a

12 h2 max[a,b]|f ′′|.

Beweis: Übung! �

Die summierte Trapezregel ist besonders attraktiv, da sich die Stützstellen überschneiden:der Punkt yi ist sowohl Stützstelle im Teilintervall [yi−1, yi] als auch [yi, yi+1] und f(yi)muss nur einmal bestimmt werden. Darüber hinaus eignet sich die summierte Trapezre-gel als Grundlage von adaptiven Quadraturverfahren, bei denen die Genauigkeit Stück fürStück dem Problem angepasst wird: wurde auf einer Zerlegung zur Schrittweite h die Ap-proximation I1

h(f) bestimmt, so kann die Genauigkeit durch Intervallhalbierung I1h/2(f)

einfach gesteigert werden. Alle Stützstellen f(yi) können weiter verwendet werden, dieFunktion f(x) muss lediglich in den neuen Intervallmitten berechnet werden. Ein entspre-chendes Resultat gilt für die summierte Simpsonregel:

I2h(f) =

m∑i=1

h

6r

(f(yi−1) + 4f

(yi−1 + yi

2

)+ f(yi)

)

= h

6 f(a) +m∑i=1

h

3 f(yi) +m∑i=1

2h3 f

(yi−1 + yi

2

)+ h

6 f(b).

Bei geschickter Anordnung sind nur 2m+ 2 statt 3m Funktionsauswertungen notwendig.

3.5.3 Gauß-Quadratur

Wie bereits diskutiert, sind die interpolatorischen Quadraturformeln

I(n)(f) =n∑i=0

αif(xi)

80


zu den Stützstellen x0, . . . , xn ∈ [a, b] nach Konstruktion mindestens von der Ordnungn+ 1. D.h.:

I(p) = I(n)(p) ∀p ∈ Pn.

Wir haben jedoch mit der Mittelpunktsregel n = 0 und der Simpsonregel n = 2 bereitsQuadraturformeln kennengelernt, die exakt sind für alle Polynome Pn+1, die also von derOrdnung n+ 2 sind.

Wir untersuchen in diesem Abschnitt die Frage, ob die Ordnung mit anderen bisher nochnicht kennengelernten Methoden weiter erhöht werden kann. Bisher lag die Freiheit le-diglich in der Wahl des Polynomgrads und somit in der Anzahl der Stützstellen. DieFrage nach der optimalen Verteilung der Stützstellen im Intervall [a, b] wurde bisher nichtuntersucht. In diesem Abschnitt werden wir mit der Gauß-Quadratur interpolatorischeQuadraturformeln kennenlernen, welche durch optimale Positionierung der Stützstellendie maximale Ordnung 2n+ 2 erreichen.

Satz 3.53 (Ordnungsbarriere der Quadratur). Eine interpolatorische Quadraturformel zun+ 1 Stützstellen kann höchstens die Ordnung 2n+ 2 haben.

Beweis: Angenommen I(n)(·) mit den Stützstellen x0, . . . , xn wäre von höherer Ordnung,insbesondere exakt für Polynome P2n+2, also für

p(x) =n∏j=0

(x− xj)2 ∈ P2n+2.

Die eindeutige Interpolierende pn ∈ Pn mit pn(xi) = p(xi) = 0 hat n + 1 Nullstellen undstellt somit die Nullfunktion dar. Dies ergibt einen Widerspruch:

0 <∫ b

ap(x) dx = I(n)(p) = I(n)(pn) = 0.

�

Im Folgenden untersuchen wir interpolatorische Quadraturregeln genauer und versuchenBedingungen herzuleiten, unter denen die höchst mögliche Ordnung 2n + 2 wirklich er-reicht werden kann. Wir müssen demnach eine Quadraturformel in n + 1 Stützstellenfinden, welche exakt ist für alle Polynome aus P2n+1. Hierzu wählen wir zunächst eineQuadraturformel mit den 2n + 2 Stützstellen x0, x1, . . . , xn, xn+1, . . . , x2n+1. Von dieserwissen wir, dass sie auf jeden Fall der Ordnung 2n+ 2 ist. Es gilt in Newtonscher Darstel-lung des Interpolationspolynoms

I(f)− I2n+1(f) = I(f)−2n+1∑i=0

f [x0, . . . , xi]∫ b

a

i−1∏j=0

(x− xj) dx

= I(f)− In(f)−2n+1∑i=n+1

f [x0, . . . , xi]∫ b

a

i−1∏j=0

(x− xj) dx,

81


wobei In(·) diejenige Quadraturregel ist, welche durch die ersten n+1 Stützstellen x0, . . . , xngegeben ist. Wir versuchen nun die Stützstellen x0, . . . , x2n+1 so zu bestimmen, dass dasRestglied

2n+1∑i=n+1

f [x0, . . . , xi]∫ b

a

i−1∏j=0

(x− xj) dx = 0

für alle Funktionen f ∈ C2n+2([a, b]) verschwindet. In diesem Fall gilt:

I(f)− I2n+1(f) = I(f)− In(f) ⇒ I2n+1(f) = In(f).

und die resultierende Formel wäre von Ordnung 2n+ 2 bei nur n+ 1 Stützstellen. Es giltfür n < i < 2n+ 2:∫ b

a

i−1∏j=0

(x− xj)︸︷︷︸∈P2n+1

dx =∫ b

a

n∏j=0

(x− xj)︸︷︷︸∈Pn+1

i−1∏j=n+1

(x− xj)︸︷︷︸Pn

dx.

Die Polynome aus dem zweiten Produkt1, x− xn+1, (x− xn+1)(x− xn+2), . . . ,2n∏

j=n+1(x− xj)

,bilden eine Basis des Polynomraums Pn. Ziel ist es, die ersten Stützstellen x0, . . . , xn sozu positionieren, dass das Integral∫ b

a

n∏i=0

(x− xi)q(x) dx = 0 ∀q ∈ Pn (3.17)

für alle q aus Pn verschwindet. Es ist zunächst unklar, ob eine solche Stützstellenwahlüberhaupt möglich ist. Mit

pn+1(x) =n∏i=0

(x− xi),

schreibt sich die Aufgabe kurz:

Suche pn+1 ∈ Pn+1 : (pn+1, q)L2([a,b]) = 0 ∀q ∈ Pn,

mit dem L2-Skalarprodukt:

(f, g)L2([a,b]) :=∫ b

af(x) g(x) dx.

Geometrisch bedeutet diese Aufgabe: suche ein Polynom pn+1 ∈ Pn+1, welches auf allenPolynomen q ∈ Pn orthogonal steht.

Bevor wir die allgemeine Lösbarkeit dieser Aufgabe betrachten untersuchen wir zunächstals einfaches Beispiel die Fälle n = 0 sowie n = 1:

82


Beispiel 3.54 (Optimale Stützstellenwahl durch Orthogonalisierung). Wir wollen diePolynome p1(x) = (x − x0) sowie p2(x) = (x − x0)(x − x1) bestimmen, so dass sie imL2-Skalarprodukt orthogonal auf allen Polynomen von Grad 0 bzw. 1 stehen. Ohne Ein-schränkung betrachten wir das Intervall [−1, 1]:

Für n = 0 gilt mit q ≡ α0 ∈ P0

0 != (x− x0, α0)L2([−1,1]) = −2x0α0 ∀α0 ∈ R,

also muss x0 = 0 gelten.

Im Fall n = 1 gilt mit q = α0 + β0x:

0 != ((x− x0)(x− x1), α0 + β0x)L2[−1,1] = −2(x0 + x1)3 β0 + 2(1 + 3x0x1)

3 α0 ∀α0, β0 ∈ R.

Aus α0 = 1 sowie β0 = 0 folgern wir x0 = −x1 und aus α0 = 0 und β0 = 1 folgt hiermitx1/2 = ± 1√

3 . Die optimalen Gewichte bestimmen wir gemäß Formel (3.14) zu:

α00 =

∫ 1

−11 dx = 2, α1

0 =∫ 1

−1

x− −1√3

1√3 −

−1√3dx = 1, α1

1 =∫ 1

−1

x− 1√3

−1√3 −

1√3dx = 1,

und wir erhalten die beiden ersten Gauß-Quadraturformeln:

I0G(f) = 2f(0), I1

G(f) = f

(− 1√

3

)+ f

( 1√3

).

Die erste Formel ist gerade die Mittelpunktsregel, von der wir bereits die Ordnung zwei(also 2n+ 2 = 2 · 0 + 2) kennen. Die zweite Formel hat die Ordnung 4, dies kann einfachdurch Integration der Monome 1, x, x2, x3 überprüft werden.

Gauß-Legendre-Quadratur

In diesem Abschnitt werden allgemeine Resultate zur Existenz und Eindeutigkeit vonGauß’schen Quadraturregeln InG(f) untersucht. Aus Konventionsgründen betrachtet mandabei das Intervall [−1, 1] (zur Transformation auf allgemeine Intervalle sei auf Bemerkung3.71 verwiesen).

Definition 3.55 (Gauß-Quadratur). Eine Quadraturformel zur Integration einer Funkti-on f : [a, b]→ R mit

InG(f) =n∑k=0

akf(xk)

mit n+1 Quadratur-Stützstellen wird Gauß-Quadraturformel genannt, falls alle Polynomep ∈ P2n+1 exakt integriert werden, d.h. falls gilt:∫ 1

−1p(x) dx =

n∑k=0

akp(xk) ∀p ∈ P2n+1.

83


Nach dieser Definition sind die beiden Quadraturregeln aus dem vorherigen Beispiel Gauß’scheQuadraturformeln. Wir wollen im Folgenden die Existenz von Gauß’schen Quadraturre-geln mit allgemeiner Ordnung, also für beliebige Stützstellenzahl n ∈ N untersuchen.Zunächst weisen wir nach, dass die Stützstellen der Gauß-Quadratur stets Nullstellen vonorthogonalen Polynomen sein müssen:

Satz 3.56. Es seien x0, . . . , xn paarweise verschiedene Quadratur-Stützstellen einer Gauß-Quadraturformel In(·). Dann gilt die Orthogonalitätsbeziehung∫ 1

−1pn+1(x)q(x) dx = 0 ∀q ∈ Pn, pn+1(x) := (x− x0) · · · (x− xn).

Beweis: Das Polynom pn+1q ∈ P2n+1 wird von der Gauß-Regel exakt integriert. Auspn+1(xk) = 0 folgt:

∫ 1

−1pn+1(x)q(x) dx =

n∑k=0

akpn+1(xk)q(xk) = 0 ∀q ∈ Pn.

Dies ist gerade die Orthogonalitätsbeziehung. �

Falls eine interpolatorische Quadratur-Formel also die Gauß-Ordnung 2n + 2 besitzt, somüssen die Stützstellen die Nullstellen eines orthogonalen Polynoms pn+1 ∈ Pn+1 sein.Es bleibt, die Rückrichtung zu zeigen, dass also durch die Nullstellen von orthogonalenPolynomen auch immer Gauß-Regeln gegeben sind:

Satz 3.57. Es seien x0, . . . , xn paarweise verschiedene Quadratur-Stützstellen. Das Poly-nom

pn+1(x) =n∏j=0

(x− xj),

sei L2([−1, 1])-orthogonal auf allen Polynomen q ∈ Pn. Dann ist durch

InG(f) =n∑k=0

αkf(xk), αk =∫ 1

−1

n∏j=0,j 6=k

x− xjxk − xj

dx,

eine Gauß-Quadraturformel In(f) zur Integration einer Funktion f : [a, b]→ R gegeben.

Beweis: Zu gegebener Funktion f ∈ C2n+2([−1, 1]) sei pn ∈ Pn das Interpolationspo-lynom durch die Stützstellen x0, . . . , xn und p2n+1 ein Interpolationspolynom durch dieStützstellen x0, . . . , xn sowie durch weitere (verschiedene) Stützstellen xn+1, . . . , x2n+1.Durch Integration dieses p2n+1 ist eine Quadraturformel der Ordnung 2n+ 2 gegeben. Es

84


gilt wie in der Einleitung zur Gauß-Quadratur:

p2n+1(x) =2n+1∑i=0

f [x0, . . . , xi]i−1∏j=0

(x− xi)

= pn(x) +2n+1∑i=n+1

f [x0, . . . , xi]n∏j=0

(x− xj)︸︷︷︸=pn+1

i−1∏j=n+1

(x− xj)︸︷︷︸=q∈Pn

.

Aufgrund der angenommenen Orthogonalität von pn+1 auf q ∈ Pn folgt, dass bereits durchIntegration von pn eine Quadraturformel der Ordnung 2n+ 2, also eine Gauß-Quadraturgegeben ist. �

Diese beiden Sätze besagen, dass die Charakterisierung von Gauß’schen Quadraturregelndurch Nullstellen orthogonaler Polynome eindeutig ist. Zum Abschluss müssen wir nochzeigen, dass überhaupt orthogonale Polynome zu beliebiger Stützstellenzahl n existieren,und dass diese Polynome auch reelle Nullstellen haben!

Satz 3.58. Es existiert eine eindeutige Folge (pn)n von Polynomen pn ∈ Pn mit

p0(x) ≡ 1,pn(x) = xn + rn−1(x), n = 1, 2, . . . ,

mit rn−1 ∈ Pn−1, die die Orthogonalitätsbeziehung∫ 1

−1pn(x)pm(x) dx = 0, 0 ≤ m < n,

erfüllen. Durch {pk, k = 0, . . . , n} ist dann eine Orthogonalbasis des Pn gegeben.

Beweis: Die Aussage folgt unter Ausnutzung des Satzes von Gram-Schmidt für die Mo-nombasis {1, x, x2, . . . } von Pn+1[a, b], Satz 4.51 Mit

p0 := 1, k = 1, . . . , n+ 1

pk(x) := xk −k−1∑j=0

(xk, pj)‖pj‖2

pj(x),

wird dann {p0, . . . , pn+1} ein Orthogonalsystem in Pn+1[a, b], unter Ausnutzung des L2-Skalarprodukts

(f, g)L2([−1,1]) :=∫ 1

−1f(x)g(x)dx.

Denn vollständigen Beweis des Gram-Schmidt-Algorithmus werden wir später nachtragen.Die spezielle Version findet der Leser in [9], S. 87. �

85


Satz 3.59 (Nullstellen orthogonaler Polynome). Die bezüglich des L2([−1, 1])-Skalarprodukts orthogonalen Polynome pn besitzen reelle, einfache Nullstellen im Intervall(−1, 1).

Beweis: Der Beweis wird über Widerspruchsargumente geführt. Es sei darauf hingewiesen,dass pn ein reellwertiges Polynom (nach Standardvoraussetzung in diesem Kapitel) ist. Wirnehmen zunächst an, dass pn eine reelle Nullstelle λ hat, die nicht im Intervall (−1, 1) liegt.Dazu definieren wir

q(x) := pn(x)x− λ

.

Es gilt q ∈ Pn−1 (da pn ∈ Pn) und deshalb ist q ⊥ pn. Dies impliziert

0 = (q, pn) =∫ 1

−1

p2n(x)x− λ

dx.

Dies ist aber ein Widerspruch, da pn(x)2 auf [−1, 1] stets positiv ist (da pn reellwertig ist),noch die Nullfunktion ist, und darüber hinaus der Faktor (x − λ)−1 keinen Vorzeichen-wechsel haben kann, da λ außerhalb von [−1, 1] liegt. Deshalb kann pn keine Nullstelleaußerhalb von (−1, 1) haben.

Im zweiten Teil zeigen wir, dass im Intervall (−1, 1) nur einfache und reelle Nullstellen lie-gen. Wir arbeiten wieder mit einem Widerspruchsargument. Wir nehmen an, dass pn eineNullstelle λ besitzt, die entweder mehrfach oder nicht reell ist. In beiden Fällen definierenwir

q(x) := pn(x)(x− λ)(x− λ)

= pn(x)|x− λ|2

.

Das Polynom q(x) liegt in Pn−2. Der komplexwertige Fall ist hier deshalb eingeschlossen,da dann auch λ eine Nullstelle von pn ist. Daher gilt

0 = (pn, q) =∫ 1

−1

p2n(x)

|x− λ|2dx.

Mit der gleichen Argumentation wir vorher erhalten wir, dass pn positiv in (−1, 1) undauch nicht identisch zur Nullfunktion ist. Daher sind alle Nullstellen von pn einfach undreell. �

Mit diesen Vorarbeiten sind wir in der Lage den Hauptsatz dieses Abschnitts zu aufzu-stellen:

Satz 3.60 (Existenz und Eindeutigkeit der Gaußquadratur). Für jedes n = 0, 1, . . . exi-stiert eine eindeutige Gaußquadraturformel der Ordnung 2n+2 zu n+1 paarweise verschie-denen Stützstellen, die als Nullstellen des orthogonalen Polynoms pn+1 ∈ Pn+1 gegebensind.

Beweis: Der Beweis besteht aus der Zusammenfassung der bisherigen Resultate:

• Satz 3.58 liefert die eindeutige Existenz des orthogonalen Polynoms pn+1 ∈ Pn+1.

86


• Satz 3.59 garantiert, dass dieses Polynom n+ 1 paarweise verschiedene, reelle Null-stellen besitzt.

• Satz 3.57 besagt, dass durch Wahl der Nullstellen als Stützstellen bei entsprechendenGewichten eine Quadraturformel der Ordnung 2n + 2, also eine Gauß-Quadraturgegeben ist, siehe Definition 3.55.

• Schließlich besagt Satz 3.56, dass nur durch diese Wahl der Stützstellen eine Gauß-Quadraturformel erzeugt wird, liefert also die Eindeutigkeit des Konstruktionsprin-zips.

Damit ist der Beweis geführt. �

Ein Nachteil der Newton-Cotes-Formeln sind negative Gewichte ab n ≥ 7 für geschlosseneFormeln. Im nächsten Resultat zeigen wir, dass die Gaußquadraturgewichte stets positivsind:

Satz 3.61 (Gewichte der Gauß-Quadratur). Die Gewichte der Gaußquadratur sind stetspositiv.

Beweis: Es sei durch InG(f) =∑k αkf(xk) die Gauß-Quadratur zu den n+ 1 Stützstellen

x0, . . . , xn gegeben. Für die Lagrangeschen Basispolynome gilt

L(n)i (x) =

∏j 6=i

x− xjxi − xj

, L(n)i (xk) = δik.

Es gilt L(n)i ∈ Pn, also wird auch (L(n)

i )2 von der Gauss-Formel exakt integriert:

0 <∫ 1

−1(L(n)

i (x))2 dx =n∑k=0

αk(L(n)i (xk))2 = αk.

�

Die Gauß’schen Quadraturformeln haben neben der hohen Ordnung den weiteren Vorteil,dass bei positiven Integranden keine Auslöschung auftreten wird. Sie sind numerisch sehrstabil.

Weiter haben wir gesehen, dass die die Newton-Cotes Formeln unter dem gleichen Mangelwie die Lagrangesche Interpolation leidet: falls die Ableitungen des Integranden zu schnellsteigen, so muss keine Konvergenz bei steigendem Polynomgrad vorliegen. Im Fall derGauss-Quadratur erhalten wir hingegen Konvergenz des Integrals:

Satz 3.62 (Konvergenz der Gauss-Quadratur). Es sei f ∈ C∞([−1, 1]). Die Folge(I(n)(f))n, n = 1, 2, . . . der Gaußformeln zur Berechnung von

I(f) =∫ 1

−1f(x) dx.

ist konvergent:I(n)(f)→ I(f) (n→∞).

87


Beweis: Es gilt

I(n)(f) =n∑i=0

α(n)i f(x(n)

i ), α(n)i > 0,

n∑i=0

α(n)i = 2.

Es sei ε > 0. Nach dem Approximationssatz von Weierstraß gibt es ein p ∈ Pm (wobei mhinreichend groß), so dass

max−1≤x≤1

|f(x)− p(x)| ≤ ε

4 .

Für hinreichend großes 2n+ 2 > m gilt I(p)− InG(p) = 0. Damit folgern wir

|I(f)− I(n)(f)| ≤ |I(f − p)|︸︷︷︸≤ ε4 ·2

+ |I(p)− I(n)(p)|︸︷︷︸=0

+ |I(n)(p− f)|︸︷︷︸≤ ε4 ·2

≤ ε.

Da ε > 0 beliebig gewählt worden ist, muss I(n)(f)→ I(f) für n→∞ konvergieren. �

Schließlich beweisen wir noch ein optimales Resultat für den Fehler der Gauß-Quadratur:

Satz 3.63 (Fehlerabschätzung der Gauß-Quadratur). Es sei f ∈ C2n+2[a, b]. Dann lautetdie Restglieddarstellung zu einer Gaußquadraturformel der Ordnung 2n+ 2 :

R(n)(f) = f (2n+2)(ξ)(2n+ 2)!

∫ b

ap2n+1(x) dx

für ξ ∈ [a, b] und mit pn+1 =∏nj=0(x− λj).

Beweis: Der Beweis erfolgt unter Zuhilfenahme der Hermite-Interpolation (siehe Satz3.16). Hiernach existiert ein Polynom h ∈ P2n+1 zu einer zu interpolierenden Funktionf ∈ C2n+2[−1, 1], welches die Hermitesche Interpolationsaufgabe löst, mit den Interpola-tionsbedingungen

h(λi) = f(λi), h′(λi) = f ′(λi), i = 0, . . . , n.

Hierzu lautet die (bereits bekannte) Restglieddarstellung

f(x)− h(x) = f [λ0, λ0, . . . , λn, λn, x]n∏j=0

(x− λj)2.

Wendet man nun die Gaußsche-Quadraturformel auf h(x) an, dann gilt zunächst I(n)G (h) =

I(h), und weiter unter Anwendung des Mittelwertsatzes der Integralrechnung

I(f)− I(n)G (f) = I(f − h)− I(n)

G (f − h)

=∫ 1

−1f [λ0, λ0, . . . , λn, λn, x]

n∏j=0

(x− λj)2 dx−n∑i=0

ai[f(λi)− h(λi)]

= f (2n+2)(ξ)2n+ 2)!

∫ 1

−1

n∏j=0

(x− λj)2 dx.

88


Der Mittelwertsatz darf hier angewendet werden, da stets∏nj=0(x − λj)2 ≥ 0. Der Term

[f(λi)−h(λi)] = 0, da hier die Interpolationsbedingungen ausgenutzt worden sind. Damitist alles gezeigt. �

Bemerkung 3.64 (Zur Regularität in der Fehlerformel). Es bleibt zu bemerken, dasszur Gültigkeit der Fehlerabschätzung 3.63 eine vergleichsweise hohe Regularität an dieFunktion f gestellt wird: f ∈ C2n+2[a, b]. Um Aussagen über die Fehlerentwicklung beigeringerer Regularität zu erhalten, sollte man wieder zu summierten Formeln (siehe Splinesund stückweise interpolatorische Quadratur) übergehen.

Nachdem wir nun das theoretische Fundament der Gaußquadratur bereitgestellt habenverbleibt im finalen Schritt die explizite Angabe der Stützstellen sowie der (Quadratur)-Gewichte. Hierzu nutzen wir die Legendre-Polynome, die grundsätzlich bei orthogonalenPolynomen eine herausragende Rolle spielen.

Legendre-Polynome

Satz 3.65 (Legendre-Polynome). Die Legendre-Polynome Ln ∈ Pn mit

Ln(x) := 12nn!

dn

dxn(x2 − 1)n,

sind die bezüglich des L2([−1, 1])-Skalarprodukt orthogonalisierten Monome {1, x, x2, . . . }.

Beweis: Zunächst gilt Ln ∈ Pn, denn n-fache Ableitung von x2n liefert das höchste Mo-nom xn. Die Orthogonalitätseigenschaft folgt durch mehrfache Anwendung von partiellerIntegration aus Ausnutzen der Tatsache, dass der Term (x2 − 1)n an den beiden Interval-lenden n-fache Nullstellen besitzt. �

Mit den Legendre-Polynomen existiert eine explizite Darstellung für die orthogonalen Po-lynome bezüglich des L2([−1, 1])-Skalarprodukts. Diese Polynome unterscheiden sich vonden Polynomen aus Satz 3.58 lediglich durch die Normierung. Für die orthogonalen Poly-nome pn(x) aus Satz 3.58 gilt, dass der Koeffizient vor dem höchsten Monom 1 ist. Fürdie Legendre-Polynome gilt die Normierungseigenschaft Ln(1) = 1.

Die ersten Legendre-Polynome lauten:

L0(x) = 1,L1(x) = x, x0 = 0

L2(x) = 12(3x2 − 1), x0/1 = ±

√13 ,

L3(x) = 12(5x3 − 3x), x0 = 0, x1/2 = ±

√35

L4(x) = 18(35x4 − 30x2 + 3), x0/1 ≈ ±0.861136, x2/3 ≈ ±0.339981

89


Für die Nullstellen (also die Quadratur-Stützstellen) existiert keine geschlossene Formel.Im Fall n > 3 können die Nullstellen nur noch numerisch berechnet werden.

Die entsprechenden Quadraturgewichte können einfach über die Formel (3.14) berechnetwerden

αk =∫ 1

−1

n∏j=0

x− xjxk − xj

dx.

In Tabelle 3.3 fassen wir die ersten wichtigen Gauß-Legendre Regeln zusammen.

n− 1 xi αi Ordnung0 0 2 21 ±

√13 1 4

2 0 89

±√

35

59 6

3 ±0.8611363116 0.347854845±0.3399810436 0.652145154 8

4 0 0.568888889±0.9061798459 0.236926885±0.5384693101 0.478628670 10

Tabelle 3.3: Einige Gauß-Legendre Quadratur-Regeln.

Zuletzt sollte ein (kleiner) Nachteil der Gauß-Legendre Formeln erwähnt werden. Für jedesLegendre-Polynom Ln(x) erhalten wir neue Stützstellen x0, . . . , xn, die im Allg. mit denbereits berechneten Stützstellen der Polynome Ln(x), n = 0, . . . , n− 1 nicht übereinstim-men.

Gauß-Tschebyscheff Quadratur

Die Gauß’schen Quadraturformeln sind so konstruiert, dass Polynome bis zu einem be-stimmten Grad exakt integriert werden können. Oft sind hingegen die zu integrierendenFunktionen keine Polynome, man denke z.B. an

f(x) =√

1− x2,

auf dem Intervall [−1, 1]. Die Ableitungen dieser Funktion haben an den IntervallendenSingularitäten. Die einfache Gauß-Quadratur ist zur Approximation von

∫ 1−1 f(x) dx nicht

geeignet, da hohe Regularität vorausgesetzt wird.

Die Idee der Gauß-Quadratur kann nun verallgemeinert werden. Dazu sollen Quadratur-regeln konstruiert werden, welche Funktionen nach der Art

pω(x) = ω(x)p(x),

90


mit einem Polynom p(x) möglichst exakt integrieren. Die Funktion ω(x) nennen wir Ge-wichtsfunktion. Diese Gewichtsfunktion fließt nun in das Konstruktionsprinzip von spezi-ellen Gauß-Quadraturformeln ein. Zunächst formulieren wir den hierfür zentralen Satz:

Satz 3.66 (Gewichtetes Skalarprodukt). Durch ω ∈ L∞([−1, 1]) sei eine positive

ω(x) > 0 fast überall,

Gewichtsfunktion gegeben. Dann ist durch

(f, g)ω :=∫ 1

−1ω(x) f(x) g(x) dx,

ein Skalarprodukt gegeben.

Beweis: Übung! �

Die bisher bewiesenen Sätze 3.56, 3.57, 3.58, 3.59 sowie 3.61 gelten alle auch bei Verwen-dung dieses gewichteten Skalarprodukts. Das Übertragen der Beweise überlassen wir alsÜbung. Die Gauß-Tschebyscheff Quadratur wählt als spezielles Gewicht die Funktion

ω(x) = 1√1− x2

.

Diese Funktion legt ein starkes Gewicht auf die beiden Intervallenden. Es gilt der folgendezunächst erstaunliche Satz:

Satz 3.67 (Tschebyscheff-Polynome). Die Tschebyscheff-Polynome Tn ∈ Pn mit

Tn(x) := cos(n arccos x), −1 ≤ x ≤ 1,

sind die bezüglich des (·, ·)ω Skalarprodukts orthogonalisierten Monome {1, x, . . . } mit derGewichtsfunktion

ω(x) = 1√1− x2

.

Die n paarweise verschiedenen Nullstellen des n-ten Tschebyscheff-Polynoms Tn(x) sindgegeben durch

xk = cos(2k + 1

2n π

), k = 0, . . . , n− 1.

Beweis: (i) Wir müssen zunächst nachweisen, dass durch Tn(x) überhaupt Polynomegegeben sind. Wir führen den Beweis induktiv durch Herleiten einer Iterationsformel. Esgilt:

T0(x) = 1, T1(x) = x,

also insbesondere T0 ∈ P0 und T1 ∈ P1. Aus dem Additionstheorem für die Kosinusfunktion

cos((n+ 1)y) + cos((n− 1)y) = 2 cos(nt) cos(y),

91


erhalten wir mit y = arccos x eine zweistufige Rekursionsformel:

Tn+1(x) + Tn−1(x) = 2xTn(x) ⇒ Tn+1(x) = 2xTn(x)− Tn−1(x).

Hieraus schließen wir induktiv Tn ∈ Pn mit

Tn(x) = 2n−1xn + . . . .

(ii) Wir weisen nun die Orthogonalität der Tschebyscheff-Polynome bzgl. des gewichtetenSkalarprodukts auf [−1, 1] nach. Mit x = cos(t) gilt unter Ausnutzung der Orthogonalitättrigonometrischer Polynome:

∫ 1

−1

Tn(x)Tm(x)√1− x2

dx =∫ π

0cos(nt) cos(mt) dt =

π, n = m = 0,π2 , n = m > 0,0, n 6= m.

(iii) Die Nullstellen der Tschebyscheff-Polynome können elementar berechnet werden. Die-se Nullstellen sind die Stützstellen der entsprechenden Quadratur. �

Zum Aufstellen von konkreten Gauß-Tschebyscheff-Quadraturformeln benötigen wir nochdie entsprechenden Quadraturgewichte. Da die Tschebyscheff-Polynome gewichtet mit ωexakt integriert werden müssen gilt:

n−1∑k=0

akTm(xk) =∫ 1

−1

Tm(x)√1− x2

dx, m = 0, . . . , n− 1.

Es folgt:n−1∑k=0

ak cos (2k + 1)m2n π =

{π, m = 0,0, m = 1, . . . , n− 1.

Mit Hilfe von trignometrischen Argumenten (siehe [8]) erhalten wir die Lösung des linearenGleichungssystems:

ak = π

n, k = 0, . . . , n− 1. (3.18)

Damit haben wir alle Komponenten gesammelt, um die Gauß-Tschebyscheff Formel inklu-sive Restglied anzugeben:

Verfahren 3.68 (Gauß-Tschebyscheff-Formel). Die Gauß-Tschebyscheff-Formel vomGrad 2n mit Restglied lautet

∫ 1

−1

f(x)√1− x2

dx = π

n

n−1∑k=0

f

(cos 2k + 1

2n π

)+ π

22n−1(2n)!f(2n)(ξ)

mit ξ ∈ [−1, 1].

92


Beweis: Die Quadraturformel folgt sofort aus Einsetzen der Stützstellen und Gewichte indie allgemeine Definition einer Quadraturformel. Die Restglieddarstellung folgt aus Satz3.63. �

Der große Vorteil der Gauß-Tschebyscheff Quadratur ist die einfache Möglichkeit, die Qua-draturformeln für beliebige Ordnung explizit aufzustellen. Stützstellen sowie Gewichte sindeinfach zu bestimmen.

Beispiel 3.69. Wir verwenden die Gauss-Tschebyscheff-Quadratur zur Berechnung desIntegrals (halber Kreisinhalt)

I(f) =∫ 1

−1

√1− x2 dx =

∫ 1

−1ω(x) (1− x2)︸︷︷︸

=:f(x)

dx,

mit dem Gauss-Tschebyscheff-Gewicht ω(x) und (1 − x2) ∈ P2. Aufgrund von P2 wählenwir n = 2 im Verfahren 3.68 zur exakten Berechnung des Integrals. D.h.

∫ 1

−1ω(x)f(x) dx = π

2

1∑k=0

f

(cos 2k + 1

2 · 2 π

)+ π

2 · (2)!f(2)(ξ)

mit ξ ∈ (−1, 1) und den Quadraturgewichten a0 = a1 = π2 (berechnet mit Formel 3.18).

Unter Vernachlässigung des Restglieds erhalten wir also

I(f) =∫ 1

−1

√1− x2 dx =

∫ 1

−1ω(x)(1− x2) dx

= π

2

1∑k=0

(1−

(cos 2k + 1

4 π)2)

= π

2

((1− cos

(14π)2)

+(

1− cos(3

4π)2))

= π

2 ((1− 0.5) + (1− 0.5))

= π

2 .

Gauß-Quadratur mit beliebigen Gewichten ω(x) > 0

Es verbleibt die Existenz, Eindeutigkeit und Fehlerabschätzung für die Gauß-Formeln zuzeigen, deren Gewicht ω(x) 6= 1 ≥ 0 ist. In diese Kategorie fällt insbesondere die Gauß-Tschebyscheff Quadratur mit

ω(x) = 1√1− x2

.

Hierzu gilt:

93


Satz 3.70 (Existenz, Eindeutigkeit und Fehlerabschätzung). Es sei w(x) ≥ 0 fast überall.Dann lassen sich mit Hilfe des gewichteten Skalarprodukts

(f, g)w :=∫ b

aω(x)f(x)g(x) dx, w(x) > 0.

der Satz 3.60 (inklusive der darin verwendeten Sätze) und Satz 3.62 analog beweisen.

Beweis: Nach Verifizierung der Skalarprodukteigenschaften von (f, g)w, übertrage mandie Beweise der Sätze 3.60 und 3.62 unter Hinzunahme der Gewichtsfunktion. �

Bemerkung 3.71 (Normierung des Integrationsintervalls). Die Gauß-Quadratur mitLegendre-Polynomen und Tschebyscheff Polynomen ist lediglich auf dem Intervall [−1, 1]definiert. Allerdings bedeutet dies keine Einschränkung für den allgemeinen Fall [a, b].Jedes endlich-dimensionale Intervall [a, b] kann durch die Transformation

x = 2 t− ab− a

− 1, t ∈ [a, b]

in [−1, 1] überführt werden. Mit der Wahl x ∈ [−1, 1] wird dann die Integration in [−1, 1]durchgeführt, um anschließend durch die Rücktransformation

t = (x+ 1)(b− a)2 + a, x ∈ [−1, 1]

die (berechneten) Werte für t ∈ [a, b] zu erhalten.

Korollar 3.72 (Transformation des Integrationsintervalls). Mit den Voraussetzungen ausBemerkung 3.71 gilt für das (exakte) Integral

I(f) =∫ b

af(t) dt = b− a

2

∫ 1

−1f

[(x+ 1)(b− a)2 + a

]dx.

Die Quadraturformel zur Integration von I(f) lautet dann

In(f) = b− a2

n∑k=1

akf

[(xk + 1)(b− a)2 + a

].

3.5.4 Romberg-Quadratur

Die Idee der Richardson Extrapolation in Abschnitt 3.4, Approximationsprozesse hoherOrdnung zu erzielen, die auf Basismethoden niedriger Ordnung basieren, wird hier aufdie numerische Quadratur angewendet. Konkret werden wir die summierte Trapezregelzur Extrapolation nutzen. Die Trapezregel gehört zu den sehr einfachen Verfahren mitniedriger Ordnung. Wir fassen die wesentlichen Ergebnisse aus Abschnitt 3.5.2 zusammen.

94


Auf einer gleichmäßigen Zerlegung des Intervalls [a, b] in N Teilintervalle mit Schrittweiteh = 1/N ist die summierte Trapezregel zur Approximation von

∫ ba f dx gegeben durch:

Ih(f) = h

12f(a) +

N−1∑j=1

f(xj) + 12f(b)

, xj := a+ jh,

und liefert im Falle f ∈ C2([a, b]) die Fehlerabschätzung:

I(f)− Ih(f) = b− a12 h2f (2)(ξ),

mit einer Zwischenstelle ξ ∈ [a, b]. Um die Extrapolationsmethode erfolgreich anwendenzu können brauchen wir Kenntnis über die weitere Fehlerentwicklung der Trapezregel. DieBasis hierzu ist die Euler-Maclaurinsche Summenformel wurde, die eine Entwicklung desFehlers in geraden Potenzen von h zeigt:

Satz 3.73 (Euler-Maclaurinsche Summenformel). Falls f2m+2[a, b], dann gilt die Euler-Maclaurinsche Summenformel

I(f)− Ih(f) =m∑k=1

h2k B2k(2k)!

(f (2k−1)(b)− f (2k−1)(a)

)+ h2m+2 b− a

(2m− 2)!B2m+2f(2m+2)(ξ),

mit ξ ∈ [a, b] und den Bernoulli-Zahlen B2k.

Beweis: Seminarthema! �

Die Bernoulli-Zahlen sind definiert als die Koeffizienten der Taylorreihendarstellung von

x

ex − 1 =∞∑k=0

Bkk! x

k = 1− 12x+ 1

6x2

2! −130x4

4! + 142x6

6! + . . . ,

und genügen der Rekursionsformel

B0 = 0, Bk = −k−1∑j=0

k!j!(k − j + 1)!Bj , k = 1, 2, . . . .

Die ersten Bernoulli-Zahlen sind gegeben als:

1,−12 ,

16 , 0,−

130 , 0,

142 , 0,−

130 , . . . .

Ausgenommen B1 = −12 gilt für jede zweite (ungerader Index) Bernoulli-Zahl B2k+1 = 0.

Ansonsten folgen sie keinem erkennbaren Gesetz Für große k wachsen die Bernoulli-Zahlensehr schnell an und verhalten sich asymptotisch wie

|B2k| ∼ 2(2k)!(2π)−2k, k →∞.

95


Die Euler-Maclaurinsche Summenformel besagt, dass die Trapezregel eine Entwicklung ingeraden Potenzen von h besitzt. Daher eignet sie sich gleich in zweifacher Hinsicht optimalzur Extrapolation: aufgrund der quadratischen Fehlerentwicklung gewinnen wir in jedemExtrapolationsschritt zwei Ordnungen Genauigkeit und aufgrund der Stützstellenwahl anden Enden der Teilintervalle xj−1 und xj können bereits berechnete Werte f(xj) zu einerSchrittweite h bei der nächst feineren Approximation zu h/2 weiter verwendet werden.Zur Approximation von

a(0) ≈∫ b

af(x)dx, a(h) := Ih(f) = h

12f(a) +

N−1∑j=1

f(xj) + 12f(b)

,verwenden wir das Extrapolationsprinzip aus Abschnitt 3.4:

Verfahren 3.74 (Romberg-Quadratur).

1) Berechne für eine Folge von Schrittweiten (hk)k∈N mit

hk+1hk≤ ρ < 1,

die Approximationena(hk), k = 0, . . . ,m.

2) Extrapoliere die Werte (h2k, a(hk)), k = 0, . . . ,m mit Polynomen in h2.

Als Schrittweitenfolge kann mit einem h > 0 die einfache Vorschrift

hk = 2−kh,

verwendet werden. Diese Folge wird Romberg-Folge genannt und hat den Vorteil, dassbereits berechnete Stützstellen weiter verwendet werden können. Der Nachteil dieser Folgeist das schnelle Wachstum der Anzahl der Stützstellen. Die Extrapolation selbst wird mitdem modifizierten Neville-Schema 3.33 durchgeführt.

Die Diagonalelemente ak,k sind gerade die Näherungen zu a(0). Basierend auf Satz 3.32zur allgemeinen Richardson-Extrapolation erhalten wir die Fehlerabschätzung:

Satz 3.75 (Romberg-Quadratur). Es sei f2m+2[a, b] sowie h > 0 gegeben. Das Romberg-Verfahren zur Schrittweitenfolge hk = 2−kh, k = 0, . . . ,m liefert nach m Extrapolations-schritten die Approximation:

I(f)− am,m = O(h2m+2).

Beweis: Der Beweis folgt durch Kombination von Satz 3.32 über die Richardson-Extrapo-lation mit der Euler-Maclaurinschen Summenformel aus Satz 3.73. �

96


Bemerkung 3.76. Anstatt der Romberg-Folge hk = 2−kh kann auch mit der Burlisch-Folge

hk =

h · 2−k2 k gerade

h3 2−

k−12 k ungerade

gearbeitet werden, da diese wesentlich weniger Funktionsauswertungen benötigt. Bei h = 1sind die ersten Folgenglieder gegeben durch:

12 ,

13 ,

14 ,

16 ,

18 ,

112 , . . . ,

Integration periodischer Funktionen

Im Falle periodischer Funktionen, d.h. es sei f2m+2(−∞,∞) mit dem Periodenintervall[a, b] und

f (2k−1)(a) = f (2k−1)(b), k = 1, 2, . . .

kann die Euler-Maclaurinsche Summenformel entscheidend vereinfacht werden. Aus

I(f)− Ih(f) =m∑k=1

h2k B2k(2k)!

(f (2k−1)(b)− f (2k−1)(a)

)+ h2m+2 b− a

(2m− 2)!B2m+2f(2m+2)(ξ),

mit

Ih(f) = h

12f(a) +

N−1∑j=1

f(xj) + 12f(b)

, xj := a+ jh,

folgt dann

I(f)− Ih(f) = h2m+2 b− a(2m− 2)!B2m+2f

(2m+2)(ξ) = O(h2m+2),

mit

Ih(f) = h

12f(a) +

N−1∑j=1

f(xj) + 12f(b)

= h

f(a) +N−1∑j=1

f(xj)

= h

N−1∑j=0

f(xj)

mit xj := a + jh. Die summierte Trapezregel vereinfacht sich dadurch zur summiertenlinksseitigen Boxregel.

Falls f ∈ C∞(−∞,∞), dann konvergiert die summierte Trapezregel (d.h. bei [a, b]-periodischenFunktionen, die summierte Boxregel) schneller gegen den Integralwert, für h→ 0, als jedeandere Quadraturregel.

97


3.6 Approximationstheorie

Bisher haben wir uns im Wesentlichen mit der Interpolation beschäftigt. Die Approxima-tion ist weiter gefasst: wir suchen eine einfache Funktion p ∈ P (dabei ist der Funktio-nenraum P meist wieder der Raum der Polynome), welche die beste Approximation zugegebener Funktion f oder zu gegebenen diskreten Daten yi ∈ R darstellt. Der Begriffbeste Approximation ist dabei weit gefasst und wir bezeichnen ihn mit dem minimalenAbstand von p zu f (oder zu den diskreten Daten). Den Abstand zwischen Funktionenkönnen wir in Normen messen und die allgemeine Approximationsaufgabe besteht nun imAuffinden von p ∈ P , so dass

‖f − p‖ = minq∈P‖f − q‖.

Die Wahl der Norm ‖ · ‖ ist dabei zunächst beliebig. Es stellt sich jedoch heraus, dass diemathematische Approximationsaufgabe je nach betrachteter Norm einer sehr unterschied-liche Vorgehensweise bedarf. Eine spezielle Approximationsaufgabe haben wir bereits ken-nengelernt:

Bemerkung 3.77 (Lagrange-Interpolation als Approximation). Angenommen, in denn + 1 paarweise verschiedenen Stützstellen x0, x1, . . . , xn soll für das Polynom pn ∈ Pngelten p(xi) = f(xi), dann definieren wir die Norm:

|p|n := maxi=0,...,n

|p(xi)|.

Man kann zeigen, dass dies wirklich eine Norm auf dem Polynomraum Pn ist. Die Appro-ximationsaufgabe: suche p ∈ Pn, so dass

|p− f |n = minq∈Pn

|q − f |n,

ist gerade die Lagrange-Interpolationsaufgabe.

In diesem Abschnitt werden wir uns hingegen hauptsächlich mit der L2-Norm

‖f‖L2([a,b] :=(∫ b

af(x)2 dx

) 12

,

sowie mit der Maximumsnorm

‖f‖∞ := maxx∈[a,b]

|f(x)|,

befassen. Die beste Approximation in der L2-Norm taucht in der Analysis in Form derFourier-Entwicklung in trigonometrischen Polynomen auf, Konvergenz wird hier bezüglichder L2-Norm

‖f − fn‖L2([a,b]) → 0 (n→∞),

98


gezeigt. Die Approximation bezüglich der Maximumsnorm ist für die praktische Anwen-dung von großer Bedeutung: denn eine Approximation, die den Fehler gleichmäßig aufdem gesamten Intervall [a, b] unter Kontrolle hält, schließt die typischen Oszillationen derLagrange-Interpolation an den Intervallenden (siehe Beispiel 3.15) systematisch aus. Eszeigt sich allerdings, das gerade dieser für die Anwendung wichtige Approximationsbegriffmathematisch schwer zu greifen ist.

3.6.1 Gauss-Approximation: Beste Approximation in der L2-Norm

Zunächst betrachten wir die beste Approximation einer Funktion f : [a, b] → R mitPolynomen p ∈ P bezüglich der L2-Norm:

‖f − p‖L2([a,b]) = minφ∈P‖f − φ‖L2([a,b]).

Die L2-Norm kann mittels ‖f‖L2 = (f, f)12 über das L2-Skalarprodukt definiert werden.

Vektorräume mit Skalarprodukt heißen Prähilbertraum. Speziell in reellen Vektorräumenspricht man von euklidischen Räumen, im komplexen auch von unitären Räumen. DasSkalarprodukt dient zur Beschreibung von Orthogonalitätsbeziehungen. Für die Approxi-mation bezüglich der L2-Norm gilt die folgende Charakterisierung:

Satz 3.78 (Approximation und Orthogonalität). Es sei f ∈ C[a, b] und S ⊂ C[a, b] einendlich dimensionaler Unterraum. Auf S sei durch (·, ·) ein Skalarprodukt und durch ‖ · ‖die induzierte Norm gegeben. Dann ist p ∈ S beste Approximation zu f ∈ C[a, b]

‖f − p‖ = minφ∈S‖f − φ‖,

genau dann, wenn der Fehler f − p orthogonal auf dem Raum S steht:

(f − p, φ) = 0 ∀φ ∈ S.

Beweis: Es sei p ∈ S eine beste Approximation Dann besitzt die quadratische Funktion

Fφ(t) := ‖f − p− tφ‖2, t ∈ R

für jedes fest gewählte φ ∈ S bei t = 0 ein Minimum. Also gilt die für Minima differen-zierbarer Funktionen notwendige Bedingung:

0 = F ′(0) = ∂

∂t‖f − p− tφ‖2

∣∣t=0

= −(f − p− tφ, φ)− (φ, f − p− tφ)∣∣t=0

= −2(f − p, φ) ∀φ ∈ S.

Geometrisch kann man dies so ausdrücken, dass der Fehler f − p senkrecht auf dem ap-proximierenden Raum S steht im Sinne des L2-Skalarprodukts.

99


Umgekehrt gelte nun die Beziehung

(f − p, φ) = 0 ∀φ ∈ S,

für ein p ∈ S. Dann erhält man durch Erweitern mit φ und Anwendung der Cauchy-Schwarz-Ungleichung

‖f−p‖2 = (f−p, f−p) = (f−p, f−φ+φ−p) = (f−p, f−φ)+(f−p, φ− p︸︷︷︸∈S

) ≤ ‖f−p‖ ‖f−φ‖.

Hier haben wir die Orthogonalitätsbeziehung für φ− p ∈ S verwendet. Weiter folgt:

‖f − p‖ ≤ ‖f − φ‖ ⇒ ‖f − p‖ = infφ∈S‖f − φ‖

und damit ist auch p beste Approximation per Definitionem. �

Wir können die beste Approximation p ∈ S durch eine Orthogonalitätsbeziehung beschrei-ben. Dieser Zusammenhang ist der Schlüssel zur Analyse der Gauss-Approximation undauch zur praktischen numerischen Realisierung. Wir können sofort den allgemeinen Satzbeweisen:

Satz 3.79 (Allgemeine Gauß-Approximation). Es sei H ein Vektorraum mit Skalarprodukt(·, ·) und S ⊂ H ein endlich-dimensionaler Teilraum. Dann existiert zu jedem f ∈ H eineeindeutig bestimmte beste Approximation p ∈ S in der induzierten Norm ‖ · ‖:

‖f − p‖ = minφ∈S‖f − φ‖.

Beweis: Für den Beweis nutzen wir die Charakterisierung der Bestapproximation mitHilfe des Skalarprodukts aus Satz 3.78.

(i) Eindeutigkeit.

Seien p1, p2 ∈ S zwei Bestapproximationen. Dann gilt notwendigerweise

(f − p1, φ) = 0 und (f − p2, φ) = 0

für alle φ ∈ S. Dies impliziert

(p1 − p2, φ) = 0 φ ∈ S.

Da dies für alle φ ∈ S gilt, können wir ein spezielles φ geschickt wählen. Eine kluge Wahlist φ := p1 − p2, woraus dann

(p1 − p2, p1 − p2) = ‖p1 − p2‖2 = 0

und aufgrund der Definitheit der Norm (im Teilraum S ∈ H) p1 = p2 folgt.

(ii) Existenz

100


Der endlich-dimensionale Teilraum S ⊂ H besitzt eine Basis {φ1, . . . , φn}mit n := dim(S).Die beste Approximation p ∈ S stellen wir als Linearkombination in dieser Basis dar:

p =n∑k=1

αkuk,

mit eindeutig bestimmten Koeffizienten αk ∈ R. Dieser Ansatz für p wird in die Orthogo-nalitätsbedingung eingesetzt:

(f − p, φ) = (f −n∑k=1

αkφk, φ) = (f, φ)−n∑k=1

αk(φk, φ) = 0 ∀φ ∈ S.

Wir durchlaufen mit φ nach und nach alle Basisvektoren und erhalten (Superpositions-prinzip) das lineare Gleichungssystem mit n Gleichungen und n Variablen:

n∑k=1

(φk, φi)︸︷︷︸=aki

αk︸︷︷︸x

= (f, φi)︸︷︷︸=bi

i = 1, . . . , n, (3.19)

in dem der Koeffizientenvektor x = (αk)k=1,...,n die gesuchte unbekannten Lösung ist. Diesogenannte Systemmatrix A = (aij)ni,j=1 ist die Gramsche Matrix der Basis {φ1, . . . , φn}und stets regulär. A ist folglich injektiv. Weiter ist A symmetrisch und also auch positivdefinit. Das Gleichungssystem Ax = b ist somit für jede rechte Seite b (d.h. für jedes f ∈H) eindeutig lösbar. Damit ist über die Orthogonalitätsbedingung eindeutig ein Elementp ∈ P bestimmt, welches aufgrund von Teil Satz 3.78 die Bestapproximationseigenschaftbesitzt. �

Der Beweis liefert sofort ein Konstruktionsprinzip zur Bestimmung der Bestapproximationp ∈ S. Wir stellen zu gegebener Basis {φ1, . . . , φn} das lineare n × n Gleichungssystemauf:

n∑j=1

aijαj = bi, i = 1, . . . , n,

mit aij = (ψi, ψj) und berechnen den Ergebnisvektor x = (αj)j . Die gesuchte Bestappro-ximation p ∈ S ist dann in der Basisdarstellung gegeben als

p =n∑i=1

αiψi.

Zur numerischen Realisierung muss zunächst das lineare Gleichungssystem aufgestellt wer-den, d.h. insbesondere müssen die Einträge der Systemmatrix (numerisch) integriert wer-den. Schließlich ist das lineare Gleichungssystem Ax = b zu lösen. Das Lösen von linearenGleichungssystemen stellt einen eigenen Schwerpunkt in der numerischen Mathematik darund wir befassen uns damit in Kapitel 4. Es zeigt sich, dass dieser Lösungsweg numeri-sche sehr instabil ist. Angenommen, wir starten die Konstruktion mit der Monombasis{1, x, . . . , xn}. Dann ist die durch

aij =∫ 1

−1xi xj dx,

101


gegebene Matrix die sogenannte Hilbert-Matrix

Hn =

1 12

13

14 . . . 1

n12

13

14

15 . . . 1

n+113

14

15

. . . 1n+2

14

15

. . . . . . ...... . . . ...1n

1n+1

1n+2

1n+3 . . . 1

2n−1

.

Das Lösen eines Gleichungssystems mit der Hilbert-Matrix ist äußerst schwer. Dies liegtan der Konditionszahl der Hilbertmatrix, welche angibt, wie sich Rundungsfehler beimLösungsprozess verstärken. Schon für n = 4 liegt die Fehlerverstärkung der Hilbert-Matrixbei 15 000. Diese Matrix muss also unbedingt vermieden werden.

Auch wenn die Wahl der Basisvektoren {φ1, . . . , φn} keinen Einfluss auf das Ergebnis hat,so bestimmt sie doch wesentlich den Aufwand bei der Realisierung. Angenommen, dieBasis sei ein Orthonormalsystem, d.h. es gelte (φi, φj) = δij für alle i, j = 1, . . . , n. Danngilt für die Systemmatrix in (3.19)

aij = (φi, φj) = δij ⇒ A = I.

Die Systemmatrix ist die Einheitsmatrix und die gesuchten Koeffizienten lassen sich sofortablesen

αi = (f, φi),

womit die Bestapproximation durch die Relation

p =n∑i=1

(f, φi)φi,

trivial gegeben ist. Für dieses vereinfachte Vorgehen benötigen wir zunächst eine Ortho-normalbasis von S ⊂ H. Die Orthonormalisierung kann mit Hilfe des bereits diskutierenGram-Schmidt-Algorithmus durchgeführt werden. Bei Verwendung der Monombasis desS = Pn führt dieser Algorithmus auf die Legendre-Polynome. Wir fassen zusammen:

Korollar 3.80 (Gauss-Approximation mit Polynomen). Es sei f ∈ C[−1, 1]. Die Bestap-proximation p ∈ Pn bezüglich der L2-Norm im Raum der Polynome von Grad n eindeutigbestimmt durch:

p(x) =n∑i=0

1‖Li‖2L2[−1,1]

(Li, f)Li(x),

mit den Legendre-Polynomen

Li(x) := 12ii!

di

dxi(x2 − 1)i.

102


-1.5

-1

-0.5

0

0.5

1

1.5

-1 -0.5 0 0.5 1

f(x)Gauss-Approximation

Lagrange-Interpolation

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

-1 -0.5 0 0.5 1

Fehler Gauss-ApproximationFehler Lagrange-Interpolation

0

Abbildung 3.10: Gauss-Approximation sowie Lagrange-Interpolation (jeweils kubisch) derFunktion f(x) = sin(πx). Rechts: Fehler der Approximationen.

Die Normierung mit ‖Ln‖−2 ist notwendig, da die Legendre-Polynome bezüglich der L2-Norm nicht normiert sind, vergleiche Satz 3.65.

Die Eigenschaft von p ∈ Pn die beste Approximation zu f im Raum der Polynome zusein, bedeutet auch, dass p bezüglich der L2-Norm eine bessere Approximation ist als jedeLagrange-Interpolation zu beliebiger Wahl von Stützstellen x0, . . . , xn in [−1, 1]. Hierauskönnen wir auf triviale Weise eine einfache Fehlerabschätzung herleiten. Dazu sei f ∈Cn+1([a, b]) und p ∈ Pn die Bestapproximation. Es gilt:

‖f − p‖L2([a,b]) ≤‖fn+1‖∞(n+ 1)! min

x0,...,xn∈[a,b]

∫ 1

−1

n∏j=0

(x− xj)2 dx

12

. (3.20)

Das Minimum des zweiten Ausdrucks ist nicht einfach zu bestimmen, es können alle Stütz-stellen im Intervall frei variiert werden. Wir werden aber später auf diesen Punkt zurück-kommen und diese Lücke schließen.

Beispiel 3.81 (Gauss-Approximation vs. Lagrange-Interpolation). Wir approximieren dieFunktion f(x) = sin(πx) auf dem Intervall I = [−1, 1] mit Polynomen vom Grad drei.Zunächst erstellen wir in den äquidistant verteilten vier Stützstellen

xi = −1 + 2i3 , i = 0, . . . , 3

das zugehörige Lagrangesche Interpolationspolynom. Aufgrund von f(x0) = f(x3) = 0 gilt:

pL(x) = sin(x1)L(3)1 (x) + sin(x2)L(3)

2 (x)

= 27√

316 (x− x3).

Als zweite Approximation bestimmen wir die Gauß-Approximation in der L2-Norm. Hierzuverwenden wir die Darstellung über die normierten Legendre-Polynome Ln(x) auf [−1, 1].

103


Es gilt aus Symmetriegründen:∫ 1

−1L0(x) f(x) dx =

∫ 1

−1L2(x) f(x) dx = 0,

sowie ∫ 1

−1L1(x) f(x) dx =

√6π,

∫ 1

−1L3(x) f(x) dx =

√14(π2 − 15)

π3 .

Hieraus erhalten wir die Gauß-Approximation

pG(x) =√

6πL1(x) +

√14(π2 − 15)

π3 L3(x)

= 5x(7π2x2 − 105x2 − 3π2 + 63)2π3 .

Für die beiden Approximationen gilt:

‖f − pL‖L2([−1,1]) ≈ 0.2, ‖f − pG‖L2([−1,1]) ≈ 0.1,

d.h., die Gauß-Approximation liefert in der L2-Norm ein doppelt so gutes Ergebnis. InAbbildung 3.10 zeigen wir beide Approximationen, die Funktion f(x) sowie die Fehlerf(x)−pl(x) sowie f(x)−pg(x). Hier sehen wir zunächst, dass die Lagrange-Interpolation anden Stützstellen die Interpolationsbedingung, also f(xi) = pL(xi) = 0 erfüllt, wo hingegendie Gauss-Approximation gerade am Rand einen großen Fehler aufweist. Der maximaleFehler im Intervall ist hingegen bei der Gauß-Approximation etwas geringer.

Diskrete Gauß-Approximation

Gegeben sei nun eine Messreihe (xi, yi), i = 1, 2, . . . ,m. Wir suchen eine approximierendeFunktion p ∈ S, wobei üblicherweise wieder S = Pn ein einfacher Polynomraum ist. Wirsuchen die beste Approximation p ∈ S bezüglich der euklidischen Norm:

|p− y|2 :=(

m∑i=1|p(xi)− yi|2

) 12

= minφ∈S|φ− y|2.

Im Gegensatz zur Lagrangeschen Interpolationsaufgabe fordern wir in den Stützstellen xinicht p(xi) = yi. Die Diskrete Gauß-Approximation wird üblicherweise zur Approximationvon diskreten Messwerten verwendet. Dann gilt meist m � n, wenn zum Beispiel einelineare Funktion p(x) = α0+α1x gesucht wird, die viele (tausend) Messwerte approximiert.Die euklidische Vektornorm ist aus dem euklidischen Skalarprodukt abgeleitet:

|x|2 = (x, x)122 ,

daher kann die bisher entwickelte Theorie unmittelbar angewendet werden. Schlüssel zurBestimmung der Bestapproximation ist wieder gemäß Satz 3.78 die Charakterisierung überdie Orthogonalität:

|p− y|2 = minφ∈S|φ− y|2 ⇔ (p− y, φ)2 = 0 ∀φ ∈ Rn.

104


Alle Eigenschaften der kontinuierlichen Gauß-Approximation übertragen sich und wir kön-nen gleich den Existenzsatz formulieren:

Satz 3.82 (Diskrete Gauß-Approximation). Es seien durch (xi, yi) für i = 1, . . . ,m dis-krete Datenwerte gegeben. Weiter sei S ein endlich dimensionaler Funktionenraum mitBasis {φ1, . . . , φn}. Die diskrete Gauß-Approximation p ∈ S

|p− y|2 :=(

m∑i=1|p(xi)− yi|2

) 12

= minφ∈S|φ− y|2,

ist eindeutig bestimmt.

Beweis: Über die Basisdarstellung ist S äquivalent zum euklidischen Raum Rn. Eindeu-tigkeit und Existenz folgen nun in Rn wie im Beweis zu Satz 3.79. �

Die Konstruktion der diskreten Gauß-Approximation folgt wieder über die Basisdarstel-lung

p(x) =n∑i=1

αiφi(x)

aus der beschreibenden Orthogonalitätsbeziehung:

(p− y, φk)2 =m∑i=1

(p(xi)− yi)φk(xi) = 0, k = 1, . . . , n

Setzen wir für p die Basisdarstellung ein, so erhalten wir das Gleichungssystem:

n∑j=1

αj

m∑i=1

φj(xi)φk(xi)︸︷︷︸=(φj ,φk)2

=m∑i=1

yiφk(xi)︸︷︷︸=(y,φk)2

, k = 1, . . . , n.

Der gesuchte Koeffizientenvektor α = (αk)nk=1 ist gegeben als Lösung des Gleichungssy-stems:

(φ0, φ0)2 (φ0, φ1)2 · · · (φ0, φn)2

(φ1, φ0)2. . . ...

... . . . ...(φn, φ0)2 · · · · · · (φn, φn)2

α0α1...αn

=

(y, φ0)2(y, φ1)2

...(y, φn)2.

Aus der allgemeinen Darstellung kann eine spezielle und häufig genutzte Approximationabgeleitet werden: die Gauß’sche Ausgleichsrechnung:

Beispiel 3.83 (Lineare Ausgleichsrechnung). Wir suchen die lineare Approximation p(x) ∈P1

p(x) = α0 + α1x,

105


zu gegebenen Messwerten. Es seien φ0(x) ≡ 1, φ1(x) = x dann ergibt sich das folgendelineare Gleichungssystem:(

(φ0, φ0)2 (φ0, φ1)2(φ1, φ0)2 (φ1, φ1)2

)(α0α1

)=(

(y, φ0)2(y, φ1)2,

)⇐⇒

(m

∑xi∑

xi∑x2i

)(α0α1

)=( ∑

yi∑xiyi.

)

Dieses System ist regulär, falls m ≥ 2 und es mindestens zwei Stützwerte xi 6= xj gibt.

Wir wenden die lineare Ausgleichsrechnung auf konkrete Messdaten an:

Beispiel 3.84 (Fortsetzung der Mensazählung). In der Mensazählung haben wir zu gewis-sen Uhrzeiten xi, i = 0, . . . , 7 (natürlich außerhalb der Vorlesungszeiten) die Anzahl derPersonen yi, i = 0, . . . , 7 in der Mensa gezählt. Die folgenden Messdaten haben wir somiterhalten:

xi[hour] = 10.30, 10.35, 10.45, 11.00, 13.00, 13.02, 13.14, 13.15,yi[Anz. Pers.] = 60, 70, 107, 90, 300, 325, 325, 350.

Dann ist m = 8 und∑xi = 94.41 und

∑x2i = 1.1275e + 03 und

∑xiyi = 2.0455e + 04.

Durch lösen des linearen Gleichungssystems erhalten wir die beiden Unbekannten

α0 = −904.6498, α1 = 93.8905.

Damit erhalten wir die lineare Ausgleichsgerade (illustriert in Abbildung 3.11)

g(x) = −904.6498 + 93.8905x.

Verallgemeinerung der Gauß-Approximation Die diskrete Gauß-Approximation sowiedie Approximation von Funktionen lassen sich durch die Verwendung von gewichtetenSkalarprodukten und entsprechenden gewichteten induzierten Normen vereinfachen.

Die Verwendung eines Gewichtes dient dazu, die Approximationsgenauigkeit der Gauß-Approximierenden an den Intervallenden zu verbessern. Für jedes integrable und positiveω(x) > 0 ist durch

(f, g)ω :=∫ b

af(x)g(x)ω(x) dx,

wieder ein Skalarprodukt mit entsprechender Norm

‖f‖ω = (f, f)12ω ,

gegeben. Wir die Gewichtsfunktion w(x) = 1√1−x2 verwendet, so legt die Bestapproxima-

tion ein größeres Gewicht auf die Intervallenden. Die hieraus abgeleiteten orthonormalenPolynome sind die bereits diskutierten Tschebyscheff-Polynome.

106


x11 12 13 14 15

K20,000

K15,000

K10,000

K5,000

0

10 11 12 13 14

100

200

300

400

Abbildung 3.11: Lineare Ausgleichsgerade der Gauß-Approximation und entsprechendesInterpolationspolynom im Vergleich (linkes Bild). Die Polynominter-polation macht nur wenig Sinn, da gegen 12.00 Uhr mehr als minus20000 Menschen in der Mensa sind!!! Lineare Ausgleichsgerade der Gauß-Approximation und gegebene Messdaten sind im rechten Bild zu sehen.

Auch die diskrete Gauß-Approximation lässt sich diesbezüglich verallgemeinern. Hierzusei durch ω ∈ Rn ein Vektor mit ωi > 0 gegeben. Dann ist für x, y ∈ Rn durch

(x, y)ω =n∑i=1

xiyiωi, |x|ω = (x, x)12ω ,

ein gewichtetes Skalarprodukt mit entsprechender Norm gegeben. Gerade für die diskreteApproximation spielen die Gewichte eine große Rolle in der Anwendung: Angenommenfür die Stützstellen und Stützwerte sind Abschätzungen für den Messfehler bekannt. Dannkönnen Stützwerte mit kleinerem Messfehler stärker gewichtet werden.

Sämtliche Sätze zur Gauß-Approximation wurden für beliebige von Skalarprodukten indu-zierte Normen bewiesen. Daher übertragen sich alle Eigenschaften auch auf die gewichtetenNormen.

107


108

4 Numerische Lineare Algebra

In der linearen Algebra wird die Struktur von linearen Abbildungen T : V →W zwischenendlich-dimensionalen Vektorräumen untersucht. In der numerischen linearen Algebra be-fassen wir uns mit einigen praktischen Fragestellungen der linearen Algebra. Schwerpunktder Anwendung ist das Lösen von linearen Gleichungen, also das Auffinden von x ∈ V , sodass für ein b ∈ W gilt T (x) = b. Weiter werden wir Verfahren zur Berechnung von Ei-genwerten linearer Abbildungen sowie zur Orthogonalisierung von Vektoren kennenlernen.Die meisten Probleme der linearen Algebra treten als Teilprobleme anderer Verfahren auf.Große lineare Gleichungssysteme müssen zur Diskretisierung von Differentialgleichungen,aber z.B. auch bei der Approximation von Funktionen gelöst werden. Effiziente numeri-sche Quadraturregeln benötigen zur Konstruktion die Nullstellen orthogonaler Polynome.Orthogonalisierungsverfahren spielen aber auch eine Rolle bei der Lösung von großen Glei-chungssystemen.

4.1 Grundlagen der linearen Algebra

Wir sammeln zunächst einige Definitionen und grundlegende Resultate. Es sei V stets einVektorraum über dem KörperK. Üblicherweise betrachten wir den Raum der reellwertigenVektoren V = Rn.

Definition 4.1 (Basis). Eine Teilmenge B ⊂ V eines Vektorraums über K heißt Basis,falls sich jedes Element v ∈ V eindeutig als Linearkombination der Basisvektoren B ={v1, . . . , vn} darstellen lässt:

v =n∑i=1

αivi, αi ∈ K.

Die eindeutige Darstellbarkeit jedes v ∈ V durch Basisvektoren erlaubt es, den VektorraumV mit dem Vektorraum der Koeffizientenvektoren α ∈ Kn zu identifizieren. Daher könnenwir uns in diesem Abschnitt im wesentlichen auf diesen Raum (bzw. auf Rn) beschränken.Alle Eigenschaften und Resultate übertragen sich auf V .

Definition 4.2 (Norm). Eine Abbildung ‖·‖ : V → R+ heißt Norm, falls sie die folgendendrei Eigenschaften besitzt:

1. Definitheit: ‖x‖ ≥ 0, ‖x‖ = 0 ⇒ x = 0,2. Linearität: ‖αx‖ = |α| ‖x‖ ∀x ∈ V, α ∈ K,3. Dreiecksungleichung: ‖x+ y‖ ≤ ‖x‖+ ‖y‖, ∀x, y ∈ V.

109


Ein Vektorraum mit Norm heißt normierter Raum. Häufig verwendete Normen sind dieMaximumsnorm ‖ · ‖∞, die euklidische Norm ‖ · ‖2 sowie die l1-Norm ‖ · ‖1:

‖x‖∞ := maxi=1,...,n

|xi|, ‖x‖2 :=(

n∑i=1

x2i

) 12

, ‖x‖1 :=n∑i=1|xi|.

Im Vektorraum Rn sowie in allen endlich-dimensionalen Vektorräumen gilt der folgendewichtige Satz:

Satz 4.3 (Normäquivalenz). Zu zwei beliebigen Normen ‖ · ‖ sowie ‖ · ‖′ im endlich-dimensionalen Vektorraum V existiert eine Konstante c > 0 so dass gilt:

1c‖x‖ ≤ ‖x‖′ ≤ c‖x‖ ∀x ∈ V.

Dieser Satz bedeutet, dass alle Normen in endlich-dimensionalen Vektorräumen äquivalentsind. Da Normen wesentlich für den Konvergenzbegriff sind, bedeutet dieses Resultat, dasseine Folge xn → x, welche bzgl. einer Norm ‖ · ‖ konvergiert auch bzgl. jeder anderenNorm ‖ · ‖′ konvergiert. Auch dieser Zusammenhang ist typisch für endlich-dimensionaleRäume und gilt z.B. nicht in Funktionenräumen. So gilt z.B. für die Funktionenfolgefn(x) = exp(−nx2) :

‖fn − 0‖L2([−1,1]) → 0, jedoch ‖fn − 0‖∞ 6→ 0,

bezüglich der L2-Norm sowie der Maximumsnorm:

‖f‖L2([−1,1]) :=(∫ 1

−1f(x)dx

) 12, ‖f‖∞ := sup

x∈[−1,1]|f(x)|.

Neben Normen spielen Räume, in denen ein Skalarprodukt existiert eine wichtige Rolle:

Definition 4.4 (Skalarprodukt). Eine Abbildung (·, ·) : V × V → K heißt Skalarprodukt,falls sie die folgenden Eigenschaften besitzt:

1. Definitheit: (x, x) > 0 ∀x ∈ V, x 6= 0,(x, x) = 0 ⇒ x = 0

2. Linearität: (x, αy + z) = α(x, y) + (x, z) ∀x, y, z ∈ V, α ∈ K,3. Symmetrie: (x, y) = (y, x) ∀x, y ∈ V.

In reellen Räumen gilt die echte Symmetrie (x, y) = (y, x). Das bekannteste Skalarproduktist das euklidische Skalarprodukt für Vektoren x, y ∈ Rn.

(x, y)2 = xT y =n∑i=1

xiyi.

110


Vektorräume mit Skalarprodukt werden Prähilberträume genannt. (Ein Prähilbertraumheißt Hilbertraum, falls er vollständig, also ein Banachraum ist). Komplexe Vektorräumenmit Skalarprodukt nennt man auch unitäre Räume, im Reellen spricht man von euklidi-schen Räumen.

Skalarprodukte sind eng mit Normen verwandt:

Satz 4.5 (Induzierte Norm). Es sei V ein Vektorraum mit Skalarprodukt. Dann ist durch

‖x‖ =√

(x, x), x ∈ V,

auf V die induzierte Norm gegeben.

Beweis: Übung! �

Die euklidische Norm ist die vom euklidischen Skalarprodukt induzierte Norm:

‖x‖2 = (x, x)122 .

Einige wichtige Sätze gelten für Paare aus Skalarprodukt und induzierter Norm:

Satz 4.6. Es sei V ein Vektorraum mit Skalarprodukt (·, ·) und induzierter Norm ‖ · ‖.Dann gilt die Cauchy-Schwarz Ungleichung:

|(x, y)| ≤ ‖x‖ ‖y‖ ∀x, y ∈ V,

sowie die Parallelogrammidentität:

‖x+ y‖2 + ‖x− y‖2 = 2‖x‖2 + 2‖y‖2 ∀x, y ∈ V.

Beweis: Übung. �

Mit Hilfe des Skalarproduktes 4.4 können wir den Begriff der Orthogonalität einführen:zwei Vektoren x, y ∈ V heißen orthogonal, falls (x, y) = 0.

Eine der Aufgaben der numerischen linearen Algebra ist die Orthogonalisierung (oder auchOrthonormalisierung) von gegebenen Systemen von Vektoren:

Definition 4.7 (Orthonormalbasis). Eine Basis B = {v1, . . . , vn} von V heißt Orthogo-nalbasis bezüglich des Skalarproduktes (·, ·), falls gilt:

(φi, φj) = 0 ∀i 6= j,

und Orthonormalbasis falls gilt:(φi, φj) = δij ,

mit dem Kronecker-Symbol δij.

111


Mit unterschiedlichen Skalarprodukten existieren unterschiedliche Orthonormalbasen zuein und demselben Vektorraum V . Orthogonalität stimmt dann im Allgemeinen nicht mitdem geometrischen Orthogonalitätsbegriff des euklidischen Raums überein:

Beispiel 4.8 (Skalarprodukte und Orthonormalbasis). Es sei V = R2. Durch

(x, y)2 := x1y1 + x2y2, (x, y)ω = 2x1y1 + x2y2,

sind zwei verschiedene Skalarprodukte gegeben. Das erste ist das euklidische Skalarprodukt.Die Skalarprodukteigenschaften des zweiten sind einfach zu überprüfen. Durch

x1 = 1√2

(1, 1)T , x2 = 1√2

(−1, 1)T ,

ist eine Orthonormalbasis bezüglich (·, ·)2 gegeben. Es gilt jedoch:

(x1, x2)ω = 12(2− 1) = 1√

26= 0.

Eine Orthonormalbasis erhalten wir z.B. durch

x1 = 1√3

(1, 1)T , x2 = 12(−1, 2)T ,

Orthonormalbasen werden für zahlreiche numerische Verfahren benötigt, bei der Gauß’schenQuadratur, bei der Gauß-Approximation von Funktionen und z.B. für die QR-Zerlegungeiner Matrix.

Wir betrachten nun den Vektorraum aller Rn×m-Matrizen. Auch dieser Vektorraum istendlich-dimensional und prinzipiell können wir den Vektorraum der n ×m-Matrizen mitdem Vektorraum der (nm)-Vektoren identifizieren. Von besonderem Interesse ist für unsder Vektorraum der quadratischen Rn×n-Matrizen:

Definition 4.9 (Eigenwerte, Eigenvektoren). Die Eigenwerte λ einer Matrix A ∈ Rn×nsind definiert als Nullstellen des charakteristischen Polynoms:

det(A− λI) = 0.

Die Menge aller Eigenwerte einer Matrix heißt das Spektrum

σ(A) := {λ ∈ C, λ Eigenwert von A}.

Der Spektralradius spr : Rn×n → R+ ist der betragsmäßig größte Eigenwert:

spr(A) := max{|λ|, λ ∈ σ(A)}.

Ein Element w ∈ Rn heißt Eigenvektor zu Eigenwert λ, falls gilt:

Aw = λw.

112


Bei der Untersuchung von linearen Gleichungssystemen Ax = b stellt sich zunächst dieFrage, ob ein solches Gleichungssystem überhaupt lösbar ist und ob die Lösung eindeutigist. Wir fassen zusammen:

Satz 4.10 (Reguläre Matrix). Für eine quadratische Matrix A ∈ Rn×n sind die folgendenAussagen äquivalent:

1. Die Matrix A ist regulär .

2. Die transponierte Matrix AT ist regulär.

3. Die Inverse A−1 ist regulär.

4. Das lineare Gleichungssystem Ax = b ist für jedes b ∈ Rn eindeutig lösbar.

5. Es gilt det(A) 6= 0.

6. Alle Eigenwerte von A sind ungleich Null.

Wir definieren weiter:

Definition 4.11 (positiv definit). Eine Matrix A ∈ Kn×n heißt positiv definit, falls

(Ax, x) > 0 ∀x 6= 0.

Umgekehrt können wir aus der definierenden Eigenschaft der positiven Definitheit einerMatrix ablesen: falls A positiv definit ist, so ist durch (A·, ·) ein Skalarprodukt gegeben.Es gilt:

Satz 4.12 (Positiv definite Matrizen). Es sei A ∈ Rn×n eine symmetrische Matrix. Dannist A genau dann positiv definit, falls alle (reellen) Eigenwerte von A positiv sind. Dannsind alle Diagonalelemente von A positiv und das betragsmäßig größte Element steht aufder Diagonalen.

Beweis: (i) Es sei A eine symmetrische Matrix mit einer Orthonormalbasis aus Eigen-vektoren w1, . . . , wn. A sei positiv definit. Dann gilt für beliebigen Eigenvektor wi mitEigenwert λi:

0 < (Awi, wi) = λi(wi, wi) = λi.

Umgekehrt seien alle λi positiv. Für x =∑ni=1 αiwi gilt:

(Ax, x) =∑i,j

(λiαiωi, αjωj) =∑i

λiα2i > 0.

(ii) A sei nun eine reelle, positiv definite Matrix. Es sei ei der i-te Einheitsvektor. Danngilt:

0 < (Aei, ei) = aii.

113


D.h., alle Diagonalelemente sind positiv.

(iii) Entsprechend wählen wir nun x = ei− sign(aij)ej . Wir nehmen an, dass aji = aij dasbetragsmäßig größte Element der Matrix sei. Dann gilt:

0 < (Ax, x) = aii − sign(aij)(aij + aji) + ajj = aii + aji − 2|aij | ≤ 0.

Aus diesem Widerspruch folgt die letzte Aussage des Satzes: das betragsmäßig größteElement muss ein Diagonalelement sein. �

Für Normen auf dem Raum der Matrizen definieren wir weitere Struktureigenschaften:

Definition 4.13 (Matrixnormen). Eine Norm ‖ · ‖ : Rn×n → R+ heißt Matrizenorm,falls sie submultiplikativ ist:

‖AB‖ ≤ ‖A‖ ‖B‖ ∀A,B ∈ Rn×n.

Sie heißt verträglich mit einer Vektornorm ‖ · ‖ : Rn → R+, falls gilt:

‖Ax‖ ≤ ‖A‖ ‖x‖ ∀A ∈ Rn×n, x ∈ Rn.

Eine Matrixnorm ‖·‖ : Rn×n → R+ heißt von einer Vektornorm ‖·‖ : Rn → R+ induziert,falls gilt:

‖A‖ := maxx 6=0

‖Ax‖‖x‖

.

Es ist leicht nachzuweisen, dass jede von einer Vektornorm induzierte Matrixnorm mitdieser auch verträglich ist. Verträglich mit der euklidischen Norm ist aber auch die Frobe-niusnorm

‖A‖F :=

n∑i,j=1

a2ij

12

,

welche nicht von einer Vektor-Norm induziert ist. Für allgemeine Normen auf dem Vek-torraum der Matrizen gilt nicht notwendigerweise ‖I‖ = 1, wobei I ∈ Rn×n die Ein-heitsmatrix ist. Dieser Zusammenhang gilt aber für jede von einer Vektornorm induzierteMatrixnorm. Wir fassen im folgenden Satz die wesentlichen induzierten Matrixnormenzusammen:

Satz 4.14 (Induzierte Matrixnormen). Die aus der euklidischen Vektornorm, der Maxi-mumsnorm sowie der l1-Norm induzierten Matrixnormen sind die Spektralnorm ‖·‖2, diemaximale Zeilensumme ‖ · ‖∞, sowie die maximale Spaltensumme ‖ · ‖1:

‖A‖2 =√

spr(ATA), spr(B) := max{|λ|, λ ist Eigenwert von B},

‖A‖∞ = maxi=1,...,n

m∑j=1|aij |,

‖A‖1 = maxj=1,...,m

n∑i=1|aij |.

114


Beweis: (i) Es gilt:

‖A‖22 = supx 6=0

‖Ax‖22‖x‖22

= supx 6=0

(Ax,Ax)‖x‖22

= supx 6=0

(ATAx, x)‖x‖22

Die Matrix ATA ist symmetrisch und hat als solche nur reelle Eigenwerte. Sie besitzt eineOrthonormalbasis ωi ∈ Rn von Eigenvektoren mit Eigenwerten λi ≥ 0. Alle Eigenwerte λisind größer gleich Null, denn:

λi = λi(ωi, ωi) = (ATAωi, ωi) = (Aωi, Aωi) = ‖Aωi‖2 ≥ 0.

Es sei x ∈ Rn beliebig mit Basisdarstellung x =∑i αiωi. Es gilt dann wegen (ωi, ωj)2 = δij

die Beziehung ‖x‖22 =∑i α

2i sowie mit dem Koeffizientenvektor α ∈ Rn:

‖A‖22 = supα6=0

(∑i αiA

TAωi,∑i αiωi)∑

i α2i

= supα 6=0

(∑i αiλiωi,

∑i αiωi)∑

i α2i

= supα 6=0

∑i λiα

2i∑

i α2i

≤ maxiλi.

Es sei nun umgekehrt durch λk der größte Eigenwert gegeben. Dann gilt für αi = δki:

0 ≤ maxiλi = λk =

∑i

λiα2i ≤ ‖A‖22.

(ii) Wir zeigen das Ergebnis exemplarisch für die Maximumsnorm:

‖Ax‖∞ = sup‖x‖∞=1

maxi

m∑j=1

aijxj

.Jede Summe nimmt ihr Maximum an, falls |xj | = 1 und falls das Vorzeichen xj so gewähltwird, dass aijxj ≥ 0 für alle j = 1, . . . ,m. Dann gilt:

‖Ax‖∞ = maxi

m∑j=1|aij |.

�

Als Nebenresultat erhalten wir, dass jeder Eigenwert betragsmäßig durch die Spektralnormder Matrix A beschränkt ist. Es gilt sogar mit beliebiger Matrixnorm und verträglicherVektornorm für einen Eigenwert λ mit zugehörigem Eigenvektor w ∈ Rn von A:

|λ| = |λ| ‖w‖‖w‖

= ‖Aw‖‖w‖

≤ ‖A‖ ‖w‖‖w‖

= ‖A‖.

Eine einfache Schranke für den betragsmäßig größten Eigenwert erhält man also durchAnalyse beliebiger (verträglicher) Matrixnormen.

Aus Satz 4.14 folgern wir weiter, dass für symmetrische Matrizen die ‖ · ‖2-Norm mit demSpektralradius der Matrix selbst übereinstimmt, daher der Name Spektralnorm.

115


4.2 Lösungsmethoden für lineare Gleichungssysteme

Das Lösen von linearen Gleichungssystemen ist eine der wichtigsten numerischen Auf-gaben. Viele Probleme sind nicht unmittelbar als lineares Gleichungssystem formuliert,in vielen Anwendungen treten allerdings ständig (unter Umständen sehr große) lineareGleichungssysteme auf. Groß bedeutet in Anwendungen, dass Gleichungssysteme mit vie-len Millionen Unbekannten gelöst werden müssen. Wir werden uns in diesem Abschnittausschließlich mit reellwertigen Matrizen A ∈ Rn×n befassen. Methoden zum Lösen vonlinearen Gleichungsystemen klassifiziert man als direkte Verfahren, welche die Lösung desGleichungssystems unmittelbar und bis auf Rundungsfehlereinflüsse exakt berechnen unditerative Verfahren, welche die Lösung durch eine Fixpunktiteration approximieren. Hierbefassen wir uns ausschließlich mit direkten Methoden. Iterative Verfahren sind Gegen-stand von Kapitel 5.

Als einführendes Beispiel betrachten wir das einfache Gleichungssystem(0.988 0.9590.992 0.963

)(xy

)=(

0.0870.087

)

mit der Lösung (x, y)T = (3,−3)T . Wir bestimmen die Lösung numerisch durch Gauß-Elimination mit dreistelliger Rechengenauigkeit. Die Gauß-Elimination setzen wir dabeials bekannt voraus: ( )0.988 0.959 0.087

0.992 0.963 0.087 ×0.992/0.998

( )0.988 0.959 0.0870.988 0.960 0.0866 ↓ −

( )0.988 0.959 0.0870 0.001 −0.0004

Mit Hilfe der Gauß-Elimination haben wir die Matrix A auf eine Dreiecksgestalt trans-formiert. Die rechte Seite b wurde entsprechend modifiziert. Das resultierende Dreiecks-system kann nun sehr einfach durch Rückwärtseinsetzen gelöst werden (bei dreistelligerRechnung):

0.001y = −0.0004 ⇒ y = −0.4, 0.988x = 0.087− 0.959 · (−0.4) ≈ 0.471 ⇒ x = 0.477

Wir erhalten also (x, y) = (0.477,−0.4). Der relative Fehler der numerischen Lösung be-trägt somit fast 90%. Die numerische Aufgabe, ein Gleichungssystem zu lösen scheint alsoentweder generell sehr schlecht konditioniert zu sein (siehe Kapitel 1), oder aber das Elimi-nationsverfahren zur Lösung eines linearen Gleichungssystems ist numerisch sehr instabilund nicht gut geeignet. Der Frage nach der Konditionierung und Stabilität gehen wir imfolgenden Abschnitt auf den Grund.

116


In der praktischen Anwendung treten sehr große Gleichungssysteme Ax = b auf. Beider numerischen Approximation von partiellen Differentialgleichungen müssen MatrizenA ∈ Rn×n der Dimension n > 1 000 000 invertiert werden. (Man nennt das Lösen ei-nes linearen Gleichungssystems oft invertieren, auch wenn die Inverse A−1 nicht wirklichaufgestellt wird). Hinzu kommt, dass ein solches lineares Gleichungssystem oft wieder-holt (viele 1 000 mal) gelöst werden muss (z.B. bei der Diskretisierung von instationärenDifferentialgleichungen, oder bei nichtlinearen Gleichungen). Neben der Stabilität des Lö-sungsprozesses wird auch die numerische Effizienz eine große Rolle spielen. Man versuche,eine 20× 20-Matrix mit dem Gauß’schen Eliminationsverfahren zu invertieren!

4.2.1 Störungstheorie & Stabilitätsanalyse von linearen Gleichungssystemen

Zu einer quadratischen, regulären Matrix A ∈ Rn×n sowie einem Vektor b ∈ Rn betrachtenwir das lineare Gleichungssystem

Ax = b.

Durch numerische Fehler, Rundungsfehler oder bloße Eingabefehler zum Beispiel durchMessungenauigkeiten liegen sowohl A als auch b nur gestört vor:

Ax = b.

Dabei sei A = A+ δA sowie b = b+ δb, mit Störung δA sowie δb.

Wir kommen nun zur Kernaussage dieses Abschnitts und wollen die Fehlerverstärkungbeim Lösen von linearen Gleichungssystemen betrachten. Fehler können dabei in der Ma-trix A als auch in der rechten Seite b auftauchen. Wir betrachten zunächst Störungen derrechten Seite:

Satz 4.15 (Störung der rechten Seite). Durch x ∈ Rn sei die Lösung des linearen Glei-chungsystems Ax = b gegeben. Es sei δb eine Störung der rechten Seite b = b + δb und xdie Lösung des gestörten Gleichungssystems. Dann gilt:

‖δx‖‖x‖

≤ cond(A)‖δb‖‖b‖

,

mit der Konditionszahl der Matrix

cond(A) = ‖A‖ · ‖A−1‖.

Beweis: Es sei ‖ · ‖ eine beliebige Matrixnorm mit verträglicher Vektornorm ‖ · ‖. Für dieLösung x ∈ Rn und gestörte Lösung x ∈ Rn gilt:

x− x = A−1(Ax−Ax) = A−1(b− b) = A−1δb.

Also:‖δx‖‖x‖

≤ ‖A−1‖‖δb‖‖x‖

· ‖b‖‖b‖

= ‖A−1‖‖δb‖‖b‖

· ‖Ax‖‖x‖

≤ ‖A‖ · ‖A−1‖︸︷︷︸=:cond(A)

‖δb‖‖b‖

.

�

117


Bemerkung 4.16 (Konditionszahl einer Matrix). Die Konditionszahl einer Matrix spieltdie entscheidende Rolle in der numerischen Linearen Algebra. Betrachten wir etwa dieKonditionierung der Matrix-Vektor Multiplikation y = Ax so erhalten wir bei gestörterEingabe x = x+ δx wieder:

‖δy‖‖y‖

≤ cond(A)‖δx‖‖x‖

Die Konditionszahl einer Matrix hängt von der gewählten Norm ab. Da jedoch alle Ma-trixnormen im Rn×n äquivalent sind, sind auch alle Konditionsbegriffe äquivalent. MitSatz 4.14 folgern wir für symmetrische Matrizen für den Spezialfall conds(A):

cond2(A) = ‖A‖2 · ‖A−1‖2 = max{|λ|, λ Eigenwert von A}min{|λ|, λ Eigenwert von A} .

Wir betrachten nun den Fall, dass die Matrix A eines linearen Gleichungssystems miteiner Störung δA versehen ist. Es stellt sich zunächst die Frage, ob die gestörte MatrixA = A+ δA überhaupt noch regulär ist.

Hilfsatz 4.17. Es sei durch ‖·‖ eine von der Vektornorm induzierte Matrixnorm gegeben.Weiter sei B ∈ Rn×n eine Matrix mit ‖B‖ < 1. Dann ist die Matrix I +B regulär und esgilt die Abschätzung:

‖(I +B)−1‖ ≤ 11− ‖B‖ .

Beweis: Es gilt:‖(I +B)x‖ ≥ ‖x‖ − ‖Bx‖ ≥ (1− ‖B‖)‖x‖

Da 1 − ‖B‖ > 0 ist durch I + B eine injektive Abbildung gegeben. Also ist I + B einereguläre Matrix. Weiter gilt:

1 = ‖I‖ = ‖(I +B)(I +B)−1‖ = ‖(I +B)−1 +B(I +B)−1‖≥ ‖(I +B)−1‖ − ‖B‖ ‖(I +B)−1‖ = ‖(I +B)−1‖(1− ‖B‖) > 0.

�

Mit diesem Hilfsatz können wir im Folgenden auch auf die Störung der Matrix eingehen:

Satz 4.18 (Störung der Matrix). Es sei x ∈ Rn die Lösung des linearen GleichungssystemsAx = b und A = A + δA einer gestörte Matrix mit ‖δA‖ ≤ ‖A−1‖−1. Für die gestörteLösung x gilt:

‖δx‖‖x‖

≤ cond(A)1− cond(A)‖δA‖/‖A‖

‖δA‖‖A‖

.

Beweis: Wir betrachten den Fall, dass die rechte Seite nicht gestört ist: δb = 0. Dann giltfür Lösung x sowie gestörte Lösung x und Fehler δx := x− x:

(A+ δA)x = b

(A+ δA)x = b+ δAx⇒ δx = −[A+ δA]−1δAx.

118


Da laut Voraussetzung ‖A−1δA‖ ≤ ‖A−1‖ ‖δA‖ < 1 folgt mit Hilfsatz 4.17:

‖δx‖ ≤ ‖A−1[I +A−1δA]−1δA‖ ‖x‖ ≤ ‖A−1‖1− ‖A−1δA‖

‖δA‖ ‖x‖.

Das Ergebnis erhalten wir durch zweimaliges Erweitern mit ‖A‖/‖A‖ sowie mit der Vor-aussetzung 0 ≤ ‖A−1δA‖ < 1. �

Diese beiden Störungssätze können einfach kombiniert werden, um gleichzeitig die Störungdurch rechte Seite und Matrix abschätzen zu können:

Satz 4.19 (Störungssatz für lineare Gleichungssysteme). Es sei x ∈ Rn die Lösung deslinearen Gleichungssystems Ax = b mit einer regulären Matrix A ∈ Rn×n. Für die Lösungx ∈ Rn des gestörten Systems Ax = b mit Störungen δb = b− b und δA = A−A gilt unterder Voraussetzung

‖δA‖ < 1‖A−1‖

die Abschätzung:

‖δx‖‖x‖

≤ cond(A)1− cond(A)‖δA‖/‖A‖

(‖δb‖‖b‖

+ ‖δA‖‖A‖

),

mit der Konditionszahlcond(A) = ‖A‖ ‖A−1‖.

Beweis: Wir kombinieren die Aussagen von Satz 4.15 und 4.18. Hierzu sei x die Lösungvon Ax = b, x die gestörte Lösung Ax = b und x die Lösung zu gestörter rechter SeiteAx = b. Dann gilt:

‖x− x‖ ≤ ‖x− x‖+ ‖x− x‖ ≤ cond(A)‖δb‖‖b‖

+ cond(A)1− cond(A)‖δA‖‖A‖

‖δA‖‖A‖

.

Die Aussage folgt mit (beachte ‖δA‖ < ‖A−1‖−1)

0 ≤ cond(A)‖δA‖‖A‖

< ‖A‖ ‖A−1‖ 1‖A‖ ‖A−1‖

≤ 1.

�

Mit diesem Ergebnis kehren wir zum einführenden Beispiel aus Abschnitt 4.2 zurück:

A =(

0.988 0.9590.992 0.963

)

⇒ A−1 ≈(

8301 −8267−8552 8517

)

In der maximalen Zeilensummennorm ‖ · ‖∞ gilt:

‖A‖1 = 1.955, ‖A−1‖1 ≈ 17079, cond1(A) ≈ 33370.

119


Das Lösen eines linearen Gleichungssystems mit der Matrix A ist also äußerst schlechtkonditioniert. Hieraus resultiert der enorme Rundungsfehler im Beispiel zu Beginn desKapitels. Wir halten hier fest: bei großer Konditionszahl ist die Konditionierung des Pro-blems sehr schlecht, d.h. der große Fehler ist immanent mit der Aufgabe verbunden undnicht unbedingt auf ein Stabilitätsproblem des Verfahrens zurückzuführen.

4.2.2 Das Gauß’sche Eliminationsverfahren und die LR-Zerlegung

Das wichtigste Verfahren zum Lösen eines linearen Gleichungsystems Ax = b mit quadra-tischer Matrix A ∈ Rn×n ist das Gauß’sche Eliminationsverfahren: durch Elimination derEinträge unterhalb der Diagonale wird die Matrix A ∈ Rn×n in den ersten n− 1 Schrittenauf eine obere rechte Dreiecksgestalt gebracht:

∗ ∗ ∗ · · · ∗∗ ∗ ∗ ∗∗ ∗ ∗ ∗... . . . ...∗ ∗ ∗ · · · ∗

→∗ ∗ ∗ · · · ∗0 ∗ ∗ ∗0 ∗ ∗ ∗... . . . ...0 ∗ ∗ · · · ∗

→ · · · →∗ ∗ ∗ · · · ∗0 ∗ ∗ ∗0 0 ∗ ∗... . . . ...0 0 · · · 0 ∗

Mit der Dreiecksmatrix R ∈ Rn×n (R = (rij)ni,j=1 mit rij = 0 für i > j) kann das reduzierteGleichungssystem

Rx = b,

durch Rückwärtseinsetzen gelöst werden. Wir betrachten zunächst diese Rückwärtseinset-zen:

Algorithmus 4.20 (Rückwärtseinsetzen). Es sei Rn×n eine rechte obere Dreiecksmatrix.Die Lösung x ∈ Rn von Rx = b ist gegeben durch:

1. Setze xn = r−1nnbn

2. Für i = n− 1, . . . , 1

xi = r−1ii

bi − n∑j=i+1

rijxj

.Es gilt:

Satz 4.21 (Rückwärtseinsetzen). Es sei R ∈ Rn×n eine rechte obere Dreiecksmatrix mitrii 6= 0. Dann ist die Matrix R regulär und das Rückwärtseinsetzen erfordert

NR(n) = n2

2 +O(n)

arithmetische Operationen.

120


Beweis: Es gilt det(R) =∏rii 6= 0. Also ist die Matrix R regulär.

Jeder Schritt der Rückwärtseinsetzen besteht aus Additionen, Multiplikationen und Divi-sion durch die Diagonalelemente. Bei rii 6= 0 ist jeder Schritt durchführbar.

Zur Berechnung von xi sind n−(i+1) Multiplikationen und Additionen notwendig. Hinzukommt eine Division pro Schritt. Dies ergibt:

n+n−1∑i=1

(n− (i+ 1)

)= n+ (n− 1)n− (n− 1)− n(n− 1)

2 = n2 − n+ 22 .

�

Die Transformation von A auf Dreiecksgestalt geschieht durch zeilenweise Elimination:

a11 a12 a13 . . . a1na21 a22 a23 . . . a2n

a31 a32 a33. . . a3n

......

. . . . . ....

an1 an2 an3 . . . ann

→

a11 a12 a13 . . . a1n

0 a(1)22 a

(1)23 . . . a

(1)2n

0 a(1)32 a

(3)33

. . . a(1)3n

......

. . . . . ....

0 a(1)n2 a

(1)n3 . . . a

(1)nn

→

→

a11 a12 a13 . . . a1n

0 a(1)22 a

(1)23 . . . a

(1)2n

0 0 a(2)33

. . . a(2)3n

......

. . . . . ....

0 0 a(2)n3 . . . a

(2)nn

→ · · · → A(n−1) =: R.

Beginnend mit A(0) := A werden sukzessive Matrizen A(i) erzeugt, mit A(n−1) =: R. Dabeiwird in Schritt i des Verfahrens die Spalte i-te Spalte von A(i−1) unterhalb der Diagonaleneliminiert. Dies geschieht durch Subtraktion des g(i)

k -fachen der i-ten Zeile von der k-ten.Hierbei gilt:

g(i)k := a

(i−1)ki

a(i−1)ii

.

Im i-ten Eliminationschritt bleiben die ersten i − 1 Zeilen und Spalten unverändert. Deri-te Eliminationsschritt lässt sich kompakt in Form einer Matrix-Matrix Multiplikationschreiben

A(i) = F (i)A(i−1),

mit der Eliminationsmatrix (alle nicht spezifizierten Einträge sind Null):

F (i) :=

1. . .

1

−g(i)i+1

. . .... . . .−g(i)

n 1

, g

(i)k := a

(i−1)ki

a(i−1)ii

.

121


Mehrfache Anwendung von Eliminationsmatrizen führt zu der Darstellung:

R = A(n−1) = F (n−1)A(n−2) = F (n−1)F (n−2)A(n−3) = F (n−1) · · ·F (1)︸︷︷︸=:F

A(0) = FA. (4.1)

Matrizen mit der Gestalt der Eliminationsmatrizen F (i) heißen Frobeniusmatrix. Es giltder folgende Satz:

Satz 4.22 (Frobeniusmatrix). Jede Frobeniusmatrix F (i) ∈ Rn×n ist regulär und es gilt:

F (i) :=

1. . .

1

−gi+1. . .

... . . .−gn 1

⇒ [F (i)]−1 :=

1. . .

1

gi+1. . .

... . . .gn 1

.

Für zwei Frobeniusmatrizen F (i1) und F (i2) mit i1 < i2 gilt:

F (i1)F (i2) = F (i1) + F (i2) − I =

1. . .

1−g(i1)

i1+1 1... . . .... 1... −g(i2)

i2+1. . .

...... . . .

−g(i1)n −g(i2)

n 1

Beweis: Nachrechnen! �

Bei der Multiplikation von Frobeniusmatrizen ist darauf zu achten, dass diese nicht kom-mutativ ist. Es gilt:

F (i2)F (i1) 6= F (i1) + F (i2) − I für i1 < i2!

Aus dem Multiplikationsverhalten von Frobeniusmatrizen können wir für i1 < i2 < i3 eineeinfache Verallgemeinerung ableiten:

F (i1)F (i2)F (i3) = F (i1)(F (i2) + F (i3 − I)F (i1)F (i2) + F (i1)F (i3 − F (i1)

= F (i1) + F (i2) − I + F (i1) + F (i3) − I − F (i1)

= F (i1) + F (i2) + F (i3) − 2I.

122


Wir setzen nun (4.1) fort und mit F−(i) := [F (i)]−1 gilt bei Verwendung von Satz 4.22zunächst, dass F als Produkt von regulären Matrizen selbst regulär ist. Also folgt:

A = F−1R = [F (n−1) · · ·F (1)]−1R = F−(1) · · ·F−(n−1)︸︷︷︸=:L

R.

Die Matrix L ist nach der Verallgemeinerung von Satz 4.22 eine untere Dreiecksmatrixmit Diagonaleinträgen 1:

L =

1g

(1)2 1g

(1)3 g

(2)3 1

g(1)4 g

(2)4 g

(3)4 1

...... . . . . . . . . .

g(1)n g

(2)n · · · · · · g

(n−1)n 1.

Wir fassen zusammen:

Satz 4.23 (LR-Zerlegung). Es sei A ∈ Rn×n eine quadratische, reguläre Matrix. An-genommen alle bei der Elimination auftretenden Diagonalelemente a(i−1)

ii seien ungleichNull. Dann existiert die eindeutig bestimmte LR-Zerlegung in eine rechte obere reguläreDreiecksmatrix R ∈ Rn×n sowie in eine linke untere reguläre Dreiecksmatrix L ∈ Rn×nmit Diagonaleinträgen 1. Die Aufwand zur Durchführung der LR-Zerlegung beträgt

13n

3 +O(n2)

arithmetische Operationen.

Beweis: (i) Eindeutigkeit. Angenommen, es existieren zwei LR-Zerlegungen

A = L1R1 = L2R2 ↔ L−12 L1 = R2R

−11 .

Das Produkt von Dreiecksmatrizen ist wieder eine Dreiecksmatrix, also müssen beide Pro-dukte Diagonalmatrizen sein. Das Produkt L−1

2 L1 hat nur Einsen auf der Diagonale, alsofolgt

L−12 L1 = R2R

−11 = I,

und somit L1 = L2 und R1 = R2.

(ii) Durchführbarkeit. Jeder Schritt der Elimination ist durchführbar, solange nicht durcha

(i−1)ii = 0 geteilt werden muss. Die Matrix F ist per Konstruktion regulär und somit

existiert auch die Matrix L.

(iii) Aufwand. Im i-ten Eliminationsschritt

A(i) = F (i)A(i−1)

123


sind zunächst n − (i + 1) arithmetische Operationen zur Berechnung der g(i)j für j =

i + 1, . . . , n notwendig. Die Matrix-Matrix Multiplikation betrifft nur alle Elemente aklmit k > i sowie l > i. Es gilt:

a(i)kl = a

(i−1)kl + g

(i)k a

(i)ik , k, l = i+ 1, . . . , n.

Hierfür sind (n− (i+ 1))2 arithmetische Operationen notwendig. Insgesamt summiert sichder Aufwand in den n− 1 Schritten zu:

NLR(n) =n−1∑i=1

{n− (i+ 1) + (n− (i+ 1))2} =

n−1∑i=1

{n2 − n− i(1 + 2n) + i2

},

und mit den bekannten Summenformeln folgt:

NLR(n) = (n− 1)n2− (n− 1)n− n(n− 1)2 (1 + 2n) + (n− 1)n(2n− 1)

6 = 13n

3− 2n2 + 53n.

�

Die LR-Zerlegung kann nun zum Lösen von linearen Gleichungssystemen verwendet wer-den:

Algorithmus 4.24 (Lösen von linearen Gleichungsystemen mit der LR-Zerlegung). Essei A ∈ Rn×n eine reguläre Matrix, für welche die LR-Zerlegung existiert.

1. Berechne die LR-Zerlegung A = LR in linke untere und rechte obere Dreiecksmatrix.

2. Löse das Gleichungssystem Ax = b durch Vorwärts- und Rückwärtseinsetzen:

(i) Ly = b

(ii) Rx = y.

Die Vorwärtselimination läuft entsprechend der Rückwärtseinsetzen in Algorithmus 4.20und gemäß Satz 4.21 benötigt sie O(n2) Operationen. Das eigentliche Lösen eines linearenGleichungsystems ist weit weniger aufwendig als das Erstellen der Zerlegung. In vielenAnwendungsproblemen, etwa bei der Diskretisierung von parabolischen Differentialglei-chungen, müssen sehr viele Gleichungssysteme mit unterschiedlichen rechten Seiten aberidentischen Matrizen hintereinander gelöst werden. Hier bietet es sich an, die Zerlegungnur einmal zu erstellen und dann wiederholt anzuwenden.

124


Bemerkung 4.25 (Praktische Aspekte). Die Matrix L ist eine linke untere Dreiecks-matrix mit Einsen auf der Diagonale. Die bekannten Diagonalelemente müssen demnachnicht gespeichert werden. Ebenso müssen die Nullelemente der Matrizen A(i) unterhalbder Diagonale nicht gespeichert werden. Es bietet sich an, die Matrizen L und R in dergleichen quadratischen Matrix zu speichern. In Schritt i gilt dann:

A(i) =

a11 a12 a13 · · · · · · · · · a1n

l21 a(1)22 a

(1)23

...

l31 l32 a(2)33

. . . ...... . . . . . . ...... li+1,i a

(i)i+1,i+1 · · · a

(i)i+1,n

...... . . . ...

ln1 ln2 · · · ln,i a(i)n,i+1 . . . a

(i)nn

Dabei sind die fett gedruckten Werte die Einträge von L. Die Werte oberhalb der Linieändern sich im Verlaufe des Verfahrens nicht mehr und bilden bereits die Einträge L sowieR.

Pivotierung Das Element a(i−1)ii wird das Pivot-Element genannt. Bisher musste dieses

Element stets ungleich Null sein. Dies ist jedoch für reguläre Matrizen nicht zwingendnotwendig. Wir betrachten als Beispiel die Matrix

A :=

1 4 22 8 11 2 1

.

Im ersten Schritt zur Erstellung der LR-Zerlegung ist a(0)11 = 1 und es gilt:

A(1) = F (1)A =

1 0 0−2 1 0−1 0 1

1 4 2

2 8 11 2 1

=

1 4 20 0 −30 −2 −1

.

An dieser Stelle bricht der Algorithmus ab, denn es gilt a(1)22 = 0. Wir könnten den Algorith-

mus jedoch mit der Wahl a(i)32 = −2 als neues Pivot-Element weiterführen. Dies geschieht

systematisch durch Einführen einer Pivotisierung. Im i-ten Schritt des Verfahrens wirdzunächst ein geeignetes Pivot-Element aki in der i-ten Spalte gesucht. Die k-te und i-teZeile werden getauscht und die LR-Zerlegung kann nicht weiter durchgeführt werden. Das

125


Tauschen von k-ter und i-ter Zeile erfolgt durch Multiplikation mit einer Pivot-Matrix:

P ki :=

1. . .

10 0 . . . 0 10 1 0...

. . ....

0 1 01 0 · · · 0 0

1. . .

1

Es gilt pkijj = 1 für j 6= k und j 6= i sowie pkiki = pkiik = 1, alle anderen Elemente sind Null.Wir fassen einige Eigenschaften von P zusammen:

Satz 4.26 (Pivot-Matrizen). Es sei P = P kl die Pivot-Matrix mit P klii = 1 für i 6= k, lund P klkl = P kllk = 1. Die Anwendung P klA von links tauscht k-te und l-te Zeile von A, dieAnwendung AP kl von rechts tauscht k-te und l-te Spalte. Es gilt:

P 2 = I ⇔ P−1 = P.

Beweis: Übung. �

In Schritt i der LR-Zerlegung suchen wir nun zunächst das Pivot-Element:

Algorithmus 4.27 (Pivot-Suche). In Schritt i suche Index k ≥ i, so dass

|aki| = maxj≥i|aji|.

Bestimme die Pivot-Matrix als P (i) := P ki.

Im Anschluss bestimmen wir A(i) als

A(i) = F (i)P (i)A(i−1).

Die Pivotisierung sorgt dafür, dass alle Elemente g(i)k = a

(i−1)ki /a

(i−1)ii von F (i) im Betrag

durch 1 beschränkt sind. Insgesamt erhalten wir die Zerlegung:

R = A(n−1) = F (n−1)P (n−1) · · ·F (1)P (1)A. (4.2)

Die Pivot-Matrizen kommutieren nicht mit A oder den F (i). Daher ist ein Übergang zurLR-Zerlegung nicht ohne weitere möglich. Wir definieren:

F (i) := P (n−1) · · ·P (i+1)F (i)P (i+1) · · ·P (n−1).

126


Die Matrix F (i) entsteht durch mehrfache Zeilen- und Spaltenvertauschung von F (i). Dabeiwerden nur Zeilen und Spalten j > i vertauscht. Die Matrix F (i) hat die gleiche Beset-zungsstruktur wie F (i) und insbesondere nur Einsen auf der Diagonale. D.h, sie ist wiedereine Frobeniusmatrix und Satz 4.22 gilt weiter. Es sind lediglich die Einträge in der i-tenSpalte unterhalb der Diagonale permutiert. Für die Inverse gilt entsprechend:

L(i) := [F (i)]−1 = P (n−1) · · ·P (i+1)L(i)P (i+1) · · ·P (n−1).

Die gleichzeitige Vertauschung von Zeilen und Spalten lässt die Diagonalelemente unver-ändert. Die Matrix L(i) ist wieder eine Frobeniusmatrix, es werden nur die Elemente derSpalte lij , i > j permutiert. Wir formen (4.2) durch geschicktes Einfügen von Permutati-onsmatrizen um:

R = F (n−1)F (n−2) . . . F (1) P (n−1) . . . P (1)︸︷︷︸=:P

A

Diesen Prozess mache man sich anhand eines einfachen Beispiels klar:

R = F (3)P (3)F (2)P (2)F (1)P (1)A

= F (3)P (3)F (2) P (3)P (3)︸︷︷︸=I

P (2)F (1) P (2)P (3)P (3)P (2)︸︷︷︸=I

P (1)A

= F (3)︸︷︷︸=F (3)

P (3)F (2)P (3)︸︷︷︸=F (2)

P (3)P (2)F (1)P (2)P (3)︸︷︷︸=F (1)

P (3)P (2)P (1)︸︷︷︸=P

A

Mit L(i) = [F (i)]−1 gilt dann:

L(1) · · · L(n−1)︸︷︷︸=:L

R = PA.

Da L(i) wieder Frobeniusmatrizen sind, gilt weiter mit Satz 4.22:

L = L(1) · · · L(n−1)

=n−1∑i=1

L(i) − (n− 2)I

= P (n−1)(L(n−1) + P (n−1)

(L(n−2) + · · ·+ P (2)F (1)P (2)

). . . P (n−2)

)P (n−1) − (n− 2)I.

Beim Erstellen der LR-Zerlegung müssen also nicht nur die A(i) sondern auch die bisherberechneten L(i) permutiert werden.


Satz 4.28 (LR-Zerlegung mit Pivotisierung). Es sei A ∈ Rn×n eine reguläre Matrix. Esexistiert eine LR-Zerlegung

PA = LR,

wobei P ein Produkt von Pivot-Matrizen ist, L eine untere Dreiecksmatrix mit Diagonal-einträgen eins und R eine rechte obere Dreiecksmatrix. Die LR-Zerlegung ohne Pivotisie-rung P = I ist eindeutig, falls sie existiert.

127


Beweis: Übung. �

Die Pivotisierung dient einerseits dazu, die Durchführbarkeit der LR-Zerlegung sicher-zustellen. Auf der anderen Seite kann durch geeignete Pivotisierung die Stabilität derGauß-Elimination verbessert werden. Durch Wahl eines Pivot-Elements aki mit maxima-ler relativer Größe (bezogen auf die Zeile) kann die Gefahr der Auslöschung verringertwerden.

Beispiel 4.29 (LR-Zerlegung ohne Pivotierung). Es sei:

A =

2.3 1.8 1.01.4 1.1 −0.70.8 4.3 2.1

, b =

1.2−2.10.6

,und die Lösung des linearen Gleichungssystems Ax = b ist gegeben durch (Angabe mitfünfstelliger Genauigkeit):

x ≈

0.34995−0.98024

2.1595

.Für die Matrix A gilt cond∞(A) = ‖A‖∞ ‖A−1‖∞ ≈ 7.2 · 1.2 ≈ 8.7. Die Aufgabe istalso gut konditioniert, eine Fehlerverstärkung um höchstens eine Stelle ist zu erwarten.Wir erstellen zunächst die LR-Zerlegung (dreistellige Rechnung). Dabei schreiben wir dieEinträge von L fettgedruckt in die Ergebnismatrix:

F (1) =

1 0 0−1.4

2.3 1 0−0.8

2.3 0 1

≈ 1 0 0−0.609 1 0−0.348 0 1

, [L(1), A(1)] ≈

2.3 1.8 1.00.609 0.0038 −1.310.348 3.67 1.75

Im zweiten Schritt gilt:

F (2) =

1 0 00 1 00 − 3.67

0.0038 1

≈1 0 0

0 1 00 −966 1

, [L(2)L(1), A(2)] ≈

2.3 1.8 1.00.609 0.0038 −1.310.348 966 1270

Die LR-Zerlegung ergibt sich als:

L =

1 0 00.609 1 00.348 966 1

, R :=

2.3 1.8 1.00 0.0038 −1.310 0 1270

Wir lösen das Gleichungssystem nun durch Vorwärts- und Rückwärtseinsetzen:

Ax = L Rx︸︷︷︸=y

= b.

Zunächst gilt:

y1 = 1.2, y2 = −2.1− 0.609 · 1.2 ≈ −2.83, y3 = 0.6− 0.348 · 1.2 + 966 · 2.83 ≈ 2730.

128


Und schließlich:

x3 = 27301270 ≈ 2.15, x2 = −2.83 + 1.31 · 2.15

0.0038 ≈ −3.55, x1 = 1.2 + 1.8 · 3.55− 2.152.3 ≈ 2.37.

Für die Lösung x gilt:

x =

2.37−3.552.15

, ‖x− x‖2‖x‖2

≈ 1.4,

d.h. ein Fehler von 140 Prozent, obwohl wir nur Rundungsfehler und noch keine gestörteEingabe betrachtet haben.

Dieses Negativbeispiel zeigt die Bedeutungder Pivotisierung. Im zweiten Schritt wurde alsPivot-Element mit 0.0038 ein Wert Nahe bei 0 gewählt. Hierdurch entstehen Werte vonsehr unterschiedlicher Größenordnung in den Matrizen L und R. Dies wirkt sich ungünstigauf die weitere Stabilität aus.

Beispiel 4.30 (LR-Zerlegung mit Pivotisierung). Wir setzen das Beispiel in Schritt 2 fortund suchen zunächst das Pivot-Element:

[L(1), A(1)] =

2.3 1.8 1.00.609 0.0038 −1.310.348 3.67 1.75

, P (2) =

1 0 00 0 10 1 0

Also, pivotisiert:

[L(1), A(1)] =

2.3 1.8 1.00.348 3.67 1.750.609 0.0038 −1.31

.Weiter folgt nun:

F (2) =

1 0 00 1 00 −0.0038

3.67 1

≈1 0 0

0 1 00 −0.00104 1

[L(2)L(1), A(2)] ≈

2.3 1.8 1.00.348 3.67 1.750.609 0.001040 −1.31

Wir erhalten die Zerlegung:

LR = PA, L :=

1 0 00.348 1 00.609 0.00104 1

, R :=

2.3 1.8 1.00 3.67 1.750 0 −1.31

, P :=

1 0 00 0 10 1 0

.Das Lineare Gleichungssystem lösen wir in der Form:

PAx = L Rx︸︷︷︸=y

= Pb.

129


Zunächst gilt für die rechte Seite: b = Pb = (1.2, 0.6,−2.1)T und Vorwärtseinsetzen inLy = b ergibt

y1 = 1.2, y2 = 0.6−0.348 ·1.2 ≈ 0.182, y3 = −2.1−0.609 ·1.2−0.00104 ·0.182 ≈ −2.83.

Als Näherung x erhalten wir:

x =

0.35−0.982.16

mit einem relativen Fehler

‖x− x‖2‖x‖2

≈ 0.0002,

also von nur 0.02% statt 140%.

Die Beispiele zeigen, dass die berechnete LR-Zerlegung in praktischer Anwendung natür-lich keine echte Zerlegung, sondern aufgrund von Rundungsfehlern nur eine Näherung derMatrix A ≈ LR ist. Man kann durch Berechnung von LR leicht die Probe machen undden Fehler A− LR bestimmen.

Die LR-Zerlegung ist eines der wichtigsten direkten Verfahren zum Lösen von linearenGleichungssystemen. Der Aufwand zur Berechnung der LR-Zerlegung steigt allerdings mitdritter Ordnung sehr schnell. Selbst auf modernen Computern übersteigt die Laufzeit fürgroße Gleichungssysteme schnell eine sinnvolle Grenze:

n Operationen Zeit100 300 000 30 µs

1 000 300 · 106 30 ms10 000 300 · 109 30 s

100 000 300 · 1012 10 h1 000 000 300 · 1015 1 Jahr

Tabelle 4.1: Rechenzeit zum Erstellen der LR-Zerlegung einer Matrix A ∈ Rn×n auf einemRechner mit 10 GigaFLOPS.

Bei der Diskretisierung von partiellen Differentialgleichungen treten Gleichungssystememit n = 106 ∼ 109 auf. Die Matrizen verfügen dann aber über Struktureigenschaften wieSymmetrie, oder über ein besonders dünnes Besetzungsmuster (in jeder Zeile sind nureinige wenige ungleich Null). Die linearen Gleichungsysteme, die bei der Finite-ElementeDiskretisierung der Laplace-Gleichung (beschreibt die Ausdehnung einer Membran) entste-hen haben z.B. unabhänging von n nur 5 Einträge pro Zeile. Die so entstehenden linearenGleichungsysteme lassen sich bei effizienter Implementierung der LR-Zerlegung auch bein = 1 000 000 in weniger als einer Minute lösen.

130


4.2.3 LR-Zerlegung für diagonaldominante Matrizen

Satz 4.28 besagt, dass die LR-Zerlegung für beliebige reguläre Matrizen mit Pivotierungmöglich ist. Es gibt allerdings auch viele Matrizen, bei denen die LR-Zerlegung ohnePivotisierung stabil durchführbar ist. Beispiele hierfür sind positiv definite oder diagonal-dominante Matrizen:

Definition 4.31 (Diagonaldominanz). Eine Matrix A ∈ Rn×n heißt diagonaldominant,falls

|aii| ≥∑j 6=i|aij |, i = 1, . . . , n.

Eine diagonaldominante Matrix hat das betragsmäßig größte Element auf der Diagonalen,bei regulären Matrizen sind die Diagonalelemente zudem ungleich Null.

Satz 4.32 (LR-Zerlegung diagonaldominanter Matrizen). Sei A ∈ Rn×n eine reguläre,diagonaldominante Matrix. Dann ist die LR-Zerlegung ohne Pivotierung durchführbar undalle auftretenden Pivot-Elemente a(i−1)

ii sind von Null verschieden.

Beweis: Wir führen den Beweis über Induktion und zeigen, dass alle Untermatrizen A(i)kl>i

wieder diagonaldominant sind. Für eine diagonaldominante Matrix gilt

|a11| ≥∑j>1|a1j | ≥ 0,

und da A regulär ist auch zwingend |a11| > 0. Der erste Schritt der LR-Zerlegung istdurchführbar.

Es sei nun A eine reguläre Matrix, wir wollen zeigen, dass die Matrix A nach einemEliminationsschritt eine diagonaldominante Untermatrix Aij>1 hat. Für deren Einträgeaij gilt:

aij = aij −ai1a1ja11

, i, j = 1, . . . , n.

Also gilt für die Untermatrix:

i = 2, . . . , n :n∑

j=2, j 6=i|aij | ≤

n∑j=1, j 6=i

|aij |︸︷︷︸≤|aii|

−|ai1|+|ai1||a11|

n∑j=2|a1j |︸︷︷︸

≤|a11|

− |ai1||a11|

|a1i|

≤ |aii| −|ai1||a11|

|a1i| ≤ |aii −ai1a11

a1i| = |aii|.

Die resultierende Matrix ist wieder diagonaldominant. �

Die Definition der Diagonaldominanz scheint zunächst willkürlich. Es zeigt sich aber, dassviele Matrizen, die in Anwendungen, zum Beispiel bei der Diskretisierung von partiellenDifferentialgleichungen auftreten, diese Eigenschaft erfüllen. Zudem ist die Diagonaldo-minanz einer Matrix sehr einfach zu überprüfen und daher ein gutes Kriterium um dieNotwendigkeit der Pivotierung abzuschätzen.

131


4.2.4 Die Cholesky-Zerlegung für positiv definite Matrizen

Eine wichtige Klasse von Matrizen sind die positiv definiten Matrizen, siehe Definition 4.11sowie Satz 4.12. Es zeigt sich, dass für symmetrisch positiv definite Matrizen A ∈ Rn×n einesymmetrische Zerlegung A = LLT in eine untere Dreiecksmatrix L erstellt werden kann.Diese ist immer ohne Pivotisierung durchführbar und wird Cholesky-Zerlegung genannt.Der Aufwand zum Erstellen der Cholesky-Zerlegung ist erwartungsgemäß nur halb so großwie der Aufwand zum Erstellen der LR-Zerlegung.

Satz 4.33 (LR-Zerlegung einer positiv definiten Matrix). Die Matrix A ∈ Rn×n sei sym-metrisch, positiv definit. Dann existiert eine eindeutige LR-Zerlegung ohne Pivotierung.

Beweis: Wir gehen ähnlich vor wie bei diagonaldominanten Matrizen und führen denBeweis per Induktion. Da zu sei A eine positiv definite, symmetrische Matrix. Ein Schrittder LR-Zerlegung ist durchführbar, da laut Satz 4.12 gilt a11 > 0. Wir zeigen, dass dieTeilmatrix Aij>1 nach einem Eliminationsschritt wieder symmetrisch positiv definit ist.Es gilt aufgrund der Symmetrie von A:

aij = aij −a1jai1a11

= aji −a1iaj1a11

= aji,

d.h., Aij>1 ist symmetrisch.

Nun sei x ∈ Rn ein Vektor x = (x1, . . . , xn) mit x2, . . . , xn beliebig. Den Eintrag x1 werdenwir im Laufe des Beweises spezifizieren. Es gilt wegen der positiven Definitheit von A:

0 < (Ax, x) =∑ij

aijxixj = a11x21 + 2x1

n∑j=2

a1jxj +n∑

ij=2aijxixj

= a11x21 + 2x1

n∑j=2

a1jxj +n∑

ij=2

(aij −

a1jai1a11

)︸︷︷︸

=aij

xixj +n∑

ij=2

a1jai1a11

xixj

= a11

x21 + 2x1

1a11

n∑j=2

a1jxj + 1a2

11

n∑ij=2

a1jai1xixj

+n∑

ij=2aijxixj

= a11

x1 + 1a11

n∑j=2

a1jxj

2

+n∑

ij=2aijxixj .

Die positive Definitheit von Aij>1 folgt bei der Wahl

x1 = − 1a11

n∑j=2

a1jxj .

�

132


Für eine symmetrisch positiv definite Matrix A ist die LR-Zerlegung immer ohne Pivoti-sierung durchführbar. Dabei treten nur positive Pivot-Elemente a(i−1)

ii auf. Das heißt, dieMatrix R hat nur positive Diagonalelemente rii > 0. Es sei D ∈ Rn×n die Diagonalmatrixmit dii = rii > 0. Dann gilt:

A = LR = LDR,

mit einer rechten oberen Dreiecksmatrix R, welche nur Einsen auf der Diagonalen hat. DaA symmetrisch ist folgt:

A = LR = LDR = RTDLT = AT .

Aufgrund der Eindeutigkeit der LR-Zerlegung gilt L = RT und R = DLT . Da D nurpositive Diagonaleinträge hat existiert die Matrix

√D und wir schreiben:

A = LR = LD12︸︷︷︸

=:L

D−12R︸︷︷︸

=LT.


Satz 4.34 (Cholesky-Zerlegung). Es sei A ∈ Rn×n eine symmetrisch, positiv definiteMatrix. Dann existiert die Cholesky-Zerlegung:

A = LLT ,

in eine untere linke Dreiecksmatrix L. Sie kann ohne Pivotierung in

n3

6 +O(n2)

arithmetische Operationen durchgeführt werden.

Anstelle eines Beweises geben wir einen effizienten Algorithmus zur direkten Berechnungder Cholesky-Zerlegung an. Hier kann der notwendige Aufwand leicht abgelesen werden:

Algorithmus 4.35 (Direkte Berechnung der Cholesky-Zerlegung). Gegeben sei eine sym-metrisch, positiv definite Matrix A ∈ Rn×n. Dann sind die Einträge lij, j ≤ i der Cholesky-Zerlegung bestimmt durch die Vorschrift:

j = 1, . . . , n :(i) l11 =

√a11, bzw. ljj =

√√√√ajj − j−1∑k=1

l2jk

(ii) lij = l−1jj

aij − j−1∑k=1

likljk

, i = j + 1, . . . , n.

Der Algorithmus kann iterativ aus der Beziehung LLT = A hergeleitet werden. Es gilt:

aij =min{i,j}∑k=1

likljk.

133


Wir gehen Spaltenweise j = 1, 2, . . . vor. Das heißt, L sei für alle Spalten bis j−1 bekannt.Dann gilt in Spalte j zunächst für das Diagonalelement:

ajj =j∑

k=1l2kk ⇒ ljj =

√√√√ajj − j−1∑k=1

l2jk.

Ist das j-te Diagonalelement ljj bekannt, so gilt für i > j:

aij =j∑

k=1likljk ⇒ lijljj = aij −

j−1∑k=1

likljk ⇒ lij = l−1jj

aij − j−1∑k=1

likljk

.

4.2.5 Dünn besetzte Matrizen und Bandmatrizen

Der Aufwand zum Erstellen der LR-Zerlegung wächst sehr schnell mit der Größe derMatrix an. In vielen Anwendungsproblemen treten dünn besetzte Matrizen auf:

Definition 4.36 (Dünn besetzte Matrix). Eine Matrix A ∈ Rn×n heißt dünn besetzt,falls die Matrix A nur O(n) von Null verschiedene Einträge besitzt. Das Besetzungsmuster(Sparsity Pattern) B ⊂ {1, . . . , n}2 von A ist die Menge aller Indexpaare (i, j) mit aij 6= 0.

Andere, weniger strenge Definitionen von dünn besetzten Matrizen verlangen, dass dieMatrixO(n log(n)) oder auchO(n

√n) beziehungsweise einfach o(n2) von Null verschiedene

Einträge besitzt.

Ein Beispiel für dünn besetzte Matrizen sind Tridiagonalmatrizen der Form

A ∈ Rn×n, aij = 0 ∀|i− j| > 1.

Für Tridiagonalmatrizen kann die LR-Zerlegung sehr effizient durchgeführt werden:

Satz 4.37 (Thomas-Algorithmus). Es sei A ∈ Rn×n eine reguläre Tridiagonalmatrix. DieLR-Zerlegung ist wieder eine Tridiagonalmatrix und kann in O(n) Operationen durchge-führt werden.

Beweis: Übung. �

Eine Verallgemeinerung von Tridiagonalsystemen sind die Bandmatrizen:

Definition 4.38 (Bandmatrix). Eine Matrix A ∈ Rn×n heißt Bandmatrix mit Bandbreitem ∈ N, falls:

aij = 0 ∀|i− j| > m.

Eine Bandmatrix hat höchstens n(2m+ 1) von Null verschiedene Einträge.

134


Es zeigt sich, dass die LR-Zerlegung einer Bandmatrix wieder eine Bandmatrix ist unddaher effizient durchgeführt werden kann.

Satz 4.39 (LR-Zerlegung einer Bandmatrix). Es sei A ∈ Rn×n eine Bandmatrix mitBandbreite m. Die LR-Zerlegung (ohne Permutierung):

LR = A,

ist wieder eine Bandmatrix, d.h.:

Lij = Rij = 0 ∀|i− j| > m,

und kann inO(nm2)

Operationen durchgeführt werden.

Beweis: Wir zeigen induktiv, dass die entstehenden Eliminationsmatrizen Aij>1 wiederBandmatrizen sind. Es gilt:

aij = aij −a1jai1a11

, i, j = 2, . . . , n.

Es sei nun |i− j| > m. Dann ist aij = 0. Ebenso müssen a1j = ai1 = 0 sein, da 1 ≤ i, j.

Zur Aufwandsberechnung vergleiche den Beweis zu Satz 4.23. Im Fall einer Bandmatrixmüssen in Schritt i der Elimination nicht mehr (n − i − 1)2 arithmetische Operationensondern höchstens m2 arithmetische Operationen durchgeführt werden. Ebenso müssennur m Elemente der Frobeniusmatrix zur Reduktion bestimmt werden. Insgesamt ergibtsich:

n∑i=1

(m+m2) = nm2 +O(nm).

�

Der Unterschied, eine LR-Zerlegung für eine voll besetzte Matrix und eine Bandmatrixdurchzuführen ist enorm. Zur Diskretisierung der Laplace-Gleichung mit Finiten Differen-zen müssen lineare Gleichungssysteme mit der sogenannten Modellmatrix gelöst werden:

A =

Am −Im 0 · · · 0

−Im Am −Im...

0 −Im. . . . . . 0

... . . . . . . −Im0 · · · 0 −Im Am

, Am =

4 −1 0 · · · 0

−1 4 −1...

0 −1 . . . . . . 0... . . . . . . −10 · · · 0 −1 4

m,

Die Matrix A ∈ Rn×n hat Bandbreite m =√n. In Tabelle 4.2 geben wie die notwendigen

Rechenzeiten zum Erstellen der LR-Zerlegung auf aktueller Hardware an. Man vergleichemit Tabelle 4.1.

135


n Operationen Zeit100 10 000 1 µs

1 000 106 100 µs10 000 108 10 ms

100 000 1010 1 s1 000 000 1012 2 min

Tabelle 4.2: Rechenzeit zum Erstellen der LR-Zerlegung einer Bandmatrix A ∈ Rn×n mitBandbreite m =

√n auf einem Rechner mit 10 GigaFLOPS.

Die Modellmatrix ist eine Bandmatrix mit Bandbreite m =√n, hat aber in jeder Zeile

neben dem Diagonalelement höchsten 4 von Null verschiedene Einträge ai,i±i und ai,i±m.Bei so dünn besetzten Matrizen stellt sich die Frage, ob die LR-Zerlegung, also die MatrizenL und R das gleiche dünne Besetzungsmuster haben. Es zeigt sich jedoch, dass die LR-Zerlegung einer dünn besetzten Bandmatrix im Allgemeinen selbst eine dicht besetzteBandmatrix ist. Aus der dünnen Besetzungsstruktur kann kein Nutzen gezogen werden.

Der Aufwand zur Berechnung der LR-Zerlegung einer dünn besetzten Matrix hängt we-sentlich von der Sortierung, also der Pivotierung, der Matrix ab. Wir betrachten hierzuein einfaches Beispiel:

Beispiel 4.40 (LR-Zerlegung dünn besetzter Matrix). Wir betrachten die beiden Matri-zen:

A1 :=

1 2 3 42 1 0 03 0 1 04 0 0 1

, A2 :=

1 0 0 40 1 0 30 0 1 24 3 2 1

Die beiden Matrizen gehen durch simultane Vertauschen der ersten und vierten, sowiezweiten und dritten Zeile und Spalte auseinander hervor. Die LR-Zerlegung der Matrix A1(ohne Permutierung) lautet:

L1 =

1 0 0 02 1 0 03 2 1 04 8

3 1 1

R1 =

1 2 3 40 −3 −6 −80 0 4 40 0 0 7

3

,und für die Matrix A2 erhalten wie (wieder ohne Pivotierung):

L2 =

1 0 0 00 1 0 00 0 1 04 3 2 1

R2 =

1 0 0 40 1 0 30 0 1 20 0 0 −28

.Obwohl beide Matrizen bis auf Zeilen und Spaltentausch das gleiche lineare Gleichungssy-stem beschreiben, haben die LR-Zerlegungen ein gänzlich unterschiedliches Besetzungsmu-ster: die LR-Zerlegung von Matrix A1 ist voll besetzt, während die LR-Zerlegung zu MatrixA2 mit dem gleichen dünnen Besetzungsmuster auskommt wie die Matrix A2 selbst.

136


Dieses Beispiel lässt sich auf die entsprechende n × n-Matrix verallgemeinern. In Fall1 sind n2 Einträge zum Speichern der LR-Zerlegung notwendig, in Fall 2 nur 3n. Fürn� 1 000 ist dieser Unterschied entscheidend.

Dünn besetzte Matrizen treten in der Anwendung oft auf, etwa bei der Diskretisierung vonDifferentialgleichungen, aber auch bei der Berechnung von kubischen Splines. Damit dieLR-Zerlegung aus der dünnen Besetzungsstruktur Nutzen ziehen kann, muss die Matrixentsprechend permutiert (man sagt hier sortiert) sein. Werden Nulleinträge in A in derLR-Zerlegung überschrieben, so spricht man von fill-in. Die aktuelle Forschung zur Weiter-entwicklung der LR-Zerlegung befasst sich weniger mit der Berechnung der LR-Zerlegungselbst, als mit effizienten Sortierverfahren zur Reduktion der fill-ins. Wir wissen, dass dieLR-Zerlegung einer Bandmatrix mit Bandbreite m wieder eine (voll besetzte) Bandma-trix mit Bandbreite m ist und in O(nm2) Operationen durchgeführt werden kann. EineIdee zur Sortierung der Matrix A besteht nun darin, die Einträge so anzuordnen, dass diesortierte Matrix eine Bandmatrix mit möglichst dünner Bandbreite ist.

Ein bekanntes Verfahren ist der Cuthill-McKee-Algorithmus. Dieser erstellt eine Sortierung{i1, i2, . . . , in} der n Indizes, so dass miteinander verbundene Indizes nahe beieinanderstehen. Zur Herleitung des Verfahrens benötigen wie einige Begriffe. Es sei A ∈ Rn×neine dünn besetzte Matrix mit Besetzungsmuster B ⊂ {1, . . . , n}2. Dabei gehen wir derEinfachheit davon aus, dass B symmetrisch ist. Aus (i, j) ∈ B folgt (j, i) ∈ B. Zu einemIndex i ∈ {1, . . . , n} sei N (i) die Menge aller mit i verbundenen Indizes:

N (i) := {j ∈ {1, . . . n} : (i, j) ∈ B},

Und für eine beliebige Menge N ⊂ {1, . . . , n} bezeichnen wir mit #N die Menge derElemente in N , d.h. mit #N (i) die Anzahl der Nachbarn von i.

Der Algorithmus füllt schrittweise eine Indexliste I = (i1, i2, . . . ) bis alle Indizes 1, . . . , neinsortiert sind. Wir starten mit dem Index I = (i1), welcher die geringste Zahl vonNachbarn #N (i1) ≤ #N (j),∀j besitzt. Im Anschluss fügen wir die Nachbarn j ∈ N (i1)von i1 hinzu, in der Reihenfolge der jeweiligen Zahl von Nachbarn. Auf diese Weise hangeltsich der Algorithmus von Nachbar zu Nachbar und arbeitet die Besetzungsstruktur derMatrix ab bis alle Indizes zur Liste hinzugefügt wurden.

Bei der genauen Definition des Algorithmus sind noch einige Sonderfälle zu betrachten, sodass der Algorithmus auch wirklich terminiert und alle Indizes findet:

137


Algorithmus 4.41 (Cuthill-McKee). Es sei A ∈ Rn×n eine dünn besetzte Matrix mitsymmetrischem Besetzungsmuster B ∈ (i, j). Starte mit leerer Indexmenge I = (·) unditeriere für k = 1, . . . , n:

(0) Stopp, falls die Indexmenge I bereits n Elemente besitzt.

(1) Falls Indexmenge I nur k − 1 Elemente besitzt, bestimme Indexelement ik als (nochnicht verwendeter) Index mit minimaler Nachbarzahl:

ik = arg minj∈{1,...,n}\I

#N (j).

(2) Erstelle Liste aller Nachbarn von ik, welche noch nicht in I enthalten sind:

Nk := N (ik) \ I.

Falls Nk = ∅, Neustart mit k + 1.

(3) Sortiere Liste Nk aufsteigend nach Anzahl von Nachbarn:

Nk = {sk1, sk2, . . . }, #N (ski ) ≤ #N (ski+1).

Füge Indizes {sk1, sk2, . . . } in dieser Reihenfolge zu Liste I hinzu.

Wir betrachten zur Veranschaulichung ein Beispiel:

Beispiel 4.42 (Cuthill-McKee). Es sei eine Matrix A ∈ R8×8 mit folgendem Besetzungs-muster gegeben:

A :=

∗ ∗ ∗∗ ∗ ∗ ∗ ∗

∗ ∗ ∗ ∗∗

∗ ∗ ∗ ∗∗ ∗∗ ∗ ∗

∗ ∗ ∗ ∗

Index N(i) #N(i)1 1,2,8 32 1,2,5,6,8 53 3,5,7,8 44 4 15 2,3,5,7 46 2,6 27 3,5,7 38 1,2,3,8 4

Schritt k = 1: (1) Die Indexliste I ist leer. Der Index 4 hat nur einen Nachbarn (sich selbst), d.h.

i1 = 4, I = (4).

(2) Für den Index 4 gilt N1 = N (4) \ I = ∅, d.h. weiter mit k = 2.

Schritt k = 2: (1) Die Indexliste hat nur k − 1 = 1 Element. Von den verbliebenden Indizes hatIndex 6 die minimale Zahl von zwei Nachbarn, d.h.

i2 = 6, I = (4, 6).

138


(2) Es gilt N2 = N (6) \ I = {2, 6} \ {4, 6} = {2}.

(3) Ein einzelnes Element ist natürlich sortiert, d.h.

i3 = 2, I = (4, 6, 2)

Schritt k = 3: (1) Diese Schritt greift nicht, da I bereits 3 Elemente besitzt, es ist i3 = 2.

(2) Es gilt N3 = N (2) \ I = {1, 2, 5, 6, 8} \ {4, 6, 2} = {1, 5, 8}.

(3) Es gilt #N(1) = 3, #N(5) = 4 und #N(8) = 4, d.h. wir fügen sortiert hinzu:

i4 = 1, i5 = 5, i6 = 8, I = (4, 6, 2, 1, 5, 8).

Schritt k = 4: (1) I hat mehr als 4 Elemente, d.h. i4 = 1.

(2) Es ist N4 = N (1) \ I = {1, 2, 8} \ {4, 6, 2, 1, 5, 8} = ∅. Daher weiter mit k = 5

Schritt k = 5: (1) I hat genug Elemente, i5 = 5.

(2) Es ist N5 = N (5) \ I = {2, 3, 5, 7} \ {4, 6, 2, 1, 5, 8} = {3, 7}

(3) Es gilt #N (3) = 4 und #N (7) = 3, d.h. Index 7 wird zuerst angefügt

i7 = 7, i8 = 3, I = (4, 6, 2, 1, 5, 8, 7, 3).

Wir erhalten die Sortierung:

1→ 4, 2→ 6, 3→ 2, 4→ 1, 5→ 5, 6→ 8, 7→ 7, 8→ 3.

Wir erstellen die sortiere Matrix A gemäß akj = aikil:

A :=

4 6 2 1 5 8 3 7

∗ 4∗ ∗ 6∗ ∗ ∗ ∗ ∗ 2∗ ∗ ∗ 1∗ ∗ ∗ ∗ 5∗ ∗ ∗ ∗ 8

∗ ∗ ∗ 7∗ ∗ ∗ ∗ 3

Die so sortierte Matrix ist eine Bandmatrix mit Bandbreite m = 4.

139


Abbildung 4.1: Besetzungsstruktur einer dünn besetzten Matrix A ∈ R1089×1089 mit insge-samt 9 409 von Null verschiedenen Einträgen. Links: vor Sortierung, Mitte:Cuthill-McKee Algorithmus und rechts: nach Sortierung mit einem Multi-Fronten-Verfahren aus [4].

Die meisten Verfahren basieren auf Methoden der Graphentheorie. Der Cuthill-McKeeAlgorithmus sucht eine Permutierung des Besetzungsmusters, so dass eng benachbarte In-dizes auch in der Reihenfolge nahe beieinander stehen. Andere Methoden versuchen dendurch das Besetzungsmuster aufgespannten Graphen möglichst in Teilgraphen zu zerlegen.Diese Teilgraphen entsprechen Blöcken in der Matrix A. Die anschließende LR-Zerlegungerzeugt dann voll besetzte, dafür kleine Blöcke. Die einzelnen Blöcke sind nur schwachgekoppelt. Ein Vorteil dieser Sortierung ist die Möglichkeit, effiziente Parallelisierungsver-fahren für die einzelnen Blöcke zu verwenden.

In Abbildung 4.1 zeigen wir die Besetzungsstruktur einer Matrix A vor und nach ent-sprechender Sortierung. Die Matrix hat eine symmetrische Besetzungsstruktur und 9 409Einträge ungleich Null (das sind weniger als 1% aller Einträge). Die LR-Zerlegung der un-sortierten Matrix ist nahezu voll belegt mit etwa 1 000 000 Einträgen und deren Berechnungerfordert etwa 400 · 106 Operationen. Der Cuthill-McKee Algorithmus erzeugt eine Band-matrix mit sehr Bandbreite m ≈ 70. Zur Speicherung der LR-Zerlegung sind etwa 150 000Einträge notwendig und die Berechnung erfordert etwa 5 · 106 Operationen. Schließlichzeigen wir zum Vergleich die Sortierung mit einem sogenannten Multi-Fronten-Verfahren.Hier wird die Matrix in einzelne Blöcke geteilt. Zur Berechnung der LR-Zerlegung sindhier 3 · 106 Operationen notwendig. Details hierzu finden sich in [4].

4.3 Nachiteration

Die numerisch durchgeführte LR-Zerlegung stellt aufgrund von Rundungsfehlern nur eineNäherung dar A ≈ LR und die so approximierte Lösung LRx = b ist mit einem Fehlerx−x behaftet. Es stellt sich nun die Frage nach einer auswertbaren Abschätzung für diesenFehler. Ein erster Anhaltspunkt wird durch den Defekt gegeben, siehe auch Definition 2.19:

140

4.3 Nachiteration

Definition 4.43 (Defekt (LGS)). Es sei x ∈ Rn die Näherung zur Lösung x ∈ Rn vonAx = b. Die Größe

d(x) := b−Ax,

bezeichnet den Defekt.

Für die exakte Lösung x ∈ Rn von Ax = b gilt d(x) = 0. Für allgemeine Approximationenerhalten wir die folgende a posteriori Fehlerabschätzung:

Satz 4.44 (Fehlerabschätzung für lineare Gleichungssysteme). Es sei x ∈ Rn die Appro-ximation zur Lösung x ∈ Rn von Ax = b. Dann gilt:

‖x− x‖‖x‖

≤ cond(A)‖d(x)‖‖b‖

.

Beweis: Es gilt:

x− x = A−1(b−Ax) = A−1d(x) ⇒ ‖x− x‖ ≤ ‖A−1‖ ‖dx‖.

Teilen durch ‖b‖ = ‖Ax‖ ≤ ‖A‖ ‖x‖ liefert das gewünschte Ergebnis

‖x− x‖‖x‖

≤ ‖A‖ ‖A−1‖ ‖d(x)‖‖b‖

.

�

Zur Veranschaulichung betrachten wir Beispiele 4.29 und 4.30 mit:

x ≈

0.34995−0.98024

2.1595

, x1 =

2.37−3.552.15

, x2 =

0.35−0.982.16

mit den relativen Fehlern

‖x− x1‖2‖x‖2

≈ 1.5, ‖x− x2‖2‖x‖2

≈ 0.00024,

sowie Defekten:‖d(x1)‖2‖b‖2

≈ 3.8, ‖d(x2)‖2‖b‖2

≈ 0.0009.

Der Spektralkondition der Matrix A ist cond2(A) ≈ 6, d.h., es ergeben sich die Fehler-schranken:

‖x− x1‖2‖x‖2

≤ 6 · 3.8 ≈ 20, ‖x− x2‖2‖x‖2

≤ 6 · 0.0009 = 0.005.

In beiden Fällen wir der Fehler um einen Faktor 10 ∼ 20 überschätzt. Zur praktischenAuswertung dieser Fehlerabschätzung wird die Konditionszahl der Matrix A benötigt.Diese ist im Allgemeinen jedoch nicht verfügbar, da A−1 weder bekannt, noch einfach zuberechnen ist.

141


Neben seiner Rolle zur Fehlerabschätzung kommt dem Defekt eine weitere wichtige Bedeu-tung zu. Wir gehen davon aus, dass wir den Defekt d(x) ohne Rundungsfehler berechnenkönnen. Weiter nehmen wir an, dass wir auch die Defekt-Gleichung

Aw = d(x) = b−Ax,

exakt nach w ∈ Rn lösen können. Dann gilt für x+ w:

x+ w = x+A−1(b−Ax) = x+ x− x = x.

Dieser Vorgang wird Defektkorrektur oder Nachiteration genannt. Die Annahme, dass De-fekt und Defektgleichung ohne Rundungsfehler gelöst werden können ist natürlich nichtrealistisch (dann könnte ja auch das Original-System exakt gelöst werden). Dennoch er-halten wir als Grundlage der Nachiteration das folgende Ergebnis:

Satz 4.45 (Nachiteration). Es sei ε (klein genug) die Fehlertoleranz. Durch x ∈ Rn seieine Approximation zu Ax = b gegeben. Weiter sei d eine Approximation zu d(x) mitdoppelter Genauigkeit:

‖d(x)− d‖‖d(x)‖ ≤ cond(A)ε2. (4.3)

Es sei w eine Approximation der Defektgleichung Aw = d mit einfacher Genauigkeit

‖w − w‖‖w‖

≤ cond(A)ε. (4.4)

Dann gilt für die Korrektur x+ w die Abschätzung

‖x− (x+ w)‖‖x‖

≤ εc(A)‖x− x‖‖x‖

,

mit einer Konstante c(A), die von der Konditionszahl cond(A) abhängt.

Beweis: Wir definieren zunächst eine Hilfsgröße: es sei w die exakte Lösung der exaktenDefektgleichung Aw = d(x):

Aw = b−Ax ⇒ w = A−1b−A−1Ax = x− x. (4.5)

Für den Fehler w − w zwischen den exakten Lösungen von Aw = d(x) und Aw = d giltlaut Störungssatz 4.19:

‖w − w‖‖w‖

≤ cond(A) ‖d(x)− d‖‖d(x)‖︸︷︷︸

(4.3)

≤ ε2 cond(A)2 (4.6)

142

4.3 Nachiteration

Jetzt folgt durch Einschieben von ±w sowie ±w in den Fehler ‖x− (x+ w)‖:

‖x− (x+ w)‖ ≤ ‖x− (x+ w)‖︸︷︷︸=0 wegen (4.5)

+ ‖w − w‖︸︷︷︸(4.6)

+ ‖w − w‖︸︷︷︸(4.4)

≤ ε2 cond(A)2‖w‖+ ε cond(A)‖w‖≤ ε cond(A)

(ε cond(A)‖w‖+ ‖w‖+ ‖w − w‖︸︷︷︸

(4.6)

)≤ ε cond(A)

(1 + ε cond(A) + ε2 cond(A)2)‖w‖

≤ εc(A)‖x− x‖,

mit c(A) := cond(A)(1 + ε cond(A) + ε2 cond(A)2). Das Ergebnis mit Teilen durch ‖x‖. �

Durch einen Nachiterationsschritt kann der Fehler um den Faktor εc(A) reduziert werden.Die Konstante c(A) hängt dabei allerdings sehr ungünstig von der oft sehr großen Kondi-tionszahl der Matrix ab. Die Nachiteration ist ein universelles Prinzip und nicht auf dieLR-Zerlegung beschränkt. Dennoch definieren wir für diese:

Algorithmus 4.46 (Nachiteration). Es sei A ∈ Rn×n eine reguläre Matrix und b ∈ Rn.Zur Lösung von Ax = b:

1. Erstelle LR-Zerlegung von A mit einfacher Genauigkeit

LR = PA.

2. Setze d(1) = b sowie x(1) = 0 und iteriere für i = 1, 2, . . . :

(i) Ly(i) = Pd(i) mit einfacher Genauigkeit(ii) Rw(i) = y(i) mit einfacher Genauigkeit

(iii) x(i+1) = x(i) + w(i) mit doppelter Genauigkeit(iv) d(i+1) = b−Ax(i+1) mit doppelter Genauigkeit

Der Vorteil der Nachiteration liegt in der mehrfachen Verwendung der erstellten LR-Zerlegung. Zur Berechnung der LR-Zerlegung sind O(n3) Operationen notwendig, währendzum Vorwärts- und Rückwärtseinsetzen, sowie zur Berechnung des Defektes nur O(n2)Operationen benötigt werden. D.h., selbst bei Verwenden höherer Genauigkeit ist derAufwand in Schritt 2.(iii) des Verfahrens klein im Vergleich zu Schritt 1.

Die Annahme, dass zum Erstellen der LR-Zerlegung mit geringerer Genauigkeit gerechnetwird, also zur Defektberechnung ist nicht unrealistisch. Der Speichertyp float von einfa-cher Genauigkeit benötigt zur Speicherung einer Zahl nur den halben Speicher verglichenmit double. Gerade bei sehr großen Matrizen n� 1 000 000 spielt der Speicherbedarf einewesentliche Rolle. Darüber hinaus unterscheidet moderne Hardware (z.B. GPU’s) zwi-schen der Rechnung mit doppelter und einfacher Genauigkeit, deren Operationen oft weitschneller durchgeführt werden können.

143


Beispiel 4.47 (Nachiteration). Wir führen Beispiel 4.30 fort. Zur Approximation x2 be-rechnen wir den Defekt d(x2) mit doppelter Genauigkeit (hier sogar exakt):

x2 =

0.35−0.982.16

, d(x2) = b−Ax2 =

0.0010

−0.002

.Mit dreistelliger (also hier einfacher) Genauigkeit lösen wir zunächst y = Pd(x) mitPd(x) = (−0.001,−0.002, 0)T und erhalten:

y =

0.001−0.001650.000611

.Rückwärtseinsetzen Rw = y mit dreistelliger Genauigkeit ergibt:

w =

−0.0000545−0.000227−0.000466

.Wir berechnen die korrigierte Lösung x := x + w mit sechsstelliger (also doppelter) Ge-nauigkeit zu:

x =

0.349946−0.980227

2.15953

.Diese verbesserte Lösung ist mit dem relativen Fehler

‖x− x‖2‖x‖2

≈ 0.000017 · 10−5

versehen. Der Fehler konnte durch einen Nachiterationsschritt um zwei Größenordnungenverbessert werden!

Mit der gestörten LR-Zerlegung LR ≈ A lässt sich ein Nachiterationsschritt kompaktschreiben als:

x(i+1) = x(i) + Cd(x(i)), C := R−1L−1.

Dabei ist die Matrix C eine Approximation zur Inversen von A. Es stellt sich die Frage, obdie Nachiteration auch dann ein konvergentes Verfahren bildet, wenn C eine noch gröbereApproximation der Inversen C ≈ A−1 ist. Dabei könnte man an Approximationen denken,die auf der einen Seite weiter von A−1 entfernt sind, dafür aber wesentlich einfacher, z.B.in O(n2) Operationen zu erstellen sind. Dieser Ansatz ist Ausgangspunkt von allgemeinenDefektkorrektur-Verfahren, wie wir sie in Kapitel 5 untersuchen werden.

144

4.4 Orthogonalisierungsverfahren und die QR-Zerlegung


Die Zerlegung einer regulären Matrix A ∈ Rn×n in die beiden Dreiecksmatrizen L und Rbasiert auf der Elimination mit Frobeniusmatrizen, d.h. R = FA, mit L := F−1. Es gilt:

cond(R) = cond(FA) ≤ cond(F ) cond(A) = ‖F‖ ‖L‖ cond(A).

Bei entsprechender Pivotisierung gilt für die Einträge der Matrizen F sowie L |fij | ≤ 1und |lij | ≤ 1, siehe Satz 4.28. Dennoch können die Normen von L und F im Allgemeinennicht günstiger als ‖F‖∞ ≤ n und ‖L‖∞ ≤ n abgeschätzt werden. Es gilt dann:

cond∞(R) ≤ n2 cond∞(A).

Die Matrix R, welche zur Rückwärtselimination gelöst werden muss, hat eine unter Um-ständen weit schlechtere Konditionierung als die Matrix A selbst (welche auch schon sehrschlecht konditioniert sein kann). Wir suchen im Folgenden einen Zerlegungsprozess ineine Dreiecksmatrix, welche numerisch stabil ist, indem die Zerlegung nur mit Hilfe vonorthogonalen Matrizen Q ∈ Rn×n durchgeführt wird, für welche cond2(Q) = 1 gilt:

Definition 4.48 (Orthogonale Matrix). Eine Matrix Q ∈ Rn×n heißt orthogonal, fallsihre Zeilen und Spaltenvektoren eine Orthonormalbasis des Rn bilden.

Es gilt:

Satz 4.49 (Orthogonale Matrix). Es sei Q ∈ Rn×n eine orthogonale Matrix. Dann ist Qregulär und es gilt:

Q−1 = QT , QTQ = I, ‖Q‖2 = 1, cond2(Q) = I.

Es gilt det(Q) = 1 oder det(Q) = −1. Für zwei orthogonale Matrizen Q1, Q2 ∈ Rn×n istauch das Produkt Q1Q2 eine orthogonale Matrix. Für eine beliebige Matrix A ∈ Rn×n gilt‖QA‖2 = ‖A‖2. Für beliebige Vektoren x, y ∈ Rn gilt:

‖Qx‖2 = ‖x‖2, (Qx,Qy)2 = (x, y)2.

Beweis: Wir beweisen hier nur die im Kontext der numerischen Stabilität wesentlichEigenschaft, dass die Multiplikation mit orthogonalen Matrizen die Kondition einer Matrix(d.h. die 2-Norm) nicht verändert, die weiteren Teile des Beweises belassen wir als Übung.Es gilt:

‖QAx‖22 = (QAx,QAx)2 = (QTQAx,Ax)2 = (Ax,Ax)2 = ‖Ax‖22.

�

Wir definieren:

145


Definition 4.50 (QR-Zerlegung). Die Zerlegung einer Matrix A ∈ Rn×n in eine ortho-gonale Matrix Q ∈ Rn×n sowie eine rechte obere Dreiecksmatrix R ∈ Rn×n gemäß

A = QR,

heißt QR-Zerlegung.

Die QR-Zerlegung hat den Vorteil, dass die Matrix R = QTA die gleiche Konditionszahlhat wie die Matrix A selbst. Einmal erstellt, kann die QR-Zerlegung genutzt werden, umlineare Gleichungssysteme mit der Matrix A effizient zu lösen:

Ax = b ⇔ QTAx = QT b ⇔ Rx = QT b.

Zur Realisierung der QR-Zerlegung stellt sich die Frage nach der Konstruktion orthogo-naler Matrizen Q zur Reduktion von A auf Dreiecksgestalt.

4.4.1 Das Gram-Schmidt Verfahren

Der wichtigste Algorithmus zum Erstellen einer Orthonormalbasis ist das Orthogonalisie-rungsverfahren nach Gram-Schmidt:

Satz 4.51 (Gram-Schmidt Orthonormalisierungsverfahren). Es sei durch {a1, . . . , an} ei-ne Basis des Rn gegeben, durch (·, ·) ein Skalarprodukt mit induzierter Norm ‖ · ‖. DieVorschrift:

(i) q1 := a1‖a1‖

,

i = 2, . . . , n : (ii) qi := ai −i−1∑j=1

(ai, qj)qj , qi := qi‖qi‖

,

erzeugt eine Orthonormalbasis {q1, . . . , qn} des Rn. Es gilt ferner:

(qi, aj) = 0 ∀1 ≤ j < i ≤ n.

Beweis: Wir führen den Beweis per Induktion. Für i = 1 ist a1 6= 0, da durch a1, . . . , ander ganze Rn aufgespannt wird. Für i = 2 gilt:

(q2, q1) = (a2, q1)− (a2, q1) (q1, q1)︸︷︷︸=1

= 0.

Aus der linearen Unabhängigkeit von a2 und q1 folgt, dass q2 6= 0. Es sei nun also (qk, ql) =δkl für k, l > i. Dann gilt für k < i beliebig

(qi, qk) = (ai, qk)−i−1∑j=1

(ai, qj) (qj , qk)︸︷︷︸=δjk

= (ai, qk)− (ai, qk) = 0.

146


Da span{q1, . . . , qj} = span{a1, . . . , aj} folgt auch (qi, aj) = 0 für j < i. �

Mit Hilfe des Gram-Schmidt Verfahrens lässt sich die QR-Zerlegung einer Matrix A ∈Rn×n unmittelbar konstruieren:

Satz 4.52 (QR-Zerlegung). Es sei A ∈ Rn×n eine reguläre Matrix. Dann existiert eineQR-Zerlegung A = QR in eine orthogonale Matrix Q ∈ Rn×n und eine rechte obereDreiecksmatrix R ∈ Rn×n.

Beweis: Es seien A = (a1, . . . , an) die Spaltenvektoren der Matrix A. Da A regulär ist,sind die Vektoren ai linear unabhängig und bilden eine Basis des Rn. Es sei {q1, . . . , qn}die durch das Gram-Schmidt Verfahren aus {a1, . . . , an} konstruierte Orthonormalbasis.Dann ist durch Q = (q1, . . . , qn) ∈ Rn×n eine orthogonale Matrix gegeben. Die MatrixR := QTA ist regulär und aufgrund von Satz 4.51 gilt für ihre Einträge:

rij = (qi, aj) = 0 ∀j < i.

Das heißt: R ist eine rechte obere Dreiecksmatrix. �

Die QR-Zerlegung einer Matrix kann ohne einer weiteren Normierungsbedingung nicht ein-deutig sein. Angenommen, wir modifizieren den Normierungsschritt (ii) im Gram-SchmidtVerfahren Satz 4.51) zu:

q′i := − qi‖qi‖

.

Dann wäre das resultierende System {q1, . . . , qn} wieder orthonormal und mit Q′R′ = QRwäre eine zweite (echt verschiedene) QR-Zerlegung gegeben. Wir können das Vorzeichenvon qi in jedem Schritt so wählen, dass rii = (qi, ai) > 0, dass also R nur positive Diago-nalelemente besitzt. Dann gilt:

Satz 4.53 (Eindeutigkeit der QR-Zerlegung). Die QR-Zerlegung A = QR einer regulärenMatrix A ∈ Rn×n mit rii > 0 ist eindeutig.

Beweis: Es seien A = Q1R1 = Q2R2 zwei QR-Zerlegungen von A. Dann gilt:

QT2 Q1 = R2R−11 , QT1 Q2 = R1R

−12 .

Die Produkte R2R−11 sowie R1R

−12 sind rechte obere Dreiecksmatrizen. Weiter gilt Q :=

QT2 Q1 = (QT1 Q2)T = QT , d.h. Q ist eine orthogonale Matrix mit Q−1 = QT . WegenQ−1 = QT und Q = R2R

−11 muss Q eine Diagonalmatrix sein. Aus der Beziehung

QR1 = QT2 Q1R1 = QT2 A = R2

folgt für den j-ten Einheitsvektor ej :

QR1ej = qjjr1jj = r2

jj > 0,

also qjj > 0 und wegen der Orthogonalität Q = I. D.h.:

R1 = R2 ⇒ Q1 = AR−11 = AR−1

2 = Q2.

147


�

Die große Schwäche des Gram-Schmidt Verfahrens ist die geringe numerische Stabilität,insbesondere, wenn die Vektoren ai “fast parallel” sind. In diesem Fall droht Auslöschung.Wir betrachten hierzu ein Beispiel:

Beispiel 4.54 (QR-Zerlegung mit Gram-Schmidt). Es sei die Matrix

A :=

1 1 10.01 0 0.01

0 0.01 0.01

gegeben. Wir bestimmen mit dem Gram-Schmidt Verfahren aus den Spaltenvektoren A =(a1, a2, a3) die entsprechende Orthonormalbasis. Bei dreistelliger Genauigkeit erhalten wir:

q1 = q1‖q1‖

≈

10.01

0

.Weiter:

q2 = q2 − (a2, q1)q1 ≈ a2 − q1 =

0−0.010.01

, q2 = q2‖q2‖

≈

0−0.7070.707

.Schließlich:

q3 = a3 − (a3, q1)q1 − (a3, q2)q2 ≈ a3 − q1 − 0 =

00

0.01

, q3 =

001

.Die QR-Zerlegung ergibt sich mit der “orthogonalen Matrix”

Q =

1 0 00.01 −0.707 0

0 0.707 1

,sowie der rechten oberen Dreiecksmatrix R mit rij = (qi, aj) für j ≥ i:

R :=

(q1, a1) (q1, a2) (q1, a3)0 (q2, a2) (q2, a3)0 0 (q3, a3)

≈1 1 1

0 0.00707 00 0 0.01

.Die Probe A = QR ergibt: 1 0 0

0.01 −0.707 00 0.707 1

1 1 1

0 0.00707 00 0 0.01

≈ 1 1 1

0.01 0.005 0.010 0.005 0.01

=: A

148


Auf den ersten Blick sieht A nach einer brauchbaren Näherung für A aus. Der relativeFehler ‖QR − A‖2/‖A‖2 ≈ 0.004 ist (beachte dreistellige Arithmetik) nicht sonderlichgroß. A ist jedoch nicht einmal regulär! Dieser wesentliche Fehler liegt an der Instabilitätdes Gram-Schmidt-Verfahrens. Für das berechnete Q gilt:

I!= QT Q ≈

1 −0.00707 0−0.00707 1 0.707

0 0.707 1

,mit einem relativen Fehler ‖QT Q− I‖2 ≈ 0.7!

Die QR-Zerlegung hat prinzipiell bessere Stabilitätseigenschaften als die LR-Zerlegung.Das Gram-Schmidt-Verfahren eignet sich jedoch nicht, um die orthogonale Matrix Q zuerstellen. Im Folgenden entwickeln wir eine Transformationsmethode zum Erstellen derQR-Zerlegung welche selbst auf orthogonalen, und somit optimal konditionierten, Trans-formationen aufbaut.

4.4.2 Householder-Transformationen

Das geometrische Prinzip hinter dem Gram-Schmidt Verfahren ist die Projektion der Vek-toren ai auf die bereits erstellte Orthogonalbasis q1, . . . , qi−1. Diese Projektion ist schlechtkonditioniert, falls ai fast parallel zu den qj mit j < i, etwa ai ≈ qj ist. Dann droht Auslö-schung. Wir können einen Schritt des Gram-Schmidt Verfahrens kompakt mit Hilfe einesMatrix-Vektor Produktes schreiben (komponentenweise nachrechnen!)

qi = [I −G(i)]ai, G(i) =i−1∑l=1

qlqTl ,

mit dem dyadischen Produkt zweier Vektoren vvT ∈ Rn×n. Die Matrix [I −Gi] stellt eineProjektion dar:

[I −Gi]2 = I − 2i−1∑l=1

qlqTl +

i−1∑k,l=1

ql qTl qk︸︷︷︸

=δlk

qTk = [I −Gi].

Weiter gilt:

[I −Gi]qk = qk −i−1∑l=1

ql qTl qk︸︷︷︸

=δlk

= 0.

Die Matrix I − Gi ist also nicht regulär. Falls in Schritt i der Vektor ai fast parallel zuden bereits orthogonalen Vektoren ist, also ai ∈ δai + span{q1, . . . , qi−1}, so gilt

qi = [I −Gi]ai = [I −Gi]δai ⇒ ‖δqi‖‖qi‖

= ‖δqi‖‖[I −Gi]δai‖

∼ ‖δai‖‖ai‖

.

149


Bei δai → 0 ist also eine beliebig große Fehlerverstärkung möglich. Man vergleiche Bemer-kung 4.16 zur Konditionierung der Matrix-Vektor Multiplikation (bei regulärer Matrix).

Im Folgenden suchen wir eine Transformation von A zu einer Dreiecksmatrix R, die selbstauf orthogonalen Operationen aufbaut. Eine orthogonale MatrixQ ∈ Rn×n mit det(Q) = 1stellt eine Drehung dar und bei det(Q) = −1 eine Spiegelung (oder eine Drehspiegelung).Die Householder-Transformationen nutzen das Prinzip der Spiegelung, um eine MatrixA ∈ Rn×n in einer rechte obere Dreiecksmatrix zu transformieren.

Definition 4.55 (Householder-Transformation). Für einen Vektor v ∈ Rn mit ‖v‖2 = 1ist durch vvT das dyadische Produkt definiert und die Matrix

S := I − 2vvT ∈ Rn×n,

heißt Householder-Transformation.

Es gilt:

Satz 4.56 (Householder-Transformation). Jede Householder-Transformation S = I−2vvTist symmetrisch und orthogonal. Das Produkt zweier Householder-Transformationen S1S2ist wieder einer symmetrische orthogonale Matrix.

Beweis: Es gilt:

ST = [I − 2vvT ]T = I − 2(vvT )T = I − 2vvT = S.

Weiter gilt:STS = I − 4vvT + 4v vT v︸︷︷︸

=1

vT = I,

d.h. S−1 = ST . Mit zwei symmetrischen orthogonalen Matrizen S1 sowie S2 gilt:

(S1S2)T = ST2 ST1 = S2S1, (S1S2)−1 = S−1

2 S−11 = ST2 S

T1 = (S1S2)T .

�

Wir schließen die grundlegende Untersuchung der Householder-Transformationen mit einergeometrischen Charakterisierung ab:

Bemerkung 4.57 (Householder-Transformation als Spiegelung). Es sei v ∈ Rn ein belie-biger normierter Vektor mit ‖v‖2 = 1. Weiter sei x ∈ Rn gegeben mit x = αv+w⊥, wobeiw⊥ ∈ Rn ein Vektor mit vTw⊥ = 0 im orthogonalen Komplement zu v ist. Dann gilt fürdie Householder-Transformation S := I − 2vvT :

S(αv + w⊥) = [I − 2vvT ](αv + w⊥) = α(v − 2v vT v︸︷︷︸=1

) + w⊥ − 2v vTw⊥︸︷︷︸=0

= −αv + w⊥.

D.h., die Householder-Transformation beschreibt eine Spiegelung an der auf v senkrechtstehenden Ebene.

150


a1

−‖a1‖2e1 ‖a1‖2e1

a1 + ‖a1‖e1a1 − ‖a1‖e1

v− = a1 − ‖a1‖e1

v+ = a1 + ‖a1‖e1

Abbildung 4.2: Spiegelungsachsen (gestrichelt) und Normalen zur Spiegelung v+ und v−zur Spiegelung von a1 auf span{e1}.

Mit Hilfe der Householder-Transformationen soll eine Matrix A ∈ Rn×n nun Schritt fürSchritt in eine rechte obere Dreiecksmatrix transformiert werden:

A(0) := A, A(i) = S(i)A(i−1), S(i) = I − 2v(i)(v(i))T ,

mit R := A(n−1). Wir beschreiben den ersten Schritt des Verfahrens: die reguläre MatrixA ∈ Rn×n soll durch Multiplikation mit einer orthogonalen Householder-Transformation sotransformiert werden A(1) = S(1)A, dass a(1)

i1 = 0 für alle i > 1 unterhalb der ersten Diago-nale. Hierzu schreiben wir die Matrix A = (a1, a2, . . . , an) mit ihren Spaltenvektoren. Dannist A(1) = (a(1)

1 , . . . , a(1)n ) mit a(1)

i = S(1)ai. Wir suchen die Householder-TransformationS(1), so dass:

e1!= a

(1)1 = S(1)a1.

Hierzu müssen wir auf der Ebene senkrecht zu a1 ± ‖a1‖e1 spiegeln, siehe Abbildung 4.2.Wir wählen

v := a1 + sign(a11)‖a1‖e1∥∥a1 + sign(a11)‖a1‖e1∥∥ , (4.7)

um durch optimale Wahl des Vorzeichens die Gefahr von Auslöschung zu vermeiden. Mitdieser Wahl gilt:

a(1)i = S(1)ai = ai − 2(v, ai)v, i = 2, . . . , n, a

(1)1 = − sign(a11)‖a1‖e1. (4.8)

Die resultierende Matrix A(1) ist wieder regulär und es gilt a(1)1 ∈ span(e1):

A :=

a11 a12 a13 · · · a1n

a21 a22. . . ...

a31 a32. . . . . . ...

... . . . ...an1 an2 · · · · · · ann

→ A(1) := S(1)A =

a(1)11 a

(1)12 a

(1)13 · · · a

(1)1n

0 a(1)22

. . . ...

0 a(1)32

. . . . . . ...... . . . ...0 a

(1)n2 · · · · · · a

(1)nn

.

151


Wir setzen das Verfahren mit der Teilmatrix A(1)kl>1 fort. Hierzu sei der verkürzte zweite

Spaltenvektor definiert als a(1) = (a(1)22 , a

(1)32 , . . . , a

(1)n2 )T ∈ Rn−1. Dann wählen wir:

Rn−1 3 v(2) := a(1) + sign(a(1)22 )‖a(1)‖e1∥∥a(1) + sign(a(1)22 )‖a(1)‖e1

∥∥ , S(2) =

1 0 · · · · · · 00

I − 2v(2)(v(2))T0...0

∈ Rn×n.

Multiplikation mit S(2) von links, also A(2) := S(2)A(1) lässt die erste Zeile unverändert.Eliminiert wird der Block A(1)

kl>1. Für die resultierende Matrix A(2) gilt a(2)kl = 0 für l = 1, 2

und k > l. Nach n− 1 Schritten gilt:

R := S(n−1)S(n−2) · · ·S(1)︸︷︷︸=:QT

A.

Alle Transformationen sind orthogonal, somit ist auch Q ∈ Rn×n eine orthogonale (undnatürlich reguläre) Matrix.


Satz 4.58 (QR-Zerlegung mit Householder-Transformationen). Es sei A ∈ Rn×n einereguläre Matrix. Dann lässt sich die QR-Zerlegung von A nach Householder in

2n3

3 +O(n2)

arithmetische Operationen numerisch stabil durchführen.

Beweis: Die Durchführbarkeit der QR-Zerlegung geht aus dem Konstruktionsprinzip her-vor. Aus der Regularität der Matrizen A(i) folgt, dass der Teilvektor a(i) ∈ Rn−i ungleichNull sein muss. Dann ist v(i) gemäß (4.7) wohl definiert. Die folgende Elimination wirdgemäß (4.8) spaltenweise durchgeführt:

a(i+1)k = [I − 2v(i)(v(i))T ]︸︷︷︸

=S(i)

a(i)k = a

(i)k − 2(v(i), a

(i)k )v(i).

Die numerische Stabilität folgt aus cond2(S(i)) = 1, siehe Bemerkung 4.16.

Wir kommen nun zur Abschätzung des Aufwands. Im Schritt A(i) → A(i+1) muss zunächstder Vektor v(i) ∈ Rn−i berechnet werden. Hierzu sind 2(n− i) arithmetische Operationennotwendig. Im Anschluss erfolgt die spaltenweise Elimination. (Es wird natürlich nicht dieMatrix S(i) aufgestellt und die Matrix-Matrix Multiplikation durchgeführt!) Für jeden der

152


n− i Spaltenvektoren ist ein Skalarprodukt (v(i), a(i)) (das sind n− i arithmetische Opera-tionen) sowie eine Vektoraddition (weitere n − i Operationen) durchzuführen. Insgesamtergibt sich so ein Aufwand:

NQR = 2n−1∑i=1

(n− i) + (n− i)2 = n(n− 1) + n(n− 1)(2n− 1)3 = 2n3

3 +O(n2).

�

Bemerkung 4.59 (QR-Zerlegung mit Householder-Transformationen). Die Householder-Matrizen S(i) = I − 2v(i)(v(i))T werden nicht explizit aufgestellt. Auch kann das Produkt

Q := (S(1))T · · · (S(n−1))T ,

aus Effizienzgründen nicht explizit berechnet werden. Die Matrix Q steht nur implizit zurVerfügung durch Speichern der Vektoren v(i). Mit implizit meint man, dass etwa zur Be-rechnung des Produktes b := QT b (ist notwendig zum Lösen der Gleichungssysteme) dieHouseholder-Transformationen erneut Schritt für Schritt angewendet werden müssen:

b = QT b = S(n−1) · · ·S(1)b.

Jedes Produkt wird mittels der Vorschrift (4.7) berechnet, ohne dass die Matrizen S(i)

explizit aufgestellt werden:

b(i+1) = b(i) − 2(v(i), b(i))v(i).

Neben der oberen Dreiecksmatrix R müssen die Vektoren v(i) ∈ Rn−i gespeichert werden.Im Gegensatz zur LR-Zerlegung kann dies nicht alleine im Speicherplatz der Matrix Ageschehen, da sowohl R als auch die v(i) die Diagonale besetzen. Bei der praktischenRealisierung muss ein weiterer Diagonalvektor vorgehalten werden.

Abschließend berechnen wir die QR-Zerlegung zu Beispiel 4.54 mit Hilfe der Householder-Transformationen:

Beispiel 4.60 (QR-Zerlegung mit Householder-Transformationen). Wir betrachten wiederdie Matrix:

A :=

1 1 10.01 0 0.01

0 0.01 0.01

,und führen alle Rechnungen mit dreistelliger Genauigkeit durch. Wir wählen mit a1 =(1, 0.01, 0)T und ‖a1‖ ≈ 1 den ersten Vektor zur Spiegelung als:

v(1) = a1 + ‖a1‖e1‖a1 + ‖a1‖e1‖

≈

10.005

0

.

153


Hiermit ergibt sich (wird eigentlich nicht benötigt!)

S(1) = I − 2v(1)(v(1))T ≈

−1 −0.01 0−0.01 1 0

0 0 1

,und die neuen Spaltenvektoren ergeben sich zu:

a(1)1 = −‖a1‖e1 ≈ −e1,

a(1)2 = a2 − 2(v(1), a2)v(1) ≈ a2 − 2v(1),

a(1)3 = a3 − 2(v(1), a3)v(1) ≈ a3 − 2v(1),

⇒ A(1) =

−1 −1 −10 −0.01 00 0.01 0.01

.Wir fahren mit der Teilmatrix A

(1)kl>1 fort und wählen mit a(1)

2 = (−0.01, 0.01)T (manbeachte das Vorzeichen sign(a(1)

22 ) =“-”)

v(2) = a(1)2 − ‖a

(1)2 ‖e2

‖a(1)2 − ‖a

(1)2 ‖e2‖

≈(−0.9240.383

).

Damit ergibt sich als Householder-Transformation

I − 2v(2)(v(2))T ≈ S(2) =(−0.708 0.7080.708 0.706

), S(2) =

1 0 00 −0.708 0.7080 0.708 0.706

.Wir erhalten:

a(2)2 = ‖a(1)

1 ‖e2,

a(2)3 = a

(1)3 − 2(a(1)

3 , v(2))v(2) ≈ a(1)3 − 2 · 0.00383v(2),

⇒ A(2) =

−1 −1 −10 0.0141 0.007080 0 0.00707

.Zur Probe berechnen wir QT = S(2)S(1) (mit dreistelliger Genauigkeit):

QT ≈

−1 −0.01 00.00708 −0.708 0.708−0.00708 0.708 0.707

.Bei dreistelliger Genauigkeit gilt für das Produkt QTQ ≈ I:

QTQ ≈

1 0 00 1 −7.58 · 10−4

0 −0.758 · 10−4 1

.Dies entspricht einem relativen Fehler ‖QTQ− I‖2 ≤ 10−3 im Rahmen der Rechengenau-igkeit. Weiter gilt für die Zerlegung A ≈ QR:

A ≈ QR =

1 1 10.01 1.72 · 10−5 0.01

0 0.00998 0.01

.

154


Auch hier gilt ‖A−QR‖2/‖A‖2 ≤ 10−4.

Man vergleiche abschließend das Resultat mit dem Ergebnis von Beispiel 4.54. Dort wurdenrelative Fehler ‖QTQ− I‖2 ≈ 0.7 sowie ‖QR−A‖2/‖A‖2 ≈ 0.004 erreicht.

4.4.3 Givens-Rotationen

Das Gram-Schmidt Verfahren basiert auf Projektionen, die Householder-Transformationensind Spiegelungen. Schließlich stellen wir kurz eine Methode vor, die auf Rotationen beruht.Wir definieren:

Definition 4.61 (Givens-Rotation). Unter einer Givens-Rotation im Rn versteht mandie Drehung in der durch zwei Einheitsvektoren ei und ej aufgespannten Ebene. Die Trans-formationsmatrix ist gegeben durch:

G(i, j, θ) =

1. . .

1c −s

. . .s c

1. . .

1

, c := cos(θ), s := sin(θ).

Es gilt:

Satz 4.62 (Givens-Rotation). Die Givens-Rotation G(i, j, θ) ist eine orthogonale Matrixmit det(G) = 1. Es ist G(i, j, θ)−1 = G(i, j,−θ).

Wie die Householder-Transformationen sind die Givens-Rotationen orthogonale Matrizen.Die Multiplikation von links an eine Matrix, also GA oder einen Vektor, also Gx ändert

155


nur die i-te und j-te Zeile von A, bzw. von x:

G(i, j)A =

a11 · · · a1n... . . . ...

ai−1,1 · · · ai−1,ncai1 − saj1 · · · cain − sajnai+1,1 · · · ai+1,n

... . . . ...aj−1,1 · · · aj−1,n

sai1 + caj1 · · · sain + cajnaj+1,1 · · · aj+1,n

... . . . ...an1 · · · ann

.

Die QR-Zerlegung auf der Basis von Givens-Rotationen transformiert die Matrix A wiederschrittweise in eine obere rechte Dreiecksmatrix R. Durch Anwenden einer Givens-Rotationkann jedoch nur ein einzelnes Unterdiagonalelement eliminiert werden und nicht eine ganzeSpalte:

∗ ∗ ∗ ∗∗ ∗ ∗ ∗∗ ∗ ∗ ∗∗ ∗ ∗ ∗

→∗ ∗ ∗ ∗0 ∗ ∗ ∗∗ ∗ ∗ ∗∗ ∗ ∗ ∗

→∗ ∗ ∗ ∗0 ∗ ∗ ∗0 ∗ ∗ ∗∗ ∗ ∗ ∗

→∗ ∗ ∗ ∗0 ∗ ∗ ∗0 ∗ ∗ ∗0 ∗ ∗ ∗

→

∗ ∗ ∗ ∗0 ∗ ∗ ∗0 0 ∗ ∗0 ∗ ∗ ∗

→ · · · →∗ ∗ ∗ ∗0 ∗ ∗ ∗0 0 ∗ ∗0 0 0 ∗

.Wir betrachten einen Schritt des Verfahrens. Dazu sei die Matrix A gegeben in der Form:

A =

a11 · · · · · · · · · · · · a1n

0 . . . . . . ...... . . . aii

...... 0 ai+1,i+1

......

......

...... 0

......

... aji... . . . ...

......

......

0 · · · ani an,i+1 · · · ann.

Wir suchen die Givens-Rotation G(i, j, θ) zur Elimination von aji. Für GA gilt:

(G(i, j, θ)A)ji = saii + caji, c := cos(θ), s := sin(θ).

156


Anstelle den Winkel θ zu finden bestimmen wir gleich die Werte c und s mit dem Ansatz

saii + caji = 0, c2 + s2 = 1 ⇒ c := aii√a2ii + a2

ji

, s := − aji√a2ii + a2

ji

.

Anwendung von G(i, j, θ) auf A ergibt:

(G(i, j, θ)A)ji = −ajiaii + aiiaji√a2ii + a2

ji

= 0, (G(i, j, θ)A)ii =a2ii + a2

ji√a2ii + a2

ji

=√a2ii + a2

ji.

Das Element aji wird eliminiert. Zur Elimination der i-ten Spalte (unterhalb der Diago-nale) sind (n − i − 1) Givens-Rotationen notwendig. Hieraus lässt sich leicht abschätzen,dass der Aufwand zum Erstellen der QR-Zerlegung nach Givens großer ist als der Aufwandbei Verwenden der Householder-Transformationen. Genaue Analyse und effiziente Durch-führung führt zu 4n3

3 + O(n2) arithmetische Operationen, also dem doppelten Aufwandverglichen mit der Householder-Methode.

Die QR-Zerlegung nach Givens gewinnt aber an Bedeutung, wenn die Matrix A bereitsdünn besetzt ist. Nur Unterdiagonalelemente aji 6= 0 müssen gezielt eliminiert werden. Beisogenannten Hessenberg-Matrizen (das sind rechte obere Dreiecksmatrizen, die zusätzlichnoch eine linke Nebendiagonale besitzen) kann die QR-Zerlegung mit Givens-Rotationen innur O(n2) Operationen durchgeführt werden. Die QR-Zerlegung von Hessenberg-Matrizenspielt die entscheidende Rolle bei dem wichtigsten Verfahren zur Berechnung von Eigen-werten einer Matrix, siehe Abschnitt 4.6.

Beispiel 4.63 (QR-Zerlegung nach Givens). Wie in Beispielen 4.54 und 4.60 sei wiederdie folgende Matrix gegeben:

A :=

1 1 10.01 0 0.01

0 0.01 0.01

Wir führen alle Rechnungen mit dreistelliger Genauigkeit durch. Zur Elimination vona21 = 0.01 ist:

c(1) = 1√1 + 0.012

≈ 1, s(1) = − 0.01√1 + 0.012

≈ −0.01,

d.h.

G(1) =

1 0.01 0−0.01 1 0

0 0 1

, A(1) = G(1)A ≈

1 1 10 −0.01 00 0.01 0.01

Im zweiten Schritt wählen wir zur Elimination von a(1)

32 = 0.01

c(2) = −0.01√0.012 + 0.012

≈ −0.707, s(2) = − 0.01√0.012 + 0.012

≈ −0.707,

157


also

G(2) =

1 0 00 −0.707 0.7070 −0.707 −0.707

, A(2) = G(2)A(1) ≈

1 1 10 0.0141 0.007070 0 −0.00707

= R.

Zur Probe berechnen wir zunächst Q := (G(1))T (G(2))T :

Q =

1 0.00707 0.007070.01 −0.707 −0.707

0 0.707 −0.707

.Die Matrizen Q sowie R sind nahezu identisch zu denen der Householder-Transformationin Beispiel 4.60. Daher ist auch die Genauigkeit der Approximation entsprechend gut:

QT Q =

1.0001 0 00 0.99975 −5 · 10−5

0 −5 · 10−5 0.99975

, QR ≈

1 1 10.01 3 · 10−5 0.01

0 0.00997 0.009997

,mit relativen Fehlern ‖QR−A‖2/‖A‖2 ≈ 0.00005 sowie ‖QT Q− I‖2 ≈ 0.0003.

4.5 Überbestimmte Gleichungssysteme, Gauß’scheAusgleichrechnung

In vielen Anwendungen treten lineare Gleichungssysteme auf, die eine unterschiedlicheAnzahl von Gleichungen und Unbekannten besitzen:

Ax = b, A ∈ Rn×m, x ∈ Rm, b ∈ Rn, n 6= m.

Im Fall n > m sprechen wir von überbestimmten Gleichungssystemen, im Fall n < mvon unterbestimmten Gleichungssystemen. Die Untersuchung der eindeutigen Lösbarkeitvon allgemeinen Gleichungssystemen mit rechteckiger Matrix A kann nicht mehr an derenRegularität ausgemacht werden. Stattdessen wissen wir, dass ein Gleichungssystem genaudann lösbar ist, falls der Rang der Matrix A gleich dem Rang der erweiterten Matrix(A|b) ist. Gilt zusätzlich rang(A) = m, so ist die Lösung eindeutig. Ein unterbestimmteslineares Gleichungssystem kann daher nie eindeutig lösbar sein. Wir betrachten in diesemAbschnitt ausschließlich überbestimmte Gleichungssysteme, d.h. den Fall n > m. Einsolches Gleichungssystem ist im allgemeinen Fall nicht lösbar:

Beispiel 4.64 (Überbestimmtes Gleichungssystem). Wir suchen das quadratische Inter-polationspolynom

p(x) = a0 + a1x+ a2x2,

gegeben durch die Vorschrift:

p(−1/4) = 0, p(1/2) = 1, p(2) = 0, p(5/2) = 1.

158

4.5 Überbestimmte Gleichungssysteme, Gauß’sche Ausgleichrechnung

Dies ergibt die vier Gleichungen:

a0 − 14a1 + 1

16a2 = 0a0 + 1

2a1 + 14a2 = 1

a0 + 2a1 + 4a2 = 0a0 + 5

2a1 + 254 a2 = 1

Wir versuchen, das lineare Gleichungssystem mit Gauß-Elimination zu lösen:

1 −14

116 0

1 12

14 1

1 2 4 01 5

2254 1

→

1 −14

116 0

0 3 3 40 9 63

16 00 11 99

4 4→

1 −14

116 0

0 3 3 40 0 −81

16 −120 0 319

16 4.

D.h., es müsste gelten a2 = 64/27 ≈ 2.37 sowie a2 = 64/319 ≈ 0.2.

In Anbetracht von Satz 3.6 ist dieses Ergebnis für die Lagrange-Interpolation zu erwarten.Bei allgemeinen überbestimmten Gleichungssystemen muss daher die Zielstellung geän-dert werden: gesucht wird nicht die Lösung des Gleichungssystems, sondern ein Vektorx ∈ Rm, welcher in gewissem Sinne die beste Approximation ist. Entsprechend der Be-stapproximation von Funktionen aus Abschnitt 3.6.1 definieren wir:

Definition 4.65 (Methode der kleinsten Fehlerquadrate, Least-Squares). Es sei Ax = bmit A ∈ Rn×m und b ∈ Rn. Dann ist die Least-Squares Lösung x ∈ Rm als die Näherungbestimmt, deren Defekt die kleinste euklidische Norm annimmt:

‖b−Ax‖2 = miny∈Rm

‖b−Ay‖2 (4.9)

Der wesentliche Unterschied zwischen dieser Aufgabenstellung und Satz 3.79 zur Gauß-Approximation ist die Wahl der Norm: hier betrachten wir die euklidische Vektor-Norm,bei der Gauß-Approximation von Funktionen die L2-Norm. Beiden Normen ist gemein,dass sie durch ein Skalarprodukt gegeben sind. Es gilt:

Satz 4.66 (Kleinste Fehlerquadrate). Angenommen, für die Matrix A ∈ Rn×m mit n > mgilt m = rang(A). Dann ist die Matrix ATA ∈ Rm×m positiv definit und die Least-Squares-Lösung x ∈ Rm ist eindeutig bestimmt als Lösung des Normalgleichungssystems:

ATAx = AT b.

Beweis: (i) Es gilt rang(A) = m. D.h. Ax = 0 gilt nur dann, wenn x = 0. Hieraus folgtdie positive Definitheit der Matrix ATA:

(ATAx, x)2 = (Ax,Ax)2 = ‖Ax‖22 > 0 ∀x 6= 0,

und das Gleichungssystem ATAx = AT b ist für jede rechte Seite b ∈ Rn eindeutig lösbar.

159


(ii) Es sei x ∈ Rm die Lösung des Normalgleichungssystems. Dann gilt für beliebigesy ∈ Rm:

‖b−A(x+ y)‖22 = ‖b−Ax‖22 + ‖Ay‖22 − 2(b−Ax,Ay)2

= ‖b−Ax‖22 + ‖Ay‖22 − 2(AT b−ATAx︸︷︷︸=0

, y)2

≥ ‖b−Ax‖22.

(iii) Nun sei x das Minimum von (4.9). D.h., es gilt für beliebigen Vektor y:

‖b−Ax‖22 ≤ ‖b−A(x+ y)‖22 = ‖b−Ax‖22 + ‖Ay‖22 − 2(b−Ax,Ay)2 ∀y ∈ Rm.

Hieraus folgt:

−‖A‖22‖y‖22 ≤ −‖Ay‖22 ≤ 2(ATAx−AT b, y)2 ≤ ‖Ay‖22 ≤ ‖A‖22‖y‖22.

Für y = sei, wobei s ∈ R und ei der i-te Einheitsvektor ist gilt:

−s‖A‖22 ≤ 2[ATAx−AT b]i ≤ s‖A‖22 ∀s ∈ R, i = 1, . . . , n.

Bei s→ 0 folgt [ATAx]i = [AT b]i. �

Die beste Approximation eines überbestimmten Gleichungssystems kann durch Lösen desNormalgleichungssystems gefunden werden. Der naive Ansatz, die Matrix ATA zu bestim-men und dann das Normalgleichungsystem etwa mit dem Cholesky-Verfahren zu lösen istnumerisch nicht ratsam. Zunächst ist der Aufwand zur Berechnung von ATA sehr großund die Berechnung der Matrix-Matrix Multiplikation ist schlecht konditioniert. Weitergilt die Abschätzung:

cond(ATA) ≈ cond(A)2.

Wir lösen mit dieser Methode das überbestimmte Gleichungssystem aus Beispiel 4.64:

Beispiel 4.67 (Lösen der Normalgleichung). Die exakte Lösung des Normalgleichungssy-stems ATAx = AT b ist gegeben durch:

x ≈

0.34250.3840−0.1131

, p(x) = 0.3425 + 0.3740x− 0.1131x2.

Es gilt:‖b−Ax‖2 ≈ 0.947.

Wir stellen das Normalgleichungssystem mit dreistelliger Rechnung auf:

ATA =

4 4.75 10.64.75 10.6 23.710.6 23.7 55.1

, AT b =

23

6.5

.

160


Die exakte Lösung ist bestimmt durch die Polynomkoeffizienten x = (a0, a1, a2)T sowie dasPolynom p(x) = a0 + a1x+ a2x

2:

Wir bestimmen die Cholesky-Zerlegung mit dem direkten Verfahren:

l11 =√

4 = 2l21 = 4.75/2 ≈ 2.38l31 = 10.6/2 = 5.3

l22 =√

10.6− 2.382 ≈ 2.22l32 = (23.7− 2.38 · 5.3)/2.22 ≈ 5

l33 =√

55.1− 5.32 − 52 ≈ 1.42.

, L :=

2 0 02.38 2.22 05.3 5 1.42

.

Wir lösen:

LLTx︸︷︷︸=y

= AT b ⇒ y ≈

10.279−0.137

⇒ x ≈

0.4240.343−0.0965

,mit dem Polynom

p(x) = 0.424 + 0.343x− 0.0965x2,

und dem Defekt ‖b−Ax‖ ≈ 0.96 sowie dem relativen Fehler zur exakten Lösung:

‖x− x‖‖x‖

≈ 0.18.

Wir entwickeln ein alternatives Verfahren, welches das Aufstellen des Normalgleichungssy-stems ATAx = AT b umgeht und nutzen hierfür eine Erweiterung der bereits vorgestelltenQR-Zerlegung auf allgemeine rechteckige Matrizen:

Satz 4.68 (QR-Zerlegung rechteckiger Matrizen). Es sei A ∈ Rn×m mit n > m undrang(A) = m. Dann existiert eine orthogonale Matrix Q ∈ Rn×n, sowie eine “rechteckigeobere Dreiecksmatrix” R ∈ Rn×m so dass gilt A = QR mit:

R =

R

}m

0}n−m

, R =

∗ ∗ · · · ∗

0 ∗ . . . ∗... . . . . . . ...0 · · · 0 ∗

∈ Rm×m.

Beweis: Der Beweis folgt durch Anwenden vonm Schritten der QR-Zerlegung mit Householder-Transformationen auf die Matrix A. Die Spaltenvektoren A = (a(0)

1 , . . . , a(0)m ) sind linear

161


unabhängig. Diese Eigenschaft bleibt durch Anwenden von orthogonalen Householder-Transformationen S(1), . . . , S(m) erhalten, d.h.:

dim(

span{a(i)1 , . . . , a(i)

m })

= m, i = 1, . . . ,m, a(i)j = S(i)a

(i−1)j .

Die ersten m Schritte der Householder-Transformation sind durchführbar und es giltrang(A) = rang(QTA) mit

QT = S(m) · · ·S(1).

Die Matrix A wird dabei schrittweise auf “Dreiecksgestalt” gebracht:

∗ ∗ · · · ∗

∗ . . . . . . ...... . . . . . . ...... . . . . . . ...... . . . . . . ...... . . . . . . ...∗ · · · · · · ∗

→

∗ ∗ · · · ∗

0 ∗ . . . ......

... . . . ......

... . . . ......

... . . . ......

... . . . ...0 ∗ · · · ∗

→

∗ ∗ · · · ∗

0 ∗ . . . ...... . . . . . .... . . . 0 ∗... . . . 0...

...0 · · · · · · 0

=: R ∈ Rn×m.

Im Gegensatz zur Householder-Transformation bei quadratischen Matrizen müssen m an-stelle von m − 1 Schritte durchgeführt werden, um den Block unterhalb der m-ten Zeilezu eliminieren.

Die resultierende Matrix R hat Rang m für ihre Einträge rij mit i > m gilt rij = 0.Daher ist der obere Matrixblock R ∈ Rm×m mit rij = rij für i, j ≤ m regulär mitrang(R) = rang(R) = m. �

Mit dieser verallgemeinerten QR-Zerlegung gilt nun:

ATAx = AT b ⇔ (QR)TQRx = (QR)T b ⇔ RT Rx = RTQT b.

Da alle Einträge von R im unteren Block Null sind gilt RT R = RTR und weiter mit

bi := (QT b)i≤m,

ist das Normalgleichungssystem äquivalent zum einfachen Dreieckssystem

ATAx = AT b ⇔ RX = b,

mit einer n× n-Matrix R.

Beispiel 4.69 (“Lösen” eines überbestimmten Gleichungssystems mit erweiterter QR–Zerlegung). Für das überbestimmte lineare Gleichungssystem aus Beispiel 4.64 gilt:

1 −1

4116

1 12

14

1 2 41 5

2254

, b =

0101

.

162


-0.2

0

0.2

0.4

0.6

0.8

1

-1 -0.5 0 0.5 1 1.5 2 2.5 3

Least-Squares LoesungApproximation mit Cholesky

Approximation mit QR

Abbildung 4.3: Lösen eines überbestimmten Gleichungssystems zum Finden der bestenApproximation an Messdaten. Siehe Beispiele 4.64, 4.67 sowie 4.69.

Wir wählen im ersten Schritt der Householder-Transformation (dreistellige Rechnung)

v(1) = a1 + ‖a1‖e1‖ a1 + ‖a1‖e1 ‖

≈

0.8660.2890.2890.289

.Dann gilt mit a(1)

i = ai − 2(ai, v(1))v(1):

A(1) ≈

−2 −2.38 −5.290 −0.210 −1.540 1.29 2.210 1.79 4.46

=: (a(1)1 , a

(1)2 , a

(1)3 ).

Mit dem reduzierten Vektor a(1)2 = (−0.21, 1.29, 1.79)T gilt weiter

v(2) = a(1)2 − ‖a

(1)2 ‖e2

‖ a(1)2 + ‖a(1)

2 ‖e2 ‖≈

−0.7400.3930.546

.Und hiermit:

A(2) ≈

−2 −2.38 −5.290 2.22 5.040 0 −1.280 0 −0.392

=: (a(2)1 , a

(2)2 , a

(2)3 ).

Wir müssen einen dritten Schritt durchführen und mit a(2)3 = (−1.28,−0.392) ergibt sich

nach gleichem Prinzip:

v(3) =(−0.989−0.148

).

163


Schließlich erhalten wir:

R = A(3) ≈

−2 −2.38 −5.290 2.22 5.040 0 1.340 0 0

.Zum Lösen des Ausgleichsystems:

ATAx = AT b ⇔ Rx = b,

bestimmen wir zunächst die rechte Seite nach der Vorschrift b(i) = b(i−1)−2(b(i−1), v(i))v(i):

b =

−10.28−0.155

.Abschließend lösen wir durch Rückwärtseinsetzen Rx = b(3):

x ≈

0.3420.390−0.116

und erhalten das Interpolationspolynom:

p(x) = 0.342 + 0.39x− 0.116x2,

mit Defekt‖b−Ax‖ ≈ 0.947,

und relativem Fehler zur exakten Least-Squares-Lösung:

‖x− x‖‖x‖

≈ 0.01,

d.h., ein Fehler von etwa einem 1% anstelle von fast 20% beim direkten Lösen des Normal-systems. In Abbildung 4.3 zeigen wir die exakte Lösung sowie die beiden ApproximiertenLösungen zu diesem Beispiel.

Die in Abschnitt 3.6.1 betrachtete diskrete Gauss-Approximation ist eine Anwendung derMethode der kleinsten Fehlerquadrate. Die lineare Ausgleichsrechnung ist ein Spezialfallmit Matrizen A ∈ Rn×2.

4.6 Berechnung von Eigenwerten

In diesem Abschnitt befassen wir uns mit dem Eigenwertproblem: zu gegebener MatrixA ∈ Rn×n sind die Eigenwerte (und gegebenenfalls Eigenvektoren) gesucht. Wir erinnernan Definition 4.9 und formulieren

164


Satz 4.70 (Eigenwert). Es sei A ∈ Rn×n. Dann gilt:

• Die Matrix A hat genau n Eigenwerte, ihrer Vielfachheit nach gezählt.

• Die Eigenwerte sind Nullstellen des charakteristischen Polynoms:

det(A− λI) = 0.

• Reelle Matrizen können komplexe Eigenwerte haben, komplexe Eigenwerte tretenstets als konjugierte Paare λ, λ auf.

• Eigenvektoren zu unterschiedlichen Eigenwerten sind linear unabhängig.

• Falls n linear unabhängige Eigenvektoren existieren, so existiert eine reguläre MatrixS ∈ Rn×n, so dass S−1AS = D eine Diagonalmatrix ist. Die Spaltenvektoren von Ssind die Eigenvektoren und die Diagonaleinträge von D die Eigenwerte.

• Symmetrische Matrizen A = AT haben nur reelle Eigenwerte. Es existiert eine Or-thonormalbasis von Eigenvektoren und eine Diagonalisierung QTAQ = D mit einerorthogonalen Matrix.

• Bei Dreiecksmatrizen stehen die Eigenwerte auf der Diagonalen.

Zu einem Eigenwert λ sind die Eigenvektoren als Lösung des homogenen linearen Glei-chungssystems bestimmt:

(A− λI)w = 0.Umgekehrt gilt:

Definition 4.71 (Rayleigh-Quotient). Sei A ∈ Rn×n sowie w ∈ Rn ein Eigenvektor.Dann ist durch den Rayleigh-Quotienten der zugehörige Eigenwert gegeben:

λ = (Aw,w)2‖w‖22

.

Mit Hilfe dieser Definition folgt eine einfache Schranke für die Eigenwerte:

|λ| ≤ supw 6=0

(Aw,w)2‖w‖22

≤ ‖A‖2 ‖w‖22

‖w‖22= ‖A‖2.

Wir haben in Abschnitt 4.1 bereits gesehen, dass diese Schranke für die Beträge der Ei-genwerte in jeder Matrixnorm mit verträglicher Vektornorm gilt.

4.6.1 Konditionierung der Eigenwertaufgabe

Bevor wir auf konkrete Verfahren zur Eigenwertberechnung eingehen, analysieren wir dieKondition der Aufgabe, d.h. die Abhängigkeit der Eigenwerte von der Störung der Matrix.Hierfür benötigen wir zunächst einen Hilfsatz:

165


Hilfsatz 4.72. Es seien A,B ∈ Rn×n beliebige Matrizen. Dann gilt für jeden Eigenwertλ von A, der nicht zugleich Eigenwert von B für jede natürliche Matrizennorm die Ab-schätzung:

‖(λI −B)−1(A−B)‖ ≥ 1.

Beweis: Es sei w 6= 0 ein Eigenvektor zu λ. Dann gilt:

(A−B)w = (λI −B)w.

Wenn λ kein Eigenwert von B ist, so ist die Matrix (λI −B) regulär, d.h. es folgt:

(λI −B)−1(A−B)w = w.

Und schließlich durch Normbilden:

1 = ‖(λI −B)−1(A−B)w‖‖w‖

≤ supx

‖(λI −B)−1(A−B)x‖‖x‖

= ‖(λI −B)−1(A−B)‖.

�

Auf dieser Basis erhalten wir ein einfaches Kriterium zur Eingrenzung der Eigenwerte einerMatrix:

Satz 4.73 (Gerschgorin-Kreise). Es sei A ∈ Rn×n. Alle Eigenwerte λ von A liegen in derVereinigung der Gerschgorin-Kreise:

Ki = {z ∈ C : |z − aii| ≤n∑

k=1,k 6=i|aik|}, i = 1, . . . , n.

Angenommen zu den Indexmengen Im = {i1, . . . , im} und I ′m = {1, . . . , n} \ Im seiendie Vereinigungen Um =

⋃i∈Im Ki und U ′m =

⋃i∈I′m Ki disjunkt. Dann liegen genau m

Eigenwerte (ihrer algebraischen Vielfachheit nach gezählt) in Um und n −m Eigenwertein U ′m.

Beweis: (i) Es seiD ∈ Rn×n die DiagonalmatrixD = diag(aii). Weiter sei λ ein Eigenwertvon A mit λ 6= aii. (In diesem Fall wäre die Aussage des Satzes trivial erfüllt). Hilfsatz 4.72besagt bei Wahl der maximalen Zeilensummennorm:

1 ≤ ‖(λI−D)−1(A−D)‖∞ = maxi

n∑

j=1,j 6=i|(λ− aii)−1aij |

= maxi

|λ− aii|−1n∑

j=1,j 6=i|aij |

.D.h. es existiert zu jedem λ ein Index i ∈ {1, . . . , n} so dass gilt:

|λ− aii| ≤n∑

j=1,j 6=i|aij |.

166


(ii) Es seien durch Im und I ′m Indexmengen mit oben genannter Eigenschaft gegeben. Wirdefinieren die Matrix

As := D + s(A−D),

mit A0 = D und A1 = A. Entsprechend definieren wir die Vereinigungen:

Um,s :=⋃i∈Im

Ki(As), U ′m,s :=⋃i∈I′m

Ki(As), Ki(As) = {z ∈ C, |z − aii| ≤ s∑j 6=i|aij |}.

Aufgrund der stetigen Abhängigkeit der Kreisradien von s gilt Um,s ∩ U ′m,s = ∅ für s ∈[0, 1]. Im Fall s = 0 gilt A0 = D und jeder Eigenwert von A0 liegt im Mittelpunkt (alsoλi = aii) des trivialen Kreises mit Radius Null. Das Ergebnis folgt nun durch die stetigeAbhängigkeit der Eigenwerte von s. �

Wir betrachten hierzu ein Beispiel:

Beispiel 4.74 (Gerschgorin-Kreise). Wir betrachten die Matrix

A =

2 0.1 −0.50.2 3 0.5−0.4 0.1 5

,mit den Eigenwerten spr(A) ≈ {1.91, 3.01, 5.08}. Eine erste Schranke liefern verschiedenemit Vektornormen verträgliche Matrixnormen von A:

‖A‖∞ = 5.5, ‖A‖1 = 6, ‖A‖2 ≈ 5.1.

Die Gerschgorin-Kreise von A sind:

K1 = {z ∈ C, |z−2| ≤ 0.6}, K2 = {z ∈ C, |z−3| ≤ 0.7}, K3 = {z ∈ C, |z−5| ≤ 0.5}.

Diese Abschätzung kann verfeinert werden, da A und AT die gleichen Eigenwerte besitzen.Die Radien der Gerschgorin-Kreise können auch als Summe der Spaltenbeträge berechnetwerden. Zusammen ergibt sich:

K1 = {z ∈ C, |z−2| ≤ 0.6}, K2 = {z ∈ C, |z−3| ≤ 0.2}, K3 = {z ∈ C, |z−5| ≤ 0.5}.

Alle drei Kreise sind disjunkt.

Wir können nun den allgemeinen Stabilitätssatz für das Eigenwertproblem beweisen:

Satz 4.75 (Stabilität des Eigenwertproblems). Es sei A ∈ Rn×n eine Matrix mit n linearunabhängigen Eigenvektoren w1, . . . , wn. Durch A = A + δA sei eine beliebig gestörteMatrix gegeben. Dann existiert zu jedem Eigenwert λ(A) von A = A + δA ein Eigenwertλ(A) von A so dass mit der Matrix W := (w1, . . . , wn) gilt:

|λ(A)− λ(A)| ≤ cond2(W )‖δA‖.

167


Beweis: Es gilt für i = 1, . . . , n die Beziehung Awi = λi(A)wi, oder in MatrixschreibweiseAW = W diag(λi(A)), also

W−1AW = diag(λi(A)).

Wir betrachten nun einen Eigenwert λ = λ(A). Falls λ auch Eigenwert von A ist, so giltdie Behauptung. Also sei λ nun kein Eigenwert von A. Dann folgt:

‖(λI −A)−1‖2 = ‖W−1[λI − diag(λi(A))]−1W‖2 ≤ cond2(W )‖[λI − diag(λi(A))]−1‖2.

Für die (symmetrische) Diagonalmatrix λI − diag(λi(A)) gilt

‖[λI − diag(λi(A))]−1‖2 = maxi=1,...,n

|λ− λi(A)|−1.

Mit Hilfsatz 4.72 folgt das gewünschte Ergebnis:

1 ≤ ‖[λI −A)−1δA‖2 ≤ ‖[λI −A)−1‖ ‖δA‖2 ≤ cond2(W ) maxi=1,...,n

|λ− λi(A)|−12 ‖δA‖2.

�

Die Konditionierung des Eigenwertproblems einer Matrix A hängt von der Konditionszahlder Matrix der Eigenvektoren ab. Für symmetrische (hermitesche) Matrizen existiert eineOrthonormalbasis von Eigenvektoren mit cond2(W ) = 1. Für solche Matrizen ist dasEigenwertproblem gut konditioniert. Für allgemeine Matrizen kann das Eigenwertproblembeliebig schlecht konditioniert sein.

4.6.2 Direkte Methode zur Eigenwertberechnung

Die Eigenwerte einer Matrix A können prinzipiell als Nullstellen des charakteristischenPolynoms χA(z) = det(zI − A) berechnet werden. Die Berechnung der Nullstellen kannzum Beispiel mit dem Newton-Verfahren geschehen, Startwerte können mit Hilfe derGerschgorin-Kreise bestimmt werden.

In Kapitel 2 haben die Berechnung von Nullstellen eines Polynoms jedoch als ein sehrschlecht konditioniertes Problem kennengelernt. Wir betrachten hierzu ein Beispiel.

Beispiel 4.76 (Direkte Berechnung von Eigenwerten). Es sei A ∈ R5×5 eine Matrix mitden Eigenwerten λi = 1, i = 1, . . . , 5. Dann gilt:

χA(z) =5∏i=1

(z − i) = z5 − 15z4 + 85x3 − 225x2 + 274z − 120.

Der Koeffizient −55 vor z9 sei mit einem relativen Fehler von 0.1% gestört:

χA(z) = z5 − 0.999 · 15z4 + 85x3 − 225x2 + 274z − 120.

Dieses gestörte Polynom hat die Nullstellen (d.h. Eigenwerte):

λ1 ≈ 0.999, λ2 ≈ 2.05, λ3 ≈ 2.76, λ4/5 ≈ 4.59± 0.430i.

168


Die Eigenwerte können also nur mit einem (ab λ3) wesentlichen Fehler bestimmt werden.Es gilt etwa:

|4.59 + 0.43i− 5|5 ≈ 0.1,

d.h. der Fehler in den Eigenwerten beträgt 10%, eine Fehlerverstärkung von 100.

Das Aufstellen des charakteristischen Polynoms erfordert eine Vielzahl schlecht konditio-nierter Additionen sowie Multiplikationen. Für allgemeine Matrizen verbietet sich diesesdirekte Verfahren. Lediglich für spezielle Matrizen wie Tridiagonalsysteme lassen die Ei-genwerte bestimmen, ohne das zunächst die Koeffizienten des charakteristischen Polynomsexplizit berechnet werden müssen.

4.6.3 Iterative Verfahren zur Eigenwertberechnung

Das vorangegangene Beispiel widerspricht scheinbar zunächst der (auf jeden bei hermite-schen Matrizen) guten Konditionierung der Eigenwertsuche. Wir leiten nun stabile nume-rische Verfahren her, die die Eigenwerte nicht mehr direkt berechnen, sondern sie iterativapproximieren.

Zur Herleitung eines ersten einfachen Iterationsverfahren machen wir die folgende Beob-achtung: angenommen, zu gegebener Matrix A ∈ Rn×n existiere eine Basis aus Eigenvek-toren {w1, . . . , wn}, d.h. die Matrix sei diagonalisierbar. Weiter gelte |λn| > |λn−1| ≥ · · · ≥|λ1| > 0. Dann sei x ∈ Rn in Basisdarstellung:

x(0) =n∑j=1

αjwj .

Wir nehmen an, dass αn 6= 0, dass also die Komponente zum Eigenvektor des betragsmäßiggrößten Eigenwertes nicht trivial ist. Wir definieren die Iteration

x(i+1) = Ax(i)

‖Ax(i)‖.

Dann gilt

x(i+1) =A Ax(i−1)

‖Ax(i−1)‖

‖A Ax(i−1)

‖Ax(i−1)‖‖= A2x(i−1)

‖A2x(i−1)‖‖Ax(i−1)‖‖Ax(i−1)‖

= · · · = Ai+1x(0)

‖Ai+1x(0)‖. (4.10)

Weiter gilt mit der Basisdarstellung von x(0):

Aix(0) =n∑j=1

αjλijwj = αnλ

in

wn +n−1∑j=1

αjαn

λijλin

. (4.11)

169


Es gilt |λj/λn| < 1 für j < n, daher folgt:

Aix(0) =n∑j=1

αjλijwj = αnλ

in (wn + o(1)) ,

Hieraus folgt durch Normierung:

Aix(0)

‖Aix(0)‖=(αnλ

in

|αnλin|

)wn‖wn‖

+ o(1)→ span{wn} (i→∞).

Die Iteration läuft in den Raum, der durch wn aufgespannt wird. Für einen Vektor w, derVielfaches eines Eigenvektors ist w = swn gilt:

Aw = sAwn = sλnwn = λnw.

Diese vektorwertige Gleichung gilt in jeder Komponente, kann daher nach dem Eigenwertaufgelöst werden:

λn = [Aw]kwk

.


Satz 4.77 (Potenzmethode nach von Mises). Es sei A ∈ Rn×n eine Matrix n linear un-abhängigen Eigenvektoren {w1, . . . , wn}. Der betragsmäßig größte Eigenwert sei separiert|λn| > |λn−1| ≥ · · · ≥ |λ1|. Es sei x(0) ∈ Rn ein Startwert mit nichttrivialer Komponentein Bezug auf wn. Für einen beliebigen Index k ∈ {1, . . . , n} konvergiert die Iteration

x(i) = Ax(i−1), x(i) := x(i)

‖x(i)‖, λ(i) := x

(i)k

x(i−1)k

,

gegen den betragsmäßig größten Eigenwert:

|λ(i+1) − λn| = O

(∣∣∣∣λn−1λn

∣∣∣∣i), i→∞.

Beweis: Wir knüpfen an der Vorbereitung des Beweises (4.10) an. Es gilt:

λ(i) = x(i)k

x(i−1)k

= [Ax(i−1)]kx

(i−1)k

= [Aix(0)]k[Ai−1x(0)]k

.

Weiter, mit (4.11) gilt:

λ(i) =anλ

in

([wn]k +

∑n−1j=1

αjαn

λijλin

[wj ]k)

anλi−1n

([wn]k +

∑n−1j=1

αjαn

λi−1j

λi−1n

[wj ]k) = λn

[wn]k +∑n−1j=1

αjαn

λijλin

[wj ]k

[wn]k +∑n−1j=1

αkαn

λi−1j

λi−1n

[wj ]k

= λn[wn]k +

(αn−1αn

+ o(1)) ∣∣∣λn−1

λn

∣∣∣i [wn]k

[wn]k +(αn−1αn

+ o(1)) ∣∣∣λn−1

λn

∣∣∣i−1[wn]k

= λn

(1 +O

(∣∣∣∣λn−1λn

∣∣∣∣i−1)).

170


Die letzte Abschätzung nutzt die Reihenentwicklung:

1 + xn+1

1 + xn= 1 +O(|x|n).

�

Die Potenzmethode ist eine sehr einfache und numerisch stabile Iteration. Sie kann al-lerdings nur den betragsmäßig größten Eigenwert ermitteln. Der Konvergenzbeweis kannverallgemeinert werden auf Matrizen, deren größter Eigenwert mehrfach vorkommt. Kon-vergenz gilt jedoch nur dann, wenn aus |λn| = |λi| auch λn = λi folgt. Es darf also nichtzwei verschiedene Eigenwerte geben, die beide den gleichen, größten Betrag annehmen.Dies schließt zum Beispiel den Fall zweier komplex konjugierter Eigenwerten λ und λ alsbeträgsgrößte aus.

Bemerkung 4.78 (Potenzmethode bei symmetrischen Matrizen). Die Potenzmethodekann im Fall symmetrischer Matrizen durch Verwenden des Rayleigh-Quotienten verbes-sert werden. Die Iteration

λ(i) = (Ax(i−1), x(i−1))2(x(i−1), x(i−1))2

= (x(i), x(i−1))2,

liefert die Fehlerabschätzung:

λ(i) = λn +O

(∣∣∣∣λn−1λn

∣∣∣∣2i).

Beispiel 4.79 (Potenzmethode nach von Mises). Es sei:

A =

2 1 2−1 2 11 2 4

,

mit den Eigenwerten:

λ1 ≈ 0.80131, λ2 = 2.2865, λ3 = 4.9122.

Wir starten die Potenzmethode mit x(0) = (1, 1, 1)T , und wählen zur Normierung die

171


Maximumsnorm. Weiter wählen wir als Index k = 1:

i = 1 : x(1) = Ax(0) =

527

, x(1) = x(1)

‖x(1)‖∞≈

0.7140.286

1

, λ(1) = x(1)1

x(0)1≈ 5,

i = 2 : x(2) = Ax(1) =

3.710.8575.29

, x(2) = x(2)

‖x(2)‖∞≈

0.7020.162

1

, λ(2) = x(2)1

x(1)1≈ 5.19,

i = 3 : x(3) = Ax(2) =

3.570.124

1

, x(3) = x(3)

‖x(3)‖∞≈

0.7100.124

1

, λ(3) = x(3)1

x(2)1≈ 5.077,

i = 4 : x(4) = Ax(3) =

3.540.5384.96

, x(4) = x(4)

‖x(4)‖∞≈

0.7150.108

1

, λ(4) = x(4)1

x(3)1≈ 4.999,

i = 5 : x(5) = Ax(4) =

3.540.5024.93

, x(5) = x(5)

‖x(5)‖∞≈

0.7170.102

1

, λ(5) = x(5)1

x(4)1≈ 4.950,

i = 6 : x(6) = Ax(5) =

3.540.4864.92

, x(6) = x(6)

‖x(6)‖∞≈

0.7190.0988

1

, λ(6) = x(6)1

x(5)1≈ 4.930.

Neben der Festlegung auf den betragsgrößten Eigenwert hat die Potenzmethode den Nach-teil sehr langsamer Konvergenz, falls die Eigenwerte nicht hinreichend separiert sind. Eineeinfache Erweiterung der Potenzmethode ist die Inverse Iteration nach Wieland zur Be-rechnung des kleinsten Eigenwerts einer Matrix. Zur Herleitung verwenden wir die Tatsa-che, dass zu einem Eigenwert λ einer regulären Matrix A ∈ Rn×n durch λ−1 ein Eigenwertder inversen Matrix A−1 ∈ Rn×n gegeben ist:

Aw = λ(A)w ⇔ A−1w = λ(A)−1w =: λ(A−1)w.

Die Potenzmethode, angewendet auf die inverse Matrix liefert den betragsgrößten Ei-genwert λmax(A−1) von A−1. Der Kehrwert dieses Eigenwertes ist der betragskleinsteEigenwert der Matrix A selbst λmin(A) = λmax(A−1)−1. Dieses Prinzip kann weiter ver-allgemeinert werden. Dazu sei λ(A) ein Eigenwert mit zugehörigem Eigenvektor w ∈ Rnvon A und σ ∈ C eine beliebige komplexe Zahl (jedoch kein Eigenwert von A). Dann gilt:

(A− σI)w = (λ(A)− σ)w = λ(A− σI)w ⇔ [A− σI]−1w = λ([A− σI]−1)w.

Die Anwendung der Potenzmethode auf die Matrix [A−σI]−1 liefert nach vorangestellterÜberlegung den betragskleinsten Eigenwert der Matrix [A−σI], d.h. den Eigenwert von A,der σ am nächsten liegt. Liegen nun Schätzungen für die Eigenwerte der Matrix A vor, sokönnen die genauen Werte mit der Inversen Iteration bestimmt werden. Die Gerschgorin-Kreise liefern oft einen guten Anhaltspunkt für σ.

172


Satz 4.80 (Inverse Iteration mit Shift). Es sei A ∈ Rn×n eine reguläre Matrix. Es seiσ ∈ C. Für die Eigenwerte λi von A gelte:

0 < |λ1 − σ| < |λ2 − σ| ≤ · · · ≤ |λn − σ|.

Es sei x(0) ∈ Rn ein geeigneter normierter Startwert. Für i = 1, 2, . . . konvergiert dieIteration

[A− σI]x(i) = x(i−1), x(i) := x(i)

‖x(i)‖, µ(i) := x

(i)k

x(i−1)k

, λ(i) := σ + (µ(i))−1,

für jeden Index k ∈ {1, . . . , n} gegen den Eigenwert λ1 von A:

|λ1 − λ(i)| = O

(∣∣∣∣λ1 − σλ2 − σ

∣∣∣∣i).

Beweis: Der Beweis ist eine einfache Folgerung aus Satz 4.77. Falls σ kein Eigenwert vonA ist, so ist B := A− σI invertierbar. Die Matrix B−1 hat die Eigenwerte µ1, . . . , µn, mit

µi = (λi − σ)−1 ⇔ λi = µ−1i + σ. (4.12)

Für diese gilt nach Voraussetzung:

|µ1| > |µ2| ≥ · · · ≥ |µn| > 0.

Die Potenzmethode, Satz 4.77, angewandt auf die Matrix B−1 liefert eine Approximationfür µ1:

|µ(i) − µ1| = O

(∣∣∣∣µ2µ1

∣∣∣∣i).

Die gewünschte Aussage folgt mit (4.12). �

In jedem Schritt der Iteration muss ein Lineares Gleichungssystem [A − σI]x = x gelöstwerden. Dies geschieht am besten mit einer Zerlegungsmethode, etwa der LR-Zerlegungder Matrix. Die Zerlegung kann einmal in O(n3) Operationen erstellt werden, anschließendsind in jedem Schritt der Iteration weitere O(n2) Operationen für das Vorwärts- undRückwärtseinsetzen notwendig. Die Konvergenzgeschwindigkeit der Inversen Iteration mitShift kann durch eine gute Schätzung σ gesteigert werden. Eine weitere Verbesserungder Konvergenzgeschwindigkeit kann durch ständiges Anpassen der Schätzung σ erreichtwerden. Wird in jedem Schritt die beste Approximation σ + 1/µ(i) als neue Schätzungverwendet, so kann mindestens superlineare Konvergenz erreicht werden. Hierzu wählenwir: σ(0) = σ und iterieren

σ(i) = σ(i−1) + 1µ(i) .

Jede Modifikation des Shifts ändert jedoch das lineare Gleichungssystem und erfordert dieerneute (teure) Erstellung der LR-Zerlegung.

173


Beispiel 4.81 (Inverse Iteration nach Wieland). Es sei:

A =

2 −0.1 0.40.3 −1 0.40.2 −0.1 4

mit den Eigenwerten:

λ1 ≈ −0.983, λ2 = 1.954, λ3 = 4.029.

Wir wollen alle Eigenwerte mit der inversen Iteration bestimmen. Startwerte erhalten wirdurch Analyse der Gerschgorin-Kreise:

K1 = K0.5(2), K2 = K0.2(−1), K3 := K0.3(4).

Die drei Kreise sind disjunkt und wir wählen als Shift in der Inversen Iteration σ1 = 2,σ2 = −1 sowie σ3 = 4. Die Iteration wird stets mit v = (1, 1, 1)T und Normierung bezüglichder Maximumsnorm gestartet. Wir erhalten die Näherungen:

σ1 = 2 : µ(1)1 = −16.571, µ

(2)1 = −21.744, µ

(3)1 = −21.619, µ

(4)1 = −21.622,

σ2 = −1 : µ(1)2 = 1.840, µ

(2)2 = 49.743, µ

(3)2 = 59.360, µ

(4)2 = 59.422,

σ3 = 4 : µ(1)3 = 6.533, µ

(2)3 = 36.004, µ

(3)3 = 33.962, µ

(4)3 = 33.990.

Diese Approximationen ergeben die folgenden Eigenwert-Näherungen:

λ1 = σ1 + 1/µ(4)1 ≈ 1.954, λ2 = σ2 + 1/µ(4)

2 ≈ −0.983, λ3 = σ3 + 1/µ(4)3 ≈ 4.029.

Alle drei Näherungen sind in den ersten wesentlichen Stellen exakt.

Das Beispiel demonstriert, dass die inverse Iteration mit Shift zu einer wesentlichen Be-schleunigung der Konvergenz führt, falls gute Schätzungen der Eigenwerte vorliegen.

4.6.4 Das QR-Verfahren zur Eigenwertberechnung

Wir haben bereits die QR-Zerlegung einer Matrix A in eine orthogonale Matrix Q ∈ Rn×nsowie eine rechte obere Dreiecksmatrix R ∈ Rn×n kennengelernt. Das QR-Verfahren zurBerechnung der Eigenwerte von A beruht auf der folgenden Beobachtung:

A = QR = QR(QQT ) = Q(RQ)QT , (4.13)

d.h., die Matrix A ist orthogonal ähnlich zur Matrix RQ, hat also die gleichen Eigenwertewie diese. Wir definieren:

174


Algorithmus 4.82 (QR-Verfahren). Es sei A ∈ Rn×n. Ausgehend von A(1) := A iterierefür i = 1, . . .

1. Erstelle die QR-ZerlegungA(i) =: Q(i)R(i),

2. BerechneA(i+1) := R(i)Q(i).

Das QR-Verfahren erzeugt eine Folge A(i), i ≥ 1 von Matrizen, die gemäß (4.13) alleähnlich zur Matrix A sind. Wir werden sehen, dass die Diagonaleinträge der FolgengliederA(i) gegen die Eigenwerte der Matrix A laufen.

Satz 4.83 (QR-Verfahren zur Eigenwertberechnung). Es sei A ∈ Rn×n eine Matrix mitseparierten Eigenwerten

|λ1| > |λ2| > · · · > |λn|.

Dann gilt für die Diagonalelemente a(t)ii der durch das QR-Verfahren erzeugten Matrizen

A(t):{d(t)

11 , . . . , d(t)nn} → {λ1, . . . , λn} (t→∞).

Beweis: Für den technisch aufwändigen Beweis verweisen wir auf [9] oder [6]. �

Im Allgemeinen konvergieren die Diagonalelemente der Folgenglieder A(i) mindestens li-near gegen die Eigenwerte. In speziellen Fällen wird jedoch sogar kubische Konvergenzerreicht. Verglichen mit der Potenzmethode und der inversen Iteration weist das QR-Verfahren daher zum einen bessere Konvergenzeigenschaften auf, gleichzeitig werden alleEigenwerte der Matrix A bestimmt. In jedem Schritt der Iteration muss jedoch eine QR-Zerlegung der Iterationsmatrix A(i) erstellt werden. Bei allgemeiner Matrix A ∈ Rn×nsind hierzu O(n3) arithmetische Operationen notwendig. Um die Eigenwerte mit hinrei-chender Genauigkeit zu approximieren sind oft sehr viele, > 100 Schritte notwendig. Inder praktischen Anwendung wird das QR-Verfahren daher immer in Verbindung mit einerReduktionsmethode (siehe folgendes Kapitel) eingesetzt, bei der die Matrix A zunächst ineine “einfache” ähnliche Form transformiert wird.

Bemerkung 4.84 (LR-Verfahren). Wie das QR-Verfahren liefert auch das LR-Verfahren:

A(i) =: L(i)R(i), A(i+1) := R(i+1)L(i+1),

eine Folge von Matrizen A(i), deren Diagonalelemente gegen die Eigenwerte der Matrix Akonvergieren. Das LR-Verfahren zur Eigenwertberechnung konvergiert nur dann, wenn dieLR-Zerlegung ohne Pivotisierung durchgeführt werden kann. Daher wird bei allgemeinenMatrizen üblicherweise das QR-Verfahren bevorzugt.

175


4.6.5 Reduktionsmethoden zur Eigenwertbestimmung

Das Erstellen der QR-Zerlegung einer Matrix A ∈ Rn×n mit Hilfe von Householder-Matrizen bedarf O(n3) arithmetischer Operationen, siehe Satz 4.58. Da in jedem Schrittdes QR-Verfahrens diese Zerlegung neu erstellt werden muss, ist dieser Aufwand zu groß.Hat die Matrix A jedoch eine spezielle Struktur, ist sie z.B. eine Bandmatrix, so kannauch die QR-Zerlegung mit weit geringerem Aufwand erstellt werden. Es gilt:

Satz 4.85 (Ähnliche Matrizen). Zwei Matrizen A,B ∈ Cn×n heißen ähnlich, falls es einereguläre Matrix S ∈ Cn×n gibt, so dass gilt:

A = S−1BS.

Ähnliche Matrizen haben das gleiche charakteristische Polynom und die gleichen Eigen-werte. Zu einem Eigenwert λ sowie Eigenvektor w von A gilt:

B(Sw) = S(Aw) = λSw.

Ziel dieses Kapitels ist es durch Ähnlichkeitstransformationen

A = A(0) → A(i) = (S(i))−1A(i)S(i),

die Matrix A Schritt für Schritt in eine ähnliche Matrix (also mit den gleichen Eigenwer-ten) zu transformieren, die eine einfache Struktur hat, so dass die Eigenwerte leichter zubestimmen, oder sogar direkt ablesbar sind. Mögliche Normalformen, bei denen die Eigen-werte unmittelbar ablesbar sind, sind die Jordan’sche Normalform, die Diagonalisierungvon A, oder die Schur’sche Normalform:

Definition 4.86 (Schur’sche Normalform). Die Matrix A ∈ Cn×n habe die Eigenwerteλ1, . . . , λn (ihrer Vielfachheit gezählt). Dann existiert eine unitäre Matrix U ∈ Cn×n, sodass

UTAU =

λ1 ∗ · · · ∗

0 . . . . . . ...... . . . . . . ∗0 · · · 0 λn

.

Falls AT = A hermitesch ist, so ist UTAU auch hermitesch, also eine Diagonalmatrix.

Die Aufgabe, eine Matrix A in eine Normalform zu transformieren, ist üblicherweise nurbei Kenntnis der Eigenwerte möglich. Dieser Weg eignet sich somit nicht zur Eigenwertbe-rechnung. Daher werden wir im Folgenden die Reduktion der Matrix A auf eine Normal-form kennenlernen, bei der die Eigenwerte zwar nicht unmittelbar abgelesen werden, dieQR-Zerlegung jedoch mit sehr geringem Aufwand erstellt werden kann. Diese reduzierteNormalform dient dann als Grundlage für das QR-Verfahren zur Eigenwertberechnung.Wir definieren:

176


Satz 4.87 (Hessenberg-Normalform). Zu jeder Matrix A ∈ Rn×n existiert eine orthogo-nale Matrix Q ∈ Rn×n, so dass

QTAQ =

∗ · · · · · · · · · ∗

∗ . . . . . . . . . ...

0 . . . . . . . . . ...... . . . . . . . . . ...0 · · · 0 ∗ ∗

,

eine Hessenberg-Matrix ist, also eine rechte obere Dreiecksmatrix, die zusätzlich eine un-tere Nebendiagonale besitzt. Falls A = AT symmetrisch ist, so ist QTAQ eine Tridiago-nalmatrix.

Beweis: Die Konstruktion der Hessenberg-Matrix erfolgt ähnlich der QR-Zerlegung mitHouseholder-Transformationen. Um Ähnlichkeitstransformationen sicherzustellen müssenwir die orthogonalen Householder-Matrizen S(i) jedoch von links und rechts an die MatrixA multiplizieren.

Wir beschreiben den ersten Schritt. Es seien A = (a1, . . . , an) die Spaltenvektoren von A.Wir bestimmen den Vektor v(1) = (0, v(1)

2 , . . . , v(1)n )T so, dass mit S(1) = I − 2v(1)(v(1))T

giltS(1)a1 ∈ span(e1, e2).

Hierzu wählen wir eine Householder-Transformation mit Vektor

v(1) = a1 + ‖a1‖e2‖ a1 + ‖a1‖e2 ‖

,

wobei a1 = (0, a21, . . . , an1) der reduzierte erste Spaltenvektor ist. Dann gilt mit S(1) =I − 2v(1)(v(1))T mit S(1) = (S(1))T :

A(1) = S(1)A(S(1))T =

a11 a12 · · · a1n∗ ∗ · · · ∗

0... . . . ...

...... . . . ...

0 ∗ · · · ∗

·S(1) =:

a11 ∗ · · · ∗∗0 A(1)

...0

, A(1) ∈ Rn−1×n−1.

Im zweiten Schritt wird das entsprechende Verfahren auf die Matrix A(1) angewendet.Nach n− 2 Schritten erhalten wir mit Matrix A(n−2), welche Hessenberg-Gestalt hat.

QTAQ := S(n−2) · · ·S(1)︸︷︷︸=:QT

AS(1) · · ·S(n−2)︸︷︷︸=:Q

Im Falle A = AT gilt:(QTAQ)T = QTATQ = QTAQ.

177


D.h., auch A(n−2) ist wieder symmetrisch. Symmetrische Hessenberg-Matrizen sind Tri-diagonalmatrizen. �

Bemerkung 4.88 (Hessenberg-Normalform). Die Transformation einer Matrix A ∈Rn×n in Hessenberg-Form erfordert bei Verwendung der Householder-Transformationen53n

3 + O(n2) arithmetische Operationen. Im Fall symmetrischer Matrizen erfordert dieTransformation in eine Tridiagonalmatrix 2

3n3 +O(n2) Operationen.

Die Transformation in Hessenberg-Form benötigt demnach etwas mehr arithmetische Ope-rationen als eine QR-Zerlegung. Im Anschluss können die QR-Zerlegungen einer Hessenberg-Matrix mit weitaus geringerem Aufwand erstellt werden. Weiter gilt, dass für die QR-Zerlegung einer Hessenberg-Matrix A gilt, dass die Matrix RQ wieder Hessenberg-Gestalthat. Beides fasst der folgende Satz zusammen:

Satz 4.89 (QR-Zerlegung von Hessenberg-Matrizen). Es sei A ∈ Rn×n eine Hessenberg-Matrix. Dann kann die QR-Zerlegung A = QR mit Householder-Transformationen in2n2 + O(n) arithmetische Operationen durchgeführt werden. Die Matrix RQ hat wiederHessenberg-Gestalt.

Beweis: Es gilt aij = 0 für i > j+1. Wir zeigen, dass induktiv, dass diese Eigenschaft füralle Matrizen A(i) gilt, die im Laufe der QR-Zerlegung entstehen. Zunächst folgt im erstenSchritt für v(1) = a1 + ‖a1‖e1 hieraus v(1)

k = 0 für alle k > 2. Die neuen Spaltenvektorenberechnen sich zu:

a(1)i = ai − (ai, v(1))v(1). (4.14)

Da v(1)k = 0 für k < 2 gilt (a(1)

i )k = 0 für k > i+ 1, d.h. A(1) hat wieder Hessenberg-Form.Diese Eigenschaft gilt induktiv für i = 2, . . . , n− 1.

Da der (reduzierte) Vektor v(i) in jedem Schritt nur zwei von Null verschiedene Einträgehat, kann dieser in 4 Operationen erstellt werden. Die Berechnung der n− i neuen Spal-tenvektoren gemäß (4.14) bedarf je 4 arithmetischer Operationen. Insgesamt ergibt sichein Aufwand von

n−1∑i=1

4 + 4(n− i) = 2n2 +O(n).

Es bleibt (als Übung) die Hessenberg-Gestalt der Matrix A′ := RQ nachzuweisen. �

In Verbindung mit der Reduktion auf Hessenberg, bzw. auf Tridiagonalgestalt ist das QR-Verfahren eines der effizientesten Verfahren zur Berechnung von Eigenwerten einer MatrixA ∈ Rn×n. Die QR-Zerlegung kann in O(n2) Operationen durchgeführt werden, und imLaufe des QR-Verfahrens entstehen ausschließlich Hessenberg-Matrizen.

Die Konvergenz des QR-Verfahrens hängt von der Separation der Eigenwerte |λi|/|λi+1| ab.Je weiter die Eigenwerte voneinander entfernt sind, umso besser konvergiert das Verfahren.

178


Im allgemeinen kann lineare Konvergenz gezeigt werden. In speziellen Fällen kann jedochsogar kubische Konvergenz der Diagonalelemente A(t)

ii gegen die Eigenwerte gezeigt werden.

Wie die Inverse Iteration kann das QR-Verfahren durch Einführen eines Shifts beschleunigtwerden. Mit Koeffizienten µi wird die Iteration ersetzt durch die Vorschrift:

A(i−1) − µiI = Q(i)R(i), A(i) := R(i)Q(i) + µiI.

Abschließend betrachten wir hierzu ein Beispiel:

Beispiel 4.90 (Eigenwert-Berechnung mit Reduktion und QR-Verfahren). Wir betrachtendie Matrix

A =

338 −20 −90 32−20 17 117 70−90 117 324 −25232 70 −252 131

.Die Matrix A ist symmetrisch und hat die Eigenwerte:

λ1 ≈ 547.407, λ2 ≈ 297.255, λ3 ≈ −142.407, λ4 ≈ 107.745.

Schritt 1: Reduktion auf Hessenberg- (Tridiagonal)-Gestalt.

Im ersten Reduktionsschritt wählen wir mit a1 = (0,−20,−90, 32) den Spiegelungsvektorv(1) als:

v(1) = a1 + ‖a1‖e2‖ a1 + ‖a1‖e2‖

.

Wir erhalten mit S(1) := I − 2v(1)(v(1))T :

A(1) = S(1)AS(1) =

338 97.591 0 0

97.591 477.579 27.797 106.9800 27.797 −82.345 −103.4940 106.980 −103.494 76.765

.

Mit a(1)2 = (0, 0, 27.797, 106.980)T und

v(2) = a2 + ‖a2‖e3‖ a2 + ‖a2‖e3‖

folgt mit S(2) := I − 2v(2)(v(2))T :

H := A(2) = S(2)A(1)S(2) =

338 97.591 0 0

97.591 477.579 110.532 00 110.532 16.231 −129.1310 0 −129.131 −21.900

.Die Matrix H hat nun Tridiagonalgestalt. Alle Transformationen waren Ähnlichkeitstrans-formationen. Daher haben H und A die gleichen Eigenwerte.

179


Schritt 2: QR-Verfahren

Wir führen nun einige Schritte des QR-Verfahrens durch, verzichten dabei auf die Zwi-schenschritte zum Erstellen der QR-Zerlegung. Es sei A(1) := H. Dann ist:

A(1) = Q(1)R(1) A(2) = R(1)Q(1) =

400.759 123.634 0 0123.634 441.338 −32.131 0

0 −32.131 −42.082 −122.4980 0 −122.498 9.985

A(2) = Q(2)R(2) A(3) = R(2)Q(2) =

473.938 113.971 0 0113.971 370.411 10.831 0

0 10.831 −74.680 −111.0530 0 −111.053 40.331

A(3) = Q(3)R(3) A(4) = R(3)Q(3) =

520.095 78.016 0 078.016 324.515 −4.350 0

0 −4.350 −98.717 −94.9420 0 −94.942 64.105

A(4) = Q(4)R(4) A(5) = R(4)Q(4) =

538.682 45.895 0 045.895 305.970 1.926 0

0 1.926 −115.400 −77.6200 0 −77.620 80.747

...

A(9) = Q(9)R(9) A(10) = R(9)Q(9) =

547.387 2.245 0 02.245 297.275 −0.0427 0

0 −0.0453 −140.561 −21.4130 0 −21.413 105.898

.Für die Diagonalelemente gilt:

a(10)11 ≈ 547.387, a

(10)22 ≈ 297.275, a

(10)33 ≈ −140.561, a

(10)44 ≈ 105.898.

Diese Diagonalelemente stellen sehr gute Näherungen an alle Eigenwerte der Matrix Adar:

|a(10)11 − λ1||λ1|

≈ 0.00005, |a(10)22 − λ2||λ2|

≈ 0.00007, |a(10)33 − λ3||λ3|

≈ 0.01, |a(10)44 − λ4||λ4|

≈ 0.01.

180

5 Numerische Iterationsverfahren

In diesem Kapitel besprechen wir numerische Iterationsverfahren (insbesondere Fixpunkt-verfahren) als eine weitere Lösungsmethode zur Lösung von linearen Gleichungssystemen(Kapitel 4) sowie zur Lösung von nicht-linearen Gleichungen (siehe Kapitel 2). Das zentraleHilfsmittel ist der Banachsche Fixpunktsatz, der als Voraussetzung eine Fixpunktformu-lierung der Aufgabenstellung verlangt. Alle Resultate dieses Kapitels werden direkt fürden höherdimensionalen Fall hergeleitet.

5.1 Der Banachsche Fixpunktsatz

In dem ganzen Kapitel betrachten wir Iterationen der Art

x0 ∈ Rn, xk+1 = g(xk), k = 0, 1, 2, . . . ,

mit einer Abbildung g(·) : Rn → Rn. Ein Punkt x ∈ Rn heißt Fixpunkt, falls g(x) = x.

Beispiel 5.1 (Newton-Verfahren als Fixpunktiteration). Zur Lösung eines nicht-linearenGleichungssystems im Rn sei

fi(x1, . . . , xn) = 0, i = 1, . . . , n,

oder in kurzer Schreibweise:f(x) = 0

mit f = (f1, . . . , fn)T und (x1, . . . , xn)T . Dann lässt sich das vereinfachte Newton-Verfahrenschreiben als

xk+1 = xk + C−1f(xk), k = 0, 1, 2, . . .

mit einer Matrix C ∈ Rn×n. Das Standard Verfahren von Newton verlangt die erste Ab-leitung, so dass C := f ′(xk) ∈ Rn×n. Die Berechnung der höherdimensionalen Ableitungzeigen wir später.

Im Folgenden sei ‖·‖ eine beliebige Vektornorm auf Rn und ‖·‖ die entsprechende natürlicheMatrizennorm. Die ausführliche Diskussion der entsprechenden Eigenschaften findet deraufmerksame Leser in Kapitel 4.

Zunächst rekapitulieren wir die bereits aus der Analysis bekannte Lipschitz-Stetigkeit einerFunktion:

181


Definition 5.2 (Lipschitz-Stetigkeit, Kontraktion). Es sei G ⊂ Rn eine nichtleere abge-schlossene Menge. Eine Abbildung g : G→ Rn wird Lipschitz-stetig genannt, falls

‖g(x)− g(y)‖ ≤ q‖x− y‖, x, y ∈ G,

mit q > 0. Falls 0 < q < 1, so nennt man g eine Kontraktion auf G.

Zur Rekapitulation:

Bemerkung 5.3. Differenzierbarkeit ⇒ absolute Stetigkeit ⇒ Lipschitz-Stetigkeit ⇒gleichmäßige Stetigkeit ⇒ Stetigkeit.

Zum Beispiel ist die Wurzelfunktion f(x) =√x auf [0, 1] zwar gleichmäßig stetig aber

nicht Lipschitz-stetig.

Der Banachsche Fixpunktsatz besagt nun, dass jede Selbstabbildung g : G → G, welcheeine Kontraktion ist, einen Fixpunkt besitzt:

Satz 5.4 (Banach’scher Fixpunktsatz). Es sei G ⊂ Rn eine nichtleere und abgeschlossenePunktmenge und g : G→ G eine Lipschitz-stetige Selbstabbildung, mit Lipschitz-Konstanteq < 1 (also eine Kontraktion).

• Dann existiert genau ein Fixpunkt z ∈ G von g und die Iterationsfolge (xk)k kon-vergiert für jeden Startpunkt x0 ∈ G, so dass xk → z für k →∞.

• Es gilt die a priori Abschätzung:

‖xk − z‖ ≤ qk

1− q‖x1 − x0‖.

• Es gilt die a posteriori Abschätzung:

‖xk − z‖ ≤ q

1− q‖xk − xk−1‖.

Beweis:

(i) Existenz eines Grenzwertes. Da g eine Selbstabbildung in G ist, sind alle Iteriertenxk = g(xk−1) = . . . = gk(x0) bei Wahl eines beliebigen Startpunkts x0 ∈ G definiert.Aufgrund der Kontraktionseigenschaft gilt:

‖xk+1 − xk‖ = ‖g(xk)− g(xk−1)‖ ≤ q‖xk − xk−1‖ ≤ . . . ≤ qk‖x1 − x0‖.

182


Wir zeigen, dass (xk)k eine Cauchy-Folge ist. Für jedes l ≥ m erhalten wir:

‖xl − xm‖ ≤ ‖xl − xl−1‖+ . . .+ ‖xm+1 − xm‖≤ (ql−1 + ql−2 + . . .+ qm)‖x1 − x0‖

= qm1− ql−m

1− q ‖x1 − x0‖

≤ qm 11− q‖x

1 − x0‖ → 0 (l ≥ m→ 0).

(5.1)

D.h., (xl)l∈N ist eine Cauchy-Folge. Da alle Folgenglieder in G liegen und G als abgeschlos-sene Teilmenge des Rn vollständig ist, existiert der Grenzwert xl → z ∈ G.

(ii) Fixpunkteigenschaft. Als zweites weisen wir nach, dass z tatsächlich ein Fixpunkt vong ist. Aus der Stetigkeit von g folgt mit xk → z auch g(xk) → g(z). Dann gilt für dieIteration xk+1 := g(xk) bei Grenzübergang

z ← xk+1 = g(xk)→ g(z) (k →∞).

(iii) Eindeutigkeit. Die Eindeutigkeit folgt aus der Kontraktionseigenschaft. Es seien z undz zwei Fixpunkte von g. Dann ist

‖z − z‖ = ‖g(z)− g(z)‖ ≤ q‖z − z‖.

Dies kann wegen q < 1 nur dann gültig sein, wenn ‖z − z‖ = 0, d.h. z = z ist. Damit istder Fixpunkt eindeutig.

(iv) A priori Fehlerabschätzung. Es gilt mit (5.1)

‖z − xm‖ ←−−−l→∞

‖xl − xm‖ ≤ qm 11− q‖x

1 − x0‖.

(v) A posteriori Fehlerabschätzung. Es gilt wieder mit (5.1):

‖xm − z‖ ≤ q 11− q‖x

m − xm−1‖.

�

Zur Anwendung des Banachschen Fixpunktsatzes auf eine Abbildung g : G ⊂ Rn → Rn

müssen die beiden Voraussetzungen Selbstabbildung sowie Kontraktionseigenschaft nach-gewiesen werden. Angenommen, g sei eine Kontraktion. Dann müssen wir die Existenzeiner abgeschlossenen und nichtleeren Teilmenge von G nachweisen, welche von der Ab-bildung g auf sich selbst abgebildet wird. Angenommen, auf der Kugel

Kρ(c) := {x ∈ Rn| ‖x− c‖ ≤ ρ}, ρ > 0, c ∈ Rn,

sei g eine Kontraktion mit Lipschitz-Konstante q < 1. Dann gilt für x ∈ Kρ(c):

‖g(x)− c‖ ≤ ‖g(x)− g(c)‖+ ‖g(c)− c‖,

183


wobei ‖g(x)− g(c)‖ ≤ qρ. Falls zusätzlich gilt:

‖g(c)− c‖ ≤ (1− q)ρ,

dann ist‖g(x)− c‖ ≤ qρ+ (1− q)ρ = ρ

und g bildet in sich selbst ab.

Als nächstes rekapitulieren wir den Schrankensatz, der die erste Ableitung (partielle Ab-leitung) mit der Lipschitz-Stetigkeit verknüpft:

Satz 5.5 (Schrankensatz). Die Abbildung g : G → Rn sei stetig differenzierbar auf derkonvexen Menge G. Dann gilt

‖g(x)− g(y)‖ ≤ supξ∈G‖g′(ξ)‖ ‖x− y‖, x, y ∈ G,

mit der partiellen Ableitung (Jacobi-Matrix, weiter unten ausführlicher)

g′(x) =(∂gi∂xj

)i,j=1,...,n

∈ Rn×n.

Falls supξ∈G ‖g′(ξ)‖ < 1, dann ist g eine Kontraktion auf G. Insbesondere gilt in 1D aufdem Intervall G := [a, b]:

q := maxξ∈[a,b]

|g′(ξ)|.

Beweis: Der 1D-Fall ist ein Spezialfall des höher-dimensionalen Falles. Aufgrund seinerEinfachheit beweisen wir in separat.

(i) Der eindimensionale Fall. Es seien x, y ∈ [a, b]. Nach dem reellen Mittelwertsatz gibtes ein ξ ∈ [a, b], so dass

|g(x)− g(y)| = |g′(ξ)(x− y)| = |g′(ξ)| |x− y| ≤ q|x− y|.

(ii) Der n-dimensionale Fall. Es seien x, y ∈ G. Wir setzen aus Normierungsgründen füri = 1, . . . , n:

φi(s) := gi(x+ s(y − x)), 0 ≤ s ≤ 1.

Dann gilt

gi(x)− gi(y) = φi(1)− φi(0) =∫ 1

0φ′(s) ds.

Für die Ableitung gilt

φ′i(s) =n∑j=1

∂gi∂xj

(x+ s(y − x))(y − x)j .

184


Hiermit und den Stetigkeitseigenschaften der Vektornorm (eine Norm ist immer eine stetigeAbbildung!) folgt

‖g(y)− g(x)‖ =∥∥∥∥∫ 1

0g′(x+ s(y − x)) · (y − x) ds

∥∥∥∥≤∫ 1

0‖g′(x+ s(y − x))‖ ds ‖y − x‖

≤ supξ∈G‖g′(ξ)‖ ‖y − x‖.

�

Zusammenfassen der Ergebnisse liefert das wichtige:

Korollar 5.6. Zu jedem Fixpunkt z ∈ G der Abbildung g mit ‖g′(z)‖ < 1 gibt es eineUmgebung

Kρ = {x ∈ Rn| ‖x− z‖ ≤ ρ} ⊂ G,

so das g eine Kontraktion von Kρ(z) in sich selbst ist.

Beispiel 5.7 (Konvergenz zur Lösung nicht-linearer Gleichungen). Zu f :∈ Rn → Rn

suchen wir eine Nullstelle x ∈ Rn mit f(x) = 0. Mit einer Matrix C ∈ Rn×n definierenwir die Iteration:

x0 ∈ Rn, xk+1 = xk + C−1f(xk), k = 0, 1, 2, . . .

Dieses Verfahren konvergiert, falls f auf einer Kugel Kρ(c) ⊂ Rn stetig differenzierbar istund

supζ∈Kρ(c)

‖I + C−1f ′(ζ)‖ =: q < 1, ‖C−1f(c)‖ ≤ (1− q)ρ.

Beispiel 5.8 (Lösung linearer Gleichungssysteme). Es seien A ∈ Rn×n und b ∈ Rngegeben. Das lineare Gleichungssystem ist äquivalent zur Nullstellenaufgabe

f(x) := b−Ax = 0.

Die iterative Lösung (im Gegensatz zur direkten Lösung) kann mit einer regulären MatrixC ∈ Rn×n als Fixpunktaufgabe hergeleitet werden:

x = g(x) := x+ C−1f(x) = x+ C−1(b−Ax) = (I − C−1A)x+ C−1b.

Die Matrix B := I −C−1A nennen wir die Iterationsmatrix der zugehörigen Fixpunktite-ration (auch sukzessive Approximation genannt):

xk+1 = Bxk + C−1b, k = 1, 2, . . . .

Die Abbildung g ist wegen

‖g(x)− g(y)‖ = ‖B(x− y)‖ ≤ ‖B‖‖x− y‖

für ‖B‖ < 1 mit B := I − C−1A eine Kontraktion auf ganz Rn. Dann konvergiert dieIterationsfolge gegen einen Fixpunkt von g und somit zur Lösung von Ax = b.

185


Bemerkung 5.9. Später werden wir mit Hilfe des Banachschen Fixpunktsatzes verschie-dene Verfahren zur iterativen Lösung von linearen Gleichungssystemen herleiten.

Bemerkung 5.10. Die Konvergenzanalyse der Fixpunktverfahren kann mit Hilfe der be-reits diskutieren Techniken in Kapitel 2.6 durchgeführt werden.

5.2 Fixpunkt-Iterationen zum Lösen von nichtlinearenGleichungen

Wir rekapitulieren aus Kapitel 2, dass das klassische Newton-Verfahren in einer Dimensionals Fixpunktiteration aufgefasst werden kann. Die Newton-Iteration gehört zur Klasse derFixpunktiterationen mit der Iterationsfunktion

F (x) := x− f(x)f ′(x) . (5.2)

Jeder Fixpunkt z = F (z) ist offenbar eine Nullstelle f(z) = 0.

5.2.1 Newton-Verfahren im Rn

Aufgrund seiner herausragenden Bedeutung widmen wir dem Newton-Verfahren für hö-here Dimensionen einen eigenen Abschnitt. Die prinzipiellen Aussagen (Existenz, quadra-tische Konvergenz, gedämpftes Newton-Verfahren, vereinfachtes Newton-Verfahren) sindmit dem 1D-Fall vergleichbar.

Es sei f : D ⊂ Rn → Rn. Zur Lösung von f(x) = (f1(x), . . . , fn(x)) = 0 lautet dieNewton-Iteration formal:

x0 ∈ Rn, xk+1 = xk − f ′(xk)−1f(xk), k = 0, 1, 2, . . . (5.3)

Die Ableitung f ′(x) : Rn → Rn×n ist die Jacobi-Matrix von f :

f ′(x)ij = ∂fi∂xj

, i, j = 1, . . . , n.

Die Tatsache, dass die Ableitung von f im mehrdimensionalen Fall eine Matrix ist, stelltden wesentlichen Unterschied zum eindimensionalen Newton-Verfahren dar. Anstelle einerAbleitung sind nun n2 Ableitungen zu berechnen. Und anstelle einer Division durch f ′(xk)ist in jedem Schritt der Newton-Iteration ein lineares Gleichungssystem mit Koeffizienten-matrix f ′(xk) ∈ Rn×n zu lösen. Wir multiplizieren in (5.3) mit f ′(xk) und erhalten

x0 ∈ Rn, f ′(xk)xk+1 = f ′(xk)xk − f(xk), k = 0, 1, 2, . . .

Das Newton-Verfahren wird als Defektkorrektur-Verfahren durchgeführt. So kann in jedemSchritt der Aufwand einer Matrix-Vektor Multiplikation gespart werden:

186

5.2 Fixpunkt-Iterationen zum Lösen von nichtlinearen Gleichungen

Definition 5.11 (Newton-Verfahren als Defektkorrektur). Wähle Startwert x0 ∈ Rn unditeriere:


Im Folgenden diskutieren wir kurz das Aufstellen der Jacobi-Matrix. Die Funktion f besitztn Komponentenfunktionen fi und n unterschiedliche Variablen x1, . . . , xn. Jede Änderungin einer Komponentenfunktion fi bezüglich der Variablen xj wird durch die partielle Ab-leitung (Analysis 2) beschrieben:

∂fi∂xj

.

Letztendlich erhalten wir somit eine n× n Matrix:

f ′(x) =

∂f1∂x1

∂f1∂x2

. . . ∂fn∂x1

∂f2∂x1

∂f2∂x2

. . . ∂f2∂xn...

... . . . ...∂fn∂x1

∂fn∂x2

. . . ∂fn∂xn

.

5.2.2 Newton-Kantorovich

Die zentrale Konvergenzaussage des Newton-Verfahrens wird im Satz von Newton-Kantorovichzusammengefasst. Hierzu sei f : G ⊂ Rn → Rn eine differenzierbare Abbildung. Mit ‖ · ‖bezeichnen wir stets die euklidische Vektornorm und induzierte Matrixnorm, also die Spek-tralnorm. Wir suchen eine Nullstelle z ∈ Rn so dass f(z) = 0.

187


Satz 5.12 (Newton-Kantorovich). Es sei D ⊂ Rn eine offene und konvexe Menge. Wei-terhin sei f : D ⊂ Rn → Rn stetig-differenzierbar.(i) Die Jacobi-Matrix f ′ sei gleichmäßig Lipschitz-stetig für alle x, y ∈ D:

‖f ′(x)− f ′(y)‖ ≤ γ‖x− y‖, x, y ∈ D. (5.4)

(ii) Weiter habe die Jacobi-Matrix auf D eine gleichmäßig beschränkte Inverse

‖f ′(x)−1‖ ≤ β, x ∈ D. (5.5)

(iii) Es gelte für den Startpunkt x0 ∈ D:

q := αβγ <12 , α := ‖f ′(x0)−1f(x0)‖. (5.6)

(iv) Für r := 2α ist die abgeschlossene Kugel

Br(x0) := {x ∈ Rn : ‖x− x0‖ ≤ r}

in der Menge D enthalten.Dann besitzt die Funktion f eine Nullstelle z ∈ Br(x0) und die Newton-Iteration


konvergiert quadratisch gegen diese Nullstelle z. Darüber hinaus gilt die a priori Fehler-abschätzung

‖xk − z‖ ≤ 2αq2k−1, k = 0, 1, . . . .

Beweis: Der Beweis zum Satz ist weitaus aufwändiger als im eindimensionalen Fall, dahergeben wir zunächst eine Skizze an:

(i) Herleitung von Hilfsabschätzungen.

(ii) Alle Iterierten liegen in der Kugel Br(x0) und es gilt die a priori Fehlerabschätzungfür ‖xk − x0‖ (Beweis über vollständige Induktion).

(iii) Zeige (xk)k∈N ist Cauchy-Folge und hat damit in Rn einen eindeutigen Grenzwert z.

(iv) Existenz einer Nullstelle: Zeige, dass z eine Nullstelle der Funktion f ist.

(v) Eindeutigkeit: Zeige, dass die Nullstelle z eindeutig ist.

Nun zum ausführlichen Beweis:

(i) Herleitung von Hilfsabschätzungen:Es seien x, y, z ∈ D. Da D konvex ist, gilt für alle x, y ∈ D:

fj(x)− fj(y) =∫ 1

0

d

dsfj(sx+ (1− s)y) ds, j = 1, . . . , n.

188


Mit der Kettenregel erhalten wir

d

dsfj(sx+ (1− s)y) =

n∑k=1

∂fj∂xk

(sx+ (1− s)

)(xk − yk)

und damitfj(x)− fj(y) =

∫ 1

0

n∑k=1

∂fj∂xk

(sx+ (1− s)y

)(xk − yk) ds.

In kompakter Schreibweise bedeutet dies:

f(x)− f(y) =∫ 1

0f ′(sx+ (1− s)y)(x− y) ds.

Unter Hinzunahme von f ′(z)(y − x) folgern wir nun, dass

f(x)− f(y)− f ′(z)(y − x) =∫ 1

0

(f ′(sx+ (1− s)y)− f ′(z)

)(x− y) ds.

Mit Hilfe der Lipschitz-Stetigkeit von f ′, Bedingung (5.4), folgern wir

‖f(y)− f(x)− f ′(z)(y − x)‖ ≤ γ‖y − x‖∫ 1

0‖s(x− z) + (1− s)(y − z)‖ ds

≤ γ

2‖y − x‖(‖x− z‖+ ‖y − z‖

).

Für die Wahl z = x schließen wir damit auf

‖f(y)− f(x)− f ′(x)(y − x)‖ ≤ γ

2‖y − x‖2, ∀x, y ∈ D. (5.7)

Und für die die Wahl z = x0 erhalten wir:

‖f(y)− f(x)− f ′(x0)(y − x)‖ ≤ rγ‖y − x‖, ∀x, y ∈ Br(x0). (5.8)

(ii) Wir zeigen: alle Iterierten liegen in Br(x0) und es gilt die a priori Fehlerabschätzungfür ‖xk − x0‖. Wir führen den Beweis über vollständige Induktion und zeigen:

‖xk − x0‖ ≤ r, ‖xk − xk−1‖ ≤ αq2k−1, k = 1, 2, . . . . (5.9)

Wir starten mit k = 1. Es gilt mit Hilfe der Bedingungen (5.5) und (5.6):

‖x1 − x0‖ = ‖f ′(x0)−1f(x0)‖ = α = r

2 < r.

Die Aussage ist also wahr.

Induktionsschritt k → k+ 1. Nach Induktionsvoraussetzung seien die beiden Gleichungen(5.9) wahr für k ≥ 1. Das ist aufgrund der Bedingung (5.5) und xk ∈ Br(x0) ⊂ D,die Iterierte xk+1 wohl-definiert. Dann gilt unter Ausnutzung von Bedingung (5.5), der

189


Newton-Iteration für xk und Abschätzung (5.7), der Induktionsvoraussetzung (5.9) undder Definition von q folgende Abschätzungskette:

‖xk+1 − xk‖ = ‖f ′(xk)−1f(xk)‖≤ β ‖f(xk)‖= β‖f(xk)− f(xk−1)− f ′(xk−1)(xk − xk−1)‖

≤ βγ

2 ‖xk − xk−1‖2

≤ βγ

2[αq2k−1−1

]2= α

2 q2k−1

< αq2k−1.

Weiter erhalten wir

‖xk+1 − x0‖ ≤ ‖xk+1 − xk‖+ . . .+ ‖x1 − x0‖

≤ α(1 + q + q3 + q7 + . . .+ q2k−1)

≤ α

1− q≤ 2α= r.

Damit ist der Induktionsschritt von k → k + 1 gezeigt, d.h., die beiden Ungleichungen(5.9) sind gültig für k + 1.

(iii) Existenz eines Grenzwertes xk → z durch Nachweis der Cauchy-Eigenschaft:Es sei m > 0. Unter Ausnutzung von q < 1

2 (Voraussetzung!) gilt

‖xk − xk+m‖ ≤ ‖xk − xk+1‖+ . . .+ ‖xk+m−1 − xk+m‖

≤ α(q2k−1 + q2k+1−1 + . . .+ q2m+k−1−1)

= αq2k−1(1 + q2k + . . .+ (q2k)2m−1−1)≤ 2αq2k−1

(5.10)

Damit ist gezeigt, dass (xk) ⊂ D0 eine Cauchy-Folge ist, da q < 12 . Da D endlich-

dimensional (hier ist jeder Raum ein Banachraum - also vollständig!), existiert der Limes

z = limk→∞

xk

Im Grenzübergang k →∞ erhalten wir dann in der ersten Ungleichung in (5.9):

‖z − x0‖ ≤ r,

so dass z ∈ Br(x0). Im Grenzübergang m → ∞ in (5.10), verifizieren wir die Fehlerab-schätzung des Satzes:

‖xk − z‖ ≤ 2αq2k−1, k = 0, 1, . . . .

190


(iv) Zeige, dass z ∈ Br(x0) eine Nullstelle von f ist:Die Newton-Iterationsvorschrift sowie Bedingung (5.4) liefern

‖f(xk)‖ = ‖f ′(xk)(xk − xk−1)‖≤ ‖f ′(xk)− f ′(x0) + f ′(x0)‖ ‖xk+1 − xk‖≤(γ‖xk − x0‖+ ‖f ′(x0)‖

)‖xk+1 − xk‖

→ 0, k →∞.

Daher giltf(xk)→ 0, k →∞.

Die Stetigkeit von f impliziert dann f(z) = 0.

(v) Eindeutigkeit der Nullstelle z ∈ Br(x0):Die Eindeutigkeit wird mit Hilfe der Kontraktionseigenschaft und der Formulierung derNewton-Iteration als Fixpunktiteration gezeigt. Die gefundene Nullstelle xk → z von f(x)ist auch Fixpunkt der vereinfachten Iteration:

g(x) := x− f ′(x0)−1f(x).

Diese Iteration ist eine Kontraktion, denn aus

g(x)− g(y) = x−y−f ′(x0)−1f(x)+f ′(x0)−1f(y) = f ′(x0)−1(f(y)−f(x)−f ′(x0)(y−x)),

folgt mit den Bedingungen (5.5) und (5.6) sowie (5.8) die Abschätzung:

‖g(x)− g(y)‖ ≤ ββγr‖y − x‖ ≤ 2q‖y − x‖, ∀x, y ∈ Br(x0).

Da q < 12 ist g eine Kontraktion. Eine Kontraktionsabbildung kann höchstens einen

Fixpunkt haben. Da dieser Fixpunkt die Nullstelle von f ist, haben wir die Nullstellez ∈ Br(x0) eindeutig bestimmt. Damit ist alles gezeigt. �

Bemerkung 5.13. Der Satz von Newton-Kantorovich unterscheidet sich in einigen Punk-ten wesentlich von Satz 2.10 über das eindimensionale Newton-Verfahren. Der wesentlicheUnterschied ist die Regularität von f , welches beim Newton-Kantorovich nur über eineLipschitz-stetige Jacobi-Matrix anstelle von zweimal stetiger Differenzierbarkeit verfügenmuss. Ferner muss die Existenz einer Nullstelle nicht vorausgesetzt werden, sie folgt beimNewton-Kantorovich als Ergebnis des Satzes.

Daher nun eine der Hauptanwendungen des vorherigen Satzes 5.12: das folgende lokaleKonvergenzresultat:

Korollar 5.14. Es sei D ⊂ Rn offen und f : D ⊂ Rn → Rn zweimal stetig-differenzierbar.Wir nehmen an, dass z ∈ D eine Nullstelle mit regulärer Jacobi-Matrix f ′(z) ist. Dannist das Newton-Verfahren lokal konvergent, d.h. es existiert eine Umgebung B um z, sodass das Newton-Verfahren für alle Startwerte x0 ∈ B konvergiert.

191


Beweis: Den Beweis stellen wir als Übungsaufgabe. �

Korollar 5.15. Korollar 5.14 stellt den Zusammenhang zu dem ein-dimensionalen Re-sultat her: Dazu sei z ∈ G eine Nullstelle von f und ‖ · ‖∞ die Maximumsnorm. Damitkönnen die Konstanten

m = 1β, M = γ

bestimmt werden. Dann kann gilt zusätzlich zur a priori Fehlerabschätzung, die a posterioriSchranke:

‖xk − z‖∞ ≤1m‖f(xk)‖∞ ≤

M

2m‖xk − xk−1‖2∞, k = 1, 2, . . . .

Beispiel 5.16. Newton im Rn Wir suchen die Nullstelle der Funktion

f(x1, x2) =(

1− x2 − y2

(x− 2y)/(1/2 + y)

),

mit der Jacobi-Matrix

f ′(x) =(−2x −2y

21+2y − 4+4x

(1+2y)2

).

Die Nullstellen von f ist gegeben durch:

x ≈ ±(0.894427, 0.447214).

Wir starten die Iteration mit x0 = (1, 1)T und erhalten die Iterierten:

x1 ≈(

1.142860.357143

), x2 ≈

(0.926590.442063

), x3 ≈

(0.8949350.447349

), x4 ≈

(0.8944270.447214

).

Nach nur vier Iterationen sind die ersten sechs Stellen exakt.

5.2.3 Vereinfachtes und gedämpftes Newton-Verfahren

Analog zum ein-dimensionalen Fall können wir auch im Rn das vereinfachte und dasgedämpfte Newton-Verfahren formulieren. Diese Verallgemeinerungen dienen im Wesent-lichen wieder zwei Zwecken:

• Durch festhalten der Inversen f ′(c)−1 in einem Punkt c ∈ Rn kann in jedem folgendenNewton-Schritt ein lineares Gleichungssystem mit derselben Matrix gelöst werden.

• Durch Einfügen eines Dämpfungsparameters kann der Einzugsbereich des Newton-Verfahrens vergrößert werden (Globalisierung).

192


Vereinfachtes Newton-Verfahren Im höher-dimensionalen Newton-Verfahren liegt derHauptaufwand in der Lösung des linearen Gleichungssystems in jedem Newton-Schritt.Daher macht sich hier die Verwendung eines vereinfachten Newton-Verfahrens deutlicherbemerkbar als im eindimensionalen Fall. Wir wählen ein c ∈ Rn möglichst nahe an dergesuchten Nullstelle c ≈ z und iterieren:

f ′(c)(xk+1 − xk) = −f(xk), k = 1, 2, . . .

Dabei kann z.B. c = x0 gewählt werden. Das “einfrieren” der Inversen hat zwei Vorteile:zunächst muss diese seltener berechnet werden. Dies kann bei komplizierten Ableitun-gen, die möglicherweise nur numerisch bestimmt werden können ein wesentlicher Vorteilsein. Noch wichtiger ist jedoch, dass die Matrix f ′(c) nur einmal zerlegt werden muss,etwa f ′(c) = LR. Diese Zerlegung kann dann in jedem Schritt zum Lösen des linea-ren Gleichungssystems genutzt werden. Da ein Erstellen der Zerlegung O(n3) und dasanschließende Lösen nur O(n2) Operationen benötigt, kann selbst dann ein enormer Effi-zienzgewinn erreicht werden, falls das vereinfachte Newton-Verfahren weit mehr Schrittebenötigt. Das vereinfachte Newton-Verfahren kann nur noch linear konvergieren und dieKonvergenz kann einfach durch Anwenden des Banachschen Fixpunktsatzes auf die Itera-tionsvorschrift

xk+1 = xk − f ′(c)−1f(xk)

gesichert werden.

Bei einem konkreten Verfahren mit x0 und fester Matrix A kann während der Berechnungmit Hilfe des Banachschen Fixpunktsatzes geklärt werden, ob Konvergenz vorliegt. Hierzukann der Kontraktionsfaktor q a posteriori berechnet werden:

qk = ‖g(xk)− g(xk−1)‖‖xk − xk−1‖

= ‖xk+1 − xk‖

‖xk − xk−1‖, k = 1, 2, . . . .

Die zugrundeliegende Norm kann die Maximums-Norm oder l1-Norm sein (siehe zu denVektornormen auch Kapitel 4). Falls der Schätzfaktor qk � 1, dann ist das vereinfachteNewton-Verfahren sehr wahrscheinlich konvergent. Falls qk ≈ 1 bzw. qk ≥ 1, dann liegtwahrscheinlich keine Konvergenz vor.

Hier hat man nun folgende Möglichkeiten:

• Wahl eines besseren Startwertes x0,

• Bessere Wahl von f ′(c) als Approximation für f ′(x),

• Oder ein vereinfachtes Newton-Verfahren in dem f ′(c) z.B. alle 4 Schritte neu auf-gebaut wird, um so ab und zu die Matrix anzupassen.

Die letzte Methodik wird sehr häufig bei nicht-linearen Problemen im Rahmen von par-tiellen Differentialgleichungen verwendet. Denn hier ist die kluge Wahl eines Startwertesoftmals mit sehr viel Aufwand verbunden, weshalb die Möglichkeit 1 ausgeschlossen wird.Daher ist die Wahl von x0 oftmals sehr schlecht, weshalb aber auch A := f ′(x0) einesehr schlechte Approximation von f ′(z) ist. Deshalb sollte man nach z.B. 3 SchrittenA := f ′(x3) wählen, um eine bessere Approximation der Jacobi-Matrix zu erhalten.

193


Gedämpftes Newton-Verfahren Die Vergrößerung des Konvergenzbereiches (Globalisie-rung) kann mit Hilfe eines Dämpfungsparameters erreicht werden. Hierzu wird die Newton-Iteration abgewandelt:

xk+1 = xk − ωkf ′(xk)−1f(xk).

Der Dämpfungsparameter ωk ist dabei im Intervall (0, 1] zu wählen. Dieser wird am Anfangklein gewählt, um das Konvergenzgebiet zu vergrößern. Allerdings konvergiert das Verfah-ren dann nur mit linearer Ordnung. Quadratische Konvergenz wird nur dann erreicht, fallsfür k → ∞ auch ωk → 1 gilt. Der folgenden Satz gibt ein konstruktives Kriterium, denDämpfungsparameter ωk a posteriori bestimmen zu können.

Satz 5.17 (Gedämpftes Newton-Verfahren). Unter den Voraussetzungen von Satz 5.12erzeugt die gedämpfte Newton-Iteration (siehe 2.4.4) mit

ωk := min{1, 1αkβγ

}, αk := ‖f ′(xk)−1f(xk)‖

eine Folge (xk)k∈N, für die nach t∗ Schritten

q∗ := αk∗βγ <12

erfüllt ist. Ab dann konvergiert xk quadratisch und es gilt die a priori Fehlerabschätzung

‖xk − z‖ ≤ α

1− q∗q2k−1∗ , k ≥ k∗.

Beweis: In [9]. �

In der praktischen Anwendung wird der Dämpfungsparameter oft über die sogenannteLine-Search-Strategie bestimmt:

Algorithmus 5.18 (Newton-Verfahren mit Line-Search). Gegeben sei ein Startwert x0 ∈Rn sowie σ ∈ (0, 1). Iteriere für k = 0, 1, . . .

(i) Löse f ′(xk)wk = −f(xk)

(ii) Starte mit ω0 = 1 und iteriere für l = 0, 1, . . .

xk+1 = xk + ωlwk, ωl+1 = σωl,

solange bis |f(xk+1)| < |f(xk)|.

Der Line-Search Algorithmus versucht zunächst ohne Dämpfung zu iterieren. Besitzt dieneue Approximation allerdings ein größeres Residuum |f(xk+1)| > |f(xk)|, so wird derDämpfungsparameter schrittweise reduziert. Auf diese Weise wird monotone Konvergenzim Residuum erzwungen.

194

5.3 Iterative Lösungsverfahren für lineare Gleichungssysteme


Als zweite Hauptanwendung des Banachschen Fixpunktsatzes besprechen wir in diesemKapitel die iterative Lösung linearer Gleichungssysteme. Die in Kapitel 4 kennengelerntenZerlegungsverfahren (also LR, Cholesky sowie QR-Zerlegung) haben alle den Nachteil ku-bischer Laufzeit O(n3). Gerade bei sehr großen Problemen wächst der Aufwand so schnellan, dass die Lösung in sinnvoller Zeit nicht zu erreichen ist, siehe Tabelle 4.1. Neben derLaufzeit spielt auch der Speicheraufwand eine Rolle. Zur Speicherung einer voll besetztenMatrix A ∈ Rn×n mit n = 1 000 000 sind bei doppelter Genauigkeit etwa 7 Terabyte (!!!)Speicher notwendig. Dies übersteigt jeden noch so modernen Computer. Die linearen Glei-chungssysteme die aus den meisten Anwendungen resultieren (etwa bei der Diskretisierungvon Differentialgleichungen) sind sehr dünn besetzt, d.h., in jeder Zeile stehen nur einigewenige Einträge. Eine dünn besetzte Matrix mit n = 1 000 000 aber nur 100 Einträgenpro Zeile benötigt zur Speicherung nur etwa 750 MB und passt in jeden Laptop. In Ab-schnitt 4.2.5 haben wir Sortierverfahren kennengelernt, um dieses dünne Besetzungsmusterauch für eine LR-Zerlegung nutzbar zu machen. Im Allgemeinen können die Matrizen Lund R aber voll besetzt sein und somit den zur Verfügung stehenden Speicher wieder beiweitem übersteigen.

Ein weiterer Nachteil der Zerlegungsverfahren sind numerische Stabilitätsprobleme. DurchRundungsfehler beim Zerlegungsprozess gilt für die LR-Zerlegung üblicherweise nur A 6=LR. D.h., obwohl die LR-Zerlegung eine direkte Methode darstellt, kann das Gleichungs-system nicht exakt gelöst werden. Mit der Nachiteration haben wir in Abschnitt 4.3 eineMethode kennengelernt, um diesen Fehlereinfluss durch sukzessive Iteration zu verringern.Mit der gestörten LR-Zerlegung A ≈ LR haben wir die Iteration

xk+1 = xk + R−1L−1(b−Axk), k = 0, 1, 2, . . .

definiert. Obwohl L und R nicht exakt sind, konvergiert diese Iteration (falls das Residuumdk := b−Axk exakt berechnet werden kann), siehe Satz 4.45.

In diesem Abschnitt werden wir auf der Basis der Nachiteration eine eigene Verfahrensklas-se zur iterativen Lösung großer Gleichungssysteme entwickeln. Dazu sei C ≈ A−1 eineApproximation an die Inverse (etwa C := R−1L−1). Dann definieren wir:

Definition 5.19 (Fixpunktverfahren zum Lösen linearer Gleichungssysteme). Es sei A ∈Rn×n sowie b ∈ Rn und C ∈ Rn×n. Für einen beliebigen Startwert x0 ∈ Rn iteriere fürk = 1, 2, . . .

xk = xk−1 + C(b−Axk−1). (5.11)

Alternativ führen wir die Bezeichnungen B := I − CA und c := Cb ein. Dann gilt:

xk = Bxk−1 + c.

Aufgrund der Konstruktion kann man sich einfach klarmachen, dass durch die Vorschriftg(x) = Bx+c = x+C(b−Ax) wirklich eine Fixpunktiteration mit der Lösung von Ax = b

195


als Fixpunkt gegeben ist. Die Konvergenz von allgemeinen (auch linearen) Fixpunktitera-tionen kann leicht mit dem Banachschen Fixpunktsatz untersucht werden. Hierzu ist dieKontraktionseigenschaft nachzuweisen:

‖g(x)− g(y)‖ ≤ ‖B‖ ‖x− y‖.

Es ergibt sich jedoch das Dilemma, das je nach verwendeter Matrixnorm ‖ · ‖ unterschied-liche Konvergenzresultate vorhergesagt werden. Für eine Matrix B ∈ Rn×n kann etwa‖B‖2 < 1 aber ‖B‖∞ > 1 gelten. Diese Beobachtung steht im Widerspruch zur Normä-quivalenz im Rn welche insbesondere eine Äquivalenz von Konvergenzausdrücken besagt.Um uns in der Analyse von konkreten Matrixnormen zu befreien beweisen wir zunächsteinen Hilfsatz:

Hilfsatz 5.20 (Matrixnorm und Spektralradius). Zu jeder beliebigen Matrix B ∈ Rn×nund zu jedem ε > 0 existiert eine natürliche Matrixnorm ‖ · ‖ε, so dass gilt:

spr(B) ≤ ‖B‖ε ≤ spr(B) + ε.

Beweis: Für den allgemeinen Fall verweisen wir auf [9]. Hier machen wir uns nur klar,dass die Aussage für symmetrische Matrizen gilt. Denn in diesem Fall, siehe Satz 4.14 giltsogar spr(B) = ‖B‖2. �

Mit diesem Hilfsatz zeigen wir das fundamentale Resultat über allgemeine lineare Fix-punktiterationen:

Satz 5.21 (Fixpunktverfahren zum Lösen linearer Gleichungssysteme). Die Iterati-on (5.11) konvergiert für jeden Startwert x0 ∈ Rn genau dann gegen die Lösung x ∈ Rnvon Ax = b falls ρ := spr(B) < 1. Dann gilt das asymptotische Konvergenzverhalten

lim supk→∞

(‖xk − x‖‖x0 − x‖

)1/k

= spr(B).

Beweis: Wir führen den Beweis in drei Schritten. Zunächst (i) gehen wir davon aus, dassspr(B) < 1 und zeigen, dass xk → x. In Schritt (ii) zeigen wir die Rückrichtung undschließlich in Schritt (iii) die Konvergenzaussage.

(0) Zunächst weisen wir nach, dass die Iteration überhaupt eine Fixpunktiteration ist. Fürdie Lösung x ∈ Rn von Ax = b gilt:

Bx+ c = (I − CA)x+ Cb = x− C (Ax− b)︸︷︷︸=0

= x.

Eine Konvergenzaussage erhalten wir jetzt sofort über den Fixpunktsatz von Banach.

Weiter definieren den Fehler ek := xk − x und erhalten bei Ausnutzen der Fixpunkteigen-schaft x = Bx+ c die Iterationsvorschrift:

ek = xk − x = Bxk−1 + c− (Bx+ c) = Bek−1.

196


Entsprechend gilt:ek = Bke0 = Bk(x0 − x). (5.12)

(i) Hilfsatz 5.20 besagt, dass zu jedem ε > 0 eine natürlichen Matrixnorm ‖ · ‖ε existiertmit

spr(B) ≤ ‖B‖ε ≤ spr(B) + ε.

Es sei nach Voraussetzung spr(B) < 1, dann existiert ein ε > 0 mit

‖B‖ε ≤ spr(B) + ε < 1,

und aus (5.12) erhalten wir sofort bei k → ∞ in der entsprechenden induzierten Vektor-norm ‖ · ‖ε:

‖ek‖ε = ‖Bke0‖ε ≤ ‖Bk‖ε‖e0‖ε ≤ ‖B‖kε ‖e0‖ε → 0.

Da im Rn alle Normen äquivalent sind, konvergiert also xk → x für k →∞.

(ii) Es sei nach Voraussetzung die Iteration konvergent. Hieraus folgt (für beliebige Start-werte) mit der Wahl x0 = w + x mit einem Eigenvektor w ∈ Rn \ {0} zum betragsmäßiggrößten Eigenwert λ von B mit (5.12):

λkw = Bkw = Bke0 = ek → 0 (k →∞).

Dies bedeutet notwendig |λ| < 1 für λ ∈ σ(B), d.h. spr(B) < 1.

(iii) Fehlerabschätzung: Aufgrund der Äquivalenz aller Normen existieren Konstantenm,M mit m ≤M so dass:

m‖x‖ ≤ ‖x‖ε ≤M‖x‖, x ∈ Rn.

Damit gilt

‖ek‖ ≤ 1m‖ek‖ε = 1

m‖Bke0‖ε ≤

1m‖B‖kε ‖e0‖ε ≤

M

m(spr(B) + ε)k‖e0‖.

Wegen (M

m

)1/k→ 1, (k →∞)

folgt damit

lim supk→∞

(‖ek‖‖e0‖

)1/k

≤ spr(B) + ε.

Da ε > 0 beliebig klein gewählt wird, folgt hiermit die Behauptung. �

197


5.3.1 Konstruktion von Fixpunktverfahren

Satz 5.21 legt das theoretische Fundament für allgemeine Fixpunkt-Iterationen. Für denSpektralradius ρ := spr(B) = spr(I − CA) muss gelten ρ < 1. Ziel dieses Abschnittes istdie Konstruktion von Iterationsmatrizen C, welche

• möglichst Nahe an der Inversen C ≈ A−1 liegen, damit spr(I − CA)� 1,

• eine möglichst einfache Berechnung der Iteration xk = Bxk−1 + c ermöglichen.

Die erste Forderung ist einleuchtend und C = A−1 stellt in diesem Sinne die optimaleMatrix dar. Die zweite Bedingung beschreibt den Aufwand zum Durchführen der Fix-punktiteration. Wählen wir etwa C = R−1L−1 so bedeutet jeder Schritt ein Vorwärts-und ein Rückwärtseinsetzen, d.h. einen Aufwand der Größenordnung O(n2). Hinzu kom-men die O(n3) Operationen zum einmaligen Erstellen der Zerlegung. Die Wahl C = Ierlaubt eine sehr effiziente Iteration mit O(n) Operationen in jedem Schritt und Bedarfkeines zusätzlichen Aufwands zum Erstellen der Iterationsmatrix C. Die EinheitsmatrixI ist jedoch eine sehr schlechte Approximation von A−1. Die beiden Forderungen sindMaximalforderungen und nicht gleichzeitig zu erreichen.

Zur Konstruktion einfacher iterativer Verfahren spalten wir die Matrix A additiv auf zuA = L+D +R, mit

A =

0 . . . 0

a21. . .

... . . . . . .an1 . . . an,n−1 0

︸︷︷︸

=:L

+

a11 . . . 0

. . .. . .

0 . . . ann

︸︷︷︸

=:D

+

0 a21 . . . an1

. . . . . . .... . . an−1,n

0 . . . 0

︸︷︷︸

=:R

.

Diese additive Zerlegung ist nicht mit der multiplikativen LR-Zerlegung zu verwechseln!Ist die Matrix A bekannt, so sind auch die additiven Bestandteile L,D,R unmittelbarverfügbar.

Wir definieren die zwei wichtigsten Iterationsverfahren:

Definition 5.22 (Jacobi-Verfahren). Zur Lösung von Ax = b mit A = L + D + R seix0 ∈ Rn ein beliebiger Startwert. Iteriere für k = 1, 2, . . . :

xk = xk−1 +D−1(b−Axk−1),

bzw. mit der Jacobi-Iterationsmatrix J := −D−1(L+R)

xk = Jxk−1 +D−1b.

198


Definition 5.23 (Gauß-Seidel-Verfahren). Zur Lösung von Ax = b mit A = L + D + Rsei x0 ∈ Rn ein beliebiger Startwert. Iteriere für k = 1, 2, . . . :

xk = xk−1 + (D + L)−1(b−Axk−1),

bzw. mit der Gauß-Seidel-Iterationsmatrix H := −(D + L)−1R

xk = Hxk−1 + (D + L)−1b.

Diese beiden Fixpunktverfahren sind einfach, aber dennoch sehr gebräuchlich. Zum Auf-stellen der Iterationsmatrix C sind keine Rechenoperationen notwendig. Es gilt:

Satz 5.24 (Durchführung des Jacobi- und Gauß-Seidel-Verfahrens). Ein Schritt desJacobi- bzw. Gauß-Seidel-Verfahrens ist jeweils in n2 + O(n) Operationen durchführbar.Für jeden Schritt des Jacobi-Verfahren gilt die Index-Schreibweise

xki = 1aii

bi − n∑j=1,j 6=i

aijxk−1j

, i = 1, . . . , n,

für das Gauß-Seidel-Verfahren gilt die Vorschrift:

xki = 1aii

bi −∑ji

aijxk−1j

, i = 1, . . . , n.

Beweis: Übung! �

Jeder Schritt dieser Verfahren benötigt mit O(n2) größenordnungsmäßig genauso vieleOperationen wie die Nachiteration mit der LR-Zerlegung. Bei Jacobi- und Gauß-Seidelsind jedoch weit schlechtere Konvergenzraten zu erwarten (wenn die Verfahren überhauptkonvergieren, dieser Nachweis steht hier noch aus!). Der Vorteil der einfachen Iterations-verfahren zeigt sich erst bei dünn besetzten Matrizen. Hat eine Matrix A ∈ Rn×n nurO(n) Einträge, so benötigt jeder Iterationsschritt nur O(n) Operationen.

5.3.2 Konvergenzkriterium für Jacobi- und Gauß-Seidel-Iteration

Zur Untersuchung der Konvergenz muss gemäß Satz 5.21 der Spektralradius der Iterati-onsmatrizen J = −D−1(L+R) sowie H := −(D+L)−1R untersucht werden. Im Einzelfallist diese Untersuchung nicht ohne weiteres möglich und einer Matrix A kann der entspre-chende Spektralradius nur schwer angesehen werden. Daher leiten wir in diesem Abschnitteinfach überprüfbare Kriterien her, um eine Aussage über die Konvergenz der beiden Ver-fahren treffen zu können. Zunächst gilt:

199


Satz 5.25 (Starkes Zeilensummenkriterium). Falls die Zeilensummen der Matrix A ∈Rn×n der strikte Diagonaldominanz genügt

n∑k=1,k 6=j

|ajk| < |ajj |, j = 1, . . . , n,

so gilt spr(J) < 1 bzw. spr(H) < 1, sprich Jacobi- und Gauß-Seidel-Verfahren konvergie-ren.

Beweis: Wir beweisen den Satz für beide Verfahren gleichzeitig. Es seien λ ∈ σ(J) bzw.µ ∈ σ(H) und v bzw. w die zugehörigen Eigenvektoren. Das bedeutet für das Jacobi-Verfahren

λv = Jv = D−1(L+R)v,

und für das Gauß-Seidel-Verfahren

µw = Hw = −(D + L)−1Rw ⇔ µw = −D−1(µL+R)w.

Falls ‖v‖∞ = ‖w‖∞ = 1, dann folgt hieraus für das Jacobi-Verfahren

|λ| ≤ ‖D−1(L+R)‖∞‖v‖∞ = ‖D−1(L+R)‖∞ ≤ maxj=1,...,n

1|ajj |

n∑k=1,k 6=j

|ajk|

< 1

und für das Gauß-Seidel-Verfahren

|µ| ≤ ‖D−1(µL+R)‖∞‖w‖∞ = ‖D−1(µL+R)‖∞ ≤ max1≤j≤n

1|ajj |

[∑k<j

|µ||ajk|+∑k>j

|ajk|]

.Hier muss jetzt noch |µ| < 1 gezeigt werden. Für |µ| ≥ 1 ergäbe sich der Widerspruch

|µ| ≤ |µ|‖D−1(L+R)‖∞ < |µ|

woraus notwendig |µ| < 1 folgt. �

Dieses Kriterium ist einfach zu überprüfen und erlaubt sofort eine Einschätzung, ob Jacobi-und Gauß-Seidel-Verfahren bei einer gegebenen Matrix konvergieren. Es zeigt sich jedoch,dass die strikte Diagonaldominanz eine zu starke Forderung darstellt: die schon bekannteModellmatrix der Form

A =

B −I−I B −I

−I B −I−I B

, B =

4 −1−1 4 −1

−1 4 −1−1 4

, I =

1

11

1

,ist nur Diagonaldominant (siehe Definition 4.31), jedoch nicht strikt Diagonaldominant.(Es zeigt sich aber, dass sowohl Jacobi- als auch Gauß-Seidel-Verfahren dennoch konver-gieren). Eine Abschwächung der Konvergenzaussage erhalten wir mit Hilfe der folgendenDefinition:

200


Definition 5.26 (Irreduzibel). Eine Matrix A ∈ Rn×n heißt irreduzibel, wenn es keinePermutationsmatrix P gibt, so dass die Matrix A durch Spalten- und Zeilen in eine Block-Dreiecksmatrix zerfällt:

PAP T =(A11 0A21 A22

)

mit den Matrizen A11 ∈ Rp×p, A22 ∈ Rq×q, A21 ∈ Rq×p, mit p, q > 0, p+ q = n.

Ob eine gegebene Matrix A ∈ Rn×n irreduzibel ist lässt sich nicht unmittelbar bestimmen.Oft hilft das folgende äquivalente Kriterium, welches einfacher zu überprüfen ist:

Satz 5.27 (Irreduzibel). Eine Matrix A ∈ Rn×n ist genau dann irreduzibel, falls derzugehörige gerichtete Graph

G(A) = {Knoten: {1, 2, . . . , n},Kannten: {i, j} falls aij 6= 0}

zusammenhängend ist. Dies heißt: zu zwei beliebigen Knoten i und j existiert ein Pfad{i, i1} =: {i0, i1}, {i1, i2}, . . . , {im−1, im} := {im−1, j} mit {ik−1, ik} ∈ G(A).

Für den Beweis verweisen wir auf [9]. Nach dieser alternativen Charakterisierung bedeutetdie Irreduzibilität, dass zu je zwei Indizes i, j ein Pfad i = i0, i1, . . . , im =: j besteht, sodass aik−1,ik 6= 0 ist. Anschaulich entspricht dies einem abwechselnden Springen in Zeilenund Spalten der Matrix A, wobei nur Einträge ungleich Null getroffen werden dürfen.

Nun gilt:

Satz 5.28 (Schwaches Zeilensummenkriterium). Die Matrix A ∈ Rn×n sei irreduzibel undes gelte das schwache Zeilensummenkriterium, d.h., die Matrix A sei diagonaldominant:

n∑k=1,k 6=j

|ajk| ≤ |ajj |, j = 1, . . . , n,

und in mindestens einer Zeile r ∈ {1, . . . , n} gelte strikte Diagonaldominanz:

n∑k=1,k 6=r

|ark| < |arr|.

Dann ist A regulär und es gilt spr(J) < 1 bzw. spr(H) < 1. D.h., Jacobi- und Gauß-Seidel-Verfahren konvergieren.

Beweis: (i) Durchführbarkeit der Verfahren:Aufgrund der Irreduzibilität von A gilt notwendig

n∑k=1|ajk| > 0, j = 1, . . . , n.

201


Wegen der vorausgesetzten Diagonaldominanz folgt dann hieraus ajj 6= 0 für j = 1, 2, . . . , n.(ii) Zeige spr(J) ≤ 1 und spr(H) ≤ 1:Diese Aussage erhalten wir entsprechend zum Vorgehen im Beweis zu Satz 5.25. Es bleibtzu zeigen, dass kein Eigenwert den Betrag Eins hat.

(iii) Nachweis, dass |λ| < 1:Angenommen, es gebe einen Eigenwert λ ∈ σ(J) mit |λ| = 1. Es sei v ∈ Cn der zugehörigenormierte Eigenvektor mit ‖v‖∞ = 1. Insbesondere gelte |vs| = ‖v‖∞ = 1 für ein s ∈{1, . . . , n}. Dann erhalten wir aufgrund der Struktur der Iterationsmatrix (hier nun explizitfür Jacobi)

J = −D−1(L+R) =

0 −a12

a11−a13a11

. . . −a1na11−a21

a220 −a23

a22. . . −a2n

a22... . . . ...−an1ann

. . . . . . 0

die folgende Abschätzung:

|vi| = |λ|︸︷︷︸=1

|vi| ≤∑k 6=i

|aik||aii|

|vk| ≤∑k 6=i

|aik||aii|

≤ 1, i = 1, 2, . . . , n, (5.13)

wobei wir die Struktur von J in der ersten Ungleichung, |vi| = ‖v‖∞ (in der zweiten) unddie schwache Diagonaldominanz in der letzten Abschätzung verwendet haben.

Aufgrund der Irreduzibilität gibt es zu je zwei Indizes s, r stets eine Kette von Indizesi1, . . . , im ∈ {1, . . . , n} (siehe Beweis zur Irreduzibilität), so dass

as,i1 6= 0, ai1,i2 6= 0, . . . , aim,r 6= 0.

Durch mehrfache Anwendung von (5.13) folgt der Widerspruch (nämlich, dass |λ| = 1):

|vr| = |λvr| ≤1|arr|

∑k 6=r|ark| ‖v‖∞ < ‖v‖∞ (strikte DD in einer Zeile),

|vim | = |λvim | ≤1

|aim,im |

∑k 6=im,r

|aim,k| ‖v‖∞ + |aim,r| |vr|

< ‖v‖∞,...

|vi1 | = |λvi1 | ≤1

|ai1,i1 |

∑k 6=i1,i1

|ai1,k| ‖v‖∞ + |ai1,i2 | |vi2 |

< ‖v‖∞,‖v‖∞ = |λvs| ≤

1|ass|

∑k 6=s,i1

|as,k| ‖v‖∞ + |as,i1 | |vi1 |

< ‖v‖∞.Daher muss spr(J) < 1. Mit analoger Schlussfolgerung wird spr(H) < 1 bewiesen. Hierzunutzt man ebenfalls die spezielle Struktur der Iterationsmatrix H sowie die umgekehrteDreiecksungleichung, um (5.13) zu erhalten. Die restliche Argumentation erfolgt dann aufanalogem Wege. �

202


Bemerkung 5.29. Es ist (hoffentlich!) klar, dass starke und schwache Spaltensummen-kriterien mit analoger Argumentation hergeleitet werden können.

Der vorherige Satz sichert die Konvergenz von Jacobi- sowie Gauß-Seidel-Verfahren für dieModellmatrizen. Denn diese sind z.B. in erster und letzter Zeile strikt Diagonaldominant.Eine Abschätzung des Spektralradius spr(J) sowie spr(H) ist nicht ohne weiteres möglich.Im allgemeinen Fall konvergieren beide Verfahren sehr langsam.Beispiel 5.30 (Jacobi- und Gauß-Seidel-Verfahren bei der Modellmatrix). Wir betrachtendas lineare Gleichungssystem Ax = b mit der Modellmatrix A ∈ Rn×n

A =

2 −1−1 2 −1

. . . . . . . . .−1 2 −1

−1 2

, (5.14)

sowie der rechten Seite b ∈ Rn mit b = (1, . . . , 1)T . Zu i, j mit i < j gilt

ai,i 6= 0→ ai,i+1 6= 0→ ai+1,i+2 6= 0→ ai+2,i+3 6= 0→ · · · → aj−1,j 6= 0.

Die Matrix ist also irreduzibel, weiter diagonaldominant und in erster und letzter Zei-le auch stark diagonaldominant. Jacobi und Gauß-Seidel-Verfahren konvergieren. Expe-rimentell bestimmen wir für die Problemgröße n = 10 · 2k für k = 2, 3, . . . die Anzahlder notwendigen Iterationsschritte, sowie die Rechenzeit (Core i7-Prozessor ’2011) zurApproximation des Gleichungssystems mit einer Fehlertoleranz ‖xk − x‖ < 10−4:

Matrixgröße Jacobi Gauß-SeidelSchritte Zeit (sec) Schritte Zeit (sec)

80 9 453 0.02 4 727 0.01160 37 232 0.13 18 617 0.06320 147 775 0.92 73 888 0.43640 588 794 7.35 294 398 3.55

1 280 2 149 551 58 1 074 776 292 560 8 590 461 466 4 295 231 233

Es zeigt sich, dass für das Gauß-Seidel-Verfahren stets halb so viele Iterationsschrittenotwendig sind, wie für das Jacobi-Verfahren. Weiter steigt die Anzahl der notwendigenIterationsschritte mit der Matrixgröße n. Bei doppelter Matrixgröße steigt die Anzahl derIterationen etwa um den Faktor 4. Der Zeitaufwand steigt noch stärker mit einem Faktorvon etwa 8, da jeder einzelne Schritt einen größeren Aufwand bedeutet. Diesen Zusam-menhang zwischen Matrixeigenschaft und Konvergenzgeschwindigkeit werden wir spätergenauer untersuchen.

Wir merken hier noch an, dass Jacobi- und Gauß-Seidel-Verfahren effizient unter Aus-nutzung der dünnen Besetzungsstruktur programmiert wurden. Dennoch steigt der Ge-samtaufwand zur Approximation mit vorgegebener Genauigkeit mit dritter Ordnung in derProblemgröße n.

203


5.3.3 Relaxationsverfahren: das SOR-Verfahren

Das vorangehende Beispiel zeigt, dass Jacobi- sowie Gauß-Seidel-Verfahren sehr langsamkonvergieren. Für die Modellmatrix A ∈ Rn×n steigt die Anzahl der notwendigen Iterati-onsschritte (zum Erreichen einer vorgegebenen Genauigkeit) quadratisch O(n2). Obwohljeder einzelne Schritt sehr einfach ist und äußerst effizient in O(n) Operationen durch-geführt werden kann, sind diese Verfahren den direkten nicht überlegen. Oft, etwa beiTridiagonalsystemen sind direkte Löser mit einem Aufwand von O(n) sogar unschlagbarschneller.

Das SOR-Verfahren ist eine Weiterentwicklung der Gauß-Seidel-Iteration durch die Ein-führung eines Relaxationsparameters ω > 0. Das i-te Element berechnet sich laut Satz 5.24als:

xk,GSi = 1

aii

bi −∑ji

aijxk−1j

, i = 1, . . . , n.

Zur Bestimmung der SOR-Lösung verwenden wir nicht unmittelbar diese Approximationxk,GSi , sondern führen einen Relaxationsparameter ω > 0 ein und definieren

xk,SORi = ωxk,GSi + (1− ω)xk−1

i , i = 1, . . . , n

als einen gewichteten Mittelwert zwischen Gauß-Seidel Iteration und alter Approximati-on. Dieser Relaxationsparameter ω kann nun verwendet werden, um die Konvergenzeigen-schaften der Iteration wesentlich zu beeinflussen. Im Fall ω = 1 ergibt sich gerade dasGauß-Seidel-Verfahren. Im Fall ω < 1 spricht man von Unterrelaxation, im Fall ω > 1von Überrelaxation. Das SOR-Verfahren steht für Successive Over Relaxation, verwendetalso Relaxationsparameter ω > 1. Successive (also schrittweise) bedeutet, dass die Relaxa-tion für jeden einzelnen Index angewendet wird. Die Vorstellung zunächst die kompletteGauß-Seidel Approximation xk,GS zu berechnen und xk,SOR = ωxk,GS + (1 − ω)xk−1 zubestimmen ist falsch! Stattdessen definieren wir in Indexschreibweise:

xk,SORi = ω

1aii

bi −∑ji

aijxk−1j

+ (1− ω)xk−1i , i = 1, . . . , n.

In Vektorschreibweise gilt:

xk,SOR = ωD−1(b− Lxk,SOR −Rxk−1) + (1− ω)xk−1.

Trennen der Terme nach xk,SOR sowie xk−1 ergibt

(D + ωL)xk,SOR = ωb+ [(1− ω)D − ωR]xk−1,

also die Iteration

xk,SOR = Hωxk−1 + ω[D + ωL]−1b, Hω := [D + ωL]−1[(1− ω)D − ωR].

Dieses Verfahren, mit der Iterationsmatrix Hω passt wieder in das Schema der allgemeinenFixpunktiterationen und gemäß Satz 5.21 hängt die Konvergenz des Verfahrens an ρω :=spr(Hω) < 1.

204


Die Schwierigkeit bei der Realisierung des SOR-Verfahrens ist die Bestimmung von gutenRelaxationsparametern, so dass die Matrix Hω einen möglichst kleinen Spektralradiusbesitzt. Es gilt die erste Abschätzung:

Satz 5.31 (Relaxationsparameter des SOR-Verfahrens). Es sei A ∈ Rn×n mit reguläremDiagonalteil D ∈ Rn×n Dann gilt:

spr(Hω) ≥ |ω − 1|, ω ∈ R.

Für spr(Hω) < 1 muss gelten ω ∈ (0, 2).

Beweis: Wir nutzen die Matrix-Darstellung der Iteration:

Hω = [D + ωL]−1[(1− ω)D − ωR] = (I + wD−1L︸︷︷︸=:L

)−1D−1D︸︷︷︸=I

[(1− ω)I − ωD−1R︸︷︷︸=:R

].

Die Matrizen L sowie R sind echte Dreiecksmatrizen mit Nullen auf der Diagonale. D.h., esgilt det(I+ωL) = 1 sowie det((1−ω)I−ωR) = (1−ω)n, also Nun gilt für die Determinantevon Hω

det(Hω) = 1 · (1− ω)n.

Für die Eigenwerte λi von Hω gilt folglich

n∏i=1

λi = det(Hω) = (1− ω)n ⇒ spr(Hω) = max1≤i≤n

|λi| ≥(

n∏i=1|λi|

) 1n

= |1− ω|.

Die letzte Abschätzung nutzt, dass das geometrische Mittel von n Zahlen kleiner ist, alsdas Maximum. �

Dieser Satz liefert eine erste Abschätzung für die Wahl des Relaxationsparameters, hilftjedoch noch nicht beim Bestimmen eines Optimums. Für die wichtige Klasse von positivdefiniten Matrizen erhalten wir ein sehr starkes Konvergenzresultat:

Satz 5.32 (SOR-Verfahren für positiv definite Matrizen). Es sei A ∈ Rn×n eine symme-trisch positiv definite Matrix. Dann gilt:

spr(Hω) < 1 für 0 < ω < 2.

SOR-Verfahren und auch Gauß-Seidel-Verfahren sind konvergent.

Beweis: Siehe [9]. �

Für die oben angegebene Modellmatrix ist die Konvergenz von Jacobi- sowie Gauß-Seidel-Iteration auch theoretisch abgesichert. Für diese Matrizen (und allgemein für die Klasseder konsistent geordneten Matrizen, siehe [9]) kann für die Jacobi- J und Gauß-Seidel-Iteration H1 der folgende Zusammenhang gezeigt werden:

spr(J)2 = spr(H1). (5.15)

205


0

0.2

0.4

0.6

0.8

1

0 0.5 1 1.5 2

sp

r

omega

Abbildung 5.1: Bestimmung des optimalen Relaxationsparameters ωopt.

Ein Schritt der Gauß-Seidel-Iteration führt zu der gleichen Fehlerreduktion wie zwei Schrit-te der Jacobi-Iteration. Dieses Resultat findet sich in Beispiel 5.30 exakt wieder. Wei-ter kann für diese Matrizen ein Zusammenhang zwischen Eigenwerten der Matrix Hω

sowie den Eigenwerten der Jacobi-Matrix J hergeleitet werden. Angenommen, es giltρJ := spr(J) < 1. Dann gilt für den Spektralradius der SOR-Matrix:

spr(Hω) =

ω − 1 ω ≤ ωopt,14(ρJω +

√ρ2Jω

2 − 4(ω − 1))2 ω ≥ ωopt

Ist der Spektralradius der Matrix J bekannt, so kann der optimale Parameter ωopt kannals Schnittpunkt dieser beiden Funktionen gefunden werden, siehe Abbildung 5.1. Es gilt:

ωopt =2(1−

√1− ρ2

J)ρ2J

. (5.16)

Beispiel 5.33 (Modellmatrix mit SOR-Verfahren). Wir betrachten wieder die vereinfachteModellmatrix aus Beispiel 5.30. Für die Jacobi-Matrix J = −D−1(L+R) gilt:

J =

0 1

212 0 1

2. . . . . . . . .

12 0 1

212 0

.

Zunächst bestimmen wir die Eigenwerte λi und Eigenvektoren wi für i = 1, . . . , n dieserMatrix. Hierzu machen machen wir den Ansatz:

wi = (wik)k=1,...,n, wik = sin(πik

n+ 1

).

Dann gilt mit dem Additionstheoremen sin(x± y) = sin(x) cos(y)± cos(x) sin(y):

(Jwi)k = 12w

ik−1 + 1

2wik+1 = 1

2

(sin(πi(k − 1)n+ 1

)+ sin

(πi(k + 1)n+ 1

))= 1

2 sin(πik

n+ 1

)(cos

(πi

n+ 1

)+ cos

(πi

n+ 1

))= wik cos

(πi

n+ 1

).

206


Man beachte, dass diese Gleichung wegen wi0 = win+1 = 0 auch für die erste und letzteZeile, d.h. für i = 1 sowie i = n gültig ist. Es gilt λi = cos(πi/(n+1)) und der betragsmäßiggrößte Eigenwert von J wird für i = 1 sowie i = n angenommen. Hier gilt mit derReihenentwicklung des Kosinus:

λmax = λ1 = cos(

π

n+ 1

)= 1− π2

2(n+ 1)2 +O

( 1(n+ 1)4

).

Der größte Eigenwert geht mit n → ∞ quadratisch gegen 1. Hieraus bestimmen wirmit (5.16) für einige Schrittweiten aus Beispiel 5.30 die optimalen Relaxationsparame-ter:

n λmax(J) ωopt320 0.9999521084 1.980616162640 0.9999879897 1.9902456641280 0.9999969927 1.995107064

Schließlich führen wir für diese Parameter das SOR-Verfahren mit optimalem Relaxati-onsparameter durch und fassen die Ergebnisse in folgender Tabelle zusammen:

Matrixgröße Jacobi Gauß-Seidel SORSchritte Zeit (sec) Schritte Zeit (sec) Schritte Zeit (sec)

320 147 775 0.92 73 888 0.43 486 � 1640 588 794 7.35 294 398 3.55 1 034 0.02

1 280 2 149 551 58 1 074 776 29 1937 0.052 560 4 127 0.225 120 zu aufwendig 8 251 0.9010 240 16 500 3.56

Die Anzahl der notwendigen Schritte steigt beim SOR-Verfahren nur linear in der Problem-größe. Dies ist im Gegensatz zum quadratischen Anstieg beim Jacobi- sowie beim Gauß-Seidel-Verfahren ein wesentlicher Fortschritt. Da der Aufwand eines Schrittes des SOR-Verfahrens mit dem von Jacobi- und Gauß-Seidel vergleichbar ist für das SOR-Verfahrenzu einem Gesamtaufwand von nur O(n2) Operationen. Dieses positive Resultat gilt jedochnur dann, wenn der optimale SOR-Parameter bekannt ist.

5.3.4 Praktische Aspekte

Wir fassen zunächst die bisher vorgestellten Verfahren zusammen:

Beispiel 5.34 (Einfache Iterationsverfahren). Es gilt in allgemeiner Darstellung

xk+1 = xk + C−1(b−Axk) = (I − C−1A)︸︷︷︸=B

xk + C−1b.

207


Ausgehend von der natürlichen Aufspaltung A = L + D + R sowie mit einem Relaxati-onsparameter ω sind Richardson-, Jacobi-, Gauß-Seidel- sowie SOR-Verfahren gegeben alsals:

• Gedämpftes Richardson Verfahren:

C−1 = ωI, B = I − ωA,

mit der Index-Schreibweise:

xki = ωbi + xk−1i − ω

n∑j=1

aijxk−1j , i = 1, . . . , n.

• Jacobi-Verfahren:C−1 = D−1, B = −D−1(L+R),


xki = 1aii

bi − n∑j=1,j 6=i

aijxk−1j

, i = 1, . . . , n.

• Gauß-Seidel-Verfahren

C−1 = [D + L]−1, B = −(D + L)−1R


xki = 1aii

bi −∑ji

aijxk−1j

, i = 1, . . . , n.

• SOR-Verfahren (englisch. Successive Over-Relaxation):

C = [D + ωL]−1, B = [D + ωL]−1[(1− ω)D − ωR], ω = ωopt ∈ (0, 2),


xki = ω1aii

bi −∑ji

aijxk−1j

+ (1− ω)xk−1i , i = 1, . . . , n.

Zur einfachen Durchführung der Verfahren eignet sich stets die Index-Schreibweise. DieMatrix-Form dient insbesondere der einfachen Charakterisierung sowie zum Herleiten vonKonvergenzaussagen.

Als iterative Verfahren werden die Gleichungssysteme nur im (praktisch irrelevanten) Falln → ∞) wirklich gelöst. Üblicherweise muss die Iteration nach einer bestimmten Anzahlvon Schritten abgebrochen werden. Als Kriterium für ein Abbrechnen kann zunächst die

208


asymptotische Konvergenzaussage aus Satz 5.21 herangezogen werden. Mit ρ := spr(B)gilt im Grenzfall:

‖xk − x‖ ≈ ρk‖x0 − x‖.

Und bei vorgegebener Toleranz TOL kann die notwendige Zahl an Iterationsschrittenabgeschätzt werden:

‖xk − x‖ < TOL ⇒ k =log

(TOL‖x0−x‖

)log(ρ) .

Die Toleranz TOL gibt hier an, um welchen Faktor der Anfängliche Fehler ‖x0 − x‖reduziert wird. Dieses Vorgehen ist in der praktischen Anwendung wenig hilfreich, da derSpektralradius ρ der Iterationsmatrix B im Allgemeinen nicht bekannt ist.

Ein alternatives allgemeines Kriterium liefert die Abschätzung aus Satz 4.44 für den Defektdk := b−Axk:

‖xk − x‖‖x‖

≤ cond(A)‖b−Axk‖

‖b‖.

Hier entsteht jedoch ein ähnliches Problem: die Konditionszahl der Matrix A ist im All-gemeinen nicht bekannt, so kann auch keine quantitativ korrekte Abschätzung hergeleitetwerden. Dieser einfache Zusammenhang zwischen Defekt und Fehler kann jedoch genutztwerden um eine relative Toleranz zu erreichen:

Bemerkung 5.35 (Relative Toleranz). Bei der Durchführung von iterativen Lösungsver-fahren werden als Abbruchskriterium oft relative Toleranzen eingesetzt. Die Iteration wirdgestoppt, falls gilt:

‖xk − x‖ ≤ TOL ‖x0 − x‖.

Als praktisch durchführbares Kriterium werden die unbekannten Fehler durch die Defekteersetzt:

‖b−Axk‖ ≤ TOL ‖b−Ax0‖.

5.3.5 Abstiegs & Gradientenverfahren

Die bisher kennengelernten Iterationsverfahren zur Approximation von linearen Gleichungs-systemen haben alle den Nachteil, dass die Konstruktion nicht durch einen fundierten Zu-gang erfolgt, sondern auf Kontraktionsprinzipien beruht, die von Fall zu Fall untersuchtwerden müssen. In diesem abschließenden Abschnitt werden wir zur Vorbereitung vonleistungsfähigeren Verfahren einige Grundlagen entwickeln.

Alle bisherigen Fixpunktiterationen lassen sich allgemeiner in folgender Form schreiben

xk+1 = xk + dk, k = 1, 2, . . . ,

wobei dk in jedem Schritt die Richtung angibt, in der die Lösung verbessert wird. BeimJacobi-Verfahren bestimmt sich diese Richtung z.B. als dk = D−1(b − Axk), beim Gauß-Seidel Verfahren als dk = (D+L)−1(b−Axk). Um diese allgemeine Iteration zu verbessern

209


setzen wir an zwei Punkten an: zunächst fügen wir in jedem Schritt der Iteration einenRelaxationsparameter ωk ein

xk+1 = xk + ωkdk, k = 1, 2, . . . ,

welchen wir Schritt für Schritt optimal bestimmen werden. Anschließen versuchen wirneue Suchrichtungen dk auf eine systematische Art und Weise zu entwickeln. D.h., wirsuchen eine Richtung dk, in der die größte Fehlerreduktion zu erwarten ist. In diesemAbschnitt beschränken wir uns auf symmetrisch positiv definite Matrizen A ∈ Rn×n. Zen-tral für das gesamte Kapitel ist die folgende Charakterisierung zur Lösung eines linearenGleichungssystems mit symmetrisch, positiv definiter Matrix:

Satz 5.36 (Lineares Gleichungssystem und Minimierung). Es sei A ∈ Rn×n eine sym-metrische positiv definite Matrix. Das lineare Gleichungssystem Ax = b ist äquivalent zurMinimierungsaufgabe:

Q(x) ≤ Q(y) ∀y ∈ Rn, Q(y) = 12(Ay, y)2 − (b, y)2.

Beweis: (i) Zunächst sei x Lösung des linearen Gleichungssystems Ax = b. Dann gilt mitbeliebigem y ∈ Rn:

2Q(y)− 2Q(x) = (Ay, y)2 − 2(b, y)2 − (Ax, x)2 + 2(b, x)= (Ay, y)2 − 2(Ax, y)2 + (Ax, x)2

= (A(y − x), y − x)2 ≥ 0,

d.h. Q(y) ≥ Q(x).

(ii) Umgekehrt sei Q(x) nun Minimum. D.h. x ∈ Rn ist stationärer Punkt der quadrati-schen Form Q(x), also:

0 != ∂

∂xiQ(x) = ∂

∂xi

{12(Ax, x)2 − (b, x)2

}= 2(Ax)i − 2bi, i = 1, . . . , n.

D.h., x ist Lösung des linearen Gleichungssystems. �

Anstelle ein lineares Gleichungssystem Ax = b zu lösen betrachten wir die Minimierungdes “Energiefunktionals” Q(x). Dieser Zugang ist Grundlage der im Folgenden diskutierenVerfahren und auch Basis der allgemeinen Klasse von Krylow-Raum-Verfahren.

Wir betrachten zunächst nur symmetrisch positiv definite Matrizen, daher ist durch ‖x‖A :=√(Ax, x)2 eine Norm, die sogenannte Energienorm gegeben. Die Minimierung des Energie-

funktionals Q(·) ist auch äquivalent zur Minimierung des Fehlers xk−x in der zugehörigen.Denn, angenommen x ∈ Rn sei die Lösung und xk ∈ Rn eine Approximation, dann gilt:

‖xk−x‖2A = (A(xk−x), xk−x)2 = (Axk, xk)− 2(Axk, x)︸︷︷︸=2(Ax,xk)=2(b,xk)

+(Ax, x) = 2Q(xk)+(Ax, x).

210


Abstiegsverfahren Wir gehen zunächst davon aus, dass die Suchrichtungen dk durch eingegebenes Verfahren (etwa Jacobi oder Gauß-Seidel) bestimmt sind und stellen uns derFrage, den nächsten Schritt optimal zu gestalten, also in der Iteration k → k + 1 mit

xk+1 = xk + ωkdk,

den skalaren Faktor ωk möglichst optimal zu bestimmen, so dass die neue Approximationxk+1 eine möglichst geringe “Energie” Q(xk+1) aufweist:

ωk = arg minω∈R

Q(xk + ωdk).

Das gesuchte Minimum ω können wir wieder als Extrempunkt des quadratischen Funktio-nals bestimmen:

0 != ∂

∂ωQ(x+ωd) = ∂

∂ω

{12(A(x+ωd), x+ωd)2− (b, x+ωd)2

}= ω(Ad, d)2 + (Ax− b, d)2

Hieraus bestimmt sich ω zu:ω = (b−Ax, d)2

(Ad, d)2.


Algorithmus 5.37 (Abstiegsverfahren). Es sei A ∈ Rn×n symmetrisch positiv definit,x0, b ∈ Rn sowie für k = 1, 2, . . . durch dk ∈ Rn Abstiegsrichtungen gegeben. Iteriere:

1. Bestimme ωk alsωk = (b−Axk, dk)2

(Adk, dk)2,

2. Berechnexk+1 = xk + ωkdk.

Ein konkretes Verfahren entsteht durch Wahl der Abstiegsrichtungen dk. Es zeigt sich, dassdie Kombination des Abstiegsverfahrens mit den bisher eingeführten Methoden wie Jacobiund Gauß-Seidel nicht zu wesentlichen Verbesserungen in der Konvergenzgeschwindigkeitführt. Wir betrachten hierzu ein Beispiel:Beispiel 5.38 (Abstiegsverfahren, Jacobi & Gauß-Seidel). Es sei Ax = b mit

A =

2 −1 0−1 2 −10 −1 2

, b =

2−34

, x =

102

.Mit dem Startvektor x0 = 0 führen wir jeweils 10 Schritte mit Jacobi-, Gauß-Seidel-Verfahren sowie jeweils mit den entsprechenden Kombinationen unter Verwendung desoptimalen Abstiegs-Schritts ωk. In Abbildung 5.2 links fassen wir für alle Verfahren dieFehler zusammen. Auf der rechten Seite der Abbildung stellen wir den Approximations-verlauf xk ∈ R3 für Jacobi- sowie Jacobi-Abstiegsverfahren graphisch dar. Obwohl derVerlauf des Jacobi-Abstiegsverfahrens wesentlich “gradliniger” scheint, konvergiert diesesVerfahren ebenso langsam wie das Jacobi-Verfahren selbst. Nur im Falle des Gauß-Seidel-Verfahrens wird die Konvergenz durch Wahl optimaler Schrittweite ωk wesentlich beschleu-nigt.

211


1e-05

0.0001

0.001

0.01

0.1

1

10

1 2 3 4 5 6 7 8 9 10

JacobiGauss-Seidel

Abstiegs-JacobiAbstiegs-Gauss-Seidel

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

-1.6-1.4

-1.2-1

-0.8-0.6

-0.4-0.2

0

1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9

2

JacobiAbstiegsverfahren

Abbildung 5.2: Links: Konvergenz von Jacobi-, Gauß-Seidel- sowie den entsprechendenAbstiegsverfahren. Rechts: Vergleich der Annäherung bei Jacobi- undJacobi-Abstiegs-Verfahren an die Lösung x = (1, 0, 2)T .

Gradientenverfahren Abschließend werden wir ein erstes Verfahren entwickeln, welchesdie neue Suchrichtung dk ∈ Rn systematisch so bestimmt, dass das quadratische Funk-tional Q(x) möglichst stark minimiert werden kann. Wir suchen also die Richtung desstärksten Abfalls. Zu einem Punkt x ∈ Rn ist dies gerade die Richtung d ∈ Rn, die normalauf den Niveaumenge N(x) steht:

N(x) := {y ∈ Rn : Q(y) = Q(x)}

In einem Punkt x ist die Niveaumenge aufgespannt durch alle Richtungen δx ∈ Rn mit:

0 != Q′(x) · δx = (∇Q(x), δx) = (b−Ax, δx).

Die Vektoren δx, welche die Niveaumenge aufspannen stehen orthogonal auf dem Defektb − Ax, dieser zeigt daher in Richtung der stärksten Änderung von Q(·). Wir wählendk := b − Axk. Die so gefundene Suchrichtung wird dann mit dem Abstiegsverfahrenkombiniert, d.h. wir iterieren:

dk := b−Axk, ωk := ‖dk‖22(Adk, dk)2

, xk+1 := xk + ωkdk.

Wir definieren das Gradientenverfahren:

Algorithmus 5.39 (Gradientenverfahren). Es sei A ∈ Rn×n symmetrisch positiv definit,b ∈ Rn. Es sei x0 ∈ Rn beliebig und d0 := b−Ax0. Iteriere für k = 0, 1, 2, . . .

1. rk := Adk

2. ωk = ‖dk‖22

(rk,dk)2

3. xk+1 = xk + ωkdk.

4. dk+1 = dk − ωkrk.

212


Durch Einführen eines zweiten Hilfsvektors rk ∈ Rn kann in jeder Iteration ein Matrix-Vektor-Produkt gespart werden. Für Matrizen mit Diagonalanteil D = αI ist das Gra-dientenverfahren gerade das Jacobi-Verfahren in Verbindung mit dem Abstiegsverfahren.Daher kann für dieses Verfahren im Allgemeinen auch keine verbesserte Konvergenzaussa-ge erreicht werden. Es stellt jedoch den Einstieg in eine ganze Klasse von fortgeschrittenenVerfahren, die Krylow-Unterraum-Verfahren dar. Wir zeigen:

Satz 5.40 (Gradientenverfahren). Es sei A ∈ Rn×n symmetrisch positiv definit. Dannkonvergiert das Gradientenverfahren für jeden Startvektor x0 ∈ Rn gegen die Lösung desGleichungssystems Ax = b.

Beweis: Es sei xk ∈ Rn eine gegebene Approximation. Weiter sei d := b − Axk. Dannberechnet sich ein Schritt des Gradientenverfahrens als:

xk+1 = xk + (d, d)(Ad, d)d.

Für das Energiefunktional gilt:

Q(xk+1) = 12(Axk+1, xk+1)− (b, xk+1)

= 12(Axk, xk) + 1

2(d, d)2

(Ad, d)2 (Ad, d) + (d, d)(Ad, d)(Axk, d)− (b, xk)− (d, d)

(Ad, d)(b, d)

= Q(xk) + (d, d)(Ad, d)

{12(d, d) + (Axk, d)− (b, d)

}

= Q(xk) + (d, d)(Ad, d)

12(d, d) + (Axk − b︸︷︷︸

=−d

, d)

Also folgt:

Q(xk+1) = Q(xk)− (d, d)2

2(Ad, d) .

Wegen der positiven Definitheit von A gilt λmin(A)(d, d) ≤ (Ad, d) ≤ λmax(A)(d, d) undschließlich ist mit

Q(xk+1) ≤ Q(xk)− (d, d)2λmax︸︷︷︸≥0

,

die Folge Q(xk) monoton fallend. Weiter ist Q(xk) nach unten durch Q(x) beschränkt. Alsokonvergiert die Folge Q(xk)→ c ∈ Rn. Im Grenzwert muss gelten 0 = (d, d) = ‖b−Ax‖2,also Ax = b. �

Schließlich zitieren wir noch zur Abschätzung der Konvergenzgeschwindigkeit die folgendeFehlerabschätzung:

213


Satz 5.41 (Konvergenz des Gradientenverfahrens). Es sei A ∈ Rn×n eine symmetrischpositiv definite Matrix. Dann gilt für das Gradientenverfahren zur Lösung von Ax = b dieFehlerabschätzung

‖xk − x‖A ≤(1− 1/κ

1 + 1/κ

)k, κ := cond2(A) = λmax(A)

λmin(A) .

Beweis: Siehe [9] �

Die asymptotische Konvergenzrate des Gradientenverfahrens wir durch die Kondition derMatrix bestimmt. Für die Modellmatrix gilt κ = O(n2), siehe Beispiel 5.33. Also gilt:

ρ =1− 1

n2

1 + 1n2

= 1− 2n2 +O

( 1n4

).

Die Konvergenz ist demnach ebenso langsam wie die des Jacobi-Verfahrens (wir habenbereits diskutiert, dass es für die Modellmatrix mit dem Jacobi-Abstiegsverfahren über-einstimmt). Für das Gradientenverfahren gilt jedoch der folgende Zusammenhang, derBasis des CG-Verfahrens ist:

Satz 5.42 (Abstiegsrichtungen im Gradientenverfahren). Es sei A ∈ Rn×n symmetrischpositiv definit. Dann stehen je zwei aufeinanderfolgende Abstiegsrichtungen dk und dk+1

des Gradientenverfahren orthogonal aufeinander.

Beweis: Zum Beweis, siehe Algorithmus 5.39. Es gilt:

dk+1 = dk − ωkrk = dk − (dk, dk)(Adk, dk)Ad

k.

Also gilt:

(dk+1, dk) = (dk, dk)− (dk, dk)(Adk, dk)(Adk, dk) = (dk, dk)− (dk, dk) = 0.

�

Das CG-Verfahren Der Zusammenhang aus Satz 5.42 gilt nur für jeweils aufeinander fol-gende Abstiegsrichtungen, im Allgemeinen gilt jedoch dk 6⊥ dk+2. In Abbildung 5.2 rechtsist der Approximationsverlauf des Abstiegs-Jacobi-Verfahren, welches mit dem Gradien-tenverfahren übereinstimmt dargestellt. Zwei aufeinander folgende Richtungen sind zwarje orthogonal, die dritte Richtung steht jedoch wieder nahezu parallel auf der ersten. Diesführt dazu, dass das Gradientenverfahren im Allgemeinen sehr langsam konvergiert. DasCG-Verfahren, oder “Verfahren der konjugierten Gradienten”, entwickelt diesen Ansatzweiter und wählt Suchrichtungen {d1, . . . , dk} die paarweise orthogonal sind. Orthogona-lität wird dabei im A-Skalarprodukt erreicht:

(Adr, ds) = 0 ∀r 6= s.

214


Im k-ten Schritt wird die Approximation xk = x0 +∑ki=1 αid

i als das Minimum über alleα1, . . . , αk bezüglich Q(xk) gesucht:

minQ(x0 +

k∑i=1

αidi

)= min

{12

(Ax0 +

k∑i=1

αiAdi, x0 +

k∑i=1

αidi

)−(b, x0 +

k∑i=1

αidi

)}.

Der stationäre Punkt ist bestimmt durch:

0 != ∂

∂αjQ(xk) =

(Ax0 +

k∑i=1

αiAdi, dj

)− (b, dj) = −

(b−Axk, dj

), j = 1, . . . , k.

D.h., das neue Residuum b − Axk steht orthogonal auf allen Suchrichtungen dj für j =1, . . . , k. Diese Gleichung

(b−Axk, dj) = 0 ∀j = 1, . . . , k, (5.17)

wird Galerkin-Gleichung genannt. Beim Entwurf des CG-Verfahrens ist es nun wichtig,dass die neu gewählte Suchrichtung dk+1 nicht im Erzeugnis der bisherigen Suchrichtungenspan{d1, . . . , dk} enthalten ist. Denn in diesem Fall wird der Suchraum nicht größer unddie Approximation kann nicht verbessert werden. Daher wählt man für das CG-Verfahrenausgehend von einer Startapproximation x0 ∈ Rn mit d0 := b − Ax0 den Krylow-RaumKk(d0, A):

Kk(d0, A) := span{d0, Ad0, . . . , Ak−1d0}.

Es gilt:

Hilfsatz 5.43. Angenommen es gilt Akd0 ∈ Kk. Dann liegt auch für die Lösung x ∈ Rnvon Ax = b im k-ten Krylow-Raum Kk(d0, A).

Beweis: Es sei Kk gegeben und xk ∈ x0 + Kk die beste Approximation, welche dieGalerkin-Gleichung (5.17) erfüllt. Es sei rk := b−Axt. Wegen

rk = b−Axk = b−Ax0︸︷︷︸=d0

+A (x0 − xk)︸︷︷︸∈Kk

∈ d0 +AKk,

gilt rk ∈ Kk+1. Angenommen nun,Kk+1 ⊂ Kk. Dann gilt rk ∈ Kk. Die Galerkin-Gleichungbesagt rk ⊥ Kk, d.h. es gilt zwingend rk = 0 und Axk = b. �

Falls das CG-Verfahren abbricht weil keine neuen Suchrichtungen hinzukommen, so istdie Lösung gefunden. Angenommen, die A-orthogonalen Suchrichtungen {d0, d1, . . . , dk−1}liegen vor, so kann die CG-Approximation durch Ausnutzen der Basisdarstellung xk =x0 +

∑αid

i aus der Galerkin-Gleichung berechnet werden:(b−Ax0 −

k∑i=1

αiAdi, dj

)= 0 ⇒ (b−Ax0, dj) = αj(Adj , dj) ⇒ αj = (d0, dj)

(Adj , dj) .

215


Die A-orthogonale Basis {d0, . . . , dk−1} des Krylow-Raums Kk(d0, A) kann z.B. mit demGram-Schmidt-Verfahren berechnet werden. Der Nachteil dieser Methode ist zum einen derquadratische (in k) Aufwand des Gram-Schmidt-Verfahrens sowie dessen numerische In-stabilität. Seine Leistungsfähigkeit erlangt das CG-Verfahren durch ausnutzen einer zwei-stufigen Rekursionsformel, welche die A-orthogonale Basis effizient und stabil berechnet:

Hilfsatz 5.44 (2-stufige Rekursionsformel zur Orthogonalisierung). Es sei A ∈ Rn×nsymmetrisch positiv definit, sowie x0 ∈ Rn und d0 := b − Ax0. Dann wird durch dieIteration

rk := b−Axk, βk−1 := − (rk, Adk−1)(dk−1, Adk−1) , dk := rk − βk−1d

k−1, k = 1, 2, . . .

eine A-orthogonale Basis mit (Adr, ds) = 0 für r 6= s erzeugt. Dabei ist xk in Schritt kdefiniert als die Galerkin-Lösung (b−Axk, dj) = 0 für j = 0, . . . , k − 1.

Beweis: Es sei durch {d0, . . . , dk−1} eine A-orthogonale Basis des Kk(d0, A) gegeben.Weiter sei xk ∈ x0 +Kk(d0, A) die Galerkin-Lösung zu (5.17). Es sei rk := b−Axk ∈ Kk+1und wir fordern, dass gk 6∈ Kk(d0, A). Ansonsten bricht die Iteration nach Hilfsatz 5.43ab. Wir bestimmen dk mit dem Ansatz:

dk = rk −k−1∑j=0

βk−1j dj . (5.18)

Die Orthogonalitätsbedingung besagt:

0 != (dk, Adi) = (rk, Adi)+k−1∑j=1

βk−1j (dj , Adi) = (rk, Adi)+βk−1

i (di, Adi), i = 0, . . . , k−1.

Es gilt (rk, Adi) = (b − Axk, Adi) = 0 für i = 0, . . . , k − 2, da Ark ⊥ Kk−1. Hieraus folgtβk−1i = 0 für i = 0, 1, . . . , k − 2. Für i = k − 1 gilt:

βk−1 := βk−1k−1 = − (rk, Adk−1)

(dk−1, Adk−1) .

Schließlich gilt mit (5.18) dk = rk − βk−1dk−1. �

Mit diesen Vorarbeiten können wir alle Bestandteile des CG-Verfahrens zusammensetzen.Es sei also mit x0 eine Startlösung und mit d0 := b − Ax0 der Startdefekt gegeben.Angenommen, Kk := span{d0, . . . , dk−1} sowie xk ∈ x0 +Kk und der Defekt rk = b−Axkliegen vor. Dann berechnet sich dk gemäß Hilfsatz 5.44 als

βk−1 = − (rk, Adk−1)(dk−1, Adk−1) , dk = rk − βk−1d

k−1. (5.19)

216


Für den neuen Entwicklungskoeffizienten αk in xk+1 = x0 +∑ki=0 αid

i gilt durch Testender Galerkin-Gleichung (5.17) mit dk:b−Ax0︸︷︷︸

=d0

−k∑i=0

αiAdi, dk

= (b−Ax0, dk)−αk(Adk, dk) = (b−Ax0+A (x0 − xk)︸︷︷︸∈Kk

, dk)−αk(Adk, dk).

Also:

αk = (rk, dk)(Adk, dk) , xk+1 = xk + αkd

k. (5.20)

Hieraus lässt sich auch unmittelbar der neue Defekt rk+1 bestimmen:

rk+1 = b−Axk+1 = b−Axk − αkAdk = rk − αkAdk. (5.21)

Wir fassen (5.19-5.21) zusammen und formulieren das klassische CG-Verfahren:

Algorithmus 5.45 (CG-Verfahren). Es sei A ∈ Rn×n symmetrisch positiv definit, x0 ∈R0 und r0 = d0 = b−Ax0 gegeben. Iteriere für k = 0, 1, . . .

1. αk = (rk,dk)(Adk,dk)

2. xk+1 = xk + αkdk

3. rk+1 = rk − αkrk

4. βk = (rk+1,Adk)(dk,Adk)

5. dk+1 = rk+1 − βkdk

Das CG-Verfahren liefert eine Lösung nach (höchstens) n Schritten für ein n-dimensionalesProblem und kann daher prinzipiell als direktes Verfahren betrachtet werden. Allerdingssind schon für relativ kleine Probleme (z.B. n = 1000) im ungünstigsten Fall 1000 Iteratio-nen notwendig. Deshalb wird das CG-Verfahren üblicherweise approximativ eingesetzt. Injedem Iterationsschritt sind Rundungsfehler zu erwarten, daher werden die Suchrichtun-gen {d0, . . . , dk−1} nie wirklich orthogonal sein. Die Konvergenzanalyse des CG-Verfahrensgestaltet sich als sehr aufwendig. Daher zitieren wir hier nur das Ergebnis:

Satz 5.46 (Konvergenz des CG-Verfahrens). Es sei A ∈ Rn×n symmetrisch positiv definit.Dann gilt für beliebigen Startvektor x0 ∈ Rn die Fehlerabschätzung

‖xk − x‖A ≤ 2(

1− 1/√κ

1 + 1/√κ

)k‖x0 − x‖A, k ≥ 0,

mit der Spektralkondition κ = cond2(A) der Matrix A.

217


Die Konvergenz des CG-Verfahrens ist gerade doppelt so schnell wie die des Gradienten-verfahrens. Es gilt:

ρ := 1− 1/√κ

1 + 1/√κ

= 1− 2√κ+O(κ).

Für die Modellmatrix folgt ρ = 1 − 1n . Das CG-Verfahren ist für dünn besetzte sym-

metrische Gleichungssysteme eines der effizientesten Iterationsverfahren. Die Konvergenzhängt wesentlich von der Kondition cond2(A) der Matrix A ab. Für cond2(A) ≈ 1 ist dasVerfahren optimal: zur Reduktion des Fehlers um einen gegebenen Faktor ε ist eine festeAnzahl von Schritten notwendig. Verallgemeinerungen des CG-Verfahrens für nicht sym-metrische Matrizen müssen die Orthogonalisierung der Suchrichtungen entweder aufwendigdurch volle Orthogonalisierungsverfahren wie Gram-Schmidt sicherstellen (dies führt aufdas GMRES-Verfahren) oder die Orthogonalitätsbeziehung wird verletzt (dies führt zumBeispiel auf das BiCGStab-Verfahren).

Abschließend diskutieren wir anhand der Modellmatrix die verschiedenen Verfahren imVergleich:

Beispiel 5.47 (LGS mit der Modellmatrix). Es sei A ∈ Rn×n mit n = m2 die Modell-matrix:

A =

B −I−I B −I

−I B −I−I B

, B =

4 −1−1 4 −1

−1 4 −1−1 4

, I =

1

11

1

,mit B, I ∈ Rm×m. Die Matrix A ist eine Bandmatrix mit Bandbreite 2m. Weiter ist dieMatrix A symmetrisch positiv definit. Sie ist irreduzibel und diagonaldominant und erfülltin den Rändern der Blöcke das starke Zeilensummenkriterium. Alle bisher diskutierenVerfahren können auf die Matrix A angewendet werden. Größter sowie kleinster Eigenwertund Spektralkondition von A berechnen sich zu:

λmin = 2π2

n+O(n−2), λmax = 8− 2π2

n+O(n−2), κ ≈ 2π2n

Direkte Verfahren Die LR-Zerlegung ist (da A positiv definit) ohne Permutierung durch-zuführen. Gemäß Satz 4.39 beträgt der Aufwand hierzu NLR = nm2 = 4n2 Operationen.Die Lösung ist dann bis auf Rundungsfehlereinflüsse exakt gegeben. Alternativ kann dieCholesky-Zerlegung von A erstellt werden. Hierzu sind NLL = 2n2 Operationen notwendig.LR- bzw. Cholesky-Zerlegung sind dich besetzte Bandmatrizen. Das anschließende Lösenmit Vorwärts und Rückwärtselimination benötigt weitere 2nm Operationen. Wir fassendie notwendigen Operationen in folgender Tabelle zusammen:

n = m2 NLR NLL100 5 · 104 2 · 104

10000 5 · 109 2 · 109

1000000 5 · 1012 2 · 1012

218


Bei effizienter Implementierung auf moderner Hardware ist das Gleichungssystem mit10 000 Unbekannten in wenigen Sekunden, das größte Gleichungssystem in wenigen Stun-den lösbar.

Einfache Fixpunktiterationen Wir schätzen zunächst für Jacobi- sowie Gauß-Seidel-Verfahren die Spektralradien ab. Mit einem Eigenwert λ und Eigenvektor w von A gilt:

Aw = λw ⇒ Dw + (L+R)w = λw ⇒ −D−1(L+R)w = −D−1(λI −D)w.

D.h. wegen Dii = 4 gilt

Jw = λ− 44 w,

und die Eigenwerte von J liegen zwischen

λmin(J) = 14(λmin(A)− 4) ≈ −1 + π2

2n, λmax(J) = 14(λmax(A)− 4) ≈ 1− π2

2n.

Für die Konvergenzrate gilt:

ρJ := 1− π2

2n.

Aus (5.15) folgt:

ρH := ρ2J ≈ 1− π2

n.

Zur Reduktion des Fehlers um einen gegebenen Faktor ε sind t Schritte erforderlich:

ρtJJ = ε ⇒ tJ = log(ε)log(ρ) ≈

2π2 log(ε)n, tH ≈

1π2 log(ε)n,

Jeder Schritt hat den Aufwand eines Matrix-Vektor Produktes, d.h. im gegebenen Fall 5n.Schließlich bestimmen wir gemäß (5.16) den optimalen SOR-Parameter zu

ωopt ≈ 2− 2 π√n.

Dann gilt:ρω = ωopt − 1 ≈ 1− 2 π√

n.

Hieraus erhalten wir:tω ≈

log(ε)2π√n.

Der Aufwand des SOR-Verfahrens entspricht dem des Gauß-Seidel-Verfahrens mit einerzusätzlichen Relaxation, d.h. 6n Operationen pro Schritt. Wir fassen zusammen für diedrei Verfahren Konvergenzrate, Anzahl der notwendigen Schritte und Gesamtaufwand zu-sammen. Dabei ist stets ε = 10−4 gewählt:

219


Jacobi Gauß-Seidel SORn = m2 tJ Nj tH NH ωopt tJ Nj

100 180 105 90 5 · 104 1.53 9 105

10000 18500 109 9300 5 · 108 1.94 142 107

1000000 1866600 1013 933000 5 · 1012 1.99 1460 109

Während das größte Gleichungssystem mit dem optimalen SOR-Verfahren in wenigen Se-kunden gelöst werden kann, benötigen Jacobi und Gauß-Seidel-Verfahren etliche Stunden.

Abstiegsverfahren Schließlich betrachten wir Gradienten und CG-Verfahren. Es gilt:

ρGR ≈ 1− 2κ ≈ 1− 4π2n, ρCG ≈ 1− 2√κ ≈ 1− 2π

√n.

Bei effizienter Implementierung benötigt das Gradientenverfahren pro Iterationsschritt ei-ne Matrix-Vektor Multiplikation (5n Operationen), zwei Skalarprodukte (2n Operationen)sowie 2 Vektor-Additionen (2n Operationen), insgesamt somit 9n Operationen. Der Auf-wand des CG-Verfahrens ist mit 15n Operationen etwas größer. Die Anzahl der Schrittebestimmt sich zu

ρtGR = 10−4 ⇒ tGR ≈n

π2 , tCG ≈2

π√n.


Gradienten CGn = m2 tGR NGR tCG NCG

100 18 104 9 104

10000 2 330 108 140 107

1000000 233 300 1012 1400 1010

Wie bereits bekannt ist das Gradienten-Verfahren ebenso ineffektiv wie das Jacobi-Verfahren.Das CG-Verfahren erreicht etwa die gleiche Effizienz wie das SOR-Verfahren bei optimalerWahl des Relaxationsparameters. Dieses Ergebnis darf nicht falsch interpretiert werden:im Allgemeinen ist dieser Relaxationsparameter nicht verfügbar und muss grob approxi-miert werden. D.h., in der praktischen Anwendung wird das SOR-Verfahren weit schlechterkonvergieren und das CG-Verfahren ist im Allgemeinen stark überlegen!

220

6 Anwendungsbeispiel: dünner Balken

In diesem Kapitel fassen wir alle vorherigen Kapitel mit Hilfe eines physikalisch motiviertenAnwendungsbeispiels zusammen. Das Beispiel kann als typischer prototypischer Vertreterfür zahlreiche Anwendungsfälle numerischer Verfahren angesehen werden. Grundsätzlichsind für den Numeriker dabei die folgenden Schritte durchzuführen, wobei der Schwerpunktvon Numerik 0 immer auf Diskretisierung und numerischer Lösung liegt.

1. Problem/Aufgabenstellung: Biegung eines dünnen Balkens (z.B. Brücke oderMembran),

2. Modellierung: Herleitung eines physikalischen Modells (Abschnitt 6.1),

3. Diskretisierung (Abschnitt 6.2) mit Hilfe der Methoden aus Kapitel 3 (Interpola-tion, stückweise Interpolation, Differenzenverfahren zur Approximation von Ablei-tungen),

4. Numerische Lösung (Abschnitt 6.3) des diskretisierten Problems. Bei linearenProblemen können sofort die Methoden aus Kapitel 4 genutzt werden. Bei nichtli-nearen Problemen wird mittels eines Fixpunktverfahrens als Nullstellenaufgabe ge-schrieben (siehe Kapitel 5 bzw. 2) und hierin Lösung der linearen Gleichungen mitden Methoden aus Kapitel 4,

5. Analyse der Ergebnisse mit Vergleich zu anderen Methoden für dasselbe Problemoder Abgleich mit Experimenten.

fy(x) = 0 y(x)

Abbildung 6.1: Balken im Ruhezustand und rechts durch Kraft f ausgedehnter Balken.Der Balken ist an den Endpunkten x = 0 sowie x = 1 fixiert und wirdüber die Position y(x) der Mittellinie parametrisiert.

221


6.1 Modellierung eines elastischen Balkens

In Abbildung 6.1 zeigen wir zunächst die Konfiguration. Ein Balken mit Länge L = 1 (imRuhezustand) ist auf beiden Seiten eingespannt. Unter Einwirkung eines Biegemoments fwird der Balken ausgelenkt. Dabei bezeichnen wir mit y(x) die Deformation der Mittelliniein jedem Punkt x ∈ [0, 1] des undeformierten Balkens. Dabei gilt stets y(0) = y(1) = 0aufgrund der Einspannung. Die Biegung eines Balkens kann in jedem Punkt durch denKrümmungsradius ρ := ρ(x) gekennzeichnet werden. Der Krümmungsradius ist der Radiusdesjenigen Kreises, der in (x, y(x)) die Mittellinie des Balkens bei gleicher Krümmungberührt, siehe Abbildung 6.2.

Die Krümmung erzeugt eine Dehnung ε := δe/e, welche die relative Längenänderung einerBalkenlinie angibt, die radial von der Mittellinie verschoben ist, siehe Abbildung 6.2 Mitte.Für eine Linie, die um y verschoben ist, gilt mit dem Strahlensatz:

ρ+ y

ρ= e+ δe

e⇔ y

ρ= δe

e. (6.1)

Das Hooke’sche Gesetz besagt, dass die Dehnung ε eines Balkens proportional zur Defor-mation y und der einwirkenden Kraft f ist:

ε = µfy,

wobei µ ∈ R ein Parameter ist, der die Materialeigenschaften des Balkens beschreibt (dieBiegesteifigkeit). Aus dem Zusammenhang zwischen Dehnung und Krümmungsradius (6.1)folgt:

µf = 1ρ. (6.2)

Schließlich werden wir den Krümmungsradius ρ(x) lokal durch die Deformation y(x) aus-drücken. Siehe hierzu die rechte Skizze in Abbildung 6.2. Zunächst gilt aus geometrischenÜberlegungen einerseits den Anstiegswinkel

tan(α) = δy

δx,

sowie für die Bogenlänge:

δs = δα =√δx2 + δy2 = δx

√1 + δy2

δx2 ⇒ δα

δx=

√1 +

(δy

δx

)2.

Wir betrachten alle Änderungen δx sowie δy und δα als infinitesimal. D.h., es giltδy2

δx2 = ∂2

∂2xy(x) = ∂

∂x

δy

δx

= ∂

∂xtan(α) = (1 + tan2(α))∂α

∂x

= (1 + tan2(α))δαδx

=(

1 +(δy

δx

)2) δα

δx

222

6.2 Diskretisierung

ρ α + δα

δy

α

ρ(x)

ρ(x+ δx)

δα

ds

δx

e

e

e+ δe

e

y

y

ρ

Abbildung 6.2: Links: Krümmungsradius ρ als Radius desjenigen Kreises mit der gleichenKrümmung. Mitte: Herleitung der Dehnung ε := δe/e als relative Län-genänderung einer um radial verschobenen Linie. Rechts: Herleitung derBeziehung zwischen Deformation y(x) und Krümmungsradius ρ(x).

Hiermit können wir δα/δx mit Hilfe der 2. Ableitung ersetzen und mit y′ := ∂xy sowiemit y′′ := ∂xxy gilt für die Krümmung

κ := lim∆s→0

∆α∆s = δα

δs= δα/δx

δs/δx= y′′(x)√

1 + y′(x)23 .

und mit dem Zusammenhang zum Krümmungsradius κ := 1ρ und dem Materialgesetz 6.2

erhalten wir die (nicht-lineare) Differentialgleichung für die Deformation eines die Balkens:

y′′(x)(1 + y′(x)2)

32

= µf. (6.3)

Für sehr kleine Auslenkungen (dann gilt y′(x) � 1) erhalten wir hieraus die linearisierteVariante:

y′′(x) = µf (6.4)

die in vielen Büchern als Laplace-Gleichung (Modellgleichung) bekannt ist.

6.2 Diskretisierung

Wir suchen also eine Funktion y ∈ C2([0, 1]), welche die Differentialgleichung (6.3) in jedemPunkt x ∈ [0, 1] erfüllt. Diese Differentialgleichung ist für gegebene Kraftverteilung f imAllgemeinen nicht analytisch lösbar und muss mit numerischen Verfahren approximiert

223


werden. Die Lösung y ∈ C2([0, 1]) ist ein unendlich dimensionales Objekt und kann mitdiskreten Methoden nie komplett beschrieben werden. Daher müssen wir in einem erstenSchritt das Problem diskretisieren, also in ein endlich dimensionales Problem überführen.

Der übliche Zugang hierzu ist, die Funktion y ∈ C2([0, 1]) durch eine Interpolierende yh(x)zu ersetzen. Hierzu zerlegen wir das Intervall I = [0, 1] zunächst in n+ 1 diskrete Punkte

0 = x0 < x1 < · · · < xn = 1, h = xi − xi−1 = 1n, xi = ih.

Wir wählen die Zerlegung äquidistant, d.h., je zwei benachbarte Punkte haben den Ab-stand h. Zur Interpolation der Funktion y(x) in den Stützstellen yi := y(xi) wählen wirzwei verschiedene Zugänge aus Kapitel 3. Zunächst wählen wir die globale Lagrange-Interpolation:

yn ∈ Pn(I) = span{1, x, . . . , xn}.Zu gegebenen Stützstellenpaaren (xi, y(xi)) ist diese Interpolation stets eindeutig be-stimmt, siehe Satz 3.6. Wir wählen die Lagrange-Darstellung:

yn(x) =n∑i=0

yiL(n)i (x), L

(n)i (x) =

n∏j=1,j 6=i

x− xjxi − xj

. (6.5)

Alternativ setzen wir yh(x) als stückweise lineare Interpolierende zusammen:

yh(x)∣∣∣[xi−1,xi]

= x− xixi−1 − xi

yi−1 + x− xi−1xi − xi−1

yi. (6.6)

Im Falle einer hinreichend regulären Lösung y(x) gelten bei exakter Interpolation (d.h.falls yi = y(xi) exakt bekannt sind) die Abschätzungen

‖yn − y‖∞ ≤‖y(n+1)‖∞(n+ 1)! , ‖yh − y‖∞ ≤

h2

2 ‖y′′‖∞, (6.7)

siehe Satz 3.4 sowie (3.6). Bei der ersten Abschätzung haben wir wegen |x− xj | ≤ 1 ganzgrob abgeschätzt mit:

n∏i=0|x− xi| ≤ 1.

Diese Abschätzung ist sehr pessimistisch, da die meisten Faktoren |x − xj | � 1 sehr vielkleiner als eins sind.

Die Diskretisierung der Aufgabe besteht nun darin, die Klasse der möglichen Lösungenzu verringern. Anstelle eines y ∈ C2([0, 1]) lassen wir nur noch Polynome gemäß (6.5)bzw. (6.6) zu. Das unendlich-dimensionale Problem wird durch ein endlich-dimensionalesProblem ersetzt. Die beiden diskreten Funktionen haben jeweils n+1 Freiheiten, von denendie Randpunkte y0 = yn = 1 bereits bestimmt sind. Diese n + 1 Freiheitsgrade werdendurch n+ 1 Gleichungen in den Stützstellen beschrieben:

yn(0) = 0, yn′′(xi)(1 + yn′(xi)2)

32

= µf(xi), i = 1, . . . , n− 1, yn(1) = 0.

Das Ergebnis ist ein nichtlineares Gleichungssystem mit n+ 1 Gleichungen und den n+ 1unbekannten Koeffizienten y0, . . . , yn.

224

6.2 Diskretisierung

6.2.1 Diskretes Modell mit globaler Interpolation

Zum Aufstellen des diskreten Gleichungssystems müssen die Ableitungen von yn′(x) undyn′′(x) in den Gitterpunkten xi berechnet werden:

yn′(xi) =n∑k=0

yk ∂xL(n)k (xi)︸︷︷︸

=:a(1)(i,k,n)

, yn′′(xi) =n∑k=0

yk ∂xxL(n)k (xi)︸︷︷︸

=:a(2)(i,k,n)

.

Die Koeffizienten a(k)(i, k, n), also die k-te Ableitung der k-ten Lagrange-Basisfunktionim Punkt xi, müssen für jede Kombination von i, k und n berechnet werden. Für kleineIndizes kann diese Berechnung einfach analytisch geschehen. Für große Indizes muss dieseBerechnung numerisch, z.B. mit der Newton’schen Darstellung aus Abschnitt 3.1.2 erfol-gen. Diese Koeffizienten hängen nicht von der diskreten Funktion yn ab, sondern lediglichvom Ansatzgrad n und der Position der Stützstellen xi. Mit dieser Schreibweise gilt fürdas nichtlineare Gleichungssystem:

y0 = 0,

n∑k=0

a(2)(i, k, n)yk − µf(xi)

1 +(

n∑k=0

a(1)(i, k, n)yk

)2 3

2

= 0, i = 1, . . . , n− 1,

yn = 0.

(6.8)

Mit dem Koeffizientenvektor y ∈ Rn+1 und entsprechender vektorwertiger Funktion Fn :Rn+1 → Rn+1 schreiben wir kurz

Fn(y) = 0.

6.2.2 Diskretes Modell mit stückweiser Interpolation

Wir betrachten nun den stückweisen linearen Ansatz yh(x). Im Gegensatz zur globalenInterpolation yn(x) dürfen wir diese Ansatzfunktion nicht in die Differentialgleichung (6.3)einsetzen, da yh(x) in den Stützstellen gar nicht differenzierbar ist!

Stattdessen werden wir zunächst die Ableitungen y′(x) und y′′(x) in den Stützstellen durchgeeignete Differenzenquotienten approximieren. In Abschnitt 3.3 haben wir für die ersteAbleitung zunächst die einseitigen Differenzenquotienten kennengelernt:

y′(x) = y(x+ h)− y(x)h

+ h

2 y′′(ξ) +O(h2).

Dieser Differenzenquotient ist von erster Ordnung. D.h., bei Halbierung der Gitterweiteist eine Halbierung des Fehlers zu erwarten. Für den gewählten Diskretisierungsansatzmit stückweise linearen Funktionen ist diese erste Ordnung nicht optimal. Denn Abschät-zung (6.7) besagt, dass sich der Interpolationsfehler zwischen yh und y quadratisch in hverhält. Zur besseren Balancierung wählen wir den zentralen Differenzenquotienten:

y′(x) = y(x+ h)− y(x− h)2h + h2

6 y′′′(ξ) +O(h4).

225


Zur Approximation der Ableitung in einem Punkt xi ersetzen wir die Funktionswerte y(x)durch die Koeffizienten der Lagrange-Darstellung:

(yh)′(xi) ≈yi+1 − yi−1

2h .

Bei der zweiten Ableitung gehen wir entsprechend vor und approximieren mit dem zen-tralen Differenzenquotienten zweiter Ordnung:

(yh)′′(xi) ≈−2yi + yi+1 + yi−1

h2 .

Wir setzen beide Approximationen in die Differentialgleichung (6.3) ein und erhalten dasnichtlineare Gleichungssystem:

y0 = 0,

−2yi + yi−1 + yi+1h2 − µf(xi)

(1 +

(yi+1 − yi−1

2h

)2) 3

2

= 0, i = 1, . . . , n− 1,

yn = 0.

(6.9)

Dieses Gleichungssystem können wir wieder kurz mit einer nichtlinearen Funktion F h :Rn+1 → Rn+1 schreiben.

6.2.3 Vergleich und Diskussion der beiden Modelle

Beide Diskretisierungsansätze führen jeweils auf ein nichtlineares Gleichungssystem mitn+ 1 Unbekannten und n+ 1 Gleichungen. Der Lösungsvektor y ∈ Rn+1 steht jeweils fürApproximationen an die Lösung in den Stützstellen yi ≈ y(xi). Das zweite Modell F h(·)ist von zweiter Ordnung in der Gitterweite h. Dabei geht die Ordnung gleich zweimal ein:zunächst kann eine stückweise lineare Funktion höchstens quadratisch in h→ 0 gegen y(x)konvergieren. Auf der anderen Seite beruht die Diskretisierung auf Differenzenquotientenzweiter Ordnung in h. Das Modell Fn ist zunächst eine Approximation von Grad n. Fallsdie Lösung y(x) hinreichend regulär ist, so ist durch (6.7) eine weit bessere, nämlichexponentielle Konvergenz in n zu erwarten.

Das erste Modell hat jedoch zwei wesentliche Nachteile: die Koeffizienten des nichtli-nearen Gleichungssystems (6.8) können nicht direkt angegeben werden, da die Faktorena(k)(i, j, n) jeweils (numerisch) berechnet werden müssen. Zweitens kommen in jeder Glei-chung sämtliche Koeffizienten y0, . . . , yn vor. D.h., das Gleichungssystem Fn(y) = 0 istglobal gekoppelt: jeder Koeffizient yi steht in direkter Kopplung mit jedem anderen Koef-fizienten yj . Bei Modell F h(y) = 0 koppeln dagegen nur direkt benachbarte Koeffizienten.Wir kommen auf diesen wesentlichen Punkt bei der Diskussion der Lösungsverfahren zu-rück.

226

6.3 Lösungsverfahren

6.3 Lösungsverfahren

Wir betrachten nun allgemein das Problem F (y) = 0 mit y ∈ Rn+1 und F : Rn+1 → Rn+1.Dieses nichtlineare Gleichungssystem ist als Nullstellenproblem formuliert. Die Lösungkann nicht direkt bestimmt werden. Daher approximieren wir y mit Hilfe eines Itera-tionsverfahrens. Hier bietet sich das Newton-Verfahren im Rn+1 an. Wir wählen eineStartlösung, z.B. y0 = 0 und iterieren für t = 0, 1, 2, . . .

yt+1 = yt − F ′(yt)−1F (yt).

Die Ableitung At := F ′(yt) ist eine Matrix. Daher formulieren wir das Verfahren in Formeiner Defekt-Korrektur:

At(yt+1 − yt) = −F (yt), At := F ′(yt).

Zunächst müssen wir die Voraussetzungen des Newton-Verfahrens überprüfen. Die Funk-tion F (·) muss (siehe Satz 5.12):

1. Stetig differenzierbar sein. Wir berechnen die Ableitungen von Fn und F h:

Atij := ∂Fni

∂yj= a(2)(i, j, n)− 3

2µf(xi)

√√√√1 +(

n∑k=0

a(1)(i, k, n)yk

)2

2(

n∑k=0

a(1)(i, k, n)yk

)a(1)(i, j, n),

∂F hi∂yj

=

1h2 + 3

2hµf(xi)√

1 +(yi+1−yi−1

2h

)2 (yi+1−yi−12h

)j = i− 1,

− 2h2 j = i,

1h2 − 3

2hµf(xi)√

1 +(yi+1−yi−1

2h

)2 (yi+1−yi−12h

)j = i+ 1,

0 sonst.

Der Term unter der Wurzel ist stets größer gleich eins. Daher existiert die Ableitungfür alle y.

2. Eine gleichmäßig beschränkte und invertierbare Jacobimatrix besitzen. Die Invertier-barkeit dieser Matrix ist schwer zu prüfen. Im Fall F h ist die Analyse verhältnismäßigeinfach: für sehr kleines h ist der erste Anteil der Matrix 2h−2 und −h−2 dominant.Die Matrix ist dann also eine kleine Störung der bereits bekannten Modellmatrix,deren Invertierbarkeit wir bereits kennen. Eine kleine Störung einer Matrix ist nachHilfsatz 4.17 wieder invertierbar.

Da die Funktion F (·) nichtlinear ist, hängt die Jacobi-Matrix von der Approximation yab.

227


6.4 Ein Beispiel

Wir werden mit einem Beispiel den Diskretisierungsansatz prüfen. Als Beispiel wollen wireine Funktion f(x) sowie einen Materialparameter µ so wählen, dass wir die exakte Lö-sung y(x) analytisch bestimmen können. So können wir die numerischen Approximationenyh sowie yn auf ihre Genauigkeit überprüfen. Da nichtlineare Differentialgleichungen imAllgemeinen nicht einfach analytisch gelöst werden können, gehen wir hier umgekehrt vor:wir wählen eine gewünschte Lösung y(x) und bestimmen durch Einsetzen in die Differen-tialgleichung (6.3) die zugehörige rechte Seite f(x). Wir wählen µ = 1 und bestimmen dieLösung y(x) als y(x) = sin(2πx). Diese Lösung erfüllt die Randdaten y(0) = y(1) = 0. Esgilt:

f(x) = y′′(x)(1 + y′(x)2)

32

= − 4 sin(2πx)π2

(1 + 4 cos(2πx)2π2)32.

Im folgenden bestimmen wir die zugehörigen Approximationen yn sowie yh jeweils beiUnterteilung des Intervalls I = [0, 1] in n = 4 bzw. in n = 8 Teilintervalle.

6.4.1 Globaler Polynomansatz

Wir starten das Newton-Verfahren mit der Anfangsnäherung y0 = 0, da keine bessereNäherung bekannt ist. Im Folgenden führen wir solange Newton-Schritte y1,y2, . . . durch,bis ein Newton-Residuum |F (yt)| < 10−6 erreicht wird.

• Schritt 1. Es gilt für n = 4 sowie n = 8 bei y0 = 0:

‖F 4(y0)‖ ≈ 10, ‖F 8(y0)‖ ≈ 30.

Die beiden Einträge F0 = F8 = 0 sind Null, da hier die Gleichung einfach durchy0 = yn = 0 gegeben ist. Diese ist bereits erfüllt. Im nächsten Schritt berechnen wirdie Jacobimatrix A0 := f ′(y0):

An=4 =

1 0 0 0 0

14.67 −26.67 8 5.33 −1.33−1.33 21.33 −40 21.33 −1.33−1.33 5.33 8 −26.67 14.67

0 0 0 0 1

,

228

6.4 Ein Beispiel

und im Fall n = 8:

A0 ≈

1.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0

41.49 1.625 −265.6 489.6 −470.2 300.8 −124.8 30.43 −3.314

−3.314 71.31 −117.7 12.80 72.0 −52.62 22.40 −5.486 0.5968

0.5968 −8.686 92.80 −167.8 88.0 −3.200 −2.489 0.9143 −0.1143

−0.1143 1.625 −12.80 102.4 −182.2 102.4 −12.80 1.625 −0.1143

−0.1143 0.9143 −2.489 −3.200 88.0 −167.8 92.80 −8.686 0.5968

0.5968 −5.486 22.40 −52.62 72.0 12.80 −117.7 71.31 −3.314

−3.314 30.43 −124.8 300.8 −470.2 489.6 −265.6 1.625 41.49

0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1.0

Diese 9×9-Matrix ist mit cond2(A)n=4 ≈ 90 sowie cond2(A)n=8 ≈ 2 500 sehr schlechtkonditioniert. Es zeigt sich, dass die Konditionszahl von A exponentiell in n steigtfür n = 16 gilt bereits cond2(A) ≈ 106, für n = 32 bereits 1013. Da die Matrizen At

weder dünn besetzt sind noch eine spezielle Struktur aufweisen bietet sich zum Lösennur ein direktes Verfahren an. Beide Matrizen sind nicht diagonaldominant. Einfacheiterative Verfahren werden somit vermutlich nicht konvergieren. Wir verwenden dieLR-Zerlegung und berechnen:

y1 − y0 = −[A0]−1F (y0).

Wir geben hier die Zwischenschritte nicht an.

• Schritt 2:‖F 4(y1)‖2 ≈ 4, ‖F 8(y1)‖2 ≈ 10.

• Schritt 3:‖F 4(y2)‖2 ≈ 0.7, ‖F 8(y2)‖2 ≈ 5.

• Schritt 4:‖F 4(y3)‖2 ≈ 0.05, ‖F 8(y3)‖2 ≈ 2.5

• Schritt 5:‖F 4(y4)‖2 ≈ 3 · 10−4, ‖F 8(y4)‖2 ≈ 0.9

• Schritt 6:‖F 4(y5)‖2 ≈ 1 · 10−8, ‖F 8(y5)‖2 ≈ 0.03.

Für n = 4 ist das gewünschte Residuum erreicht und die approximative Lösunglautet:

yn=4 ≈

0

0.708531.00250.70853

0

229


Diese Lösung ist mit dem folgenden Fehler versehen:

maxi=0,...,n

|yn=4i − y(xi)||y(xi)|

= 0.0025,

• Schritt 7: wir fahren mit n = 8 fort:

‖F 8(y6)‖2 ≈ 5 · 10−6,

• Schritt 8:‖F 8(y7)‖2 ≈ 10−10,

mit der Lösung:

yn=8 ≈

00.3826810.7071050.9238780.9999980.9238780.7071050.382681

0

.

Diese Lösung ist mit dem folgenden relativen Fehler versehen:

maxi=0,...,n

|yn=8i − y(xi)||y(xi)|

= 0.0000054.

Mit den berechneten Koeffizienten y kann das Lösungspolynom in der Lagrangedarstellungangegeben werden. Durch Verdoppelung der Anzahl der Unbekannten von n = 4 auf n = 8wird die Approximation um den Faktor 500 verbessert! Dieser große Zugewinn liegt ander exponentiellen Fehlerabschätzung der globalen Interpolation 6.7.

6.4.2 Stückweiser Polynomansatz

Wir wählen wieder die Diskretisierungen n = 4 sowie n = 8 und starten die Iterationmit y0 = 0. Wir iterieren mit dem Newton-Verfahren bis das Residuum die Schwelle 10−6

erreicht:

• Schritt 1: Es gilt mit (6.9) für das erste Residuum

‖F 4(y0)‖∞ ≈ 10, ‖F 8(y0)‖ ≈ 10.

230

6.4 Ein Beispiel

Die Jacobi-Matrizen ergeben sich zu

A4 :=

1 0 0 0 016 −32 16 0 00 16 −32 16 00 0 16 −32 160 0 0 0 1

,

im Fall von n = 4 und

A8 :=

1 0 0 0 0 0 0 0 064 −128 64 0 0 0 0 0 00 64 −128 64 0 0 0 0 00 0 64 −128 64 0 0 0 00 0 0 64 −128 64 0 0 00 0 0 0 64 −128 64 0 00 0 0 0 0 64 −128 64 00 0 0 0 0 0 64 −128 640 0 0 0 0 0 0 0 1

,

im Fall n = 8. Für die Konditionszahlen gilt cond2(A4) ≈ 90 und cond2(A8) ≈500. Die Matrizen sind Tridiagonal-Matrizen. Das LGS kann z.B. sehr effizient mitder LR-Zerlegung für Bandmatrizen, in diesem Fall mit dem Thomas-Algorithmus(Satz 4.37) gelöst werden. Für y0 = 0 erfüllen darüber hinaus beide Matrizen dasschwache Zeilensummenkriterium (siehe Satz 5.28), d.h., Jacobi- sowie Gauß-Seidel-Verfahren könnten ebenso eingesetzt werden. Wir wählen hier den direkten Löser.

Wir berechnen das Update:

A(y1 − y0) = −F (y0),

ohne die Zwischenschritte hier anzugeben.

• Schritt 2: es gilt:‖F 4(y1)‖2 ≈ 1.63, ‖F 8(y1)‖2 ≈ 2.38



• Schritt 5: es gilt:‖F 4(y4)‖2 ≈ 10−10, ‖F 8(y4)‖2 ≈ 0.015

231


Die Lösung yn=4 ist gegeben als:

yn=4 ≈

0

0.53730.84570.5473

0

,

und ist mit folgendem relativen Fehler versehen:

‖y− yn=4‖∞‖y‖∞

≈ 0.17.

• Schritt 6: wir fahren mit n = 8 fort:

‖F 8(y5)‖2 ≈ 5 · 10−4,

• Schritt 7: für n = 8:‖F 8(y6)‖2 ≈ 10−10,

mit der Approximation:

yn=8 =

00.3200.6040.8080.8850.8080.6040.320

0

,

mit einem Fehler:‖y− yn=8‖∞‖y‖∞

≈ 0.11.

Da der Fehler bei der zweiten Approximation n = 8 immer noch sehr groß ist, bestimmenwir - ohne die Zwischenschritte anzugeben - weitere Approximationen. Hier zeigt sichquadratische Konvergenz in h:

n ‖yn − y‖∞/‖y‖∞ ‖yh − y‖∞/‖y‖∞4 2.5 · 10−3 2 · 10−1

8 5 · 10−6 1 · 10−1

16 2 · 10−2

32 5 · 10−3

232

6.4 Ein Beispiel

6.4.3 Analyse und Vergleich

Beide Diskretisierungsansätze eignen sich prinzipiell zur Approximation des Anwendungs-problems. Es zeigen sich jedoch wesentliche Unterschiede. Das globale Polynom viertenGrades erzeugt etwa die gleiche Approximationsgüte wie das stückweise Polynom mitn = 32 Teilintervallen! Dieser große Unterschied beruht auf der exponentiellen Konver-genzrate der Interpolation im Fall n→∞.

Die gute Approximation muss durch eine aufwändige Lösung erkauft werden: in jedemSchritt der Newton-Iteration muss ein lineares Gleichungssystem mit voll besetzter Matrixgelöst werden. Spezielle Bandstrukturen können nicht ausgenutzt werden. Der StückweiseAnsatz hingegen erzeugt sehr dünne Bandmatrizen, die auch für sehr große Systeme effi-zient invertiert werden können. Hinzu kommt, dass der globale Polynomansatz eine sehrschlecht konditionierte Matrix erzeugt. Dies spielt bei den hier betrachteten sehr kleinenProblemen noch keine wesentliche Rolle. Die schlechte Kondition kommt aber z.B. beider Diskretisierung von zwei- oder dreidimensionalen Problemen schnell zu tragen. Derglobale Polynomansatz wird bei n > 20 aufgrund von Rundungsfehleranfälligkeit versa-gen. Der stückweise Ansatz kann (und wird) auch für sehr große n > 1 000 000 Systemedurchgeführt.

Schließlich wird die hier dargestellte Situation durch das gewählte Beispiel verzerrt. DieLösung y(x) ist analytisch vorgegeben und es gilt y ∈ C∞(I). Nur bei dieser hohen Dif-ferenzierbarkeit kann der globale Polynomansatz seine volle Ordnung erreichen. In derpraktischen Anwendung ist die Lösung meist nicht bekannt. Stattdessen werden Kräftevorgeben. Eine übliche Kraft kann z.B. die stückweise Belastung des Balkens sein:

f(x) =

0 x < 1

4−1 1

4 ≤ x ≤12

0 x > 12

.

Diese Funktion f ist nicht mehr differenzierbar, sie ist sogar nicht mehr stetig. Es zeigt sich,dass in diesem Fall auch die Lösung y(x) nicht mehr über beliebige Regularität verfügt. DieVereinfachung y′′(x) ≈ f(x) legt nahe, dass y(x) die zwei-fache Stammfunktion zu f(x)ist und dass daher y ∈ C1(I) gilt. In diesem Fall kann der globale Polynomansatz nichtmehr die volle Ordnung erreichen und eine stückweise Diskretisierung ist überlegen. InAbbildung 6.3 zeigen wir für dieses Beispiel die Lösungen zu n = 4 und n = 8, jeweils mitglobalem Polynomansatz und mit stückweise definiertem Ansatz. Der globale Ansatz zeigtein unphysikalisches Verhalten: obwohl die Kraft nur nach unten geht, wird der Balkenam Rand nach oben ausgelenkt. Dies ist gerade die numerische Instabilität der globalenLagrange-Interpolation an den Intervallenden!

233


Abbildung 6.3: Oben: Diskretisierung mit globalem Polynomansatz. Links n = 4 undrechts n = 8. Unten: Diskretisierung mit stückweise linearen Polynomen.

234

Index

l1-Norm, 110

Ahnliche Matrizen, 176Approximation, 47Aufwand, elementare Operation, 3Ausloschung, 13

Banach’scher Fixpunktsatz, 182Banachraum, 111Bandmatrix, 134Basis, 109Besetzungsmuster, 134Boxregel, 72

Cauchy-Schwarz Ungleichung, 111Charakteristisches Polynom, 165Cholesky-Zerlegung, 132Cuthill-McKee, 137

Darstellungsfehler, 12Defekt, 32, 140

Lineares Gleichungssystem, 141Defektkorrektur, 140, 142denormalisierte Zahlen, 9Diagonaldominanz, 131

strikte, 200Differenzenquotien

einseitig, 64Differenzenquotient

zentral, 64zweite Ableitung, 65

direktes Verfahren, 116Dividierte Differenzen, 52

Eigenvektor, 112Eigenwert, 112Eigenwerte, 164Einseitiger Differenzenquotient, 64

elementare Operation, 3Energienorm, 210euklidische Norm, 110euklidischer Raum, 111Euler-Maclaurinsche Summenformel, 95Exponent, 8Extrapolation zum Limes, 67

Fixkommadarstellung, 8floating-point processing unit, 9FLOPS, 14Fourier-Entwicklung, 98FPU, 9Frobeniusmatrix, 122Frobeniusnorm, 114

Gaus-Legendre, 83Gaus-Seidel-Verfahren, 199Gaus-Tschebyscheff, 90Gauss-Quadratur, 81Gerschgorin-Kreise, 166Givens-Rotation, 155Gleitkommadarstellung, 8GPU, 10Gradientenverfahren, 212Gram-Schmidt Verfahren, 146graphics processing unit, 10

Hessenberg-Matrix, 157, 177Hilbertraum, 111Horner-Schema, 2, 3Householder-Transformation, 150

IEEE 754, 9Interpolation, 47

Hermite, 57Lagrangesche Darstellung, 51Newtonsche Darstellung, 52

235

Index

Intervallschachtelung, 24Inverse Iteration, 172Irreduzibel, 201iterative Verfahren, 116

Jacobi-Matrix, 186Jacobi-Verfahren, 198

kleinste Fehlerquadrate, 159Konditionszahl, 6

Matrix, 117Konditionszahl einer Matrix, 119Kontraktion, 182Konvergenz

iterativer Verfahren, 36Kronecker-Symbol, 51

Lagrange Interpolationsaufgabe, 50Landau-Symbole, 4Least-Squares Losung, 159Legendre-Polynome, 89Line-Search, 34, 194Lineares Gleichungssystem

uberbestimmt, 158Lipschitz-stetig, 182LR-Verfahren zur Eigenwertberechnung,

175

Mantisse, 8Maschinengenauigkeit, 12Matrix

dunn besetzt, 134orthogonal, 145

Matrixnorm, 114induzierte, 114vertraglich, 114

Maximumsnorm, 110Mittelpunktsregel, 72

Nachiteration, 142Neville-Schema, 53Newton-Cotes Formeln, 77Newton-Verfahren, 187

1D, 27gedampftes, 33vereinfachtes, 33

Norm, 109l1, 110euklidisch, 110

Normalgleichungssystem, 159Normaquivalenz, 110Nullstellensuche, 19

Orthogonalbasis, 111Orthonormalbasis, 111

Parallelogrammidentitat, 111Pivot-Element, 125Pivot-Matrizen, 126Pivotisierung, 125Polynomauswertung, 2Postprocessing, 68Potenzmethode, 170Prahilbertraum, 99, 111

QR-Verfahren zur Eigenwertberechnung,175

QR-Zerlegung, 146Quadratur, 72Quadraturgewicht, 72

Rayleigh-Quotient, 165Relaxation, 204Residuum, 32Ruckwartseinsetzen, 120

Satz von Newton-Kantorovich, 188Schrankensatz, 184Simpson-Regel, 76Skalarprodukt, 110SOR-Verfahren, 204Sparsity Pattern, 134Spektralnorm, 114Spektralradius, 112Spektrum, 112Spline, 62Stutzstellen, 72

Taylor-Entwicklung, 49Trapezregel, 72Tridiagonalmatrix, 134Tschebyscheff-Polynome, 91

236

Index

Uberrelaxation, 204unitarer Raum, 111Unterrelaxation, 204

Zeilensummenkriteriumschwaches, 201starkes, 200

Zentraler Differenzenquotient, 64

237

Date post:	18-Sep-2018
Category:	Documents
Upload:	dangtuong
View:	226 times
Download:	0 times

Einführung in die Numerische Mathematiklehre/SS12/... · An introduction to numerical methods and...

Documents