Aproximaci on por m nimos cuadrados - …personales.upv.es/jromero1/tema6a.pdf · Introducci on Con...

Aproximacion por mınimos cuadrados

Jose Vicente Romero Bauset

ETSIT-curso 2009/2010

Jose Vicente Romero Bauset Tema 6.- Aproximacion por mınimos cuadrados. 1

Introduccion

Con el fin de determinar el valor de la constante g, la aceleracioncausada por la accion de la gravedad sobre la superficie de laTierra, se lleva a cabo un experimento en el cual se mide el tiempoque tarda en caer un objeto desde un edificio a lo largo de alturasdiferentes, midiendose el tiempo a distancias prefijadas. Seobtienen los siguientes datos:

t(s) 1.1 1.6 2.9 3.0 4.3 4.8

y(m) 4.9 13.5 39 45 87.6 110

¿Cual es el valor de la aceleracion de la gravedad?

Vamos a suponer que y = a+bt +1

2gt2


Introduccion


t(s) 1.1 1.6 2.9 3.0 4.3 4.8

y(m) 4.9 13.5 39 45 87.6 110



2gt2


Introduccion


t(s) 1.1 1.6 2.9 3.0 4.3 4.8

y(m) 4.9 13.5 39 45 87.6 110



2gt2


Introduccion

Si se exige que todos los puntos cumplan la ecuacion seobtiene el sistema

y1 = a+bt1 +gt212

y2 = a+bt2 +gt222

y3 = a+bt3 +gt232

y4 = a+bt4 +gt242

y5 = a+bt5 +gt252

y6 = a+bt6 +gt262

⇒

1 t1 t21

1 t2 t22

1 t3 t23

1 t4 t24

1 t5 t25

1 t6 t26

a

bg2

=

y1

y2

y3

y4

y5

y6

Sistema incompatible


Introduccion


y1 = a+bt1 +gt212

y2 = a+bt2 +gt222

y3 = a+bt3 +gt232

y4 = a+bt4 +gt242

y5 = a+bt5 +gt252

y6 = a+bt6 +gt262

⇒

1 t1 t21

1 t2 t22

1 t3 t23

1 t4 t24

1 t5 t25

1 t6 t26

a

bg2

=

y1

y2

y3

y4

y5

y6



Introduccion


y1 = a+bt1 +gt212

y2 = a+bt2 +gt222

y3 = a+bt3 +gt232

y4 = a+bt4 +gt242

y5 = a+bt5 +gt252

y6 = a+bt6 +gt262

⇒

1 t1 t21

1 t2 t22

1 t3 t23

1 t4 t24

1 t5 t25

1 t6 t26

a

bg2

=

y1

y2

y3

y4

y5

y6



Introduccion

Se minimiza6

∑i=1

(yi −a−bti −g

2t2i )2

Se obtiene g2 = 4.5217


Introduccion

Se minimiza6

∑i=1

(yi −a−bti −g

2t2i )2

Se obtiene g2 = 4.5217


Metodo de los mınimos cuadrados

Ax = b incompatible

→ b no es combinacion de las columnas de Aww� hallar un vector x0

minimice E = ‖Ax−b‖

Col A0

b

Ax AxAx

ww� Teorema de la mejor aproximacion

proyeccion ortogonal de b sobre el espacio columna de Aww�b−Ax0 es ortogonal a Ay, ∀ y ∈ Rn.ww�

< Ay,b−Ax0 >= 0⇒ ytAt(b−Ax0) = 0⇒ yt(Atb−AtAx0) = 0ww�AtAx0 = Atb



Ax = b incompatible → b no es combinacion de las columnas de A

ww� hallar un vector x0


Col A0

b

Ax AxAx






Ax = b incompatible → b no es combinacion de las columnas de Aww� hallar un vector x0


Col A0

b

Ax AxAx








Col A0

b

Ax AxAx


proyeccion ortogonal de b sobre el espacio columna de A

ww�b−Ax0 es ortogonal a Ay, ∀ y ∈ Rn.ww�






Col A0

b

Ax AxAx


proyeccion ortogonal de b sobre el espacio columna de Aww�b−Ax0 es ortogonal a Ay, ∀ y ∈ Rn.

ww�< Ay,b−Ax0 >= 0⇒ ytAt(b−Ax0) = 0⇒ yt(Atb−AtAx0) = 0ww�

AtAx0 = Atb





Col A0

b

Ax AxAx



< Ay,b−Ax0 >= 0

⇒ ytAt(b−Ax0) = 0⇒ yt(Atb−AtAx0) = 0ww�AtAx0 = Atb





Col A0

b

Ax AxAx



< Ay,b−Ax0 >= 0⇒ ytAt(b−Ax0) = 0

⇒ yt(Atb−AtAx0) = 0ww�AtAx0 = Atb





Col A0

b

Ax AxAx



< Ay,b−Ax0 >= 0⇒ ytAt(b−Ax0) = 0⇒ yt(Atb−AtAx0) = 0

ww�AtAx0 = Atb





Col A0

b

Ax AxAx






A las ecuaciones anteriores se les denomina ecuaciones normales,a la solucion x0 solucion optima y a E 2 = ‖Ax0−b‖2 se le llamaerror cuadratico.

Si las columnas de A son independientes la solucion de lasecuaciones normales es unica, como se puede ver aplicando lafactorizacion QR a A

AtAx0 = Atb

(QR)t(QR)x0 = (QR)tb

RtQtQRx0 = RtQtb

Rx0 = Qtb.





AtAx0 = Atb


RtQtQRx0 = RtQtb

Rx0 = Qtb.





AtAx0 = Atb


RtQtQRx0 = RtQtb

Rx0 = Qtb.





AtAx0 = Atb


RtQtQRx0 = RtQtb

Rx0 = Qtb.





AtAx0 = Atb


RtQtQRx0 = RtQtb

Rx0 = Qtb.





AtAx0 = Atb


RtQtQRx0 = RtQtb

Rx0 = Qtb.


Ajuste de datos

Relacion lineal

Si se espera una relacion lineal entre los datos y = a+bx

y1 = a+bx1...

ym = a+bxm

⇒

1 x1...

...1 xm

( ab

)=

y1...ym

.

Relacion Cuadratica (y = a+bx + cx2) 1 x1 x21

......

...1 xm x2

m

a

bc

=

y1...ym

.


Ajuste de datos

Relacion lineal


y1 = a+bx1...

ym = a+bxm

⇒

1 x1...

...1 xm

( ab

)=

y1...ym

.


......

...1 xm x2

m

a

bc

=

y1...ym

.


Ajuste de datos

Relacion lineal


y1 = a+bx1...

ym = a+bxm

⇒

1 x1...

...1 xm

( ab

)=

y1...ym

.


......

...1 xm x2

m

a

bc

=

y1...ym

.


Ajuste de datos

El error cuadratico (n

∑i=1

(yi −y(xi ))2) depende del numero de puntos

⇓

Se define el ındice de determinacion como

d =

m

∑k=1

(y(xk)−y)2

m

∑k=1

(yk −y)2, y =

1

m

m

∑k=1

yk

Es facil ver que 0≤ d ≤ 1.


Ajuste de datos


∑i=1


⇓


d =

m

∑k=1

(y(xk)−y)2

m

∑k=1

(yk −y)2,

y =1

m

m

∑k=1

yk



Ajuste de datos


∑i=1


⇓


d =

m

∑k=1

(y(xk)−y)2

m

∑k=1

(yk −y)2, y =

1

m

m

∑k=1

yk



Ajuste de datos


∑i=1


⇓


d =

m

∑k=1

(y(xk)−y)2

m

∑k=1

(yk −y)2, y =

1

m

m

∑k=1

yk



Ajuste de datos

Los ajustes anteriores son casos particulares del ajuste pormodelos lineales

y = a1φ1(x) +a2φ2(x) + · · ·+anφn(x).

⇓φ1(x1) φ2(x1) · · · φn(x1)φ1(x2) φ2(x2) · · · φn(x2)

......

. . ....

φ1(xm) φ2(xm) · · · φn(xm)

a1

a2...an

=

y1...ym

.

Algunas funciones no lineales se pueden linealizar

y = aebx ⇒ lny = lna+bx


Ajuste de datos


y = a1φ1(x) +a2φ2(x) + · · ·+anφn(x).

⇓φ1(x1) φ2(x1) · · · φn(x1)φ1(x2) φ2(x2) · · · φn(x2)

......

. . ....

φ1(xm) φ2(xm) · · · φn(xm)

a1

a2...an

=

y1...ym

.




Ajuste de datos


y = a1φ1(x) +a2φ2(x) + · · ·+anφn(x).

⇓φ1(x1) φ2(x1) · · · φn(x1)φ1(x2) φ2(x2) · · · φn(x2)

......

. . ....

φ1(xm) φ2(xm) · · · φn(xm)

a1

a2...an

=

y1...ym

.




Ajuste de datos

Ejemplo

El nivel del agua en el mar del Norte esta principalmentedeterminado por la marea. Se han tomado las siguientes mediciones

t 0 2 4 6 8 10

h(t) 1 1.6 1.4 0.6 0.2 0.8

con t medido en horas.

a) Ajuste a los datos anteriores una recta. Para ello escriba lasecuaciones normales y resuelva dicho sistema por el metodode Gauss-Jordan. ¿Tiene sentido la solucion obtenida paratiempos grandes?

b Ajuste por mınimos cuadrados los datos anteriores a unafuncion del tipo

h(t) = h0 +a1 sen(

πt

6

)+a2 cos

(πt

6

)Jose Vicente Romero Bauset Tema 6.- Aproximacion por mınimos cuadrados. 10

Ajuste de datos

h = a+bx

1 = a + 0b

1.6 = a + 2b

1.4 = a + 4b

0.6 = a + 6b

0.2 = a + 8b

0.8 = a + 10b

⇒

1 0

1 2

1 4

1 6

1 8

1 10

︸︷︷︸

A

(a

b

)︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd⇒

(6 30

30 220

)x0 =

(5.6

22

)(

6 30 5.630 220 22

)F2−5F1−−−−→

(6 30 5.60 70 −6

)F270−→

(6 30 5.60 1 − 3

35

)

F1−30F2−−−−−→

(6 0

0 1

∣∣∣∣∣ 28635

− 335

)F16−→

(1 0

0 1

∣∣∣∣∣ 143105

− 335

)⇒ x0 =

(1.36

−0.086

)


Ajuste de datos

h = a+bx

1 = a + 0b

1.6 = a + 2b

1.4 = a + 4b

0.6 = a + 6b

0.2 = a + 8b

0.8 = a + 10b

⇒

1 0

1 2

1 4

1 6

1 8

1 10

︸︷︷︸

A

(a

b

)︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd⇒

(6 30

30 220

)x0 =

(5.6

22

)(

6 30 5.630 220 22

)F2−5F1−−−−→

(6 30 5.60 70 −6

)F270−→

(6 30 5.60 1 − 3

35

)

F1−30F2−−−−−→

(6 0

0 1

∣∣∣∣∣ 28635

− 335

)F16−→

(1 0

0 1

∣∣∣∣∣ 143105

− 335

)⇒ x0 =

(1.36

−0.086

)


Ajuste de datos

h = a+bx

1 = a + 0b

1.6 = a + 2b

1.4 = a + 4b

0.6 = a + 6b

0.2 = a + 8b

0.8 = a + 10b

⇒

1 0

1 2

1 4

1 6

1 8

1 10

︸︷︷︸

A

(a

b

)︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd⇒

(6 30

30 220

)x0 =

(5.6

22

)(

6 30 5.630 220 22

)F2−5F1−−−−→

(6 30 5.60 70 −6

)F270−→

(6 30 5.60 1 − 3

35

)

F1−30F2−−−−−→

(6 0

0 1

∣∣∣∣∣ 28635

− 335

)F16−→

(1 0

0 1

∣∣∣∣∣ 143105

− 335

)⇒ x0 =

(1.36

−0.086

)


Ajuste de datos

h = a+bx

1 = a + 0b

1.6 = a + 2b

1.4 = a + 4b

0.6 = a + 6b

0.2 = a + 8b

0.8 = a + 10b

⇒

1 0

1 2

1 4

1 6

1 8

1 10

︸︷︷︸

A

(a

b

)︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd

⇒

(6 30

30 220

)x0 =

(5.6

22

)(

6 30 5.630 220 22

)F2−5F1−−−−→

(6 30 5.60 70 −6

)F270−→

(6 30 5.60 1 − 3

35

)

F1−30F2−−−−−→

(6 0

0 1

∣∣∣∣∣ 28635

− 335

)F16−→

(1 0

0 1

∣∣∣∣∣ 143105

− 335

)⇒ x0 =

(1.36

−0.086

)


Ajuste de datos

h = a+bx

1 = a + 0b

1.6 = a + 2b

1.4 = a + 4b

0.6 = a + 6b

0.2 = a + 8b

0.8 = a + 10b

⇒

1 0

1 2

1 4

1 6

1 8

1 10

︸︷︷︸

A

(a

b

)︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd⇒

(6 30

30 220

)x0 =

(5.6

22

)

(6 30 5.6

30 220 22

)F2−5F1−−−−→

(6 30 5.60 70 −6

)F270−→

(6 30 5.60 1 − 3

35

)

F1−30F2−−−−−→

(6 0

0 1

∣∣∣∣∣ 28635

− 335

)F16−→

(1 0

0 1

∣∣∣∣∣ 143105

− 335

)⇒ x0 =

(1.36

−0.086

)


Ajuste de datos

h = a+bx

1 = a + 0b

1.6 = a + 2b

1.4 = a + 4b

0.6 = a + 6b

0.2 = a + 8b

0.8 = a + 10b

⇒

1 0

1 2

1 4

1 6

1 8

1 10

︸︷︷︸

A

(a

b

)︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd⇒

(6 30

30 220

)x0 =

(5.6

22

)(

6 30 5.630 220 22

)F2−5F1−−−−→

(6 30 5.60 70 −6

)F270−→

(6 30 5.60 1 − 3

35

)

F1−30F2−−−−−→

(6 0

0 1

∣∣∣∣∣ 28635

− 335

)F16−→

(1 0

0 1

∣∣∣∣∣ 143105

− 335

)⇒ x0 =

(1.36

−0.086

)Jose Vicente Romero Bauset Tema 6.- Aproximacion por mınimos cuadrados. 11

Ajuste de datos


Ajuste de datos

h(t) = h0 +a1 sen(

πt

6

)+a2 cos

(πt

6

)

1 = h0 + sen(

π06

)a1 + cos

(π06

)a2

1.6 = h0 + sen(

π26

)a1 + cos

(π26

)a2

1.4 = h0 + sen(

π46

)a1 + cos

(π46

)a2

0.6 = h0 + sen(

π66

)a1 + cos

(π66

)a2

0.2 = h0 + sen(

π86

)a1 + cos

(π86

)a2

0.8 = h0 + sen(

π106

)a1 + cos

(π10

6

)a2

⇒

1 0 1

1√

32

12

1√

32 − 1

2

1 0 −1

1 −√

32 − 1

2

1 −√

32

12

︸︷︷︸

A

h0

a1

a2

︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd⇒

6 0 0

0 3 0

0 0 3

x0 =

5.6

1.73

0.8

⇒ x0 =

0.93

0.58

0.27


Ajuste de datos

h(t) = h0 +a1 sen(

πt

6

)+a2 cos

(πt

6

)

1 = h0 + sen(

π06

)a1 + cos

(π06

)a2

1.6 = h0 + sen(

π26

)a1 + cos

(π26

)a2

1.4 = h0 + sen(

π46

)a1 + cos

(π46

)a2

0.6 = h0 + sen(

π66

)a1 + cos

(π66

)a2

0.2 = h0 + sen(

π86

)a1 + cos

(π86

)a2

0.8 = h0 + sen(

π106

)a1 + cos

(π10

6

)a2

⇒

1 0 1

1√

32

12

1√

32 − 1

2

1 0 −1

1 −√

32 − 1

2

1 −√

32

12

︸︷︷︸

A

h0

a1

a2

︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd⇒

6 0 0

0 3 0

0 0 3

x0 =

5.6

1.73

0.8

⇒ x0 =

0.93

0.58

0.27


Ajuste de datos

h(t) = h0 +a1 sen(

πt

6

)+a2 cos

(πt

6

)

1 = h0 + sen(

π06

)a1 + cos

(π06

)a2

1.6 = h0 + sen(

π26

)a1 + cos

(π26

)a2

1.4 = h0 + sen(

π46

)a1 + cos

(π46

)a2

0.6 = h0 + sen(

π66

)a1 + cos

(π66

)a2

0.2 = h0 + sen(

π86

)a1 + cos

(π86

)a2

0.8 = h0 + sen(

π106

)a1 + cos

(π10

6

)a2

⇒

1 0 1

1√

32

12

1√

32 − 1

2

1 0 −1

1 −√

32 − 1

2

1 −√

32

12

︸︷︷︸

A

h0

a1

a2

︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd⇒

6 0 0

0 3 0

0 0 3

x0 =

5.6

1.73

0.8

⇒ x0 =

0.93

0.58

0.27


Ajuste de datos

h(t) = h0 +a1 sen(

πt

6

)+a2 cos

(πt

6

)

1 = h0 + sen(

π06

)a1 + cos

(π06

)a2

1.6 = h0 + sen(

π26

)a1 + cos

(π26

)a2

1.4 = h0 + sen(

π46

)a1 + cos

(π46

)a2

0.6 = h0 + sen(

π66

)a1 + cos

(π66

)a2

0.2 = h0 + sen(

π86

)a1 + cos

(π86

)a2

0.8 = h0 + sen(

π106

)a1 + cos

(π10

6

)a2

⇒

1 0 1

1√

32

12

1√

32 − 1

2

1 0 −1

1 −√

32 − 1

2

1 −√

32

12

︸︷︷︸

A

h0

a1

a2

︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd

⇒

6 0 0

0 3 0

0 0 3

x0 =

5.6

1.73

0.8

⇒ x0 =

0.93

0.58

0.27


Ajuste de datos

h(t) = h0 +a1 sen(

πt

6

)+a2 cos

(πt

6

)

1 = h0 + sen(

π06

)a1 + cos

(π06

)a2

1.6 = h0 + sen(

π26

)a1 + cos

(π26

)a2

1.4 = h0 + sen(

π46

)a1 + cos

(π46

)a2

0.6 = h0 + sen(

π66

)a1 + cos

(π66

)a2

0.2 = h0 + sen(

π86

)a1 + cos

(π86

)a2

0.8 = h0 + sen(

π106

)a1 + cos

(π10

6

)a2

⇒

1 0 1

1√

32

12

1√

32 − 1

2

1 0 −1

1 −√

32 − 1

2

1 −√

32

12

︸︷︷︸

A

h0

a1

a2

︸︷︷︸

x0

=

1

1.6

1.4

0.6

0.2

0.8

︸︷︷︸

d

AtAx0 = Atd⇒

6 0 0

0 3 0

0 0 3

x0 =

5.6

1.73

0.8

⇒ x0 =

0.93

0.58

0.27


Ajuste de datos


Date post:	01-Oct-2018
Category:	Documents
Upload:	truongthuan
View:	212 times
Download:	0 times

Aproximaci on por m nimos cuadrados - …personales.upv.es/jromero1/tema6a.pdf · Introducci on Con...

Documents