Clase 7 - Regresión Lineal con Una Variable.pdf

Introduccin a Machine LearningModelo

Descenso del Gradiente

Inteligencia de NegociosRegresin Lineal con Una Variable

Profesor Julio Casanova V.

Facultad de IngenieraUniversidad Mayor

I Semestre 2015

Julio Casanova V. Inteligencia de Negocios



Contenido

1 Introduccin a Machine LearningBIMarco General

2 ModeloRepresentacin del ModeloFuncin de Costo

3 Descenso del GradienteAlgoritmo Descenso del GradienteDescenso del Gradiente para la Regresin Lineal



Descenso del GradienteBIMarco General

Ejemplo BIEstructura informtica necesaria para hacer BI



Descenso del GradienteBIMarco General

Machine Learning y sus Interacciones

MachineLearning

AprendizajeNo Su-pervisado

Clustering

Reglas deAsociacin

AprendizajeSupervisado

RegresinLineal

RegresinLogstica

RedesNeuronales

SupportVectorMachine

Data Mining

Algoritmosde Apren-dizaje Visualizacin

Bases deDatos

InteligenciaArtificial

RobticaProcesamientodel Lenguaje

Natural

EstadsticaDescriptiva

Inferencial



Descenso del GradienteRepresentacin del ModeloFuncin de Costo

Representacin del ModeloPrediccin del precio de la vivienda

x x xxx

x xx x

xxxxx

x

xx

xx

xxxxx

xxxxxx

xx

x

xx

x

xx

xx

x

0 500 1000 1500 2000 2500 30000

100

200

300

400

500

Tamao en pies2

Precio

(US$

)en

miles

Aprendizaje Supervisado Respuestas correctas estn dadas.Regresin Predice como output valores continuos.




Representacin del ModeloConjunto de entrenamiento

Tamao en pies2 (x) Precio ($) en miles (y)

1250 2201320 3001510 3102800 295. . . . . .

Notacin:m = Nmero de ejemplos de entrenamientoxs = Variable input / caractersticays = Variable output / objetivo




Representacin del ModeloHiptesis

Conjunto Entrenamiento

Algoritmo de Aprendizaje

h (Hiptesis)Tamao Casa (x) Precio Estimado

Cmo representamos h?




Representacin del ModeloHiptesis

Tamao en pies2 (x) Precio ($) en miles (y)

1250 2201320 3001510 3102800 295. . . . . .

Hiptesis: h(x) = 0 + 1xi s: Parmetros

Cmo escogemos los i s?




Funcin de Costo

Hiptesis:h(x) = 0 + 1x

Parmetros:0, 1

Funcin de Costo:

J(0, 1) =12m

mi=1

(h(x (i)) y (i))2

Objetivo:min0,1

J(0, 1)




Funcin de Costo

10

15

J(the

ta_0,t

heta_

1)

20

25

30

35

5

0

4

2

theta_1-2

0

-4-4

-2 theta_00

2

4




Funcin de CostoPara 0 = 800 y 1 = 0.15

h(x)(para 0, 1 fijos, esta es una funcin de x)

0 1000 2000 3000 4000 5000100

200

300

400

500

600

700

Tamano en pies cuadrados

Prec

io e

n m

iles

Conjunto entrenamientoHipotesis actual

J(0, 1)(funcin de los parmetros 0, 1)

-1000 -500 0 500 1000 1500 2000

-0.4

-0.2

0

0.2

0.4

theta_0

thet

a_1




Funcin de CostoPara 0 = 300 y 1 = 0


0 1000 2000 3000 4000 5000100

200

300

400

500

600

700


Prec

io e

n m

iles



-1000 -500 0 500 1000 1500 2000

-0.4

-0.2

0

0.2

0.4

theta_0

thet

a_1




Funcin de CostoPara 0 = 71.32 y 1 = 0.13 (ptimo)


0 1000 2000 3000 4000 5000100

200

300

400

500

600

700


Prec

io e

n m

iles



-1000 -500 0 500 1000 1500 2000

-0.4

-0.2

0

0.2

0.4

theta_0

thet

a_1



Descenso del GradienteAlgoritmo Descenso del GradienteDescenso del Gradiente para la Regresin Lineal


Tenemos una funcin J(0, 1)Queremos min0,1 J(0, 1)

Algoritmo:

Partir con algn 0, 1 (podra ser 0 = 0, 1 = 0).

Constantemente cambiar 0, 1 para reducir J(0, 1) hastaque finalmente lleguemos a un mnimo.




Funcin No Lineal

theta_1

-10

-5

J(the

ta_0,t

heta_

1)

0

5

10

-10

12

3

-2-3

-3-2

-1 theta_00

12

3




Algoritmo del Descenso del Gradiente

repetir hasta la convergencia {

j := j j

J(0, 1)

}

(actualizar simultneamentej = 0 y j = 1)

Si es muy pequeo, el descenso del gradiente puede serlento.Si es muy grande, el descenso del gradiente puedesobrepasar el mnimo. Puede dar problemas en laconvergencia, o incluso divergir.




Descenso del Gradiente para la Regresin Lineal

Modelo Regresin Lineal:

h(x) = 0 + 1x

J(0, 1) =12m

mi=1

(h(x (i)) y (i))2

Algoritmo Descenso del Gradiente:


j := j j

J(0, 1), j = 0, 1

}




Descenso del Gradiente para la Regresin Lineal


0 := 0 1mmi=1

(h(x (i)) y (i))

1 := 1 1mmi=1

(h(x (i)) y (i)) x (i)

(actualizar 0 y 1 simultneamente)}




Funcin de CostoSabemos que es una funcin cuadrtica ...

10

15

J(the

ta_0,t

heta_

1)

20

25

30

35

5

0

4

2

theta_1-2

0

-4-4

-2 theta_00

2

4

... y es Convexa, por lo tanto tiene un mnimo global.Julio Casanova V. Inteligencia de Negocios



Iteraciones Descenso del GradientePara 0 = 900 y 1 = 0.1


0 1000 2000 3000 4000 5000100

200

300

400

500

600

700


Prec

io e

n m

iles



-1000 -500 0 500 1000 1500 2000

-0.4

-0.2

0

0.2

0.4

theta_0

thet

a_1






0 1000 2000 3000 4000 5000100

200

300

400

500

600

700


Prec

io e

n m

iles



-1000 -500 0 500 1000 1500 2000

-0.4

-0.2

0

0.2

0.4

theta_0

thet

a_1




Iteraciones Descenso del GradientePara 0 = 360 y 1 = 0


0 1000 2000 3000 4000 5000100

200

300

400

500

600

700


Prec

io e

n m

iles



-1000 -500 0 500 1000 1500 2000

-0.4

-0.2

0

0.2

0.4

theta_0

thet

a_1






0 1000 2000 3000 4000 5000100

200

300

400

500

600

700


Prec

io e

n m

iles



-1000 -500 0 500 1000 1500 2000

-0.4

-0.2

0

0.2

0.4

theta_0

thet

a_1




Iteraciones Descenso del GradientePara 0 = 71 y 1 = 0.13 (ptimo)


0 1000 2000 3000 4000 5000100

200

300

400

500

600

700


Prec

io e

n m

iles



-1000 -500 0 500 1000 1500 2000

-0.4

-0.2

0

0.2

0.4

theta_0

thet

a_1




Inteligencia de NegociosRegresin Lineal con Una Variable

Profesor Julio Casanova V.

Facultad de IngenieraUniversidad Mayor

I Semestre 2015


Introduccin a Machine LearningBIMarco General

ModeloRepresentacin del ModeloFuncin de Costo


Date post:	05-Nov-2015
Category:	Documents
Upload:	esteban-torres
View:	216 times
Download:	0 times

Clase 7 - Regresión Lineal con Una Variable.pdf

Documents