Agenda del 17/5/2017

• Regresión lineal – Idea y origen

• La geometría de los mínimos cuadrados

• Los problemas numéricos que conducen a malos resultados. Ejemplo real.

• Mínimos cuadrados no lineales

• Demostración de software

Mínimos Cuadrados Lagrange (1795 ?)

Gauss – 1809)

Regresión unidimensional

a

b

Mínimos cuadrados

Regresión unidimensional

axb

Problema: encontrar una recta que mejor represente la relación

a

b

Regresión unidimensional

xabe iii

• Problema: los datos no están sobre una recta

xab ii

a

b

Regresión unidimensional

xabe iii

• Problema: los datos no están sobre una recta

• Encontrar la recta que minimiza

2)( i

ii xab

xab ii

a

b

Mínimos cuadrados

Supongamos que tenemos los datos siguientes:

a b

1 5.1

2 6.9

1

2

Si la recta es 3 2 resulta

3 2.1 5.1 0.1

3 2.2 6.9 0.1

b a

1

2

1 1 1

2 2 2

1 1 5.13 2

1 2 6.9

y en general para la recta

1

1

. . . .

1m m m

b c ax

x b

x bc a

x b

1

2

Si la recta es 3 2 resulta

3 2.1 5.1 0.1

3 2.2 6.9 0.1

b a

1 1

2 2

1

2

Para plantear lo anterior como un sistema de

ecuaciones lineales definimos la matriz

1

1 y el vector

. . .

1

o sea

1

1

. .

1

m m

m

x b

x b cA A y

a

x b

x

x

x

1

*

2 *

* sea la solución

.

m

b

bc cx

a a

b

Por lo tanto, el vector de errores

– * es ortogonal a

cada vector columna de A.

O sea que – * 0

*

llamadas las ecuaciones normales de Gauss

t

t t

b A x

A b A x

A b A A x

A tiene columnas linealmente independientes si y sólo si ATA es invertible En este caso la solución de aproximación de A x = b es única y está dada por

x* = ( AT A )-1ATb algo verdadero en teoría,

pésimo en la práctica

1 2

En el caso de ajustar una recta

( es cuadrada y simétrica)

1 1 ... 1 resultando

...

t t t

t

m

b c ax

cA A A y A

a

Ax x x

1 1

2 21 11 1

+ ... + y + ... +y

... +...+ ...

estas son las ecuaciones normales de Gauss y

que usan los econometristas, los estadísticos, y

progr

m m

m mm m

m x x c

a x y x yx x x x

amas como Excel

Dan muy malos resultados !!!!!

El modo usual de medir la calidad del ajuste es

mediante el coeficiente de correlación de Pearson

R = coseno del ángulo entre la variable que se quiere

aproximar y la ycalc = w centradas por sus valores

medios

1

2 2

1 1

2

( )( )

( ) ( )

100 es el porcentaje de la varianza explicada

m

i i

i

m m

i i

i i

w w y y

R

w w y y

R

El modo normal de verificar la calidad de una solución es

reemplazarla en el sistema de ecuaciones, midiendo el error

resultante

2

2 1.99999 3.99999Sea

3 2.99999 5.99999

5 0.00006La "solución" da el error (R 1)

7 0.00006

1pero la verdadera solución es

1

¿Qué sucede?

c

a

Veamos lo ultrabásico de los problemas

numéricos porque el tema es largo y complicado.

En toda calculadora o computadora existe un

número TOL que es el más chico tal que

1 1 (por ejemploTOL 9

2

2

2

10 )

1 1 1 1Sea

0 1 1

1 1pero 1 1

1 1

t

t

TOLA A A

TOL TOL

TOL A A

Los programas usuales se concentran en los

errores de medición, ignorando los serios problemas

numéricos.

Supongamos que queremos resolver por mínimos

cuadrados el sistema que tiene por solución

exact

Az y

*

*

1

a .La solución calculada cumple

Nota: los se llaman valores singulares de

y si es muy chico entonces los coeficientes

de regresión pueden ser un desastre.

ESO SUCEDE

n

i

n

z z

Az y Az yz z

A

CON ALGUNOS DATOS AGRONÓMICOS

1 2

1

2

En el ejemplo resulta que

5.0990097 0.000001961

y 0.00008481

5 17.211102551

7 1

0.000084810.00001663

5.0990097

0.0000848143.24

0.000001961

5 0.00001663

7

error

error

error

*

*43.24

c

a

Supongamos que tenemos el sistema

Si el valor singular es chico tenemos

problemas. Pero si consideramos las ecuaciones

normales ahora los valores

singulares son el cuadrado de los origina

n

t t

Az y

A Az A y

2

les

O SEA QUE UN PROBLEMA "MALO"

SE CONVIERTE EN "MALO "

Entonces, si lo que queremos aproximar no es un fenómeno lineal,

qué hacemos ?

Un resultado teórico (teorema de aproximación de Weierstrass) dice que

toda función continua se puede aproximar por polinomios

2 3

0 1 2 3( ) ...

pero tienen un comportamiento oscilatorio

P x a a x a x a x

1 2

0 1 2

0 1 2 1 2

Una generalización esencial es usar

...

las incógnitas son

, , ,..., , ,...

problema muy inestable. En mi tesis

introduje el método de las proyecciones

variables que resuelve el prob

y a a x a x

a a a

1 2

lema usando

solamente , ,...

Veamos una demo del programa testprovar5 (versión 2014)

Funcion logaritmica (100 puntos con perturbaciones aleatorias)

Optimal solution:

coef(1) = -0.11274193D+05

0.11274193D+05*x( 2)** 0.88703244D-04

-0.77877371D-05*x( 3)** 0.16674554D+01

//R// = 0.000000155492

Un caso mucho más complicado:

Función seno (100 puntos perturbados al azar)

Optimal solution:

coef(1) = -0.27152404D-02

0.97839721D+00*x( 2)** 0.97822937D+00

-0.48167402D-01*x( 3)** 0.49191090D+01

0.89193166D-01*x( 4)** 0.46874362D+01

-0.17518434D+00*x( 5)** 0.34057827D+01

//R// = 0.0000086033737

Ejemplos de problemas no lineales

Non-linear least squares

• It is very common in applications for a cost

function f(x) to be the sum of a large number of

squared residuals

• If each residual depends non-linearly on the

parameters x then the minimization of f(x) is a

non-linear least squares problem.

Non-linear least squares

• The M × N Jacobian of the vector of residuals r is defined

as

• Consider

• Hence

Non-linear least squares

• For the Hessian holds

• Note that the second-order term in the Hessian is multiplied by the

residuals ri.

• In most problems, the residuals will typically be small.

• Also, at the minimum, the residuals will typically be distributed with

mean = 0. • For these reasons, the second-order term is often ignored.

• Hence, explicit computation of the full Hessian can again be avoided.

Gauss-Newton

approximation