UNIVERSIDAD NACIONAL DEL CENTRO DEL PERÚ

FACULTAD DE INGENIERIA QUÍMICA

DEPARTAMENTO ACADEMICO DE INGENIERIA

CATEDRATICO: Ing. JOSE POMALAYA VALDEZ

CATEDRA: CIENCIAS AMBIENTALES

ALUMNOS:

CONDOR VILLEGAS BELTRAN ESTEBAN AMEUD IZQUIERDO MENDOZA HELEN MEZA RAMOS YOSELIN ROSSY

SEMESTRE: VII

HYO-2014

METODO DE LOS MINIMOS CUADRADOS

DEDICATORIA

El presente trabajo va dirigido a nuestros padres por su esfuerzo y apoyo incondicional y a nuestros maestros por brindarnos sus conocimientos para nuestra formación.

INTRODUCCIÓN

El método de mínimos cuadrados tiene una larga historia que se remonta a los principios del siglo XIX. En Junio de 1801, Zach, un astrónomo que Gauss había conocido dos años antes, publicaba las posiciones orbitales del cuerpo celeste Ceres, un nuevo “pequeño planeta” descubierto por el astrónomo italiano G. Piazzi en ese mismo año. Desafortunadamente, Piazzi sólo había podido observar 9 grados de su órbita antes de que este cuerpo desapareciese tras del sol. Zach publicó varias predicciones de su posición incluyendo una de Gauss que difería notablemente de las demás. Cuando Ceres fue redescubierto por Zach en Diciembre de 1801 estaba casi exactamente en donde Gauss había predicho.

Aunque todavía no había revelado su método, Gauss había descubierto el método de mínimos cuadrados. En un trabajo brillante logró calcular la órbita de Ceres a partir de un número reducido de observaciones, de hecho, el método de Gauss requiere sólo un mínimo de 3 observaciones y todavía es, en esencia, el utilizado en la actualidad para calcular las órbitas.

MARCO TEORICO

METODO DE LOS MINIMOS CUADRADOS

Mínimos cuadrados es una técnica de análisis numérico enmarcada dentro de la optimización matemática, en la que, dados un conjunto de pares ordenados: variable independiente, variable dependiente, y una familia de funciones, se intenta encontrar la función continua, dentro de dicha familia, que mejor se aproxime a los datos (un "mejor ajuste"), de acuerdo con el criterio de mínimo error cuadrático.

En su forma más simple, intenta minimizar la suma de cuadrados de las diferencias en las ordenadas (llamadas residuos) entre los puntos generados por la función elegida y los correspondientes valores en los datos. Específicamente, se llama mínimos cuadrados promedio(LMS) cuando el número de datos medidos es 1 y se usa el método de descenso por gradiente para minimizar el residuo cuadrado. Se puede demostrar que LMS minimiza el residuo cuadrado esperado, con el mínimo de operaciones (por iteración), pero requiere un gran número de iteraciones para converger.

Desde un punto de vista estadístico, un requisito implícito para que funcione el método de mínimos cuadrados es que los errores de cada medida estén distribuidos de forma aleatoria. El teorema de Gauss-Márkov prueba que los estimadores mínimos cuadráticos carecen de sesgo y que el muestreo de datos no tiene que ajustarse, por ejemplo, a una distribución normal.

Los modelos matemáticos existentes en relación con la estimación de la población futura de una comunidad son muy numerosos y de complejidad muy variada. En ellos se cuentan como datos las poblaciones actuales y pasadas y en ocasiones otras variables tales como disponibilidad de suelo, posibilidades industriales, situación con respecto a las líneas de transporte, etc. En este apartado se expondrán, tan sólo, algunos de los más simples y de más frecuente aplicación.

Para decidir cuál de todos resulta más adecuado al caso concreto que se está estudiando es básico el conocimiento de la ciudad y de sus “afueras”, su área comercial, el crecimiento de sus industrias y el estado de desarrollo de la comarca circundante, por supuesto que los sucesos extraordinarios, como el imprevisto desarrollo de una gran industria, trastornan todos los cálculos sobre el futuro crecimiento.

En otros casos resulta conveniente realizar un tanteo sobre el área urbanizable disponible o sobre la previsiblemente urbanizada, a este respecto se puede estimar una densidad conociendo densidad actual, la dinámica de la zona aledaña y considerando usos comerciales e industriales, según la tipología de la ciudad; eso sí, acordes con las normas urbanísticas, planes de desarrollo, planes de ordenamiento territorial, etc. Sin embargo, resulta más difícil prever la tendencia al incremento o a la disminución de la densidad actual y así una zona residencial

actual puede transformarse en un futuro relativamente próximo en una zona comercial o fabril.

Así mismo deben considerarse las posibilidades de migración hacia el lugar, las actividades que representen la población flotante y si existen etnias minoritarias, se requiere de un estudio individual.

Los datos sobre la población presente y pasada pueden obtenerse de diversas fuentes la más importante es sin duda el censo que se realiza cada cierto tiempo, en años intermedios el censo suele actualizarse simplemente atendiendo al movimiento demográfico y de defunciones, aunque esto depende de cada municipio, por lo que en municipios de apreciable dinámica migratoria son poco fiables. En estos años intermedios puede obtenerse información por varios métodos, tales como cámaras de comercio, listas de votantes, servicios públicos y sucursales bancarias. Así mismo pueden establecerse correlaciones con otros parámetros, tales como la población infantil escolarizada o el número de abonados telefónicos.

En general de los métodos de estimación de la población futura que van a describirse, no puede esperarse gran exactitud y debe tenerse en cuenta que dicha exactitud, disminuye cuando:

El periodo de tiempo de la previsión aumenta. La población de la zona disminuye Aumenta la velocidad de variación de la población.

Mínimos cuadrados ordinarios

En estadística, los mínimos cuadrados ordinarios (MCO) o mínimos cuadrados lineales es el nombre de un método para encontrar los parámetros poblacionales en un modelo de regresión lineal. Este método minimiza la suma de las distancias verticales entre las respuestas observadas en la muestra y las respuestas del modelo. El parámetro resultante puede expresarse a través de una fórmula sencilla, especialmente en el caso de un único regresionador.

El método MCO, siempre y cuando se cumplan los supuestos clave, será consistente cuando los regresionadores sean exógenos y no haya perfecta multicolinealidad, este será óptimo en la clase de parámetros lineales cuando los errores sean homocedásticos y además no haya autocorrelación. En estas condiciones, el método de MCO proporciona un estimador insesgado de varianza mínima siempre que los errores tengan varianzas finitas. Bajo la suposición adicional de que los errores se distribuyen normalmente, el estimador MCO es el de máxima verosimilitud. Los MCO se utilizan en economía (econometría) y en la

ingeniería eléctrica (teoría de control y procesamiento de señales), entre muchas áreas de aplicación.

Modelo Lineal

Supongamos que los datos se componen de n observaciones { yi, xi }ni=1. Cada observación incluye una respuesta yi escalar y un vector de regresores o predictores xi. En un modelo de regresión lineal la variable de respuesta es una función lineal de p variables explicativas:

donde β es un vector de parámetros desconocidos p×1 ; εi es un escalar de variables no observadas aleatorias (errores) que dan cuenta de la discrepancia entre la realidad observada yi y los "resultados previstos" x′iβ, y denota la matriz transpuesta, de modo que x′ β es el producto escalar entre los vectores x y el β. Este modelo también se puede escribir en notación matricial como

en donde donde y y ε son vectores n×, y X es una matriz de regresores n×p , a lo que también se le llama la matriz de diseño. Como regla general, el término constante se incluye siempre en el conjunto de regresores X, por ejemplo, mediante la adopción dexi1 = 1 para todo i = 1, …, n. El coeficiente β1

correspondiente a este regresor se le llama el intercepto. Puede haber alguna relación entre los regresores. Por ejemplo, el regresor tercero puede ser el cuadrado del segundo regresor. En este caso (suponiendo que el primer regresor es constante) tenemos un modelo de segundo grado en el regresor segundo. Pero esto todavía se considera un modelo lineal, ya que es lineal en las βs.

Supuestos clave

Existen tres supuestos que deben cumplirse para llevar a cabo una regresión lineal, estos son:

1. La varianza de los errores debe ser homocedastica.2. Las variables explicativas deben ser ortogonales a los residuos, es decir, no

comparten información.3. Los errores no deben estar correlacionados entre sí.

Hay varios diferentes marcos en los que el modelo de regresión lineal pueden ser tratado con el fin de hacer que la técnica de MCO sea aplicable. Cada una de estas configuraciones produce las mismas fórmulas y los mismos resultados, la única diferencia es la interpretación y los supuestos que han de imponerse a fin de que el método pueda dar resultados significativos. La elección de la estructura

aplicable depende principalmente de la naturaleza de los datos a la mano, y en la tarea de inferencia que se tiene que realizar.

Una de las líneas de diferencia en la interpretación es si tratar los regresores como variables aleatorias, o como constantes predefinidas. En el primer caso ("diseño aleatorio) los regresores de xi son aleatorios y se toman muestras del conjunto con los yi de alguna población, como en un estudio observacional. Este enfoque permite un estudio más natural de las propiedades asintóticas de los estimadores. En la otra interpretación (diseño fijo), los regresores de X se tratan como constantes conocidas establecidas por un diseño, y y se muestrea condicionalmente en los valores de X como en un experimento. A efectos prácticos, esta distinción a menudo carece de importancia, ya que la estimación y la inferencia se lleva a cabo mientras se condiciona en X. Todos los resultados consignados en este artículo se encuentran dentro del marco de diseño aleatorio.

Modelo clásico de regresión lineal

El modelo clásico se centra en las "muestras finitas" estimación y la inferencia, lo que significa que el número de observaciones n es fijo. Esto contrasta con otros enfoques, que estudian el comportamiento asintótico de OLS, y en el que el número de observaciones se hace tender hasta el infinito.

Especificación Correcta. La forma funcional lineal se ha especificado correctamente.

Exogeneidad estricta..Los errores en la regresión deben tener media condicionada cero.1

La consecuencia inmediata de la hipótesis de exogeneidad es que los errores han significar cero: E[ε] = 0, y que los regresores no están correlacionadas con los errores: E[X′ε] = 0. El supuesto de exogeneidad es fundamental para la teoría de MCO. Si se mantiene entonces las variables regresoras se llaman exógeno. Si no es así, entonces los regresores que están correlacionadas con el término de error se llaman endógenas,2 y luego las estimaciones MCO dejan de ser válidas. En tal caso, el método de variables instrumentales se pueden utilizar para llevar a cabo la inferencia.

No hay dependencia lineal.. Los regresores en X todos deben ser linealmente independientes. Matemáticamente esto significa que la matriz X deberá tener rango de columna completa prácticamente segura.

Por lo general, se supone también que los regresores tienen momentos finitos de hasta al menos segundo. En tal caso, la matriz Qxx = E [X'X / n] será finita y positiva semi-definido. Cuando esta suposición se viola los regresores se llama linealmente dependiente o multicollinear perfectamente. En tal caso, el valor de la β coeficiente de regresión no puede aprenderse, aunque predicción de los valores de y es posible que los nuevos valores de las variables independientes que se encuentran en el mismo subespacio linealmente dependientes.

Errores esféricos2

donde A es un n × n matriz de identidad, y σ2 es un parámetro que determina la varianza de cada observación. Esta σ2 se considera un parámetro molestia en el modelo, aunque por lo general, se estima. Si esta suposición se viola entonces los estimadores MCO siguen siendo válidos, pero ya no es eficaz. Es costumbre de dividir esta suposición en dos partes:

o Homocedasticidad :E [εi2 | X] = σ2, lo que significa que el término de error tiene la misma varianza σ2 en cada observación. Cuando este requisito se viola esto se llama heterocedasticidad, en tal caso, un estimador más eficiente sería mínimos cuadrados ponderados. Si los errores tienen varianza infinita entonces las estimaciones MCO también tendrá varianza infinita (aunque por la ley de los grandes números que no obstante se tienden hacia los valores verdaderos, siempre que los errores tienen media cero). En este caso, técnicas robustas de estimación se recomiendan.

o Autocorrelación no:los errores no están correlacionados entre observaciones: E [εiεj | X] = 0 para i ≠ j. Este supuesto puede ser violado en el contexto de los datos de series de tiempo, datos de panel, muestras de racimo, datos jerárquicos, datos de medidas repetidas, datos longitudinales, y otros datos con dependencias. En tales casos, mínimos cuadrados generalizados ofrece una mejor alternativa que el OLS.

o Normality: A veces se supone, además, que los errores tienen distribución normal multivariante distribución normal condicional en los regresores:

Este supuesto no es necesario para la validez del método OLS, aunque ciertos muestra adicionales finita propiedades se pueden establecer en el caso cuando lo hace (especialmente en el área de las pruebas de hipótesis). También cuando los errores son normales, el estimador MCO es

equivalente a MLE de máxima probabilidad, y por lo tanto es asintóticamente eficiente en la clase de todos los estimadores regulares.

Independiente e idénticamente distribuido

En algunas aplicaciones, especialmente con datos de corte transversal, un supuesto adicional es impuesto - que todas las observaciones son independientes e

idénticamente distribuidas (iid). Esto significa que todas las observaciones se toman de una muestra aleatoria que hace que todos los supuestos mencionados anteriormente sean más simples y más fáciles de interpretar. Además, este marco permite establecer resultados asintóticos (como el tamaño de la muestra n → ∞), que se entiende como una posibilidad teórica de ir a tener nuevas observaciones independientes de los datos en un proceso de generación de datos. La lista de las hipótesis en este caso es:

o Observaciones iid: (xi, yi) son independientes entre si, y tiene la misma distribución, xj, yj) para todo i ≠ j;

o Hay multicolinealidad perfecta: Qxx = E[ xix′i ] es una matriz indefinida positiva ;

o Endogeneidad: E[ εi | xi ] = 0;o Heterocedasticidad: Var[ εi | xi ] ≠ σ2.

Modelo de series de tiempo

o El proceso estocástico {xi, yi} es estacionario y ergódica ;o Los regresores están predeterminados: E[xiεi] = 0 for all i = 1, …, n;

o La p×p matriz Qxx es de rango completo, y por lo tanto definida positiva ;

o {xiεi} es una secuencia de diferencia martingala , con una matriz finita de segundos momentos Qxxε² = E[ εi

2xix′i ].Estimación

Supongamos que b es un valor de "candidato" para el parámetro β. La cantidad yi − xi′b se denomina residual para la i-ésima observación, mide la distancia vertical entre el punto de datos (xi, yi) y el hiperplano y = x′b, y por lo tanto se determina el grado de ajuste entre los datos reales y el modelo. La suma de cuadrados de los residuos (SSR) (también llamada la suma de cuadrados del error (ESS) o suma residual de cuadrados (RSS)) 3 es una medida del ajuste del modelo general:

donde T denota la matriz de transposición . El valor de b que minimiza esta suma se llama el estimador MCO de β. La función S (b) es cuadrática en b con definida positiva de Hesse , y por lo tanto esta función posee un mínimo

global único en , Que puede ser dada por la fórmula explícita: 4

o de manera equivalente en forma de matriz,

Después hemos estimado β, los valores ajustados (o valores previstos) de la regresión se

donde P = X (X T X) -1 X T es la matriz de proyección en el espacio generado por las columnas de X. Esta matriz P también a veces se llama la matriz sombrero porque "pone un sombrero" a la variable y. Otra matriz, estrechamente relacionado con P es el aniquilador matriz M = I n - P, se trata de una matriz de proyección sobre el espacio ortogonal a X. Tanto las matrices P y M son simétricas y idempotente (lo que significa que P 2 = P), y se refieren a la matriz de datos X a través de identidades PX y MX = X = 0. [7] Matriz M crea los residuos de la regresión:

El uso de estos residuos se puede estimar el valor de σ2:

El numerador, np, son los grados de libertad estadísticos . La primera cantidad, s 2, es la estimación OLS para σ 2, mientras que el segundo, \ Scriptstyle \ hat \ sigma ^ 2 , Es la estimación MLE para σ 2. Los dos estimadores son bastante similares en muestras grandes, el primero es siempre imparcial , mientras que el segundo está sesgado, pero reduce al mínimo el error cuadrático medio del estimador. En la práctica s 2 se utiliza con más frecuencia, ya que es más conveniente para la prueba de

hipótesis. La raíz cuadrada de 2 s se denomina el error estándar de la regresión (SER), o el error estándar de la ecuación (VER).5

Es común para evaluar la bondad del ajuste de la regresión por mínimos cuadrados mediante la comparación de la cantidad de la variación inicial en la muestra se puede reducir mediante la regresión en X. El coeficiente de determinación R 2 se define como una proporción de "explicado" varianza de la varianza "total" de la variable dependiente y: [8]

donde TSS es la suma total de los cuadrados de la variable dependiente, L = I n - 11 '/ n, y 1 es una n × 1 vector de unos. (L es un "matriz de centrado", que es equivalente a la regresión en una constante;. Simplemente resta la media de una variable) A fin de que R2 sea significativo, la matriz X de datos sobre regresores debe contener un vector columna de unos para representar la constante cuyo coeficiente es el intercepto de regresión. En ese caso, R2 siempre será un número entre 0 y 1, con valores cercanos a 1 que indica un buen grado de ajuste.

Modelo de regresión simple

Si la matriz de datos X contiene sólo dos variables: una constante, y un regresor escalar x i, entonces esto se llama el "modelo de regresión simple". [9] Este caso se considera a menudo en las clases de estadísticas para principiantes, ya que ofrece mucho más simple fórmulas incluso adecuados para el cálculo manual. Los vectores de parámetros de tal modelo es de 2 dimensiones, y se denota comúnmente como (α, β):

Las estimaciones de mínimos cuadrados en este caso vienen dadas por fórmulas simples

SOLUCION DEL PROBLEMA DE LOS MINIMOS CUADRADOS

La aproximación mínimo cuadrática consiste en minimizar el error cuadrático mencionado más arriba, y tiene solución general cuando se trata de un problema de aproximación lineal (lineal en sus coeficientes  ) cualesquiera que sean las

funciones base:   antes mencionadas. Por lineal se entiende que la aproximación buscada se expresa como una combinación lineal de dichas funciones base. Para hallar esta expresión se puede seguir un camino analítico, expuesto abajo, mediante el cálculo multivariable, consistente en optimizar los coeficientes ; o bien, alternativamente, seguir un camino geométrico con el uso de el álgebra lineal, como se explica más abajo, en la llamada deducción geométrica. Para los Modelos estáticos uniecuacionales, el método de mínimos cuadrados no ha sido superado, a pesar de diversos intentos para ello, desde principios del Siglo XIX. Se puede demostrar que, en su género, es el que proporciona la mejor aproximación.

METODO DE LOS MINIMOS CUADRADOS

Estos métodos s e basan en los métodos equidistantes en el tiempo a través de la metodología que se presenta a continuación:

i x Y logY X2 XY XlogY123..nn+1

X1

X2

X3

.

.

Xn

Xn+1

Y1

Y2

Y3

.

.

Yn

Yn+1

LogY1

LogY2

LogY3

.

.

LogYn

(x1)2

(x2)2

(x3)2

.

.(xN)2

X1Y1

X2Y2

X1Y1

.

.

XnYn

X1 LogY1

X2 LogY1

X3 LogY1

.

.

Xn LogYn

suma ΣX ΣY ΣlogY ΣX2 ΣXY ΣXlogYProm. ΣX/n ΣY/N ΣogY/n ΣX2/n ΣXY/N ΣX logY/n

Dónde:

Yi=( Xi+1-XI)/XI

YI=razon de crecimiento Xi=población

CRECIMIENTO ARITMETICO

Los valores de XI E Yi ;varían linealmente:

El cálculo de ay b realiza mediante el siguiente sistema de ecuaciones

a+b(ΣXN )−(ΣYN )=0

YI=a+bXI

a (ΣXn )+b (ΣX2

n )−(ΣXYn )=0

Alternativamente en lugar de usar la ecuación (2) ,se puede usar la siguiente ecuación:

a+b( ΣX2ΣX )−( ΣXYΣX )=0

CRECIMIENTO GEOMETRICO

Los valores de Xi e Yi ;varían exponencialmente según:

LogYI=loga+(bloga)XI

Y=A+BX

LA DETERMINACION DE LAS CONSTANTES AY B SE HACE MEDIANTE EL SIGUIENTE SISTEMA DE ECUACIONES:

A+B( ΣXn )−( ΣlogYn )=0 ………………………(1)

A+B( ΣX2ΣX )−( ΣlogYΣX )=0 ………………………(2)

A( ΣXn )+B (ΣX 2n )−(ΣlogYn )=0 ………………………(3)

Ayb se determinan mediante: a=10^

b=B/loge

YI=aebXI

ANEXOS