Estimacion_Puntual

7
ESTIMACIÓN PUNTUAL Hugo Alvarado - Lidia Retamal La estadística es una disciplina que se preocupa de desarrollar técnicas y modelos que permitan estudiar la forma como la incertidumbre de un fenómeno es alterada por información disponible. El análisis de la información disponible en el contexto de un modelo estadístico, para inferir aspectos relacionados con la incertidumbre de un fenómeno corresponde a lo que se denomina Inferencia Estadística. La Inferencia Estadística puede dividirse en dos grandes áreas : Estimación de Parámetros y Pruebas de hipótesis. En muchos problemas estadísticos, es necesario utilizar una muestra de observaciones tomadas de la población de interés con objeto de obtener conclusiones sobre ella. A continuación se presenta una definición formal de algunos términos. Una Población está formada por la totalidad de las observaciones de las cuales se tiene cierto interés. Una Muestra es un subconjunto de observaciones seleccionadas de una población. Una Muestra Aleatoria (m.a.) de una población X es un conjunto de variables aleatorias independientes e idénticamente distribuidas cada una con la distribución de X. La función de probabilidad conjunta de las observaciones muestrales es = = El proceso de muestreo permite obtener información acerca de los parámetros de la distribución de la población. Generalmente, se sabe el tipo de distribución que tiene la población, pero se desconocen los parámetros. Un Estadístico es una función de los valores de la muestra que no depende del parámetro de la población. Si es una muestra aleatoria de tamaño n, entonces la media de la muestra = = , la varianza de la muestra ( ) - - = = , y la desviación estándar muestral S, son estadísticas. Un estadístico es una variable aleatoria, ésta tiene una distribución de probabilidad. A. ESTIMACIÓN PUNTUAL DE PARÁMETROS El objeto de muestrear una población es tener estimaciones de los parámetros poblacionales mediante las observaciones obtenidas en una muestra aleatoria . Un Estimador Puntual es un estadístico cuyos valores son utilizados como valores estimados de un parámetro. El valor de un estimador puntual recibe el nombre de estimación. Si en una distribución se conoce su distribución , pero se ignora los valores que toma el parámetro , el problema estadístico consiste en estimar dicho valor a través de la información entregada por una muestra. Llamaremos Estimador de un parámetro θ a cualquier estadístico o función de la muestra aleatoria que nos permite hacer conjeturas acerca del verdadero valor θ que es desconocido. Por ejemplo, a menudo es necesario estimar: 1) La media μ de una población 2) La varianza σ de una población 3) La proporción p de objetos de una población que pertenecen a cierta clase de interés 4) La diferencia entre medias de dos poblaciones, μ μ - 5) La diferencia entre proporciones de dos poblaciones, - Observación : a) Un estimador θ de un parámetro θ es una variable aleatoria porque depende de los datos muestrales: ...., etc. b) Así un estimador tiene una esperanza y una varianza θ y θ .

Transcript of Estimacion_Puntual

Page 1: Estimacion_Puntual

ESTIMACIÓN PUNTUAL �

Hugo Alvarado - Lidia Retamal �

La estadística es una disciplina que se preocupa de desarrollar técnicas y modelos que permitan estudiar la forma como la incertidumbre de un fenómeno es alterada por información disponible. El análisis de la información disponible en el contexto de un modelo estadístico, para inferir aspectos relacionados con la incertidumbre de un fenómeno corresponde a lo que se denomina Inferencia Estadística. La Inferencia Estadística puede dividirse en dos grandes áreas : Estimación de Parámetros y Pruebas de hipótesis. En muchos problemas estadísticos, es necesario utilizar una muestra de observaciones tomadas de la población de interés con objeto de obtener conclusiones sobre ella. A continuación se presenta una definición formal de algunos términos. Una Población está formada por la totalidad de las observaciones de las cuales se tiene cierto interés. Una Muestra es un subconjunto de observaciones seleccionadas de una población. Una Muestra Aleatoria (m.a.) de una población X es un conjunto de variables aleatorias ���� ���������� �� independientes e idénticamente distribuidas cada una con la distribución de X. La función de probabilidad conjunta de las observaciones muestrales es

��

���� ������

��� �����������

==

El proceso de muestreo permite obtener información acerca de los parámetros de la distribución de la población. Generalmente, se sabe el tipo de distribución que tiene la población, pero se desconocen los parámetros. Un Estadístico es una función de los valores de la muestra que no depende del parámetro de la población. Si ���� ���������� �� es una muestra aleatoria de tamaño n, entonces la media de

la muestra �

��== � , la varianza de la muestra

( )�

−=�

=

��

, y la desviación estándar

muestral S, son estadísticas. Un estadístico es una variable aleatoria, ésta tiene una distribución de probabilidad. A. ESTIMACIÓN PUNTUAL DE PARÁMETROS El objeto de muestrear una población es tener estimaciones de los parámetros poblacionales mediante las observaciones obtenidas en una muestra aleatoria . Un Estimador Puntual es un estadístico cuyos valores son utilizados como valores estimados de un parámetro. El valor de un estimador puntual recibe el nombre de estimación. Si en una distribución se conoce su distribución , pero se ignora los valores que toma el parámetro , el problema estadístico consiste en estimar dicho valor a través de la información entregada por una muestra. Llamaremos Estimador de un parámetro θ a cualquier estadístico o función de la muestra aleatoria que nos permite hacer conjeturas acerca del verdadero valor θ que es desconocido. Por ejemplo, a menudo es necesario estimar:

1) La media µ de una población

2) La varianza �σ de una población 3) La proporción p de objetos de una población que pertenecen a cierta clase de interés 4) La diferencia entre medias de dos poblaciones, �� µµ − 5) La diferencia entre proporciones de dos poblaciones, �� �� −

Observación :

a) Un estimador ∧θ de un parámetro θ es una variable aleatoria porque depende de los datos

muestrales: �� ��� ...., etc.

b) Así un estimador tiene una esperanza y una varianza ��

���

� ∧θ� y �

���

� ∧θ .

Page 2: Estimacion_Puntual

� ��

Propiedades de los Estimadores Puntuales

1. Insesgamiento: Un estimador es insesgado si el valor medio de todas sus estimaciones

obtenidas en una muestra de tamaño n, es igual al parámetro que estima. Entonces ∧θ es un

estimador insesgado si θθ =��

���

� ∧� . De lo contrario se dice que es sesgado.

���������� ��∧� ������� �������� ��������� ��� ��������������������������� �������� ����� �����

�� ������ ����� �����

��

���

=∧

= � ��������

=��� ������������������������������������

��� ������������������������������������ �

������������� ��∧� ������� ����� ��������������

����� ������ ������∧� ����

�� ��� −�

2. El sesgo B de un estimador puntual ∧θ está dado por B = θθ −�

���

� ∧�

3. Consistencia: La consistencia de un estimador está relacionada con su proximidad al parámetro que estima cuando el tamaño de la muestra que se utiliza tiende a ser infinita.

Definición : Un estimador de ∧θ de un parámetro θ es consistente si ��������������� =��

����

�≤−

∞→εθθ

Por razones prácticas se utiliza el siguiente teorema para verificar la consistencia de un estimador.

Teorema : Si para un estimador ∧θ de un parámetro θ se cumplen las siguientes condiciones:

i) �������������� =��

���

� −∧

∞→θθ�

ii) ������������ =��

���

� ∧

∞→θ

Entonces, ∧θ es un estimador consistente.

���� ��� �� � �� ��� ����� ��� ���� ��� � �� �� !� µ � "� �� ��� #�$ �� !� �σ %� ��� � ���� ��� �������

����� �� ���� ���������� �� ��&����������� � ����������� ��������� ���������� µ ��

�������������� � ��!�µ �"��#� � ��!��

�σ��

'����%�� ( ) ����������������� =∞→

µ�

��"�� ( ) ������������� =∞→�

��

&��������%�� � ����������� ��������� ���������� µ ��

�������&���������� �� ����������� ��������� ���������� �σ �

Teorema : Si ∧θ 1 es un estimador consistente del parámetro θ 1 y

∧θ 2 es un estimador

consistente del parámetro θ 2. Se cumple :

a) ∧θ 1+

∧θ 2 es un estimador consistente del parámetro θ 1 + θ 2.

b) ∧θ 1

∧θ 2 es un estimador consistente del parámetro θ 1 θ 2.

c) ∧θ 1/

∧θ 2 es un estimador consistente del parámetro θ 1 / θ 2.

4. Estimadores de Mínima Varianza Si se consideran todos los estimadores insesgados de θ , el que tiene la menor varianza recibe el nombre de estimador insesgado de varianza mínima (EIVM). Este estimador es llamado el mejor de todos los estimadores. �

���� ���� ��������������������� ���������$ ��!�θ �"�#�$ ��!� �σ ������� �������������������(��

) ��� �� ����*���������� �� ��������� �����������������∧θ +!� ���

���� ++ ���"��

∧θ ,�!� � �

��∧θ +��!� ��

���

���

���� ������ ++ !� θ�

���

� ++�

��!�θ �����"������

∧θ ,��!���� � ��!�θ �

Administrador
Highlight
Page 3: Estimacion_Puntual

� ��

'���������� ����������� ��������%�������-�������� ����

#�∧θ +��!� ��

��

���

���

��

���� ��� ++ �!� �

� σ ����"����#��∧θ ,��!�

� σ �

&����������%�∧θ ,�����������������

5. Error Cuadrático Medio Definición : El error cuadrático medio (ECM) es el valor esperado de la desviación cuadrática

entre el estimador y el parámetro que estima ECM = ��� θθ −∧

� , desarrollando la expresión, se obtiene:

��� θθ −∧

� =

���������������

���

���

��

���

� −+���

���

�−

∧∧∧θθθθ ��� = ��

∧θ + ��� θ�

Esto es, el error cuadrático medio de ∧θ es igual a la varianza del estimador más el cuadrado

del sesgo. Si ∧θ es un estimador insesgado de θ , el error cuadrático medio de

∧θ es igual a la

varianza de ∧θ .

El error cuadrático medio es un criterio importante para comparar dos estimadores. De acuerdo a valores que pueda tomar el parámetro, es posible que un estimador sesgado sea mejor que uno insesgado.

���������� ����������∧θ +�"�

∧θ ,������������� �������������*������θ �� ������������

��∧θ +��!�θ �%���#�

∧θ +��!�) ��%���

∧θ ,��!�. �/ θ ���"��#�

∧θ ,��!�,%��������������������������*� ������� ������

� ��������∧θ ,��������������

∧θ +�

6. Suficiencia Dada una población distribuida f(X,θ ) que depende de un solo parámetro θ , se extrae una

muestra aleatoria ���� ���������� �� y un estadístico ∧θ = g( ���� ���������� �� ) es utilizada para estimar

θ . Dado que ∧θ es una sola variable aleatoria disponemos de n v. a., cabe preguntarse si se perdió alguna

información al usar ∧θ . si

∧θ = X1 por ejemplo, es evidente que no fue usada toda la información.

Un estadístico ∧θ que contempla toda la información respecto al parámetro que está en la

muestra, recibe el nombre de Estadístico Suficiente. Ningún otro estimador definido con la misma muestra puede suministrar información adicional respecto a θ . Para determinar cuando un estadístico es suficiente se hará uso del siguiente teorema. Teorema : Sea ���� ���������� �� una muestra aleatoria sacada de una población f(X,θ ) si

��

���� ������

��� �����������

== y �������� �� �� ⋅=

∧θθθ , en donde ���� no depende θ , entonces

∧θ

es un estadístico suficiente para θ . ��������� 0��� �������� ��� ��� �� ���� ���������� �� � ��� ��� ����� ��� %� ���������

( )( )�

=−

−−=

����

��� �

�����µ

πθ �

0�����

���=

−�

��� µ !� ( ) ( )�

µ−+−�=

�����

�� �� �� �������������

1 �2%�� �� � %� �µ !� ( )( )�

����

�� ���� −

−−

−− ⋅

�� ���

��

��µ

π ����

'����%�� � �����������2�� ������ � �������� µ

Page 4: Estimacion_Puntual

� ��

Un estadístico suficiente que resume los datos tanto como sea posible, es llamado Estadístico Suficiente Minimal . Para encontrar estos estadísticos suficientes minimales usaremos el método de Lehmann y Scheffe: Sean ���� ���������� �� e ���� ���������� �� dos conjuntos de valores que toman las variables

���� ���������� �� de la m. a. Si se forma la razón

����������������

����������������

��

��

θθθθθθ

������

������

⋅⋅⋅⋅⋅⋅

si esta razón no incluirá al parámetro θ , si existe una función g tal que ������������ �� ���� =

������������ �� ���� , en tal caso ������������ �� ���� es el estadístico suficiente minimal para θ .

���������� �� �� ��� ≈ %������������������

��

����

����

����

����−−

−−

⋅⋅⋅⋅

��

��

�������

�������

��

��

�!� � �−

−�� ��

��

�� ��

� � �= �� �� �� ����� ��� ������� ����� ��� ��� '����%� � =��� �=

���

��� ��� ����2�� ��� ��� � ����

mínimal de p, o sea , ∧� =

��

���

=� es estimador que contiene toda la información de la muestra

con un mínimo de información. Este es por tanto, un estimador insesgado lineal de mínima varianza (EIMV). 7. Eficiencia En el estudio de la consistencia de un estimador se percibe que mientras menor es la varianza de un estimador incrementa la probabilidad de obtener estimaciones más próximas al verdadero valor del parámetro que se estima. Luego, mientras más pequeña es su varianza, mayor es la eficiencia del estimador.

Definición: Un estimador insesgado ∧θ es el más eficiente de todos los estimadores insesgados

si su varianza satisface la Cota Inferior de la Desigualdad de Cramer – Rao.

����

���

���

∂∂

≥∧

θθ

�

��

Si ∧θ no es un estimador insesgado de θ , se puede probar que la cota de Cramer-Rao está

dada por

����

���!����

���

∂∂+≥

∧∧

θθ

θθ��

��

� =

��

�"��

θ

θ

� ��

���

� +∧

La cantidad ��θ� representa la cantidad de información conocida como información de Fisher. De aquí, que la CCR se conoce con el nombre de Desigualdad de Información.��

���� ���� � � ��������������������������������� ���� ���������� �� ������������ ��� ��� ���������

������ ��� �

�σ ������ �%��������������� � ���������� ������*���� � ����������� �������� � µ � 8. Eficiencia Relativa

Si hay dos estimadores ∧θ 1 y

∧θ 2 insesgados, para el mismo parámetro θ , el estimador

∧θ 2 es

más eficiente que ∧θ 1 si V(

∧θ 2) < V(

∧θ 1).

Definición: la eficiencia relativa de ∧

θ 2 respecto a ∧θ 1 se obtiene formando el cuociente de las

varianzas E = V(∧θ 2) / V(

∧θ 1) . Si E < 1,

∧θ 2 es más eficiente que

∧θ 1 .

Administrador
Highlight
Page 5: Estimacion_Puntual

� #�

Ejercicio1 : Sea la variable aleatoria Y con distribución binomial de parámetros n y p. Considere los siguientes estimadores: ��� � =�

y ( ) ( )� �� ++= ����

a) Verifique que ��

� es un estimador insesgado de p .

b) Obtenga el sesgo de ���

.

c) Obtenga ( )������

y ( )������

. d) ¿Es ��

� un estimador eficiente del parámetro p ?. Justifique estadísticamente.

Ejercicio2: Suponga que ∧

�θ y ∧

�θ son estimadores del parámetro θ . Se sabe que θθ =��

���

� ∧

��

y =��

���

� ∧

��

���� ��� =�

���

� ∧θ , �� =�

���

� ∧θ . ¿Qué estimador es mejor?. ¿En qué sentido lo es?.

B. Métodos de Estimación Los métodos para determinar estimadores de parámetros son : Método de Máxima Verosimilitud y Métodos de los Momentos. Uno de los mejores métodos para obtener un estimador puntual de un parámetro es el método de máxima verosimilitud. �

��������������������� ������� �������������

Consideremos una �� ��������� X con distribución de forma conocida f que depende de un parámetro θ desconocido. Si una m. a. de n observaciones ���� ���������� �� es tomada, se define la función de verosimilitud de dicha muestra

�$����������

���� �

�����

�$�=

= θ

A la función de probabilidad conjunta, si X es discreta o función de densidad conjunta si X es continua que resulta para un determinado valor de θ . Para cada valor de θ , la función de Verosimilitud de la muestra sería distinta.

Definición: El EMV de θ , denotado por ∧

θ , basado en una muestra aleatoria ( ���� ���������� �� ) es aquel que hace máxima a la función de verosimilitud. Observación: 1. Para simplificar el cálculo del máximo de la función de verosimilitud aplicamos logaritmo natural a la función �$� θ�� , lo que es posible dado que la función logaritmo es una función creciente y por tanto, el máximo valor de �$� θ�� se obtiene para el mismo valor que la función logaritmo natural.

2. Si la distribución depende de un parámetro θ entonces ���� θθ

���

� = 0 se llama

Ecuación de Verosimilitud. Si la distribución depende de dos parámetros θ = ( )βα � entonces se forma un sistema de ecuaciones de verosimilitud. Ejemplo : Sea X una población distribuida Poisson de parámetro λ . Determinar el EMV de λ sacado de una muestra aleatoria ���� ������� �� extraída de la población.

Solución : �� ��λ≈ � %

���

��

���

� λλ −

= con x = 0,1,2,....

La función de verosimilitud es ∏

� −

=%

����

��

���

� λλλ

Aplicando logaritmo natural ln ��� λ�� = � ∏=

−+−�

��� ���

%�� λλ

Derivando con respecto a λ , se tiene que �=∧λ .

Page 6: Estimacion_Puntual

� ��

Propiedades de los EMV. 1.Insesgamiento: Los EMV pueden ser sesgados, pero al incrementar el tamaño de la muestra n se hace asintóticamente insesgados. Por ejemplo: El estimador de la varianza obtenida en

una muestra n de una población normal es ( ) ��

��

� −=∧σ .

2. Consistencia : Bajo ciertas condiciones los EMV son consistentes. 3. Invarianza: Esto significa que si existe una función de un parámetro, se obtiene un estimador de la función sustituyendo el parámetro por su EMV.

La función ��θ es estimada por ����∧∧

= θθ . 4. Distribución Asintótica Normal : La varianza asintótica de un estimador es la cota inferior

de Cramer-Rao. �

����

���

���

∂∂

=∧

θθ

�

��

.

Así, un EMV ∧θ tiene una distribución normal con parámetros �θ y �

∧θ ), siendo �θ el verdadero

valor del parámetro θ . �

������������&�� nXXX �������������� �� ���������� ���������'������(�����������������)�*�+�����

( )βα ��= ������ 0 ; >>���

����

�=

−β

ββ yxexxf

x

��

� �

��� ����

���,��-����������)�*�����./����(��������������� β ��

���0���∧β �����������������-������� β �1��2���3�'����������������

���4������'����������������./����(����5�����)���������������������3�)�����

���4�����6�����7� β �6��

8�����9��)������������������������/����������4� ��>x ��

�II. Métodos de los Momentos

�Es una técnica simple y muy antigua para obtener los estimadores de los parámetros de una distribución. Esta basado en el hecho de que si dos distribuciones tiene cierto número de momentos iguales serán “muy parecidos”, De hecho si los momentos de todos los órdenes son iguales, las distribuciones serán idénticas. Si la distribución de una variable depende de k parámetros, este método permite obtener los estimadores de dichos parámetros igualando los k primeros momentos muestrales con los k primeros momentos poblacionales.

El k-ésimo momento muestral respecto al origen se define �=

=�

��

��

Según si la variable es discreta o continua, el k-ésimo momento poblacional respecto al origen es �� �

� ��=µ .

���������'������� ���������� ��������

≤≤=����

��

�� �

���

��

��θ

θ �

3�*������������������������ ������(����%��������������������� �������������4������������

������������θ ���� ��

�=∧θ ��

Page 7: Estimacion_Puntual

� 8�

Ejercicios Propuestos de Estimación Puntual 1. Sea ���� ���������� �� una muestra aleatoria de la variable aleatoria distribuida Poisson de parámetro θ desconocido. Considere los siguientes estimadores :

∧θ =

��

���

=� y �

∧θ = � ⋅

+ =

����

�� ����

� Ind.: �

���

+=�

=

���

a) Demuestre que �

∧θ y �

∧θ son estimadores insesgados de θ .

b) ¿ Es �

∧θ un estimador consistente de θ ?. Justifique su respuesta.

c) Demuestre que �=

���

es suficiente para θ .

d) Determine el estimador máximo verosímil para θ�−� .

e) Encuentre la distribución aproximada para �

∧θ .

f) Obtenga el estimador mediante el método de los momentos de θ . 2. Suponga que ��� �� ��� forman una muestra aleatoria de una distribución exponencial con la

función densidad ��$�������������

�$��

>=−

����

θθ

θ

Considerando los estimadores ��: �=θ

�: ���

�� +=θ

a) Pruebe que los estimadores �:θ y �

:θ son insesgados de θ . b) ¿Cuál tiene la menor varianza?. c) Calcular la eficiencia relativa de �

:θ con respecto a �:θ

d) Obtener el estadístico suficiente minimal para θ . 3. Sea X � , ...., X � una muestra aleatoria de una población con media µ y varianza �σ . Considere los tres estimadores siguientes para µ :

�µ = �

�� �� + ; ∧

�µ = �����

�����

��� �� �

���+

−++

+ − ; ∧

�µ = �

a) Demuestre que cada uno de los tres estimadores es insesgado.

b) Determine la eficiencia relativa de ∧

�µ con respecto a ∧

�µ y ∧

�µ , respectivamente. 4. Sea ���� ����� �� una muestra aleatoria con función densidad de probabilidad

f(x) = ��

� ><<

����

�$���� ��

���

� θθ θ

a) Demuestre que � es un estimador consistente de �+θ

θ .

b) Obtenga el estadístico mínima suficiencia para θ . c) Obtenga un estimador para θ por el método de los momentos. d) Obtenga el estimador de máxima verosimilitud para θ . Compare su respuesta con el estimador mediante momentos encontrado en parte c). 5. Sea � � � �� �� ���� una muestra aleatoria de una distribución Rayleigh con parámetro θ ,

dada por f(x) = ��

>�

���

� −

����

�� �

���

��� � θ

θ .

a) Demuestre que �=

���

� es suficiente para θ .

b) Utilice �=

���

� para encontrar un estimador insesgado de mínima varianza de θ .

c) Determinar el estimador máximo verosímil de θ y por el método de los momentos.