Estatísticas Ordinais Ano Lectivo 2005 / 2006 Estatística de Extremos Isabel Fraga Alves CEAUL &...

Estatísticas OrdinaisAno Lectivo 2005 / 2006

Estatísticade

Extremos

Isabel Fraga AlvesCEAUL & DEIO

Universidade de Lisboa

Ano Lectivo 2005 / 2006 – 2 Curso Pós-graduado de Especialização em Probabilidades e Estatística, Isabel Fraga Alves

Plano

O que são Valores Extremos ? Importância de um estudo

diferenciado?

Áreas de aplicação

Modelos de Valores Extremos e Modelo Normal

Quantis Teóricos e Quantis Empíricos.

Excedências de nível e Períodos de Retorno

PPP-plot, PP-plot e QQ-plot: ilustração com alguns ficheiros de

dados.

Importância do peso da cauda na estimação de Quantis

Extremais

Dados S&P500 e noção de VaR

Abordagens: MMA, POT, MO,

Dois Testes de detecção do peso da cauda: Abordagem PORT

Ilustração: 3 conjuntos de dados


Katrina : Um desastre (não)natural?

•Nova Orleães encontra-se situada abaixo do nível do mar, no meio de dois lagos, a norte e a Este, e do rio Mississipi a sul.

•De acordo com as informações divulgadas pelas autoridades locais, esta inundação deveu-se, sobretudo, a uma brecha de 60 metros num dique junto ao lago Pontchartrain.


New Orleans After Hurricane Katrina: An Unnatural Disaster?

•The next thing they need to do is to have a double-tiered dike system. I'll refer to them as dikes instead of levees, because we need Dutch engineers to design these structures, not the Army Corps of Engineers.

•The first structure should be a concrete damn structure of at least 40-50 feet high that is built all along the lake and every Canal that connects to the lake.

•This plan would cost billions, but would guarantee that New Orleans would NEVER face this tragedy again.

•WE can work with Dutch engineers and get this engineered properly.

NewYorkTimes,Sept’05


New Orleans After Hurricane Katrina: An Unnatural Disaster?

•New Orleans was built on a delta.

•Engineers surrounded it with dikes for flood protection.

•Yes, I know about Holland.

•Holland is not on the Mississippi River. It is not in hurricane alley.

•It was a matter of time. So is the next disaster, if this lesson isn't learned. Do we really want to do this again in 20 years?


O que são Valores Extremos?

•Quando calamidades naturais de grande magnitude acontecem, questionamos acerca da sua ocorrência e frequência

→ Acontecimentos Raros?

• Poderiam ter sido tomadas providências (do Lat. providentia, acto de ver com

antecipação: s. f., suprema sabedoria divina (grafado com inicial maiúscula); Deus; medida, resolução que se toma para evitar um mal ou para corrigir irregularidades; acontecimento feliz; pessoa que

protege outrem; prevenção) de forma a prevenir ou a estarmos melhor preparados para tais calamidades?

• Secas, Inundações, Terramotos, Furacões ou Ventos Ciclónicos, Tempestades de Precipitação, ...



• Um engenheiro em Nova Orleães pode querer construir um dique com uma altura tal que só

“muito raramente”

vê ameaçada a sua estrutura face a calamidades associadas.

• Um engenheiro no Japão pode estar interessado em construir um arranha-céus que permaneça intacto perante um “terramoto de 100-anos”, i.e., que em média

“ocorre de 100 em 100 anos”

• Um engenheiro pode querer construir uma ponte sobre o Mississipi, fixando a sua altura de forma a que esperemos que a água do rio ultrapasse o nível da ponte “muito raramente”, digamos

“uma vez em 200 anos”



• Os exemplos apresentados são apenas alguns dos muitos que poderíamos enumerar, na área de

→ Fenómenos Naturais

• É evidente que as características de interesse naqueles casos são

extremos no sentido que focamos a nossa atenção para o

• MÍNIMO ( por ex, SECAS – Mínimo da quantidade de Precipitação )

• MÁXIMO ( por ex, INUNDAÇÕES – Máximo do Caudal de um rio )


Porque são importantes os Modelos de Valores Extremos?

• Em muitas aplicações estatísticas o interesse é dirigido para a estimação de características centrais (ex, o valor médio da precipitação, o valor médio da temperatura) tendo por base amostras aleatórias provenientes da população sob estudo.

• No entanto, em muitas áreas aplicadas, estamos interessados na ocorrência de acontecimentos raros, ie, de grandes ou pequenos valores.

• Para os engenheiros, é sabido que os valores utilizados em construção (barragens, edifícios, pontes, etc) são obtidos como um compromisso entre segurança e custo, ie, garantindo a sua “sobrevivência” quando sujeitos a condições extremas e a um “custo” razoável.


Porque são importantes os Modelos de Valores Extremos?

• A estimação na área de valores extremos é difícil, devido à falta de dados disponíveis.

• O uso de factores ou cargas de segurança tem sido uma solução clássica para o problema, mas actualmente é sabido que esta solução não é completamente satisfatória quer em termos de segurança quer de custo:

por um lado, elevadas probabilidades de falha podem vir a ser obtidas; por outro, eventualmente os projectos de construção têm associados gastos elevados desnecessariamente.

• O conhecimento das distribuições do máximo (e do mínimo) dos fenómenos de interesse é importante na obtenção de boas soluções em problemas de planeamento.


Exemplos de Aplicação• Engenharia Marítima → alturas de onda para a construção de plataformas, diques, molhes costeiros, quebra-mar, etc.

Qual a distribuição da onda máxima?

• Engenharia Estrutural → ventos extremos, em termos de velocidade do vento (ou incidência sísmica), tendo por objectivo a construção de edifícios.

Qual a distribuição da velocidade de vento máxima?

• Meteorologia → condições meteorológicas extremas influenciam muitos aspectos da vida do ser humano tais como a agricultura ou vida animal, tempo de vida de certos materiais. Nestes casos, mais uma vez se centra a atenção na ocorrência de valores extremos (temperaturas muito baixas ou muito altas, por ex.)

Qual a probabilidade desses acontecimentos raros?

• E ainda ... Resistência de materiais, Fadiga de materiais, Resistência à corrosão, estudos de Poluição, perdas de índices Financeiros, etc... !


Modelos de Valores Extremos• Análise de Valores Extremos Modelos dirigidos para Valores

extremos, não valores centrais;

modelar a cauda da distribuição de interesse

•Problema: Como fazer inferência para além da amostra de dados ?

•Uma Resposta: usar técnicas baseadas na Teoria de Valores Extremos de forma a proceder a inferências estatísticas sobre acontecimentos raros usando apenas uma quantidade limitada de dados!

• Notação:

1 2( , , , ) amostra da caracteristicaAmostr , modelo ( )a .nX X X X F x

1: 2: :: =: Amostra Ordenada n n n n n nm X X X M( ) ( ) 1 (Cauda de ). F x P X x F xF

Máximo da Amostra

Mínimo da Amostra


1

( ).

n

n

P X x P X x

F x

1[ ] , , n nP M x P X x X x•

. .Consequentemente, ,

com sup( , ( ) 1).

q cn F

F

M x

x x F x

Suponha-se que existem >0 e ,tais que

( ), para todo

R

R n n

n n n n

a b

P M a x b G x x• Então

Teoria Básica - A distribuição do Máximo

1/exp 1 , para 1 0, se 0

( ) ( )exp( exp( )), para z , se 0

R

z zG z G z

z

,F G RD( )[GVE- Generalizada de Valores Extremos]

Representação de von Mises-Jenkinson

• Gnedenko (1943)


As distribuições Valores Extremos (máximos)

• A GVE engloba os 3 tipos de máximos:[Fisher-Tippett]

• Fréchet:

• Weibull:

• Gumbel:

( ) exp( ( ) ), 0, 0;z z z

( ) exp( ( ) ), 0, 0;z z z

R( ) exp( exp( )), .z z z

1 / 0

0

1 / 0

limite para distribuições de cauda pesada

limite para distribuições de caudas curtas Fx

caudas vão para zero com velocidade exponencial


GVE()

0

0.1

0.2

0.3

0.4

0.5

-4 -2 0 2 4 6 8 10

Gev(0.5)=Fréchet Gev(-0.5)=Weibull Gev(0)=Gumbel


11

1 1 ( ) .

n

n

P X x P X x

F x

•

. . *

*

,

inf( , ( ) 0),

q cn F

F

m x

x x F x limite inferior do suporte

* *

* * *

Suponha - se que existem >0 e :

, para tod( ) o

n n

n n n n

a b

P m Ga zz b z

R

R

• Então

Teoria Básica - A distribuição do Mínimo mn:=X1:n

1 /

** 1 exp 1 , 1 0, se 0( ) 1 ( )

1 exp( exp( )), z , se 0 ( )

z zG z G

zG zz

R

*GF D( )[GVE*- de mínimos]

•

1[ ] 1 [ ] 1 , ,n n nP m x P m x P X x X x


As distribuições the Valores Extremos (mínimos)

• A GVE* engloba os 3 tipos de mínimos:[Fisher-Tippett]

• Fréchet de mínimos:

• Weibull de mínimos:

• Gumbel de mínimos:

* ( ) 1 exp( ( ) ), 0, 0;z z z

* ( ) 1 exp( ), 0, 0;z z z

* ( ) 1 exp( exp( )), .z z z R

1 / 0

0

1 / 0


Modelo Probabilístico contínuo

f .d.p.

0

0.1

0.2

0 2 4 6 8 10y

F (y )

f.d.

0

0.5

1

-1 0 1 2 3 4 5 6 7 8 9 10 116.14 M

ed (Y

)

F (y )

y

• Função de distribuição (f.d.): F(y)=P[Y y]

Med(Y) := Mediana de Y

( ) : ( ) ?yF f t dt

y


f.d.

0

0.5

1

-1 0 1 2 3 4 5 6 7 8 9 10 116.14 M

ed (Y

)

F (y )

y


f.d.p.

0

0.1

0.2

0 2 4 6 8 10y

F (y )

( ) : ( ) ?yF f t dt

y




f.d.p.

x

φ(x )

m a b

P [ a < X b ]

x

f.d.

0

0.5

1

Φ(x )

xm ba

Φ(a )

Φ(b )

Modelo Normal N(m)

( ) ( ) : ( )a

b a x dxb

• Função de distribuição (f.d.): Φ(x)=P[X x]

Med(X) = E [ X ] =


Modelo Normal N(m)

f.d.p.

x

φ(x )

m xm m

68.27%


Modelo Normal N(m)

f.d.p.

x

φ(x )

m xm 2 m2

95.45%


Modelo Gumbel

f.d.p.f (x )

m xm m

72.37%

14.41%13.22%


Modelo Gumbel

f.d.p.f (x )

m xm 2 m 2

95.71%

4.22%0.07%


Modelos Normal & Gumbel

f.d.p.

-3.5

-3 -2.5

-2 -1.5

-1 -0.5

0 0.5

1 1.5

2 2.5

3 3.5

4 4.5

5 5.5

6 6.5

7

x

φ(x ) f (x )


Modelos Normal & Gumbel

f.d.

0

0.5

1

-3.5

-2.5

-1.5

-0.5

0.5

1.5

2.5

3.5

4.5

5.5

6.5

x

Φ(x )

Λ( x )


Normal & Gumbel

Gráfico das funções densidade relativamente aos modelos Normal e Gumbel, para idênticos valores médio e variância

0

0.1

0.2

0.3

0.4

-3 2 7

Normal Gumbel

Gráfico das funções densidade relativamente aos modelos Normal(0,1) e Gumbel padrão.

0

0.1

0.2

0.3

0.4

-3 2 7

Gumbel Normal (0,1)


Normal vs. Gumbel de máximos

Gráficos da f.d.p. e da f.d. do máximo de amostras de dimensão n=1,2,10,100,1000,10000 provenientes do modelo Normal(0,1)

Gráficos da f.d.p. e da f.d. do máximo de amostras de dimensão n=1,2,10,100,1000,10000 provenientes dos modelos Gumbel padrão.


Normal vs. Gumbel de mínimos

Gráficos da f.d.p. e da f.d. do mínimo de amostras de dimensão n=1,2,10,100,1000,10000 provenientes do modelo Normal(0,1)

f.d.p. e f.d. do mínimo de amostras de dimensão n=1,2,10,100,1000,10000 provenientes dos modelos Gumbel de mínimos padrão.


Função distribuição empírica1 2( , , , )nX X X

dados ordenados 1: 2: :n n n nx x x

amostra aleatória. Réplicas de X com

f.d. F(x)=P[Xx] ? ?

1 2( , , , )nx x x amostra de dados

• função distribuição empírica (f.d.e.)

1:

: 1:

:

1, , - 1

0 , se

( ) : , se ,

1 , se

n

n i n i n

n n

i n

x

x

x

x x

x

x

x

iF

n

Modelo ? Qual a f.d. F da população?


p-quantis da população e p-quantis empíricos

• População : X com f.d. F(x)

tal que, ( )p px xF p• p-quantil de X :

dados ordenados 1: 2: :n n n nx x x• p-quantil empírico :

[ ] 1: com [ ]:= "parte inteira de ",pn n pn npx

tal que, : ( )p px x F p


p-quantis das distribuições de Valores Extremos (máximos)

• GVE :

• Fréchet :

• Weibull :

• Gumbel :

( )pG z p

( )pz p

( )pz p

( )pz p

1 ( log( )) / , 0pz p

1

log( ) , 0pz p

1

log( ) , 0pz p

log log( )p pz


p-quantis das distribuições de Valores Extremos (mínimos)

• GVE* :

• Fréchet de mínimos:

• Weibull de mínimos:

• Gumbel de mínimos:

*( )pzG p

* ( )pz p

* ( )pz p

*( )pz p

1 ( log(1 )) / , 0pz p

1

log(1 ) , 0pz p

1

log(1 ) , 0pz p

log log(1 )p pz


p-quantis para Modelos com Localização e Escala

• Localização = Escala =

X Z

ppx z• p-quantil para X


Excedência de nível

Excedência:. Seja X uma v.a. e u um dado valor de nível.

O acontecimento {X=x} é denominado de excedência do nível u se x> u.

0

1

2

3

4

u =

X=x


Excedência de nível e modelo BernoulliExemplo:. As ondas podem destruir um quebra-mar quando as suas alturas excedam um dado valor, digamos 9m. Então não importa se a altura de uma onda é 9.5, 10, 0u 12m , porque as consequências destes acontecimentos são as mesmas.

Seja X uma v.a. da altura das ondas e Yu a v.a. definida por

é uma v.a. de Bernoulli com probabilidade de sucesso

ˆ1, se ocorre excedencia :

ˆ0, se nao ocorre excedenciauY

uY

[ ]up P X u

[ ] [ ] (1 )u u u u uE Y p Var Y p p


Excedência de nível e modelo BernoulliExemplo(altura de onda máxima anual): Ao planear um quebra-mar, os engenheiros civis necessitam de definir o nível de altura de onda, o qual corresponde à altura tal que o quebra-mar terá a resistência suficiente para a enfrentar, no caso de ocorrer, sem estragos.

Então um planeamento natural para esse valor seria tomar a altura máxima de onda que atinge o quebra-mar durante o seu tempo de vida.

Contudo, este valor é aleatório e não pode ser encontrado.

Então, a única coisa que um engenheiro pode fazer é escolher este valor de modo a que venha a ser excedido com uma pequena probabilidade.

Para obter esta probabilidade (ou o valor) é necessário conhecer a probabilidade de excedência de certos valores ao longo do ano.

Se estivermos interessados no acontecimento da altura máxima anual de onda exceder um dado nível h0, temos uma v.a. Bernoulli.


Período de Retorno e modelo GeométricoSuponha-se que um dado acontecimento A (cheia, excedência de nível,…) é tal que a probabilidade de ocorrência durante um período (1 ano) é um pequeno valor p.

Consideremos a sequência de experiências de Bernoulli (A ou Ac) ao longo do tempo. O tempo (em anos) até a primeira ocorrência A é uma v.a. Geométrica X , com E[X]=1/p.

Período de retorno: Seja A um acontecimento, e T o tempo aleatório entre sucessivas ocorrências de A. O valor médio de T, E[T] é designado por período de retorno de A.

(tempo médio para o retorno desse acontecimento)


Períodos de Retorno

Se F é a f.d. do máximo anual X, o período de retorno, Tx, do acontecimento A={X>x} (excedência) é

Tx = 1/P[A] = [1-F(x)]-1 anos .

Se F é a f.d. do mínimo anual X*, o período de retorno, Tx*, do acontecimento A*={X<x} (“shortfall”ou queda) é

Tx* = 1/P[A*] = [F(x)]-1 anos .


Período de Retorno de uma cheia

Exemplo: Seja F a f.d. do cheia máxima anual (em m3/seg) numa dada secção do rio

38.5( ) exp exp

7.8modelo Gu

xF x mbel.

O período de retorno de cheias de 70 m3/seg é

70

157.24 anos.

1 (70)T

F

Quer dizer: uma cheia máxima anual de 70 m3/seg ocorre, em média uma vez em 57.24 anos


Nível de altura de onda

Exemplo: Um quebra-mar é desenhado para resistir durante uma vida média útil de 50 anos. Seja F a f.d. da altura máxima anual de onda (em pés) é

15( ) exp exp

4modelo Gum

hF h bel.

O nível de altura de onda deverá verificar

150 anos.

1 ( )F h

Quer dizer: nível de altura de onda é h =30.61 pés


Ficheiros de Dados (Castillo, Hadi Balakrishnan & Sarabia 2005)

• Wind Data → velocidade máxima anual do vento, em milhas/hora, registadas num dado local, durante um período de 50 anos (para a construção de edifícios)

• Flood Data → caudal máximo anual de um rio, em metros cúbicos, medido num dado local, durante 60 anos (planeamento de prevenção contra inundações).

• Wave Data → altura de onda máxima anual, em pés, observadas num dado local ao longo de 50 anos (construção de quebra-mar).

• Epicenter Data → a distância, em milhas, de uma dada central nuclear ao epicentro dos 60 terramotos mais recentes, e com grau de intensidade acima de um certo limiar (prevenção do risco associado a sismos próximos da central nuclear). Os geólogos detectaram uma falha a 50Km da central e que será a principal causa dos sismos naquela área.

• Precipitation Data → a precipitaçãp total anual em Filadélfia, nos últimos 40 anos, medida em polegadas, (prevenção contra seca).


Castillo,E., Hadi,A.S., Balakrishnan,N. and Sarabia,J. M., (2005), Extreme Value and Related Models in Engineering and Science Applications, New York: John Wiley & Sons.

Data Set Name Table Number

Wind 1.1

Flood 1.2

Wave 1.3

Epicenter 1.9

Precipitation 1.13

http://personales.unican.es/castie/extremes/


Papel de Probabilidades Plot (PPP)

• Trata-se de um método gráfico de validação preliminar de um modelo F(x;a,b), associado à característica sob estudo, X, com base numa amostra observada.

( ; , )p F x a b

• Obtenção de um papel de probabilidades:

1ºpasso: encontrar uma transformação que expresse a equação

numa forma linear, ie, através duma recta do tipo

( ) ( )g p h xa b



: 1, 2, ,: ,1i n i n

ip

n

: : 1, 2, ,( ) ( ) para, .i n i n i np versg u hs x

• amostra de dados observados:

dados ordenados: 1: 2: :n n n nx x x

1 2( , , , )nx x x

• Definam-se as “plotting positions”:

• Obtenção de um papel de probabilidades (cont.):

2ºpasso: marcar a núvem de pontos (plot)

: : 1, 2, ,( ) ( ) , parai n i n i nh xag bp

Se o Modelo subjacente é F(x;a,b) ...... os pontos dispõe-se aproximadamente ao longo da recta , i.e.,



( ) ( )

,

( ) log( log( )), ( )

,

1,

g p h x

g

a b

a

p h x

b

p x

• Exemplo: Gumbel (máximos), com localização ,escala

( ; ) exp exp , , , 0;,x

x x

R

( ; , ) exp expx

p x

log( ) exp

xp

log( log( ))x

p

obtendo-se a relação linear:

1

log( log( ))p x



( ) ( )

,

( ) log( log( )), ( ) lo )

,

g

,

(

logg p h x

g p h x

a

p

a

b

x

b

• Exemplo: Weibull (máximos), com localização e escala

fixado!)( ; , ) exp , ( , ;, 0

xx x

( ; , ) expx

p x

log( )

xp

log( log( )) log

xp

log( log( )) log( ) logp x

obtendo-se a relação linear:


Transformações para PPP

,( ) ( )g p h xa b

g(p)h(x)PPP

( ; , )x

log( )x

( ; , )x ( ; , )x

*( ; , )x

* ( ; , )x * ( ; , )x

log( log( ))p

log( log(1 ))p

log( )x

log( )x

log( )x

x

x

log( log( ))p

log( log( ))p

log( log(1 ))p

log( log(1 ))p


Dados: “wave heights” – Tabela1.3

• amostra ordenada dos dados; dimensão : n=502.91 6.93 9.17 10.28 11.82 13.88 14.86 17.36 21.06 24.75

3.74 7.21 9.50 10.45 12.27 13.98 15.03 18.68 21.13 25.45

4.09 7.92 9.62 10.77 12.68 14.32 15.30 18.72 21.53 28.13

5.88 8.26 10.00 11.65 13.28 14.38 16.07 19.44 21.80 29.95

6.42 8.79 10.14 11.65 13.46 14.46 16.23 20.09 23.15 37.19

• Wave Data → altura de onda máxima anual, em pés, observadas num dado local ao longo de 50 anos (construção de quebra-mar).

• Os dados foram obtidos em águas costeiras.

•O objectivo do estudo é construir um quebra-mar.

•A altura de onda é, por definição, uma variável aleatória não-negativa, limitada superiormente. Esta suposição é clara para águas costeiras, mas não evidente para o alto mar.



Wave Heights

y = 0.165x - 1.8473

-2

-1

0

1

2

3

4

5

0 10 20 30 40

xi:n

- l

og

( -

log

(p

i) )

plot - PPP


Dados: “wave heights” – Tabela1.3 Gumbel (máximos), com localização ,escala

( ; ) exp exp , , , 0;,x

x x

R

localização ? escala ?

= 0.165 1.8473

10.165, 1.847

( ) ( ) ( )

,

( ) log( log( )),

3

( )

g p h x h x

g p p

a

h

a

x

b

b

x

ˆ ˆ 6.061 / 0.165

1.ˆ ˆ ˆ6.068473 1.8473 11.2

11.2, 6.06( ; ) ( ; )ˆ ˆ,x x



Gumbel (máximos) estimada

11.2, 6.06( ; ) ( ; ) exp e11.2ˆ ˆ,

6.0.

6xp ,

xx x x

R

qual a probabilidade da altura de onda máxima anual exceder 40 pés?

11.2, 6.06

1

[ 40] 1 [ 40]

1 (40; )

40 1 exp exp

1 0.991

1.26.

06

0.009

P X P X



Gumbel (máximos) estimada

11.2, 6.06( ; ) ( ; ) exp e11.2ˆ ˆ,

6.0.

6xp ,

xx x x

R

qual o nível de altura de onda para um período de retorno de 50 anos?

11.2, 6.06

150 anos

1 ( ; )

11.2 6.06ln( ln(0.98)) 34.85 pe s

h

h

Quer dizer: para um período de retorno de 50 anos, nível de altura de onda é h =34.85 pés


Q-Q plot – Tabela1.3

( ˆ ˆln( ln( ))ˆ )ip pi

qualidade da Gumbel (máximos) estimada?11.2, 6.06( ; ) ( ; ) exp e

11.2ˆ ˆ,6.06

xp ,x

x x x

R

Quer dizer: a núvem de pontos do Q-Q plot deverá estar sensivelmente ao longo da recta bissectriz do 1º quadrante.

Wave Heights

0

5

10

15

20

25

30

35

40

0 10 20 30 40

:i nx

(

11.2

6.ln

((

6n

))0

lˆ

) ippi

: ,

para

1,2, ,

i n

i n

x

versus


P-P plot – Tabela1.3

: : 11.2,6( .06( ; )ˆ )i n i nx x

qualidade da Gumbel (máximos) estimada?11.2, 6.06( ; ) ( ; ) exp e

11.2ˆ ˆ,6.06

xp ,x

x x x

R

Quer dizer: os pontos do P-P plot deverão estar sensivelmente ao longo da recta bissectriz do 1º quadrante, no quadrado [0,1]x[0,1]

,

para

1,2, ,

i

i n

p

versus

Wave Heights

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 1

::

11.2

,6(

.06

(;

)ˆ

)in

inx

x

ip


Dados: “Houmb” – Tabela1.6

• amostra ordenada dos dados; dimensão : n=24

• Houmb’s Data → altura significativa de onda máxima anual, medidas em Miken-Skomvaer (Noruega) e publicados por Houmb e Overvik (1977).

• O objectivo do estudo é construir estruturas marítimas.

5.60 7.80 9.05 9.80 11.10 11.75

6.55 7.90 9.15 9.90 11.30 12.85

6.65 8.00 9.40 10.85 11.30 12.90

7.35 8.5 9.60 10.90 11.55 13.40



plot - PPP

Houmb's data

y = 1.0684x + 1.652

-1.5

-0.5

0.5

1.5

2.5

3.5

4.5

-2.5 -1.5 -0.5 0.5 1.5 2.5

-ln(13.5-xi:n)

- lo

g( -

log

(pi)

)Weibull de máximos ?? ...localização ???



plot - PPPWeibull de máximos ?? ...localização ???

Houmb's data

y = 2.9637x + 5.7948

-1.5-1

-0.50

0.51

1.52

2.53

3.5

-2.5 -2 -1.5 -1 -0.5

-ln(16-xi:n)

- l

og

( -

log

(p

i) )



plot - PPPWeibull de máximos ?? ...localização ???

Houmb's data

y = 3.529x + 7.3812

-1.5

-1

-0.5

0

0.5

1

1.5

2

2.5

3

3.5

-2.5 -2 -1.5 -1

-ln(17-xi:n)

- lo

g(

- lo

g (

pi)

)



plot - PPP Weibull de máximos ! ...localização ??? ...localização ??? ...localização ???

Prossiga-se com a estimação da escala e forma para: ... localização

...localização

...localização

para a Weibull estimada

Q-Q plots ...

P-P plots ...


f.d.'s e f.d.e.

0

1

-3.5

-2.5

-1.5

-0.5

0.5

1.5

2.5

3.5

4.5

5.5

x

0.95

Q0.95

f.d.e.

Quantis extremos: Normal ou Gumbel??

1:10 2:10 10:10( , , , ) (-1.5,-0.5,-0.2,0.1,0.2,0.5,0.8,0.9,1.3,2.1)x x x Modelo ?


f.d.'s e f.d.e.

0

1

-3.5

-2.5

-1.5

-0.5

0.5

1.5

2.5

3.5

4.5

5.5

x

Φ(x)

Λ( x )0.95

Q0.95

f.d.e.


1:10 2:10 10:10( , , , ) (-1.5,-0.5,-0.2,0.1,0.2,0.5,0.8,0.9,1.3,2.1)x x x Modelo ?


f.d.'s e f.d.e.

0

1

-3.5

-2.5

-1.5

-0.5

0.5

1.5

2.5

3.5

4.5

5.5

x

Φ(x )

Λ( x )0.050.95

Λ-1(0.95)Φ -1(0.95) Q0.95

f.d.e.


1:10 2:10 10:10( , , , ) (-1.5,-0.5,-0.2,0.1,0.2,0.5,0.8,0.9,1.3,2.1)x x x Modelo ?

amostra gerada do

modelo Gumbel !


Caudas Pesadas ou Leves ?•

Fazemos frequentemente uma distinção (mesmo que instintiva!...) entre distribuições “bem-comportadas” e distribuições “perigosas” com cauda pesada

A classe das distribuições “bem-comportadas” consiste naquelas distribuições com cauda limitada exponencialmente, → grandes observações não são impossíveis, mas a probabilidade de ocorrência decresce a uma velocidade exponencial para zero, à medida que o nível de patamar se torna cada vez maior. → caudas leves.

Por outro lado, uma das principais preocupações é a detecção de distribuições consideradas “perigosas” → distribuições de cauda pesada → não existe um limite exponencial, sendo mais provável que se obtenham grandes observações. As grandes observações exercem forte influência na soma total das observações.


Caudas Pesadas, Índice de Cauda e Momentos

1(G ), 0

DF Caudas pesadas

1

2

Variância finita

1 1

2

Variância infinita, valor médio finito

1

valor médio infinito


Standard&Poor’s 500 (S&P500)•Valores de fecho da S&P500 de: Janeiro80 até sexta-feira, 16 Outubro87

: valor de fecho em tS t

S&P500 - valores de fecho (jan80-16out87+19out-Fev88)

100

150

200

250

300

350

S&P500 19 Outubro87(2ªfeira negra) – fim de Fevereiro88


Dados – log-retornos diários S&P500

1: log( / )t t tR S S

•Amostra: Janeiro60 até sexta-feira, 16 Outubro87 (dimensão = 6985)


S&P500: Valores relevantes a partir de Janeiro de 1960?

S&P500

-2

0

2

4

6

8

S&P500

-5

0

5

10

15

20

25

• Sub-Amostra de topo: os 3312 valores positivos de 1: log( / )t t t tL R S S


Distribuições de cauda pesada no mercado financeiro

• Os log-retornos exibem frequentemente caudas pesadas

• Estamos interessados num certo nível elevado, o qual será excedido com uma

pequena probabilidade

quantil extremal VaR (Value-at-Risk)

• Exemplo: 16 Outubro 1987 – Um gestor de risco quer saber o risco associado ao investimento

estimar a % de queda diária do índice S&P500

que ocorra só uma vez em 40 anos

10.000 dias ≈ 40 x 250dias úteis


Problema a tratar:

1 2, , , , f.d. nX X X F

Os log-retornos exibem caudas pesadas?

• Estamos interessados em estimar xp de F tal que:

• AMOSTRA

(G ), 0 ? F D Estimação de para caudas pesadas?

(parâmetro de 1ª ordem )

( ) ( ), com 1p pF p F p px x

• A tratar previamente:

Ajustamento de modelos extremais, etc ... ???


Ajustamento da GVE aos Máximos Anuais - MMA

Bloco 1 Bloco 2 Bloco 3 Bloco 4 Bloco 5

• Inclusão de parâmetros de localização e escala na GVE

( ; , ) , , 0,

R R

xG x G

índice de cauda (forma)


A distribuição Generalizada de Pareto (GP)

-1/

1- 1 se 0( ; , ) , , 0,

1- exp -( ) / se 0

R x

H x

x

para 0 e 1+ / 0 x x

• A GP engloba os modelos:

( ; , ) 1 log ( ; , ) H x G x

1,W ( ) 1 , 0, 1 x x x• Pareto: Cauda pesada

• Exponencial: 0W ( ) 1 exp( ), 0 x x x Cauda leve

• Beta: 2,W ( ) 1 ( ) , 0, -1 0 x x x Suporte

limitado


Excessos acima de um nível elevado - POT

( ) ( ) , 0 F u y F u P X u y X u y

( ; ( )) P X u y X u H y u

Excessos acima : d o -iu X u

u

• Balkema-de Haan’74+Pickands’75

0(G ) lim sup - - ( ; ( )) 0

D

Fu x x u

F P X u x X u H x u


Abordagem semi-paramétrica Maiores Observações (MO)

(G )DF

:n nX

1:n nX

2:n nX

3:n nX

n nX k:

1 :: :n n n n n k nXX X

: n k nX ( ) ,

/ 0,

k k n

k n ne.o. intermédia

superior


Testes de detecção do peso da cauda

O parâmetro de forma determina o peso da cauda

Escolha entre Domínios de Atracção

0 0(G ) . (G ) F vs F D D 0

0

. (G )

. (G )

vs F

vs F

D

Dou


Peaks Over Random Threshold - PORT

1: : , 1,: ,n k nn ni iX i kZ X Excessos Acima do Nível Aleatório

:n k nX

n nX k:

:: 1:Excessos acima de : - n k n n i n n k ni XZX X


1 :: :n n n n n k nXX X ( ) ,

/ 0,

k k n

k n n

1: : , 1,: ,n k nn ni iX i kZ X

Maiores Observações

Excessos acima do Nível Aleatório :n k nX

• Abordagem

r-Momento dos Excessos

r-Momento dos Excessos

( )1:

1 1: 1, 2

1 1: : ,

k kr rr

n n i ni

n ii

n k rM X Zk k

X


Razão entre o Máximo e a Média dos Excessos - NPFA

Motivação: comportamento diferenciado da razão entre o máximo e a média para caudas leves e pesadas

Não depende da localização nem da escala

(Neves&Picek&FAlves.(2006))

: :1(1)

1

( )1

n n n k nn

kn

ii

X XZT k

MZk


Estatística de Hasofer e Wang - HW

Motivação: tem por base a estatística de ajustamento de Shapiro-Wilk ‘65


(Hasofer & Wang ‘92)

221 (1)

1

2 2(2) (1)21 1

1 1

1 1( ) :

k

ii n

nk k

n ni ii i

k Z MW k

k k M Mk Z k Z


Estatística de tipo Greenwood - Gt

Motivação: tem por base a estatística de Greenwood ’46


21 (2)1

2 2(1)1

1

( )

k

ii nn

knii

k Z MR k

Mk Z


Relação entre HW e Gt

1 1( )

( ) 1

nn

W kk R k

Reescreva-se HW sob a égide de Gt, (Neves and Fraga Alves, ´06)


Testes de nível assintótico

0 0 1 0H : (G ) . H : (G ) F vs F D D

0 0 1 0H : (G ) . H : (G ) F vs F D D

z - quantil da Normal

0 0 1 0H : (G ) . H : (G ) F vs F D D Rejeitar H0 (caudas leves) em favor de H1 (bilateral) se:

*1 2

*1 2

( )

( )

n

n

R k z

W k z

Rejeitar H0 (caudas leves) em favor de H1 (caudas pesadas) se:

*1

*1

( )

( )

n

n

R k z

W k z

Rejeitar H0 (caudas leves) em favor de H1 (caudas curtas) se:

*1

*1

( )

( )

n

n

R k z

W k z

*

*

/ 4 ( ) 2

/ 4 (

(

) : )( 1

) : nn

n n

R k

W

k R k

k k kW k

• sob H0 : As estatísticas de Teste normalizadas

são assintoticamente normaispara sequências intermédias: ( / ) 0

nk A n k


0 0 1 0H : (G ) . H : (G ) F vs F D D

0 0 1 0H : (G ) . H : (G ) F vs F D D

0 0 1 0H : (G ) . H : (G ) F vs F D D Rejeitar H0 (caudas leves) em favor de H1 (bilateral) se:

Rejeitar H0 (caudas leves) em favor de H1 (caudas curtas) se:

,*, og: lkk n nT T k

*, 1k nT g

*,k nT g

* *, 2 , 1 2or k n k nT g T g

log( o: l g )g Gumbel quantile

Rejeitar H0 (caudas leves) em favor de H1 (caudas pesadas) se:

Testes de nível assintótico • sob H0 : A estatística de Teste normalizada

é assintoticamente Gumbel para sequências intermédias: ( / ) 0

nk A n k


DADOSBilbao – 179 observações

“zero-crossing” médias horárias (em segs) das ondas do mar, medidas na bóia de Bilbao em Janeiro de 1997, tendo sido retidos apenas os valores superiores a 7 segs.(influência dos períodos na morfodinâmica da praia relacionados com a cauda direita da distribuição subjacente)

Ozono – 731 observações níveis de ozono (em partes por billião) registados por hora em Harris County durante 1980 - 1993.

S&P500 – 6985 observações série de valores de fecho do índice financeiro S&P500 (log-retornos), de Janeiro1960 até à sexta feira, 16 Outubro 1987 (dia anterior ao “crash” da 2ª feira Negra, 16 Outubro 1987).


g0.05

Bilbao waves data

• Amostra : (dimensão = 179)

(G ), 0 !F D


Ozone data

• Amostra : (dimensão = 731)

(G ), 0 !F D

g0.025

-z0.975


S&P500

• Amostra: (dimensão = 6985)

(G ), 0 !F D

-z0.95


Algumas Referências Balkema, A., and de Haan, L.(1974). Residual lifetime at great age. Ann.Probab.2, 792-804.

Beirlant, J., Goegebeur, Y., Segers, J. and Teugels, J.(2004). Statistics of Extremes: Theory and Applications. John Wiley & Sons.

Castillo, E., Hadi, A. S., Balakrishnan, N. and Sarabia, J. M., (2005). Extreme Value and Related Models in Engineering and Science Applications, New York: John Wiley & Sons.

Embrechts,P., Kluppelberg,C. e Mikosch, T. (1997). Modelling Extremal Events. Springer-Verlag.

Gnedenko, B.V., (1943). Sur la distribution limite du terme maximum d’une série aléatoire. Ann.Math.44, 423-453.

Greenwood, M. (1946). The statistical study of infectious diseases. J. Royal Stat. Soc., Ser. A, 109, 85—109

de Haan, L. (1984). Slow variation and characterization of domains of attraction. In: Statistical Extremes and Applications (J. Tiago de Oliveira, ed.), 31-48 Reidel Publishing, Dordrecht.

de Haan, L. (2006). On Extreme Value Theory . Or: How to Learn from Almost Disastrous Events. Gulbenkian Lecture presented on the 22nd February 2006. Edições CEAUL.

Hasofer, A.M. e Wang, Z. (1992). A test for extreme value domain of attraction. JASA, Vol. 87, 171-177.

Neves, C., Picek, J. and Fraga Alves, M.I.(2006). Contribution of the maximum to the sum of excesses for testing max-domains of attraction. JSPI, 136, 4, 1281-1301.

Neves, C. and Fraga Alves, M.I.(2006). Semi-parametric Approach to Hasofer-Wang and Greenwood Statistics in Extremes. To appear in TEST.

Pickands III, J.(1975). Statistical Inference using extreme order statistics. Ann.Statist.3, 119-131.

Reiss, R.-D. and Thomas, M. (2001). Statistical Analysis of Extreme Values, with Applications to Insurance, Finance,Hydrology and Other Fields. 2nd ed. Birkhauser. Verlag.

Estatísticas Ordinais Ano Lectivo 2005 / 2006 Estatística de Extremos Isabel Fraga Alves CEAUL &...

Documents

Transcript of Estatísticas Ordinais Ano Lectivo 2005 / 2006 Estatística de Extremos Isabel Fraga Alves CEAUL &...