Introducción a técnicas heurísticas de estimación. Redes ...

59

Transcript of Introducción a técnicas heurísticas de estimación. Redes ...

Page 1: Introducción a técnicas heurísticas de estimación. Redes ...
Page 2: Introducción a técnicas heurísticas de estimación. Redes ...

Introducción a técnicas heurísticas de estimación. Redes Neuronales Artificiales

Dr. Juan Carlos Gutiérrez Estrada

Dra. Inmaculada Pulido Calvo

Dr. Eleuterio Yáñez

Dr. Nibaldo Rodríguez

D. Francisco Plaza

Page 3: Introducción a técnicas heurísticas de estimación. Redes ...

Desarrollo histórico

Cibernética clásica

• II Guerra Mundial. Cañones antiaéreos

• 1950. Nuevas teorías sobre realimentación, avances de la electrónica y nuevos conocimientos sobre sistemas nerviosos reales

Computación algorítmica

• 1937. Máquina de Turing

• II Guerra Mundial. ENIAC

•Años 40. Máquina de Von Neumann

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

• Finales de la década de los 60. Primera etapa de las Redes Neuronales Artificiales

(Perceptrón)

1969. Minsky y Papert. Declive de los

Perceptrones

• 1950. Shannon y Turing. Primer

programa de ajedrez

• 1960. John McCarthy acuña el término

de Inteligencia Artificial (IA)

• 1970. Sistemas Expertos (SE). Reglas de

decisión

Problemas de la IA

UHUPUCV

Page 4: Introducción a técnicas heurísticas de estimación. Redes ...

• Década de los 80. Avance de los modelos Heurísticos

Redes Neuronales Artificiales (RNAs)

Sistemas Borrosos (SBs)

Algoritmos Genéticos (AGs)

Desarrollo histórico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Algoritmos Genéticos (AGs)

Computación Evolutiva (CE)

• Hopfield, Kohonen, Rumelhart (1986)

Resolución de los problemas atribuidos al Perceptrón. Desarrollo del Perceptrón multicapa

UHUPUCV

Page 5: Introducción a técnicas heurísticas de estimación. Redes ...

Situación actual de la IA

Corrientes complementarias

‘Búsqueda de la inteligencia’

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

IA convencional (rama simbólica)

Inteligencia computacional o Soft computing (rama conexionista)

UHUPUCV

Page 6: Introducción a técnicas heurísticas de estimación. Redes ...

¿Cómo funciona una neurona?

Axón

Soma

+50 mV

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Dendritas

+++ + +

--- - -

-60 mV K+

P2-

Na+

Ca2+

Cl- -60 mV

+50 mV

-45 mV

Potencial de acción

PolarizaciónDespolarización

Hiperpolarización

UHUPUCV

Page 7: Introducción a técnicas heurísticas de estimación. Redes ...

• Sistemas distribuidos

• Sistemas paralelos

• Cerebro y computador

Sistemas neuronales artificiales

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

• Sistemas distribuidos

• Sistemas adaptativos

UHUPUCV

Page 8: Introducción a técnicas heurísticas de estimación. Redes ...

Clasificación de las Redes Neuronales

RNAs

ReforzadosHíbridos

RBF

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Supervisados No supervisados

Realimentados Unidireccionales Realimentados Unidireccionales

Perceptrón ART

Hopfield

Kohonen

UHUPUCV

Page 9: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapaCapa de entrada Capas intermedias Capa de salida

1

1 1

1

2

2 2

2j p

e1

e2

x1

x2

Wj i

Wp j

Wk p

ji pj kp

1

2

1

2

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

xj 1

xj 2

xj i

xj q

y1 j

yp j

ym j

Ijf(I )

j

nodo j

Elemento de proceso o neurona

j1

j2

j3jq

1j

pj

mj

j j

i k

q

n m

s

ek

es

xi

xq

i

q

k

s

UHUPUCV

Page 10: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Criterios de calibración

• Número de neuronas en la capa de entrada y salida

• Número de capas ocultas. MLP con 2 capas ocultas es un aproximador decualquier tipo de función

• Número de neuronas en las capas ocultas

• Algoritmo de aprendizaje:

Retropropagación de errores o BP (backpropagation)

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Modificación del BP: EDB, EDBD

Métodos de segundo orden: Levenberg-Marquardt (LM)

Función de transferencia o activación (lineal, sigmoidal, hiperbólica, pi, senoidal...)

Data setting (datos de calibración, validación interna, validación externa,

validación cruzada)

UHUPUCV

Page 11: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Criterios de calibración

• Número de neuronas en la capa de entrada y salida

• Número de capas ocultas. MLP con 2 capas ocultas es un aproximador decualquier tipo de función

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

A

B

UHUPUCV

B

A

B

A

B

Page 12: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Criterios de calibración

• Número de neuronas en la capa de entrada y salida

• Número de capas ocultas. MLP con 2 capas ocultas es un aproximador decualquier tipo de función

• Número de neuronas en las capas ocultas

• Algoritmo de aprendizaje:

Retropropagación de errores o BP (backpropagation)

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Modificación del BP: EDB, EDBD

Métodos de segundo orden: Levenberg-Marquardt (LM)

Función de transferencia o activación (lineal, sigmoidal, hiperbólica, pi, senoidal...)

Data setting (datos de calibración, validación interna, validación externa,

validación cruzada)

UHUPUCV

Page 13: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

X Salida de la red N1

Perceptrón multicapa. Calibración

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Zla red N1

Error 1= Y1-N1

Epoca 1. Pesos aleatorios

UHUPUCV

Page 14: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

X Salida de la red N2

Perceptrón multicapa. Calibración

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Zla red N2

Error 2= Y2-N2

Epoca 1. Pesos aleatorios

UHUPUCV

Page 15: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

X Salida de la red N3

Perceptrón multicapa. Calibración

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Zla red N3

Error 3= Y3-N3

Epoca 1. Pesos aleatorios

UHUPUCV

Page 16: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

X

Perceptrón multicapa. Calibración

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Z

Error total= Error1+Error2+Error3

Ajuste de pesos (aprendizaje)

UHUPUCV

Page 17: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

X

Perceptrón multicapa. Calibración

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Z

Error total= Error1+Error2+Error3

Ajuste de pesos (aprendizaje)

UHUPUCV

Page 18: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

X

Perceptrón multicapa. Calibración

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Z

Error total= Error1+Error2+Error3

Ajuste de pesos (aprendizaje)

UHUPUCV

Page 19: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

X

Perceptrón multicapa. Calibración

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Z

Error total= Error1+Error2+Error3

Ajuste de pesos (aprendizaje)

UHUPUCV

Page 20: Introducción a técnicas heurísticas de estimación. Redes ...

Error total

Error de validación interna

Perceptrón multicapa. Calibración

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

EpocasFIN DELENTRENAMIENTO!!!!

Mínimo local

UHUPUCV

Page 21: Introducción a técnicas heurísticas de estimación. Redes ...

X Salida de la red Ŷ4

Perceptrón multicapa. Validación externa

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Zla red Ŷ4

Pesos de la mejor calibración envalidación interna

UHUPUCV

Page 22: Introducción a técnicas heurísticas de estimación. Redes ...

X Salida de la red Ŷ5

Perceptrón multicapa. Validación externa

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

Zla red Ŷ5

Pesos de la mejor calibración envalidación interna

UHUPUCV

Page 23: Introducción a técnicas heurísticas de estimación. Redes ...

X Salida de la red Ŷ6

Perceptrón multicapa. Validación externa

Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Zla red Ŷ6

Pesos de la mejor calibración envalidación interna

UHUPUCV

Page 24: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 Observed output (y) Estimated output (y)

X4 Z4 Y4 Y4

X5 Z5 Y5 Y5

X6 Z6 Y6 Y6

^^

• Coeficiente de correlación (R)

• Coeficiente de determinación (R2)

^

Perceptrón multicapa. Validación externa

^

^

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

• Coeficiente de determinación (R2)2

N

1i

2mi

N

1i

2mi

N

1imimi

2

)yy()yy(

)yy)(yy(R

−−

−−=

∑∑

==

=

UHUPUCV

Page 25: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 Observed output (y) Estimated output (y)

X4 Z4 Y4 Y4

X5 Z5 Y5 Y5

X6 Z6 Y6 Y6

^^

• Coeficiente de correlación (R)

• Coeficiente de determinación (R2)

^

Perceptrón multicapa. Validación externa

^

^

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

• Coeficiente de determinación (R2)

•Medidas de errores absolutos (MAE y RMSE)

N

)y(yRMSE

N

1i

2ii −

=∑=

N

)y(yMAE

N

1iii∑

=

−=

UHUPUCV

Page 26: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 Observed output (y) Estimated output (y)

X4 Z4 Y4 Y4

X5 Z5 Y5 Y5

X6 Z6 Y6 Y6

^^

• Coeficiente de correlación (R)

• Coeficiente de determinación (R2)

^

Perceptrón multicapa. Validación externa

^

^

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

• Coeficiente de determinación (R2)

•Medidas de errores absolutos (MAE y RMSE)

• Porcentaje del error estándar de predicción (%SEP)

• Coeficiente de eficiencia (E)

( )

( )∑

=

=

=

=

−−=

−−=

N

1i

2mi

N

1i

2ii

2N

1imi

N

1iii

1

yy

yy0.1E

yy

yy0.1E

UHUPUCV

Page 27: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 Observed output (y) Estimated output (y)

X4 Z4 Y4 Y4

X5 Z5 Y5 Y5

X6 Z6 Y6 Y6

^^

• Coeficiente de correlación (R)

• Coeficiente de determinación (R2)

^

Perceptrón multicapa. Validación externa

^

^

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

• Coeficiente de determinación (R2)

•Medidas de errores absolutos (MAE y RMSE)

• Porcentaje del error estándar de predicción (%SEP)

• Coeficiente de eficiencia (E)

• Índice de persistencia (PI)

( )

( )∑

=−

=

−−=

N

1i

21ii

N

1i

2ii

yy

yy0.1PI

UHUPUCV

Page 28: Introducción a técnicas heurísticas de estimación. Redes ...

Input 1 Input 2 Observed output (y) Estimated output (y)

X4 Z4 Y4 Y4

X5 Z5 Y5 Y5

X6 Z6 Y6 Y6

^^

• Coeficiente de correlación (R)

• Coeficiente de determinación (R2)

^

Perceptrón multicapa. Validación externa

^

^

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

• Coeficiente de determinación (R2)

•Medidas de errores absolutos (MAE y RMSE)

• Porcentaje del error estándar de predicción (%SEP)

• Coeficiente de eficiencia (E)

• Índice de persistencia (PI)

• Criterio de información de Akaike y Bayesiano

( )

N

m2

N

yylogAIC

N

1i

2ii

+

=∑=

UHUPUCV

Page 29: Introducción a técnicas heurísticas de estimación. Redes ...

Como resolver el problema de la función OR. Para esta función, la red debe ser capaz dedevolver, a partir de cuatro patrones de entrada, a qué clase pertenece cada uno.

Perceptrón multicapa. Ejemplo numérico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Patrón de entrada 00 (x1 = 0; x2 = 0) Salida RNC Clase 0 (Y = 0)

Patrón de entrada 01 (x1 = 0; x2 = 1) Salida RNC Clase 1 (Y = 1)

Patrón de entrada 10 (x1 = 1; x2 = 0) Salida RNC Clase 1 (Y = 1)

Patrón de entrada 11 (x1 = 1; x2 = 1) Salida RNC Clase 1 (Y = 1)

UHUPUCV

x1

x2

Y

x0 = 1

w0w1

w2Y = f(x1 w1 + x2 w2 + w0)

Page 30: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Ejemplo numérico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

1. Inicialización aleatoria de los valores de pesos

x1 = 0

x2 = 0

Y

x0 = 1

w0w1

w2

Y = f(X) = f(x1 w1 + x2 w2 + w0)

YFunción escalón

UHUPUCV

1. Inicialización aleatoria de los valores de pesos

w0 = 1.5; w1 = 0.5; w2 = 1.5

2. Cálculo salida estimada por la red neuronal para

primer patrón

. Se toma el patrón de entrada (x0 = 1; x1 = 0; x2 = 0)

X = x1 w1 + x2 w2 + w0 = 0 * 0.5 + 0 * 1.5 + 1.5 = 1.5

. Salida estimada: X = 1.5 > 0 luego Yest = f(X) = 1

. Salida observada: Yobs = 0

1

0

Y

X

Y = f(X) =1 si X >= 0

0 si X < 0

Page 31: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Ejemplo numérico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

3. Cálculo del error de la estimación

x1 = 0

x2 = 0

Y

x0 = 1

w0 = 1.5w1 = 0.5

w2 = 1.5 Y = f(X) = f(x1 w1 + x2 w2 + w0)

YFunción escalón

UHUPUCV

3. Cálculo del error de la estimación

. Salida estimada: X = 1.5 > 0 luego Yest = f(X) = 1

. Salida observada: Yobs = 0

. Error = Yobs – Yest = 0-1 = -1

4. Modificación de los pesos

wi(t+1) = wi(t) + (Error * xi)

. w0(t+1) = 1.5 + (-1*1) = 0.5

. w1(t+1) = 0.5 + (-1*0) = 0.5

. w2(t+2) = 1.5 + (-1*0) = 1.5

1

0

Y

X

Y = f(X) = 1 si X >= 0

0 si X < 0

Page 32: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Ejemplo numérico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

x1 = 0

x2 = 1

Y

x0 = 1

w0 = 0.5w1= 0.5

w2 = 1.5

Y = f(X) = f(x1 w1 + x2 w2 + w0)

YFunción escalón

UHUPUCV

1

0

Y

X

Y = f(X) = 1 si X >= 0

0 si X < 0

5. Cálculo salida estimada por la red neuronal parasegundo patrón

. Siguiente patrón de entrada (x0 = 1; x1 = 0; x2 = 1)

X = x1 w1 + x2 w2 + w0 = 0 * 0.5 + 1 * 1.5 + 0.5 = 2.0

. Salida estimada: X = 2.0 > 0 luego Yest = f(X) = 1

. Salida observada: Yobs = 1

Page 33: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Ejemplo numérico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Y

x0 = 1

w0 = 0.5w1= 0.5

w2 = 1.5

Y = f(X) = f(x1 w1 + x2 w2 + w0)

YFunción escalón

6. Cálculo del error de la estimación

x1 = 0

x2 = 1

UHUPUCV

1

0

Y

X

Y = f(X) = 1 si X >= 0

0 si X < 0

6. Cálculo del error de la estimación

. Salida estimada: X = 2 > 0 luego Yest = f(X) = 1

. Salida observada: Yobs = 1

. Error = Yobs – Yest = 1-1 = 0

7. Modificación de los pesos

wi(t+1) = wi(t) + (Error * xi)

. w0(t+1) = 0.5 + (0*1) = 0.5

. w1(t+1) = 0.5 + (0*0) = 0.5

. w2(t+2) = 1.5 + (0*0) = 1.5

No hay modificaciónde pesos

Page 34: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Ejemplo numérico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Y

x0 = 1

w0 = 0.5w1= 0.5

w2 = 1.5

Y = f(X) = f(x1 w1 + x2 w2 + w0)

YFunción escalón

x1 = 0

x2 = 1

UHUPUCV

1

0

Y

X

Y = f(X) = 1 si X >= 0

0 si X < 0

8. Se repite el mismo proceso para los otros dos patrones

(x0 = 1; x1 = 1; x2 = 0) y (x0 = 1; x1 = 1; x2 = 1)

. En ambos casos se cumple que:

Error = Yobs – Yest = 1-1 = 0

. Por lo que no hay modificación de los pesos

. Con el patrón (0;0) el error cometido no es cero

Page 35: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Ejemplo numérico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Y

x0 = 1

w0 = 0.5w1= 0.5

w2 = 1.5

Y = f(X) = f(x1 w1 + x2 w2 + w0)

YFunción escalón

x1 = 0

x2 = 0

9. Se introducen otra vez todos los patrones (2 época)

UHUPUCV

1

0

Y

X

Y = f(X) = 1 si X >= 0

0 si X < 0

9. Se introducen otra vez todos los patrones (2 época)

(a) Se toma el patrón de entrada (x0 = 1; x1 = 0; x2 = 0)

X = x1 w1 + x2 w2 + w0 = 0 * 0.5 + 0 * 1.5 + 0.5 = 0.5

. Salida estimada: X = 0.5 > 0 luego Yest = f(X) = 1

. Salida observada: Yobs = 0

. Error = Yobs – Yest = 0-1 = -1

. Modificación de pesos:

. .w0(t+1) = 0.5 + (-1*1) = -0.5

. .w1(t+1) = 0.5 + (-1*0) = 0.5

. .w2(t+1) = 1.5 + (-1*0) = 1.5

Page 36: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Ejemplo numérico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Y

x0 = 1

w0 = -0.5w1= 0.5

w2 = 1.5

Y = f(X) = f(x1 w1 + x2 w2 + w0)

YFunción escalón

x1 = 0

x2 = 1

9. Se introducen otra vez todos los patrones (2 época)

UHUPUCV

1

0

Y

X

Y = f(X) = 1 si X >= 0

0 si X < 0

9. Se introducen otra vez todos los patrones (2 época)

(b) Se toma el patrón de entrada (x0 = 1; x1 = 0; x2 = 1)

X = x1 w1 + x2 w2 + w0 = 0 * 0.5 +1 * 1.5 - 0.5 = 1.0

. Salida estimada: X = 1 >= 0 luego Yest = f(X) = 1

. Salida observada: Yobs = 1

. Error = Yobs – Yest = 1-1 = 0

. No se modifican los pesos

. Para las otras dos entradas (1;0) y (1;1) los pesos tampoco

varían

Page 37: Introducción a técnicas heurísticas de estimación. Redes ...

Perceptrón multicapa. Ejemplo numérico

Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Y

x0 = 1

w0 = -0.5w1= 0.5

w2 = 1.5

Y = f(X) = f(x1 w1 + x2 w2 + w0)

YFunción escalón

x1 = 0

x2 = 0

10. Se introducen otra vez todos los patrones (3 época)

UHUPUCV

1

0

Y

X

Y = f(X) = 1 si X >= 0

0 si X < 0

10. Se introducen otra vez todos los patrones (3 época)

(a) Se toma el patrón de entrada (x0 = 1; x1 = 0; x2 = 0)

X = x1 w1 + x2 w2 + w0 = 0 * 0.5 + 0 * 1.5 - 0.5 = -0.5

. Salida estimada: X = -0.5 < 0 luego Yest = f(X) = 0

. Salida observada: Yobs = 0

. Error = Yobs – Yest = 0-0 = 0

. No hay modificación de pesos

. Tampoco hay errores con estos pesos con el resto de patrones

. CONCLUYE LAETAPADEAPRENDIZAJE

Page 38: Introducción a técnicas heurísticas de estimación. Redes ...

Aproximación no lineal a las relaciones entre las características del hábitat y la diversidad de las comunidades de peces en el estuario del Tajo

• Diversidad de los peces en zonas estuáricas (implicaciones)

• Problemas asociados al cálculo de la diversidad

• Diferentes puntos de vista

Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

- Estimación a partir de variables ambientales, biológicas y estacionales

- Estimación a partir de variables ambientales exclusivamente

¿Aproximación lineal o no lineal?

Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal

Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.

Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x

UHUPUCV

Page 39: Introducción a técnicas heurísticas de estimación. Redes ...

Campañas de muestreo

• Estuario del Tajo (años 2001 y 2002)

• Variables ambientales medidas (Profundidad, pendiente, temperatura, salinidad,oxígeno disuelto, nitratos, nitritos, fosfatos, silicatos, clorofila a, secchi, MOP)

• Variable a estimar (Diversidad)

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

¿Cómo modelar?

∑=

−=s

z

zz ppH1

log

UHUPUCV

Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal

Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.

Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x

Page 40: Introducción a técnicas heurísticas de estimación. Redes ...

Aproximación lineal

• Métodos multivariantes (cuantitativos y cualitativos)

• Métodos cualitativos: Análisis de Componentes Principales (ACP), Análisis deCorrespondencias Canónicas (ACC), Clustering....

• Métodos cuantitativos: Regresiones Lineales Múltiples (RLM)

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

qqxb......xbbe +++= 110

UHUPUCV

Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal

Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.

Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x

Page 41: Introducción a técnicas heurísticas de estimación. Redes ...

Resultados de la aproximación lineal CalibrationR=0.5017; R2=0.2517; Ajusted R2=0.1756; F(12,118)=3.3077; p<0.01; N=131

Dependent variable Independent variables B p

Shannon index Intercept 2.3439 0.0187*

D -0.0510 0.0002**

S 0.4982 0.2349T -0.0598 0.0346*

Sal 0.0336 0.0254*

Ox -0.1165 0.0084**

NO2 -0.1110 0.0119*

2.5

Shan

non

Index Estim

ated

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

NO3 0.1210 0.2061PO4 0.0115 0.7705SiO4 0.0006 0.9202Ch a 0.0054 0.6190Se 0.0007 0.0910

WPOM 0.0028 0.5232

ValidationR=0.2665; R2=0.0710; Ajusted R2=0.0483; F(1,41)=3.1336; p=0.0841; N=43RMS=0.5233; %SEP=47.5868; E=-0.0217; ARV=1.0217; AIC=-0.0044; BIC=-0.1067

Dependent variable Independent variable B p

Shannon index observed Intercept 0.4230 0.2845Shannon index estimated 0.5578 0.0841

*p<0.05; **p<0.01

Shannon Index Observed 2.500

Shan

non

Index Estim

ated

UHUPUCV

Page 42: Introducción a técnicas heurísticas de estimación. Redes ...

Seleccionando la mejor red neuronal

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

UHUPUCV

Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal

Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.

Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x

Page 43: Introducción a técnicas heurísticas de estimación. Redes ...

Resultados de la aproximación

no lineal

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

UHUPUCV

Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal

Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.

Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x

Page 44: Introducción a técnicas heurísticas de estimación. Redes ...

Resultados de la aproximación

no lineal

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

UHUPUCV

Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal

Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.

Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x

Page 45: Introducción a técnicas heurísticas de estimación. Redes ...

Programa de Ciencias del Mar 2006

Resultados de la aproximación

no lineal

Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

UHUPUCV

Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal

Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.

Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x

Page 46: Introducción a técnicas heurísticas de estimación. Redes ...

Estimación de la concentración de amoniaco en un sistema de cultivo intensivo de anguilas

• ¿Cómo afecta el amoniaco disuelto a la salud de los peces?

• Aproximación física del problema

• Solución univariante

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

- Regresiones múltiples

- Modelos univariantes de series temporales(suavizado exponencial simple, modelo de Holt,modelos ARIMA

- Redes neuronales de ventana móvil

Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.

Aquacultural Engineering 31: 183-203

UHUPUCV

Page 47: Introducción a técnicas heurísticas de estimación. Redes ...

Modelos univariantes de series temporales

• Suavizado exponencial simple:

1tdtdt S)α1(dαS −−+=

t1t Se =+

• Modelo de Holt:

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

• Modelo de Holt:

)TS()α1(dαS 1t1tdtdt −− +−+=

1td1ttdt T)β1()SS(βT −− −+−=

tt1t TSe +=+

Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.

Aquacultural Engineering 31: 183-203

UHUPUCV

Page 48: Introducción a técnicas heurísticas de estimación. Redes ...

Modelos univariantes de series temporales

• Modelo ARIMA (p,d,q)(P,D,Q)S:

tqS

QtDSd

pS

P a)B()B()Z()B1()B1()B()B( ⋅θ⋅Θ=µ−⋅−⋅−⋅φ⋅Φ

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

tqQtpP

Operador retroceso

Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.

Aquacultural Engineering 31: 183-203

UHUPUCV

Page 49: Introducción a técnicas heurísticas de estimación. Redes ...

Resultados regresión lineal múltiple

(A) Regression summary in the calibration modelR=0.9890; R2=0.9782; F(2;880)=7626.6; pα<0.001; N=882

Dependent variable Independent variables bi(i=0,1,...,q) pααααAmmonia (t) Intercept (b0) 0.0616 0.0709

Ammonia (t-1) 1.5733 0**

Ammonia (t-2) -0.6030 0**

(B) Regression summary in the validation modelR=0.9785; R2=0.9574; F(1;376)=8450.9; pα<0.001; N=378%SEP=20.7449; Coefficient E=0.9569; ARV=0.0431

Dependent variable Independent variable bi(i=0,1,...,q) pαααα

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

αααα

Ammonia estimated (t) Intercept (b0) 0.5531 0.0725Ammonia observed (t) 1.0186 0**

UHUPUCV

Page 50: Introducción a técnicas heurísticas de estimación. Redes ...

Resultados modelos univariantes de series temporales

ValidationModel Parameters

R2 %SEP E ARVSimple exponential

smoothing S0=2.5940; αd=1 0.9328 26.1196 0.9316 0.0684

Holt smoothingS0=0.6437; T0=-0.0020αd=1; βd=0.3800

0.95121 24.13361 0.94161 0.05841

ARIMA (0,0,1) Θ1=-0.9254** 0.8363 76.5036 0.4134 0.5866

ARIMA (1,0,0) Φ1=0.9849** 0.9358 25.4364 0.9352 0.0648

ARIMA (0,1,1) Θ1=-0.4725** 0.9527 21.9946 0.9515 0.0485

ARIMA (1,0,1) Φ =0.9751**; Θ =-0.4766** 0.9527 21.8918 0.9520 0.0480

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

ARIMA (1,0,1) Φ1=0.9751**; Θ1=-0.4766

** 0.9527 21.8918 0.9520 0.0480ARIMA (1,1,0) Φ1=0.5539

** 0.9572 21.2352 0.9548 0.0452ARIMA (1,2,1) Φ1=0.2906

**; Θ1=-0.9946** 0.7986 48.7636 0.7617 0.2383

ARIMA (2,2,1)Φ1=0.4357

**; Θ1=-0.9904**

Φ2=-0.4927** 0.9444 25.8011 0.9333 0.0667

ARIMA (2,1,1)Φ1=1.5282

**; Θ1=0.9903**

Φ2=-0.5785** 0.95711 20.72571 0.95691 0.04311

ARIMA (1,2,2)Φ1=-0.1454

**; Θ1=-1.8701**

Θ2=-0.8769** 0.9469 24.8852 0.9379 0.0621

ARIMA (2,2,2)Φ1=-0.1084

*; Θ1=-1.7963**

Φ2=-0.2925**; Θ2=-0.8047

** 0.9510 24.0028 0.9423 0.0577

*pα<0.05; **pα<0.01

1Best value

UHUPUCV

Page 51: Introducción a técnicas heurísticas de estimación. Redes ...

Resultados modelos univariantes de series temporales

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

UHUPUCV

Page 52: Introducción a técnicas heurísticas de estimación. Redes ...

Resultados redes neuronales

Calibration ValidationRed Weights Epochs R2 %SEP E ARV

5:5s:5s:1l 55 55 0.9402 25.8434 0.9331 0.06695:10s:10s:1l 160 6836 0.9409 25.2448 0.9361 0.06395:10s:15s:1l 215 1975 0.9508 22.16651 0.95081 0.04921

5:15s:10s:1l 235 976 0.95111 22.5176 0.9492 0.05085:15s:15s:1l 315 1286 0.9488 24.0225 0.9422 0.05785:15s:20s:1l 395 756 0.9466 24.8347 0.9382 0.06185:20s:20s:1l 520 713 0.9385 25.8179 0.9332 0.0668

1Best value

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

1Best value

UHUPUCV

Page 53: Introducción a técnicas heurísticas de estimación. Redes ...

Segunda validación externa. Resultados

Extended validation to ‘B’ Series

R2 %SEP E ARVDifferences in

R2Differences in

%SEPDifferences in

EDifferences in

ARVMultiple regression 0.9682 18.15481 0.96811 0.03191 0.0108 (1.1 %) -2.5901 (12.5 %) 0.0112 (1.2 %) -0.0112 (26.0 %)Holt smoothing 0.9547 23.9283 0.9446 0.0554 0.0035 (0.4 %) -0.2053 (0.9 %) 0.0030 (0.3 %) -0.0030 (5.1 %)ARIMA(2,1,1) 0.97161 18.6563 0.9663 0.0337 0.0145 (1.5 %) -2.0694 (10.0 %) 0.0094 (1.0 %) -0.0094 (21.8 %)

5:10s:15s:1l CNN 0.9664 18.5569 0.9667 0.0333 0.01561 (1.6 %) -3.60951 (16.3 %) 0.01591 (1.6 %) -0.01591 (32.3 %)

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

5:10s:15s:1l CNN 0.9664 18.5569 0.9667 0.0333 0.01561 (1.6 %) -3.60951 (16.3 %) 0.01591 (1.6 %) -0.01591 (32.3 %) Extended validation to ‘PG’ Series

Multiple regression 0.9610 18.7714 0.9609 0.0391 0.0036 (0.4 %) -1.9735 (9.5 %) 0.0040 (0.4 %) -0.0040 (9.3 %)Holt smoothing 0.9555 22.1086 0.9458 0.0542 0.0043 (0.5 %) -2.0250 (8.4 %) 0.0042 (0.4 %) -0.0042 (7.2 %)ARIMA(2,1,1) 0.96181 18.5212 0.9620 0.0380 0.0047 (0.5 %) -2.2045 (10.6 %) 0.0051 (0.5 %) -0.0051 (11.8 %)

5:10s:15s:1l CNN 0.9580 17.49831 0.96601 0.03391 0.00721 (0.6%) -4.66811 (21.1 %) 0.01521 (1.6 %) -0.01531 (31.1 %)1 Best value

Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.

Aquacultural Engineering 31: 183-203

UHUPUCV

Page 54: Introducción a técnicas heurísticas de estimación. Redes ...

Tercera validación externa. Resultados

t+2 days forecastingMultiple regression ANN

Pearson correlation coefficient (R) -0.9004 0.8536Determination coefficient (R2) 0.8108 0.7286%SEP 223.0196 62.1857E -3.9847 0.6124ARV 4.9847 0.3876

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

ARV 4.9847 0.3876t+3 days forecasting

Multiple regression ANNPearson correlation coefficient (R) 0.8534 0.9678Determination coefficient (R2) 0.7283 0.9366%SEP 133.0962 39.2753E -0.7754 0.9082ARV 1.7754 0.0918

Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.

Aquacultural Engineering 31: 183-203

UHUPUCV

Page 55: Introducción a técnicas heurísticas de estimación. Redes ...

Predicción a corto plazo de la CPUE del fletán. Aproximación lineal y no lineal univariante

• Importancia de la predicción de CPUE

• Series con alta no linealidad

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Halibut CPUE short-time forecasting. A linear and non-linear univariate approach

Czerwinski, I.A., Gutiérrez-Estrada, J.C. y Hernándo-Casal, J.A.

Fisheries Research, Vol. 86(2-3): 120-128.

UHUPUCV

Halibut (Hippoglossus stenolepis)

Page 56: Introducción a técnicas heurísticas de estimación. Redes ...

Estimación mensual de las capturas de anchoveta en la zona norte de Chile. Aproximación univariante.

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Modelos híbridos

Accuracy measures

NF16-15s-15s-1la

+ARIMA(2,0,0)

7-10s-10s-1lc

+ARIMA(1,0,1)(1,0,1)S=12

R 0.5267 0.9175 0.9030R2 0.2773 0.8418 0.8155PI 0 0.7778 0.7874RMSE (Tons) 63378.87 30090.76 29478.51SEP (%) 111.1082 51.5766 49.7780MAE (Tons) 36825.36 17482.61 21616.97

No estacional Estacional

UHUPUCV

MAE (Tons) 36825.36 17482.61 21616.97E2 0.0539 0.8153 0.7915ARV 0.9461 0.1847 0.2084m 1 332b 184d

AIC 9.6078 15.7324 12.7723BIC 9.6091 15.7027 12.7384ARIMA parameterse

φ1=-0.2514; φ2=-0.2180φ1=0.3764; θ1=0.6150Φ1=0.8779; Θ1=0.7344

a Inputs in the calibration phase=convoluted data; Model type=non seasonal autoregressive CNN

b m=330 CNN weights + 2 autoregressive parameters of ARIMA model

c Input in the calibration phase=original data; Model type=seasonal (S=12 [one year]; P=1[one month])autoregressive CNN

d m=184 CNN weights + 1 non seasonal autoregressive parameter + 1 non seasonal moving average parameter + 1seasonal autoregressive parameter + 1 seasonal moving average parameter of ARIMA model

e All parameters p<0.05

Monthly catch forecasting of anchovy Engraulis ringens in the north area of Chile.Non-linear univariate approach

Gutiérrez-Estrada, J.C., Silva, C., Yáñez, E., Rodríguez, N. y Pulido-Calvo, I.

Fisheries Research, Vol. 86 (2-3): 188-200.

Page 57: Introducción a técnicas heurísticas de estimación. Redes ...

Estimación mensual de las capturas de sardina en la zona norte de Chile. Aproximación multivariante.

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

Resultados preliminaresLM (15) Cross-validated

1.6

1.8

2.0

2.2

Capturas de Sardina (Tons)

Scatterp lot (Spreadsheet en Modelos Sard ina Anchoveta 3v*286c)

DESSAR.2 = 0.1465+0.8808*x

1.2

1.4

1.6

1.8

2.0

2.2

DESSAR.2

UHUPUCV

Aplicación de métodos clásicos y heurísticos para la predicción de pesqueríaspelágicas en el norte de Chile.

Proyecto AECI

Obs Est

1 14 27 40 53 66 79 92 105 118 131 144 157 170

Meses

0.8

1.0

1.2

1.4

1.6

Capturas de Sardina (Tons)

Include v1='Train' Include v1='Select'

Include v1='Test' Other

0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2

DESSAR

0.8

1.0

Variables de entrada:

. Capturas de anchoveta

. TSM

. Niño3+4

Page 58: Introducción a técnicas heurísticas de estimación. Redes ...

Herramientas para la calibración de RNCs

Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007

• Modelos de utilidad programados por el usuario

• Aplicaciones comerciales: cerradas (Statistica) y abiertas (MatLab)

Statistica 7.0. Statsoft

UHUPUCV

REDGEN: generador de redes neuronalescomputacionales

Gutiérrez-Estrada, J.C., y Pulido-Calvo, I.

Asiento registral: 04/2002/554

Page 59: Introducción a técnicas heurísticas de estimación. Redes ...

Dr. Juan Carlos Gutiérrez EstradaDpto. de Ciencias Agroforestales

Escuela Politécnica Superior

Campus Universitario de La Rábida

Universidad de Huelva

21819 Palos de la Frontera (Huelva)

Tel y fax: +34 959217528

E-mail: [email protected]

Dra. Inmaculada Pulido CalvoDpto. de Ciencias Agroforestales

Escuela Politécnica Superior

Campus Universitario de La Rábida

Universidad de Huelva

21819 Palos de la Frontera (Huelva)

Tel y fax: +34 959217533

E-mail: [email protected]