Post on 15-Jul-2022
Introducción a técnicas heurísticas de estimación. Redes Neuronales Artificiales
Dr. Juan Carlos Gutiérrez Estrada
Dra. Inmaculada Pulido Calvo
Dr. Eleuterio Yáñez
Dr. Nibaldo Rodríguez
D. Francisco Plaza
Desarrollo histórico
Cibernética clásica
• II Guerra Mundial. Cañones antiaéreos
• 1950. Nuevas teorías sobre realimentación, avances de la electrónica y nuevos conocimientos sobre sistemas nerviosos reales
Computación algorítmica
• 1937. Máquina de Turing
• II Guerra Mundial. ENIAC
•Años 40. Máquina de Von Neumann
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
• Finales de la década de los 60. Primera etapa de las Redes Neuronales Artificiales
(Perceptrón)
1969. Minsky y Papert. Declive de los
Perceptrones
• 1950. Shannon y Turing. Primer
programa de ajedrez
• 1960. John McCarthy acuña el término
de Inteligencia Artificial (IA)
• 1970. Sistemas Expertos (SE). Reglas de
decisión
Problemas de la IA
UHUPUCV
• Década de los 80. Avance de los modelos Heurísticos
Redes Neuronales Artificiales (RNAs)
Sistemas Borrosos (SBs)
Algoritmos Genéticos (AGs)
Desarrollo histórico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Algoritmos Genéticos (AGs)
Computación Evolutiva (CE)
• Hopfield, Kohonen, Rumelhart (1986)
Resolución de los problemas atribuidos al Perceptrón. Desarrollo del Perceptrón multicapa
UHUPUCV
Situación actual de la IA
Corrientes complementarias
‘Búsqueda de la inteligencia’
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
IA convencional (rama simbólica)
Inteligencia computacional o Soft computing (rama conexionista)
UHUPUCV
¿Cómo funciona una neurona?
Axón
Soma
+50 mV
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Dendritas
+++ + +
--- - -
-60 mV K+
P2-
Na+
Ca2+
Cl- -60 mV
+50 mV
-45 mV
Potencial de acción
PolarizaciónDespolarización
Hiperpolarización
UHUPUCV
• Sistemas distribuidos
• Sistemas paralelos
• Cerebro y computador
Sistemas neuronales artificiales
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
• Sistemas distribuidos
• Sistemas adaptativos
UHUPUCV
Clasificación de las Redes Neuronales
RNAs
ReforzadosHíbridos
RBF
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Supervisados No supervisados
Realimentados Unidireccionales Realimentados Unidireccionales
Perceptrón ART
Hopfield
Kohonen
UHUPUCV
Perceptrón multicapaCapa de entrada Capas intermedias Capa de salida
1
1 1
1
2
2 2
2j p
e1
e2
x1
x2
Wj i
Wp j
Wk p
ji pj kp
1
2
1
2
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
xj 1
xj 2
xj i
xj q
y1 j
yp j
ym j
Ijf(I )
j
nodo j
Elemento de proceso o neurona
j1
j2
j3jq
1j
pj
mj
j j
i k
q
n m
s
ek
es
xi
xq
i
q
k
s
UHUPUCV
Perceptrón multicapa. Criterios de calibración
• Número de neuronas en la capa de entrada y salida
• Número de capas ocultas. MLP con 2 capas ocultas es un aproximador decualquier tipo de función
• Número de neuronas en las capas ocultas
• Algoritmo de aprendizaje:
Retropropagación de errores o BP (backpropagation)
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Modificación del BP: EDB, EDBD
Métodos de segundo orden: Levenberg-Marquardt (LM)
Función de transferencia o activación (lineal, sigmoidal, hiperbólica, pi, senoidal...)
Data setting (datos de calibración, validación interna, validación externa,
validación cruzada)
UHUPUCV
Perceptrón multicapa. Criterios de calibración
• Número de neuronas en la capa de entrada y salida
• Número de capas ocultas. MLP con 2 capas ocultas es un aproximador decualquier tipo de función
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
A
B
UHUPUCV
B
A
B
A
B
Perceptrón multicapa. Criterios de calibración
• Número de neuronas en la capa de entrada y salida
• Número de capas ocultas. MLP con 2 capas ocultas es un aproximador decualquier tipo de función
• Número de neuronas en las capas ocultas
• Algoritmo de aprendizaje:
Retropropagación de errores o BP (backpropagation)
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Modificación del BP: EDB, EDBD
Métodos de segundo orden: Levenberg-Marquardt (LM)
Función de transferencia o activación (lineal, sigmoidal, hiperbólica, pi, senoidal...)
Data setting (datos de calibración, validación interna, validación externa,
validación cruzada)
UHUPUCV
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
X Salida de la red N1
Perceptrón multicapa. Calibración
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Zla red N1
Error 1= Y1-N1
Epoca 1. Pesos aleatorios
UHUPUCV
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
X Salida de la red N2
Perceptrón multicapa. Calibración
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Zla red N2
Error 2= Y2-N2
Epoca 1. Pesos aleatorios
UHUPUCV
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
X Salida de la red N3
Perceptrón multicapa. Calibración
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Zla red N3
Error 3= Y3-N3
Epoca 1. Pesos aleatorios
UHUPUCV
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
X
Perceptrón multicapa. Calibración
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Z
Error total= Error1+Error2+Error3
Ajuste de pesos (aprendizaje)
UHUPUCV
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
X
Perceptrón multicapa. Calibración
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Z
Error total= Error1+Error2+Error3
Ajuste de pesos (aprendizaje)
UHUPUCV
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
X
Perceptrón multicapa. Calibración
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Z
Error total= Error1+Error2+Error3
Ajuste de pesos (aprendizaje)
UHUPUCV
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
X
Perceptrón multicapa. Calibración
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Z
Error total= Error1+Error2+Error3
Ajuste de pesos (aprendizaje)
UHUPUCV
Error total
Error de validación interna
Perceptrón multicapa. Calibración
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
EpocasFIN DELENTRENAMIENTO!!!!
Mínimo local
UHUPUCV
X Salida de la red Ŷ4
Perceptrón multicapa. Validación externa
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Zla red Ŷ4
Pesos de la mejor calibración envalidación interna
UHUPUCV
X Salida de la red Ŷ5
Perceptrón multicapa. Validación externa
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
Zla red Ŷ5
Pesos de la mejor calibración envalidación interna
UHUPUCV
X Salida de la red Ŷ6
Perceptrón multicapa. Validación externa
Input 1 Input 2 OutputX1 Z1 Y1X2 Z2 Y2X3 Z3 Y3
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Zla red Ŷ6
Pesos de la mejor calibración envalidación interna
UHUPUCV
Input 1 Input 2 Observed output (y) Estimated output (y)
X4 Z4 Y4 Y4
X5 Z5 Y5 Y5
X6 Z6 Y6 Y6
^^
• Coeficiente de correlación (R)
• Coeficiente de determinación (R2)
^
Perceptrón multicapa. Validación externa
^
^
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
• Coeficiente de determinación (R2)2
N
1i
2mi
N
1i
2mi
N
1imimi
2
)yy()yy(
)yy)(yy(R
−−
−−=
∑∑
∑
==
=
UHUPUCV
Input 1 Input 2 Observed output (y) Estimated output (y)
X4 Z4 Y4 Y4
X5 Z5 Y5 Y5
X6 Z6 Y6 Y6
^^
• Coeficiente de correlación (R)
• Coeficiente de determinación (R2)
^
Perceptrón multicapa. Validación externa
^
^
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
• Coeficiente de determinación (R2)
•Medidas de errores absolutos (MAE y RMSE)
N
)y(yRMSE
N
1i
2ii −
=∑=
N
)y(yMAE
N
1iii∑
=
−=
UHUPUCV
Input 1 Input 2 Observed output (y) Estimated output (y)
X4 Z4 Y4 Y4
X5 Z5 Y5 Y5
X6 Z6 Y6 Y6
^^
• Coeficiente de correlación (R)
• Coeficiente de determinación (R2)
^
Perceptrón multicapa. Validación externa
^
^
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
• Coeficiente de determinación (R2)
•Medidas de errores absolutos (MAE y RMSE)
• Porcentaje del error estándar de predicción (%SEP)
• Coeficiente de eficiencia (E)
( )
( )∑
∑
∑
∑
=
=
=
=
−
−−=
−
−−=
N
1i
2mi
N
1i
2ii
2N
1imi
N
1iii
1
yy
yy0.1E
yy
yy0.1E
UHUPUCV
Input 1 Input 2 Observed output (y) Estimated output (y)
X4 Z4 Y4 Y4
X5 Z5 Y5 Y5
X6 Z6 Y6 Y6
^^
• Coeficiente de correlación (R)
• Coeficiente de determinación (R2)
^
Perceptrón multicapa. Validación externa
^
^
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
• Coeficiente de determinación (R2)
•Medidas de errores absolutos (MAE y RMSE)
• Porcentaje del error estándar de predicción (%SEP)
• Coeficiente de eficiencia (E)
• Índice de persistencia (PI)
( )
( )∑
∑
=−
=
−
−−=
N
1i
21ii
N
1i
2ii
yy
yy0.1PI
UHUPUCV
Input 1 Input 2 Observed output (y) Estimated output (y)
X4 Z4 Y4 Y4
X5 Z5 Y5 Y5
X6 Z6 Y6 Y6
^^
• Coeficiente de correlación (R)
• Coeficiente de determinación (R2)
^
Perceptrón multicapa. Validación externa
^
^
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
• Coeficiente de determinación (R2)
•Medidas de errores absolutos (MAE y RMSE)
• Porcentaje del error estándar de predicción (%SEP)
• Coeficiente de eficiencia (E)
• Índice de persistencia (PI)
• Criterio de información de Akaike y Bayesiano
( )
N
m2
N
yylogAIC
N
1i
2ii
+
−
=∑=
UHUPUCV
Como resolver el problema de la función OR. Para esta función, la red debe ser capaz dedevolver, a partir de cuatro patrones de entrada, a qué clase pertenece cada uno.
Perceptrón multicapa. Ejemplo numérico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Patrón de entrada 00 (x1 = 0; x2 = 0) Salida RNC Clase 0 (Y = 0)
Patrón de entrada 01 (x1 = 0; x2 = 1) Salida RNC Clase 1 (Y = 1)
Patrón de entrada 10 (x1 = 1; x2 = 0) Salida RNC Clase 1 (Y = 1)
Patrón de entrada 11 (x1 = 1; x2 = 1) Salida RNC Clase 1 (Y = 1)
UHUPUCV
x1
x2
Y
x0 = 1
w0w1
w2Y = f(x1 w1 + x2 w2 + w0)
Perceptrón multicapa. Ejemplo numérico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
1. Inicialización aleatoria de los valores de pesos
x1 = 0
x2 = 0
Y
x0 = 1
w0w1
w2
Y = f(X) = f(x1 w1 + x2 w2 + w0)
YFunción escalón
UHUPUCV
1. Inicialización aleatoria de los valores de pesos
w0 = 1.5; w1 = 0.5; w2 = 1.5
2. Cálculo salida estimada por la red neuronal para
primer patrón
. Se toma el patrón de entrada (x0 = 1; x1 = 0; x2 = 0)
X = x1 w1 + x2 w2 + w0 = 0 * 0.5 + 0 * 1.5 + 1.5 = 1.5
. Salida estimada: X = 1.5 > 0 luego Yest = f(X) = 1
. Salida observada: Yobs = 0
1
0
Y
X
Y = f(X) =1 si X >= 0
0 si X < 0
Perceptrón multicapa. Ejemplo numérico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
3. Cálculo del error de la estimación
x1 = 0
x2 = 0
Y
x0 = 1
w0 = 1.5w1 = 0.5
w2 = 1.5 Y = f(X) = f(x1 w1 + x2 w2 + w0)
YFunción escalón
UHUPUCV
3. Cálculo del error de la estimación
. Salida estimada: X = 1.5 > 0 luego Yest = f(X) = 1
. Salida observada: Yobs = 0
. Error = Yobs – Yest = 0-1 = -1
4. Modificación de los pesos
wi(t+1) = wi(t) + (Error * xi)
. w0(t+1) = 1.5 + (-1*1) = 0.5
. w1(t+1) = 0.5 + (-1*0) = 0.5
. w2(t+2) = 1.5 + (-1*0) = 1.5
1
0
Y
X
Y = f(X) = 1 si X >= 0
0 si X < 0
Perceptrón multicapa. Ejemplo numérico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
x1 = 0
x2 = 1
Y
x0 = 1
w0 = 0.5w1= 0.5
w2 = 1.5
Y = f(X) = f(x1 w1 + x2 w2 + w0)
YFunción escalón
UHUPUCV
1
0
Y
X
Y = f(X) = 1 si X >= 0
0 si X < 0
5. Cálculo salida estimada por la red neuronal parasegundo patrón
. Siguiente patrón de entrada (x0 = 1; x1 = 0; x2 = 1)
X = x1 w1 + x2 w2 + w0 = 0 * 0.5 + 1 * 1.5 + 0.5 = 2.0
. Salida estimada: X = 2.0 > 0 luego Yest = f(X) = 1
. Salida observada: Yobs = 1
Perceptrón multicapa. Ejemplo numérico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Y
x0 = 1
w0 = 0.5w1= 0.5
w2 = 1.5
Y = f(X) = f(x1 w1 + x2 w2 + w0)
YFunción escalón
6. Cálculo del error de la estimación
x1 = 0
x2 = 1
UHUPUCV
1
0
Y
X
Y = f(X) = 1 si X >= 0
0 si X < 0
6. Cálculo del error de la estimación
. Salida estimada: X = 2 > 0 luego Yest = f(X) = 1
. Salida observada: Yobs = 1
. Error = Yobs – Yest = 1-1 = 0
7. Modificación de los pesos
wi(t+1) = wi(t) + (Error * xi)
. w0(t+1) = 0.5 + (0*1) = 0.5
. w1(t+1) = 0.5 + (0*0) = 0.5
. w2(t+2) = 1.5 + (0*0) = 1.5
No hay modificaciónde pesos
Perceptrón multicapa. Ejemplo numérico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Y
x0 = 1
w0 = 0.5w1= 0.5
w2 = 1.5
Y = f(X) = f(x1 w1 + x2 w2 + w0)
YFunción escalón
x1 = 0
x2 = 1
UHUPUCV
1
0
Y
X
Y = f(X) = 1 si X >= 0
0 si X < 0
8. Se repite el mismo proceso para los otros dos patrones
(x0 = 1; x1 = 1; x2 = 0) y (x0 = 1; x1 = 1; x2 = 1)
. En ambos casos se cumple que:
Error = Yobs – Yest = 1-1 = 0
. Por lo que no hay modificación de los pesos
. Con el patrón (0;0) el error cometido no es cero
Perceptrón multicapa. Ejemplo numérico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Y
x0 = 1
w0 = 0.5w1= 0.5
w2 = 1.5
Y = f(X) = f(x1 w1 + x2 w2 + w0)
YFunción escalón
x1 = 0
x2 = 0
9. Se introducen otra vez todos los patrones (2 época)
UHUPUCV
1
0
Y
X
Y = f(X) = 1 si X >= 0
0 si X < 0
9. Se introducen otra vez todos los patrones (2 época)
(a) Se toma el patrón de entrada (x0 = 1; x1 = 0; x2 = 0)
X = x1 w1 + x2 w2 + w0 = 0 * 0.5 + 0 * 1.5 + 0.5 = 0.5
. Salida estimada: X = 0.5 > 0 luego Yest = f(X) = 1
. Salida observada: Yobs = 0
. Error = Yobs – Yest = 0-1 = -1
. Modificación de pesos:
. .w0(t+1) = 0.5 + (-1*1) = -0.5
. .w1(t+1) = 0.5 + (-1*0) = 0.5
. .w2(t+1) = 1.5 + (-1*0) = 1.5
Perceptrón multicapa. Ejemplo numérico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Y
x0 = 1
w0 = -0.5w1= 0.5
w2 = 1.5
Y = f(X) = f(x1 w1 + x2 w2 + w0)
YFunción escalón
x1 = 0
x2 = 1
9. Se introducen otra vez todos los patrones (2 época)
UHUPUCV
1
0
Y
X
Y = f(X) = 1 si X >= 0
0 si X < 0
9. Se introducen otra vez todos los patrones (2 época)
(b) Se toma el patrón de entrada (x0 = 1; x1 = 0; x2 = 1)
X = x1 w1 + x2 w2 + w0 = 0 * 0.5 +1 * 1.5 - 0.5 = 1.0
. Salida estimada: X = 1 >= 0 luego Yest = f(X) = 1
. Salida observada: Yobs = 1
. Error = Yobs – Yest = 1-1 = 0
. No se modifican los pesos
. Para las otras dos entradas (1;0) y (1;1) los pesos tampoco
varían
Perceptrón multicapa. Ejemplo numérico
Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Y
x0 = 1
w0 = -0.5w1= 0.5
w2 = 1.5
Y = f(X) = f(x1 w1 + x2 w2 + w0)
YFunción escalón
x1 = 0
x2 = 0
10. Se introducen otra vez todos los patrones (3 época)
UHUPUCV
1
0
Y
X
Y = f(X) = 1 si X >= 0
0 si X < 0
10. Se introducen otra vez todos los patrones (3 época)
(a) Se toma el patrón de entrada (x0 = 1; x1 = 0; x2 = 0)
X = x1 w1 + x2 w2 + w0 = 0 * 0.5 + 0 * 1.5 - 0.5 = -0.5
. Salida estimada: X = -0.5 < 0 luego Yest = f(X) = 0
. Salida observada: Yobs = 0
. Error = Yobs – Yest = 0-0 = 0
. No hay modificación de pesos
. Tampoco hay errores con estos pesos con el resto de patrones
. CONCLUYE LAETAPADEAPRENDIZAJE
Aproximación no lineal a las relaciones entre las características del hábitat y la diversidad de las comunidades de peces en el estuario del Tajo
• Diversidad de los peces en zonas estuáricas (implicaciones)
• Problemas asociados al cálculo de la diversidad
• Diferentes puntos de vista
Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
- Estimación a partir de variables ambientales, biológicas y estacionales
- Estimación a partir de variables ambientales exclusivamente
¿Aproximación lineal o no lineal?
Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal
Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.
Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x
UHUPUCV
Campañas de muestreo
• Estuario del Tajo (años 2001 y 2002)
• Variables ambientales medidas (Profundidad, pendiente, temperatura, salinidad,oxígeno disuelto, nitratos, nitritos, fosfatos, silicatos, clorofila a, secchi, MOP)
• Variable a estimar (Diversidad)
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
¿Cómo modelar?
∑=
−=s
z
zz ppH1
log
UHUPUCV
Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal
Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.
Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x
Aproximación lineal
• Métodos multivariantes (cuantitativos y cualitativos)
• Métodos cualitativos: Análisis de Componentes Principales (ACP), Análisis deCorrespondencias Canónicas (ACC), Clustering....
• Métodos cuantitativos: Regresiones Lineales Múltiples (RLM)
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
qqxb......xbbe +++= 110
UHUPUCV
Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal
Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.
Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x
Resultados de la aproximación lineal CalibrationR=0.5017; R2=0.2517; Ajusted R2=0.1756; F(12,118)=3.3077; p<0.01; N=131
Dependent variable Independent variables B p
Shannon index Intercept 2.3439 0.0187*
D -0.0510 0.0002**
S 0.4982 0.2349T -0.0598 0.0346*
Sal 0.0336 0.0254*
Ox -0.1165 0.0084**
NO2 -0.1110 0.0119*
2.5
Shan
non
Index Estim
ated
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
NO3 0.1210 0.2061PO4 0.0115 0.7705SiO4 0.0006 0.9202Ch a 0.0054 0.6190Se 0.0007 0.0910
WPOM 0.0028 0.5232
ValidationR=0.2665; R2=0.0710; Ajusted R2=0.0483; F(1,41)=3.1336; p=0.0841; N=43RMS=0.5233; %SEP=47.5868; E=-0.0217; ARV=1.0217; AIC=-0.0044; BIC=-0.1067
Dependent variable Independent variable B p
Shannon index observed Intercept 0.4230 0.2845Shannon index estimated 0.5578 0.0841
*p<0.05; **p<0.01
Shannon Index Observed 2.500
Shan
non
Index Estim
ated
UHUPUCV
Seleccionando la mejor red neuronal
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
UHUPUCV
Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal
Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.
Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x
Resultados de la aproximación
no lineal
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
UHUPUCV
Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal
Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.
Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x
Resultados de la aproximación
no lineal
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
UHUPUCV
Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal
Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.
Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x
Programa de Ciencias del Mar 2006
Resultados de la aproximación
no lineal
Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
UHUPUCV
Analytical approaches to determining relationships between fish diversity and environmental characteristics in the Tagus estuary, Portugal
Gutiérrez-Estrada, J.C., Vasconcellos, R. y Costa, M.J.
Journal of Applied Ichthyology, doi: 10.1111/j.1439-0426.2007.01039.x
Estimación de la concentración de amoniaco en un sistema de cultivo intensivo de anguilas
• ¿Cómo afecta el amoniaco disuelto a la salud de los peces?
• Aproximación física del problema
• Solución univariante
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
- Regresiones múltiples
- Modelos univariantes de series temporales(suavizado exponencial simple, modelo de Holt,modelos ARIMA
- Redes neuronales de ventana móvil
Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.
Aquacultural Engineering 31: 183-203
UHUPUCV
Modelos univariantes de series temporales
• Suavizado exponencial simple:
1tdtdt S)α1(dαS −−+=
t1t Se =+
• Modelo de Holt:
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
• Modelo de Holt:
)TS()α1(dαS 1t1tdtdt −− +−+=
1td1ttdt T)β1()SS(βT −− −+−=
tt1t TSe +=+
Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.
Aquacultural Engineering 31: 183-203
UHUPUCV
Modelos univariantes de series temporales
• Modelo ARIMA (p,d,q)(P,D,Q)S:
tqS
QtDSd
pS
P a)B()B()Z()B1()B1()B()B( ⋅θ⋅Θ=µ−⋅−⋅−⋅φ⋅Φ
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
tqQtpP
Operador retroceso
Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.
Aquacultural Engineering 31: 183-203
UHUPUCV
Resultados regresión lineal múltiple
(A) Regression summary in the calibration modelR=0.9890; R2=0.9782; F(2;880)=7626.6; pα<0.001; N=882
Dependent variable Independent variables bi(i=0,1,...,q) pααααAmmonia (t) Intercept (b0) 0.0616 0.0709
Ammonia (t-1) 1.5733 0**
Ammonia (t-2) -0.6030 0**
(B) Regression summary in the validation modelR=0.9785; R2=0.9574; F(1;376)=8450.9; pα<0.001; N=378%SEP=20.7449; Coefficient E=0.9569; ARV=0.0431
Dependent variable Independent variable bi(i=0,1,...,q) pαααα
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
αααα
Ammonia estimated (t) Intercept (b0) 0.5531 0.0725Ammonia observed (t) 1.0186 0**
UHUPUCV
Resultados modelos univariantes de series temporales
ValidationModel Parameters
R2 %SEP E ARVSimple exponential
smoothing S0=2.5940; αd=1 0.9328 26.1196 0.9316 0.0684
Holt smoothingS0=0.6437; T0=-0.0020αd=1; βd=0.3800
0.95121 24.13361 0.94161 0.05841
ARIMA (0,0,1) Θ1=-0.9254** 0.8363 76.5036 0.4134 0.5866
ARIMA (1,0,0) Φ1=0.9849** 0.9358 25.4364 0.9352 0.0648
ARIMA (0,1,1) Θ1=-0.4725** 0.9527 21.9946 0.9515 0.0485
ARIMA (1,0,1) Φ =0.9751**; Θ =-0.4766** 0.9527 21.8918 0.9520 0.0480
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
ARIMA (1,0,1) Φ1=0.9751**; Θ1=-0.4766
** 0.9527 21.8918 0.9520 0.0480ARIMA (1,1,0) Φ1=0.5539
** 0.9572 21.2352 0.9548 0.0452ARIMA (1,2,1) Φ1=0.2906
**; Θ1=-0.9946** 0.7986 48.7636 0.7617 0.2383
ARIMA (2,2,1)Φ1=0.4357
**; Θ1=-0.9904**
Φ2=-0.4927** 0.9444 25.8011 0.9333 0.0667
ARIMA (2,1,1)Φ1=1.5282
**; Θ1=0.9903**
Φ2=-0.5785** 0.95711 20.72571 0.95691 0.04311
ARIMA (1,2,2)Φ1=-0.1454
**; Θ1=-1.8701**
Θ2=-0.8769** 0.9469 24.8852 0.9379 0.0621
ARIMA (2,2,2)Φ1=-0.1084
*; Θ1=-1.7963**
Φ2=-0.2925**; Θ2=-0.8047
** 0.9510 24.0028 0.9423 0.0577
*pα<0.05; **pα<0.01
1Best value
UHUPUCV
Resultados modelos univariantes de series temporales
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
UHUPUCV
Resultados redes neuronales
Calibration ValidationRed Weights Epochs R2 %SEP E ARV
5:5s:5s:1l 55 55 0.9402 25.8434 0.9331 0.06695:10s:10s:1l 160 6836 0.9409 25.2448 0.9361 0.06395:10s:15s:1l 215 1975 0.9508 22.16651 0.95081 0.04921
5:15s:10s:1l 235 976 0.95111 22.5176 0.9492 0.05085:15s:15s:1l 315 1286 0.9488 24.0225 0.9422 0.05785:15s:20s:1l 395 756 0.9466 24.8347 0.9382 0.06185:20s:20s:1l 520 713 0.9385 25.8179 0.9332 0.0668
1Best value
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
1Best value
UHUPUCV
Segunda validación externa. Resultados
Extended validation to ‘B’ Series
R2 %SEP E ARVDifferences in
R2Differences in
%SEPDifferences in
EDifferences in
ARVMultiple regression 0.9682 18.15481 0.96811 0.03191 0.0108 (1.1 %) -2.5901 (12.5 %) 0.0112 (1.2 %) -0.0112 (26.0 %)Holt smoothing 0.9547 23.9283 0.9446 0.0554 0.0035 (0.4 %) -0.2053 (0.9 %) 0.0030 (0.3 %) -0.0030 (5.1 %)ARIMA(2,1,1) 0.97161 18.6563 0.9663 0.0337 0.0145 (1.5 %) -2.0694 (10.0 %) 0.0094 (1.0 %) -0.0094 (21.8 %)
5:10s:15s:1l CNN 0.9664 18.5569 0.9667 0.0333 0.01561 (1.6 %) -3.60951 (16.3 %) 0.01591 (1.6 %) -0.01591 (32.3 %)
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
5:10s:15s:1l CNN 0.9664 18.5569 0.9667 0.0333 0.01561 (1.6 %) -3.60951 (16.3 %) 0.01591 (1.6 %) -0.01591 (32.3 %) Extended validation to ‘PG’ Series
Multiple regression 0.9610 18.7714 0.9609 0.0391 0.0036 (0.4 %) -1.9735 (9.5 %) 0.0040 (0.4 %) -0.0040 (9.3 %)Holt smoothing 0.9555 22.1086 0.9458 0.0542 0.0043 (0.5 %) -2.0250 (8.4 %) 0.0042 (0.4 %) -0.0042 (7.2 %)ARIMA(2,1,1) 0.96181 18.5212 0.9620 0.0380 0.0047 (0.5 %) -2.2045 (10.6 %) 0.0051 (0.5 %) -0.0051 (11.8 %)
5:10s:15s:1l CNN 0.9580 17.49831 0.96601 0.03391 0.00721 (0.6%) -4.66811 (21.1 %) 0.01521 (1.6 %) -0.01531 (31.1 %)1 Best value
Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.
Aquacultural Engineering 31: 183-203
UHUPUCV
Tercera validación externa. Resultados
t+2 days forecastingMultiple regression ANN
Pearson correlation coefficient (R) -0.9004 0.8536Determination coefficient (R2) 0.8108 0.7286%SEP 223.0196 62.1857E -3.9847 0.6124ARV 4.9847 0.3876
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
ARV 4.9847 0.3876t+3 days forecasting
Multiple regression ANNPearson correlation coefficient (R) 0.8534 0.9678Determination coefficient (R2) 0.7283 0.9366%SEP 133.0962 39.2753E -0.7754 0.9082ARV 1.7754 0.0918
Comparison between traditional methods and artificial neural networks for ammonia concentration forecasting in an eel (Anguilla anguilla L.) intensive rearing systemGutiérrez-Estrada, J.C., De-Pedro, E., López-Luque, R. y Pulido-Calvo, I.
Aquacultural Engineering 31: 183-203
UHUPUCV
Predicción a corto plazo de la CPUE del fletán. Aproximación lineal y no lineal univariante
• Importancia de la predicción de CPUE
• Series con alta no linealidad
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Halibut CPUE short-time forecasting. A linear and non-linear univariate approach
Czerwinski, I.A., Gutiérrez-Estrada, J.C. y Hernándo-Casal, J.A.
Fisheries Research, Vol. 86(2-3): 120-128.
UHUPUCV
Halibut (Hippoglossus stenolepis)
Estimación mensual de las capturas de anchoveta en la zona norte de Chile. Aproximación univariante.
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Modelos híbridos
Accuracy measures
NF16-15s-15s-1la
+ARIMA(2,0,0)
7-10s-10s-1lc
+ARIMA(1,0,1)(1,0,1)S=12
R 0.5267 0.9175 0.9030R2 0.2773 0.8418 0.8155PI 0 0.7778 0.7874RMSE (Tons) 63378.87 30090.76 29478.51SEP (%) 111.1082 51.5766 49.7780MAE (Tons) 36825.36 17482.61 21616.97
No estacional Estacional
UHUPUCV
MAE (Tons) 36825.36 17482.61 21616.97E2 0.0539 0.8153 0.7915ARV 0.9461 0.1847 0.2084m 1 332b 184d
AIC 9.6078 15.7324 12.7723BIC 9.6091 15.7027 12.7384ARIMA parameterse
φ1=-0.2514; φ2=-0.2180φ1=0.3764; θ1=0.6150Φ1=0.8779; Θ1=0.7344
a Inputs in the calibration phase=convoluted data; Model type=non seasonal autoregressive CNN
b m=330 CNN weights + 2 autoregressive parameters of ARIMA model
c Input in the calibration phase=original data; Model type=seasonal (S=12 [one year]; P=1[one month])autoregressive CNN
d m=184 CNN weights + 1 non seasonal autoregressive parameter + 1 non seasonal moving average parameter + 1seasonal autoregressive parameter + 1 seasonal moving average parameter of ARIMA model
e All parameters p<0.05
Monthly catch forecasting of anchovy Engraulis ringens in the north area of Chile.Non-linear univariate approach
Gutiérrez-Estrada, J.C., Silva, C., Yáñez, E., Rodríguez, N. y Pulido-Calvo, I.
Fisheries Research, Vol. 86 (2-3): 188-200.
Estimación mensual de las capturas de sardina en la zona norte de Chile. Aproximación multivariante.
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
Resultados preliminaresLM (15) Cross-validated
1.6
1.8
2.0
2.2
Capturas de Sardina (Tons)
Scatterp lot (Spreadsheet en Modelos Sard ina Anchoveta 3v*286c)
DESSAR.2 = 0.1465+0.8808*x
1.2
1.4
1.6
1.8
2.0
2.2
DESSAR.2
UHUPUCV
Aplicación de métodos clásicos y heurísticos para la predicción de pesqueríaspelágicas en el norte de Chile.
Proyecto AECI
Obs Est
1 14 27 40 53 66 79 92 105 118 131 144 157 170
Meses
0.8
1.0
1.2
1.4
1.6
Capturas de Sardina (Tons)
Include v1='Train' Include v1='Select'
Include v1='Test' Other
0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2
DESSAR
0.8
1.0
Variables de entrada:
. Capturas de anchoveta
. TSM
. Niño3+4
Herramientas para la calibración de RNCs
Programa de Ciencias del Mar 2006Programa de Ciencias del Mar 2006Curso de introducción a las Redes Neuronales Computacionales PUCV, 12-13 de octubre de 2007
• Modelos de utilidad programados por el usuario
• Aplicaciones comerciales: cerradas (Statistica) y abiertas (MatLab)
Statistica 7.0. Statsoft
UHUPUCV
REDGEN: generador de redes neuronalescomputacionales
Gutiérrez-Estrada, J.C., y Pulido-Calvo, I.
Asiento registral: 04/2002/554
Dr. Juan Carlos Gutiérrez EstradaDpto. de Ciencias Agroforestales
Escuela Politécnica Superior
Campus Universitario de La Rábida
Universidad de Huelva
21819 Palos de la Frontera (Huelva)
Tel y fax: +34 959217528
E-mail: juanc@uhu.es
Dra. Inmaculada Pulido CalvoDpto. de Ciencias Agroforestales
Escuela Politécnica Superior
Campus Universitario de La Rábida
Universidad de Huelva
21819 Palos de la Frontera (Huelva)
Tel y fax: +34 959217533
E-mail: ipulido@uhu.es