Cap1.2007-ANN - inf.utfsm.clhallende/bajadas/Redes/Cap1.2007-ANN.pdf · Aspectos teóricos de las...
Transcript of Cap1.2007-ANN - inf.utfsm.clhallende/bajadas/Redes/Cap1.2007-ANN.pdf · Aspectos teóricos de las...
-
��
��������������������������
��������������
��������� ��� !��"# ��
�����������������������
���� �����������
�������"
$ ���"�"�
%!�&�" '$ ($)����������$�$�*'
$ �����������������+�������!#��"�
,����"��-.**$�/.0*������$11*
,�������"��1.**$�0.0*����$11*
���� �����������
� Introducción: Diversas aproximaciones a las redes neuronales artificiales ;Biológica ;Estadística; Computacional etc
� Redes Neuronales Artificiales FANNN: Modelo formal; Aspectos constructivos: Arquitecturas ; Algoritmos Aprendizaje ;Evaluación del desempeño.
� Aspectos teóricos de las ANN. Aproximación universal, convergencia.
� Sistemas Neuro-borrosos para la extracción de reglas.� Redes neuronales probabilísticas. Redes Neuronales
Bayesianas. � Máquinas de aprendizaje, métodos de Kernel,
máquinas de vector soporte � Aplicaciones de las ANN en regresión, pronósticos,
clasificación, reconocimiento de formas, etc.
���������"
���� �����������
��2��"
� ��2�2 , 3���������������������������
������������������ ���,��4��""3��55)
� ��������6�����3�7�����������������������
���������������������83�,��4��""3��55' �
� 9�"��:�� 3�7����������������� ���������83�����������4��""�;����3��55/
� ��:��
-
�1
���� �����������
������������������������������������
����������
����������
����������
�������������
����������
����������
����������
�������������
����������
� �� ���� �����������
�����������������������
���������
��������������
����������
��� � ���������!"���������
� ��
���� �����������
��#:!�������� �������=����
� Combinación:
– Ciencias Cognitivas y lógica
– Ciencias de la Computación– Neurociencia (Fisiología neuronal)– Neuro-computación– Estadística Computacional
Creación de Máquinas que puedan aprender de los datos (Machine Learning)
���� �����������
�����������"�
�������������������(
� ,����� ��=����#��� ��":����� �������������
�����#:����#����� �����" ��!����" 2���+=���" B��C.��������������� B���:����&� �������
��!���C�
-
�0
���� �����������
�#F=���" ��������2��
� 4�"�������#�""������#�=��:�
� �!���������#�=��������"��������#�=��=�B,��C
� ,�:"�����2������;
-
�-
���� �����������
���@�"���������=����+�
� P!� �"������=����+�Q������+��������&����"����������
���:��#�������"��!��!����H!�������R� B�������#��=��C�
!��#!���
� ��#���!�������Q������&�"����!�������������#����"�
��������������"���:���"������#2��"��"��!��!����"�
�!������!�����#:����������!:���
� ��#��"�2���"��!��"�"��#����=����&���!������Q��!�����
"������"���#�����:��������!��#!�������"�=��������+��
:���;�"�������������=!���!��#!�����!�&�
B������"���O�������55)C
���� �����������
4����"���� ���#�����
�����2F"��� ���:����"�#����� H!���:�"��
#R���:��" �������"
-
�/
���� �����������
El perceptron
El “perceptron” procesador desarrollado F. Rosenblatt ( 1958),
x1
xn
�
w1
wnT z
B = {0,1} or B = {-1,1}
x1,..., xn, z ∈ B
T�G*;>
�G*;>
�
��
��
�
��
��
=⇔;> with x0=1 and w0= -T© cm
wi, T ∈ �
���� �����������
Rosenblatt‘s Theorem
“A perceptron can learn what it can do”
� ��
���� �����������
X W f
w0
a
a = f ( W, X,w0 )"""
�
�"""
�������� ��
"""
CCBBCCBB
�CB�
*
44
4
�������
�����
�
��
=
−=�=
��#�
1����#��
0
3������& $���
���
���� �����������
X W f
w0
a
a = f ( W, X,w0 )"""
�
�"""
�������� ��
"""
���������������
��������
�
��
##
#
=
−=�=�
*
��#�
1
����#��
0
-1
3������& $���
���
���� �����������
CCB��;:B�
�CCB�B�
>>;CB� *�
�
��
�
44
4
−+=
−=�=
� ��
��#�
1����#��
0
X W f
w0
a
a = f ( W, X,w0 )"""
�
�"""
�������� ��
"""
3������& $���
���
���� �����������
�!������" �������&���+�
� 7����%� �����#���%� ���8�����(
� $����%����������2���9�
���� −+
=�
�CB
*C�BT >−=≡ ����
���
-
�'
���� �����������
��!����" ��#� �!������"
� ��"���!����" ����"���#�� !�� ������� ����������
�B�C����������#:� �����!�� "�M�� ���"������������� ��
B�B�CC
� *������%� �����#���%� ������%� ��:��(�
� ;�����������:��.
��
��
��
��� U=�
��
��
���� �����������
X W f
w0
a
a = f ( W, X,w0 )"""
�
�"""
�������� ��
"""
���������������
������ �
�
�
�
##
#
=
−=�=
*
�
��#�
1
����#��
0
-1
3������& $���
���
���� �����������
�!������" �������&���+�
� 6�������2−= ��
���� �����������
( )( )CB���;:CCBB
1CBCB�
11
*
44
4
���
�����
�
��
−=
−=�=
σ
� ��
Q(x)
1
0
σ
X W f
w0
a
a = f ( W, X,w0 )"""
�
�"""
�������� ��
"""
3������& $���
���
���� �����������
1
A(x)
...
...CCB�B� 4 =
>>;CB� *�
�
��
�4 −=�=
� ��
X W f
w0
a
a = f ( W, X,w0 )"""
�
�"""
�������� ��
"""
3������& $���
���
���� �����������
CCB�B� 4 =
>>;CB� *�
�
��
�4 −=�=
� ��
X W f
w0
a
a = f ( W, X,w0 )"""
�
�"""
�������� ��
"""
...
...
1
A(x)
3������& $���
���
-
�(
���� �����������
�
Data flow:
Feedforward Neural
Networks
Recurrent Neural Networks�
Aprendizaje: ANN with supervised learning
ANN with competitive learning
ANN with unsupervised learning�
Topología:
Regular
Irregular�
Estructura:
1 Layer
Multilayer�Función de Transición�������������Deterministas
Probabilistas �
Algoritmo PPL BPL�
�
Clasificación de las Redes Neuronales
© cm���� �����������
7���,7
������/
� ���7
������.�������"��!��?
-
�)
���� �����������
�������>�����������������!�������>��?
�����.
� �!#2�����������:���#����"
���
����
�+��
���
� += � �=
++=
λ
λλ γγ�
Y1Z
�
Y�Z
3�
�
Y�Z
�
Y1Z
1C3B�
�
�
���� ��������
�C1B ++= λ�
���� �����������
�:�����G�E� �!:��&�"���
� $�������%� ���>����.���"�:�"�"����������[>�\
� �2���?�@�
���������(�"�!����=����#�#������� ����!�� ��"�:�"�"���2��" [>�\����!�� ����"����E!"����"
� 1��@���� �
���������(
���E!��� ����E�#:��" B�#��"���"�C���������"3���" ����������":����� �������#�����" &������" �����������"������ ����&������" ���"������.�[B;�3
-
�5
���� �����������
,�����
���"��#�
����E!��� ����������#�����
��:��;�#���+� ����
��!:!�"��
CB�� ϕ=
�
�
� $���� += C3Bλ
CDB` $$$ σΦ CB` �%�
CBCX3B�
C3B �&����
���$
�
$���
����
� −=�σ
φσ
λ
���
��� �\3[ ==χ
���� �����������
,$�"��#���� ����
����,$�"��#���� ����:��F#���� �"
����� �" !�� �!���+� ��2!"�� �����"��
�����:��
"�����
CB�'��
�
�=
���
����
� −=�
� $
�
��
����
��'�
�
C3B�CB
σρ λ
C3B ����$ ��� λ−=
\.CB#��[��=X ��"
� ���'�� ℜ⊆∈=
"
��X
���� �����������
�����,$�"��#���� :!��� "�����������
�;:������#���� :�� ���"��!��+� ��������!���+�
�����
"�X
*C3BC3B
�
=���
����
� −�
=
���(���� �
�
� $
�
�λ
λ
σψ
$
$$
∂∂= CBCB ρψ
,$�"��#���� ����
���� �����������
�
��
�
∂∂∂=
���
����
�
∂∂
∂∂=
−=
==
−=
�ℜ
��
�
�
��
������(
����
����
��(�
���(�$��(���(��$��$)
��$)*������$)"
����$
C3BC3B
C3BC3 33BC3B
C3BC3BCY3BCZ3BC3BTC33B
CY33BZC3BC33B
C3B
11
�
1
λλ
λλλ
λλλ
λ
ψψ
�����!���� �!������ ,$�"��#����.
��(�"�$��$�!� C3BC3BC3N3B � λψ−−=
,$�"��#���� ����
���� �����������
�!���+� �������!�����
�9�E� ��"���2!��+� =�!""����
����!���+� �������!����� �"�� �����:��
�����
C3NBC3NB����������������������
C3N3BC3N3B
%��!+�$!'
��$�! ��$�!�
Φ==
C3BYCC3BC3BZBC3NB
CYBTZDCBC3NB
� ��(���(���(�*%��!+
$*$�$!'
λλλ
ψψ−=
=Φ
CBCX3B�
C3B �&����
���$
�
$���
����
� −=�σ
φσ
λ
���� �����������
��#�
�����CBTCX3B
������CBCBTCX3B
�E�����CBTCBTCX3B
�3 ������CBTCBTCX3B
1Y1Z
�
�31Y1Z
3�
Y1Z
1Y�Z
3�
3�
Y1Z
1Y�Z
⋅=∂
∂
=⋅⋅=∂
∂
=⋅⋅=∂
∂
==⋅⋅=∂
∂
+
+
γ
λγγ
λγγ
λγγ
λ
λ
λ
λ
λ
�
���
��
���
��
���
�����
���
�
�
�
�
��
�
�
���
��
�
,$�"��#���� ����
-
��*
���� �����������
�"��#���� ,��������
�6��""�������"��"���&��<
__\__���_CB[_"!:�����������������
__\C3XNB__���_C3XNB[_"!:.���������������
__\C3XN3B[__"!:.C3XB
�
3
3
3
U
λψ
γ
(�"$
%��!+�$!'
��$�! ��
$�
"
�
"
�$�
"
�$�
"
�
−=
Φ=
=
$$
$$
=
=
CB
1CB
�H!������"��
1
ψ
ρ Lacks of Robustness
∞== − __\__���_[_"!:.C3XB �3
U
λγ (�"$��$�
��
�
���� �����������
�!���+����2!"����������
( )( )[ ]
CB�CBCB
������������������������������'
�����D'
CB
.��������������
Y3Z
111
1
011
$$$$
�,$,
�,$,$
$
-��.��$�
−−=
���
���
�
>
≤+−=
ψ
ρ
���
����
�=
���
���
�
>
≤−=
__3�#��CB
__��������������������1
__���������1
__
CB
�����������
1
1
$
/$$
/$$
/$/
$/
$
)�/�$
/
/
ψ
ρ
$$
$$
�
=
=
CB
1CB
�����
1
ψ
ρ
CB� $ρ CB$ψ
���� �����������
�:�����G�E� ��2!"��
��"��#���� ��2!"�� ����:��F#���� ����"���� .
�������+� ����$0
�������+� ���
_\YZ[_-)0 � $��$��$ −=σ
$$ ασ`U
&$$�
-
���
���� �����������
��!����"
-
��1
���� �����������
B��B.���!��=������!�������>��?"�"�#!�����
������
� ���������������������������������
� ����������������������������������������
� ������������������������������������������
� �����������������������
� ��������������!����������"�
"��"���� ���!�����
"����##$$$%��&������'&��%���(����&��#)**)#�
� �� ���� �����������
�"� ���!���=
7����#:!������#������"���
���#����������=�����"��:!���
��������������!��"����!#���
H!���"������"����!#���8