Cap1.2007-ANN - inf.utfsm.clhallende/bajadas/Redes/Cap1.2007-ANN.pdf · Aspectos teóricos de las...

12
!"# " $ "" %!&" ’$ ($) $$*’ $ + !#" ," -.**$/.0* $11* ,"1.**$0.0* $11* Introducción: Diversas aproximaciones a las redes neuronales artificiales ;Biológica ;Estadística; Computacional etc Redes Neuronales Artificiales FANNN: Modelo formal; Aspectos constructivos: Arquitecturas ; Algoritmos Aprendizaje ;Evaluación del desempeño. Aspectos teóricos de las ANN. Aproximación universal, convergencia. Sistemas Neuro-borrosos para la extracción de reglas. Redes neuronales probabilísticas. Redes Neuronales Bayesianas. Máquinas de aprendizaje, métodos de Kernel, máquinas de vector soporte Aplicaciones de las ANN en regresión, pronósticos, clasificación, reconocimiento de formas, etc. " 2" 22 ,3 , 4""3 55) 63 7 83, 4""355’ 9": 3 7 83 4"" ; 3 55/ :<9 3 7 !" #2= &"<4"" 55’ # %! !$#:!= " ! >?" % ! >?" %! ! #:! 92=@ $# % &’( )*) &+ ,--./ A4 B61C ,--./ A, 1)D’D*( ,-0./ #% # Neurona Unidad Constituyente del Cerebro = #+ EF B)/1$ 50-C Descubre la neurona (1888) Publicación Textura del sistema nervioso del hombre (1902) Premio Nobel en Medicina (1906) Publicación Generación ( R) del Sistema Nervioso (1914)

Transcript of Cap1.2007-ANN - inf.utfsm.clhallende/bajadas/Redes/Cap1.2007-ANN.pdf · Aspectos teóricos de las...

  • ��

    ��������������������������

    ��������������

    ��������� ��� !��"# ��

    �����������������������

    ���� �����������

    �������"

    $ ���"�"�

    %!�&�" '$ ($)����������$�$�*'

    $ �����������������+�������!#��"�

    ,����"��-.**$�/.0*������$11*

    ,�������"��1.**$�0.0*����$11*

    ���� �����������

    � Introducción: Diversas aproximaciones a las redes neuronales artificiales ;Biológica ;Estadística; Computacional etc

    � Redes Neuronales Artificiales FANNN: Modelo formal; Aspectos constructivos: Arquitecturas ; Algoritmos Aprendizaje ;Evaluación del desempeño.

    � Aspectos teóricos de las ANN. Aproximación universal, convergencia.

    � Sistemas Neuro-borrosos para la extracción de reglas.� Redes neuronales probabilísticas. Redes Neuronales

    Bayesianas. � Máquinas de aprendizaje, métodos de Kernel,

    máquinas de vector soporte � Aplicaciones de las ANN en regresión, pronósticos,

    clasificación, reconocimiento de formas, etc.

    ���������"

    ���� �����������

    ��2��"

    � ��2�2 , 3���������������������������

    ������������������ ���,��4��""3��55)

    � ��������6�����3�7�����������������������

    ���������������������83�,��4��""3��55' �

    � 9�"��:�� 3�7����������������� ���������83�����������4��""�;����3��55/

    � ��:��

  • �1

    ���� �����������

    ������������������������������������

    ����������

    ����������

    ����������

    �������������

    ����������

    ����������

    ����������

    �������������

    ����������

    � �� ���� �����������

    �����������������������

    ���������

    ��������������

    ����������

    ��� � ���������!"���������

    � ��

    ���� �����������

    ��#:!�������� �������=����

    � Combinación:

    – Ciencias Cognitivas y lógica

    – Ciencias de la Computación– Neurociencia (Fisiología neuronal)– Neuro-computación– Estadística Computacional

    Creación de Máquinas que puedan aprender de los datos (Machine Learning)

    ���� �����������

    �����������"�

    �������������������(

    � ,����� ��=����#��� ��":����� �������������

    �����#:����#����� �����" ��!����" 2���+=���" B��C.��������������� B���:����&� �������

    ��!���C�

  • �0

    ���� �����������

    �#F=���" ��������2��

    � 4�"�������#�""������#�=��:�

    � �!���������#�=��������"��������#�=��=�B,��C

    � ,�:"�����2������;

  • �-

    ���� �����������

    ���@�"���������=����+�

    � P!� �"������=����+�Q������+��������&����"����������

    ���:��#�������"��!��!����H!�������R� B�������#��=��C�

    !��#!���

    � ��#���!�������Q������&�"����!�������������#����"�

    ��������������"���:���"������#2��"��"��!��!����"�

    �!������!�����#:����������!:���

    � ��#��"�2���"��!��"�"��#����=����&���!������Q��!�����

    "������"���#�����:��������!��#!�������"�=��������+��

    :���;�"�������������=!���!��#!�����!�&�

    B������"���O�������55)C

    ���� �����������

    4����"���� ���#�����

    �����2F"��� ���:����"�#����� H!���:�"��

    #R���:��" �������"

  • �/

    ���� �����������

    El perceptron

    El “perceptron” procesador desarrollado F. Rosenblatt ( 1958),

    x1

    xn

    w1

    wnT z

    B = {0,1} or B = {-1,1}

    x1,..., xn, z ∈ B

    T�G*;>

    �G*;>

    ��

    ��

    ��

    ��

    =⇔;> with x0=1 and w0= -T© cm

    wi, T ∈ �

    ���� �����������

    Rosenblatt‘s Theorem

    “A perceptron can learn what it can do”

    � ��

    ���� �����������

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    CCBBCCBB

    �CB�

    *

    44

    4

    �������

    �����

    ��

    =

    −=�=

    ��#�

    1����#��

    0

    3������& $���

    ���

    ���� �����������

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    ���������������

    ��������

    ��

    ##

    #

    =

    −=�=�

    *

    ��#�

    1

    ����#��

    0

    -1

    3������& $���

    ���

    ���� �����������

    CCB��;:B�

    �CCB�B�

    >>;CB� *�

    ��

    44

    4

    −+=

    −=�=

    � ��

    ��#�

    1����#��

    0

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    3������& $���

    ���

    ���� �����������

    �!������" �������&���+�

    � 7����%� �����#���%� ���8�����(

    � $����%����������2���9�

    ���� −+

    =�

    �CB

    *C�BT >−=≡ ����

    ���

  • �'

    ���� �����������

    ��!����" ��#� �!������"

    � ��"���!����" ����"���#�� !�� ������� ����������

    �B�C����������#:� �����!�� "�M�� ���"������������� ��

    B�B�CC

    � *������%� �����#���%� ������%� ��:��(�

    � ;�����������:��.

    ��

    ��

    ��

    ��� U=�

    ��

    ��

    ���� �����������

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    ���������������

    ������ �

    ##

    #

    =

    −=�=

    *

    ��#�

    1

    ����#��

    0

    -1

    3������& $���

    ���

    ���� �����������

    �!������" �������&���+�

    � 6�������2−= ��

    ���� �����������

    ( )( )CB���;:CCBB

    1CBCB�

    11

    *

    44

    4

    ���

    �����

    ��

    −=

    −=�=

    σ

    � ��

    Q(x)

    1

    0

    σ

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    3������& $���

    ���

    ���� �����������

    1

    A(x)

    ...

    ...CCB�B� 4 =

    >>;CB� *�

    ��

    �4 −=�=

    � ��

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    3������& $���

    ���

    ���� �����������

    CCB�B� 4 =

    >>;CB� *�

    ��

    �4 −=�=

    � ��

    X W f

    w0

    a

    a = f ( W, X,w0 )"""

    �"""

    �������� ��

    """

    ...

    ...

    1

    A(x)

    3������& $���

    ���

  • �(

    ���� �����������

    Data flow:

    Feedforward Neural

    Networks

    Recurrent Neural Networks�

    Aprendizaje: ANN with supervised learning

    ANN with competitive learning

    ANN with unsupervised learning�

    Topología:

    Regular

    Irregular�

    Estructura:

    1 Layer

    Multilayer�Función de Transición�������������Deterministas

    Probabilistas �

    Algoritmo PPL BPL�

    Clasificación de las Redes Neuronales

    © cm���� �����������

    7���,7

    ������/

    � ���7

    ������.�������"��!��?

  • �)

    ���� �����������

    �������>�����������������!�������>��?

    �����.

    � �!#2�����������:���#����"

    ���

    ����

    �+��

    ���

    � += � �=

    ++=

    λ

    λλ γγ�

    Y1Z

    Y�Z

    3�

    Y�Z

    Y1Z

    1C3B�

    ���� ��������

    �C1B ++= λ�

    ���� �����������

    �:�����G�E� �!:��&�"���

    � $�������%� ���>����.���"�:�"�"����������[>�\

    � �2���?�@�

    ���������(�"�!����=����#�#������� ����!�� ��"�:�"�"���2��" [>�\����!�� ����"����E!"����"

    � 1��@���� �

    ���������(

    ���E!��� ����E�#:��" B�#��"���"�C���������"3���" ����������":����� �������#�����" &������" �����������"������ ����&������" ���"������.�[B;�3

  • �5

    ���� �����������

    ,�����

    ���"��#�

    ����E!��� ����������#�����

    ��:��;�#���+� ����

    ��!:!�"��

    CB�� ϕ=

    � $���� += C3Bλ

    CDB` $$$ σΦ CB` �%�

    CBCX3B�

    C3B �&����

    ���$

    $���

    ����

    � −=�σ

    φσ

    λ

    ���

    ��� �\3[ ==χ

    ���� �����������

    ,$�"��#���� ����

    ����,$�"��#���� ����:��F#���� �"

    ����� �" !�� �!���+� ��2!"�� �����"��

    �����:��

    "�����

    CB�'��

    �=

    ���

    ����

    � −=�

    � $

    ��

    ����

    ��'�

    C3B�CB

    σρ λ

    C3B ����$ ��� λ−=

    \.CB#��[��=X ��"

    � ���'�� ℜ⊆∈=

    "

    ��X

    ���� �����������

    �����,$�"��#���� :!��� "�����������

    �;:������#���� :�� ���"��!��+� ��������!���+�

    �����

    "�X

    *C3BC3B

    =���

    ����

    � −�

    =

    ���(���� �

    � $

    �λ

    λ

    σψ

    $

    $$

    ∂∂= CBCB ρψ

    ,$�"��#���� ����

    ���� �����������

    ��

    ∂∂∂=

    ���

    ����

    ∂∂

    ∂∂=

    −=

    ==

    −=

    �ℜ

    ��

    ��

    ������(

    ����

    ����

    ��(�

    ���(�$��(���(��$��$)

    ��$)*������$)"

    ����$

    C3BC3B

    C3BC3 33BC3B

    C3BC3BCY3BCZ3BC3BTC33B

    CY33BZC3BC33B

    C3B

    11

    1

    λλ

    λλλ

    λλλ

    λ

    ψψ

    �����!���� �!������ ,$�"��#����.

    ��(�"�$��$�!� C3BC3BC3N3B � λψ−−=

    ,$�"��#���� ����

    ���� �����������

    �!���+� �������!�����

    �9�E� ��"���2!��+� =�!""����

    ����!���+� �������!����� �"�� �����:��

    �����

    C3NBC3NB����������������������

    C3N3BC3N3B

    %��!+�$!'

    ��$�! ��$�!�

    Φ==

    C3BYCC3BC3BZBC3NB

    CYBTZDCBC3NB

    � ��(���(���(�*%��!+

    $*$�$!'

    λλλ

    ψψ−=

    CBCX3B�

    C3B �&����

    ���$

    $���

    ����

    � −=�σ

    φσ

    λ

    ���� �����������

    ��#�

    �����CBTCX3B

    ������CBCBTCX3B

    �E�����CBTCBTCX3B

    �3 ������CBTCBTCX3B

    1Y1Z

    �31Y1Z

    3�

    Y1Z

    1Y�Z

    3�

    3�

    Y1Z

    1Y�Z

    ⋅=∂

    =⋅⋅=∂

    =⋅⋅=∂

    ==⋅⋅=∂

    +

    +

    γ

    λγγ

    λγγ

    λγγ

    λ

    λ

    λ

    λ

    λ

    ���

    ��

    ���

    ��

    ���

    �����

    ���

    ��

    ���

    ��

    ,$�"��#���� ����

  • ��*

    ���� �����������

    �"��#���� ,��������

    �6��""�������"��"���&��<

    __\__���_CB[_"!:�����������������

    __\C3XNB__���_C3XNB[_"!:.���������������

    __\C3XN3B[__"!:.C3XB

    3

    3

    3

    U

    λψ

    γ

    (�"$

    %��!+�$!'

    ��$�! ��

    $�

    "

    "

    �$�

    "

    �$�

    "

    −=

    Φ=

    =

    $$

    $$

    =

    =

    CB

    1CB

    �H!������"��

    1

    ψ

    ρ Lacks of Robustness

    ∞== − __\__���_[_"!:.C3XB �3

    U

    λγ (�"$��$�

    ��

    ���� �����������

    �!���+����2!"����������

    ( )( )[ ]

    CB�CBCB

    ������������������������������'

    �����D'

    CB

    .��������������

    Y3Z

    111

    1

    011

    $$$$

    �,$,

    �,$,$

    $

    -��.��$�

    −−=

    ���

    ���

    >

    ≤+−=

    ψ

    ρ

    ���

    ����

    �=

    ���

    ���

    >

    ≤−=

    __3�#��CB

    __��������������������1

    __���������1

    __

    CB

    �����������

    1

    1

    $

    /$$

    /$$

    /$/

    $/

    $

    )�/�$

    /

    /

    ψ

    ρ

    $$

    $$

    =

    =

    CB

    1CB

    �����

    1

    ψ

    ρ

    CB� $ρ CB$ψ

    ���� �����������

    �:�����G�E� ��2!"��

    ��"��#���� ��2!"�� ����:��F#���� ����"���� .

    �������+� ����$0

    �������+� ���

    _\YZ[_-)0 � $��$��$ −=σ

    $$ ασ`U

    &$$�

  • ���

    ���� �����������

    ��!����"

  • ��1

    ���� �����������

    B��B.���!��=������!�������>��?"�"�#!�����

    ������

    � ���������������������������������

    � ����������������������������������������

    � ������������������������������������������

    � �����������������������

    � ��������������!����������"�

    "��"���� ���!�����

    "����##$$$%��&������'&��%���(����&��#)**)#�

    � �� ���� �����������

    �"� ���!���=

    7����#:!������#������"���

    ���#����������=�����"��:!���

    ��������������!��"����!#���

    H!���"������"����!#���8