InformeFinal GRID

download InformeFinal GRID

of 66

Transcript of InformeFinal GRID

  • 7/26/2019 InformeFinal GRID

    1/66

    Informe Final

    Cluster GRID Project

    Grupo 7

    Jess Alejandro Noguera Balln

    Camilo Antonio Albarracn Canon

    Erin Steven Rincn Prieto

    Universidad Nacional de Colombia

    Facultad de Ingeniera, Departamento Sistemas y Computacin

    Computacin Paralela y DistribuidaBogot, Colombia 2015

  • 7/26/2019 InformeFinal GRID

    2/66

    Contenido

    Introduccin 3

    Desarrollo 3

    Configuraciones Switches y Routers 5

    Conclusiones 7

    CLUSTER 8

    GRID 62

    Inconvenientes y soluciones 66

  • 7/26/2019 InformeFinal GRID

    3/66

    Introduccin

    El Grid es un sistema de computacin distribuido, que permite compartir recursos, los

    cuales no necesariamente se encuentran centrados geogrficamente, para resolver

    problemas de gran escala. Para el desarrollo del proyecto, los recursos compartidos fueron

    ordenadores los cuales fueron virtualizados sobre equipos porttiles de gran potencia.

    La potencia que ofrecen multitud de computadores conectados en red usando grid es

    prcticamente ilimitada, adems es una solucin altamente escalable, potente y flexible, ya

    que evita problemas como la falta de recursos ( cuellos de botella).

    Los recursos son distribuidos en la red de forma transparente. Su objetivo es el de compartir

    una serie de recursos en la red de manera uniforme, segura, transparente, eficiente y fiable,

    ofreciendo un nico punto de acceso a un conjunto de recursos distribuidos

    geogrficamente.

    Desarrollo

    Para el desarrollo del proyecto Grid, se continu con el laboratorio de Cluster realizado en la

    primera parte del curso Computacin Paralela y Distribuida, pero sta vez se llev a gran

    escala, dividiendo dos mesas del laboratorio en dos segmentos de red (Clusters)

    geogrficamente separados (Figura 1) de forma que cada par de los 10 grupos seconectaba entre s gracias al uso de dos routers y dos switches.

    Figura 1. Direccionamiento y configuracin de la red.

  • 7/26/2019 InformeFinal GRID

    4/66

    Para nuestro proyecto nuestro grupo 7 (Figura 2) se uni con el grupo 4 (Figura 3), cada

    grupo mantiene su configuracin de direccionamiento planeada en el primer laboratorio,

    para nuestro grupo (7) es la siguiente:

    - 192.168.0.96/255.255.255.240

    - 192.168.0.97/28(first)(gateway)

    - 192.168.0.110/28(last)

    - Broadcast192.168.0.111

    -PC - ESXi:192.168.0.104 (Nodo 3)

    Figura 2. Instalacin grupo 7. Figura 3. Instalacin grupo 4.

    Como primera medida, se desarrollaron simulaciones de configuracin y conexin en el

    software Packet Tracer (Figura 4), para as asegurar un ambiente completamente

    comunicado y seguro de acuerdo a las especificaciones dadas por el instructor de la

    materia.

    Figura 4. Instalacin y simulacin de coneccion

    de la red con el software Packet Tracer.

    Las configuraciones (scripts) de los equipos de red que permitieron el desarrollo del

    proyecto se encuentran a continuacin.

  • 7/26/2019 InformeFinal GRID

    5/66

    Switch SW

    enable

    config t

    interface fastEthernet 0/1

    switchport access vlan 2

    interface fastEthernet 0/2

    switchport access vlan 2

    interface fastEthernet 0/3

    switchport access vlan 3

    interface fastEthernet 0/4

    switchport access vlan 3

    interface fastEthernet 0/5

    switchport access vlan 4interface fastEthernet 0/6

    switchport access vlan 4

    interface fastEthernet 0/7

    switchport access vlan 5

    interface fastEthernet 0/8

    switchport access vlan 5

    interface fastEthernet 0/9

    switchport access vlan 6

    interface fastEthernet 0/10

    switchport access vlan 6

    interface fastEthernet 0/11

    switchport access vlan 13

    interface fastEthernet 0/12

    switchport access vlan 13

    interface fastEthernet 0/23

    switchport mode trunk

    interface fastEthernet 0/24

    switchport mode trunk

    end

    wr

    Switch NE

    enable

    config t

    interface fastEthernet 0/1

    switchport access vlan 7

    interface fastEthernet 0/2

    switchport access vlan 7

    interface fastEthernet 0/3

    switchport access vlan 8

    interface fastEthernet 0/4

    switchport access vlan 8

    interface fastEthernet 0/5

    switchport access vlan 9interface fastEthernet 0/6

    switchport access vlan 9

    interface fastEthernet 0/7

    switchport access vlan 10

    interface fastEthernet 0/8

    switchport access vlan 10

    interface fastEthernet 0/9

    switchport access vlan 11

    interface fastEthernet 0/10

    switchport access vlan 11

    interface fastEthernet 0/11

    switchport access vlan 12

    interface fastEthernet 0/24

    switchport mode trunk

    end

    wr

  • 7/26/2019 InformeFinal GRID

    6/66

    Router SW

    enable

    config t

    hostname RT_SWline vty 0 5

    password cisco

    login

    int f0/0.2

    encapsulation dot1q 2

    ip address 192.168.0.1

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.3

    encapsulation dot1q 3

    ip address 192.168.0.17

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.4

    encapsulation dot1q 4

    ip address 192.168.0.33

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.5

    encapsulation dot1q 5

    ip address 192.168.0.62

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.6

    encapsulation dot1q 6

    ip address 192.168.0.65

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.7

    encapsulation dot1q 13

    ip address 192.168.0.177

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0

    no shutdown

    Router NE

    enable

    config t

    hostname RT_NEline vty 0 5

    password cisco

    login

    int f0/0.11

    encapsulation dot1q 11

    ip address 192.168.0.94

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.7

    encapsulation dot1q 7

    ip address 192.168.0.97

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.8

    encapsulation dot1q 8

    ip address 192.168.0.113

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.9

    encapsulation dot1q 9

    ip address 192.168.0.129

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.10

    encapsulation dot1q 10

    ip address 192.168.0.145

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0.12

    encapsulation dot1q 12

    ip address 192.168.0.161

    255.255.255.240

    ip helper-address 192.168.0.2

    int f0/0

    no shutdown

  • 7/26/2019 InformeFinal GRID

    7/66

    int s0/0/0

    encapsulation hdlc

    ip address 200.200.200.1

    255.255.255.252

    no shutdown

    router ospf 10

    network 192.168.0.0 0.0.0.15

    network 192.168.0.16 0.0.0.15

    network 192.168.0.32 0.0.0.15

    network 192.168.0.48 0.0.0.15

    network 192.168.0.64 0.0.0.15

    network 192.168.0.176 0.0.0.15

    network 200.200.200.0 0.0.0.3end

    wr

    int s0/0/0

    encapsulation hdlc

    ip address 200.200.200.2

    255.255.255.252

    no shutdown

    router ospf 10

    network 192.168.0.80 0.0.0.15 area 0

    network 192.168.0.96 0.0.0.15 area 0

    network 192.168.0.112 0.0.0.15 area

    0

    network 192.168.0.128 0.0.0.15 area

    0

    network 192.168.0.144 0.0.0.15 area0

    network 192.168.0.160 0.0.0.15 area

    0

    network 192.168.0.160 0.0.0.15 area

    0

    network 200.200.200.0 0.0.0.3 area 0

    end

    wr

    Adems, se cre un Servidor DNS para todo el laboratorio y un Servidor DNS alternativo enotra mesa, cada mesa representa una zona completamente alejada de la otra.

    Debido a que el primer laboratorio cada grupo hizo un montaje de un cluster, entonces,

    cada grupo ya conoca el montaje bsico para la prueba de grid. Para nuestro laboratorio,

    nuestro grupo (7) aport una mquina ESXi (nodo 2) al grupo 3, en el cual se hallaba el

    nodo principal (Nodo 1) y un nodo adicional (Nodo 3). A todos los nodos se les configur el

    Sistema Operativo Ubuntu en su versin 14.0, servicio SSH.

    Al momento de ejecutar la aplicacin compartida (Multiplicacin de nmeros primos), se

    present un problema en el cual no reconoca uno de los nodos adems de no reconocer elSSH. Tras varios intentos fallidos tratando de solucionar el problema reconfigurando el SSH

    y dems, se procedi a reiniciar el servidor(Nodo Maestro) y el problema se solucion y la

    aplicacin corri correctamente.

    Conclusiones

    Gracias al uso de MPI es posible hacer distribucin del trabajo de un software aprovechando los

    recursos de varias mquinas, hay que aclarar que no importa la versin de MPICH que se

  • 7/26/2019 InformeFinal GRID

    8/66

    utilice, sta debe ser configurada con los nombres de cada versin, sta fue una leccin

    aprendida, ya que gracias a que usamos como gua un tutorial de MPICH 2 pero instalamos la

    versin ms reciente (MPICH 3), lo cual era de sumo cuidado, debido a que los nombres de

    direccionamiento no podan ser los mismos, sino de acuerdo a la versin. Adems es posible

    crear programas que aprovechen los beneficios que MPI y sus primitivas ofrecen.

    Las conexiones entre las mquinas y los elementos de red, tales como, routers, switches y otras

    mquinas, se realizaron entre routers (cable serial, luego cable cruzado) tambin cables

    CLUSTER

    El proceso de instalacin en el PC (Server):

    Primero se instal el Windows Server luego de haber instalado vmWare en el equipo

  • 7/26/2019 InformeFinal GRID

    9/66

    Instalacin de Active Directory y Servidor DNS:

  • 7/26/2019 InformeFinal GRID

    10/66

  • 7/26/2019 InformeFinal GRID

    11/66

    Luego se instal el ESXi

  • 7/26/2019 InformeFinal GRID

    12/66

  • 7/26/2019 InformeFinal GRID

    13/66

  • 7/26/2019 InformeFinal GRID

    14/66

  • 7/26/2019 InformeFinal GRID

    15/66

  • 7/26/2019 InformeFinal GRID

    16/66

    El proceso de instalacin en el PC (vCenter):

    Primero se instal el Windows Server luego de haber instalado vmWare en el equipo

  • 7/26/2019 InformeFinal GRID

    17/66

  • 7/26/2019 InformeFinal GRID

    18/66

  • 7/26/2019 InformeFinal GRID

    19/66

  • 7/26/2019 InformeFinal GRID

    20/66

  • 7/26/2019 InformeFinal GRID

    21/66

    En proceso de instalacin de vSphere Client en el PC (Server), as como el de la creacin de

    los 3 Nodos en Ubuntu, instalacin de MPI y SSH y prueba de aplicacin fue:

  • 7/26/2019 InformeFinal GRID

    22/66

  • 7/26/2019 InformeFinal GRID

    23/66

  • 7/26/2019 InformeFinal GRID

    24/66

  • 7/26/2019 InformeFinal GRID

    25/66

  • 7/26/2019 InformeFinal GRID

    26/66

  • 7/26/2019 InformeFinal GRID

    27/66

  • 7/26/2019 InformeFinal GRID

    28/66

  • 7/26/2019 InformeFinal GRID

    29/66

  • 7/26/2019 InformeFinal GRID

    30/66

  • 7/26/2019 InformeFinal GRID

    31/66

  • 7/26/2019 InformeFinal GRID

    32/66

  • 7/26/2019 InformeFinal GRID

    33/66

  • 7/26/2019 InformeFinal GRID

    34/66

  • 7/26/2019 InformeFinal GRID

    35/66

  • 7/26/2019 InformeFinal GRID

    36/66

  • 7/26/2019 InformeFinal GRID

    37/66

  • 7/26/2019 InformeFinal GRID

    38/66

  • 7/26/2019 InformeFinal GRID

    39/66

  • 7/26/2019 InformeFinal GRID

    40/66

  • 7/26/2019 InformeFinal GRID

    41/66

  • 7/26/2019 InformeFinal GRID

    42/66

  • 7/26/2019 InformeFinal GRID

    43/66

  • 7/26/2019 InformeFinal GRID

    44/66

    Debido a que usamos la infraestructura de red de la sala (laboratorio) al mismo tiempo que otros

    compaeros de otros grupos realizaban pruebas de saturacin de red como lo especificaba el

    laboratorio anterior, se generaron algunos errores de coneccion, muy seguramente el switch de

    la sala al recibir una gran cantidad de solicitudes sobre la red, daba de baja por un momento

    algunas estaciones de trabajo, lo que daba como resultado que se cayeran momentneamente

    las conecciones de los Nodos, como podemos observar en las siguientes imgenes.

  • 7/26/2019 InformeFinal GRID

    45/66

  • 7/26/2019 InformeFinal GRID

    46/66

    Para dar solucin a ste problema fue necesario realizar una interconexin entre los

    computadores de nuestro grupo, de forma que estuvieran aislados del trfico de la red de la

    sala.

  • 7/26/2019 InformeFinal GRID

    47/66

  • 7/26/2019 InformeFinal GRID

    48/66

  • 7/26/2019 InformeFinal GRID

    49/66

  • 7/26/2019 InformeFinal GRID

    50/66

  • 7/26/2019 InformeFinal GRID

    51/66

  • 7/26/2019 InformeFinal GRID

    52/66

  • 7/26/2019 InformeFinal GRID

    53/66

  • 7/26/2019 InformeFinal GRID

    54/66

  • 7/26/2019 InformeFinal GRID

    55/66

  • 7/26/2019 InformeFinal GRID

    56/66

  • 7/26/2019 InformeFinal GRID

    57/66

  • 7/26/2019 InformeFinal GRID

    58/66

    .

    Ahora, veremos la aplicacin en C (Suma de nmeros aleatorios) funcionando con los

    respectivos recursos gastados en cada nodo:

  • 7/26/2019 InformeFinal GRID

    59/66

    Nodos en reposo:

  • 7/26/2019 InformeFinal GRID

    60/66

    Aplicacin ejecutando:

  • 7/26/2019 InformeFinal GRID

    61/66

  • 7/26/2019 InformeFinal GRID

    62/66

    Nodo gastando recursos:

    GRID

    Una vez se ha realizado el montaje por parte de cada grupo de su parte del cluster,

    podemos observar que se encuentran montados los 3 nodos y el Cluster D (que es el que

    pertenece a nuestro grupo 7 y el grupo 4)

  • 7/26/2019 InformeFinal GRID

    63/66

    Una vez conectados, hacemos la verificacin de la distribucin de los procesos de las

    mquinas, con un script que realiza la cuenta de la cantidad de nmeros primos (Pi) desde

    0 hasta el nmero N.

  • 7/26/2019 InformeFinal GRID

    64/66

    Ahora verificamos el rendimiento de las mquinas:

  • 7/26/2019 InformeFinal GRID

    65/66

  • 7/26/2019 InformeFinal GRID

    66/66

    Como observamos la carga es distribuida a travs de los nodos, aunque stos se

    encuentren separados geogrficamente.

    Inconvenientes y soluciones

    Algunos inconvenientes y sus soluciones encontrados durante la realizacin de los

    laboratorios, fueron:

    Problema: Demasiado trfico sobre la red, lo que hace que el switch del laboratorio

    de de baja algunas direcciones ip. Solucin: Para solucionar sto, hay que aislar los

    equipos, para ello se conectaron entre ellos por medio de un cable de red.

    Problema: Version y nombres de MPICH. Solucin: Tener cuidado con los

    nombres de MPICH y su versin, para nuestro caso fu necesario instanciar las

    variables para del sistema correctamente con el nombre de MPICH 3.

    Problema: Errores de coneccion, reconocimiento de los nodos y distribucin decarga a travs de los mismos. Solucin:Aunque suene gracioso, la solucin para

    ste problema encontrado justo antes de la presentacin del laboratorio ante el

    profesor, fue simplemente reiniciando el servidor del VSPHERE.