Instalación y configuración de clusters

Instalación y Instalación y configuración de configuración de

clustersclustersEjemplo Sala IBMEjemplo Sala IBM

Adrián PousaAdrián [email protected]@lidi.info.unlp.edu.ar

Consideraciones Consideraciones generalesgenerales

Hardware.Hardware. Sistema operativo.Sistema operativo. Lenguajes de programación.Lenguajes de programación. Herramientas para programación Herramientas para programación

distribuida distribuida (Requerimientos de algunas (Requerimientos de algunas herramientas).herramientas).

Herramientas de squeduling y monitoreo.Herramientas de squeduling y monitoreo. Otros aspectos:Otros aspectos: Creación de usuarios.Creación de usuarios. Directorios compartidos.Directorios compartidos. Servicios de red (dns, dhcp, Servicios de red (dns, dhcp,

firewall,NTP).firewall,NTP).

Consideraciones generalesConsideraciones generales Hardware Hardware

HomogéneoHomogéneo Misma arquitectura.Misma arquitectura. Mismas características de componentes.Mismas características de componentes. Facilidades: clonar, compartir Facilidades: clonar, compartir

configuraciones y archivos.configuraciones y archivos.

HeterogéneoHeterogéneo Arquitectura (i386, x86_64, sparc, ppc Arquitectura (i386, x86_64, sparc, ppc

etc.).etc.). Distintas Distintas características de componentes.características de componentes. Necesidad de recompilar archivos.Necesidad de recompilar archivos.

Consideraciones generalesConsideraciones generales Sistema operativo Sistema operativo

Windows (poco usado)Windows (poco usado) Entorno grafico “pesado”.Entorno grafico “pesado”.

Unix/Linux (mas usados)Unix/Linux (mas usados) Se pueden utilizar instalaciones Se pueden utilizar instalaciones

básicas.básicas. Heterogeneidad en distribuciones Heterogeneidad en distribuciones

(linux). (linux).

Consideraciones generalesConsideraciones generales Lenguajes de Lenguajes de programaciónprogramación

C (Gcc - gnu, Icc - intel)C (Gcc - gnu, Icc - intel) FortranFortran JAVA (Gcj – gnu, Sun)JAVA (Gcj – gnu, Sun)

De acuerdo a las herramientas a De acuerdo a las herramientas a utilizar:utilizar:

Mpi: C, Fortran.Mpi: C, Fortran. Pvm: C, Fortran.Pvm: C, Fortran. Rmi: Java.Rmi: Java.

Consideraciones generalesConsideraciones generales Herramientas de Herramientas de

programaciónprogramación Librerías para programación distribuida:Librerías para programación distribuida:

MPIMPI PVMPVM(Requerimientos de rsh/ssh sin contraseña)(Requerimientos de rsh/ssh sin contraseña)

Java:Java: RMIRMI SocketsSockets

(Requerimientos JDK, JRE)(Requerimientos JDK, JRE)

Librerías matemáticas.Librerías matemáticas. Blas (Basic Linear Algebra Subprogram) Blas (Basic Linear Algebra Subprogram) Lapack (Linear Algebra Packcage)Lapack (Linear Algebra Packcage) MKL (Math Kernel Library - Intel)MKL (Math Kernel Library - Intel)

Consideraciones generalesConsideraciones generales Squeduling y monitoreo Squeduling y monitoreo

Las herramientas de squeduling Las herramientas de squeduling son utiles para gestionar las son utiles para gestionar las ejecuciones de varios usuarios ejecuciones de varios usuarios (Torque – Maui, SGE, Condor).(Torque – Maui, SGE, Condor).

Monitoreo del estado del cluster Monitoreo del estado del cluster (Ganglia).(Ganglia).

Consideraciones generalesConsideraciones generales Usuarios Usuarios

En algunos casos un mismo usuario En algunos casos un mismo usuario debe existir en cada equipo:debe existir en cada equipo: Mismo grupo (nombre y gid).Mismo grupo (nombre y gid). Mismo nombre.Mismo nombre. Mismo uid.Mismo uid.

Alternativas:Alternativas: Crear en cada equipo (manual o Crear en cada equipo (manual o

automático).automático). Centralizar (NIS, NIS+, LDAP).Centralizar (NIS, NIS+, LDAP).

Consideraciones generalesConsideraciones generales Directorios compartidos Directorios compartidos

NFSNFS Compartir configuraciones.Compartir configuraciones. Compartir aplicaciones.Compartir aplicaciones. Compartir archivos varios:Compartir archivos varios:

fuentes.fuentes. homes.homes. binarios.binarios. Etc.Etc.

Consideraciones generalesConsideraciones generales Servicios de red Servicios de red

Útil configurar DNS para evitar Útil configurar DNS para evitar modificar archivos de hosts.modificar archivos de hosts.

FIREWALL: Si el cluster va a FIREWALL: Si el cluster va a tener acceso desde/hacia el tener acceso desde/hacia el exterior (laboratorio remoto).exterior (laboratorio remoto).

Direcciones de red, estáticas o Direcciones de red, estáticas o dinámicas (DHCP).dinámicas (DHCP).

NTP.NTP.

Consideraciones generalesConsideraciones generales Soluciones Soluciones

Configurar todas las herramientas Configurar todas las herramientas suele ser costoso, opciones:suele ser costoso, opciones:

Distribuciones de configuración Distribuciones de configuración automática (facilita la tarea pero muchas automática (facilita la tarea pero muchas veces no se sabe como esta configurado, veces no se sabe como esta configurado, problema si se quiere hacer algún problema si se quiere hacer algún cambio).cambio).

Configurar cada herramienta Configurar cada herramienta manualmente (complejo pero se tiene manualmente (complejo pero se tiene mayor control).mayor control).

Consideraciones generalesConsideraciones generales Herramientas automáticas Herramientas automáticas

Rocks cluster Rocks cluster (www.rocksclusters.org)(www.rocksclusters.org) Versión 5 basada en Centos.Versión 5 basada en Centos. Frontend y varios nodos.Frontend y varios nodos. Frontend con servicios: DNS, DHCP, Frontend con servicios: DNS, DHCP,

MySQL, NTP, HTTP.MySQL, NTP, HTTP. Instalación de nodos rápida Instalación de nodos rápida

(reinstalación). (reinstalación). Concepto de roles.Concepto de roles.


Rocks cluster rolesRocks cluster roles AreaArea 51 51: utilidades para analizar la : utilidades para analizar la

integridad de archivos y el kernel en el integridad de archivos y el kernel en el cluster. cluster.

BioBio: Bioinformática. : Bioinformática. GangliaGanglia: Monitoreo del cluster. : Monitoreo del cluster. HPCHPC: Herramientas para paralelizar. : Herramientas para paralelizar. Sun Grid Sun Grid EngineEngine (SGE) (SGE): scheduler y : scheduler y

colas. colas. XenXen: Virtualizacion. : Virtualizacion.


Otras:Otras: OpenSCE (www.opensce.org)OpenSCE (www.opensce.org) Oscar (oscar.openclustergroup.org)Oscar (oscar.openclustergroup.org) Warewulf (warewulf-cluster.org)Warewulf (warewulf-cluster.org) xCAT (IBM)(www.xcat.org)xCAT (IBM)(www.xcat.org) Clustermatic(www.clustermatic.org)Clustermatic(www.clustermatic.org) Clubmask(clubmask.sourceforge.neClubmask(clubmask.sourceforge.ne

t)t) Score(www.pccluster.org)Score(www.pccluster.org)

Sala IBMSala IBM Hardware 100% homogéneo.Hardware 100% homogéneo. Equipos que se utilizan de escritorio.Equipos que se utilizan de escritorio. Uso de alumnos e investigadores.Uso de alumnos e investigadores. MPI – Lenguaje C.MPI – Lenguaje C. Algunos casos JAVA (RMI - Sockets).Algunos casos JAVA (RMI - Sockets). Blas.Blas. Laboratorio remoto.Laboratorio remoto. Acceso desde y hacia el exterior.Acceso desde y hacia el exterior. Configuración manual, mayor control.Configuración manual, mayor control.

Sala IBMSala IBMHardware y Sistema Hardware y Sistema

operativooperativo Hardware 100% homogéneo.Hardware 100% homogéneo. Sistema operativo Fedora 8.Sistema operativo Fedora 8. Dos particiones:Dos particiones:

Investigación.Investigación. Cátedras.Cátedras.

Configuración:Configuración: Servidor.Servidor. Clientes: un solo equipo y luego Clientes: un solo equipo y luego

clonar.clonar.

Sala IBMSala IBMLenguajes de programaciónLenguajes de programación

C (Gcc 4.1 y librerias provistas C (Gcc 4.1 y librerias provistas por Fedora).por Fedora).

JAVA (JDK 1.6 de www.sun.com).JAVA (JDK 1.6 de www.sun.com).

Sala IBMSala IBMHerramientasHerramientas

MPI:MPI: Lam MPI versión 7.1.4: Lam MPI versión 7.1.4: www.lamwww.lam--mpi.orgmpi.org.. Requiere acceso rsh entre todos los Requiere acceso rsh entre todos los

equipos.equipos. Se puede hacer vía ssh (copiar clave Se puede hacer vía ssh (copiar clave

publica).publica). Instalación y variables de ambiente.Instalación y variables de ambiente.

JAVA(rmi)JAVA(rmi) Librerías matemáticas:Librerías matemáticas:

BlasBlas


MPI:MPI: RSH:RSH:

Instalar rsh-server.Instalar rsh-server. En el home de cada usuario crear el En el home de cada usuario crear el

archivo .rhosts con los hosts que se les archivo .rhosts con los hosts que se les permite el acceso.permite el acceso.

(permiso de lectura/escritura solo para (permiso de lectura/escritura solo para el propietario)el propietario)

Fedora:Fedora: Habilitar los servicios rsh, rlogin y rexec en Habilitar los servicios rsh, rlogin y rexec en

xinetd.xinetd.


MPI:MPI: SSH sin contraseña:SSH sin contraseña:

Crear la variable de ambiente:Crear la variable de ambiente:

export LAM_RSH=“SSH”export LAM_RSH=“SSH”Luego:

Suponer que el usuario UA de la maquina MA quiere acceder por SSH sin contraseña a la maquina MB como usuario UB.



En la maquina MA ingresar como En la maquina MA ingresar como usuario UA y ejecutar:usuario UA y ejecutar:

ua@ma# ssh-keygen –t rsaua@ma# ssh-keygen –t rsa

Pide una contraseña hay que dejarla en Pide una contraseña hay que dejarla en blanco, luego deja dos archivos en <ua blanco, luego deja dos archivos en <ua home>/.ssh:home>/.ssh:

id_rsa (clave privada)id_rsa (clave privada) id_rsa.pub (clave publica) id_rsa.pub (clave publica)



Copiar el archivo id_rsa.pub a la maquina MB.Copiar el archivo id_rsa.pub a la maquina MB. En la maquina MB, agregar el contenido del En la maquina MB, agregar el contenido del

archivo id_rsa.pub al archivo:archivo id_rsa.pub al archivo:<ub home>/.ssh<ub home>/.ssh/authorized_keys(solo permiso de lectura para el

propietario )

Probar desde MA como usuario UA hacia MB con el usuario UB y no debería pedir contraseña:

ua@ma# ssh ub@mbua@ma# ssh ub@mb


MPI:MPI: Instalación y variables de ambiente:Instalación y variables de ambiente:

Por defecto (no prefix).Por defecto (no prefix).

Personalizada (fácil de cambiar Personalizada (fácil de cambiar versiones):versiones):

Configurar PATH para ubicar los binarios:Configurar PATH para ubicar los binarios: General.General. Local a cada usuario.Local a cada usuario.


JAVA:JAVA:

Fedora GCJ (gnu java).Fedora GCJ (gnu java). Instalación de Sun JDK 1.6.Instalación de Sun JDK 1.6. Configurar la variable JAVA_HOME Configurar la variable JAVA_HOME

para que tome JAVA de Sun.para que tome JAVA de Sun.


Blas:Blas:

Instalación de rpm reubicándolos Instalación de rpm reubicándolos para centralizarlo y no instalarlo en para centralizarlo y no instalarlo en cada equipo:cada equipo:

blas-3.1.1-2.fc8.i386.rpmblas-3.1.1-2.fc8.i386.rpmblas-devel-3.1.1-2.fc8.i386.rpmblas-devel-3.1.1-2.fc8.i386.rpm

Sala IBMSala IBM Usuarios Usuarios

Autenticación centralizada.Autenticación centralizada. Anteriormente NIS.Anteriormente NIS. Actualmente LDAP (Actualmente LDAP (Lightweight Lightweight

Directory Access ProtocolDirectory Access Protocol ). ). OpenLDAP.OpenLDAP.


LDAP (LDAP (Lightweight Directory Access Lightweight Directory Access ProtocolProtocol ) ) Protocolo que permite el acceso a un servicio de Protocolo que permite el acceso a un servicio de

directorio (aplicaciones que almacenan y organizan directorio (aplicaciones que almacenan y organizan información, optimizado para lecturas). información, optimizado para lecturas).

Almacena información de usuarios y grupos Almacena información de usuarios y grupos permitiendo autenticación. permitiendo autenticación.

Es posible almacenar otra información:Es posible almacenar otra información: Datos de contacto del usuario.Datos de contacto del usuario. Ubicación de diversos recursos de la red.Ubicación de diversos recursos de la red. Permisos.Permisos. Certificados.Certificados. Roles.Roles. Etc…Etc…


LDAP – Modelo de información LDAP – Modelo de información El directorio consiste en una o mas El directorio consiste en una o mas

entradas que pueden tener atributos, entradas que pueden tener atributos, por ejemplo:por ejemplo:

Dn: uid=Juan, ou=People, cd=info, cd=UNLPDn: uid=Juan, ou=People, cd=info, cd=UNLPMail: Mail: [email protected]@hotmail.com Tel: 4432345Tel: 4432345

Cada entrada tiene un nombre distinguido Cada entrada tiene un nombre distinguido único DN.único DN.

Pueden almacenarse varias entradas para ser Pueden almacenarse varias entradas para ser guardadas en el directorio en un archivo .ldif.guardadas en el directorio en un archivo .ldif.


LDAP – Modelo de nombres LDAP – Modelo de nombres Se organiza en forma de árbol.Se organiza en forma de árbol. Cada nodo puede tener información Cada nodo puede tener información

a diferencia de otras estructuras a diferencia de otras estructuras que tienen solo en hojas.que tienen solo en hojas.


LDAP – Modelo de nombresLDAP – Modelo de nombres Algunas entradas comunes:Algunas entradas comunes:

Raíz

People Group Hosts


LDAP (OpenLDAP)LDAP (OpenLDAP) Configuración:Configuración:

Servidor.Servidor. Clientes.Clientes.

Otras alternativas a OpenLDAP:Otras alternativas a OpenLDAP: Sun Java system Directory Server.Sun Java system Directory Server. Fedora Directory Server.Fedora Directory Server.


LDAP (OpenLDAP) - Servidor:LDAP (OpenLDAP) - Servidor:

Instalación via yum fedora.Instalación via yum fedora. Configurar el archivo slapd.conf.Configurar el archivo slapd.conf.

Agregar el sufijo: Agregar el sufijo: suffix suffix

“dc=server,dc=unlp,dc=edu,dc=ar”“dc=server,dc=unlp,dc=edu,dc=ar” Agregar el manager:Agregar el manager: rootdn “cn=Manager,<sufijo>”rootdn “cn=Manager,<sufijo>”

o bien o bien rootdn “uid=root,<sufijo>”rootdn “uid=root,<sufijo>” Establecer la contraseña: Establecer la contraseña:

rootpw passwordrootpw password


LDAP (OpenLDAP) – Servidor.LDAP (OpenLDAP) – Servidor.

Configurar el archivo lap.conf.Configurar el archivo lap.conf. Agregar entradas: Agregar entradas:

HOST <nombre de host>HOST <nombre de host>BASE <sufijo> BASE <sufijo>

Agregar al directorio la raiz mediante un archivo ldif.Agregar al directorio la raiz mediante un archivo ldif.dn: dc=server,<sufijo>dn: dc=server,<sufijo>objectclass: dcobjectobjectclass: dcobjectobjectClass: organizationobjectClass: organizationo: servero: serverdc: serverdc: server

root# ldapadd -x -D 'uid=root,dc=server,<sufijo>' -W –root# ldapadd -x -D 'uid=root,dc=server,<sufijo>' -W –f raiz.ldiff raiz.ldif


LDAP (OpenLDAP) – Clientes.LDAP (OpenLDAP) – Clientes.

PAM (PAM (Pluggable Authentication ModulePluggable Authentication Module) ) mecanismo que proporciona una interfaz mecanismo que proporciona una interfaz entre las aplicaciones de usuario y entre las aplicaciones de usuario y diferentes métodos de autenticación.diferentes métodos de autenticación.

Archivo nsswitch.conf, indica que Archivo nsswitch.conf, indica que mecanismo utilizar y en que orden. Ejemplo:mecanismo utilizar y en que orden. Ejemplo:

Passwd files ldapPasswd files ldap

Group files ldapGroup files ldap

Hosts dns files ldapHosts dns files ldap

En fedora automaticamente desde la grafica.En fedora automaticamente desde la grafica.


LDAP (OpenLDAP) – Clientes.LDAP (OpenLDAP) – Clientes.

En fedora automáticamente desde la En fedora automáticamente desde la grafica indicando servidor y base.grafica indicando servidor y base.

Manual: Manual: Configurar el archivo lap.conf.Configurar el archivo lap.conf.

Agregar entradas: Agregar entradas:

HOST <nombre de servidor>HOST <nombre de servidor>

BASE <sufijo> (base de busqueda)BASE <sufijo> (base de busqueda) Configurar PAM, archivos individuales, algo Configurar PAM, archivos individuales, algo

complejo.complejo.


LDAP LDAP Ventajas:Ventajas:

No replicar en altas masivas de usuarios.No replicar en altas masivas de usuarios.Autenticación de aplicaciones, Autenticación de aplicaciones, servidores etc.servidores etc.No solo autenticación (DNS, Roles etc).No solo autenticación (DNS, Roles etc).

Desventajas: Desventajas: Debe existir un servidor de replica sino Debe existir un servidor de replica sino al caer el servidor cae el sistema.al caer el servidor cae el sistema.Interfaces de administración Interfaces de administración (phpldapadmin). (phpldapadmin).

Sala IBMSala IBM Directorios compartidos Directorios compartidos

NFS(NFS(Network File System)Network File System)

Es un protocolo utilizado para Es un protocolo utilizado para sistemas de archivos distribuidos sistemas de archivos distribuidos en un entorno de red de en un entorno de red de computadoras de computadoras de área localárea local. .

Transparencia: distintos equipos Transparencia: distintos equipos conectados a una misma red conectados a una misma red accedan a archivos remotos como accedan a archivos remotos como si fueran locales.si fueran locales.



Varios directorios compartidos en el Varios directorios compartidos en el servidor para:servidor para: No instalar aplicaciones en todos los equipos.No instalar aplicaciones en todos los equipos. No hacer configuraciones en todos los No hacer configuraciones en todos los

equipos.equipos. Compartir archivos.Compartir archivos. Evita la transferencia de archivos (caso MPI).Evita la transferencia de archivos (caso MPI). Transparencia. Ej: Home directory de Transparencia. Ej: Home directory de

usuarios.usuarios.



Aplicaciones:Aplicaciones: MPI.MPI. JAVA.JAVA. ECLIPSE.ECLIPSE. BLAS.BLAS. Otras que permitan acceso de este Otras que permitan acceso de este

tipo.tipo.



Home directory:Home directory: Transparencia.Transparencia. Disponibilidad de archivos.Disponibilidad de archivos. Configuraciones de variables de Configuraciones de variables de

ambiente locales, ssh, aplicaciones.ambiente locales, ssh, aplicaciones.

Desventaja de no poder loguearse en la grafica con el mismo usuario en dos Desventaja de no poder loguearse en la grafica con el mismo usuario en dos equipos simultáneamente.equipos simultáneamente.



Directorio compartido general:Directorio compartido general:

Para compartir archivos entre los Para compartir archivos entre los usuarios del sistema o usuarios del sistema o aplicaciones.aplicaciones.


NFS(NFS(Network File System)Network File System) Configuración en el servidor:Configuración en el servidor:

Archivo /etc/exports, las entradas tienen la Archivo /etc/exports, las entradas tienen la forma:forma:

/dir/subdir /dir/subdir 192.168.0.0/255.255.255.0(rw)192.168.0.0/255.255.255.0(rw)

Configuración en el cliente:Configuración en el cliente:Archivo /etc/fstab, las entradas son:Archivo /etc/fstab, las entradas son:

192.168.0.2:/home /mnt/nfs nfs rw,hard,intr 0 192.168.0.2:/home /mnt/nfs nfs rw,hard,intr 0

00



Ventajas:Ventajas: Facilita la administración.Facilita la administración. Transparencia.Transparencia.

Desventajas:Desventajas: Caída del servidorCaída del servidor Overhead en la red en algunos casos.Overhead en la red en algunos casos.

Sala IBMSala IBM Laboratorio remoto Laboratorio remoto

Abstraer al usuario del cluster.Abstraer al usuario del cluster. Aplicación que permite la Aplicación que permite la

ejecución vía web sobre el cluster.ejecución vía web sobre el cluster. Dar mayor disponibilidad del Dar mayor disponibilidad del

cluster solucionando problemas cluster solucionando problemas de acceso:de acceso: Alumnos e investigadores. Alumnos e investigadores. SSH limitado por seguridad.SSH limitado por seguridad. Lograr mejor interacción( aprovechar Lograr mejor interacción( aprovechar

RIA - AJAX).RIA - AJAX).


46

Request

JSP Response

Cluster

Web BrowserServidor Web

Contenedor de aplicaciones

Aplicación JAVAStruts Framework

Ambiente MPI

Sistema Operativo

BD

Hardware

Cluster A Cluster B


Ambiente de trabajo (Sistema de Ambiente de trabajo (Sistema de archivos).archivos).

Editar, compilar y ejecutar archivos.Editar, compilar y ejecutar archivos. Varios modos de ejecución:Varios modos de ejecución:

Sincrónico.Sincrónico. Asincrónico.Asincrónico. Interactivo. Interactivo.

Otras acciones:Otras acciones: ABM de equipos y clusters.ABM de equipos y clusters. ABM usuarios.ABM usuarios. Permisos de acceso.Permisos de acceso.

Por el momento solo en test.Por el momento solo en test.


Ventajas:Ventajas: Acceso al cluster como recurso Acceso al cluster como recurso

compartido (ejecución controlada, compartido (ejecución controlada, detener corridas).detener corridas).

Mayor interacción (aprovechando Mayor interacción (aprovechando RIA - AJAX)RIA - AJAX)

Desventaja:Desventaja: El uso del cluster como escritorio.El uso del cluster como escritorio. Problemas ante caída de un equipo.Problemas ante caída de un equipo.

Sala IBMSala IBM Servicios de red Servicios de red

Por el momento sin DNS Por el momento sin DNS posibilidad de configurarlo mas posibilidad de configurarlo mas adelante, resolución de nombres adelante, resolución de nombres por LDAP.por LDAP.

Firewall (iptables) salida a Firewall (iptables) salida a Internet, acceso remoto.Internet, acceso remoto.

Direcciones de red estáticas.Direcciones de red estáticas. NTP.NTP.

Sala IBMSala IBM Escalabilidad Escalabilidad

Agregado de otros equipos:Agregado de otros equipos:

Misma arquitectura.Misma arquitectura. Mismo sistema operativo Mismo sistema operativo

(versiones).(versiones). Algunos problemas compilando en Algunos problemas compilando en

versiones anteriores.versiones anteriores.

Sumar otro clusterSumar otro cluster

Sala IBMSala IBM

Instalación y configuración de clusters

Documents

Transcript of Instalación y configuración de clusters