Construcción de un Cluster de Computadoras
Transcript of Construcción de un Cluster de Computadoras
-
CONTRUCCIN DE UN CLUSTERCONTRUCCIN DE UN CLUSTERDE COMPUTADORAS DE COMPUTADORAS
Ing. Ricardo ColomaIng. Ricardo ColomaROJROJ
-
INDICEINDICE
IntroduccinIntroduccinArquitecturas y porqu ClusterArquitecturas y porqu ClusterComponentes del Hardware y SoftwareComponentes del Hardware y SoftwareSoluciones con RedesSoluciones con RedesAdministracin del ClusterAdministracin del ClusterEl Nodo en instalacin y nuevos NodosEl Nodo en instalacin y nuevos NodosProgramacin y LibrerasProgramacin y LibrerasAmbiente ParaleloAmbiente Paralelo
-
IntroduccinIntroduccin
Supercomputadoras= Tiempo de Supercomputadoras= Tiempo de procesamiento + ancho de banda de red procesamiento + ancho de banda de red interna + grandes capacidades de I/O y interna + grandes capacidades de I/O y almacenamientoalmacenamientoSistema operativo y software escrito Sistema operativo y software escrito especialmente especialmente Procesamiento ParaleloProcesamiento ParaleloNo ampliableNo ampliable
-
Arquitecturas y porqu ClusterArquitecturas y porqu Cluster
Procesamiento ParaleloProcesamiento ParaleloEl uso de El uso de ArrayArray ProcessorsProcessors VAX Cluster VAX ClusterComputo distribuido en base a MPI Computo distribuido en base a MPI ((messagemessage passingpassing interfaces)interfaces)Files Files ServersServersCluster de PC enCluster de PC enbase a Linuxbase a LinuxFcil IntegracinFcil Integracin
-
EstructuraEstructura
-
Hardware y ClusterHardware y ClusterCPUsCPUs, tecnologas RISC, tecnologas RISCParalelismo Paralelismo
FinoFinoGruesoGrueso
MemoriasMemoriasCacheCache -- nanosegundosnanosegundosPrincipal Principal 100 100 nsecnsecDDRDDR
Velocidad del Velocidad del BussBussI/OI/ODisco DuroDisco Duro
RAID( RAID( RedundantRedundant ArrayArray ofof InexpensiveInexpensive Disks)Disks)SCSISCSI
-
Software y ClusterSoftware y Cluster
GranularidadGranularidadDependenciaDependencia
De los datosDe los datosDel controlDel control
MultiprocesamientoMultiprocesamientoSincronizacinSincronizacinSubordinacin de procesos hijosSubordinacin de procesos hijos
-
IntranetIntranet
-
ClusterCluster
-
Configuracin SimpleConfiguracin Simple
CLUSTER HOMOGENEO
(4) MICROCOMPUTADORAS
(1) KVM Switch= Keyboard, Video, Mouse
(1) LINUX RED HAT
-
CONFIGURACION INICIALCONFIGURACION INICIAL
MONITORES OPCIONALES
SOLO SE REQUIERE UNO , SI
SE DISPONE DEL MDULO
KVM X 4
-
CONFIGURACIN X 8CONFIGURACIN X 8
CLUSTER AMPLIADO A 8
MICROCOMPUTADORAS
PUEDE UTILIZARSE PLACAS
MADRE CON DOS PROCESADORES
XEON.
-
CLUSTER DE 16 PCCLUSTER DE 16 PC
-
CLUSTER DE 64 PCCLUSTER DE 64 PC
COMBINACION DE DIFERENTES
MODELOS, VERSIONES, CAPACIDADES
EN PROCESADORES, RAM, DISCO DURO
CASE Norma 3U ( 5.25 inch)Norma 2U ( 3.5 inch)
-
CLUSTER 29 PCCLUSTER 29 PC
-
CLUSTER MULTICLUSTER MULTI--EQUIPOEQUIPO
CLUSTER HETEROGENEO
INTEGRACIN DEVARIADOS EQUIPOSMARCAS, MODELOSVELOCIDADES, RAMPROCESADORES, DISCOSETC.
UPS
-
SUPER CLUSTER 64 PCSUPER CLUSTER 64 PC
-
SISTEMAS OPERATIVOSSISTEMAS OPERATIVOSKernelKernel LinuxLinux
REDHAT LinuxCaldera OpenLinuxSuSE LinuxGNU/Debian LinuxSlackware LinuxTurboLinuxSGI Linux
SIMPLE O MULTIPROCESADORESPOR NODO
-
Componentes del Hardware y Componentes del Hardware y SoftwareSoftware
Solucin que se busca encontrarSolucin que se busca encontrarParalelismo y Paralelismo y multimulti--procesamientoprocesamiento
1.1. SMPSMP-- ((SymmetricSymmetric MultiprocessorMultiprocessor))2.2. NUMANUMA--(Non(Non--UniformUniform MemoryMemory Access)Access)3.3. UMAUMA--((UniformUniform MemoryMemory Access)Access)4.4. SIMDSIMD--(Single (Single InstructionInstruction MultipleMultiple Data)Data)5.5. MIMDMIMD--((MultipleMultiple InstructionInstruction MultipleMultiple Data, Linux Data, Linux
Cluster por definicinCluster por definicin
-
Soluciones con RedesSoluciones con Redes
Protocolos de redes Protocolos de redes EthernetEthernetInterfaces del hardware (cable o fibra)Interfaces del hardware (cable o fibra)Ancho de Banda en Ancho de Banda en MbitsMbits/seg./seg.HubHub , , RoutersRouters o o SwitchesSwitchesCubos , Cubos , HipercubosHipercuboso Redeso RedesTCP/IPTCP/IP
-
Comunicacin Comunicacin EthernetEthernet
TCP/IPTCP/IPClase A 10.0.0.0Clase A 10.0.0.0Clase B 172.16.0.0 Clase B 172.16.0.0 -- 172.31.0.0172.31.0.0Clase C 192.168.0.0 Clase C 192.168.0.0 192.168.0.0192.168.0.0
Cadenas IPCadenas IPSeguridadSeguridad
-
Sistemas de ProgramacinSistemas de Programacin
MPI MPI -- MessageMessage PassingPassing InterfaceInterfacePVM PVM -- ParallelParallel Virtual Virtual MachineMachine
-
CLUSTERTOOLS
Aplicaciones
MPI
LINUX
Nodos
LANNODOMAESTRO
-
MVICH LAM/MPI MPI/PRO MPICH
APLICACIONES PARALELAS
VIATCP/IP GM
FAST ETHERNET
SERVIDOR
LINUX
MyrinetGiganet Nics
-
Configuracin del ClusterConfiguracin del Cluster
Cubos o Cubos o HipercubosHipercubosMallas o AnillosMallas o AnillosEscalabilidadEscalabilidadAcceso al ClusterAcceso al ClusterSistema de MensajeraSistema de Mensajera
-
El Nodo en instalacin y nuevos El Nodo en instalacin y nuevos NodosNodos
El Nodo Maestro y el montaje del softwareEl Nodo Maestro y el montaje del softwareEl El BootBoot del del serverserverConstruccin de los nodos esclavosConstruccin de los nodos esclavosAdministracin de las cuentas y del Administracin de las cuentas y del sistemasistema
-
Administracin de la DemandaAdministracin de la Demanda
-
Actividad del SistemaActividad del Sistema
-
Cluster en RedCluster en Red
-
Programacin y LibrerasProgramacin y Libreras
CompiladoresCompiladoresGNU C , GNU F77/F90GNU C , GNU F77/F90C/C++C/C++NAGNAGOtras herramientasOtras herramientasLibreriasLibrerias ParaleloParaleloLibreriasLibrerias MatematicasMatematicas
-
Desarrollo ParaleloDesarrollo Paralelo
PADE PADE -- ParallelParallel AplicationsAplications DevelopmentDevelopmentEnviromentEnviroment (NITS)(NITS)
XPVM XPVM -- FrontFront--EndEnd PVMPVM
LAM LAM -- Local Local AreaArea MulticomputerMulticomputer
MOSIXMOSIX
-
LibreriasLibrerias ParaleloParalelo
ACL ACL -- AdvancedAdvanced ComputingComputing LabLab ToolsToolsSILON SILON ScriptingScripting InterfaceInterface LanguagesLanguages forforObjectObject-- OrientedOriented NumericsNumericsPAWS PAWS ParallelParallel ApplicationApplication WorkSpaceWorkSpacePOOMA POOMA ParallelParallel ObjectObject OrientedOrientedMethodsMethods andand ApplicationsApplicationsPETScPETSc ParallelParallel scientificscientific computingcomputingPLAPACK PLAPACK ParallelParallel Linear Algebra Linear Algebra PackagePackage
-
Software Software BeowolfBeowolf
ScaLAPACK
FORTRAN
Absoft FORTRAN
NAG (Numerical Algorith Group)
The Portland Group F90, C++
Parallel Tools Consortium
MAPLABIDL
-
Ambiente ParaleloAmbiente Paralelo
El cuarto El cuarto Aire acondicionadoAire acondicionadoPotencia ConsumidaPotencia ConsumidaUPSUPSSeguridadSeguridadMontajeMontaje
-
SUPER CLUSTER 512 PCSUPER CLUSTER 512 PC
Ambiente TemperadoFalso pisoUPSRacks
-
CLUSTER COMPACTOCLUSTER COMPACTO
-
ProcesamientoProcesamiento
Datos SAR del satlite ERS-2De la Agencia Espacial EuropeaProcesados por equipo SUN Ultracon dos procesadores RISC de 800 MHz.Imagen multitemporal de zona de selvaen el Per250 MB cada imagen
-
Composicin Composicin MultibandaMultibanda
-
CmbinacionCmbinacion de Sensoresde Sensores
Datos SARRadarsat
Integracin de datosSAR, SPOT-P, TMSFormato IHS
Integracin de datosSAR, SPOT-P, TMSFormato RGB
-
Proceso Proceso MultitemporalMultitemporal
Imagen SAR-ESAProcesada en el INPEBrasil por computadorDigital y Array Processor
-
Procesamiento 3DProcesamiento 3D
-
Imagen GOESImagen GOES
-
GoesGoes RegionalRegional
Imagen utilizada por el
CPTEC para pronstico
-
Modelado ECHAM5Modelado ECHAM5
-
Modelado Modelado SismicoSismico
-
Modelado ClimticoModelado Climtico
-
Modelos 3D Modelos 3D