Seguridad y Confiabilidad en Centros de Datos

Nov. 2007

Presentado porIng. Sergio Fratti Luttmann, RCDD Director ISERTEC, S.A.Presidente de subdistrito Bicsi, Guatemala Registered Communications Distribution Designer, desde 2003 Miembro de Colegio de Ingenieros de Guatemala

Propsito de presentacin:Informar sobre los nuevos retos en el diseo de un Datacenter, bajo la perspectiva de: Estandares: CSI, ANSI/TIA/EIA, NFPA, Uptime Institute, IEEE, Bicsi, ICREA Division 25 Integrated Automation, Automatizacin Division 27 Communications, Comunicaciones Division 28 Electronic Safety and Security, Seguridad Electrnica

Necesidades actuales: energa, enfriamiento, etc. Proyecciones Futuras, tales como: consolidacin, virtualizacin, alta densidad, alta disponibilidad, tolerancia a fallas, etc. Conocer mejores prcticas y criterios de ingeniera. Certificacin por una entidad independiente.

Qu es un Centro de Datos ? Un edificio o porcin de un edificio cuya funcin principal es albergar un cuarto de cmputo y sus reas de soporte. Fuente: TIA/EIA-942 2.2 Definicin de Trminos

Qu es un Centro de Datos? Similutudes de data center: Computer center, data centre, datacenter, data storage and hosting facility, server farm, data farm, data warehouse, co-location facility, colocated server hosting facility (CoLo), corporate data center, managed data centers, internet hotel, internet service provider (ISP), application service provider (ASP), full service provider (FSP), wireless application service provider (WASP), telecommunication hotel (or telco hotel), carrier hotel, telecommuncations carriers, High-Density Electronic Loads (HiDEL), or other data networks. Fuente: http://www.consumerguides.info/technology/data_center_names.html

Gartner, noviembre 2007 According to Gartner's study, U.S. Data Centers: The Calm Before the Storm, "More than 70 percent of the world's Global 1000 organizations will have to modify their data center facilities significantly during the next five years." Over these same five years, Gartner also notes U.S. enterprise data centers will spend as much on energy (power and cooling) as they will on hardware infrastructure. Rakesh Kumar, research vice president at Gartner, explained, "These legacy data centers typically were built to a design specification of about 100 to 150 watts per square foot. Current design needs are about 300 to 400 watts per square foot, and by 2011, this could rise to more than 600 watts per square foot,"

66

Ms del estudio de Gartner Other disruptions legacy data centers will realize include, insufficient power and cooling for highdensity server and storage equipment, not enough data center floor space for the volume growth of IT infrastructure, and a need for improved management of increasing energy costs from optimization tools and modeling techniques. As an alternative, Gartner's research also points to a shift in attitude for data center hosting services for midsize and large users, particularly due to the much more inexpensive operational costs of a leased space

77

Datacenter en nuestros paises.. No se conoce la norma o entidades regulatorias. An no se ha experimentado con alta densidad. Falta definir las necesidades actuales y las futuras. No se tienen planes de continuidad del negocio. El presupuesto es limitado. Pero si podemos empezar un proyecto nuevo o modificar el actual que hacer?88

Algunos Criterios o Fases del Proyecto.Si se tiene la idea y la necesidad podemos empezar Planificacion Preparar Disear

Construir (*) Adquirir Implementar.

Operacin (*) Administracin (*)99

PlanificacinEl sistema de planificacin es el taln de aquiles de unproyecto de infraestructura de Datacenter

errores de planificacion pueden magnificarse en la etapa dedesarrollo, provocando retrasos, sobrecostos, tiempo desperdiciado y ultimamente un sistema deficiente

Tareas bsicas Determinar los parametros de IT (Servidores, Telecom, etc.) * Desarrollar el concepto del Sistema (Estandares, etc.,) Determinar requerimientos de usuarios (area soporte, operacin, seguridad, etc.,) Generar especificaciones (escribir). Generar un Diseo detallado.

1010

Organizaciones normativasNFPA, National Fire Protection Association ANSI/TIA/EIAANSI, American National Standards Institute TIA, Telecommunications Industry Association EIA, Electronics Industry Alliance

ISO/IEC IEEE, Institute of Electrical and Electronic Engineers Bicsi CSI, Construction Specifications Institute Uptime Institute ASHRAE NEMA, National Electrical Manufacturers Association

Acerca de NFPA Asociacin de Proteccin Contra Incendios. Organizacin que genera cdigos que a menudo son de cumplimiento obligatorio. Cdigos de NFPA han sido adoptados por defecto en nuestro pas pero no bien difundidos.. Los colegios profesionales no se pronuncian bien al respecto, tampoco las aseguradoras en Guatemala. www.nfpa.org

Documentos de NFPA NFPA-70, National Electrical Code, 2005 NFPA-72, Cdigo de Alarmas Contra Incendios, 2002 NFPA-75, Estndar para la Proteccin de Equipo de Cmputo y Procesamiento de Datos, 2003 NFPA-101, Life Safety Code, Cdigo de Seguridad de Vida NFPA-110, Estndar para Sistemas de Emergencia y Respaldo, 2002 NFPA-730, Guide for Premises Security, Gua para la Seguridad en Locales. NFPA 731, Instalacin de Sistemas de Seguridad en Locales NFPA-780, Estndar para la Instalacin de Sistemas de Proteccin Contra Rayos

Acerca de ANSI/TIA/EIA Tres organizaciones de Estados Unidos que coordinan la creacin y publicacin conjunta de estndares. www.ansi.org www.tiaonline.org www.eia.org Documentos se pueden adquirir en: global.ihs.com

Documentos de ANSI/TIA/EIA ANSI/TIA/EIA-568-B.1-2001, Commercial Building Telecommunications Cabling Standard: Part 1: General Requirements ANSI/TIA/EIA-568-B.2-2001, Commercial Building Telecommunications Cabling Standard: Part 2: Balanced Twisted-Pair Cabling Components ANSI/TIA/EIA-568.B.3-2000, Optical Fiber Cabling Components Standard ANSI/TIA/EIA-569-B, Commercial Building Standard for Telecommunications Pathways and Spaces

Documentos de ANSI/TIA/EIAANSI/TIA/EIA-606-A-2002, Administration Standard for Commercial Telecommunications Infrastructure ANSI/TIA/EIA-J-STD-607-2001, Commercial Building Grounding (Earthing) and Bonding Requirements for Telecommunications ANSI/TIA/EIA-758-A, Customer-Owned Outside Plant Telecommunications Cabling Standard ANSI/EIA 310-D-1992; Cabinets, Racks, Panels and Equipment Standards

ANSI/TIA/EIA-942Telecommunications Infrastructure Standard for Data Centers Comit: TR-42.1 Publicado: abril 1, 2005 Categora: Telecomunicaciones Descripcin: Este estndar especifica los requerimientos mnimos para la infraestructura de telecomunicaciones de centros de datos y cuartos de cmputo, incluyendo centros de datos empresariales de un solo arrendatario y centros de datos multi-arrendatarios de acceso a internet. La intencin de la topologa propuesta en este documento es que sea aplicable para cualquier tamao de centro de datos. Referencia: http://www.tiaonline.org/standards/search_results2.cfm?document_no=TIA-942

Acerca de ISO/IEC Organizacin Internacional de Estandarizacin / Comisin Electrotcnica Internacional Organizaciones de creacin de estndares con mayor influencia europea. ISO/IEC 17799:2000, Information technology Code of practice for information security management www.iso.org, www.iec.ch Documentos se pueden adquirir en: http://www.iso.org/iso/en/CatalogueListPage.CatalogueList?ICS1=35&ICS2=40&ICS 3=&scopelist=

Documentos de IEEE Instituto de Ingenieros Electricistas y Electrnicos Standard No. 1100-1999, IEEE Recommended Practice for Powering and Grounding Electronic Equipment - Emerald Book Standard No. 446-1995; IEEE Recommended Practice for Emergency and Standby Power Systems for Industrial and Commercial Applications - Orange Book C2-2002 National Electrical Safety Code(R) (NESC) Estndares de protocolos de comunicaciones de la serie 802.xx www.ieee.org

Acerca de BICSIAsociacin de Telecomunicaciones que proporciona educacin independiente de fabricante por medio de libros, congresos, cursos y certificaciones. Documento principal: TDMM, Telecommunications Distribution Methods Manual. Disponible en varios idiomas. Principal certificacin: RCDD, Registered Communications Distribution Designer www.bicsi.org

Acerca de CSIConstruction Specifications Institute, www.csinet.org Propsito es mejorar contnuamente el proceso de creacin y mantenimiento de construcciones. Principales productos: Manual of Practice (MOP) gua para el desarrollo de documentos de diseo y construccin de edificios que sean claros, correctos, completos y concisos. MasterFormat sistema de categorizacin de costos, productos, especificaciones. SectionFormat es un sistema para organizar las especificaciones en cada seccin de un manual de proyecto. PageFormat sistema de ordenar especificaciones en un manual de proyecto.

Acerca de Uptime Institute Consorcio de empresas que le ayuda a sus miembros a evitartiempos cados (downtime); optimizar la inversin de infraestructura del sitio y obtener un nivel de profesionalismo ms alto en operaciones y prcticas para asegurar el funcionamiento contnuo (uptime) de sus instalaciones. El Uptime Institute ha definido un sistema de clasificacin y certificacin de centros de datos basado en cuatro niveles (TIERS). Conforme ms alto sea el tier, mayor es la confiabilidad del centro de datos.

http://www.upsite.com/TUIpages/tuihome.html

Tiers de Uptime Institute Incluidas en estndar ANSI/TIA/EIA-942 Tier I: BASICO; Diseo mecnico y elctrico de una sola ruta; sin componentes redundantes; disponibilidad 99.671%. Tier II: COMPONENTES REDUNDANTES; Diseo mecnico y elctrico de una sola ruta; CON componentes redundantes; disponibilidad 99.741%. Tier III: MANTENIMIENTO CONCURRENTE; Diseo mecnico y elctrico mltiple, pero solo una ruta activa; componentes redundantes; disponibilidad 99.982%. Tier IV: TOLERANTE A FALLAS; Diseo mecnico y elctrico mltiple; ambas rutas activas, componentes redundantes; disponibilidad 99.995%.

Clasificacin por Funcionamiento

2424

Diferencias entre Tiers

TIER I

2626

TIER II

2727

TIER III

2828

TIER IV

2929

Otra Clasificacin de Centros de Datos "Unreliable": No-confiable; HVAC y potencia compartida, sin generador. "Partially Isolated, Unreliable": Parcialmente aislado, no confiable; sistema de potencia dedicado, HVAC compartido, potencia sin condicionar, HVAC no redundante, sin generador. "Unreliable, Isolated": No confiable, aislado; sistemas de potencia y HVAC dedicados; potencia no acondicionada, unidades de AC dedicadas pero no redundantes, sin generador. "Isolated Conditioned": Aislado, acondicionado; sistemas de potencia y HVAC dedicados; potencia acondicionada, unidades de AC dedicadas pero no redundantes, sin generador. "Isolated Improved": Aislado, mejorado; sistemas de potencia y HVAC dedicados; UPS, unidades de AC dedicadas pero no redundantes, sin generador. "Isolated, Mostly Reliable": Aislado, bastante confiable; sistemas de potencia y HVAC dedicados; UPS, unidades de AC dedicadas redundantes, sin generador.

Otra Clasificacin de Centros de Datos "Reliable": Confiable; sistemas de potencia y HVAC dedicados; UPS, unidades de AC dedicadas redundantes, generador. "Reliable Redundant": Confiable redundante; sistemas de potencia y HVAC dedicados; UPS redundante, unidades de AC dedicadas redundantes, generadores redundantes. "Ultra Reliable": Ultra Confiable; sistemas de potencia y HVAC dedicados; UPS redundante, unidades de AC dedicadas redundantes, generadores redundantes; combustible redundante. "Ultra Reliable": Ultra Confiable; acometida y sistemas de potencia dedicados y redundantes, HVAC dedicados y redundantes; UPS redundante, unidades de AC dedicadas redundantes, generadores redundantes; combustible redundante. "Best in Class": Mejor en su Clase; acometida y sistemas de potencia dedicados y redundantes, HVAC dedicados y redundantes; UPS redundante, unidades de AC dedicadas redundantes, generadores redundantes; combustible redundante; sitio endurecido contra riesgos de clima y geografa; lugar minimiza riesgos contra cierre por txicos, terrorismo o riesgos similares. Fuente: KJBi

Consideraciones de Riesgo Factores que se deben considerar para determinar el nivel de necesidad de proteger el ambiente, los equipos, la funcin, la programacin, los datos y suministros: Seguridad de vida (i.e. control de procesos, control de trfico areo) Amenaza de fuego a las instalaciones o sus ocupantes. Prdida econmica por la interrupcin de la operacin (business interruption). Prdida econmica por la interrupcin de las comunicaciones. Prdida econmica por la prdida de registros, datos, documentos o archivos. Registros pueden ser irrelevantes, importantes, maestros o vitales. (75, cap 3) Prdida econmica por el valor del equipo. Ref: NFPA-75, captulo 4.

Un Centro de Datos debe ser SEGURO Seguridad con respecto al medio ambiente Seguridad contra robo, vandalismo o terrorismo Deteccin temprana de situaciones de riesgo CONFIABLE Componentes robustos, Listados UL o ETL (NFPA-75, 3.2.4) Diseo e instalacin profesional Redundancia Modular y Flexible

Amenazas a Centro de Datos Terremoto o vibracin Inundacin (interna o externa al edificio) Fuego, humo, calor Efectos qumicos Robo, vandalismo, sabotaje o terrorismo Interrupcin de suministro elctrico Interrupcin de condiciones ambientales (i.e. aire acondicionado)

Otras Amenazas a Centro de Datos Interrupcin de suministro de agua (requerido para ciertos aires acondicionados y para extinguir incendios) Explosivos Interferencia electromagntica Rayos Polvo Fuentes de amenazas en edificios cercanos! Ref.: ISO/IEC 17799:2000(E)

Mitigacin de riesgos por localizacin Escoger una localizacin geogrfica del Centro de Datos que sea de bajo riesgo de terremoto (fallas), inundacin (ros), deslizamientos (montaas). Separar edificio de trfico y maquinaria pesada (vibracin). Aislar edificio de otros edificios (riesgo de terceros) Situar Centro de Datos a nivel de suelo, aislado de otras actividades (riesgos causados por terceros, vibracin). Disear y construir proactivamente para propsito especfico de Centro de Datos.

Medidas contra robo y vandalismo Robo, vandalismo, sabotaje y terrorismo se pueden combatir con recursos comunes. Se debe establecer una barrera fsica (pared) que limite el acceso, en el permetro de las instalaciones. El permetro y las instalaciones deben ser supervisadas por un sistema de circuito cerrado de televisin. Las puertas, arquetas, espacios deben de contar con detectores de apertura y presencia. Las puertas deben de contar con un sistema de control de acceso.

Vigilancia Electrnica El permetro y parqueos deben ser supervisados por un sistemade circuito cerrado de televisin visible o infrarojo. Areas que se deben supervisar dependiendo del nivel de seguridad deseado (tier): Generadores Puertas con Control de Acceso Piso de Cuartos de Cmputo Cuartos de UPS, telfonos, elctricos y mecnicos Grabar las cmaras digitalmente al menos a 20 fps.

Control de Acceso Electrnico El acceso al sitio debe ser asegurado con sistemas de identificacin y autenticacin. Se debe proporcionar control de acceso en reas crticas tales como cuarto de cmputo, cuartos de entrada y reas elctricas y mecnicas. Los Centros de Datos deben de contar con un cuarto de seguridad dedicado para proveer supervisin centralizada de todos los sistemas de seguridad asociados al centro de datos. (942-G4.2.3) Funcionarios y visitantes deben portar gafetes. (17799, 7.1.2)

Deteccin de Intrusos Sensores de deteccin de intrusos se deben instalar para cubrir todas las puertas y ventanas. Las reas desocupadas deben estar alarmadas en todo momento. Tipos de sensores Magnticos en puertas, ventanas, arquetas. Infrarojos, ultrasonido y combinados en espacios.

Deteccin electrnica y alarma Aparte de los sensores de presencia, apertura y fuego, haysensores que brindan alarma en caso de eventos fuera de lo normal. Temperatura. A partir de los 79.4 grados C el equipo electrnico se daa. (NFPA-75 C.3) Humedad Relativa. Muy poca HR puede propiciar electricidad esttica, mucha puede propiciar condensacin. Inundacin. Puede ser causada por una tubera daada/rota o un drenaje bloqueado.

Deteccin y alarma de incendios Un fuego en un centro de datos normalmente NO vaa ser espectacular, pero SI puede ser muy daino por los productos de combustin y consecuencias del fuego. Productos asociados a un incendio: Llama, combustin. Calor. Los equipos y los medios de almacenamiento se daan por calor mucho antes de incendiarse. (NFPA-75 C.3) Gases txicos, CO. Peligroso para las personas. Humo. El equipo electrnico se puede corroer por el cloro y azufre presentes en el humo (NFPA-75, B.3). Agua. El agua utilizada para extinguir un fuego puede daar a los equipos electrnicos (NFPA-75, B.4).

Barreras cortafuego Las barreras cortafuego atrasan la propagacin de productos de combustin (llama, calor, gases, humo y agua) de un espacio fsico a otro. Es comn que un cuarto de cmputo en un edificio no tenga paredes que lleguen hasta la loza del cielo, debemos corregir sta situacin, aislndolo lo ms posible. Es an ms comn que hayan penetraciones horizontales y verticales (ducto vertical) que no cuenten con barreras cortafuego.

Sistema de Supresin de IncendiosEs altamente recomendable, debern: Cumplir con NFPA-75 Interactuar con los sistemas de deteccin (descarga automtica), a la vez por medio de EPO con los UPS y Aires de Precisin. Tener una estacin de aborto. Contar con una capacitacin constante al personal de operaciones. Gases ms reconocidos: FM200, Inergen, Saphire y Ecaro25.4444

Cableado Estructurado Plantear diseo de acuerdo a los lineamientos de ANSI/TIA/EIA-942 Aparte de redundancias en sistemas elctricos y mecnicos, deben de haber redundancias en cableado estructurado de acuerdo a nivel (tier) deseado: Proveedores de servicios redundantes. Acometidas redundantes. Rutas de canalizaciones redundantes. Cableado vertebral redundante. Cableado horizontal redundante. Materiales deben de ser listados (UL o ETL) para garantizar niveles de calidad. Etiquetado, certificacin, administracin no permite errores ni omisiones ANSI/TIA/EIA-606.

Topologa Redundante

Puesta a Tierra para Telecom Puesta a tierra para telecomunicaciones debe de cumplir con ANSI/TIA/EIA-942 J-STD 607 NFPA 70, Artculo 250

TODOS los elementos metlicos expuestos que no sean conductores de corriente DEBEN estar puestos a tierra. Puesta a tierra en un centro de datos tiende a ser ms compleja y relevante por la alta densidad de equipos y cables.

Energa (POWER) TIA 942 Norma (G.2.9.x) TIER I UPS On-line TIER II y III UPS N+1 TIER IV 2 X UPS N+1 Adicional PDU GENERADORES EMERGENCIA EPO4848

Diseo de UPS modular escalarPower View Modulo inteligente redundanteFunciona como respaldo del mdulo de inteligencia principal Facilidad de navegar a travs de menus y funciones

Mdulo de PotenciaProvee la flexibilidad para crecer en capacidad y redundanci N+1

Mdulos de BaterasHot swappable para facilidad de mantenimiento

Bypass esttico internoPermite transferir la carga a una fuente alterna sin interrupcin en caso de una sobrcargaSymmetra PX

4949

Enfriamiento (Cooling)Es una parte muy importante hoy en da de un Datacenter, es un gran reto para los ingenieros ste diseo adecuado, no consiste en enfriar solamente sino retirar el aire caliente. Normas: ANSI/TIA 942 y ASHRAE Cap. 17 Standard 127 y Std. 62. Ley No. 1 Termodinamica, la energa puede ser cambiada de una forma a otra pero sta no puede ser creada o destruda.

5050

Enfriando el Datacenter Energa Entrada = Calor de Salida 1 Ton = 12,000 BTU/hr 1 Ton = 3.5 Kw 1 Kw = 3413 BTU/Hr El calor solo fluye en una direccion, de lo caliente a lo frio.

Es importante definir el consumo de energa dentro del Datacenter para calcular la demanda de calor que requeriremos retirar del ambiente y la forma como lo haremos ser la parte de la estratega ms importante del diseo.5151

Aire Acondicionado de precisin vrs. confortCOMFORT ApplicationTemperature

PRECISION Equipment+/- 1o (69-71F / 20-22C)

People+/- 3o (67-73F / 18-24C)

Humidity Runtime Filtration Airflow

dehumidifies 2080 hours/year Limited 90 cfm/kW

+/- 3% - 5%

8760 hours/year Highly 160 cfm/kW

5252

Enfriamiento, importante evacuar el calor y dirigir el aire por el frentePasillo caliente Pasillo fro Pasillo caliente Pasillo fro

5353

Tipos de arquitecturas de enfriamiento

Por fila Por rack Por sala5454

Enfriamiento (40-50 KW pasillo caliente central, tipo sala)

5555

Enfriamiento (40-50 KW pasillo frio central, tipo sala)

5656

Enfriamiento por Fila (In-Row)

5757

Qu factores pueden afectar la distribucin de aire? La falta de aberturas o paneles de obturacin alrededor de los lados de los rieles de los racks permite que el aire caliente extrado recircule hacia la parte delantera del rack.

5858

Consideraciones de Ahorro Energtico.Utilizar la energa eficientemente se ha vuelto un reto en los Datacenter y aplicaciones de Tecnologa hoy en da, dada la consciencia del calentamiento global, necesitamos saber que cada vez utilizaremos ms concentracin de la informacin y por ello el manejo de power and cooling se vuelve esencial.5959

Grandes Datacenters. Google ( N. Carolina, Virginia, etc.) Microsoft (Dublin, Northlake, San Antonio, etc..) Yahoo! NAP. Rackspace Stargate. Triara (Mxico) Qwest. DFT, etc.. Me conviene construir el propio o hacer una renta?6060

Recomendaciones Eleve un diseo antes de empezar un proyecto, apoyado con una empresa o profesionales entendidos en esto. Evalue dejar cubierto lo ms posible, evite hacer cambios en un Datacenter operando. Lleve a cabo programas de pruebas de los sistemas de manera controlada. No evite lo inevitable, el cambio viene, y tendr ms requerimientos de servicio continuo.6161

Resumen Mltiples organizaciones han generado documentos que pueden servirde gua para el diseo, implementacin y auditora de centros de datos. El nivel de confiabilidad, seguridad y redundancia que deba tener un centro de datos vara de acuerdo a las necesidades y nivel de riesgo que puede manejar la organizacin. NFPA (70, 72, 101) establece los lineamientos mnimos obligatorios (de una instalacin segura) que se deben cumplir en un diseo e implementacin. Los estndares ANSI/TIA/EIA-942 y NFPA-75 contienen los lineamientos bsicos para el diseo de un centro de datos. El anlisis de riesgos debe buscar minimizar los riesgos potenciales al Centro de Datos.

Preguntas?

6363

Gracias!

ISERTEC,S.A. COMPROMETIDOS CON SUS CLIENTES PARA UN DESARROLLO INTEGRAL DE SU DATANCENTER