30/5/2000 1

Coexistencia de IP y ATM

Experiencia de la Universidad de Valencia

Rogelio Montañana

Universidad de Valencia

(rogelio.montanana@uv.es)

30 de mayo de 2000

30/5/2000 2

Sumario

• Perfil de la Universidad de Valencia• Algunos datos sobre la red de la

Universidad• Evolución, situación actual y planes

futuros• Algunos detalles de interés• Problemas• Conclusiones

30/5/2000 3

La Universidad de Valencia

• 19 escuelas y facultades• 11 Institutos• Amplio espectro de disciplinas:

– Ciencias básicas (matemáticas, física, química)– Ingeniería (informática, telecomunicaciones, química)– Ciencias de la vida (biología, farmacia, medicina)– Ciencias Sociales (economía, derecho)– Humanidades (filología, pedagogía, filosofía,

psicología)

• 500 años de historia

30/5/2000 4

La Universidad: algunos datos

• Personal: – 3.000 PDI (Personal Docente/Investigador)– 1.600 PAS (Personal Administrativo y de Servicios)– 58.000 estudiantes

• Estructura muy dispersa:– Tres grandes campus y una sede central– 6 centros medianos (50-500 ordenadores)– 8 centros pequeños

• Todos los centros (menos dos) en área metropolitana

30/5/2000 5

La red local: algunos datos• 9.300 equipos en red • 450 dispositivos gestionados SNMP• Acceso:

– Personal de Plantilla: PC/Mac/Wkstn dedicado– Estudiantes: aulas informáticas compartidas. Servicio

deficiente debido a la escasez de recursos

• Protocolos enrutados: TCP/IP, Appletalk• Otros protocolos: NETBIOS, DECNET, IPX, etc. (solo

disponibles dentro de una VLAN)• Conexión multicast (MBone) en centros grandes y

medianos (enlace 2 Mb/s)

30/5/2000 6

Un poco de historia

• 1986: LAN Ethernet (DECNET). Conex. WAN X.25 con HEPNET

• 1989: TCP/IP en LAN. Conexión a RedIRIS con protocolos OSI

• 1991: Conexión a Internet• 1995: Primer acuerdo con Telefónica: enlaces

ATM de 34 Mb/s• 1999: Segundo acuerdo con Telefónica: enlaces

de 155 Mb/s, VTOA (Voice and Telephony Over ATM)

30/5/2000 7

1er acuerdo con Telefónica (1/1996)

• Enlaces E3 (34 Mb/s) entre los tres campus (estructura no mallada).

• Solo para datos (IP principalmente), no voz ni vídeo nativos.

• Escasez de productos para 34 Mb/s. IP nativo sobre E3 prácticamente inexistente.

• ATM elegido como la solución más barata y menos arriesgada en 34 Mb/s.

• Inicialmente LANE v 1.0. Posteriormente también Classical IP over ATM.

30/5/2000 8

2º acuerdo con Telefónica (11/1999)

• Instalación de nuevos enlaces OC-3 (155 Mb/s) conectando los tres campus y la sede central.

• Mantenimiento de los antiguos enlaces de 34 Mb/s; mallado de la red.

• Interconexión de centralitas con CES para reducir costes y aprovechar caudal disponible.

• Establecimiento de enlaces de 2 Mb/s con centros medianos

30/5/2000 9

1ª época de la red (1986-1995)

• Ethernet 10 Mb/s compartida

• Incorporación paulatina de puentes para segmentar tráfico

• Cableado coaxial

• Enlaces entre campus de 2 Mb/s

• Red con estructura plana (sin subredes)

• Routing centralizado

30/5/2000 10

2ª época de la red (1995-1997)

• Backbone ATM (LANE)• Enlaces inter-campus de 34 Mb/s• Acceso: Eth. conmutada 10/100• Puestos: Eth. 10 Mb/s conmutada o compartida• Cableado estructurado (F.O. Multi y monomodo)• Creación de subredes y VLANs• Routing por campus

30/5/2000 11

3ª época de la red (1998-2000?)

• Backbone: evolución de ATM a Gigabit Ethernet (GE). – ATM solo en enlaces WAN de alta velocidad (34

Mb/s)– Uso de VTOA (CES). – Enlaces inter-campus de 34 y 155 Mb/s

• Acceso: Eth. conmutada 10/100/1000 full dúplex y agregación de enlaces (802.3ad)

• Puestos: Eth. 10/100 conmutado• Routing IP distribuido (conmutación nivel 3)• Uso de EIGRP, HSRP y PNNI para mejorar fiabilidad del

servicio

30/5/2000 12

Futuro (previsible)

• Implantación de QoS en la red (802.1p, RSVP, DiffServ, etc.). Problemas pendientes:– Definición de una política de reparto de recursos (tema

polémico)– Mecanismos de gestión y control de uso de recursos:

COPS (RFC 2748), Bandwidth Broker, ...• Fibra oscura + WDM entre campus para tener GE y ATM a

la vez (¿Tercer acuerdo con Telefónica? ¿Primer acuerdo con Ono?)

• ¿Implementación y desarrollo de MPOA? (poca ventaja por el ámbito reducido de ATM)

• ¿Evolución del backbone hacia 10GB Ethernet?

30/5/2000 13

Enlaces con el exterior

• Nodo RedIRIS de la Comunidad Valenciana• Conexión a Madrid vía PVC CBR ATM

asimétrico (Gigacom de Telefónica):– 25 Mb/s MadridValencia

– 12 Mb/s ValenciaMadrid

• Primario RDSI de backup (prácticamente inútil)• Enlaces con las demás universidades y centros de

I+D de la C. Valenciana

30/5/2000 14

Tráfico en acceso RedIRIS de la Comunidad Valenciana

Diario

Semanal

Mensual

Tráfico Madrid Valencia

Tráfico Valencia Madrid

30/5/2000 15

Implicaciones de VTOA

Disponib. Tiempo fuera de servicio no previsto al año

Redund. Tiempo de reparación de averías

Red fiable 99,9 % 8 h 46 min. No < 24 horas

Red de alta disponib.

99,99 % 53 min. Sí < 4 horas

Red ‘non-stop’

99,9998 % 33 seg. Sí < 2 horas

Objetivo: mejorar servicio de ‘fiable’ a ‘alta disponibilidad’

Ej.: Gigacom 99,7 % de disponibilidad (22 h /año fuera de servicio)

30/5/2000 16

Aumento de disponibilidad VTOA

• Medidas adoptadas:– Topología WAN mallada (caminos redundantes)– Reconfiguración automática a nivel ATM (PNNI)– Rápida respuesta ante averías: stock propio de

recambios y contrato de mantenimiento normal (2 días tiempo respuesta)

– SAIs de larga duración (2 horas mínimo)– Monitorización continua de la red (registro histórico).– Análisis detallado de cada incidencia; medidas

correctoras (aprender de los errores)– Planes de emergencia (¿que pasaría si fallara ...?)

30/5/2000 17

Experiencia de VTOA (3 meses)

• Un fallo del servicio en un equipo por manipulación errónea (solucionado).

• Tres fallos de corriente en un ADM por deficiente instalación eléctrica (solucionado).

30/5/2000 18

Centros medianos y pequeños

• Medianos: 2 Mb/s (sede central ATM 155 Mb/s)• Pequeños: RDSI BRI (2B+D ) tarifa plana

(Novacom). Servicios multimedia no disponibles. Opciones: – 2 Mb/s– Acceso residencial de banda ancha (ADSL, cable

modem). Posible problema por caudal asimétrico (videoconferencia, servidores locales).

– Sistemas inalámbricos (por radio o infrarrojos): necesidad de visión directa. Problemas de mantenimiento y fiabilidad.

30/5/2000 19

Centros medianos y pequeños

• Voz no integrada en la red en centros con pocas necesidades de telefonía (menos de 30 canales).

• Poco margen de reducción de costes (ámbito metropolitano en casi todos los casos)

• Opciones en consideración:– VoIP (actualmente en pruebas). Necesidad de asegurar

QoS

– Compresores de voz con asignación estática de caudal (en estudio). Solución mas segura

30/5/2000 20

Equipamiento

• Primer concurso ATM (1995).– Finalistas: Fore y Cisco. – Ganador Cisco. Razones:

• Énfasis en la optimización de tráfico IP • Reciente anuncio de Lightstream 1010 y Catalyst

5000. Buenas perspectivas.• Precio inferior • Buena gama de productos• Amplia gama de suministradores

30/5/2000 21

Equipamiento

• Posteriores adquisiciones: mismo fabricante. Razones:– Gestión (ciscoworks)

– Mantenimiento (recambios)

– Amplia gama de productos

– Precios competitivos

– Gran base instalada

– Extensiones propietarias interesantes (HSRP, CGMP, CDP, LAM, etc.)

30/5/2000 22

Equipamiento: inventarioTipo Modelo Cantida

d

Router 7500 1

720x 3

4700 1

2503 16

Conmut. ATM

(LightStream)

1010 4

Conmut. LAN

(Catalyst)

5xxx 7

4912G 8

3524 160

2948G 16

1924 70

30/5/2000 23

Equipamiento: Problemas

• Versiones de software (IOS) poco robustas cuando se utilizan funciones poco habituales. Ej. Routing multicast.

• Necesidad de usar versiones muy recientes de IOS (poco depuradas) para acceder a funciones interesantes (ej.: pruning de VLANs en enlaces trunk de los Catalyst 3524). Necesidad de ‘marcha atrás’ en algún caso.

• Tasa de fallos mayor de lo normal en equipos nuevos de Catalyst 3524 y 4912

30/5/2000 24

Red U.Valencia. Conectividad física (no exhaustivo)

LS1010

LS1010

LS1010

C5513

RSM

4700

2500

72022500

C5000

C5000

C5000

7206VXR

C5000

C5505

4912

4912 4912 4912

3524

3524 3524

3524

1924

1924

1924

1924

3524

3524

1924

7202

2948

2503

1924

3524

ATM 622 MbpsATM 155 Mbps

ATM 34 MbpsGigabit 1000 MbpsFastEthernet 100 Mbps

Serie 2 MbpsRDSI 2x64 Kbps

1924

ciatm

cataciuv

gordius

ciatm2

cisco

blasro

taronrosendaro

taronatm

blasatm

Campus Burjassot

Ed. Senda Senent

Campus Naranjos

Campus Blasco Ibañez

30/5/2000 25

Inteconexión de PBX sobre ATM AAL1

ciatm

taronatm

blasatm

Actualizado: 22-2-2000

Bu

rjass o

t1/2

Tarongers1/1

sendaro

PBXBurjassot

PBXBlasco Ibañez

GS

Bu

rjass o

t2/2

Burjassot1/2

Burjassot2/2 ATMPNNI

PBXNaranjos

GS

Taro

nger

s1/1

PBXMagisterio

PBXSenda Senent

Burjassot1/2

Burjassot2/2

Tarongers1/1

30/5/2000 26

gordiustaronro

cisco

blasro

ciatm

taronatm

blasatm

Conexiones físicas en el backbone de routers UV

sendaro

ciatm2

Actualizado:21-1-2000

34 Mb/s (E3) SDH

155 Mb/s (OC-3) SDH

155 Mb/s (OC-3) directo

SDH

SDH

SDH

SDH

SDH

SDH

SDH

SDH Generalitat/Telefónica

SDH Telefónica

30/5/2000 27

gordius

cisco

blasro

taronro

Conectividad SVCs ATM en el backbone de routers UV

ciatm

taronatm

blasatm

Actualizado: 17-1-2000

ESI 0050.0F50.5C00

ESI 0060.3E99.7E39

ESI 0050.2A52.6008

ESI 0050.2A52.5C08

FF

FF

FA

FA

FC

FC

FE

FE

FD

FB

FD

FB

sendaro

ESI 0030.B652.4808EA

EB

EB

EA

EC

EC

30/5/2000 28

Vlan farmacia147.156.12.0255.255.252.0

Vlan decanatos147.156.141.0255.255.255.0

Vlan ciuv147.156.2.0255.255.254.0

ATM1/

0.5

147.

156.

208.

1

Conectividad IP en el backbone de routers UV

gordius taronro

cisco blasro

ATM0/0.5147.156.200.73

ATM1/0.1147.156.200.74

ATM1/0.3147.156.200.81

ATM1/0.3147.156.200.82

ATM1/0.1147.156.200.66

147.156.200.72255.255.255.252

Vlan filologia147.156.164.0255.255.252.0

147.156.200.68255.255.255.252

147.156.200.84255.255.255.252

147.156.200.64255.255.255.252

147.156.200.76255.255.255.252

ATM1/0.4147.156.200.69ATM0.21

147.156.200.70

ATM0/0.2147.156.200.65

ATM0.20

147.156.200.78

ATM1/0.4

147.156.200.77

ATM0.19147.156.200.86

ATM0/0.4147.156.200.85

Vlan oriental147.156.208.0255.255.248.0

Vlan institutos-i147.156.160.0255.255.252.0

Vlan5147.156.160.1

ATM1/0.5147.156.164.1

Vlan servidoresciuv147.156.0.0255.255.254.0

Vlan20

147.

156.

1.35

ATM0.1

147.156.1.174

Vlan aulastarongers147.156.128.0255.255.252.0

ATM1/0.6

147.156.128.1

Vlan quifis147.156.132.0255.255.255.0

Vlan12

147.156.132.1

Vla

n81

47.15

6.141.1

Actualizado:17-2-2000

147.156.200.80255.255.255.252

Vlan4193.145.246.2

Vlan caches192.187.17.128255.255.255.240

Vlan15

192.

187.

17.1

29

Vlan central147.156.192.0255.255.252.0

AT

M1/0.7

147

.156.19

2.1

Vlan bibtaron147.156.188.0255.255.252.0

ATM

1/0.8

147.156.188.1

Vlan blasur147.156.168.0255.255.248.0

ATM1/0.6147.156.168.1

Vlan blanor147.156.148.80 255.255.255.240147.156.184.1 255.255.252.0147.156.176.1 255.255.248.0193.146.183.80 255.255.255.192

AT

M1/0.7

147.15

6.148.81

147.15

6.184.1

147.15

6.176.1

193.14

6.183.188

Vlan10

147.156.188.213Vlan13

147.156.192.11

Vlan14

147.156.208.61

Vlan6147.156.128.219

Vlan9

147.156.148.87

147.156.184.39

147.156.176.95Vlan11147.156.164.83

Vlan7147.156.168.44

ATM1/0.9

147.156.1.149

ATM1/0.8147.156.1.155

Vlan odontologia147.156.138.0255.255.255.0

ATM1/0.9

147.156.138.1

Vlan16147.156.138.17

Vlan bibcien147.156.139.0255.255.255.0

Vlan17

147.156.139.1

Vlan deportes147.156.145.0255.255.255.0

ATM1/0.10

147.156.145.1

Vlan18

147.156.145.24sendaro

Senda147.156.196.0 255.255.254.0Sestud147.156.149.128 255.255.255.128

FA0/0147.156.196.2147.156.149.129

147.156.200.100255.255.255.252

AT

M2/

0.2

147.

156.

200.

94

AT

M0/

0.3

147.

156.

200.

93

147.156.200.92255.255.255.252

ATM2/

0.4

147.

156.

200.

102

ATM0.23147.156.200.101

ATM2/0.3147.156.1.188

147.156.200.104255.255.255.252ATM2/0.5

147.156.200.106

ATM1/

0.11

147.

156.

200.

105Vlan21

147.156.2.1

Vlan iata193.145.246.0255.255.255.0

Vlan investigacion147.156.120.0255.255.248.0

Vla

n33

147.

156.

120.

1

Vla

n32

147.

156.

12.1

30/5/2000 29

ATM1/

0.5

stand

by

114

7.15

6.20

8.1(

62)

Redundancia HSRP IP en el backbone de routers UV

gordius taronro

cisco blasro

ATM0/0.3147.156.200.73

ATM1/0.1147.156.200.74

ATM1/0.3147.156.200.81

ATM1/0.3147.156.200.82

ATM1/0.1147.156.200.66

Vlan filologia147.156.164.0255.255.252.0

147.156.200.68255.255.255.252

ATM1/0.4147.156.200.69ATM0.21

147.156.200.70

ATM0/0.2147.156.200.65

ATM0.20

147.156.200.78

ATM1/0.4

147.156.200.77

ATM0.19147.156.200.86

ATM0/0.4147.156.200.85

Vlan oriental147.156.208.0255.255.248.0

ATM1/0.5 standby

7147.156.164.1(87)

Vlan servidoresciuv147.156.0.0255.255.254.0

Vlan2

stand

by 2

0

147.

156.

1.11

(35)

ATM0.1

147.156.1.174

Vlan aulastarongers147.156.128.0255.255.252.0

ATM1/0.6 standby

3147.156.128.1(137

)

Los números entre parentesis (xx) representan el número IPreal del interface. El número IP que lo lleva detrás es el de mayor prioridad. Actualizado:23-2-2000

Vlan central147.156.192.0255.255.252.0

AT

M1/0.7

stand

by 71

47.15

6.192.1(1

2)

Vlan bibtaron147.156.188.0255.255.252.0

ATM

1/0.8 stanby 2

147.156.188.1(215)

Vlan blasur147.156.168.0255.255.248.0

ATM1/0.6 standby 6

147.156.168.1(45)

Vlan blanor147.156.148.80 255.255.255.240147.156.184.1 255.255.252.0147.156.176.1 255.255.248.0193.146.183.80 255.255.255.192

AT

M1/0.7 sta

ndby 8

147.15

6.148.81(88

)

147.15

6.184.1(4

1)

147.15

6.176.1(9

6)

193.14

6.183.188

Vlan10

147.156.188.213 Vlan13

147.156.192.11

Vlan14

147.156.208.61

Vlan6147.156.128.219

Vlan9

147.156.148.87

147.156.184.39

147.156.176.95Vlan11147.156.164.83

Vlan7147.156.168.44

ATM1/0.9

147.156.1.149

ATM1/0.8147.156.1.155

Vlan odontologia147.156.138.0255.255.255.0ATM1/0.6 standby

9147.156.138.1(16)

Vlan16147.156.138.17

Vlan quifis147.156.132.0255.255.255.0

Vlan12 standby 12

147.156.132.1(100)

AT

M0.6

147.156.132.16

Vlan deportes147.156.145.0255.255.255.0

ATM1/0.10 standby 1

0

147.156.145.1(25)

Vlan18

147.156.145.24

Campus de Burjassot

Campus de Blasco Ibáñez

Campus de Naranjos

30/5/2000 30

Servicios

• Inicialmente servidores UNIX de diversos fabricantes, principalmente HP y SGI

• Actualmente basado en PCs de alto rendimiento con Linux. Razones:– Mayor potencia por menor precio– S.O. muy extendido, buen soporte en la red– Componentes ‘estandarizados’. Posibilidad de tener

servidores de backup y fácil reutilización de hardware– Costo de hardware reducido. Posibilidad de

renovación continua de equipos.

30/5/2000 31

Servidores principalesServicio Equipo

DNS Primario

BOOTP/DHCP

Correo PAS/PDI

Listas Distribución

HP 9000

Correo alumnos HP 9000

Gestión red HP 9000

Cálculo intensivo SGI Origin 2000 64 proc.

Vídeo bajo demanda SGI Origin 2000 4 proc.

FTP P II / 450 MHz / 128 MB / 36 GB

News P II / 233MHz / 384 MB / 21 GB

Web 2*P II / 400MHz / 256 MB / 36 GB

Proxy/cache P II / 350 MHz / 512 MB / 27 GB

P III / 450 MHz / 512 MB / 27 GB

Aplicaciones Gestión IBM S390 S.O. MVS

30/5/2000 32

Servicio Proxy/Cache

• Uso obligatorio mediante filtro de puerto 80 en router de salida al exterior

• Necesidad de ofrecer servicio de gran fiabilidad y rendimiento. Servidores redundantes con reparto de carga

• Hit ratio 50%• Integrado en jerarquía de caches a nivel nacional

(RedIRIS). Caudal reservado en enlaces internacionales para ofrecer mayor calidad de servicio.

30/5/2000 33

Proxy1

Peticiones y aciertos (hits) de los servidores Proxy/Cache

Proxy2

100%

50%

0%

100%

50%

0%

Peticiones

Aciertos

Tasa de aciertos

30/5/2000 34

Problemas• Escasez de recursos para acceso de estudiantes• Congestión casi permanente de enlaces

internacionales– Ausencia de protocolos y mecanismos que permitan

ofrecer QoS– Imposibilidad de usar aplicaciones en tiempo real

• Aplicaciones multimedia: necesidad de dedicar mas recursos humanos y mayor soporte a usuarios

• Difícil retener personal cualificado• Seguridad

30/5/2000 35

Seguridad

• Dificultades:– Universidad: ambiente muy abierto y de fácil acceso. Gran

intercambio de información y personal con el exterior– Estructura organizativa poco jerarquizada. Dificultad a la hora de

imponer normas– A veces el enemigo está dentro

• Medidas adoptadas:– Filtros en routers (IP spoofing, puertos peligrosos)– Evolución hacia conmutación por puesto (evita uso de sniffers)– Uso de encriptación en casos extremos (incómodo para el

usuario)

30/5/2000 36

Filtro anti spoofing (RFC 2267)

Internet

Red 147.156.0.0/16

(Universidad de Valencia)

No aceptar por A paquetes con IP origen 147.156.0.0/16

No aceptar por B paquetes con IP origen 147.156.0.0/16

A B

30/5/2000 37

Conclusiones

• La elección inicial de ATM (1995) se realizó por imposición del mercado y de las interfaces físicas (enlaces WAN).

• ATM se ha mostrado una opción adecuada en WAN, que permite además integrar la voz sobre los mismos enlaces.

• En LAN se ha optado por minimizar el desarrollo de ATM utilizando en su lugar Ethernet conmutada + VLANs con conmutación de nivel 3 distribuida.

30/5/2000 38

AcrónimosADM: Add-Drop MultiplexorCBR: Constant Bit RateCDP: Cisco Discovery ProtocolCES: Circuit Emulation ServicesCGMP: Cisco Group Management ProtocolCLNS: ConnectionLess Network ServiceCONS: Connection Oriented Network ServiceCOPS: Common Open Policy ServiceEIGRP: Enhanced Interior Gateway Routing ProtocolHEPNET: High Energy Fhysics NETworkHSRP: Hot Standby Routing ProtocolIOS: Internetworking Operating SystemLAM: Local Area MobilityLANE: LAN EmulationPNNI: Private Network to Network InterfacePVC: Permanent Virtual CircuitRSVP: Resource Reservation ProtocolVLAN: Virtual LANVTOA: Voice and Telephony Over ATM