Disaster recovery es

<Insert Picture Here>

Alta Disponibilidad & Disaster Recovery

con Oracle GoldenGate

Mauricio Gumiel Muñoz

DIS - Sales Executive Spain & Portugal

2

Tiempo real y disponibilidad contínua en procesos de

negocio Las TTII deben ayudar a las unidades de negocio en su

operativa diaria

Qué piden las organizaciones de negocio a

los departamentos de TI

• Operar con clientes 24x7 – “everytime,

everywhere”

• Disponer de una solución de continuidad de

negocio a pesar de las posibles indisponibilidades

de los Sistemas de TTII

Qué necesitan los departamentos de TI en la

implantación de sus soluciones de TI

• Disponibilidad contínua

• Distribución de carga transaccional

• Rendimiento escalable

• Posibilidad de detección de conflictos y resolución

3

Premisa principal de los Departamentos de TI

Sistemas que aseguren la continuidad y calidad del servicio TI, asegurando el funcionamiento de los procesos críticos y de los datos de las operaciones transaccionales.

Clientes Usuarios Empleados Proveedores

…

4

Oracle - Soluciones tecnológicas

Solución

Real Application Clusters

Descripción

Alta Disponibilidad – Cluster de aplicaciones y bases de datos

Data Guard Disaster Recovery – Respaldo de datos para DB Oracle, con DB secundaria en Stand-by

Active Data Guard

Disaster Recovery - Respaldo de datos para DB Oracle, con DB secundaria en Pasivo

GoldenGate Disaster Recovery - Respaldo de datos para DB heterogeneo, con secundario en Activo

• Exclusión de estas soluciones:

• Sistemas de backup: copias de seguridad de ficheros y datos que luego deben ser restaurados / recuperados, como RMAN o DRA.

• Replicación vía almacenamiento: copia de bloques, archivos sin tratamiento de la información. Copia total frente a copia de datos.

5

Solución con Oracle GoldenGate

Activo o Pasivo

Partner

Activo

Cliente

Solución

• Disponer de una réplica de las

bases de datos críticas, a modo

de Disaster Recovery, en la

infraestructura de un Tercero

Beneficios

• Replicación en tiempo real

• Heterogeneidad de entornos,

plataformas y esquemas

• Baja intrusividad en las bases

de datos de cliente

• Implementada sobre tablas o

bases de datos específicas

• Seguridad y gestión de la

transacción

6

Ventajas de OGG como solución de DR

Propuesta de valor

• Risk reduction for conversions (two way replication)

• Reduced complexity

• Cost

• Time to implementation

Performance

• Very fast installation to Implementation time

• Introduced no latency to application

• Very low overhead on Open Source system

• Tuning underway on Mainframe systems

Arquitectura

• Posibilidad de disponer de un nodo Activo o Pasivo

• Baja latencia y movimientos de grandes volúmenes de datos en la

distancia

7

Ventajas de OGG vs Storage Replication

Log Buffer

Online Logs

fil

Archive

Logs

Flashbac

k Logs

Control

Files

Data

Files

SYSTEM

USER

TEMP

UNDO

Primary

Volumes

Target Volumes

Network I/O Oracle Apply

& Validation 7X more

network volume

27X more

network I/Os

Zero Oracle

awareness

Poor isolation

Idle standby

systems

Replicación por almacenamiento:

• Origen y destino han de ser homogeneos

• El nodo secundario suele tener inconvenientes

para estar en modo lectura

• Consumo de más ancho de banda

• ¿Tiempo para la restauración?

Con OGG:

1. Permite complementar la solución de

Almacenamiento, focalizando en los datos

2. El nodo pasivo puede estar configurado en

modo R/W, e incluso en Activo

3. Replicación lógica: posibilidad de “tratar” la

información enviada

4. Replicación de n a n

5. Replicación entre sistemas heterogéneos

6. Menor consumo de ancho de banda

(pensando en larga distancia???)

8

Oracle GoldenGate Escenarios de uso técnicos

Uso tecnológicos

9

Escenario Activo – Pasivo entre entornos

heterogéneos

• El menor tiempo

para la recuperación

(switchover)

• Re-sincronización

de los sistemas

• Nula pérdida o

corrupción de datos

• Sin restricciones

entre las

ubicaciones

geográficas – no

afecta la distancia

• El backup puede ser

re-utilizado para

Reporting

Source & Target Region A

Source & Target

Region B

Application

Disaster Recovery

10

Escenario Activo – Activo entre entornos

heterogéneos

• Utilize secondary

systems for

transactions

• Enable continuous

availability during

unplanned and

planned outages

• Synchronize data

across data centers

around the globe

Source & Target Region A

Source & Target

Region B

Application Application

Highly Available / Disaster Recovery

11

Disaster recovery on heterogeneous platforms Reuse of previous or cheaper servers

Benefits • Cost reduction, using cheaper server or re-use of different server

• Heterogeneous platforms

• High availability

• Scalable

Golden Gate


12

Disaster recovery – long distance

Beneficios • Cost reduction: throughput is smaller: CDC + Compress data + Encrypted

• Sources and targets are r/w DBs: Active – Active environments (not like storage

replication)

• Heterogeneous support: sources can relay on heterogeneous DBs

• Real Time data consolidation

• No physical limitation: tcp / ip for any kind of topology


13

Oracle GoldenGate Escenarios de prestación de servicio

Tipo de Servicios

14

Low Cost DR

Target customers: PYMEs / GB

Infraestructura de DR en Hosting

• MySQL Database Server

• Low Cost HW Server

Posibilidad de:

1. Replicar desde DBs heterogéneas de

tipo relacional hacia servidores más

baratos

2. Filtrar: seleccionar las tablas a

mantener

3. Utilizar Internet usando mecanismos de

encriptación de OGG

Activo / Pasivo

Partner

Activo

Cliente

MySQL / Oracle SEO

RDB

15

Enhanced DR – Active – Active Nodes

– High Availability / Load Balancing Target customers: Telco / FSS / Retail &

Dist.


• Heterogeneous Database Server

• Heterogeneous HW Server

Posibilidad de:

1. Réplica cruzada de 2 aplicaciones

diferentes (DR cruzado)

2. Una única aplicación replicada en

ambos sentidos, implementando reglas

para resolver conflictos

3. Balanceo de carga aprovechando

CPUs de ambos nodos

Activo

Partner

Activo

Cliente

RDB RDB

16

DR for Non Productive environments:

Development, Testing …

Target customers: Cross




Posibilidad de:

1. Realizar desarrollo y testing de

aplicaciones probando datos reales

2. Segmentar aplicaciones o grupos de

usuarios de menor criticidad para los

procesos de negocio

Activo / Pasivo

Partner

Activo

Cliente

RDB RDB

17

Premium DR – DataWarehousing on

Pasive Node

Target customers: Cross




Posibilidad de:

1. Crear un Datawarehouse

2. Lanzar Reports y Cuadros de mandos

sin impactar los sistemas principales

Activo / Pasivo

Partner

Activo

Cliente

RDB RDB

18

Partner

Cloud services

Servicios de: • Replicación de datos entre

aplicaciones heterogéneas

• Disaster Recovery

• Migraciones de aplicaciones

críticas

• Real Time BI

Zero Downtime Upgrade & Migration

Data Synchronization

Real-time BI, Operational Reporting,


19

Others….????

20

Servicio complementario: Migraciones

con parada 0

OGG permite migrar o crear nuevos entornos de DR

con Parada 0 (Zero Downtime)

• Facilitando la implementación del servicio DR sin

necesidad de parada

• Migrando cuando sea necesario a una nueva

infraestructura más potente, aplicar parches, etc.

21

Oracle GoldenGate Escenarios de licenciamiento

Licenciamiento

22

Escenario Licenciamiento Descripción Beneficios

¿Qué sucede si el

cliente se da de baja

del servicio?

Solución

complementaria al

servicio de

respaldo

actualmente

existente

Hosting Genérico El partner adquiere las

licencias a su nombre

para dar el servicio a su

cliente final.

El partner puede asignar la

potestad de uso sobre las

licencias a otros clientes

finales.

El partner es el dueño

de las licencias,

pudiendo utilizarlas

para otros clientes,

atendiendo a las

métricas de usuarios a

los que vaya a dar el

servicio y/o al número

de procesadores/cores

que tengan las

máquinas que dan el

servicio.

Solución

complementaria al

servicio de

respaldo

actualmente

existente

Hosting Específico El partner adquiere las

licencias a nombre de sus

clientes, para dar el

servicio a su cliente final.

El descuento obtenido por

Oracle es mayor que en el

caso de Hosting Genérico.

Es más fácil con trabajar

con clientes finales

asignados, dónde la fuerza

de ventas de Oracle puede

colaborar más

proactivamente y conseguir

mejores descuentos.

Al finalizar el contrato,

el licenciamiento

expira o puede

transmitir (revender) el

licenciamiento a su

cliente.

(*) Otros licenciamientos serán estudiados en función de la necesidad del partner

Licenciamiento por tipo de servicio

23

Oracle GoldenGate Arquitectura y características técnicas

Arquitectura

24

Capture: committed transactions are captured (and can be filtered) as they occur

by reading the transaction logs.

Trail: stages and queues data for routing.

Pump: distributes data for routing to target(s).

Route: data is compressed, encrypted for routing to

target(s).

Delivery: applies data with transaction

integrity, transforming the data as

required.

Source

Oracle & Non-Oracle

Database(s)

Target

Oracle & Non-Oracle

Database(s) Bi-directional

How Oracle GoldenGate Works

25

Unidirectional Query Offloading

Zero-Downtime Migration

Bi-Directional Hot Standby or

Active-Active for HA

Peer-to-Peer Load Balancing

Multi-Master

Broadcast Data Distribution

Integration/Consolidation Data Warehouse

BPM

BAM

CEP

Data Distribution via Messaging

Oracle GoldenGate Differentiator: Flexibility

26

Oracle A

Capture

Apply

NonStop A

Capture

Apply

Oracle B

Apply

Capture

NonStop B

Apply

Capture

Data

Warehouse

Transform

and Apply

Single Capture – Multiple Apply – Ejemplos

27

GoldenGate – Características avanzadas

• Transformations and mappings. Oracle GoldenGate can flexibly

accommodate transformations and mappings within either the Capture or

Delivery modules—no middle tier server is needed

• Flexible topology support. Oracle GoldenGate’s architecture supports a

variety of topologies, including one source to one target, one-to-many, many-

to-one, many-to-many, and cascading and bidirectional configurations.

• Bidirectional configuration support. Oracle GoldenGate enables both

active-passive and active-active solutions for maximum system availability.

• Conflict detection and resolution. Bidirectional, active-active

implementations require conflict detection and resolution capabilities.

GoldenGate provides conflict detection and resolution options that can be

implemented globally, object by object, based on data values and complex

filters, or through event-driven criteria.

• Routing and compression. Oracle GoldenGate uses TCP/IP for sending

data, so no geographical distance constraints are imposed.

• Data encryption. Data encryption ensures secure, confidential data

transmissions.

28

Características de seguridad

• Integridad transaccional • Original commit sequence is maintained by the delivery process

• Checkpointing: • Used during online change synchronization to store the current read and write position

of a process. Checkpoints ensure that data changes marked for synchronization are extracted, and they prevent redundant extractions. They provide fault tolerance by preventing the loss of data should the system, the network, or a GoldenGate process need to be restarted.

• Recuperación (Recovery) • Recovery ensures that no operations are skipped or duplicated after failure of any kind

• Bounded Recovery • A new Bounded Recovery feature has been added that guarantees an efficient

recovery after the Extract stops for any reason, planned or unplanned, no matter how many open (uncommitted) transactions there were at the time that Extract stopped, nor how old they were.

• Activity logging • The Activity Logging API consists of five subsystems, allowing the flexibility to record

application activity in a variety of formats, output destinations, filtering capabilities, etc.

29

Out-of-the-Box Transformation Capabilities

• Data selection and filtering GoldenGate provides the ability to select or filter out data based on a variety

of levels and conditions

• Column mapping • GoldenGate provides the capability to map columns from one table to another

• Data can be transformed between dissimilar database tables

• Mapping can be applied either when extracting or replicating data

• Functions

• GoldenGate provides the capability to transform columns by using a set of built-in functions (currently 35)

• Transformation functions can be applied either for Extract or Replicat

• If you require more, you also have the ability to call your own logic through user exits

Parameter Clause Selects

TABLE or MAP –— Table

WHERE Row

FILTER Row, Operation, Range

TABLE COLS | COLSEXCEPT Columns

30

Mecanismos de control – Gestión de Conflictos

Integridad transaccional

• Checkpointing: GoldenGate mantiene checkpoints para cada acción. Determina cual fue

la última transacción que se escribió al Trail. En caso de fallo, después de restaurar el

sistema, gracias a este mecanismo vuelve a leer del log en la última transacción donde

se realizó el corte.

• Se realizan también checkpoints al Trail destino y al proceso de Delivery sobre la

DB destino.

Resolución de conflictos

• Vía Golden Gate: el Timestamp de cada operación es el mecanismo principal que

Golden Gate utiliza para la resolución de conflictos.

• Vía aplicación: en función de las reglas de negocio implementadas en la propia

aplicación

• Trusted source: en función de privilegios asignados a los usuarios, direcciones IP, etc.

• Combinación de algunas o todas las anteriores.

• Integridad transaccional: la aplicación comprueba que las operaciones han sido

comitted y luego aplica algún otro criterio.

• Para casos de Activo-Pasivo, dado que las transaccion son almacenadas en secuencia

serializada, el orden del log determina el orden de las transacciones a actualizar.

(Nota: En una replicación Activo-Pasivo, nunca hay conflictos.)

Situaciones de Failover:

• Sobre el servidor de Failover, se invierte la replicación de Captura-Entrega

31

Databases O/S and Platforms

Oracle GoldenGate Capture:

Oracle

DB2 for v 9.7

DB2 for v 10 on z/OS

Microsoft SQL Server for 2008 R1, R2

Sybase ASE, 15.5

Teradata

Enscribe

SQL/MP

SQL/MX

MySQL

JMS message queues

Oracle GoldenGate Delivery:

All listed above, plus:

TimesTen, IBM System I, Netezza &

Greenplum

ETL product

Linux

Sun Solaris

Windows 2000, 2003, XP, 2008

HP NonStop

HP-UX

IBM AIX

IBM z Series

zLinux

Oracle GoldenGate 11g Supported Platforms

32

RAC vs GoldenGate

RAC Oracle GoldenGate

Target

Environment Oracle users

Any distributed, heterogeneous computing

environment

Technology Clustered DB servers through Oracle

Automatic Storage Management

Logical replica maintained by replaying

transactions. Only Async.

Benefits

High availability with a pool of servers

Real time clustering

Scalability

Bi-directional or uni-directional

Capture once, apply many (N-way)

Supports different schemas

Supports heterogeneous platforms*

Restrictions

Oracle-only

Identical schemas and “Similar” platforms

Clustering not data sync

Geographical limitation <50Kms

Some data types unsupported

Manual switch-over / fail-over

Tipo

Replicación Cacheo y compartición de ficheros Envío de transacciones

Switchover Inmediato. Las transacciones ya están

aplicadas en el destino.

Inmediato. Las transacciones ya están


Transacciones No se pierden No se pierden

33

Data Guard vs GoldenGate

Oracle Data Guard Oracle GoldenGate

Target

Environment Oracle Data Guard users


environment

Technology Physical replica maintained by shipping redo

blocks. Sync or Async.


transactions. Only Async.

Benefits

Very high transaction rates

Integrated with Oracle kernel

Option to DB, low cost.





Restrictions

Oracle-only

Identical schemas and “Similar” platforms

Local updates disallowed

Unidireccional



Tipo

Replicación

Envío de logs cerrados (supone uno de los

mecanismos más rápidos) Envío de transacciones

Switchover Hay que aplicar los logs. Si el destino estuviera

abierto, habría pérdida de tiempo.

Inmediato. Las transacciones ya están


Transacciones •Sin configuración zero-loss (Active DataGuard)

se puede perder las últimas transacciones No se pierden

DG

34

Active Data Guard vs GoldenGate

Oracle Active Data Guard Oracle GoldenGate

Target

Environment Oracle Active Data Guard users


environment

Technology Physical replica maintained by shipping redo

blocks


transactions

Benefits

Readable Data Guard standby

Highest transaction rates

Automatic repair of corrupt blocks

High-value, simple add-on





Restrictions

Oracle-only

Identical schemas

“Similar” platforms

Local updates disallowed

Unidireccional



Passive

35

Oracle GoldenGate – Disaster Recovery

Referencias y algunos casos de éxito

Algunos casos de éxito

36

Customer Case Study Continuous Availability of ATM Network for High Quality Customer Service

COMPANY OVERVIEW

Bank of America is one of the world's largest financial institutions, serving individual consumers, small- and middle-market businesses and large corporations with a full range of banking, investing, asset management and other financial and risk management products and services.

CHALLENGES / OPPORTUNITIES

• Continuous Availability of 18,000 ATM network serving 60+ million cardholders

• Provide customer with availability anywhere via online, POS, branch and mobile banking

• Detect and alert fraud activity

• Scale to mange growing data volumes

Monet PROVIDES

• Active-active replication across 4 geographically dispersed data centers and hot fail-over to central disaster recovery center

• Enables ongoing system migrations and maintenance with no downtime.

• Load balancing across multiple data centers

• Ability to automatically fail-over in event of any outage

RESULTS

• Continuous uptime for 18,000 ATM’s

• Reduced risk with Active-Active configuration

• Handles growing data volumes - 1,000+ transactions per second

• Reduced risk and maintain high level of customer satisfaction

37

Case Study: Research in Motion (RIM) Availability of RIM’s Manufacturing Application to Meet Stringent SLA’s

Business Challenges:

• Facing high growth (volume doubling every 12-18

mths) & stringent SLA’s for telco carriers to ship

BlackBerry devices based on demand

• Maintain high levels of application availability for

manufacturing division - across 4 data centers

worldwide and keep all environments in-synch

GoldenGate Solution:

• Zero-Downtime Migration - from 5 production

systems to 4 (to HP Superdome)

• Bi-Directional replication across all production

servers & downstream to Dev/Test & DW

• Roll-out a stable, high-performance solution

across 4 data centers with no data corruption

Benefits:

• Single technology solution for availability of

critical manufacturing system across all

geographies

• Avoid penalties because SLA’s are met

• Improve overall satisfaction levels

• Avoid negative publicity

Maintaining High Levels of Availability for Manufacturing System

OTLP Systems: Oracle HP SuperDome

UK Singapore

Canada Dallas

Dev/

Test

Data

Warehouse

38

GoldenGate PROVIDES

• Active-Active configuration for continuous

uptime of online gaming application

• Source & Target – SQL Server

RESULTS

• Data replicated to the DR site av. latency of

1 second

• Reduction in operational support burden

COMPANY OVERVIEW

Leading online Gaming company - Pocket Kings develop, run & maintain the Full Tilt Poker site.

Business needs to be highly agile as Governments can impose change without warning.

Data Centre DR across continents High Availability of Gaming site keeps players in the game

Canada

CHALLENGES / OPPORTUNITIES

• Remove risk of operating on single Data Centre

• Improve reliability & reduce latency for DR (RTO – 6 hours, RPO – 30 mins)

• Handle growing data volumes: 1.5Tb database with 50Gb Redo/day (150Gb Redo/day within 24 months)

• Reduce support load on database team

Europe

39

Iberia - Sales Executive para Soluciones de Integración de Datos

Mobile: +34 610 791 594 Work phone: +34 916 312 641

email: [email protected]

Address: C/Jose de Echegaray, 6 - 28230 Las Rozas, Madrid

Iberia Sales Executive - Mauricio L. Gumiel Muñoz

Data Integration Solutions

mailto:[email protected]

Disaster recovery es

Education

Transcript of Disaster recovery es