Data integration

Integración de DatosMas allá del datawarehouse

Daves GomezProduct Manager

Lima 08 de Mayo del 2013

El dato

• Información fragmentada y diseminada • Sistemas complejos y cambiantes

• Las nuevas peticiones requieren integración • Peticiones incesantes - Presupuestos limitados

Durante más de 40 años, los datos han estado prisioneros de las aplicaciones

Por ello, en la mayoría de casos, no son un activo productivo:

- No son accesibles

- No son flexibles

- Su calidad es limitada

- No pueden reutilizarse

Aplicación Aplicación

Datos Datos

El desafío: liberar los datos de las aplicaciones

ValorInversión

Hay que maximizar el valor de los datos

Importancia de los Datos

Un Mundo Sin Integración de Datos

GlobalizaciónEficiencia operativa

Consolidación Crecimiento Gobernabilidad

Falta de datos relevantes, oportunos y confiables

Mejora de Decisiones

Modernizarel Negocio

MejorarEficiencia yReducirCostos

FusionesAdquisicionesy Diversificar

Adquiriry RetenerClientes

FuncionesOursourceNon-core

GobernabilidadRiesgos yCompliance

IncrementarEficiencia yRed con Partners

IncrementarAgilidad deNegocio

IMPERATIVAS DE NEGOCIO

Transacciones SOCIALESDESKTOPS MovilCLOUDON-SITE

La Economía de la Información

La falta de datos confiables obstaculiza el cumplimiento de los imperativos clave del negocio

El enfoque tradicional

75% de las empresas informaron un aumento en los costos de mantenimiento

Data Warehouse

DataMigration

Test DataManagement& Archiving

Master DataManagement

Data Synchronization

B2B DataExchange

DataConsolidation

ComplexEventProcessing

UltraMessaging


87% de las empresas usan el código manual para la integración de datos

Teradata F

astLo

ad

Ora

cle

SQ

L, P

L/S

QL

Que

uing

/ C

usto

m IM

S C

ode

Teradata T

Pu

mp

Ora

cle

SQLL

oad

ALE/IDoc

Oracle LogMiner (Change Capture)

IMS

Cha

nge

Cap

ture

Oracle SQL

Teradata M

ultiL

oad

BA

PI

Web

Ser

vice

sW

eb S

ervi

ces

Web

Ser

vice

s

Web

Ser

vice

s

Cu

sto

m IM

S D

ML

Custom

IMS

DM

L

Falta de visibilidad

Demasiado lento al cambio

Multitud de fuente de datos heterogéneos

Diferente consumidores de datos y requerimientos

Data Warehouse

DataMigration




B2B DataExchange

DataConsolidation


UltraMessaging


Problema: Fragmentación de datos en una empresa

El Reto en la InformacionSintetizar y Gobernabilidad de Datos

GobernabilidadDe Datos

?

ExperienciaDel Cliente

FacturacionRequerimientosRegulatorios

AdministracionDe Riesgos

OperacionesBack End

Quien?

Que?

Como?

Cliente

Productos

ContactosCliente

Externos

Proveedores

Seguridad

Cliente

Contabililidad

Cliente

Externos

Datos Externos

La solución

Informatica una Propuesta de Valor











Aumentar valor de datos

RelevanteAccionableOportuno Holístico ConfiableAccesible PrecisoSeguro

Reducir costo de datos

Costos de negocio Costos de mano de obra Costos de software Costos de hardware Costos almacenamiento

Misión de InformaticaMaximizar el retorno sobre los datos

Contribuimos a que las organizaciones maximicen el retorno sobre los datos para hacer frente a sus principales desafíos de negocio

Retorno sobre datos

=Valor de datos

Costo de datos

ExtendidoB2B Data InterchangeData Quality

Auditoría, monitoreo y reportesAsegurar la consistencia de los datos, performance, análisis de impactos y monitoreo de la calidad de datos

PowerCenter PowerExchange

AccederEstructuradoNo EstructuradoTiempo realBatch

EntregarIntegrarProveer datos en el momento correcto, de la manera correcta y en cualquier plataforma

Transformar y unificar cualquier formato de la insdustria, tipo de dato, aplicaciones

LimpiarDescubrirValidar, corregir y estandarizar cualquier tipo de dato

Buscar y perfilar cualquier fuente de datos

Ciclo de vida completo de la Integración de Datos

Desarrollo y AdministraciónDesarrollo y colaboración con un repositorio unificado y abierto de metadatos

Mas allá del Datawarehouse

Inteligenciade Negocioy Operacional

Retiro deLegados

AplicacionILM

Hubs deClientes,Proveedores,Productos

BPOSaaS

IntegracionB2B

ConsolidacionDeAplicaciones

Mitigacionde Riesgosy ReportesRegulatorios

Operacionesde LatenciaCero

Data Warehouse

DataMigration




B2B DataExchange

DataConsolidation


UltraMessaging










IMPERATIVAS DE NEGOCIO

INICIATIVAS DE TI

PROYECTOS DE INTEGRACION DE DATOS

Más allá del Data WarehousingHabilitando la empresa centrada en datos

Tecnologías de integración de DatosMas allá del DataWarehouse

EAIHerramientas de integración Funcional (Enterprise Application Integration).

ETLAlmacenes de Datos y herramientas de carga (Extract, Transform and Load).

CDCHerramientas de captura de cambios (Change Data Capture).

EIISistemas para manejo de datos federados (Enterprise Information Integration).

:: Tecnologías para la Integración

Aplicación A Aplicación B

Aplicación C

EAI - Enterprise Application Integration

• Comunicación Punto a Punto.

• Transacciones de negocio se mueven entre aplicaciones como mensajes.

• Se coordina el flujo de mensajes mediante publicaciones y suscripciones

• Los mensajes están en un formato estándar, independiente de las aplicaciones: XML

• Ideal cuando el numero de aplicaciones que deben intercambiar datos es reducido

• Interfaces crecen exponencialmente con el numero de participantes.

• Datos de fuentes heterogéneas se integran y graban en lo que se llama Data Warehouse (DWH).

• DWH puede verse como un conjunto de Data Marts (DM) o Almacenes Datos.

Cada uno correspondiente a un tema de negocio:

Marketing, Ventas, RRHH, Financiero, etc.

• Los DM comparten datos que, aunque físicamente separados, deben mantenerse sincronizados.

ETL

• Intercambios directos entre Base de Datos, con baja latencia (poco segundos).

• Puede hacer ciertas transformaciones, elementales si se comparan con las ofrecidas por herramientas ETL.

• Preparados para no sobrecargar los sistemas orígenes.

• Obtiene la información desde los logs de los sistemas para obtener el delta (los registros que han cambiado).

CDC – Change Data Capture

ETL

Vistas Virtuales

Clientes

Pedidos Productos

Clientes

Pedidos Productos

EII – Enterprise Information Integration

• Ofrece accesos uniformes a múltiples fuentes de datos sin cargarlos primero en una Bodega Central.

• Enfocado en consultas.

• Datos siempre actualizados.– Acceden directamente a los orígenes

de datos.

• Permitir mayor rapidez en la entrega de soluciones.

• Su uso como prototipado -> ser mas eficaces.

…

Costes Típicos en un Proyecto de Migración de Datos

Desarrollomanual

ConIntegración

de Datos

Ahorros de al menos 35% de costes. Sin iteraciones

Sin Iteraciones

Iteración 1

Fuente:The Standish GroupMigrate Headaches,

Análisis de Datos50%

Desarrollo30%

PuestaEn Marcha

20%

15%Desarrollo

30%

Puestaen

20%

Iteración 2 …

Comparación desarrollo manual v/s integración de datos

Gracias por su atención

LATINOAMÉRICA [email protected]

Chile

Av. Presidente Errázuriz Nº 2999 - Oficina 202

Las Condes, Santiago CP 7550357

Tel: (+56) 2 892 0362

Colombia

Calle 100 No. 8A-55 Torre C. Of. 718

Bogotá

Tel: (+57 1) 616 77 96

México

Insurgentes Sur Nº 600 Of. 301 y 302,

Col. del Valle, Benito Juarez

Distrito Federal, México, 03100

Tel: (+52 55) 1107-0812

Perú

Calle Los Zorzales Nº 160, piso 9

San Isidro, Lima

Tel: (+51) 1634 4901

Argentina

Avenida Leandro N Alem 530, Piso 4

CD C100 1AAN Ciudad Autónoma de Buenos Aires

Tel: (+54) 11 4314 1370

www.powerdataam.com

Barcelona

C/ Frederic Mompou, 4B 1º, 3º

08960 Sant Just Desvern

T (+34) 934 45 60 01

Valencia

Edificio Europa - 5º I Avda, Aragón, 30

46021 Valencia

T (+34) 960 91 60 25

Madrid

C/ Miguel Yuste, 17, 4º C

28037 Madrid

T (+34) 911 29 72 97

[email protected] www.powerdata.esESPAÑA

Data integration

Documents

Transcript of Data integration