BI Fundamenos

17/01/2013

1

1 Antecedentes

Objetivos

Al completar este seminario usted deberá:

Reconocer la diferencia entre sistemas de información y

sistemas transaccionales

Saber qué es Inteligencia de Negocios y su importancia en el

mercado actual

Reconocer los procesos para crear Inteligencia de Negocios

Conocer la arquitectura que soporta la Inteligencia de

Negocios

Entender cómo se construyen aplicaciones de Inteligencia

de Negocios

17/01/2013

2

Agenda

Contenido:

Sistemas Operacionales

¿Qué es Inteligencia de Negocios?

Antecedentes y evolución

Por Qué no podemos Obtener Información

Estratégica de Nuestros Sistemas Actuales

Los sistemas transaccionales están diseñados para

cubrir las necesidades operacionales

Los datos no son consistentes entre las actividades

de la empresa

El acceso a los datos es complicado

Los Procesos Transaccionales están Diseñados para

Satisfacer Necesidades Operacionales

Proceso de transacciones en línea de alto rendimiento

Los datos están cambiando constantemente

El detalle de los datos está a nivel de cada transacción

Las consultas intensas pueden generar inconvenientes en los sistemas

transaccionales

17/01/2013

3

Información para Decisiones

Críticas de Negocio

Conclusiones

Tenemos muchos datos, poca información

Se toman decisiones por “olfato”, bajo presión, en tiempos

reducidos

Se toman decisiones con información:

Insuficiente

Inconsistente

No confiable

¿Qué es Inteligencia de

Negocios?

“Inteligencia de Negocios es el proceso de

transformar datos en información y descubrir

cómo se transforma esa información en

conocimiento”

- Gartner Group

17/01/2013

4

Inteligencia de Negocios


Lo que pasó

Operar el negocio

Usuario operativo

Organizado por procesos

Datos del momento

Datos aislados

Acceso repetitivo

Optimizado para transacciones


Lo que puede pasar

Mejorar el negocio

Usuario gerencial

Organizado por temas

Datos históricos

Datos integrados

Acceso Ad-hoc

Optimizado para consultas

El Propósito de la


El Propósito de la inteligencia de negocios es

convertir grandes volúmenes de datos en valor

para los negocios

Decisiones

Conocimiento

Información

Datos

Volumen

Valor

Evolución de la Inteligencia

de Negocios

Sistemas de Información Ejecutivo (EIS)

Sistemas de Soporte de Decisiones (DSS)

Inteligencia de Negocios (BI)

EIS

DSS

BI

17/01/2013

5

Análisis de Datos desde


Estructura de datos muy compleja

Diseñados para alto rendimiento en manejo de transacciones

La representación de los datos no es muy significativa para los negocios

Los datos están dispersos

No están hechos para consultas complejas

Reportes Operacionales

Sistemas

Producción

Procesos de Extracción de

Datos

Usuarios finales entrenados en computación traen

datos desde los sistemas operacionales

Sólo datos que eran propiedad de los usuarios

Toma de

Decisiones

Sistemas

Operacionales

Extracción

Problemas en el Manejo de

la Extracción de Datos

Extracción Sistemas

Operacionales

Toma de

Decisiones

17/01/2013

6

Problemas de Productividad

en la Extracción de Datos

Duplicación de esfuerzos

Múltiple tecnología

Reportes obsoletos

Carencia de metadata

Islas de información

Extracción con Problemas de

Calidad de Datos

No se utiliza la misma medida del tiempo

Diferentes algoritmos de cálculos

Diferentes niveles de extracción

Diferentes nombres de campos

Pérdida de información

No hay reglas para validaciones y corrección de datos

Sin capacidades de drill down

Manejo de Negocios con

Data Warehouse

Soportado por Sistemas de Información

Provee información de calidad

Reduce Costos

Dinamismo en los negocios

Mejora los márgenes

17/01/2013

7

& Consulting Group Copyright © e-Builders & Consulting Group, 2004. All rights reserved. CONFIDENTIAL

& Consulting Group

2 Data Warehouse y Datamart

Agenda

Contenido

¿Qué es un Data Warehouse?

Estructura de un Data Warehouse

Propiedades de un Data Warehouse

¿Qué es un Datamart?

Introducción al desarrollo de un Data Warehouse

Arquitectura de referencia

Esquema básico de la metodología de desarrollo

¿Qué es Data Warehouse?

“Es una colección de datos diseñada para soportar

la administración de la toma de decisiones,

orientada por temas, integrada, perdurable y

variante en el tiempo.” - Bill Inmon

17/01/2013

8

Definición de Data

Warehouse “Es un repositorio estructurado de la organización,

orientado a temas, variante en el tiempo, con datos

históricos, usado para recuperar información y para el

soporte en la toma de decisiones. El Data Warehouse

almacena datos atómicos y resumidos.”

- Definición de Oracle

Características del Data

Warehouse Se simplifica el acceso a los datos

Las bases de datos son creadas con la información específica

para ser usada en la toma de decisiones

Los datos se extraen desde sus sistemas de origen con un

proceso de transformación e integración

Asegura integridad y calidad de los datos

Perspectiva histórica

OLAP vs OLTP

OLAP OLTP

Resumen de Datos Valores actuales

Temas por áreas Aplicaciones

Estática, se refresca Dinámica

Procesos analíticos Procesos repetitivos

Pocas tablas Muchas Tablas

Niveles de resumen Transacciones

Respuestas de segundos a minutos Respuestas de segundos a milisegundos

17/01/2013

9

Estructura Diseñada para el

Soporte a la Toma de

Decisiones Sistemas Operacionales Data Warehouse

Manufactura

Contabilidad

Ordenes

Comparativo

Ventas

Servicios

Financieros

Datos Operacionales están

organizados por procesos o

tareas específicas

Los Datos del Warehouse están organizados

por áreas específicas e integrados desde datos

residentes en varios sistemas operacionales

Mercadeo

Datos Precisos Basados en

el Tiempo

Sistemas

Operacionales

Data

Warehouse

Precisión

Tiempo

Estructuras Claves

Datos Actuales Datos Históricos

Datos Integrados y

Transformados Sistemas

Operacionales Data

Warehouse

Aplicaciones

Específicas Integrados

17/01/2013

10

Avances Tecnológicos que

Permiten el Data Warehouse

Equipos

Sistemas operativos

Base de datos

Herramientas de consulta

Aplicaciones Arquitectura de 64-bit

Técnicas de indexado

Económico, sistemas abiertos

Herramientas robustas de Data

Warehouse

Sofisticadas herramientas de

usuario final

Propiedades del Data

Warehouse Integrado

Variante en el

Tiempo Perdurable

Orientado a

Temas

Data

Warehouse

Orientado a Temas

Específicos Los datos son categorizados y almacenados por

temas específicos en vez de aplicación por

aplicación

Aplicaciones OLTP

Planes

Tarjetas

Seguros

Préstamos

Ahorros

Tema específico de

Negocio

Data Warehouse

Información Financiera

de Clientes

http://www.oracle.com/index.html

17/01/2013

11

Integrado

Datos de un tema específico de negocio son definidos y

almacenados

Data Warehouse Aplicaciones OLTP

Cliente

Ahorros

Cuentas

Actuales

Préstamos

Variante en el Tiempo

Los datos son almacenados como una serie de

fotos, cada una representando un periodo en el

tiempo

Data

Warehouse

Perdurable

Lo típico en un Data Warehouse es que los datos

no son actualizados o borrados

Warehouse

Leer

Cargar

Operacional

Ingresar, actualizar,

borrar, leer

17/01/2013

12

Cambios en un Data

Warehouse Bases de datos

Operacionales

Base de datos del

Data Warehouse

Carga Inicial

Incremento

Incremento

Incremento Limpieza / Depuración

Warehouse de Toda la

Empresa

Implementación de gran escala

El alcance abarca todo el negocio

Datos de todas las áreas de negocio

Desarrollo incremental

Una sola fuente de datos para toda la empresa

Sincronización de todos los datos de la empresa

Punto único de distribución para Datamarts dependientes

Data Warehouse vs

Datamart

Propiedad Data Warehouse Datamart

Alcance Toda la empresa Departamento

Areas de negocio Múltiples Una sola

Fuente de datos Muchas Pocas

Tiempo de

implementación

De meses a años Meses

17/01/2013

13

Datamart Dependiente

Data

Warehouse

Datamarts

Archivos

Planos Mercadeo

Ventas

Finanzas

Mercadeo

Ventas

Finanzas

RRHH

Sistemas

Operacionales

Datos

externos

Datos

operacionale

s

Datos

Herencia

Datos

Externos

Datamart Independiente

Ventas o

Mercadeo

Archivos

Flat

Sistemas

Operacionales

Datos

Externos

Datos

Operacion

es

Datos

Herencia

Datos

Externos

Componentes Típicos de un

Data Warehouse Sistemas

Fuentes

Área de

Organización

Área de

Presentación

Herramientas

de Acceso

ODS

Operacional

Externos

Herencia

Repositorio de Metadatos

Datamarts

Data

Warehouse

17/01/2013

14

Desarrollo Warehouse

“Gran Explosión”

Por Incrementos:

Incremental Top-down

Incremental Bottom-up

“Gran Explosión”

Analizar Requerimientos

de la Empresa

Construir Data

Warehouse de toda

la Empresa

Reportes o Almacenar

en Datamarts

Desarrollo Top-Down

Analice los requerimientos a nivel de empresa

Desarrolle modelo conceptual

Identifique y priorice áreas del negocio

Seleccione un área de negocio y complete el modelo

Mapee los datos disponibles

Realice análisis de los sistemas fuentes

Implemente la base de la arquitectura Técnica

Establezca metadatos, procesos de ETL

inicial para el área de negocio

Realice la carga inicial del Datamart del área de

negocio de acuerdo al marco establecido para

el Data Warehouse

17/01/2013

15

Desarrollo Bottom-Up

Defina el alcance y cobertura del Data

Warehouse y analice el sistema fuente

de acuerdo a este alcance

Defina el incremento inicial basado en

información crítica en beneficio del negocio

y el volumen y estado de los datos

Implemente la base de la arquitectura técnica

Establezca los metadatos y ETL de acuerdo

al incremento deseado

Crear y cargar el área de negocio inicial

y cargar el incremento inicial

al Data Warehouse

Desarrollo Incremental para

el Data Warehouse Múltiples iteraciones

Implementaciones pequeñas

Validación de cada fase Estrategia

Definición

Análisis

Diseño

Construcción

Producción

Incremento 1

Iterativo

Componentes del Proceso

del

Data Warehouse Metodología

Arquitectura

Extracción, Transformación y Carga (ETL)

Implementación

Operación y soporte

17/01/2013

16

Metodología

Asegura el éxito del Data Warehouse

Establecer el desarrollo incremental

Ofrece un enfoque por etapas para un Data Warehouse

empresarial:

Seguro

Manejable

Probado

Recomendado

Arquitectura

Provee la planificación, estructura y estandarización

necesarias para asegurar la integración de múltiples

componentes, proyectos y procesos a través del tiempo

Establece el marco, estándares y procedimientos para un

Data Warehouse que abarque toda la empresa

— The Data Warehousing Institute

Extracción, Transformación y

Carga (ETL) Procesos efectivos para la extracción, transformación y

carga de datos representan el factor número uno para que

su proyecto de Data Warehouse sea exitoso y puede

representar el 70% en tiempo y esfuerzo para un proyecto

típico de Data Warehouse

— DM Review, Marzo 2001

Source Target Staging Area

17/01/2013

17

Operación y Soporte

Acceso a los datos y reportes

Carga periódica al Data Warehouse

Monitoreo

Respuesta al cambio

Fases del Desarrollo

Incremental Incremento 1 Estrategia

Definición

Análisis

Diseño

Contrucción

Producción

Arquitectura de Referencia ...

Capa de Infraestructura

Capa de Transporte

Capa de Administración de Metadatos

Capa de Administración de Datos

Fuente de Datos

Construcción del Data

Warehouse

Acceso y Uso del Data

Warehouse

17/01/2013

18

... Arquitectura de Referencia

...

Fuente de

Datos

Construcción

del Data

Warehouse

Acceso y uso

del Data

Warehouse



Capa de Transporte


Fuentes Externas

Sistemas

Internos de

Oficina

Metadatos para

Fuente

Datos de

Herencia

Datos de

Producción


...

Fuente de

Datos

Construcción

del Data

Warehouse

Acceso y uso

del Data

Warehouse



Capa de Transporte


Crear

Metadatos

Refinamiento Reingeniería Data Warehouse

Crear y Extraer

Metadatos Crear Glosario

Verificar

Calidad Datos

Transformar y

Reubicar

Traducir y

Formatear

Cálculos

Previos

Condensar /

Agregar

Integrar y

Separar

Crear

Metadatos

Conciliar y

Validar

Agregar

Resumir

Modelar

Fecha de

Datos Fuente

Limpiar

Filtrar y

Ajustar

Estandarizar


Acceso y Recuperación

Fuente de Datos

Construcción del Data

Warehouse

Acceso y uso del Data

Warehouse



Capa de Transporte


Administar Metadatos del

Data Warehouse

Acceso y Recuperación

Análisis

y Reporte

O L A P

Creación y Extracción de

Metadatos

Crear Repositorios

Consultas

Transformar a Estructura

Multidimensional

Reingenieria

Consultas al Data Warehouse

Administración de Metadatos

Aplicaciones de

Producción

Herramientas

Predictivas

Herramientas Modelo

Empresarial

Herramienta

Análisis

Herramientas de Reporte

17/01/2013

19

Ciclo de la Metodología

Pruebas Unitarias

Desarrollo Extracción,

Transformación y Carga (ETL)

Pruebas Unitarias

Desarrollo Aplicaciones

de Consulta

Gestión del Proyecto


& Consulting Group

3 Proyectos de Data Warehouse

Agenda

Contenido:

Justificar proyectos de DW

Planificar proyectos de DW

Desarrollar proyectos de DW

17/01/2013

20

Manejo Financiero

Justificaciones financieras para una solución de data

warehouse

Beneficios intangibles

Permanece competitivo

Respuesta al cambio de las condiciones del negocio

Soporta reorganización

Mejor toma de decisiones y mejores datos

Reducción de costos en Sistemas de Información

Mejora tiempos de respuesta

Reportes confiables

Manejo Financiero

Retorno de Inversión (ROI):

Para usuarios internos

Para usuarios externos

ROI: Costos Asociados

Construya un buen caso para establecer

Costos

ROI

Rentabilidad

Eficiencia

Objetivos

Considerar:

Impacto del tiempo para el ETL

Requerimientos adicionales de almacenamiento

Costo de la redundancia de datos

Costo de base de datos, licencias de software, trabajo

17/01/2013

21

ROI: Beneficios

Tres tipos de Beneficios:

Salarios del staff de IT ahorrados por eliminar los sistemas

de soporte de decisiones tradicionales

Tiempo (y dinero) ahorrado por los gerentes por

automatizar la recolección e integración de datos

Dinero ahorrado o ganado por mejores decisiones

ROI: Costos Típicos

Costo Inicial Costo Recurrente

Hardware Servidor, disco, servidor

de aplicaciones, red

Soporte y

mantenimiento

Software Base de datos, opciones,

herramientas de BI,

herramientas de ETL

Soporte y

actualizaciones

Equipo Jefe de proyecto,

Analistas, Instructores,

desarrolladores, DBA

DBA, administrador de

sistemas, modelador

ROI: Ejemplo

Costo inicial: $1,350,000

Costos recurrentes: $250,000 por año

Ahorros recurrentes:

Personal de IT empleado en otras labores

Costo Ahorrado: $150,000 por año

Mejor manejo del inventario reduce perdidas a la mitad

Costo ahorrado: $125,000 por mes = $1.5 million por año

Conclusión:

Este sistema se paga a si mismo en un año

17/01/2013

22

Fondos para el Proyecto

Demuestre y haga evidente que los costos de

integración de sistemas son altos

Determine quién patrocina el proyecto

Sistemas de Información - Grupo de desarrollo

Departamentos - Usuarios

Sistemas

Información

Selecc.

Área

Piloto

Departamento

Departamento

Departamento

Equipo Pequeño

Corta Duración Más Áreas

Invierte el Usuario

Organizaciones

Establecer Expectativas

Alcance

Salida a Tiempo

Fases

Incremental

Manejar Expectativas

Documentando

Informando a los patrocinadores

Reportando el progreso a los usuario finales

17/01/2013

23

Armando el Equipo del

Proyecto Jefe de proyecto

Arquitecto

Ejecutivo patrocinador

Analista de datos

Administrador de base de datos

Administrador de metadatos

Reconociendo Factores

Críticos de Éxito

Enfocado en el negocio, no en la tecnología

Use una metodología Iterativa

Incluir a todos los interesados en el equipo de

trabajo

Requerimientos de Usuarios

Diseño físico

Requerimiento de

usuarios del

negocio

Especificaciones

de aplicaciones

Plan de

despliegue

Arquitectura

técnica

Alcance del

proyecto

Mantenimiento

y crecimiento

17/01/2013

24

Técnicas para Recolectar

Requerimientos Entrevistas

Individuales

Pequeños Grupos

Facilidades para sesiones de grupos

Tormenta de ideas

Resolución de los problemas con el consenso necesario

Investigar

Disponer de recursos (Reporte anual, literatura de mercadeo, contenido

Web)

Gráfico de la organización (entender la estructura de la organización)

Iniciativas previas de warehousing (que se hizo, qué no se hizo, por qué)

Checklist de los

Requerimientos Enfocarse en Áreas:

Cómo hacen negocios los usuarios

Quienes manejan el negocio

Qué atributos necesitan los usuarios (requerido vs. lo que debe ser)

Cuáles son las jerarquías del negocio

Cuáles datos de los usuarios se usan y qué les gustaría tener

Qué niveles de detalle o resumen son necesarios

Qué tipo de herramientas usan para acceder a los datos

Cómo los usuarios esperan ver los resultados

Toma de Requerimientos:

Posibles Obstáculos

Algunos de los posibles obstáculos:

Los objetivos del negocio para el Data Warehouse no se han

especificado bien

El alcance del Data Warehouse es demasiado amplio

No se ha entendido el propósito y función de los sistemas de

soporte de decisiones

17/01/2013

25

Estrategia de Acceso a los

Datos

Defina y analice los requerimientos del los usuarios

Determine las opciones de herramientas

Identifique los roles de los usuarios y los

requerimientos de acceso

Requerimientos para el Acceso a los Datos

Reportes sencillos

Análisis complejos de tendencias

Análisis de regresión

Análisis multidimensional

Reportes excepcionales

Presupuesto y estimaciones

Manipulación de datos

Minería de datos

Reportes parametrizados para ejecución batch

Web o Cliente / Servidor (o ambos)

Use las Consultas

Progresivamente Comience con algo sencillo

Luego algo más analítico

Se requieren diferentes técnicas y herramientas

Flexibles

Qué?

Por

Qué?

Por

Qué?

Por

Qué?

17/01/2013

26

Consultas Eficientes …

Consultas terminan satisfactoriamente

Velocidad de ejecución

Menos uso de CPU

Más oportunidad de seguir analizando

Opiniones de los usuarios

… Consultas Eficientes

Consideraciones en el diseño

Uso de índices

Seleccionar el mínimo de datos

Emplee manejos de consultas

Reducir los cuellos de botella

Desarrollo de métricas

Usar consultas preparadas y probadas

Planificación y Seguimiento

de Consultas

Planificar consultas:

Manejo de la información usada

Consultas directas

Ejecución de consultas

Establecer prioridades de procesos

Seguimiento de consultas:

Uso de recursos para las consultas

Detectar consultas que no se usan

Identifique las consultas que usan datos resumidos ineficientemente

Identifique las consultas que realizan resúmenes en tiempo de ejecución

Detecte los accesos ilegales

17/01/2013

27

Arquitectura del Acceso para

Consultas

Cliente / Servidor

Web

Web Server

Acceso Web

Menos costos de despliegue y manejo

Menos costos de capacitación

Acceso Remoto

Destacado servicio a Clientes con una imagen de Tecnología

de punta

Mayor Colaboración entre usuarios

Seguridad

No pase por alto la seguridad

Patrocinador del área de negocio:

Revise y autorice requerimientos para el acceso

Identificar mejoras

Transparencia

Facilidad de implementación, mantenimiento y manejo

17/01/2013

28

Control Muy Detallado de

Seguridad en Oracle

Contexto de

la aplicación

Oracle

¿Quién soy?

¿Dónde estoy ?

Política de accesos

Tabla

Requerimientos de

Implementación La Adquisición de los datos

La Calidad de los datos

Documentación

Pruebas

Capacitación

Soporte post implementación

La Adquisición de los Datos

Identificar, extraer, transformar y transportar los datos

fuentes

Considerar datos internos y externos

Mover datos entre fuentes y destino

Realizar análisis de fallas de los datos entre la fuente y los

objetos de base de datos de destino

Definir la carga inicial y la peródica

Definir requerimientos de herramientas

Construir, probar y ejecutar los procesos de adquisición de

datos

17/01/2013

29

La Calidad de los Datos

Asegure la consistencia de los datos, su confiabilidad y precisión

Desarrollar estrategias para:

Limpieza

Integridad

Procedimientos

Identificar reglas de negocio para:

Limpieza

Manejo de errores

Auditorias y control

Definir requerimientos de las herramientas de calidad de datos

Construir, Probar y ejecutar los modulos de calidad de datos

Documentación

Producir entregables escritos

Glosario

Manual de usuario y documentación técnica

Ayuda en línea

Guía de referencia de los metadatos

Manual de referencia del Data warehouse

Guía de nuevas características

Pruebas

Desarrolle una estrategia para las pruebas

Plan de pruebas, scripts y escenarios

Prueba todos los componentes:

Procesos de ETL

Acceso a los datos

Acceso directo

Regresión

Volumen

Respaldos

Recuperación

Actas de aceptación de pruebas

17/01/2013

30

Capacitación

Requerimientos:

Técnicos

Usuario Final

Negocio

Identifique los participantes

Silabus

Diseñe y elabore el material

Centrarse en la capacitación de la herramienta y uso de Data

Warehouse

Soporte Post

Implementación Evaluar y revisar el uso del data warehouse

Seguimiento del uso

Incrementar el Warehouse

Seguimiento y respuesta a los problemas

Conducir pruebas de ejecución y afinamiento

Transferir responsabilidades

Evaluar y revisar la solución implementada


& Consulting Group

4 Arquitectura Data Warehouse

17/01/2013

31

Agenda

Contenido:

Modelos de Data Warehouse

Análisis para la consecución de un Data Warehouse

Diseño de un Data Warehouse

Características Modelo Dimensional

Modelo físico de Data Warehouse

Arquitectura de Data Warehouse

Problemas de Modelamiento

Data Warehouse

Entre los principales problemas encontrados para el

modelamiento de Data Warehouse se encuentran los

siguientes:

Diferentes tipos de datos

Varias maneras de usarlo

Varias maneras para estructurar los datos

Múltiples técnicas de modelamiento

Largos volúmenes de datos

Ambiente del Data

Warehouse

Estructuras de Datos Las estructuras de modelamiento mas comunes se

encuentran en un ambiente de Data Warehouse:

Formato Normalizado (3NF)

Esquema Estrella

Esquema Copo de Nieve

17/01/2013

32

Modelo Estrella

Tabla Productos Product_id PK

Product_disc,...

Tabla Tiempo Day_id FK

Month_id

Year_id,...

Tabla Hechos Ventas Product_id FK

Store_id FK

Item_id FK

Day_id FK

Sales_amount

Sales_units, ...

Tabla Unidades Item_id FK

Item_desc,...

Tabla Almacen Store_id PK

District_id,...

Tabla central

de hechos

Dimensiones

desnormalizadas


Tbl Tiempo

Week_id

Period_id

Year_id

Tbl Depart

Dept_id

Dept_desc

Mgr_id

Tbl Mgr

Dept_id

Mgr_id

Mgr_name

Tbl Producto

Product_id

Product_desc

Tbl Unidad

Item_id

Item_desc

Dept_id

Tbl Hechos Venta

Item_id

Store_id

Product_id

Week_id

Sales_amount

Sales_units

Tbl Almacen

Store_id

Store_desc

District_id

Tbl Distrito

District_id

District_desc


Algunas herramientas lo usan directamente

Mas flexible a cambios

Carga de datos mas rápida

Puede ser grande e inmanejable

Degrada la ejecución de las consultas

Metadatos mas complejos

País Depto. Provincia Distrito

17/01/2013

33

Base de Datos del Data

Warehouse

Fases de Diseño Fase 1:

Definir el modelo del negocio

Fase 2:

Definir el modelo dimensional

Fase 3:

Definir el modelo físico

Fase 1: Definir el Modelo del

Negocio

Realizar análisis estratégico

Crear el modelo del negocio

Documentar metadatos

Realizar Análisis Estratégico

Identificar los procesos críticos del negocio

Entender los procesos del negocio

Priorizar y seleccionar el proceso de negocio a implementar

Beneficio

negocio

Baja Alta

Bajo

Alto

Factibilidad

17/01/2013

34

Crear el Modelo del Negocio

Definir requerimientos del negocio:

Identificar las medidas del negocio

Identificar las dimensiones

Identificar granularidad

Identificar definiciones y reglas del negocio

Verificar las fuentes

Metadatos existentes Modelo de producción

Requerimientos

Investigación

Requerimientos del Negocio

Maneja el Proceso de Diseño

En primer lugar

En segundo lugar

Identificar Medidas y

Dimensiones

El Atributo de criterios de análisis:

Nombre producto

Localización

Empaque

Capacidad

El atributo varía continuamente:

Balance

Unidades vendidas

Importe costo

Importe de ventas

Medidas

Dimensiones

17/01/2013

35

Use Matriz de Procesos

Ejemplo de matriz de procesos

Dimensiones

Procesos

Ventas Retorno Inventario

Clientes

Tiempo

Producto

Canal

Promoción

Determinar Granularidad

Año?

Trimestre?

Mes?

Semana?

Día?

Identificar las Reglas del

Negocio

Almacén

Almacén> Distrito > Región

Localización

Proximidad Geográfica

0 - 1 Km

1 - 5 KM

> 5 KM

Producto

Tipo Monitor Estado

PC 15 cm Nuevo

Server 17 cm

Reconstruido

19 cm Propio

Ninguno

Tiempo

Mes > Trimestre > Año

17/01/2013

36

Documentar Metadatos

La Documentación de los metadatos debe incluir:

Documentación de diseño de procesos

Documentación del desarrollo de los procesos

Registro de cambios

Como Documentar

Metadatos

Automatizado

Herramienta de modelamiento de datos

Herramientas de ETL

Herramienta para usuarios finales

Manual

Fase 2: Definir el Modelo

Dimensional Identificar tablas de hechos:

Llevar las medidas del negocio a las tablas de hecho

Analizar la fuente de datos para medidas adicionales

Identificar tablas de dimensiones

Conectar tablas de hechos con tablas de dimensiones

Modelar la dimensión tiempo

17/01/2013

37

Modelo dimensional Estrella

Tabla Almacén

Store_id

District_id

...

Tabla Unidades

Item_id

Item_desc

...

Tabla Hechos

Ventas

Product_id

Store_id

Item_id

Day_id

Sales_amount

Sales_units

...

Tabla Producto

Product_id

Product_desc

...

Tabla Tiempo

Day_id

Month_id

Period_id

Year_id

Características de la Tabla

de Hechos Contienen métricas numéricas del negocio

Pueden almacenar gran volumen de datos

Puede crecer rápidamente

Pueden contener cálculos y resúmenes de datos

Son típicamente aditivas

Están unidas a las dimensiones

a través de claves foráneas

que hacen referencia a las

claves primarias de las

dimensiones

Tabla Hechos

Ventas

Product_id

Store_id

Item_id

Day_id

Sales_amount

Sales_units

...

Características de las Tablas de Dimensiones

Las tablas de dimensiones tienen las siguientes

características:

Contienen información textual que representan los

atributos del negocio (criterios de análisis)

Contienen datos relativamente estáticos

Están unidas a una tabla de hechos a través de una referencia

de clave foránea

17/01/2013

38

Caraterísticas del

Modelo Estrella Dimensional

El un modelo de fácil entendimiento para los usuarios

Las claves primarias representan la dimensión

Las columnas que no son claves foráneas son valores

Los hechos son altamente normalizados

Las dimensiones completamente desnormalizadas

Provee respuestas rápidas a las consultas

La reducción de “Joins” provee desempeño a las consultas

Los usuarios finales expresan consultas complejas

Soportado por todas las herramientas “front-end”

Usando el Tiempo en

Data Warehouse

Definición de estándares para el tiempo son críticas.

Resúmenes basados en el tiempo son complejos

La Dimensión Tiempo

El Tiempo es crítico para el Data Warehouse. Una

consistente representación del tiempo se requiere

para extender

¿Dónde deben ser almacenados los elementos del tiempo?

Dimensión

Tiempo Hechos Ventas

17/01/2013

39

Usando Herramientas de

Modelamiento de Datos

Herramientas con interfase gráfica dan mejor definición

para modelar y documentar

Evitar las mezclas de técnicas de modelamiento causadas

por:

Presiones para desarrollar

Desarrolladores sin conocimiento

Falta de estrategia

Determine una estrategia

Escriba y publique formalmente

Disponibilidad electrónica

Fase 3: Definiendo el

Modelo Físico Lleve el diseño dimensional a un modelo físico para su

implementación

Defina la estrategia de almacenamiento e indexaciones

Establezca tamaño de la base de datos

Defina la estrategia de indexación inicial

Defina la estrategia de particiones

Actualice la documentación de los metadatos con la

información física de los datos

Estándares para su nomenclatura

Estrategia para Definición de

Arquitectura

Obtenga planes de arquitectura existentes

Obtenga los “capacity plans” existentes

Documente las interfaces existentes

Prepare “capacity plans”

Prepare la arquitectura técnica

Documente requerimientos de sistemas operativos

Desarrolle planes de recuperación

Desarrolle planes de seguridad

Cree la arquitectura

Cree la valoración técnica de riesgos

17/01/2013

40

Escalabilidad Mantenimiento Disponibilidad Extensibilidad

Flexibilidad Integración

Requerimientos de

Arquitectura

Usuarios

Presupuesto

Negocios

Tecnología

Tamaño Base de Datos

El tamaño tiene influencia en el “capacity planning” y el

manejo del ambiente de los sistemas

Dimensionar el tamaño se requiere para:

La base de datos

Otras áreas de almacenamiento

Dimensionar el tamaño no es una ciencia exacta

Las técnicas varían

Prueba de muestras de

cargas Analice una muestra representativa de datos usando

métodos estadísticos. Asegúrese que la muestra refleje:

Prueba de cargas para diferentes períodos

Operaciones día por día

Los datos estacionarios y los peores escenarios

Índices y resúmenes

17/01/2013

41

Indexando

La indexación es usada por las siguientes razones:

Es un ahorro de Costo grande, mejorando bastante el

“performance” y la escalabilidad

Este puede reemplazar un “full table scan” por una rápida

lectura del índice y solo leer el bloque del disco que

contiene los registros necesarios.


& Consulting Group

5 Extracción, Transformación y

Carga de Datos

Capítulo 5

Introducción a los procesos de ETL

ETL: tareas, importancia y costo

Como manejar la fuente de datos

Técnicas y métodos de extracción

Problemas con el ETL

Herramientas ETL

17/01/2013

42

Procesos de Extracción,

Transformación y Carga (ETL) Extrae datos fuentes

Transforma / Limpia datos

Indexa y resume

Carga en el Data Warehouse

Detecta cambios

Incrementa datos

ETL


Data Warehouse

Programas

Herramientas

Gateways

ETL: Tareas, Importancia y

Costos

Sistemas

Operacionales

Relevante

Útil

De calidad

Preciso

Accesible

Data Warehouse

ETL

Extraer

Limpiar

Consolidar

Reestructurar

Cargar

Mantener

Incrementar

Mapear Datos

Transformar

Base de datos

operacionales Área de organización de datos

Base de datos

Warehouse

Extraer Datos

Sistemas fuentes

Datos desde varios sistemas fuentes en varios formatos

Rutinas de extracción

Desarrollado para seleccionar campos de datos desde su fuente

Reglas de negocio, rastros de auditoria, facilidad de corrección de errores

17/01/2013

43

Examinando Fuente de

Datos

Producción

Archivos

Internos

Externos

Mapeo de los Datos

Mapeo de los datos define:

Que atributos operacionales usar

Como transformar los atributos para el Data Warehouse

Donde van los atributos en el data Warehouse

Metadata

File A

F1

Staging File One

Number

F2

F3

Name

DOB

Staging File One

Number USA123

Name Mr. Bloggs

DOB 10-Dec-56

File A

F1 123

F2 Bloggs

F3 10/12/56

Técnicas de Extracción

Programas: C, C++, COBOL, PL/SQL, Java

Gateways: acceso transparente a las bases de datos

Herramientas:

Desarrollo con herramientas propias

Terceros

17/01/2013

44

Métodos de Extracción

Métodos lógicos de extracción:

Extracción Total

Extracción incremental

Métodos físicos de extracción:

Extracción en Línea

Extracción fuera de línea

Diseñando Procesos de

Extracción Análisis:

Fuentes, tecnologías

Tipo de datos, calidad, dueños

Opciones de Diseño:

Manual, Propia, gateway, terceros

Replicación, total o actualizaciones

Problemas de diseño:

Volumen y consistencia de los datos

Automatización, habilidades necesarias, recursos

Mantenimiento de los

Metadatos de Extracción

Localización fuentes, tipo, estructura

Método de acceso

Privilegios

Almacenamientos temporales

Falla de procesos

Validaciones

Manejo de pérdida de datos

17/01/2013

45

Herramientas de Extracción

Criterios de Selección

Base funcional

Características de las interfaces

Repositorios de metadatos

Open API

Acceso a los metadatos

Procesos de entrada y salida

Limpieza, reformateo y auditoría

Referencias

Requerimientos de capacitación

Posibles Fallas de ETL

Archivos fuentes no encontrados

Fallas de sistema

Metadatos inadecuados

Mapeos errados

Inadecuada planificación del almacenamiento

Cambios en la estructura de los fuentes

Inexistencia de planes de contingencia

Validación inadecuada de datos

17/01/2013

46

La Calidad en el ETL

Un Procesos de ETL debe ser

Probado

Documentado

Monitoreado y revisado

Los metadatos dispares deben coordinarse

Transformación

La Transformación elimina anomalías de los datos

operacionales:

Limpiar y estandarizar

Presentar datos de áreas especificas

Extraer

Warehouse

Cargar

Sistemas

Operacionales

Área de organización de datos

Transformar:

Limpiar

Consolidar

Reestructurar

Posibles Modelos de Áreas

de Organización de Datos

Área remota

En el sitio

17/01/2013

47

Área de Organización

Remota

Carga

Warehouse

Carga

Warehouse

Área de organización junto al ambiente del Warehouse

Área de organización en su propio ambiente


Extrae

Sistemas

Operacionales

Extrae

Transformación

Área de org

Transformación

Área de org

Area de Organización en el

Sitio

Área de organización junto al ambiente

operacional, posiblemente afectando los sistemas

operacionales

Extrae Carga

Warehouse

Sistemas

Operacionales

Transformación

Área de org

Anomalías en los Datos

Sin clave única

Nombres y códigos con anomalías

Inconsistencias de texto y sintaxis

CUSNUM NAME ADDRESS

90233479 Oracle Limited 100 N.E. 1st St.

90233489 Oracle Computing 15 Main Road, Ft. Lauderdale

90234889 Oracle Corp. UK 15 Main Road, Ft. Lauderdale, FLA

90345672 Oracle Corp UK Ltd 181 North Street, Key West, FLA

17/01/2013

48

Rutinas de Transformación

Limpieza de datos

Eliminando inconsistencias

Agregando elementos

Comparando datos

Integrando datos

Transformación de datos antes de cargar

Transformando Datos:

Problemas Claves de múltiples partes

Múltiples estándares locales

Múltiples archivos

Omisión de valores

Valores duplicados

Formatos de entrada

Integridad referencial

Nombres y direcciones

Múltiples Estándares

Locales

Múltiples estándares locales

Herramientas y filtros de preprocesos

cm

inches

cm USD 600

1,000 GBP

FF 9,990

DD/MM/YY

MM/DD/YY

DD-Mon-YY

17/01/2013

49

Múltiples Archivos

Múltiples archivos fuentes agregan complejidad

Simples para comenzar

Datos

transformados

Múltiple archivos

fuente

Lógica para detectar

corregir fuente

Omisión de Valores

Solución:

Ignórelos

Espera para corregir

Marcar registros

If NULL then

field = ‘A’ A

Valores Duplicados

Solución:

Técnicas: SQL self-join

Constraint en la base de datos

ACME Inc

ACME Inc

ACME Inc

SQL> SELECT ...

2 FROM table_a, table_b

3 WHERE table_a.key (+)= table_b.key

4 UNION

5 SELECT ...

6 FROM table_a, table_b

7 WHERE table_a.key = table_b.key (+);

17/01/2013

50

Nombres

Solución:

Criterio único

Cliente

Customer

Cliente

Contacto

Nombre

Formatos de Entrada

ASCII EBCDIC

12373 “123-73”

ACME Co.

áøåëéí äáàéí Beer (Pack of 8)

Integridad Referencial

Solución:

SQL anti-join

Constraints

Herramientas especiales

Departamento

10

20

30

40

Emp Nombre Departamento

1099 Smith 10

1289 Jones 20

1234 Doe 50

6786 Harris 60

17/01/2013

51

Calidad de los Datos: Importancia y Beneficios

Calidad de los datos:

Clave para el éxito de la implementación

La calidad de los datos ayuda en:

Objetividad del cliente

Determinando patrones de compra

Identificar organizaciones: privados y comerciales

Uniendo clientes

Identifica datos históricos

Estándares de Calidad

Establecer estándares:

Defina una estrategia de calidad

Decida nivel optimo de calidad de datos

Mejorando la calidad de los datos operacionales

Considerar modificar reglas para los datos operacionales

Documentar los fuentes

Diseñar los procesos de limpieza cuidadosamente

Limpieza inicial y su mantenimiento varían

Pautas para la Calidad de los

Datos Datos Operacionales:

No deben ser usados directamente en el Warehouse

Deben ser limpiados en cada incremento

No se arreglan simplemente modificando las aplicaciones

17/01/2013

52

Técnicas de Transformación

Uniendo y comparando datos (merge)

Agragar fecha

Agregar claves a los datos

Agregar Fecha:

Tablas de Hechos y

Dimensiones

Item Table

Item_id

Dept_id

Time_key

Store Table

Store_id

District_id

Time_key Sales Fact Table

Item_id

Store_id

Time_key

Sales_dollars

Sales_units Time Table

Week_id

Period_id

Year_id

Time_key

Product Table

Product_id

Time_key

Product_desc

Resumen de Datos

1. Durante la extracción o en el área de organización de

datos

2. Después de la carga al servidor del Warehouse

Bases de datos

Operacionales

Base de datos

Warehouse

Área de Organización de

datos

17/01/2013

53

Cargando Datos en el Data

Warehouse La carga mueve los datos al Warehouse

La carga implica tiempo:

Considerar ventana para carga

Programe y automatice la carga

Carga inicial mueve grandes volúmenes de datos

Cargas subsecuentes (periódicas) mueven menos datos

Bases de datos

Operacionales

Base de datos

Warehouse

Área de Org

Extrae

Transformar

Transporta,

carga

Carga Inicial y Periódica

Carga Inicial:

Evento único que puebla la base de datos con datos históricos

Involucra grandes volúmenes de datos

Empleo de diferentes tareas

Involucra grandes cantidades de proceso después de la carga

Carga Periódica:

Realizada de acuerdo a los ciclos de negocio

Menos datos que cargar

Tareas de carga menos complejas

Menores cantidades de procesos posteriores

Construyendo Procesos de

Carga Técnicas y herramientas

Métodos de transferencia de archivos

Tiempo disponible para la carga

Tiempo disponible para otras tareas

Volúmenes de carga inicial y periódica

Frecuencia de la carga periódica

Conectividad

17/01/2013

54

Construyendo los Procesos

de Carga

Pruebe la técnica propuesta

Documente el propósito de la carga

Supervise, repase y revise

Granuilaridad de los Datos

Importante diseñarla

Nivel mínimo de granularidad:

Caro, máximo nivel de procesos, más espacio en disco, más detalle

Nivel máximo de granularidad:

Barato, menos procesos, menor espacio en disco, menos detalle

Técnicas de Carga

Herramientas

Utilitarios y 3GL

Puertas de enlace

Personalice copias de programas

Replicación

FTP

Manual

17/01/2013

55

Creando Claves Derivadas

El uso de claves derivadas o generalizadas es recomendado

para mantener identificaciones únicas de un registro

Métodos:

Concatenar clave operacional con un número adicional generado

Asigne un número secuencial generado o de una lista

109908 01 109908

109908 100

Resúmenes

Tablas resumidas

Vistas materializadas

Datos resumidos

Filtrando Datos

Desde el Warehouse a Datamarts

CREATE TABLE AS SELECT (CTAS), or

CREATE TABLE AS SELECT...

PARALLEL (pCTAS)

Datamarts

Datos

Resumidos

Warehouse

17/01/2013

56

Verificando Integridad de

Datos Cargar datos en archivos intermedios

Compare totales de fuente y destino antes de cargar

Destino

=

=

Carga

Conteo y

Cantidades

Totales

Conteo y

Cantidades

Totales

Archivo intermadio

Preserve, revise, arregle,

entonces cargar

Definiendo los Metadatos del

Warehouse

Datos acerca de los datos del Data Warehouse y sus procesos

Vital para el Data Warehouse

Usado por todos

La clave para entender la información del Warehouse

Metadata

Repositorio

de Metadatos

Metadatos de Usuarios

Usuarios Finales

Desarrolladores Profesionales IT

17/01/2013

57

Tipos de Metadatos

Metadatos de usuario final:

Clave para un buen Warehouse

Ayuda para la navegación

Proveedor de información

Metadatos ETL:

Mapa de la fuente al destino

Información de la fuente y el destino

Transformaciones

Contexto

Metadatos operacionales:

Carga, manejo y programación de procesos

Performance

Examinar los Tipos de

Metadatos Metadatos del ETL

Metadata del usuario final

Warehouse

ETL Fuentes

Externas

Datos Fuente

Operacional

Usuario

Final

Repositorio de

Metadatos

Metadatos del ETL

Reglas de negocio

Tablas fuentes, campos y valores claves

Propietarios

Conversión de campos

Tablas de referencia y codificación

Cambio de Nombres

Cambios de claves

Valores por defecto

Lógica para manejar múltiples fuentes

Algoritmos

Fechado

17/01/2013

58

Metas de los Metadatos

y su Intención

Definir metas claras

Identificar requerimientos

Identificar la intención

Metadatos

Identificando Usuarios de

Metadatos ¿Quienes son los usuarios de los metadatos?

Desarrolladores

Usuario finales

¿Qué información necesitan ellos?

¿Cómo se accede a los metadatos?

Escoja Herramientas para Metadatos y Técnicas

Herramientas:

Modeladores de datos

ETL

Usuario final (consulta y análisis)

Esquemas de base de datos

Herramientas Middleware

17/01/2013

59

Metamodelo Común del Data Warehouse

(Common Warehouse Metamodel CWM)

Repositorio de Metadatos CWM

Aplicaciones analíticas

Diseño y Administración

Warehouse

Marts

Cualquier

Fuente

ERP

Operacional

Externa

Cualquier

Acceso

Reportes

Consultas y

Análisis

Minería Integración

Datos

Entrega

Información


& Consulting Group

6 Modelamiento Dimensional

Partes de un Modelo

Dimensional

Medidas

Cantidades

Importes

Criterios de análisis

Atributos descriptivos

17/01/2013

60

Modelo Dimensional

Composición Tabla de Hecho

Medidas

Dimensiones

Elementos

Atributos

Agregados

Copos de Nieve

Modelo Dimensional

Granularidad

Nivel mínimo de detalle

A menor granularidad,

mayor cantidad de detalle

Entre mayor sea la granularidad,

mayor será la cantidad de procesamiento

Dimensiones …

Elementos: son los

datos a través de los

cuales establecemos

jerarquías

17/01/2013

61

… Dimensiones …

Drill-Up y Drill-Down

… Dimensiones …

Ejemplos de Jerarquías

Departamento

Provincia

Distrito

Tipo de Producto

Marca Producto

Producto

… Dimensiones …

La mayoría de las dimensiones se conformarán al menor grado de granularidad

posible

Creación de claves primarias no son necesariamente el código que se utliza en

las fuentes

Definición clara de elementos jerárquicos

Definición de atributos descriptivos

17/01/2013

62

… Dimensiones …

El promedio recomendado por cada modelo

estrella está entre 4 y 15 Dimensiones por cada

Tabla de Hechos

… Dimensiones …

Dimensiones combinadas: resulta de la unión

(producto cartesiano) de dos posibles

dimensiones.

Dimensión A

Dimensión B Dimensión AB

… Dimensiones …

División de dimensiones: resulta de dividir una dimensión en dos

entidades diferentes

Dimensión A

Dimensión A1

Dimensión A2

17/01/2013

63

… Dimensiones …

Dimensiones muy grandes

… Dimensiones …

Copos de Nieve (Snowflaking) Normalización de atributos

Su aplicación no es recomendada porque aumenta los tiempos de respuesta y complica el modelo

Hechos

Dimensión

Dimensión Dimensión

Dimensión

Copo de Nieve

… Dimensiones …

Para que una dimensión sea exitosa:

Utilizar textos completos entendibles

Muy descriptiva

Completa (sin omitir valores)

Asegurar calidad (bien escrito, sin valores imposibles, sin valores obsoletos, sin diferentes versiones del mismo atributo)

Indexación

Desnormalizada

Bien Documentada

17/01/2013

64

… Dimensiones …

Slowly Changing Dimension Técnicas para actualización de datos en las

dimensiones, básicamente existen 3 tipos de actualización de datos críticos para los atributos principales de las dimensiones

… Dimensiones …

Slowly Changing Dimension

Tipo 1: Cuando existe un cambio en alguna

dimensión que afecte las consultas, se substituye el

valor anterior por el nuevo

… Dimensiones …


Tipo 2: Cuando existe un cambio en alguna dimensión que

afecte las consultas, se agregan nuevos registros con los

cambios.

17/01/2013

65

… Dimensiones …


Tipo 3: Cuando existe un cambio en alguna dimensión que

afecte las consultas, se colocan los cambios agregando

campos en el mismo registro de la dimensión

… Dimensiones …

Es la dimensión mas crítica del Data Warehouse

Se requiere una representación consistente del tiempo para una mejor visión de los datos

La Dimensión Tiempo

… Dimensiones

Impacto en el tamaño de la base de

datos

Establecer siempre un nivel de

granularidad menor al requerido

Granularidad de la Dimensión Tiempo

17/01/2013

66

Hechos …

Medida: Dato numérico que determina lo

ocurrido o el comportamiento en la empresa

… Hechos …

La granularidad en los hechos de cada Datamart está basado en

el nivel de granularidad natural mínimo de las dimensiones que

lo constituyen

… Hechos

Clave primaria conformada por los FK de las

dimensiones

Dimensión Productos

Id Producto

Id Producto

PK

FK

Tabla de Hechos

Dimensión Tiempo

Id Tiempo

Id Tiempo

PK

FK

Medida

Medida Medida

Atributo Atributo Atributo

Atributo Atributo Atributo

17/01/2013

67

OLAP

Data

Mining

BI Developer Components

• Oracle Warehouse Builder

• Discoverer

• JDeveloper

• Reports Developer

Web

Analytics

Ad-hoc

Query

Reporting

BI Beans

Portal

Personalization ETL

Database

Tables

Discoverer

Metadata

Oracle9i

Discoverer Administrator

Oracle9i

Discoverer Desktop

17/01/2013

68

Discoverer

Administrator End User

Layer

Browser

Java Applet

HTTP

Server

Oracle AS

Discoverer

Services

Discoverer Viewer

Discoverer

Desktop

Discoverer Plus

Browser

Viewer Servlet

Construyendo y Ejecutando

una Consulta

End User

Layer SQL

Cliente Application

Server Base de Datos

17/01/2013

69

Caching Data

Client

Discoverer Plus

Data

tables

Application

Server

ResultsBase Cache

Redirección a Tablas

Sumarias

Summary awareness

Or

Data

tables

Summary

tables

Database

emp_data

emp_code

view_mgr

Hierarchies

Employees

Joins

Data dictionary

End User Layer

17/01/2013

70

Discoverer Plus and

Discoverer Viewer

Application Server

Web Client Discoverer

Desktop

Discoverer

Administrator

End User Layer

Programando ejecución de reportes en el

tiempo

End user

1

2

17/01/2013

71

Oracle Discoverer Viewer

BI Fundamenos

Documents

Transcript of BI Fundamenos