Plan de Migración de Datos Para San Antonio Del SENA
-
Upload
cesar-serna -
Category
Documents
-
view
407 -
download
20
Transcript of Plan de Migración de Datos Para San Antonio Del SENA
-
7/25/2019 Plan de Migracin de Datos Para San Antonio Del SENA
1/8
ESPECIALIZACION TECNOLOGICA EN GESTION Y SEGURIDAD
EN BASE DE DATOS
PLAN DE MIGRACIN DE DATOS PARA SAN ANTONIO DEL SENA
MODULO EJECUCION
SENA
2016
INTRODUCCION
-
7/25/2019 Plan de Migracin de Datos Para San Antonio Del SENA
2/8
Para escoger la estrategia de migracin, se realiz un anlisis detallado, teniendo
en cuenta las directrices del sistema, especialmente en lo referente a mantener la
integracin de la funcionalidad y de los datos, as como las expectativas de los
usuarios respecto a la informacin activa e histrica, la facilidad de operacin y de
consulta, la viabilidad tcnica y las restricciones del Proyecto.
La estrategia tecnolgica escogida para el desarrollo de la migracin es la
implementacin de ambientes separados de diseo y e!ecucin. "on esta opcin
existe un repositorio #ue almacena definiciones de metadatos para ob!etos como
fuentes, destinos, y procesos de extraccin, transformacin y carga a los cuales
tienen acceso los usuarios a travs del "entro de $iseo.
TECNICA Y ESTRATEGIA A UTILIZAR
-
7/25/2019 Plan de Migracin de Datos Para San Antonio Del SENA
3/8
La herramienta escogida para el proceso de migracin de datos determina la
ar#uitectura tecnolgica a implementar. % continuacin se describen los principales
componentes de la ar#uitectura y la opcin de implementacin escogida.
Pentaho Data Inte!at"on
Pentaho $ata &ntegration proporciona un enfo#ue declarativo de '(L donde se
especifica #u hacer en lugar de como hacerlo. &ncluye una biblioteca de
transformacin con ms de )* ob!etos de mapeo. 'n incluye la capacidad de
almacenamiento de datos para cambiar lentamente y basura $imensiones. &ncluye
soporte para m+ltiples fuentes de datos, incluyendo ms de - plataformas de
cdigo abierto y de base de datos , archivos planos, documentos de Excel, y
mucho ms. La arquitectura es extensible con un mehcanism plug-in.
Inte!a#"$n %e %ato&
. La plataforma ofrece, anlisis listos datos precisos a los usuarios finales decual#uier fuente. "on las herramientas visuales para eliminar la codificacin y
comple!idad, Pentaho pone de datos grandes y todas las fuentes de datos en las
yemas de los dedos de las empresas y los usuarios de (&.
'l "entro de $iseo es la interfaz de usuario #ue se utiliza en el diseo,
administracin, programacin y despliegue de procesos para mover y transformar
los datos. (odos los metadatos asociados con el traba!o hecho en el "entro de
$iseo se almacenan en el repositorio.
-
7/25/2019 Plan de Migracin de Datos Para San Antonio Del SENA
4/8
"%/%"('//&0(&"%0 $' L% 1'//%2&'3(%
&3('4/%"&53 $' $%(60 4/%3$' "63 "'/6 "6$&7&"%"&5368L&4%(6/&6
1erramientas intuitivas de Pentaho aceleran el tiempo #ue se necesita paradisear, desarrollar y desplegar anlisis de datos grandes en hasta 9-x.
4randes herramientas de integracin de datos visuales completas eliminan
la codificacin en 0:L o escribir funciones 2ap/educe ;ava.
%mplia conectividad a cual#uier tipo o fuente de datos con soporte nativo
para 1adoop, 3o0:Ly bases de datos analticos.
2otor de procesamiento paralelo para garantizar un alto rendimiento y
escalabilidad empresarial.
'xtraer y combinar los datos existentes y diversos para producir uniformes
y de alta calidad listos para analizar los datos.
SIMPLE DISE'ADOR (ISUAL DE ARRASTRAR Y DESARROLLO GOTA
'mpoderar a los desarrolladores con herramientas visuales para minimizar la
codificacin y lograr una mayor productividad.
'xtraccin, transformacin y carga grfica
-
7/25/2019 Plan de Migracin de Datos Para San Antonio Del SENA
5/8
$epurador integrado para pruebas y puesta a punto la e!ecucin del traba!o.
6P6/(' 3%(&?6 @ 7L'A&8L' P%/% (6$%0 L%0 7B'3('0 $' 8&4 $%(%
Bna combinacin de conexiones nativas de profundidad y una capa de datos de
datos de gran adaptativo aseguran el acceso acelerado a las distribuciones
principales de 1adoop, bases de datos 3o0:L, y otras tiendas de grandes datos.
'l apoyo a las distribuciones de 1adoop de "loudera, 1ortonCorDs y 2ap/.
Plugins a bases de datos 3o0:L como "assandra y 2ongo$8, as como
las conexiones a almacenes de datos especializados como %mazon/edshift y 0plunD.
"apa de datos grande adaptable ahorra empresas considerable el tiempo
de desarrollo, ya #ue aprovechan las nuevas versiones y capacidades.
2ayor flexibilidad, reduccin del riesgo, y el aislamiento de los cambios en
el gran ecosistema de datos.
Presentacin de informes y anlisis sobre las cantidades crecientes de
usuario y los datos de m#uina generado, incluyendo contenido de la Ceb,
documentos, medios de comunicacin social y los archivos de registro.
&ntegracin de las tareas de datos 1adoop en general de (& E '(L E
soluciones de 8& con distribucin escalable en el cl+ster.
'l apoyo a los servicios p+blicos para carga de datos a granel paralelos
para la carga de datos con el mximo rendimiento.
http://www.pentaho.com/pentaho-and-clouderahttp://www.pentaho.com/analytics-for-mongodbhttp://www.pentaho.com/analytics-for-mongodbhttp://www.pentaho.com/analytics-for-mongodbhttp://www.pentaho.com/pentaho-and-clouderahttp://www.pentaho.com/analytics-for-mongodbhttp://www.pentaho.com/analytics-for-mongodbhttp://www.pentaho.com/analytics-for-mongodb -
7/25/2019 Plan de Migracin de Datos Para San Antonio Del SENA
6/8
$'0"/&P"&63 $' L%0 7%0'0
%nlisis y $iseo
6b!etivoF /ealizar un examen completo y establecer una lista de che#ueo de loselementos de datos del sistema #ue sern migrados. $el mismo modo se realiza
el mapeo de los elementos de datos de la fuente al destino.
%ctividades
'n el es#uema iterativo, las actividades de anlisis estn dirigidas a suplir los
re#uerimientos del sistema. 0e deben hacer tres consideraciones.
> $escubrimiento inicial. Proceso #ue permite entender el valor de todos los
elementos de datos, rangos, etc. y poner en evidencia las relaciones entre
ellos.
> 2apeo. Permite entender cules bases de datos, entidades y atributos
satisfacen los re#uerimientos de informacin del sistema destino. 0e debe
evaluar #u relacin origen>destino satisface el re#uerimiento de maneraptima y determinar los cambios re#ueridos
-
7/25/2019 Plan de Migracin de Datos Para San Antonio Del SENA
7/8
'xtraccin y (ransformacin
6b!etivoF $esarrollar los procedimientos transformacin y validacin
%ctividadesF
Bn anlisis preciso permitir un traba!o eficiente en las siguientes fases. $espus
de #ue se conoce #ue datos migrar, donde conseguirlos y como se mapean en el
destino, el siguiente paso es construir los procedimientos necesarios para extraerlos datos y transformarlos hacia el formato adecuado.
$urante la fase de desarrollo adems de construir los scripts y el cdigo especfico
de la migracin utilizando la herramienta de migracin seleccionada se deben
enfrentar dos situacionesF
?alidacin
6b!etivoF ?alidacin de datos en de preparacin.
%ctividadesF
Bna vez se tiene listo el mapeo el siguiente paso es che#uear si los datos cumplen
las validaciones del sistema destino, incluyendo reglas de negocio, restricciones
de semntica o sintcticas. 'stas actividades se pueden realizar con la misma
herramienta de desarrollo de tal manera #ue el resultado de esta fase es un
con!unto de procedimientos o scripts a travs de los cuales se realizarn las
validaciones mencionadas.
-
7/25/2019 Plan de Migracin de Datos Para San Antonio Del SENA
8/8
Pruebas y cargue
6b!etivoF '!ecutar los scripts o el cdigo generados en la fase de desarrollo de la
migracin, enmarcndolos en un contexto de semntica del negocio #ue permita
resolver los problemas lgicos as como los errores fsicos.
%ctividades
'n la fase de pruebas del usuario se identifican y resuelven los errores lgicos. 'l
primer paso es e!ecutar los mapas. %s los mapas se e!ecuten correctamente hay
#ue identificarF
> 'l n+mero de registros #ue se espera #ue el script cree.
> 0i efectivamente ese n+mero de registros se crearon, si no explicar el por #u
no fue as.
> 0i los datos fueron cargados en los campos correctos.
> 0i el formato de los datos fue el adecuado.
> 0i el sistema destino permite limpiar los datos cargados si la carga no fue
satisfactoria y existe el procedimiento para hacerlo, mediante el uso de la capa
intermedia de transformacin. 'l ob!eto es asegurar #ue la migracin est
correcta antes de poblar el sistema destino.