Manejo_de_Memoria y Organizacion de Archivos

7/31/2019 Manejo_de_Memoria y Organizacion de Archivos

1/21

1

Universidad Central de VenezuelaFacultad de Ciencias

Escuela de Computacin

ADMINISTRACIN DE BASES DE DATOS

Mara Gertrudis Lpez Lpez

Centro de investigacin en Sistemas de InformacinCISI.


2/21

2

ADMINISTRACIN DE BASES DE DATOS

Resumen

La administracin de las capacidades de la base de datos de una manera efectiva y eficaz

proporciona un producto de calidad. El resultado final de los esfuerzos ser una base de

datos seria, robusta, segura, ampliable y diseada para cumplir los objetivos de las

aplicaciones a las que d servicio.

Existen una serie de componentes que forman parte de estos objetivos y que aqu vamos a

analizar con detenimiento. Unas arquitecturas fsica y lgica de la base de datos biendiseadas ayudan a mejorar el rendimiento y facilitan la administracin, al distribuir

adecuadamente sus objetos. Si se determina cual es el nmero y el tamao correcto de

los objetos de la base de datos, sta podr dar servicios a todas sus transacciones.

Tambin se presentan las estrategias de optimizacin, seguridad y supervisin, as como

procedimientos de recuperacin y copia de seguridad ptimos, para asegurar la

restauracin de la base de datos ante cualquier falla. De igual forma, es importante los

mecanismos de control de concurrencia, ya que stos pueden afectar tanto a la cantidad

como a la ejecucin de las transacciones que se ejecutan en un momento dado. Ninguno

de los objetivos anteriores se lograra sin el concepto de diccionario de datos que es el

encargado de almacenar las descripciones de los objetos de la base de datos.

Palabras claves: Administrador de Bases de datos, esquema interno, transacciones,

concurrencia, optimizacin, diccionario de datos, seguridad, integridad.

Centro de Informacin en Sistemas de Informacin -CISI-Escuela de Computacin Facultad de Ciencias Universidad Central de Venezuela

Los Chaguaramos. Apartado 47002Caracas 1041-A Venezuela


3/21

3

INDICE

INDICE ______________________________________________________________ 3

INTRODUCCIN ______________________________________________________ 4

1. Estructura Interna de los SMBD_______________________________________ 5

1.1. Manejo de Memoria[1]__________________________________________ 51.1.1. Acceso a bases de datos: Panorama General ______________________ 51.1.2. Clustering [5] ______________________________________________ 71.1.3. Organizacin de Archivos [5]__________________________________ 7

1.1.3.1. Organizacin Secuencial__________________________________ 71.1.3.2. Organizacin Directa ____________________________________ 81.1.3.3. Organizacin Indexada ___________________________________ 9

1.1.3.3.1. Organizacin aleatoria indexada _________________________ 101.1.3.3.2. Organizacin indexada secuencial _______________________ 11

1.1.3.3.2.1. Manejador de archivos de datos con una organizacin indexadasecuencial 121.1.4. Estructuras de Datos ________________________________________ 14

1.1.4.1. Listas Invertidas _______________________________________ 141.1.4.2. Listas Enlazadas _______________________________________ 151.1.4.3. rboles B ____________________________________________ 161.1.4.4. rboles B+ ___________________________________________ 17

1.2. Casos de Estudio [12, 13] _______________________________________ 181.2.1. Sybase ___________________________________________________ 181.2.2. Oracle ___________________________________________________ 18

7. REFERENCIAS BIBLIOGRAFICAS _________________________________ 21


4/21

4

INTRODUCCIN

Actualmente, la informacin es una de los recursos mas importantes que posee cualquier

organizacin. Es por ello, que la tecnologa ha evolucionado a sistemas que almacenan y

recuperan la informacin de manera eficiente. El campo de base de datos ha sufrido muchos

cambios hasta el da de hoy.

En un principio se tenan sistemas de procesamiento de archivos, los cuales eran limitados por la

fuerte dependencia entre los formatos de los archivos y los programas. A raz de estos surgen

los sistemas manejadores de bases de datos, los cuales poseen muchas ventajas como son: la

minimizacin de redundancia, control de concurrencia, recuperacin en caso de falla, etc. Los

primeros sistemas manejadores de bases de datos estaban basados en estructuras jerrquicas y

de red, pero debido a su complicacin surgen los modelos relacionales, que son usadosampliamente en la actualidad.

Todo este gran volumen de datos que almacenan las bases de datos es administrador por un

grupo de personas denominadas Administrador de Bases de Datos (ABD). Es labor del ABD:

Definir los esquemas de la bases de datos, por lo cual es importante conocer las

diversas estructuras de almacenamiento que permiten una recuperacin eficiente. La

informacin de los esquemas es almacenada en el diccionario de la base de datos.

Proveer mecanismos de backup/restore que permitan la recuperacin de la base de

datos ante cualquier particularidad. Garantizar que el acceso concurrente de mltiples usuarios no comprometa la integridad

de la base de datos.

Garantizar un tiempo razonable de respuesta ante la ejecucin de cualquier consulta, por

lo que es importante la optimizacin de consultas.

Proveer mecanismos de seguridad que permitan el acceso a los datos solo a personas

autorizadas.

Proveer mecanismos de integridad que representen restricciones que deben cumplirse

sobre los datos.

En este documento estudiaremos cada una de las funciones que efecta un ABD.


5/21

5

1. Estructura Interna de los SMBD

1.1. Manejo de Memoria[1]El nivel interno de un sistema de bases de datos es el que se ocupa de la forma como

estn almacenados los datos. Fsicamente, las bases de datos casi siempre se almacenan enmedios de acceso directo, por lo regular en discos magnticos de cabeza mvil, aunque enalgunos sistemas pueden utilizarse otros medios (por ejemplo tambores, discos pticos, etc.) envez de esos discos o adems de ellos.

Daremos por sentado que se conocen los aspectos bsicos de la arquitectura de losdiscos y se conocen trminos tales como tiempo de bsqueda, retardo rotacional, cilindro, pista,cabeza de lectura / grabacin, etc. [2, 3]

Lo fundamental en un ambiente de base de datos es que los tiempos de acceso a discoson mucho ms largos que los tiempos de acceso a memoria principal. Los tiempos de acceso adisco representativos van de cerca de 400 milisegundos o ms para un disco flexible en un microhasta unos 30 milisegundos o menos para un disco rpido en un mainframe; el acceso amemoria principal ser con toda probabilidad por lo menos cuatro o cinco rdenes de magnitudms rpido que el acceso a disco en un sistema dado. Por todo esto, un objetivo prioritario de

desempeo en sistemas de bases de datos es reducir al mnimo el nmero de accesos a disco.Para esto se utilizan tcnicas para organizar los datos almacenados en disco de manera tal queun elemento de informacin requerido se pueda localizar con un mnimo de operaciones de E/S.

Cualquier organizacin de los datos en el disco se denomina estructura dealmacenamiento. Es posible desarrollar (y as se ha hecho) un gran nmero de estructuras dealmacenamiento diferentes, y desde luego, tienen distintas caractersticas de desempeo queson adecuadas para ciertas aplicaciones y no lo son para otras. No existe una sola estructuraptima para todas las aplicaciones por lo que un buen sistema debe poder utilizar variasestructuras distintas, a fin de almacenar diversas porciones de la base de datos en diversasformas y deber ser posible cambiar la estructura de almacenamiento de una porcindeterminada cuando varen o se comprendan mejor los requerimientos de desempeo.

1.1.1. Acceso a bases de datos: Panorama General

Localizar un elemento de informacin especfico en la base de datos y presentarlo alusuario requiere varios niveles de programas para acceso a los datos y sus principios generalespueden explicarse en base a la figura 1:

1. En primer trmino, el SMBD decide cul registro almacenado se necesita, y pide almanejador de archivos que extraiga ese registro.

2. A su vez, el manejador de archivos decide cul pgina contiene el registro deseado ypide al manejador de disco que lea esa pgina. La pgina es la unidad de E/S, es decir,la cantidad de datos transferidos entre el disco y la memoria principal en un slo accesoa disco (1K, 2K, 4Kbytes, etc.)

3. Por ltimo, el manejador de disco determina la localizacin fsica de la pgina deseadaen el disco y realiza la operacin de E/S necesaria. Si la pgina ya esta en memoriaprincipal porque ha sido leda anteriormente no es necesario volverla a leer de disco.


6/21

6

Figura 1

Manejador de disco: Es un componente del sistema operativo subyacente encargadode todas las operaciones fsicas de E/S. Como tal, es evidente que necesite conocer lasdirecciones fsicas en el disco. Por ejemplo, cuando el manejador de archivos solicita la lecturade una pgina p, el manejador de disco necesita saber con exactitud donde est situada esapgina en el disco fsico. Para el manejador de archivos, el disco es una coleccin lgica de

conjuntos de pginas, cada uno de los cuales se compone de un grupo de pginas de tamaofijo. Cada conjunto de pginas se identifica mediante un identificador de conjunto de pginasnico. Cada pgina a su vez, se identifica mediante un nmero de pgina que es nico dentrodel disco; los diferentes conjuntos de pginas no se solapan, es decir, no tienen pginas encomn. El manejador de disco entiende y mantiene la correspondencia entre nmeros de pginay direcciones fsicas en el disco. Uno de los conjuntos de pginas, el conjunto de pginas deespacio libre, sirve como reserva de pginas disponibles. El manejador de disco se encarga de laasignacin de pginas a los conjuntos y la liberacin de pginas de los mismos cuando se lossolicita el manejador de archivos. Entre las operaciones que puede realizar el manejador dedisco con los conjuntos de pginas (que son las operaciones que puede solicitar el manejadorde archivos) se encuentran:

- Leer la pgina p del conjunto C.- Reemplazar la pgina p dentro del conjunto de pgina C.- Aadir una pgina nueva al conjunto de pginas C (es decir, obtener una pgina vaca

del conjunto de pginas del espacio libre y devolver el nuevo nmero de pgina p).- Eliminar la pgina p del conjunto de pginas C (es decir, volver la pgina p al conjunto

de pginas del espacio libre).Manejador de archivos: Utiliza los recursos del manejador de disco de manera tal que

su usuario (el SMBD) puede percibir al disco como un conjunto de archivos almacenados. Cadaconjunto de pginas contendr uno o ms archivos almacenados. Cada archivo almacenado seidentifica mediante un nombre de archivo o identificador de archivo nico por lo menos dentrodel conjunto de pginas que lo contiene, y cada registro almacenado, a su vez, se identifica,mediante un nmero de registro o identificador de registro nico al menos dentro del archivo


7/21

7

almacenado que lo contiene (En la prctica, los identificadores de registro suelen ser nicos noslo dentro del archivo que los contiene sino dentro de todo el disco, ya que por lo general secomponen de un valor de nmero de pgina y algn valor nico dentro de esa pgina). Enalguno sistemas, el manejador de archivos es un componente del sistema operativo subyacente(que en muchos casos no resulta ideal para el SMBD), en otros casos est empacado con elSMBD [4]. Entre las operaciones que puede realizar el manejador de archivos con los archivosalmacenados son:

- Leer el registro almacenado r del archivo almacenado A.- Reemplazar el registro almacenado r dentro del archivo almacenado A.- Aadir al archivo almacenado A un nuevo registro y devolver el nuevo identificador del

registro r.- Eliminar el registro almacenado r del archivo almacenado A.- Crear un nuevo archivo almacenado A.- Destruir el archivo almacenado A.

Con estas operaciones primitivas de manejo de archivos, el SMBD es capaz de construiry manipular las estructuras de almacenamiento.

1.1.2. Clustering [5]Clustering es un proceso de agrupacin de registros en pginas de disco basado en patrones de

uso. En un ambiente de base de datos, cada pgina puede contener diferentes tipos de registroslgicos. Se puede querer colocar en una misma pgina de disco o en una pgina cercanaaquellos registros que son frecuentemente usados juntos con objeto de minimizar los accesos adisco. Existen dos tipos de clustering:

- Clustering intra archivos: En este caso el clustering se aplica sobre archivos individuales.Si los registros de un archivo son frecuentemente accesados segn el orden de algncampo del mismo, entonces es conveniente agrupar a los registros segn el valor de esecampo.

- Clustering nter archivos: En este caso el clustering aplica sobre varios archivos. Si cadavez que se acceda un registro de tipo 1 se accedan todos los registros tipo 2 asociadoscon l entonces es recomendable agrupar cada registro tipo 1 con todos los registrostipo 2 asociados a l.

1.1.3. Organizacin de Archivos [5]La organizacin de archivos se refiere a la estructura fsica de un archivo sobre el disco.Los tres mtodos de organizacin de archivos disponibles son: secuencial, directo e indexado.Cada una de estas organizaciones es usada por el SMBD en alguna forma. La organizacinsecuencial es usada para archivos journal; para copias de backup de la BD; para ciertos archivosque sirven como entrada a aplicaciones batch; para archivos de transacciones batch, etc. Lasorganizaciones directas e indexadas son tcnicas usadas por el SMBD para el almacenamientode data dentro de la base de datos.

Una organizacin de archivos, junto con las posibles tcnicas de acceso para esaorganizacin constituye un mtodo de acceso. Una tcnica de acceso define los pasosinvolucrados en el almacenamiento y la recuperacin de registros especficos a travs de accesosecuencial o aleatorio a dicho registro.

1.1.3.1. Organizacin Secuencial

En este tipo de organizacin, los registros son almacenados en la secuencia fsica en laque ellos van a ser procesados. Existen dos tipos posibles de organizacin secuencial. Si losregistros son almacenados sin ningn orden especfico sino slo por su orden cronolgico dellegada el archivo correspondiente es una pila. Los archivos journal, los backups, los archivos detransacciones batch son del tipo pila. El segundo tipo de organizacin secuencial es aplicable enun ambiente de procesamiento de archivos, donde un gran porcentaje de los registros necesitanser accesados frecuentemente. Un archivo con este tipo de organizacin secuencial tiene todossus registros almacenados segn el valor de una clave que es normalmente la clave primaria.


8/21

8

Con un archivo organizado secuencialmente slo se puede usar acceso secuencial. Elacceso aleatorio no es posible. Si un registro especfico va a ser consultado desde el archivo,todos los registros que lo preceden fsicamente deben ser recuperados antes de obtenerlo a l.Por esto, la organizacin secuencial no es recomendable para un ambiente en lnea donde serequiere un acceso rpido.

En un archivo con este tipo de organizacin, los registros pueden ser aadidos slo alfinal del archivo. Cuando se actualiza la informacin de un registro existente, puede seractualizado y reescrito en el mismo lugar fsico en el que se encontraba. Pero si se debe insertarun nuevo registro que va en la mitad del archivo, el archivo completo debe ser recopiado a unanueva localizacin fsica donde se coloca adecuadamente el nuevo registro. El borrado fsico deun registro existente tambin requiere que el archivo sea recopiado a una nueva localizacinfsica donde no se encuentra el registro borrado.

Comparada con la organizacin directa e indexada, la organizacin secuencial hace unuso ms econmico del disco ya que no se requieren almacenar estructuras fsicas adicionalespara acceder los registros y el archivo se mantiene tan compacto como se puede.

1.1.3.2. Organizacin DirectaLa organizacin directa da un performance excepcional en un ambiente on-line, donde

se requiere acceso aleatorio. En la organizacin directa, cada registro es almacenado yrecuperado en una direccin de disco sobre la base de una frmula que es aplicada a un valorde un campo del registro. Son posibles dos tipos de organizacin directa, una usando tcnicasde direccionamiento en base a una clave y la otra usando tcnicas hashing.

Tcnicas de direccionamiento por clave: Con estas tcnicas una frmula es aplicadaal valor del campo que es la clave primaria del registro y se obtiene un nmero relativo deregistro nico. Por ejemplo, se tienen las siguientes ocurrencias del tipo registro EMPLEADOdonde la clave primaria es el nmero de empleado:Emp 5Emp 7Emp 9Emp 11Emp 13Emp 15Emp 17Emp 19

Emp 21La frmula a aplicar sobre cada valor de nmero de empleado es: (NUMEMP - 3) / 2. Por

ejemplo para el empleado 19 el resultado de la frmula sera 8. Entonces, cada valor de claveprimaria da como resultado un nmero relativo de registro nico a ser usado. Slo se necesita unacceso al archivo para almacenar o recuperar un registro especfico. La rapidez provista por estatcnica constituye una ventaja con respecto a la organizacin secuencial.

En la mayora de los casos donde se aplica esta tcnica, se observa una gran dispersinentre las direcciones relativas generadas y las posiciones de memoria deben ser reservadasaunque no sean usadas. Usualmente se debe hacer un estudio comparativo entre velocidad deacceso y espacio de almacenamiento en disco necesario cuando se usa esta tcnica y a menosque se tenga una clave primaria que pueda ser convertida en un conjunto compacto de nmerosrelativos, la tcnica de direccionamiento por clave no es una buena seleccin para unaorganizacin directa ya que aunque es un mtodo de acceso rpido, puede dejar muchos

huecos, lo que desperdicia espacio en disco.Tcnicas Hashing: Son similares a las de direccionamiento por clave en que la frmulaes aplicada a un campo del registro (usualmente la clave primaria) teniendo como resultado unvalor usado como la direccin en disco para almacenar ese registro. La diferencia es que lastcnicas hashing no garantizan una direccin de almacenamiento nica. La frmula puedeproducir dos o ms registros con el mismo valor resultante.

Esta tcnica permite utilizar el disco eficientemente mientras intenta retener la rapidezdel acceso aleatorio (no ms de un acceso a disco para obtener un registro especfico) si sepueden minimizar los efectos de los resultados duplicados de la frmula. La funcin hashing esseleccionada de manera tal que los registros sean esparcidos lo ms uniformemente posible a lo


9/21

9

largo de todo el archivo, pero no quedan almacenados en una secuencia en particular. Cuandopara dos o ms registros se obtiene como resultado el mismo valor de la funcin hashing se diceque se produce una colisin y los dos registros son llamados sinnimos. Dentro de las tcnicashashing ms usadas se tienen:

Tcnica hashing plegable (folding): Consiste en tomar el valor de la clave primaria,dividir sus dgitos en dos o ms grupos y sumar estos grupos de dgitos. El resultado de la sumaes usado como la direccin en disco. La idea es tomar un valor de clave primaria que puede sergrande (C.I., por ejemplo) y transformarlo en nmeros pequeos que son direcciones en discominimizando el nmero de colisiones a obtener.

Tcnica hashing divisin-cociente: Consiste en dividir el valor de la clave primariaentre un nmero fijo, preseleccionado y el cociente de la divisin se usa como direccin en disco.Las investigaciones demuestran que el nmero seleccionado para hacer la divisin debe ser unnmero primo para disminuir el nmero de colisiones posibles.Manejo de colisiones: No importa lo bien seleccionado que est nuestra funcin hashing,siempre habr que enfrentar el problema de las colisiones y se debe buscar la mejor forma demanejarlo. Se sabe que el SMBD almacena registros en pginas que tienen capacidad paravarios registros y que cada pgina tiene un nmero nico o direccin. Mas que usar un nmerorelativo para almacenar y recuperar registros, la tcnica hashing usa el nmero de pgina paralocalizar los registros. Entre las formas de manejar las colisiones se tienen:

Bsqueda lineal: Si la pgina en donde se debe almacenar un registro nuevo, segn la

funcin hashing, no tiene espacio disponible, este se almacena en la prxima pgina que tengaespacio disponible. La ventaja de este mtodo es que los registros que tengan la misma pginaestarn almacenados en la misma pgina o en pginas cercanas pero si existen muchosregistros que deben estar en una misma pgina y no caben all se necesitarn varios accesos adisco para obtenerlos y el problema puede empeorarse para archivos de gran tamao con altasdensidades de ocupacin.

reas de overflow: Este mtodo usa un rea de overflow separada para almacenar losregistros que no pueden ser almacenados en la pgina especificada por la funcin hashing. Almomento de ubicar un registro que est en al rea de overflow, el sistema obtiene primero lapgina en donde debera estar almacenado. Al no ser encontrado all se comienza a obtener laspginas del rea de overflow hasta que el registro es encontrado.El mtodo de bsqueda lineal tiende a causar colisiones a futuros registros que tengan que serubicados en la pgina en la que ubico el registro sinnimo y si se mantienen el nmero de

colisiones al mnimo, es ms rpido buscar en una rea de overflow pequea que buscar en elrea primaria.La eficiencia de ambos mtodos puede ser mejorada a travs del uso de una cadena de

apuntadores (cadena de sinnimos o colisiones). Para esto cada pgina tiene un campo, llamadoapuntador, que sirve como indicador de que una colisin ha ocurrido en esa pgina. En estecampo se almacena el nmero de pgina en donde se encuentra almacenado el sinnimo. Deeste forma no es necesario hacer una bsqueda secuencial en el rea primaria para el mtodode bsqueda lineal o no es necesario buscar en todas las pginas del rea de overflow para elmtodo de reas de overflow.

En general, el rendimiento de una tcnica hashing especfica en una aplicacin dadadepende de ciertos factores tales como:

- Las caractersticas de la clave primaria usada como base de la funcin hashing.- La funcin hashing seleccionada

- La tcnica de manejo de colisiones seleccionada.- El tamao de la pgina. Las pginas grandes tienden a disminuir el nmero decolisiones.

- La densidad de ocupacin de la pgina. Si es muy alta (>80%) aumenta la probabilidadde colisiones. Si es muy baja (< 40%) se desperdicia espacio en disco.

1.1.3.3. Organizacin IndexadaLa organizacin indexada provee acceso eficiente a los registros de ambas formas, tantosecuencialmente como aleatoriamente; los registros lgicos son almacenados en un archivollamado archivo de datos y existe un archivo separado llamado archivo ndice que contieneregistros formados por el valor clave y la direccin del registro lgico que tiene ese valor de


10/21

10

clave. Se dice entonces que el archivo de datos est indexado por el archivo ndice. MuchosS.O. restringen el tipo de archivos ndices permitidos a aquellos definidos sobre valores nicos oclaves primarias, estos son llamados ndices primarios, sin embargo tambin pueden permitirdefinir ndices sobre una clave secundaria no nica. Estos son llamados ndices secundarios. Engeneral existen dos tipos de organizacin indexada posibles: Organizacin aleatoria indexada yorganizacin secuencial indexada.

1.1.3.3.1. Organizacin aleatoria indexadaEn este tipo de organizacin los registros en el archivo de datos estn almacenados demanera aleatoria y en el archivo ndice existe una entrada por cada registro lgico existente en elarchivo de datos (este tipo de archivo ndice se conoce como archivo denso) almacenados segnel orden de la clave primaria. Un ejemplo de este tipo de organizacin es mostrado en lasiguiente figura:

Los nueve registros del archivo empleado estn almacenados en el archivo de datos y elarchivo ndice tiene una entrada por cada una de las entradas en el archivo de datos. Cadaregistro en el archivo ndice contiene un NUM-EMP, que es la clave primaria del registroEmpleado, y un nmero de pgina, que indica donde est almacenado ese registro en el archivode datos.

El tener un archivo ndice implica requerimientos de espacio adicionales para poderalmacenar un registro. Por qu es necesario este overhead? Una razn es para permitir elacceso secuencial de los registros lgicos. Los registros lgicos en el archivo de datos no estn

almacenados segn el orden de la clave primaria, pero los registros del archivo ndice si lo estn.Entonces, al buscar los registros Empleado segn el orden del archivo ndice, se estnaccediendo los registros Empleado segn el orden de la clave primaria.

Un segundo beneficio de la organizacin indexada es que se pueden accederaleatoriamente los registros mucho ms rpido que sin usar el archivo ndice. Sin el archivondice se tendra que buscar directamente en el archivo de datos de manera secuencial elregistro deseado. Como los registros de este archivo son mucho ms grandes que los registrosdel archivo ndice, el hacer la bsqueda directa en el archivo de datos es mucho ms lento quehacerla en el archivo ndice. Adems, si una gran porcin del archivo ndice cabe en memoriaprincipal, la bsqueda secuencial se puede hacer en memoria principal y se requerirn unnmero mnimo de accesos a disco (en caso de que el archivo ndice no quepa completo enmemoria principal) para tal fin y se pueden usar mtodos de bsqueda ms rpidos sobre elarchivo ndice como la bsqueda binaria, para as reducir an ms el tiempo de bsqueda de un

registro especfico.Una ventaja adicional de este tipo de organizacin es que no se necesita acceder elarchivo de datos para saber si existe un registro con una clave primaria dada ya que esto lopodemos saber buscando en el ndice nicamente.

Una ventaja final de usar un archivo ndice de este tipo para realizar acceso aleatorio seobtiene cuando los archivos de datos contienen una gran cantidad de registros lgicos. Elarchivo ndice crece a la misma rata que la del archivo de datos porque existe una entrada en elarchivo ndice por cada entrada en el archivo de datos. El tiempo de bsqueda se incrementapero no es comparable con el tiempo de bsqueda que se empleara si esta actividad serealizar directamente sobre el archivo de datos. Adicionalmente, una vez que el archivo ndice

Archivo ndiceClave Direccin (Nro. De Pg.)124 2256 1311 1315 3405 1

412 3522 3567 2611 2

Archivo de DatosRegistro PginaEmpleado 405Empleado 256Empleado 311

Pgina 1

Empleado 611Empleado 124

Empleado 567

Pgina 2

Empleado 522Empleado 412Empleado 315

Pgina 3


11/21

11

ha crecido hasta un punto tal que no cabe completo en memoria principal, se puede tratar comose trata al archivo de datos y se crea un ndice al ndice tenindose as un archivo ndice convarios niveles de indexacin o ndice multinivel. Un ejemplo de este caso se muestra en lasiguiente figura:

El nivel 2 (ndice de bajo nivel) es igual al ndice original y el nivel 1 (ndice de alto nivel)es el nuevo ndice del ndice original. Los valores en el nivel 2 del ndice estn en secuencia y enel nivel 1 del ndice se tiene un registro para cada pgina del nivel 2 que contiene el mayor valor

de clave almacenado en esa pgina y la pgina correspondiente (ndice no denso o sparse). Elndice de alto nivel se puede tener en memoria principal, buscar en l, devolver la pgina exactadel ndice de bajo nivel donde se encuentra almacenado ese registro, buscar en memoriaprincipal el registro exacto en esa pgina de bajo nivel y finalmente devolver la pgina delarchivo de datos que contiene el registro que se quiere acceder aleatoriamente. Solo dosaccesos son necesarios para obtener de manera aleatoria un registro lgico. A medida quecrezca el archivo de datos se pueden ir expandiendo los niveles de ndices tanto como seanecesario.

Una ventaja adicional de este tipo de organizacin es que los registros en el archivo dedatos no necesitan estar en secuencia. Esto simplifica en gran manera el hecho de insertar yborrar registros en el archivo de datos, ya que no se tienen que hacer reorganizaciones fsicas.Sin embargo, la programacin para realizar el manejo de ndices puede ser complicada.Afortunadamente la organizacin indexada es un estndar y el manejo de ndices es

responsabilidad de las rutinas de acceso del S.O. o del SMBD.1.1.3.3.2. Organizacin indexada secuencialEn este tipo de organizacin los registros en el archivo de datos estn almacenados

segn la secuencia de la clave primaria. Siendo as a nivel del archivo ndice slo se necesitauna entrada o un registro por cada pgina del archivo de datos (ndice no denso)correspondiente al registro que tenga el mayor o el menor valor de clave primaria en la pginadel archivo de datos. Un ejemplo de este caso se muestra en la siguiente figura:

Nivel 1 del ndiceClave Direccin315 7567 8611 9

Nivel 2 del ndiceClave Direccin Pgina

124256311315

2113

Pgina 7

405412522567

1332

Pgina 8

611 2 Pgina 9

Archivo de DatosRegistro Pgina


Pgina 1


Pgina 2


Pgina 3

Archivo ndiceClave Direccin311 1412 2611 3


Pgina 1


Pgina 2


Pgina 3


12/21

12

El tener menos registros ndices implica tener archivos ndices de menor tamao,tiempos de bsqueda ms rpidos y pocos niveles de ndices a medida que crece el archivo dedatos. Por otro lado, no se puede determinar la existencia de un registro con una claveespecfica buscando slo en el archivo ndice ya que no es denso y para esto se debe acceder elarchivo de datos, lo que implica un acceso a disco adicional en comparacin con la organizacinaleatoria indexada, pero al final, como existen menos pginas de ndices que en la organizacinaleatoria indexada y por esto se requieren menos accesos a disco, la organizacin secuencialindexada resulta ms eficiente.

Con una organizacin indexada secuencial, si se quiere hacer un recorrido secuencial delos registros por su clave primaria no es necesario usar el ndice, ya que recorriendo el archivode datos de forma secuencial se obtienen los registros en el orden deseado. El ndice se usacuando se quiere realizar un acceso aleatorio.

Si la organizacin indexada secuencial consume menos espacio y tiene un mejorrendimiento que la organizacin indexada aleatoria Por qu se usa esta ltima?. Laorganizacin aleatoria indexada permite ordenar el archivo de datos por los campos que seannecesarios, es decir, se pueden definir muchos ndices secundarios por diferentes claves usandoesta organizacin. La organizacin indexada secuencial slo permite una nica secuencia,porque los registros en el archivo de datos slo pueden estar almacenados segn una solasecuencia (generalmente la de la clave primaria). As que todos los archivos secundarios tienenuna organizacin aleatoria indexada o alguna otra estructura que permita relacionar el valor de

una clave secundaria a los registros que contienen ese valor en el archivo de datos.1.1.3.3.2.1. Manejador de archivos de datos con una

organizacin indexada secuencialQu sucede cuando se quiere insertar un nuevo registro en un archivo de datos con

una organizacin indexada secuencial cuando la pgina a utilizar ya est llena?Un mtodo para manejar inserciones en archivos bajo una organizacin indexada

secuencial es el uso de un rea de overflow y una cadena de apuntadores. Si la pgina endonde se va a insertar el registro est llena, el registro se coloca en una pgina del rea deoverflow y se establece una conexin con el rea de overflow mediante un apuntador para poderubicarlo al momento de accederlo. En la siguiente figura se muestra un ejemplo:

Archivo ndice

Clave Direccin311 1412 2611 3

Archivo de DatosRegistro Pgina Apuntador

de Locali-zacinOverflow

Valor


Pgina 1


Pgina 2 4 2 410


Pgina 3

Area de OverflowRegistro Pgina Apuntador

de Locali-zacinOverflow

Valor

Empleado 412Empleado 410 Pgina 4 4 1 412


13/21

13

Como se ve en el ejemplo anterior se tiene un rea de overflow separada y dos nuevoscampos en cada pgina de datos han sido aadidos. Uno de los nuevos campos es unapuntador de localizacin de overflow el cual enlaza la pgina del archivo de datos al prximoregistro lgico en secuencia localizado en el rea de overflow. Este consiste de un nmero depgina y un nmero de registro relativo dentro del rea de overflow. El otro nuevo camporepresenta el valor de la clave primaria que posee el registro apuntado en el rea de overflow.Los registros en el rea de overflow son almacenados segn la secuencia de llegada no segn lasecuencia de la clave y por esto se requiere la cadena de apuntadores para el rea de overflow.

Como es de suponerse, el rendimiento se degrada cada vez ms cuando se aadenms registros al rea de overflow y comienza a crecer la cadena de apuntadores. Debido a esto,los archivos indexados secuenciales tienen que ser reorganizados peridicamente para quetodos los registros sean colocados en el archivo de datos en la secuencia lgica correcta y eneste momento se reconstruye el archivo ndice.

El mtodo de acceso secuencial indexado de IBM (ISAM) usa la tcnica de rea deoverflow sobre una base ms complicada, la cual toma en cuenta las caractersticas fsicas deldisco.

Un segundo mtodo para manejar las inserciones bajo una organizacin secuencialindexada es el uso de la tcnica de divisin de bloques. Con esta tcnica cuando se va a aadirun registro en una pgina que no tiene ms espacio disponible se usa la siguiente pginadisponible y los registros contenidos en la pgina llena ms el nuevo registro son divididos entre

las dos pginas. Por ejemplo, dado el siguiente archivo de datos:

Se quiere insertar el registro del Empleado 350. Este registro debera ir en la pgina 2, perocomo no hay ms espacio disponible en esa pgina se usa la pgina 4, que es la prximadisponible, y se divide el contenido de la pgina 2 entre la pgina2 y la pgina 4 quedando de lasiguiente manera:

El archivo ndice tiene que cambiar para reflejar la pgina aadida en la secuenciaapropiada y ste puede ser usado para acceder en forma secuencial el contenido del archivo dedatos ya que ahora, segn esta tcnica, los registros lgicos no estn en secuencia por nmero

Archivo ndiceClave Direccin311 1412 2611 3


Pgina 1


Pgina 2


Pgina 3

Archivo de ndiceClave Direccin311 1350 2412 4611 3


Pgina 1

Empleado 315Empleado 350 Pgina 2


Pgina 3

Empleado 405Empleado 412 Pgina 4


14/21

14

de pgina. Para poder recorrer el archivo de datos directamente cuando se quiere hacer unbarrido secuencial del archivo de datos se puede aadir un campo adicional a cada pgina dedatos que sirva como apuntador a la prxima pgina segn la secuencia lgica a seguir segn laclave primaria.

El mtodo de acceso de almacenamiento virtual de IBM (VSAM) usa esta tcnica paramanejar la organizacin secuencial indexada.

1.1.4. Estructuras de DatosLas estructuras de archivos discutidas anteriormente son suficientes para soportar los

ambientes de procesamiento de archivos pero se quedan cortos para soportar totalmenteambientes completos de SMBD los cuales manejan una gran cantidad de archivos y relacionesentre ellos. Para esto necesitan estructuras de datos ms sofisticadas entre las cuales seencuentran:

1.1.4.1. Listas InvertidasAnteriormente se dijo que una estructura de archivo que puede ser usada para

representar claves secundarias es una organizacin aleatoria indexada y estos archivos sonllamados ndices secundarios. Cuando se usa un ndice sobre un campo secundario se dice quese tiene una lista invertida o archivo invertido ya que se ha invertido el rol normal de un campoen el registro porque se encuentra el registro basndose en el valor del campo en vez de

encontrar el valor del campo despus de haber localizado al registro.En el caso en que se definan listas invertidas sobre campos que pueden tener el mismovalor para diferentes registros en el archivo de datos la estructura de la lista consiste de unprimer nivel de ndice que tiene una entrada por cada valor diferente del campo de ndiceexistente en el archivo de datos. Para cada una de estas entradas se tienen un apuntador alnivel 2 del ndice donde comienza la lista de nmeros de registros relativos con ese valor decampo ndice. Por ejemplo, para el siguiente archivo de datos se quiere construir una listainvertida por el campo PCCOST, entonces se tiene lo siguiente:

La estructura de lista invertida sobre el campo COSTO sera:

Archivo EmpleadoNUMEMP COSTO # relativo de registro124256

311

45000

2175

12

3315405412

217500

456

522567611

045001429

789

Nivel 1 del ndiceCampondice

Localizacin

0 11429 52175 64500 8

Nivel 2 del ndice# relativo de registro2

56793418


15/21

15

Si se tienen listas invertidas para todos los campos del archivo se dice que se tiene unarchivo invertido completamente. Si slo algunos campos tienen asociados listas invertidas sedice entonces que se tiene un archivo invertido parcialmente.

Las listas invertidas pueden usarse para responder ciertas consultas sin tener queacceder el archivo de datos, como por ejemplo:

- Cuntos empleados tienen costos 0?- Cuntos registros tienen costos mayores que 5000? ...

Con la utilizacin de listas invertidas la recuperacin de registros es muy eficiente peroentre las desventajas que tienen se cuenta el espacio requerido para almacenar los ndicesmultinivel y el tiempo extra requerido para actualizar las listas invertidas por lo que las listasinvertidas son creadas slo para los campos sobre los cuales se necesita tener un accesorpido.

El SMBD ADABAS utiliza este esquema de indexacin.1.1.4.2. Listas Enlazadas

Una lista enlazada consiste de un campo aadido al final de cada registro lgico en el archivo dedatos que tiene un valor de localizacin del prximo registro lgico en la secuencia. Esta esotra estructura usada para representar claves secundarias. Por ejemplo, la lista enlazadaasociada al archivo anterior sobre el campo COSTO sera de la siguiente forma:Head Pointer COSTO: 2

Externo a los registros del archivo EMPLEADO se tiene un campo adicional que sirve

como ancla o apuntador al comienzo de la lista que apunta al primer registro de la secuenciasegn el campo COSTO. En el ejemplo anterior el ltimo registro de la cadena apunta a NILL,pero otro enfoque es que el ltimo registro apunte al primer registro de la cadena. Esterefinamiento se llama lista enlazada circular o anillo.

Se pueden tener tantas listas enlazadas como sean necesarias y cada una de ellasrequiere espacio adicional y tiempo extra para actualizarlas.

Una lista enlazada puede ser usada como una alternativa a las listas invertidas pararepresentar claves secundarias a travs de una estructura llamada Multilista. Esta es un ndicesimilar al nivel 1 de ndices de la estructura de lista invertida. El ndice multilista tienen un registropor cada valor diferente de la clave secundaria y est ordenado por estos valores pero en vez deapuntar al nivel 2 de ndices, cada registro multilista tiene un apuntador ancla que comienza lacadena de registros que tienen un valor de la clave secundaria particular. Por ejemplo, unamultilista sobre el campo COSTO para el archivo EMPLEADO quedara de la siguiente manera:

Archivo EmpleadoNUMEMP COSTO Apuntador sobre COSTO # relativo de registro124256311

450002175

854

123

315405412

217500

167

456

522567611

045001429

9-3

789


16/21

16

Si se tienen mltiples claves secundarias se pueden usar estructuras multilistas paracada una. Comparando las multilistas con las listas invertidas, los ndices multilistas son msfciles de crear y mantener ya que el nivel 2 de ndices de las listas invertidas tiene un nmerovariable de entradas. Por otro lado, los apuntadores de las multilistas deben ser mantenidosmientras que con las listas invertidas no hay apuntadores que mantener, pero el mantenimiento anivel de multilistas en el archivo de datos no implica una reorganizacin fsica a nivel de pginas

sino un mantenimiento a nivel de apuntadores, por los que son ms fciles de mantener que laslistas invertidas. Una de las principales desventajas de las multilistas con respecto a las listasinvertidas es que es ms difcil y toma ms tiempo responder ciertas consultas que se puedenhacer con las listas invertidas sin tener que acceder el archivo de datos.

1.1.4.3. rboles BLos rboles B [6] son una de las estructuras de datos ms ampliamente usadas en el

procesamiento de base de datos hoy en da. Se usan principalmente para el almacenamiento ymanipulacin de ndices. El rbol B es una forma especial de una estructura general de rbol.

Un rbol est formado por nodos conectados por arcos. En el tope del rbol existe unnico nodo raz y sus descendientes lo siguen. Un nodo que no sea la raz junto con todos susdescendientes comprenden un subrbol del rbol original. Cada nodo tiene exactamente unpadre excepto el nodo raz que no tiene padre. Los ancestros de un nodo son todos los nodos,incluyendo la raz, que conectan al nodo a la raz.

Un nodo hoja no tiene hijos. Un nodo gemelo es un nodo relacionado con otros nodospor el hecho de que tienen el mismo padre. La raz se define como el nivel 0 del rbol, los hijosde la raz son el nivel 1 y as sucesivamente. La altura del rbol es el mximo nmero de nivelesen el rbol.

Un rbol balanceado es aquel en donde la profundidad de cada subrbol de nodosdifiere a lo ms en uno. El orden o grado de un rbol es el nmero mximo de hijos que puedetener un nodo del rbol.

Cuando se usa este tipo de estructura de datos para los archivos ndices, el objetivo esminimizar los accesos a disco cuando se quiere hacer un acceso aleatorio a un registroespecfico. Si se usa una estructura de rbol y cada nodo es una pgina de disco lo que sequiere alcanzar para lograr el objetivo anterior es un rbol balanceado con la menor cantidad deniveles que sean posibles. Una estructura de rbol que satisface bien esta condicin es el rbolB.

En el ambiente de base de datos un rbol B es un ndice multinivel donde cada unode sus nodos es una pgina ndice y tienen el siguiente formato general:Apun 1 Clave 1 Apun 2 Clave 2 Apun 3.....Cada apuntador apunta a la pgina ndice en el nivel inferior siguiente, cada clave es el

valor de la clave de un registro lgico en el archivo de datos. Cada valor de clave (combinacinde valor clave y direccin) que exista en el archivo de datos va a aparecer solo una vez en laestructura de rbol. El nmero mximo de apuntadores en la pgina es el orden del rbol B, deaqu que el nmero mximo de apuntadores determine el nmero mximo de hijos que puedetener el nodo. En cada nodo del rbol B los valores claves que contienen estn en secuenciaUn rbol B de orden n tiene las siguientes propiedades:

Archivo EmpleadoNUMEMP COSTO Apuntador sobre COSTO # relativo de registro124256311

450002175

854

123

315405412

217500

-67

456

522567611

045001429

---

789

ndice Multilista sobre elcampo COSTOClave # relativo de

reg.

0 21429 92175 34500 1


17/21

17

La raz es una hoja o tiene al menos dos hijos. Cada nodo, excepto la raz y las hojas, tienen entre n/2 y n hijos. Todas las hojas aparecen al mismo nivel. Un nodo no hoja con k hijos tiene k-1 claves.Por ejemplo, vase el siguiente rbol de orden 5:

Las ventajas de los rboles B son:- Permiten un rpido acceso aleatorio a los registros de datos, el cual implica en el peor de

los casos, tantos accesos a disco como niveles tenga el rbol B.- Las inserciones y eliminaciones son razonablemente eficientes.- La utilizacin del disco es aceptable ya que por cada nodo se va a tener ocupado

mnimo el 50 % de su capacidad.

- El archivo de datos es mantenido en secuencia por la clave primaria por lo que el accesosecuencial es posible y eficiente.

1.1.4.4. rboles B+El rbol B+ [7] es una variacin del rbol B. La diferencia esta en que en un rbol B+,

los apuntadores de datos se almacenan slo en los nodos hojas del rbol, por lo cual laestructura de los nodos hoja difiere de la de los nodos internos.

Los nodos hoja del rbol B+ suelen estar enlazados para ofrecer un acceso ordenado alos registros segn el campo de bsqueda. Los nodos internos del rbol B+ corresponden a losdems niveles del ndice. Algunos valores del campo de bsqueda de los nodos hoja se repitenen los nodos internos del rbol B+ con el fin de guiar la bsqueda.

La estructura de los nodos internos de un rbol B+ de orden p se define como sigue:1. Todo nodo interno tiene la forma:

donde q


18/21

18

6. Un nodo interno con q apuntadores, donde q


19/21

19

Una instancia de base de datos (tambin conocida como servidor) es un conjunto deestructuras de memoria y procesos de segundo plano que acceden a un conjunto de archivos dela base de datos.

Las estructuras de datos de la base de datos de Oracle pueden dividirse en 3 categoras:1. Interna de la Base de Datos.2. Interna a la rea de Memoria.3. Los externos a la Base de Datos.Entre los internos a la base de datos podemos nombrar: tablas, columnas, restricciones,

tipos de datos, ndices, agrupaciones, agrupaciones hash, procedimientos, funciones, vistas, etc.Un ndice es una estructura de base de datos que utiliza el servidor para localizar

rpidamente una fila de una tabla. Existen 3 tipos de ndices: ndice de agrupacin. ndice de tabla. ndice de mapa de bits.Los elementos de los ndices de tabla y de agrupacin de una base de datos Oracle se

almacena mediante un mecanismo de rbol binario. Las operaciones de E/S necesarias paralocalizar un valor clave son mnimas y, una vez encontrado, se utiliza el identificador de fila paraacceder directamente a una fila.

Las agrupaciones hash utilizan funciones hash sobre la clave de agrupacin de fila paradeterminar la ubicacin fsica en la que debe almacenarse una fila.

Los internos a la rea de memoria constan de los siguientes elementos: rea Global del Sistema (SGA). Cach del buffer del bloque de datos. Cache del diccionario. Buffer del registro de rehacer. rea de SQL compartida. rea de contexto. rea global del sistema (PGA).Los externos a la Base de Datos constan de los siguientes elementos: Los registros de rehacer. Los archivos de control. Los archivos de traza.

Los archivos de alertas.En Oracle versin 8 el manejo de memoria se hace por rboles Balanceados, las tablasorganizadas mediante ndices almacenan las columnas de una tabla en los nodos de hoja de laestructura de ndice B-treede Oracle8. De esta manera se reducen los requisitos globales dealmacenamiento cuando la mayora de las columnas se indexan almacenndolas una sola vez,no en un ndice y en una tabla aparte. Las tablas organizadas mediante ndices tambin reducenel tiempo de acceso al recuperar todas las columnas desde una ubicacin, en lugar de hacerlodesde dos. El rendimiento de PL/SQL aumenta, al igual que el rendimiento al realizar llamadas aSQL desde PL/SQL, y viceversa.

Para facilitar la administracin, mejorar la disponibilidad de los datos crticos y aumentarel rendimiento de consultas y DML, Oracle8 permite dividir las tablas y los ndices en particiones,o partes ms pequeas, en funcin de un rango de claves. La divisin en particiones es unaestrategia del tipo divide y vencers que mejora la administracin y el rendimiento en sistemasde data warehouse y de procesamiento de transacciones on line. Puesto que las particionesfuncionan independientemente las unas de las otras, los datos contenidos en una tabla divididade esta manera estn disponibles aunque una o ms particiones no estn disponibles. Lasparticiones tambin facilitan la gestin de tablas grandes al desglosar las tareas administrativasen otras ms pequeas, que a su vez pueden realizarse en paralelo. Por ltimo, la divisin deuna tabla o un ndice en particiones puede mejorar el rendimiento de las operaciones realizadascon los datos, al eliminar las particiones no utilizadas del plan de ejecucin de la operacin.


20/21

20


21/21

7. REFERENCIAS BIBLIOGRAFICAS

[1] Date C.J. An Introduction to Database Systems. 7th edition, Addison-Wesley, 2000.[2] Gio Wiederhold. Database Design. 2a edicin. Nueva York, N.Y.; McGraw-Hill (1983).

[3] T.H. Merret. Relational Information Systems. Reston, Va: Reston Publishing Company Inc.(1984).[4] Michael Stonebraker. Operating System Support for Database Management. CACM 24, nm7. Julio 1981.[5] Pratt P. and Adamski J. Database Systems Management and Design. Third Edition. Boyd &Fraser publishing company. 1994.[6] R. Bayer y C. McCreight. Organization and maintenance of Large Ordered Indexes. ActaInformtica 1, nm 3 (1972).[7] Elmasri / Navathe. Sistemas de Bases de Datos. Conceptos fundamentales. AddisonWesley. Segunda Edicin 1997.[8] szu, Tamar and Valduriez, P. Principles of Distributed Database Systems. 2nd Ed. PrenticeHall, 1998.[9] Korth H., Silberschatz A, Sudarshan, S. Fundamentos de bases de datos. Tercera edicin.McGraw-Hill. 1998. ISBN 84-481-2021-3[10] Leon-Hong B., Plagman B., Data Dictionary Directory Systems. J. Wiley, 1982.[11] Fernandez E., Summers R., Wood C. Database Security and Integrity. Addison Wesley,1981.[12] Loney, Kevin. ORACLE 8. Manual del administrador. McGrawHill. Primera Edicin 2000.

FUENTES ELECTRNICAS

[13] Sybase. Fast Track to Adaptive Server Enterprise 11.9.2. 2001.URL: www.sybase.com.
http://www.sybase.com./http://www.sybase.com./http://www.sybase.com./

Manejo_de_Memoria y Organizacion de Archivos

Documents

Transcript of Manejo_de_Memoria y Organizacion de Archivos