Programación 3: estructuras de archivos

Programación 3

Estructuras de archivos

Angel Vázquez-Patiñ[email protected]

Departamento de Ciencias de la ComputaciónUniversidad de Cuenca

1 de noviembre de 2016

mailto:[email protected]

01/11/16 Angel Vázquez-Patiño 2/102

Objetivos

1.Conocer las definiciones básicas de archivos y sus componentes

2.Entender las diferencias entre usar estructuras de datos y estructuras de archivos

3.Conocer los tipos de organización de los archivos

4.Conocer las operaciones básicas en archivos

5.Implementar algoritmos de ordenamiento externo


Contenido

Introducción


Tipos de organización

Métodos de acceso

Operaciones básicas en archivos

Operaciones básicas en registros


Contenido

Ordenamientos externos

Intercalación directa

Intercalación natural

Intercalación balanceada

Intercalación polifase

Intercalación de cascada


Introducción


IntroducciónArchivo● Colección de información (datos relacionados entre sí)

almacenada como una unidad en alguna parte del computador

● Pueden utilizarse en un mismo tratamiento; como soporte material de estas informaciones

● Secuencia de registros con igual estructura● Para poder acceder a determinada información en cualquier

momento, se necesitará que ella esté depositada en soportes físicos

● Sin energía la información permanece allí. La forma de guardar los datos en estos dispositivos auxiliares es mediante las estructuras llamadas archivos


IntroducciónEstructuras de datos vs Estructuras de archivos● Estructuras de datos: RAM (capacidad limitada)● Se necesita almacenamiento secundario y no se tiene

acceso aleatorio● Costo de recuperación muy diferentes● Un enfoque para las operaciones que se oriente al

diseño de estructuras de archivos reconocería esto. Así minimizaría el número de acceso al disco y además intentaría adecuar el patrón de acceso de modo que, cuando se necesite otra parte de la información, ésta se localice donde el acceso resulte relativamente barato


Introducción

Estructuras de datos vs Estructuras de archivos● Justificación: existencia de volúmenes de datos

amplios, tamaño de memoria limitado● Objetivo: minimizar el número de accesos a los

archivos● Un requerimiento muy común de un sistema de

información es el ordenamiento de archivos


Introducción

Características del almacenamiento en memoria secundaria● Razones

– Proporciona capacidad de almacenamiento mayor a la memoria primaria, y a un costo mucho menor

– Almacenamiento de información no volátil; después de cerrar la aplicación o apagar el sistema

● Estas características son básicas en multitud de aplicaciones, principalmente las relacionadas con la gestión y el procesamiento de información


Relación de velocidad entre memorias primaria y secundaria


Introducción

Características del almacenamiento en memoria secundaria● Características

– Más lento que el acceso a RAM

– En memoria secundaria la lectura/escritura se realiza en bloques. Entre 512 y 4096 bytes

– t acceso = t posicionamiento cabeza + t de lectura/escritura de bloque. I.e., leer varios bloques en posiciones consecutivas es más eficiente que cuando los bloques están en distintas posiciones


Pista

Acceso en memoria secundaria


Introducción

Características del almacenamiento en memoria secundaria● Cuando se trabaja con grandes volúmenes de

información en memoria secundaria, es fundamental minimizar el número de accesos para obtener un tiempo de acceso razonable

● Las estructuras de archivos (análogo a las estructuras de datos) son un conjunto de herramientas que permiten un acceso eficiente a la información almacenada en archivos


Introducción

Características del almacenamiento en memoria secundaria● Estructuras de archivos

– Métodos específicos de representación de la información en un archivo

– Operaciones para acceder a la información: lectura, escritura, modificación, búsqueda, ordenación, etc.

● Las estructuras de archivos son la base de los modernos sistemas de base de datos



Objetivos● Minimizar el número de accesos● Mantener agrupada la información relacionada

(para evitar accesos adicionales)● Almacenamiento permanente● Manipulación de un gran número de datos● Independencia de los programas● Residentes en soportes externos



Registros y campos● Un archivo es como un papel en blanco. Existen

casi tantos formatos como aplicaciones● Los archivos suelen estructurarse en campos y

registros● La unidad básica de información es el campo:

contiene un dato de un tipo sencillo (e.g., una fecha, edad, nombre)

● Una lista de diferentes campos relacionados constituye un registro (e.g., datos de una persona)



Registros y campos

Número Apellido 1 Apellido 2 Nombre 1 Nombre 2

1 AREVALO ARMIJOS JAIME PAUL



Registros y campos● Un archivo es un colección de registros,

normalmente del mismo tipo● Normalmente las operaciones de entrada/salida se

realizan con registros completos● En todo momento en memoria sólo se mantiene uno

o a lo sumo unos pocos registros, con los que se realizan las operaciones necesarias

● La codificación de la información en los distintos campos y registros se realiza utilizando dos formatos básicos: formato texto y formato binario



Registros y camposNúmero Apellido 1 Apellido 2 Nombre 1 Nombre 2

1 AREVALO ARMIJOS JAIME PAUL

2 ARIAS OCHOA JEFFERSON Hernán

3 Arteaga García Emily Judith

4 BARZALLO TORRES ERICK Andrés

5 BUÑAY MONCAYO DAVID EFRAIN

6 Collaguazo MALLA CHRISTIAN XAVIER

7 GOMEZ JARAMILLO DANIEL EDUARDO

8 LANDIVAR ORDOÑEZ TANIA MARICELA

9 MACIAS NARVAEZ MIGUEL ANGEL

10 PEÑARANDA SARMIENTO JONNATHAN ESTEBAN

11 QUIZHPI PERALTA ESTUARDO MATEO

12 Remache FARINANGO Paola MARIBEL

13 SALINAS BUESTAN CHRISTIAN PAUL

14 Sigua Loja EDISSON FERNANDO



Registros y campos● Formato texto

– La codificación de los caracteres puede realizarse usando distintas codificaciones: ASCII, UTF8, UTF16, etc.

– Un formato de representación estándar el archivo es legible por otras aplicaciones y plataformas

– Puede ser editado fácilmente con un editor de texto



Registros y campos● Formato binario

– Más compactos que los basados en texto

– Lectura/escritura más rápida

– Generalmente menos transportables y más específicos de la plataformas/entorno de programación

– La forma más sencilla de crear un archivo codificado consiste en pasar directamente la imagen de los tipos empleados en memoria a disco



Registros y campos● Formato binario



Tipos de organización

Determina la forma en la que los registros se colocan físicamente en el disco y cómo se puede acceder a ellos● Organización primaria

– Archivo no ordenado (montón), archivo ordenado (secuencial), archivo mixto, archivo disperso (direccionamiento directo o hashing), árboles B

● Organización secundaria (indexada)



Tipos de organización● Organización primaria● Organización secundaria (indexada)

– Índice ordenado de un nivel

– Índice multinivel



Organización secuencial● Sucesión de registros almacenados en forma

consecutiva sobre un soporte externo● Los registros están ubicados físicamente en una

secuencia usualmente fijada por uno o más campos de control contenidos dentro de cada registro, en forma ascendente o descendente

● Tiene un último registro en particular, contiene una marca (en general un asterisco) de fin de archivo que se detecta con funciones tipo EOF (end of file)



Organización secuencial



Organización secuencial● Archivos de texto

– Casos particulares de archivos con organización secuencial

– Constan de una serie de líneas, cada una se encuentra constituida por una serie de caracteres, separadas por una marca de fin de línea que es posible detectar



Organización directa● Los datos se colocan y se acceden

aleatoriamente mediante su posición,es decir,indicando el lugar relativo que ocupan dentro del conjunto de posiciones posibles

● En esta organización se pueden leer y escribir registros, en cualquier orden y en cualquier lugar



Organización directa● Ventaja

– Rapidez de acceso a un registro cualquiera

● Desventajas– Establecer la relación entre la posición que ocupa

un registro y su contenido

– Puede desaprovecharse parte del espacio destinado al archivo



Organización indexada● Un archivo con esta organización consta de

tres áreas:1) Área de índices

2) Área primaria

3) Área de excedentes (overflow)



Organización indexada● Ventajas

– Rápido acceso, y, además, el sistema se encarga de relacionar la posición de cada registro con su contenido por medio del área de índices

– Gestiona las áreas de índices y excedentes

● Desventajas– Necesidad de espacio adicional para el área de índices

– El desaprovechamiento de espacio que resulta al quedar huecos intermedios libres después de sucesivas actualizaciones



Organización primaria



Archivo no ordenado (montículo o montón)● Registros almacenados al final del archivo, en

orden de inserción● Inserción muy eficiente● Búsqueda lineal● Eliminación física o por marca

– Reorganización para recuperar espacio desocupado

– O aprovechar huecos para nuevos registros



Archivo no ordenado (montículo o montón)● Modificación de un registro

– Si longitud variable, puede provocar eliminación + inserción

● Lectura ordenada supone creación de una copia ordenada del archivo– Suele utilizarse una técnica de ordenación externa



Archivo ordenado (secuencial)● Registros almacenados de forma ordenada

según valores de cierto campo– Campo de ordenación

– Si el campo es clave, se le llama clave de ordenación

● Ventajas respecto a los archivos no ordenados– Lectura ordenada muy eficiente si el orden es el

de los valores del campo de ordenación: lectura secuencial



Archivo ordenado (secuencial)● Ventajas respecto a los archivos no ordenados

– Buscar siguiente (en el orden del campo de ordenación) no suele necesitar otro acceso a bloque

– Buscar un registro dado su valor del campo de ordenación es rápido: búsqueda binaria

● Pero si la Lectura ordenada o Buscar no están basados en el campo de ordenación, estas ventajas “desaparecen”



Archivo ordenado (secuencial)● Inserción

– Supone encontrar posición correcta para el registro

– Abrirle espacio mediante desplazamiento de registros (¡costoso!)

● Eliminación física o por marca– Con problemas de eficiencia similares a la inserción



Archivo ordenado (secuencial)● Para aumentar la eficiencia de la inserción

– Dejar espacio libre en cada bloque para nuevos registros

– Archivo de desbordamiento auxiliar, no ordenado, que periódicamente se ordena y fusiona con el archivo principal

– Buscar se complica: binaria en principal + lineal en auxiliar



Archivo ordenado (secuencial)● Modificación

– Si la condición de búsqueda se basa en el campo de ordenación, usar búsqueda binaria, sino, búsqueda lineal

– Si el campo modificado es el de ordenación, el nuevo valor puede provocar su cambio de ubicación: eliminación + inserción



Archivo ordenado (secuencial)● Archivo secuencial encadenado

– Registros ordenados de forma lógica (no física)

– Uso de punteros

– Mayor flexibilidad

● Estructuras de datos para implementar este tipo de archivos– Listas lineales

– Listas múltiples

– Listas circulares

– Árboles binarios de búsqueda


¿Qué colección usar?



Archivo mixto● Almacena registros de diferente tipo● Los registros provienen de distintas tablas

– Están relacionadas mediante una o varias columnas● Clave externa y clave candidata

– Las operaciones más frecuentes son las consultas y no es habitual modificar las columnas comunes

– Solicitudes frecuentes de filas relacionadas de ambas tablas

● Operaciones que implican la reunión (JOIN) de tablas



Archivo mixto● En el archivo …

– Los registros relacionados están físicamente adyacentes

– Clave del fichero mixto: campos “comunes” de los registros

● Ventajas del uso de archivos mixtos– Mayor eficiencia de las operaciones con JOIN entre

tablas

– Valores de la clave del fichero mixto almacenados sólo una vez



Archivo de direccionamiento calculado (hashing)● Permite acceso rápido a registros según una condición

de búsqueda de igualdad sobre un sólo campo– Campo de dispersión (columna de dispersión)

– Si es clave del fichero, se llama clave de dispersión

● Función de dispersión h– Se aplica el valor k del campo de dispersión de un registro

(fila)

– Y produce la dirección del bloque de disco en el que está el registro

● La localización del registro dentro del bloque se hace en el búfer


Tarea● Entienda la Codificación de Huffman● MOOC: https://goo.gl/dpekyS● Vídeo del MOOC, capítulo 4 (árboles):

https://youtu.be/W6WZT12ruGQ

https://goo.gl/dpekyS

https://youtu.be/W6WZT12ruGQ



Organización secundaria


Organización secundaria● Índices en base de datos, tema a ver en la

materia de base de datos (vea https://goo.gl/NzNNrz)

● Archivos Relativos

https://goo.gl/NzNNrz


Archivos relativos● Una forma efectiva de organizar un archivo

cuando existe la necesidad de acceder individual y directamente a registros

● En un archivo relativo, existe una relación predecible entre la key usada para identificar un registro y la localización del registro dentro del archivo

● Importante: orden lógico de registros no necesita tener ninguna relación con su secuencia física


Archivos relativos

Encontrar el N-ésimo registro● Cuando un archivo relativo se establece debe

definirse una relación que será utilizada para obtener de un valor de llave a una dirección física

● Esta relación, llamada R, es una función de mapeo, de los valores de llaves a direcciones del archivo


Archivos relativos


Archivos relativos● Cuando se debe grabar un registro en un

archivo relativo, la función de mapeo R se usa para traducir el valor de llave de registro a una dirección, la cual indica dónde deberá almacenarse el registro

● Cuando es necesario recuperar el registro con un valor de llave particular la función de R es aplicada a ese valor de la llave, traduciéndolo a una dirección donde se encuentra el registro


Archivos relativos● En contraste con los archivos secuencialmente

organizados, no es necesario acceder los registros del archivo relativo en orden serial. En lugar de esto, una ocurrencia particular de un registro se puede acceder directamente

● El carácter de acceso directo de los archivos de organización relativa no tendría ninguna ventaja si un archivo relativo fuese almacenado en medios de acceso serial, como la cinta magnética. Por lo tanto, los archivos relativos se almacenan en memoria principal o en dispositivos de almacenamiento de acceso directo


Métodos de acceso


Métodos de acceso● Manera de acceder a los registros de un archivo

para leer o grabar información

Fundamentalmente● Acceso secuencial

– Acceso a registros según secuencia física, en el orden es que están escritos. Para acceder al registro N hay que pasar previamente por los N-1 registros anteriores

● Acceso directo– Acceso a un registro sin tener que pasar por los

registros anteriores


Operaciones básicas sobre archivos



Creación● Definición del archivo

Apertura● Comunicación del archivo lógico con el físico

Cierre● Cerrar la conexión

Lectura● Acceder al archivo para ver su contenido



Fin de archivo● Detecta el final del archivo

Destrucción● Borra el archivo

Reorganización● Optimiza la estructura



Fusión● Reune varios archivos en uno solo

Actualización● Alta

– Adición de registros

● Baja– Eliminación lógica de registros

● Modificación– Alterna la información del contenido


Operaciones básicas sobre registros


Operaciones básicas sobre registrosEliminación de registros● Los registros eliminados se incluirán por

ejemplo en una lista de tal forma que siempre tendremos que almacenar la dirección del último registro eliminado. ¿Qué estructura de datos?

● Al eliminar un registro se marca como borrado con una marca especial en el primer campo y luego se escribirá en este campo la posición del que era último registro borrado


Operaciones básicas sobre registrosCreación de registros● Al insertar un nuevo registro habrá que

comprobar si se tiene algún espacio● Se comprueba si hay registros eliminados● Si los hay, se usa el espacio y se inserta el

nuevo registro en esa posición


Operaciones básicas sobre registrosObtención de datos● Localizar ciertos registros para examinar y

procesar su contenido

Actualización de registros● Consiste en cambiar el contenido de un

archivo, para hacer que refleje la situación actual. Estos cambios pueden incluir la adición, modificación y/o eliminación de registros


Ordenamiento e intercalación de archivos


Motivación, intercalación● Considere un archivo de 2000 registros que deben ordenarse y

suponga que la memoria primaria tiene capacidad sólo para 1000

● Una forma de enfocar el problema es aplicar un método de ordenamiento interno para ordenar separadamente dos subconjuntos del archivo: los registros del 1 al 1000 y del 1001 al 2000

● La salida de cada ordenamiento interno es un archivo que contiene la sublista ordenada. Después las dos sublistas ordenadas pueden ser intercaladas

● La intercalación incluye comparaciones por pares de la llave del siguiente registro y en cada una de las sublistas ordenadas. El registro que tenga la llave de menor valor (ordenamiento ascendente) es el registro por escribirse en el archivo intercalado


Motivación, intercalación


Fases de ordenamiento de registros

1) División● División del archivo en varias sublistas

2) Ordenamiento interno● Ordenamiento de registros de las sublistas mediante varias

ejecuciones distribuidas en dos o más dispositivos de almacenamiento. Se guarda como archivo secuencial

3) Intercalación● Combinación de sublistas ordenadas en una sola ejecución

4) Salida● Copia de archivo ordenado en medio de almacenamiento

final


Lógica de intercalación● Las llaves, Llave1, Llave2 y LlaveM son usadas

para referirse a las llaves de los registros en la sublista 1, sublista 2 y la sublista de intercalación resultante, respectivamente

● Esta lógica descansa sobre el hecho de tener las sublistas de entrada ordenadas por la llave que dirige la intercalación

● Las listas de entrada no necesariamente deben ser de la misma longitud; cuando una lista se termina el resto de la otra lista es copiado (en orden) en el archivo intercalado resultante


Fase de intercalación


Fase de intercalación

Tipos● Intercalación directa● Intercalación natural● Intercalación balanceada● Intercalación polifase● Intercalación de cascada


Intercalación directa● Probablemente el más utilizado, fácil

comprensión● Consiste en la realización sucesiva de una

partición y una fusión que produce secuencias ordenadas de longitud cada vez mayor

● En la primera pasada, la partición es de longitud 1 y la fusión o mezcla produce secuencias ordenadas de longitud 2


Intercalación directa● En la segunda pasada, la partición es de

longitud 2 y la fusión o mezcla produce secuencias ordenadas de longitud 4

● Este proceso se repite hasta que la longitud de la secuencia para la partición sea: parte entera ((n + 1)/2). n:número de elementos del archivo original

● Vea https://goo.gl/uN9PWt

https://goo.gl/uN9PWt


Intercalación directa


Intercalación natural● Una intercalación que manipula dos archivos

de entrada a la vez se llama intercalación de doble vía; una intercalación que manipula M archivos de entrada a la vez se llama intercalación de M-vías. M es referido como el grado de la intercalación.

● Una intercalación natural de M vías se define como una intercalación con M archivos de entrada y sólo uno de salida


Intercalación natural● El número de sublistas ordenadas que entran a la

fase de intercalación y los grados de intercalaciones son los factores principales para determinar la eficiencia de cada ordenamiento/intercalación

● Puede requerir una cantidad significativa de copiado de datos una y otra vez, causando una alta actividad de E/S. A mayor cantidad de sublistas iniciales, y menor grado de intercalación natural, mayores serán los requerimientos resultantes de E/S, y el proceso será más lento


Intercalación natural● Es una optimización de la intercalación directa● La diferencia es que las particiones se realizan

en secuencias ordenadas de tamaño variable en lugar de secuencias de tamaño fijo

● La fusión de las secuencias ordenadas se realiza en dos archivos

● El proceso termina cuando el segundo archivo queda vacío en el proceso de partición-fusión

● Vea https://youtu.be/YmehsKonGx4?t=17s

https://youtu.be/YmehsKonGx4?t=17s


Tarea● Implementar todos los algoritmos de

ordenamiento externo● Se debe usar un archivo CSV con el siguiente

formato (se dará uno el momento de probar):

campo1,campo2,campo3,campo4

123,texto1,true,25/12/1985

51847,text2,false,25/11/2016

● El usuario puede pedir ordenar el archivo por cualquier campo


Intercalación balanceada● Cerca de la mitad de la actividad de E/S de una

intercalación natural es dedicada a redistribuir en múltiples archivos las sublistas recién intercaladas que salen de un paso, como preparación para su entrada al siguiente paso

● Los requerimientos de E/S de una intercalación natural pueden reducirse usando una intercalación balanceada


Intercalación balanceada● Una intercalación balanceada evita mucho de este

copiado de registros, una y otra vez, distribuyendo los resultados del paso de intercalación directamente en el número apropiado de archivos para la entrada al siguiente paso de intercalación

● En contraste, una intercalación natural, distribuye todas sus sublistas intercaladas de salida en un solo archivo

● Una intercalación natural de M-vías usa M+1 archivos, mientras que una intercalación balanceada de M-vías usa 2M archivos

● En una intercalación balanceada, los datos son removidos una y otra vez entre un número igual de archivos de E/S


Intercalación balanceada● Una intercalación balanceada de m vías utiliza

m archivos de entrada y m archivos de salida● Las k listas ordenadas se distribuyen en forma

uniforme en los m archivos de entrada● Se intercalan las listas de cada uno de los

archivos, distribuyendo en forma uniforme las listas resultantes en los archivos de salida (de mayor tamaño que las iniciales)

● Se repite el último paso hasta que un archivo de salida contiene una lista ordenada


Intercalación polifase● Un tipo de intercalación desbalanceada es la

intercalación de polifase● Se utiliza un número constante de archivos de

entrada. Una intercalación de polifase de M-vías usa 2M – 1 archivos de entrada y 1 archivo de salida

● Se intercalan las listas (de mayor tamaño) en el archivo de salida. El archivode entrada que primero queda vacío pasa a ser archivo de salida y el archivode salida pasa a ser de entrada. Se repiten los 2 últimos pasos hasta que unarchivo de salida contenga las lista ordenada


Intercalación de cascada


Comparativa


Conceptos y términos importantes


Conceptos y términos importantes● Campo, registro y archivo● Tipos de organización● Operaciones básicas con registros● Operaciones básicas con archivos● Ordenamientos externos


Referencias


Preguntas

Programación 3: estructuras de archivos

Engineering

Transcript of Programación 3: estructuras de archivos