ELO311Estructuras de Computadores Digitales

Memoria

Tomás Arredondo Vidal

Este material está basado en:

�material de apoyo del texto de David Patterson, John Hennessy, "Computer Organization & Design", (segunda y tercera edición), MorganKaufmann, CA. 2005

�materia del curso de Mary Jane Irwin en PSU, EEUU

�material del curso anterior ELO311 del Prof. Leopoldo Silva

�www.wikipedia.org

Interconexión del sistema

�La computadora usa un bus como enlace de comunicación para conectar múltiples subsistemas

�Cosas de interés son�Performance

�Expandabilidad

�Resistencia en caso de falla (fault tolerance)

Processor

ReceiverMainMemory

Keyboard

bus

Interconexión del sistema (cont)

CacheMemory

Memory - I/O Bus

MainMemory

I/OController

Disk Disk

I/OController

I/OController

Terminal Network

interrupt signals

�Generalmente se tiene mas de un aparato de input/output (I/O) en el sistema�Cada aparato tiene un controlador de I/O

Processor

Características del Bus

�Líneas de Control�Señales de control y acks

�Indican el tipo de información en las líneas de datos

�Líneas de Datos�Datos, instrucciones complejas y direcciones

�Transacción en el bus consiste de�Enviar la dirección

�Recibir o enviar los datos

Data Lines

Control Lines

Transacción de Output (Read) en el BUS�Definido por lo que le hacen a la memoria

�read = output: transfiere datos desde memoria (read) a aparatode I/O (write)

Processor Main MemoryControl

Data

Step 1: Processor sends read request and read addre ss to memory

Processor

Control

DataMain Memory

Step 2: Memory accesses data

Processor

Control

DataMain Memory

Step 3: Memory transfers data to disk

Transacción de Input (Write) en el BUS�Definido por lo que le hacen a la memoria

�write = input: transfiere datos desde el aparato de I/O (read) amemory (write )

Processor Main MemoryControl

Data

Step 1: Processor sends write request and write add ress to memory

Processor

Control

DataMain Memory

Step 2: Disk transfers data to memory

Ventajas y Desventajas de BUSES�Ventajas

�Versatilidad� Nuevos aparatos (devices) se pueden agregar fácilmente

� Periféricos se pueden intercambiar entre sistemas computacionales con el mis standard de bus

�Bajo Costo:� Un set de cables se comparte en múltiples maneras

�Desventajas�Crea un cuello de botella de comunicaciones

� El bandwidth limita el máximo flujo (throughput)

�La velocidad del bus se limita principalmente por� El largo del bus

� El numero de aparatos conectados al bus

�Tiene que soportar un rango de aparatos con tasas de transferencia y latencias que varían

Tipos de Buses�Bus Procesador-Memoria (propietario)

�Corto y de alta velocidad

�Diseñado para que el sistema de memora maximiza el ancho de banda de memoria-procesador

�Optimizado para transferencias de bloques de cache

�Bus I/O (estándar industrial, e.g., SCSI, USB, ISA, IDE)�Mas largo y mas lento

�Debe acomodar una multitud de aparatos de I/O

�Conecta al bus procesador-memora o al bus principal de la maquina (backplane bus)

�Bus Backplane (estándar industrial, e.g., PCI)�El bus de backplane es la estructura de interconexión en el

chasis

�Se usa como un bus intermediario conectando los buses de I/O con el bus de procesador-memoria

Sistema con Dos Buses

�I/O buses I/O se conectan al bus processor-memoryusando Adaptadores de Bus (que hacen el interfaz para equiparar las diferentes velocidades de los buses)�Bus processor-memory: principalmente para trafico processor-

memory

�Bus I/O: proveen slots de expansión para aparatos de I/O devices

Processor Memory

Processor-Memory Bus

I/OBus

BusAdaptor

BusAdaptor

BusAdaptor

I/OBus

I/OBus

Sistema con Tres Buses

�Se agrega un pequeño numero de buses de BackplaneBuses conectado al bus de Processor-Memory

�Ventaja: carga en el bus Processor-Memory es reducido

Processor Memory

Processor-Memory Bus

BusAdaptor

Backplane Bus

BusAdaptor

BusAdaptor

I/O Bus

I/O Bus

Ejemplo: Sistema I/O (Apple Mac 7200)

CacheMemory

PCI

MainMemory

I/OController

I/OController

Graphic Terminal

Network

Processor

�Típico de sistemas medianos al fines de los 90

PCIInterface/Memory

ControllerI/O

ControllerI/O

Controller

SC

SI b

us

Disk

CDRom

Tape

Processor-Memory Bus

Serial portsAudio I/O

Ejemplo: Sistema Pentium

Processor-MemoryBus

PCI Bus

I/O Buses

Memory controller(“Northbridge”)

http://developer.intel.com/design/chipsets/850/animate.htm?iid=PCG+devside&

Repaso: Componentes de una Computadora

Processor

Control

Datapath

Memory

Devices

Input

Output

Principio de Localidad�Los programas acceden a una parte relativamente

pequeña de su espacio de direcciones durante un espacio corto de tiempo

�Localidad Temporal�Si un elemento es referenciado, volverá a ser referenciado pronto

(e.g. bucles o loops)

�Localidad Espacial�Si un elemento es referenciado, los elementos cuyas direcciones

están próximas tenderán a ser referenciados pronto (e.g. elementos en un arreglo, instrucciones que se acceden en forma secuencial)

Jerarquía y Memoria Cache�Dado el principio de localidad y que hay diferencias de

costo y tiempo de acceso, es ventajoso construir la memoria como jerarquía de niveles.

�El cache es una memoria rápida en acceso a sus componentes, relativamente pequeña en su número de componentes, y por el momento costosa en dinero que interactúa directamente con el procesador.

�Suele ser memoria estática SRAM (por static randomaccess memory, memoria estática de acceso aleatorio) y recientemente SSRAM (memoria estática sincrónica de acceso aleatorio).

SecondLevelCache

(SRAM)

Costos y Velocidades Típicas de la Memoria

Control

Datapath

SecondaryMemory(Disk)

On-Chip Components

RegF

ile

MainMemory(DRAM)

Data

Cache

InstrC

ache

ITLB

DT

LB

eDRAM

Speed (ns): .1’s 1’s 10’s 100’s 1,000’s

Size (bytes): 100’s 10K’s 100K’s M’s-G’s T’s

Cost: highest lowest

� Usando el principio de localidad:� Presentar al usuario con la mayor memoria disponible en la

tecnología mas barata.

� Dar acceso en la velocidad ofrecida por la tecnología mas rápida.

L1 cache L2 cache

Características de la Jerarquía de Memoria

Distanciadel procesadoren tiempode acceso

L1

L2

Main Memory

Secondary Memory

Processor

Tamaño relativo de la memoria en cada nivel

Inclusive– lo que esta en L1 es un subconjunto de lo que esta en L2 que es un subconjunto de MM que es un subconjunto de SM

Jerarquía y Memoria Cache (cont)�La memoria cache es accedida directamente por el

procesador y ésta puede acceder al siguiente elemento de la jerarquía que es la memoria denominada principal.

�En la jerarquía se copian datos solamente entre niveles adyacentes de memoria

�La unidad de información se denomina bloque, se transfiere un bloque completo cuando se copia entre niveles

Jerarquía de Memoria: Tecnologías�Acceso Aleatorio (Random Access)

�“Aleatorio” es bueno: tiempo de acceso es el mismo para todas las ubicaciones

�DRAM: Dynamic Random Access Memory� Alta densidad (celdas de 1 transistor), bajo poder, baratas, lentas

� Dynamic: tienen que ser refrescadas regularmente (~ cada 8 ms)

�SRAM: Static Random Access Memory� Baja densidad (celdas de 6 transistores), alto consumo, caras, rápidas

� Estática: contenidos duran para siempre (hasta que se apague la energía)

�Tamaño: DRAM vs SRAM - 1 a 4

�Costo: SRAM vs DRAM - 1 a 8

�Tecnologías no aleatorias�Tiempos de acceso varían de ubicación a ubicación y en el tiempo

(e.g., Disco, CDROM)

Ciclo de Lectura Típico de RAMPara leer se coloca la dirección en el bus, luego se activa el Chip Enable y el Output Enable (con WE’ alto y CE’ y OE’ bajas), después del tiempo de acceso (en el orden de varios ns) se tienen datos válidos en el bus Dout.

Otra Version:

http://www.eventhelix.com/realtimemantra/faulthandling/bus_cycles.htm

Ciclo de Escritura Típico de RAMSe colocan los datos en Din, y la dirección en el bus; luego se activan Chip Enable(CE’ baja) y Write Enable. Los datos son escritos en el canto de subida de WE’. La señal Write Enable es un pulso con requerimientos de ancho mínimo, más que un reloj. Adicionalmente deben cumplirse tiempos de set-up y hold. El dispositivo externo debe colocar datos en el bus bidireccional.

Otra Version:

Ejemplo: SRAM de 4x2 (un decodificador)

Organizacion de SRAM (dos decodificadores)

row

decoder

direcciónde fila

palabra de datos

RAM CellArray

seleccionador de palabra

bit (data) lines

Cadaintersecciónrepresenta unacelda de 6-Transistores

Column Selector &I/O Circuits

dirección decolumna

Una fila tiene un bloque de datos, y la dirección de la columna selecciona la palabra (word) de ese bloque

4

Ejemplo: SRAM de 32Kx4 (dos decodificadores)

1 1 1 1

data bitdata bit

Organizacion DRAM (usando planos)

row

decoder

rowaddress

Column Selector &I/O Circuits

columnaddress

data bit

word (row) select

bit (data) lines

Cada intersecciónes una celda DRAM de 1 transistor

La dirección de la columna selecciona el bit de cada fila en el planodata word

. . .

. . .

RAM CellArray

Ejemplo: DRAM de 1Mx1 (1 plano)

1

1024

Definiciones de Memoria RAM�Cache usa SRAM para velocidad

�Memoria Principal usa DRAM por su mayor densidad�Dirección (addresses) se divide en 2 partes (row and column)

�RAS or Row Access Strobe activa decodificador de fila

�CAS or Column Access Strobe activa decodificador de columna

�Performance de DRAMs�Latencia: Tiempo para leer una palabra

�Tiempo de acceso: tiempo entre petición y cuando lleganpalabras

�Tiempo de ciclo: tiempo entre peticiones

�Usualmente tiempo de ciclo > tiempo de acceso

�Bandwidth: Cuantos datos se pueden leer por unidadde tiempo�ancho del canal de datos * la tasa en que se puede usar

Operación de DRAM Clásica

�Organización de DRAM:�N rows x N column x M-bit

�Leer o Escribir M-bits a la vez

�Cada acceso de M-bits requiereun ciclo RAS / CAS

Row Address

CAS

RAS

Col Address Row Address Col Address

1st M-bit Access 2nd M-bit Access

N r

ows

N cols

DRAM

M bits

RowAddress

ColumnAddress

M-bit OutputCycle Time

Maneras de Mejorar la Performance de DRAM�Memory interleaving

�Fast Page Mode DRAMs – FPM DRAMs� www.usa.samsungsemi.com/products/newsummary/asyncdram/K4F661612D.htm

�Extended Data Out DRAMs – EDO DRAMs� www.chips.ibm.com/products/memory/88H2011/88H2011.pdf

�Synchronous DRAMS – SDRAMS� www.usa.samsungsemi.com/products/newsummary/sdramcomp/K4S641632D.htm

�Rambus DRAMS� www.rambus.com/developer/quickfind_documents.html

� www.usa.samsungsemi.com/products/newsummary/rambuscomp/K4R271669B.htm

�Double Data Rate DRAMs – DDR DRAMS� www.usa.samsungsemi.com/products/newsummary/ddrsyncdram/K4D62323HA.htm

Incrementar el Bandwidth - InterleavingPatron de acceso sin interleaving:

Start Access for D1

CPU Memory

Start Access for D2

D1 available

Con interleaving de 4 vias:

CPU

MemoryBank 1

MemoryBank 0

MemoryBank 3

MemoryBank 2

Cycle Time

Access Time

Acc

ess

Ban

k 0

Access Bank 1

Access Bank 2

Access Bank 3

We can Access Bank 0 again

D2 available

Problemas con Interleaving

�Cuantos bancos de memoria?

�Idealmente, el numero de bancos ≥ numbero relojes quetenemos que esperar para acceder a la proxima palabraen el banco

�Solo funciona para accesos secuénciales (i.e., primerapalabra pedida en el primer banco, segunda en el segundo, etc)

�Típicamente se usa sola para sistemas de memoria muygrandes (e.g. supercomputadoras)

N r

ows

N cols

DRAM

ColumnAddress

M-bit Output

M bitsN x M “SRAM”

RowAddress

Operación de DRAM : Modo Fast Page�Fast Page Mode DRAM

�N x M “SRAM” para ahorrar fila

Row Address

CAS

RAS

Col Address Col Address

1st M-bit Access

Col Address Col Address

2nd M-bit 3rd M-bit 4th M-bit

� Después que una fila se lee al“registro” SRAM� Solo CAS se necesita para

acceder a otros bloques de Mbits en esa fila

� RAS se mantiene mientras secambia CAS

Porque nos importa la jerarquía de Memoria?

1

10

100

100019

8019

81

1983

1984

1985

1986

1987

1988

1989

1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

DRAM

CPU

1982

Processor-MemoryPerformance Gap:(grows 50% / year)

Per

form

ance

Time

“Moore’s Law”

Distancia Procesador-Memoria DRAMµProc60%/year(2X/1.5yr)

DRAM9%/year(2X/10yrs)

Jerarquia de Memoria: Objetivos�Hecho: Memorias grandes son lentas, memorias rápidas

son pequeñas

�Como creamos una memoria que da la ilusión de ser grande, barata y rápida (la mayoría del tiempo)?

….tomando ventaja de

�El principio de la Localidad: Programas acceden a unaporción relativamente pequeña del espacio de memoriaen un instante de tiempo.

Address Space0 2n - 1

Probabilityof reference

Jerarquía de Memoria: Como funciona ?

�Localidad Temporal:

�Mantener los datos mas recientemente accedidosmas cercanos al procesador

�Localidad Espacial:

�Mover los bloques de palabras contiguas a los recientemente accedidos a niveles mas cercanos al procesador

Lower LevelMemoryUpper Level

MemoryTo Processor

From ProcessorBlk X

Blk Y

Jerarquía de Memoria: Terminología� Hit (éxito): datos están en un bloque en nivel alto (Block X)

� Tasa de éxito (Hit Rate): la fracción de acceso de memoria que se resuelven en el nivel alto

� Tiempo de éxito (Hit Time): Tiempo para acceder al nivel alto queconsiste de:

tiempo acceso a RAM + tiempo para determinar hit/miss

� Miss (falla): datos tienen que ser sacados de un bloque en nivel bajo (Block Y)

� Tasa de Falla (Miss Rate) = 1 - (Hit Rate)

� Penalidad de Falla (Miss Penalty): Tiempo para reemplazar un bloque en el nivel mas alto + Tiempo para enviar bloque al procesador

� Hit Time << Miss Penalty

Lower LevelMemoryUpper Level

MemoryTo Processor

From ProcessorBlk X

Blk Y

Jerarquía de Memoria: Cálculos�Ciclos de detención en memoria de instrucciones =

Instrucciones * Tasa de fallos * Penalización por fallos

�Ciclos de detención en memoria de datos = Instruccionesque accesan memoria * Tasa de fallos * Penalización porfallos

�Penalización total = Ciclos de detención-memoria-instrucciones + Ciclos de detención-memoria -datos

Quien Maneja las Jerarquías?

�registros <-> memoria�por compilador y programador

�cache <-> memoria principal�por el hardware (HW)

�memoria principal <-> discos�por el HW y el sistema operativo

�por el programador (archivos)

Cache de Mapeo Directo

�Cada localización de memoria se mapea en una localizaciónen la cache.

�Índice establece el número de direcciones de la cache ( 2i

celdas).

Cache de Mapeo Directo (cont)

�Existen muchas direcciones que tienen igual campo índice y se almacenarán en la misma dirección de la cache, estoimplementa el mecanismo de acceso denominado directo.

�Al inicio se marcan todas las celdas de la cache comoinvalidas (campo V igual a cero).

�Al intentar leer una dirección se producirá un fallo, entoncesse leerá desde la memoria principal y se traerá el contenidoal campo dato de la cache; y se escribe el campo marca con los m bits más significativos de la dirección en la celdaíndice de la caché y se marca como válida (V = 1).

�Si más adelante se desea leer una dirección que tenga el mismo índice pero con diferente marca se producirá un fallo. Y se reescribe la marca (desde el bus de dirección) y el nuevo dato que se trae desde la memoria principal.

Cache de Mapeo Directo con Bloques

�Para aprovechar la localidad espacial el bloque de la cache contiene varias palabras adyacentes (una potencia de dos).

�Los bits dedicados a la administración de la cache (válido, marca) disminuyen al aumentar el tamaño del bloque.

Cache de Mapeo Directo con Bloques (cont)

�Si se produce un fallo (de lectura), deben ahora traersedesde la memoria principal 2Offset Bloques palabrasadyacentes.

�Al aumentar el tamaño del bloque disminuye la tasa de fallos, este efecto es más notable en la cache de instrucciones debido a la mejor localidad espacial.

Cache Asociativo

�Para flexibilizar la colocación de los bloques la cache asociativade n vías, permite colocar un bloque en n posiciones.

Cache Asociativo (cont)

�El diagrama anterior ilustra una cache asociativa porconjuntos de dos vías y muestra la comparación necesaria, realizada en paralelo, para ubicar a un bloque que puedeestar en dos posiciones (en la primera o segunda vía).

�En el ejemplo sólo pueden estar en la cache dos bloquesque tengan igual índice; en caso de requerir colocar un tercero, con igual índice, debe aplicarse alguna política de reemplazo (e.g. aleatorio, menos usada)

Tabla de Páginas

� Para tener completa asociatividad se emplea una Tabla de Páginas residenteen memoria, que tiene como índice el número de página virtual y comocontenido el número de página física, además de un bit para indicar si la página está o no presente en lamemoria.

� Cada programa tiene su propia tabla de páginas, y se dispone un registro en el procesador para apuntar a la tabla de página activa.

Resumen

�DRAM es lento pero denso y de bajo costo�Bueno para un sistema de memoria GRANDE

�SRAM es rápido pero caro y no muy denso�Tiempos de acceso RAPIDOS

�Dos tipos de localidad�Temporal

�Espacial

�Usando el principio de localidad:�Presentar al usuario con la mayor memoria posible en la

tecnología mas barata

�Provee acceso a la tecnología ofrecida por la tecnología masrápida