EL ESTANDAR MPEG-4

PID JOSE BAENA ROCA

El estándar MPEG-4El estándar MPEG-4

• Introducción.

• Funcionalidades.

• Estructura y sintaxis.

• Codificación y decodificación.

• Escalabilidad.

• Manipulación y reutilización de objetos.

La TV analógicaLa TV analógica• Ha sido el único sistema de comunicación

de vídeo.

• No ha experimentado cambios sustanciales en cuarenta y tantos años.

• Es el primer sistema de compresión.

• Sistema de comunicación unidireccional.

• El usuario es un simple espectador.

Hacia donde vamosHacia donde vamos• La TV está cambiando a digital.

• Este cambio supone una nueva era en los sistemas de vídeo.

• El usuario dejará de ser un mero espectador.

• Se permite la interacción con el medio.

• Puede incluso crear y trasmitir sus contenidos.

• Existirán bases de datos con material para la composición de contenidos por parte del usuario.

Estándares de Estándares de codificacióncodificación 19981984 1988 1990 1992 1994 19961986

H.261 H.263

ITU

MPEG-4MPEG-1

MPEG-2ISO

EvoluciónEvoluciónTV analógica

Compresión de imagen y vídeo

•Esquemas basados en el pixel

•JPEG, H.26x, MPEG-1,2

Análisis de la imagen

•Detección y seguimiento de objetos

•Reconocimiento de objetos

MPEG-4

Areas de aplicaciónAreas de aplicación

• TV digital

• Contenidos multimedia para móviles

• Producción de TV (p.e. efectos especiales)

• Juegos

• Vídeo en la red

¿Qué nos ofrece MPEG-4?¿Qué nos ofrece MPEG-4?

Compresión

Interactividad

basada en el contenidoAcceso Universal

Ámbito y Ámbito y característicascaracterísticas

• Representar unidades de audio, vídeo y audiovisuales, que reciben el nombre de “media objects”

• Describir la composición de estos objetos para crear media objects compuestos que formarán las escenas audiovisuales.

• Multiplexar y sincronizar los datos asociados con los media objects.

• Interactuar con la escena audiovisual generada en el receptor final.

MPEG-4 permite:

Ámbito y Ámbito y característicascaracterísticasMPEG-4 intenta satisfacer las necesidades de los

autores, de los proveedores de servicio y de los usuarios.

Para los autores:

•permite la reutilización de contenidos y una gran

flexibilidad en su uso, dedicando una parte importante a

los derechos de autor.

Para los proveedores de servicios:

•permite un manejo de la información fácil para su uso

en redes heterogéneas.

Para los usuarios finales:

•ofrece altos niveles de interacción con el contenido

Representación Representación codificadacodificada

Media Objects Primitivos

SintéticosNaturales

Imágenes estáticasp.e. Un fondo fijo

Objetos de vídeop.e. Una persona

hablando

Objetos de audiop.e. La voz asociada a

una persona

Texto y gráficos

Cabezas parlantes sintéticas y el texto

asociado para el habla

Sonido sintético

EscenaEscenaMPEG-4MPEG-4

Cadenas de datosCadenas de datos•El descriptor del objeto identifica todas las

cadenas asociadas a un media object, lo que

permite el manejo jerárquico de los datos

codificados.

•Las cadenas de datos transportan marcas para

su sincronización e identificación.

•La capa de sincronización permite identificar el

tipo de la unidad de acceso en cadenas

elementales.

Interacción con los media Interacción con los media objectsobjectscambiar el punto de vista y/o recepción del sonido en la

escena, p.e. navegando a través de ella;

mover objetos de la escena a una posición diferente;

programar una serie de eventos pinchando sobre un objeto específico,

p.e. comienzo o parada de una secuencia de vídeo;

seleccionar el lenguaje deseado cuando esté habilitada la posibilidad de múltiples idiomas;

se pueden programas además clases de conducta más complejas,

p.e. un teléfono virtual suena, el usuario contesta y se establece

un enlace de comunicación

Principales Principales FuncionalidadesFuncionalidades

• DMIF (Delivery Multimedia Integration

Framework)

• Sistemas

• Audio

• Visual

• Interface de aplicación transparente para el punto distante.

• Control del establecimiento de los canales FlexMux.

• Uso de redes heterogéneas para la comunicación.

DMIFDMIF

• BIFS (Binary Format for Scenes).

• ODs (Object Descriptors).

• Interactividad.

• Herramienta FlexMux.

• Interfaces para terminales y redes. (MPEG-J).

• Capa de transporte independiente.

• Representación de texto.

• Control de los buffers de recepción.

• Identificación temporal, sincronización y mecanismos de recuperación.

• Encubrimiento de los datos de los Derechos de la Propiedad Intelectual.

SistemasSistemas

•Escalabilidad de la velocidad de transmisión.

•Escalabilidad del ancho de banda

•Escalabilidad de la complejidad del codificador y del decodificador.

•Escalabilidad de grano fino.

•Codificación de Audio Paramétrico.

Audio (1)Audio (1)

• Incremento de la robutez al error.

• Codificación de audio que combina alta calidad y bajo retraso.

• Espacialización ambiental.

• Canal de retorno.• Compresión CELP Silence, para las bajas

velocidades en la codificación del habla.• Bajo overhead.

Audio (2)Audio (2)

Visual (1)Visual (1)• Soporte de formatos y velocidades

diversas.

• Eficiencia de la compresión.

• Funcionalidades basadas en el contenido.

• Escalabilidad de texturas, imágenes y video.

• Codificación del contorno y del Alpha Channel.

Visual (2)Visual (2)• Seguridad en entornos propensos al error.

• Animación de caras.

• Animación de mallas 2D con Estructura implícita.

• Video natural.

• Animación de cuerpos.

• Codificación de mallas poligonales 3D.

Terminal MPEG-4Terminal MPEG-4

Derechos de AutorDerechos de Autor

Stream flow controller

Demux

SceneDescriptor

Graph

AVODecode

ObjectDescriptors

MPEG-4bitstream

IPMPS

Compositeand

Render

MPEG-JMPEG-J

El MPEG-4 VisualEl MPEG-4 Visual

Estructura y sintaxisEstructura y sintaxisVideoSession (VS)

VideoObject (VO)

VideoObjectLayer (VOL)

GroupOfVOP’s (GOV)

VideoObjectPlane (VOP)

VS1

VO1

VS1VS1

VS2

VS2...VSN

VOL1

GOV1

VO2

VO2...VON

VS1VS1

VOL2

VOL2...VOLN

VS1GOV2

GOV2...GOVN

VOP1VOP1 VOPK

VOP1... VOPK

VOP1VOPK+1

VOPK+1... VOPN

VOP1 VOP1VOP1

VOP1

VOP1... VOPN

Capa 1 Capa 2

Secuencia de VO’sSecuencia de VO’s

Secuencia de VO’sSecuencia de VO’s

Escena final

Codificación y Codificación y DecodificaciónDecodificación

• Una imagen es la suma de los objetos, el texto y el fondo que la conforman (VO’s).

• La codificación de los objetos se hace por separado.

• Los objetos son manipulables.

IMAGEN = +Text

o+

Codificación y Codificación y DecodificaciónDecodificación

Codificaciónde VO0

Codificaciónde VO1

Codificaciónde VOn

Decodificación de VO0

Decodificación de VO1

Decodificación de VOn

MUX

MUX

DComposiciónde VO’s

Salida de vídeo

Interacción del usuario Interacción del usuario

Formación de VO’s

Información de Vídeo

Cadena de datos

Codificación yCodificación y DecodificaciónDecodificación

Codificaciónde contornos

Codificaciónde textura

Codificaciónde

movimiento

Secuencia de vídeo

Formación del VOP

VOP 1

VOP n

VOP 3

VOP 2

Codificación y Codificación y DecodificaciónDecodificaciónD

E M

U L

T I P

L E

X O

R

Memoria VOP

Compensación del

movimiento

Decodificación

de la textura

Decodificación

del movimiento

Decodificación

del contorno

Compositor

Cadena d

e b

its Salida de Vídeo

Información del contorno

VOP Reconstruido

EJEMPLO DE DECODIFICACIÓN DE UN VOP

Codificador MPEG-4Codificador MPEG-4

Codificación de Codificación de contornoscontornos

• Codificación de contornos binaria.

Se trabaja con una matriz binaria que representa el

contorno del VOP (máscara binaria), si contiene el pixel contiene al VOP valdrá 255, y 0 en caso contrario.

• Codificación de contornos en escala de grises.

Cada elemento de la matriz puede tomar un valor dentro de un rango. Normalmente el rango suele ser de 0 a 255.

Codificación de Codificación de contornoscontornosCada VOP se divide en bloques más pequeños,

llamados macro bloques.

VOP

Ventana Rectangular que engloba el VOP

Binary Alpha Block, BAB(16x16 pixeles)

Tamaño múltiplo de 16

Codificación de Codificación de contornoscontornos

Cada BAB se codifica separadamente, y pueden ser codificados dentro de uno de los siguientes modos:

• El bloque se considera Transparente.• El bloque se considera Opaco.• Usando IntraCAE.• Usando InterCAE.• La MVD(*) es cero pero el bloque no se

actualiza.• La MVD no es cero, pero el bloque no se

codifica.• La MVD no es cero, pero el bloque se codifica.(*) Motion Vector Difference

Estimación del Estimación del movimiento y movimiento y

herramientas de herramientas de compensacióncompensación

Tiempo

I-VOP

B-VOP

P-VOP

Codificación de Codificación de texturatextura

luminancia

8

88

8luminancia

luminancia luminancia

crominancia crominancia

Proceso de Proceso de codificación de codificación de

textura de un VOPtextura de un VOP

DCT CuantificaciónCoeficiente de

predicción

Textura VOP

Coeficiente de escaneo

Codificación de longitud variable

Cadena de bits

Codificación de Codificación de texturatextura

+trama I

vector de movimiento

Predicción hacia

delante

compensación del error de la predicción

resultado

Codificación de Codificación de texturatextura

+

Error resilienceError resilience

• Resincronización

• Particionado de datos

• Código de extensión de la cabecera

• VLC’s reversibles

Codificación spriteCodificación sprite• Consiste esencialmente en una imagen

estática que podría ser transmitida una

vez solamente.

• Usualmente se emplea con objetos

sintéticos.

• El contorno y la textura se codifican como

un I-VOP.

EscalabilidadEscalabilidad

Preprocesadorde escalabilidad

MPEG-4EnhancementLayer Encoder

MPEG-4Base Layer

Encoder

MidprocessorPostprocesadorde escalabilidad

Midprocessor

MPEG-4EnhancementLayer Decoder

MPEG-4Base Layer

Decoder

M u

l t

i p

l e

x e

r

D e

m u

l t

i p

l e

x e

r

EscalabilidadEscalabilidadPermite decodificar solo una parte de una

cadena de bits y reconstruir imágenes o secuencias de imágenes con:

•la complejidad del decodificador reducida y por tanto de calidad reducida

•resolución espacial reducida

•resolución temporal reducida

•con igual resolución temporal y espacial pero con la calidad reducida

Manipulación de Manipulación de objetosobjetos

Los objetos de una escena son manipulados por separado

Manipulación de Manipulación de objetosobjetosPermite jugar con los sprites

+

Reutilización de Reutilización de contenidocontenido

Deco

difi

cador

Com

posi

tor

BD

Dem

ult

iple

xor

Codifi

cador

VO n

VO 1

...

Mult

iple

xor

BD

FIN