Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e...

29
Codificación de Vídeo Multimedia Fernando Díaz de María - DTSC - Universidad Carlos III de Madrid 1 Codificación de Vídeo Codificación de Vídeo Vídeo digital Vídeo digital

Transcript of Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e...

Page 1: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 1

Codificación de VídeoCodificación de Vídeo

Vídeo digitalVídeo digital

Page 2: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 2

Tasas de trama típicasTasas de trama típicasMovimientoTasa de trama

(fps)

Vídeo EntrelazadoVídeo Entrelazado

Page 3: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 3

Tamaños de imagen en vídeo digitalTamaños de imagen en vídeo digital

Resolución (Y)Formato

Imágenes: necesidad de compresión Imágenes: necesidad de compresión

2048

512

128

KN

25.165.82416.777.2168.388.608

1.572.8641.048.576524.288

98.30465.53632.768

6 (L=64)4 (L=16)2 (L=4)

Número de bits: • M x N x k • N2 x k

Page 4: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 4

Vídeo: necesidad de compresiónVídeo: necesidad de compresión

4.6 Mbps1588x72176x144QCIF

36.5 Mbps30176x144352x288CIF

216 Mbps30429x525858x525ITU-R 601

bpsfpsResolución Crominancia

Resolución Luminancia

Representación del ColorRepresentación del Color

crominancias

( )( )YRCr

YBCb

BGRY

−=−=++=

71.0

56.0

1.06.03.0

Page 5: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 5

Submuestreo de CrominanciasSubmuestreo de Crominancias

4:4:4 4:2:2 4:2:0

Submuestreo de CrominanciasSubmuestreo de Crominancias

4:4:4 4:2:2 4:2:0

Ejemplo (720 x 576)

• 4:4:4 720 x 576 x 8 x 3 = 9.953.280 bits• 4:2:2 (720 x 576 x 8) + (720 x 288 x 8 x 2) = 6.635.520 bits• 4:2:0 (720 x 576 x 8) + (360 x 288 x 8 x 2) = 4.976.640 bits

Page 6: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 6

Codificación de ImagenCodificación de Imagen

Transformación CuantificaciónCodificación

EntrópicaImagen

Comprimida

DCT (I)DCT (I)

Page 7: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 7

DCT(II)

Reordenamiento en Zig-ZagReordenamiento en Zig-Zag

Page 8: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 8

Codificación Basada en DCT

8x8 DCT

Q

Codificación

Transformación por bloquesTransformación por bloques

DCT(bloques 8x8)

Page 9: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 9

Efecto de la cuantificaciónEfecto de la cuantificación

IDCTCuantif.

Efecto de la cuantificaciónEfecto de la cuantificación

IDCT

Page 10: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 10

Efecto de la cuantificaciónEfecto de la cuantificación

IDCT

Factor de CompresiónFactor de Compresión

Píxelesde NúmeroComprimda Imagen Bitsde Número

(bpp) pixelpor bits de Número

Comprimida Imagen BitsNúmeroOriginal Imagen BitsNúmero

(FC) Compresión deFactor

=

=

Page 11: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 11

Medidas de Calidad (I)Medidas de Calidad (I)

( )∑∑==

−=

=

N

jijij

M

i

xyMN

MSE

MSEPSNR

1

2

1

2

10

1

255log10

Medidas de Calidad (II)Medidas de Calidad (II)

• Calidad subjetiva buena• Calidad objetiva pésima

Page 12: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 12

Codificación de VídeoCodificación de Vídeo

Objetivo e ImplicacionesObjetivo e Implicaciones

Page 13: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 13

Correlación temporal: predicción

Compensación de MovimientoCompensación de MovimientoTramaActual

Estimación de Movimiento

TramaAnterior

+-

TramaEstimada

Codificadorde Imagen

Page 14: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 14

Compensación de movimientoCompensación de movimiento

macrobloque

Diagrama de bloquesDiagrama de bloques

Transformada2D

Q

Q-1

TransformadaInversa 2D

Codificador

V(k,l)U(m,n)

CuantificadorAdaptativo

Predicción

Canal

Compensaciónde Movimiento

Page 15: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 15

Área de búsquedaÁrea de búsqueda

Número de comparaciones según el área de búsquedaNúmero de comparaciones según el área de búsqueda

99.1 x 106± 15

23.4 x 106± 7

5.2 x 106± 3

1.0 x 106± 1

Número de comparaciones

Área de búsqueda

Page 16: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 16

Posibles variacionesPosibles variaciones

( )∑∑==

−=N

jijij

N

i

rxN

MSE1

2

12

1

∑∑==

−=N

jijij

N

i

rxN

MAE11

2

1

∑∑==

−=N

jijij

N

i

rxSAE11

Algoritmos de estimación de movimientoAlgoritmos de estimación de movimiento

Page 17: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 17

Búsqueda en 3 pasosBúsqueda en 3 pasos

11 1

111

1 1 1

2 2

222

2 2 23 3

3333

33

Búsqueda LogarítmicaBúsqueda Logarítmica

1 11

1

1 2

2

2

3

3

4

45 5

55

55 55

Page 18: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 18

“Cross-Search”“Cross-Search”

1

1

1

1

1

2

22

2

3

33

34

4

Búsqueda según el vecino más próximo (I)Búsqueda según el vecino más próximo (I)

Page 19: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 19

Búsqueda según el vecino más próximo (II)Búsqueda según el vecino más próximo (II)

0

111

112323

2

Búsqueda JerárquicaBúsqueda Jerárquica1

2 2 2212

2 2 2

2 3333

33 3 3

Nivel 0

Nivel 1

Nivel 2

Page 20: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 20

Una comparaciónUna comparación

3.6 x 106914 753Búsqueda enTres pasos

99.1 x 106897 163BúsquedaExhaustiva

Número decomparaciones

SAE totalAlgoritmo

Resolución de ½ ó ¼ de pixelResolución de ½ ó ¼ de pixel

Page 21: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 21

Tramas de referenciaTramas de referencia

Tipos de ImágenesTipos de Imágenes

Tiempo

I BB B P B BPB I

Page 22: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 22

MejorasMejoras

Pre- y PostprocesoPre- y Postproceso

Page 23: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 23

Rate-DistortionRate-Distortion

Rate (kbps)

PSN

R (

dB)

Claire

Foreman

Estándares de codificación de vídeoEstándares de codificación de vídeo1984 1986 1988 1990 1992 1994

H.261 H.263, H.263+

MPEG-2MPEG-1

ISO

ITU

MPEG-4

1996 1998

Page 24: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 24

Estándares: MPEG-1Estándares: MPEG-1

IP

B

Estándares: MPEG-2Estándares: MPEG-2

Page 25: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 25

MPEG-4MPEG-4

H.264H.264

Page 26: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 26

Predicción INTRAPredicción INTRA

Predicción INTRAPredicción INTRA

Page 27: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 27

Compensación de movimientoCompensación de movimiento

Filtro de suavizado de bloquesFiltro de suavizado de bloques

Page 28: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 28

Transformación y CuantificaciónTransformación y Cuantificación

Codificación de entropíaCodificación de entropía

Page 29: Codificación de Vídeo › ~fdiaz › docencia › ProcesadoMultimedia › Trans… · Objetivo e Implicaciones. Codificación de Vídeo Multimedia Fernando Díaz de María -DTSC

Codificación de Vídeo Multimedia

Fernando Díaz de María - DTSC -Universidad Carlos III de Madrid 29

H.264 (I)H.264 (I)

H.264 (II)H.264 (II)