Teoría de la información - Aula...
Transcript of Teoría de la información - Aula...
Teoría de la información breve introducción práctica
Javier García, Graphics & Imaging Laboratory (UdG)
Contenido • Introducción • Definición de Información y Entropía • Ejemplos de aplicación I • Ejemplos de aplicación II
Introducción
• Entropía física (siglo XIX) vs Entropía de información (siglo XX) • Telecomunicaciones & informática basada en T.Información
Información & Entropía
conjunto de posibles resultados de una observación
p i probabilidad de un resultado concreto
I i información asociada al resultado i I i log2p i
Ejemplo 1: Lanzar una moneda
cara,cruzpcara 1
2pcruz 1
2
I cara log212 1 bit
I cruz log212 1 bit
Valor promedio de x i
p ixi
i
p i log2p i 12
log212 1
2log2
12 1 bit
Ejemplo 2 : Género de personas viendo el fútbol en un bar
hombre,mujer
phombre 910
pmujer 110
I hombre log2910
0.15 bits
I mujer log2110
3. 32 bits
i
p i log2p i 910
log2910 1
10log2
110
0.47 bit
Ejemplo 3 : Moneda con caras iguales
cara,cruz
pcara 1 pcruz 0
I cara log21 0 bits
I cruz log20 bits
i
p i log2p i 1log21 0log20 0 bit
Información & Entropía
Ejemplo 1: Lanzar una moneda
Ejemplo 2 : Género de personas viendo el fútbol en un bar
Ejemplo 3 : Moneda con caras iguales
1 bit
0.47 bits
0 bits
¿Qué aprendemos?
• Cuando los resultados son equiprobables: 1 bit de información en promedio • Cuando sólo un resultado es posible: 0 bits de información en promedio • Cualquier otra posibilidad: entre 0 y 1 bits de información.
ENTROPIA ∼ INFORMACION PROMEDIO EN EL RESULTADO
Información & Entropía
Todos los experimentos expuestos en los ejemplos anteriores tienen 2 posibles resultados.
Ejemplos de aplicación I
Problema a solucionar Una máquina ‘expulsa’ números X.
Posibles salidas de X: 1, 2, 3, 4, 5, 6, 7 ó 8 Probabilidades:
Queremos saber qué número ha salido.
Solo podemos hacer preguntas de SÍ o NO
X?
¿Cuál es el mínimo número de preguntas?
p1,p2,p3,p4,p5,p6,p7 y p8
Ejemplos de aplicación I (http://blog.pseudolog.com)
CASO 1: Búsqueda binaria
X?
p1 p2 . . . p8 18
Pregunta: ¿Es 1, 2, 3 ó 4?
Sí No
Pregunta: ¿Es 1 ó 2? Pregunta: ¿Es 5 ó 6?
Sí No
Pregunta: ¿Es 1?
Sí No 1 2
Pregunta: ¿Es 3?
Sí No 3 4
Sí No
Pregunta: ¿Es 5?
Sí No 5 6
Pregunta: ¿Es 7?
Sí No 7 8
NUMERO DE PREGUNTAS: 3
Ejemplos de aplicación I
CASO 2: Búsqueda Jerárquica
X?
Pregunta: ¿Es 1? Sí
NUMERO DE PREGUNTAS: 2.83
p1 0.35 p2 0.25 p3 0.12 p4 0.10
p5 0.08 p6 0.06 p7 0.03 p8 0.01
No Pregunta: ¿Es 2?
Sí No Pregunta: ¿Es 3?
Sí No Pregunta: ¿Es 4?
Sí No Pregunta: ¿Es 5?
Sí No Pregunta: ¿Es 6?
Sí No Pregunta: ¿Es 7?
Sí No
1
2
3
4
5
6
7 8
0.35 1 0.25 2 0.12 3 0.10 4 0.08 5 0.06 6 0.03 7 2.83
p1 1 p2 2 . . .p7 7
Valor esperado de número de preguntas
Ejemplos de aplicación I
CASO 3: SHANNON-FANO ELEGIR PREGUNTAS ∼ BINARIAS en probabilidades
X?
Pregunta: ¿Es 1,3 ó 7?
Sí
p1 0.35 p2 0.25 p3 0.12 p4 0.10
p5 0.08 p6 0.06 p7 0.03 p8 0.01
No Pregunta: ¿Es 1?
Sí No 1 Pregunta: ¿Es 3?
Sí No 3 7
Pregunta: ¿Es 2?
Sí No 2 Pregunta: ¿Es 5 ó 6?
Sí No
5 6
Pregunta: ¿Es 5?
Sí No 4 8
Pregunta: ¿Es 4?
Sí No
p1 0.35 | p3 p7 0.15
p1 p3 p7 0.5 | p2 p4 p5 p6 p8 0.5
p3 0.12 | p7 0.03
p2 0.25 | p4 p5 p6 p8 0.25
p5 p6 0.14 | p4 p8 0.11
p5 0.08 | p6 0.06 p4 0.10 | p8 0.01
1 preguntas. Probabilidad = 0 2 preguntas. Probabilidad = 0.35 + 0.25 = 0.60 3 preguntas. Probabilidad = 0.12 + 0.03 = 0.15 4 preguntas. Probabilidad = 0.08 + 0.06 + 0.10 + 0.01 = 0.25 Valor esperado de preguntas = 1 × 0 + 2 × 0.60 + 3 × 0.15 + 4 × 0.25 = 2.65
NUMERO DE PREGUNTAS: 2.65
Ejemplos de aplicación I
CASO 4: HUFFMAN (óptimo) CONSTRUIR ARBOL DE MENOR A MAYOR PROBABILIDAD
X?
p1 0.35 p2 0.25 p3 0.12 p4 0.10
p5 0.08 p6 0.06 p7 0.03 p8 0.01
Pregunta: ¿Es 6? 0.10 No
5 0.08
Pregunta: ¿Es 5? 0.18 Sí No
7 0.03 8 0.01
Pregunta: ¿Es 7? 0.04 Sí No
NUMERO DE PREGUNTAS: 2.54
6 0.06
Sí
Pregunta: ¿Es 3? 0.22
3 0.12 Sí No
4 0.10
Pregunta: ¿Es 3 ó 4? 0.40
Sí No
Pregunta: ¿Es 1 ó 2? 1
Sí Pregunta: ¿Es 1? 0.60 No
Sí No 1 0.35 2 0.25
0.35 0.25 2 0.12 0.10 0.08 3 0.06 4 0.03 0.01 5 2. 54
Ejemplos de aplicación I
HUFFMAN (óptimo) versus ENTROPIA
Codificación de las preguntas en 0’s y 1’s
Pregunta: ¿Es 6? 5
Pregunta: ¿Es 5?
7 8
Pregunta: ¿Es 7? 6
Pregunta: ¿Es 3?
3 4
Pregunta: ¿Es 3 ó 4?
Pregunta: ¿Es 1 ó 2?
Sí 1 Pregunta: ¿Es 1?
No 0
1 2 Sí 1 No 0 Sí 1 No 0
Sí 1 No 0 Sí 1 No 0
No 0
No 0 Sí 1 Sí 1
1 = 11 2 = 10 3 = 011 4 = 010 5 = 001 6 = 0001 7 = 00001 8 = 00000
p1 0.35 log2p1 1. 8646
p2 0.25 log2p2 2. 25
p3 0.12 log2p3 3. 1789
p4 0.10 log2p4 3. 4219
p5 0.08 log2p5 3. 7239
p6 0.06 log2p6 4. 1189
p7 0.03 log2p7 5. 0889
p8 0.01 log2p8 6. 6539
Codificación probabilidad información
ENTROPIA p1 log2p1 p2 log2p2 p3 log2p3 p4 log2p4 p5 log2p5 p6 log2p6 p7 log2p7 p8 log2p8 2. 4826
Cota inferior de número de preguntas
Ejemplos de aplicación II
COMPRESION IMAGENES SIN PERDIDAS CON HUFFMAN
6
2
5
3
FRECUENCIAS DE APARICIÓN
PROBABILIDADES DE APARICIÓN
IMAGEN DE 4x4 píxeles con 2 bits/pixel -> 4 niveles de gris
Nivel de gris
00
01
10
11
00
01
10
11
616
0.375216
0.125516
0.3125316
0.1875
0.375 0.375 0.375 0.625 0.3125 0.3125 0.625 0.375 0.1875 0.3125 0.125
00
01
10
11
0.375 0.375 0.625 0.3125 0.3125 0.375 0.1875 0.3125 0.125
01
00
0
1
1 1 00
010
011
00
01
10
11
1
00
010
011
Huffman Original
COMPRESION IMAGENES SIN PERDIDAS CON HUFFMAN
6
2
5
3
FRECUENCIAS DE APARICIÓN
PROBABILIDADES DE APARICIÓN
IMAGEN DE 4x4 píxeles con 2 bits/pixel -> 4 niveles de gris
Nivel de gris
00
01
10
11
616
0.375216
0.125516
0.3125316
0.1875
00
01
10
11
1
00
010
011
Huffman Original
Original Huffman
L 2 0.375 2 0.3125 2 0.1875 2 0.125 2 bits/pixel
L 1 0.375 2 0.3125 3 0.1875 3 0.125 1. 9375 bits/pixel
0.375 log20.375 0.3125 log20.3125 0.1875 log20.1875 0.125 log20.125 1. 8829 bits/pixel
ENTROPIA
00011000101110000010111100100100
1011001000100011000100101000111
Original
Huffman
Ejemplos de aplicación II
Telecomunicaciones Basadas en teoría de la información
Gracias por la atención