Evaluacion de la Calidad Subjetiva de Juegos Online segun el Dispositivo de Acceso

EVALUACIÓN DE LA CALIDAD SUBJETIVA DE JUEGOS ONLINE

SEGÚN EL DISPOSITIVO DE ACCESO

GTCTechnologies GroupCommunication

José Mª Saldaña Julián Fernández-Navajas

José Ruiz-Mas Luis Casadesus

Universidad de Zaragoza

Índice - I. Introducción

- II. Trabajos relacionados

- III. Pruebas y resultados

- IV. Conclusiones

URSI 2012, Elche

Introducción - Internet no fue diseñada para

servicios con requerimientos de tiempo real.

- Primeros servicios: e-mail, transferencia de ficheros

URSI 2012, Elche

Introducción - Pero estos servicios se están

usando cada vez más: VoIP, videoconferencia, juegos online

URSI 2012, Elche

- Problema: usamos una red best effort para un servicio de tiempo real.

- Los usuarios demandan una calidad similar a la que están acostumbrados (p. ej. Teléfono vs VoIP)

- Debemos encontrar la relación entre la calidad subjetiva y los parámetros de red:

- Retardo, pérdidas, ancho de banda, jitter.

Introducción

URSI 2012, Elche

Introducción - E-Model: Herramienta de la ITU para

estimar la calidad en función del retardo, pérdidas, codec.

- Baterías de encuestas para elaborar un modelo de MOS (Mean Opinion Score)

URSI 2012, Elche

Juegos FPS online - Requerimientos de tiempo real

muy estrictos:

- Interactividad (ver vídeo)

- Los jugadores son (muy) exigentes

URSI 2012, Elche

FPS online games - Características del tráfico:

- UDP

- Paquetes pequeños (100 bytes máximo)

- Alta frecuencia (de 25 a 85 pps)

- No existe un MOS para todos los juegos

- Algunos son más sensibles al retardo, otros a las pérdidas o al jitter, etc.




- IV. Conclusiones

II. Trabajos Relacionados

- Dimensionado del buffer

- Medir la calidad subjetiva para juegos online

URSI 2012, Elche

Dimensionado del buffer - Los jugadores usan redes de acceso

- Consideraremos por tanto router de gama media-baja

- Buffer pequeños (decenas de kilobytes)

- Políticas Drop-tail FIFO

URSI 2012, Elche

Dimensionado del buffer - Propuestas de dimensionado:

- Rule of the thumb: C x RTT

- Maximiza la ocupación del buffer

- Añade mucho retardo

- Stanford model: C x RTT / sqrt(N)

- Tiny buffer: 20 a 50 paquetes

URSI 2012, Elche

Dimensionado del buffer

Buffer más

grande

Mayor retardo

Mayor jitter

Menores pérdidas

Buffer más

pequeño

Menores pérdidas

Menor jitter

Mayores pérdidas

II. Trabajos Relacionados

- Dimensionado del buffer

- Medir la calidad subjetiva para juegos online

URSI 2012, Elche

Calidad subjetiva en FPS - MOS en función del retardo (dependencia lineal)

C. Schaefer, T. Enderes, H. Ritter, M. Zitterbart. “Subjective quality assessment for multiplayer real-time games”. In Proc 1st workshop on Network and system support for games (NetGames '02). ACM, New York, NY, USA, 74-78. 2002.

- Influencia del retardo y pérdidas (sin proponer un MOS)

S. Zander, G. Armitage, “Empirically Measuring the QoS Sensitivity of Interactive Online Game Players”. In Proc. Australian Telecommunications Networks & Applications Conference (ATNAC 2004), Sydney, Australia, Dec. 2004.

Diferente comportamiento frente a pérdidas:

- Halo: Deja de funcionar con 4% de pérdidas

- Quake III: Funciona hasta con 35%

URSI 2012, Elche

Calidad subjetiva en FPS - Retardo y jitter, por separado

M. Dick, O. Wellnitz, L. Wolf. “Analysis of factors affecting players' performance and perception in multiplayer games”. In Proc. 4th ACM SIGCOMM workshop on Network and system support for games (NetGames '05). ACM, New York, NY, USA, 1-7, 2005.

- Primer MOS, adaptado del E-model A. F. Wattimena, R. E. Kooij, J. M. van Vugt, O. K. Ahmed, “Predicting the perceived quality of a first person shooter: the Quake IV G-model”. In Proc. 5th SIGCOMM workshop Network and system support for games (NetGames '06), ACM, New York, NY, USA, 2006.

- Sólo consideran retardo y jitter

- Juego estudiado: Quake IV

- G-model: Es el que usaremos




- IV. Conclusiones

URSI 2012, Elche

Resultados previos VoIP - El E-Model usa el retardo y las

pérdidas.

- No se usa el jitter, porque se implementa un buffer de de-jitter

URSI 2012, Elche

Resultados previos VoIP - El MOS decrece monótonamente al aumentar

el tráfico de fondo:

1

1.5

2

2.5

3

3.5

4

4.5

5

400 450 500 550 600 650 700 750 800 850 900 950 1000

MO

S

background traffic (kbps)

E-Model MOS

1 call

5 calls

10 calls

15 calls

20 calls

URSI 2012, Elche

Un número de jugadores comparte la conexión (mismo router)

.

.

.Servidor del

juego

Usuarios

buffer

Internet

Router

Tráfico del juego

+ tráfico de fondo

Escenario considerado

URSI 2012, Elche

Metodología - El mismo escenario que en VoIP

- Juego FPS: Quake IV

- Trazas de tráfico obtenidas del CAIA project

- Consideramos el tráfico cliente-a-servidor (el más restrictivo, que coincide on el uplink)

URSI 2012, Elche

Metodología - Histogramas de tiempo entre

paquetes y pps: - 40.7 kbps / usuario

40 50 60 70 80 90 100 110bytes

0 10 20 30 40 50 60 70ms

79.5 bytes media

64 pps

URSI 2012, Elche

Metodología - 20 jugadores comparten una

conexión

- Buffer: Drop-tail, tamaño medido en kB

Ancho de banda Tamaños 2 Mbps 10 kB

3 Mbps 20 kB

50 kB

100 kB

URSI 2012, Elche

Metodología - Tráfico de fondo compartiendo la

conexión

- 50% paquetes: 40 bytes



- RTT de la red (30 ms) añadido offline

.

.

.Servidor del

juego

Usuarios

buffer

Internet

Router

Tráfico del juego

+ tráfico de fondo

URSI 2012, Elche

Resultados: Retardo

0

50

100

150

200

250

300

350

400

450

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms

tráfico de fondo (kbps)

RTT, 2 Mbps

10 kB

20 kB

50 kB

100 kB

URSI 2012, Elche

0

50

100

150

200

250

300

350

400

450

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms


RTT, 2 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: Retardo

Límite ancho banda: 40.7 x 20 = 814 kbps

URSI 2012, Elche

0

50

100

150

200

250

300

350

400

450

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms


RTT, 2 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: Retardo

Retardo inaceptable

URSI 2012, Elche

0

50

100

150

200

250

300

350

400

450

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms


RTT, 3 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: Retardo

URSI 2012, Elche

0

50

100

150

200

250

300

350

400

450

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms


RTT, 3 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: Retardo

Límite ancho banda: 40.7 x 20 = 814 kbps

URSI 2012, Elche

0

50

100

150

200

250

300

350

400

450

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms


RTT, 3 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: Retardo

Retardo inaceptable

URSI 2012, Elche

0

10

20

30

40

50

60

70

80

90

100

110

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms


Jitter, 2 Mbps

10kB

20 kB

50 kB

100kB

Resultados: jitter

URSI 2012, Elche

0

10

20

30

40

50

60

70

80

90

100

110

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms


Jitter, 2 Mbps

10kB

20 kB

50 kB

100kB

Resultados: jitter

Ancho de banda 40.7 x 20 = 814 kbps

Por encima del límite, el jitter baja, porque el buffer está siempre

lleno

URSI 2012, Elche

0

10

20

30

40

50

60

70

80

90

100

110

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms


Jitter, 3 Mbps

10kB

20 kB

50 kB

100kB

Resultados: jitter

URSI 2012, Elche

0

10

20

30

40

50

60

70

80

90

100

110

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

ms


Jitter, 3 Mbps

10kB

20 kB

50 kB

100kB

Resultados: jitter

El pico baja al aumentar el ancho de banda

URSI 2012, Elche

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000


Pérdidas de paquetes, buffer 10kB, 2 Mbps

juego (79 bytes media)

40 bytes

576 bytes

1500 bytes

Resultados: Pérdidas

URSI 2012, Elche

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000




40 bytes

576 bytes

1500 bytes


Los paquetes pequeños tienen ventaja en el buffer

medido en bytes

URSI 2012, Elche

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000




40 bytes

576 bytes

1500 bytes


URSI 2012, Elche

Resultados: MOS - Fórmula del MOS en el G-Model:

x = 0.104*ping_average + jitter_average

MOS = -0.00000587 x3 + 0.00139 x2- 0.114 x + 4.37

- Las pérdidas no se consideran mientras no sobrepasen el 35%

URSI 2012, Elche

1

1.5

2

2.5

3

3.5

4

4.5

5

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

MO

S


MOS G-Model, 2 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: MOS

URSI 2012, Elche

1

1.5

2

2.5

3

3.5

4

4.5

5

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

MO

S


MOS G-Model, 2 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: MOS

Buena calidad

Calidad media

Mala calidad

URSI 2012, Elche

1

1.5

2

2.5

3

3.5

4

4.5

5

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

MO

S


MOS G-Model, 2 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: MOS

El retardo y el jitter crecen

El retardo crece y el jitter baja

No decrecimiento monótono

URSI 2012, Elche

1

1.5

2

2.5

3

3.5

4

4.5

5

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

MO

S


MOS G-Model, 2 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: MOS

Los buffer pequeños presentan el mejor comportamiento

URSI 2012, Elche

1

1.5

2

2.5

3

3.5

4

4.5

5

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

MO

S


MOS G-Model, 3 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: MOS

URSI 2012, Elche

1

1.5

2

2.5

3

3.5

4

4.5

5

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

MO

S


MOS G-Model, 3 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: MOS

Buena calidad

Calidad media

Mala calidad

URSI 2012, Elche

1

1.5

2

2.5

3

3.5

4

4.5

5

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000

MO

S


MOS G-Model, 3 Mbps

10 kB

20 kB

50 kB

100 kB

Resultados: MOS

Valores aceptables de MOS por encima del límite de ancho

de banda




- IV. Conclusiones

URSI 2012, Elche

Conclusions - Access networks with low-end routers - Importance of the buffer size - Small buffers are better for real-time apps - Buffer implementation can penalyze big

packets - We cannot separately study each network

impairment - Need for subjective quality estimators to

calculate MOS - If delay and jitter are the considered

impairments, the jitter peak produces a MOS valley

Muchas gracias

GTCTechnologies GroupCommunication [email protected]

Evaluacion de la Calidad Subjetiva de Juegos Online segun el Dispositivo de Acceso

Education

Transcript of Evaluacion de la Calidad Subjetiva de Juegos Online segun el Dispositivo de Acceso