Cloud Gaming

73
CLOUD GAMING: una introducción Jose Javier García Aranda 1 28 Abril 2016

Transcript of Cloud Gaming

Page 1: Cloud Gaming

1

CLOUD GAMING: una introducciónJose Javier García Aranda 28 Abril 2016

Page 2: Cloud Gaming

2

¿Qué es esto?

Page 3: Cloud Gaming

Agenda

1| Introducción : concepto y tipos

6| futuro y cuestiones abiertas

5| Estado del arte de la tecnología: problemas y soluciones

Cloud gaming

3

4| Jugabilidad (Gameplay): la QoE del gaming

2| negocio potencial3| Historia e iniciativas comerciales

Page 4: Cloud Gaming

1| Introducción

Pasatiempo

Juega a varios juegos a la vez, pero poco tiempo a cada uno

No compra HW especial

No compra videojuegos o si compra invierte muy poco

>1h al dia

Busca mejorar

No es solo un pasatiempo, es mas un reto, una aventura

A veces participan en campeonatos

Compra periféricos específicos (teclado especial, ratón especial, etc)

¿Cómo te defines?

hard casual

Page 5: Cloud Gaming

5

1| Introducción

Page 6: Cloud Gaming

1| Introduccióncloud gaming concept

23

4 5 6Video Encoding

network

Video Decoding

Game server 1

Game logic

rendering

encoding

streaming

decoding

Page 7: Cloud Gaming

1| Introducción

RR: remote renderingLR: local renderingCRA: cognitive resource allocation

Tipos de cloud gaming

Page 8: Cloud Gaming

1| Introducción

Retos de cloud gaming

Tipos de soluciones cloud gaming

Afectación de la jugabilidad por problemas de latencia ( de red+ codificación) Pérdida de paquetes Diferencia de latencia el multijugador (también en online gaming) Escalabilidad, sobre todo si se descentraliza el servicio Elevación del consumo de ancho de banda

Page 9: Cloud Gaming

1| Introducción

“Siempre va a tomar algo de tiempo transmitir información, y dado el nivel actual de tecnología en Internet, hay una cantidad de latencia durante el proceso de enviar y recibir datos, por lo que me parece extraño que haya gente que afirme que el ‘cloud gaming’ es el futuro de los videojuegos”. (www.revistacloudcomputing.com)

Por supuesto, hay algunos juegos en los que este retardo no afecta a la jugabilidad y en los que este sistema podría tener sentido. Sin embargo, en algunos géneros, como en los títulos de acción, el tiempo de reacción es crítico y el ‘frame rate’ es determinante para que los movimientos sean fluidos. Con esto quiero decir que hay cierto tipo de juegos que pueden jugarse desde Internet y otros que no·

Page 10: Cloud Gaming

10

1| Introducción

streamer

gamegame

game

Admin console

Game catalogdatabase

Game portal

Ingest

New games

playerbrowser

users

Controller

agent

usersGame saved sessionsstatistics

statistics

Install gameStart game

publish

Arquitecturalaunch

Page 11: Cloud Gaming

11

1| Introducción

Admin console

Page 12: Cloud Gaming

Agenda

1| Introducción : concepto y tipos

6| futuro y cuestiones abiertas

5| Estado del arte de la tecnología: problemas y soluciones

Cloud gaming

12

4| Jugabilidad (Gameplay): la QoE del gaming

2| negocio potencial3| Historia e iniciativas comerciales

Page 13: Cloud Gaming

2| Negocio potencial

2014 2015facturación 81.000 M 91.000 Mjugadores 1700 M 1900 M

Facturación mundial en millones de dólares

Un tercio de la población mundial?

Juegos ordenador

Juegos para Consolas sobremesa

Juegos para Consolas portátiles

Resto (tablets y móviles)

40% 29% 4% 27%

Page 14: Cloud Gaming

14

2| Negocio potencial

Page 15: Cloud Gaming

2| Negocio potencial

Los analistas de TechNavio pronostican que el mercado global de cloud gaming crecerá a una tasa compuesta anual del 23,36% durante el periodo 2014-2019. En España:• En 2009 se facturó mas de 638 millones de euros en juegos y 562 en consolas• En 2014. se facturó 996 millones de euros, lo que supone un aumento del consumo del 6,8 % respecto al 2013. (fuente: Asociación Española de Videojuegos (AEVI) • En 2015 ha superado los 1000 millones de euros (AEVI)

Se mantienen en 2015

Page 16: Cloud Gaming

16

2| Negocio potencial

España se diferencia de las cifras a nivel mundial en el porcentaje de juegos de PC y consola, siendo mucho mas predominante la consola

Page 17: Cloud Gaming

17

2| Negocio potencial

Page 18: Cloud Gaming

18

2| Negocio potencial

Beta testers: las compañías desarrolladoras de videojuegos podrían deslocalizar sus betatesters sin temor a la piratería, gracias al cloud gaming, abriéndose a internet un mercado laboral interesante

Real-life games: conducir online un coche real, en un escenario real. Solo posible con tecnologia cloud gaming

Reducción de riesgo en desarrollos sw: en lugar de invertir varios millones en 2 años para sacar un nuevo título, programar una primera fase y ponerla en modalidad cloud. En función del éxito se podría seguir invirtiendo. Esto permitiría a pequeños estudios de videojuegos comenzar a ser sus propios publishers

proyecto“Racing drones”

Page 19: Cloud Gaming

Agenda

1| Introducción : concepto y tipos

6| futuro y cuestiones abiertas

5| Estado del arte de la tecnología: problemas y soluciones

Cloud gaming

19

4| Jugabilidad (Gameplay): la QoE del gaming

2| negocio potencial3| Historia e iniciativas comerciales

Page 20: Cloud Gaming

3| Historia

1997

nace quake (FPS) online

2000

G-Cluster (empresa finlandesa) presenta la primera implementación de la tecnología de juego en la nube en la Electronic Entertainment Expo (E3). G-cluster se funda en 2000 aunque es comprada por una compañía japonesa (softbank) en 2004

2003Amazon aws aparece auque aun no para cloud gaming, solo para cloud. Con el tiempo proporcionará una AMI especial para cloud gaming

1996

Duke nukem FPS online, primer juego con “ejecución especulativa” para compensar latencia

Page 21: Cloud Gaming

3| Historia

2004

softbank (japonesa) compra g-cluster. Tecnología propia (con miniconsola)

2005

2007nace ubitus en taiwan, aunque poco a poco abre oficinas en mas países, incluida USA (en california). Tecnología de servidores

online gaming se hace muy popular WoW, etc (12 millones usuarios)

2007

nace streammygame (software para cloud gaming privado)

Page 22: Cloud Gaming

3| Historia

2008

2009

nace OTOY (compañía de rendering) en USA. Actualmente se definen como cloud graphics company. Aliados con amazon. Tienen un codec propio para cloud gaming llamado ORBX2

nace gaikai (americana), aunque de momento no ofrece servicios

2010

SFR lanza cloud gaming en su red IPTV (no internet)- EUROPA

2010onlive empieza a operar en USA. Tienen su propia miniconsola, similar a g-cluster

Page 23: Cloud Gaming

3| Historia

2011Gcloud empieza a ofrecer cloud gaming sobre LTE en japon con NTT docomo y plataforma de ubitus (gcloud pertenece a ubitus)

2011

gaikai (empresa de california) comienza a ofrecer su servicio de cloud gaming para demos de juegos

2011

Nace Q4S, un protocolo de medida de calidad en tiempo real con vocación de servir de herramienta en cloud gaming

Page 24: Cloud Gaming

3| Historia

2012

2012

Nvidia saca Nvidia geforce grid: tecnología para operadores ( ellos no dan el servicio). Pronto “playcast” comenzará a usarlo

Sony compra gaikai por 380 millones. Pronto se convertirá en el servicio de cloud gaming de SONY bajo el nombre PS now

2012big fish (americana- seattle) saca su servicio de cloud gaming de casual games

2012onlive empieza a resquebrajase pero consigue nuevos inversores

Page 25: Cloud Gaming

3| Historia

2012

una compañía japonesa (coreonline perteneciente a square enix) anuncia su servicio cloud gaming

2012

playcast (Israel) anunca su servicio cloud gaming con tecnología nvidia

2012

2012

ubitus (taiwanesa con sede en california) con tecnología de marca blanca como ciinow, g-cluster, etc. ofrece un servicio de cloud gaming llamado gamenow (para smartTV , google TV, PC y tablets) y otro servicio de cloud gaming con verizon

AMD y alcatel lucent invierten en la compañía ciinow. Tecnologia servidores

Page 26: Cloud Gaming

3| Historia

2013

nace gaminganywhere (open source cloud gaming system)

2013

2013

nace playgiga (compañía española de cloud gaming marca blanca). Actualmente activos montando pilotos con operadores

ubitus lanza su servicio de cloud gaming sobre google tv

microsoft anuncia delorean (enmascaramiento de latencia en cloud gaming y online gaming con “ejecúción especulativa” avanzada)

2014

Page 27: Cloud Gaming

3| Historiasony saca playstation now. Un servicio de cloud gaming para jugar a juegos de consolas obsoletas. En realidad es gaikai!!!2014

2014

orange anuncia cloud gaming service basado en G-cluster, para su red de IPTV

nace shinra technologies, una compañía de square enix (japonesa) con headquarters en new york2014

OTOY se empieza a ofrecer como maquina dentro de AWS (redering + streaming). Ofrecen un api diferente a directx para rendering rápido y un streaming basado en un códec propio (ORBX 2 video códec)

2014

Page 28: Cloud Gaming

3| Historiasony compra onlive y a continuación la cierra. Sony has purchased 140 cloud gaming patents and other technologies, removing OnLive from the competition completely2015

2015ciinow (americana) quiebra. Después de 3 años sin conseguir un despliegue comercial en ningún operador, Se decide discontinuar (ALU y AMD)

shinra (japonesa de square enix) cierra en enero2016

Page 29: Cloud Gaming

29

3| Historia

Utilizado en pruebas para el proyecto de innovacion “SmartStream” conjuntamente ALU y UPM, fruto del cual nació el protocolo Q4S en 2011

Page 30: Cloud Gaming

30

3| Historia

Ciinow: marzo 2012 en TelefónicaEse mismo año también se hizo un piloto con Orange España, usando LTE y red fija

CLOUD GAMING SURVEYUPM Event (marzo 2012)

Page 31: Cloud Gaming

Agenda

1| Introducción : concepto y tipos

6| futuro y cuestiones abiertas

5| Estado del arte de la tecnología: problemas y soluciones

Cloud gaming

31

4| Jugabilidad (Gameplay): la QoE del gaming

2| negocio potencial3| Historia e iniciativas comerciales

Page 32: Cloud Gaming

4| Jugabilidad (Gameplay)

Gameplay is the specific way in which players interact with a game, and in particular with video games. Gameplay is the pattern defined through the game rules, connection between player and the game, challenges and overcoming them, plot and player's connection with it. Video game gameplay is distinct from graphics and audio elements. (esto ultimo es cuestionable pues afecta a las emociones, que son un parámetro del gameplay)

Necesitamos saber como el cloud gaming impacta en el gameplay (concretamente en las manipulation rules) para valorar si dicho impacto (que siempre será negativo) impide o no que esta modalidad de jugar despegue como negocio, o si como dice Nintendo, sólo es válida para ciertos tipos de juegos

Motivo para comprender, analizar y medir el gameplay

componentesManipulation rules: como se interactúagoal rules: qué hay que hacerMetarules: como puede tunearse

Gameplay es diferente según el tipo de juego

Page 33: Cloud Gaming

4| Jugabilidad (Gameplay)Mundo abiertoMundo cerrado

Shoot ‘em up

plataformas

RPG (role playing game)

MMORPG (Massive Multiplayer Online role playing game)

RTS (Real time strategy)

Beat em up /Fighting /Accción

MMO (massive multiplayer online)

arcade aventuras

FPS (first person shooter)TPS (Third person shooter)

Shooter

Puzzle

SimulaciónSportsracingMascotas, etc

Shoot ‘em upRun and gunTube shooterFPS …

Page 34: Cloud Gaming

34

4| Jugabilidad (Gameplay)Es un término ambiguo con muchas definiciones según cada autor y tambien se solapa con “playability” o facilidad de un juego de ser jugado

"Gameplay here is seen as the interactive gaming process of the player with the game." "Playability and Player Experience Research" in Proceedings of DiGRA 2009. http://www.digra.org/wp-content/uploads/digital-library/09287.44170.pdf

“The experience of gameplay is one of interacting with a game design in the performance of cognitive tasks, with a variety of emotions arising from or associated with different elements of motivation, task performance and completion”. "Dissecting Play – Investigating the Cognitive and Emotional Motivations and Affects of Computer Gameplay". Proceedings of CGAMES 08. http://bth.diva-portal.org/smash/get/diva2:835951/FULLTEXT01.pdfLa jugabilidad es un conjunto de complementos que conforman un todo para hacer que un videojuego sea agradable de jugar, en esto entra los controles, su respuesta, las mecánicas jugables que ofrece, las opciones jugables y como esto afecta a la experiencia en si, haciéndolo intuitivo, fácil de dominar por más complejo que sean las mecánicas que el juego ofrece y no tiene nada que ver con la parte gráfica o sonido del juego.

Existe otra corriente que defiende que la calidad gráfica, artística y técnica influyen en la jugabilidad pero en ningún momento cuantifican su influencia “how can we design user interfaces to be more fun” (Ben Shneiderman, 2004)

Page 35: Cloud Gaming

35

capacidad que tiene el videojuego en cuestión de hacernos disfrutar de su experiencia interactiva; esto afectaría a las mecánicas jugables tales como disparar con una nave en un matamarcianos o comer fantasmas en un comecocos(hay muchas más, naturalmente), y a la dinámica interactiva en la que nos sumerge.Ciertamente, unos gráficos espectaculares o un sonido de calidad son puntos a tener en cuenta a la hora de valorar un videojuego ya que nos hace disfrutar mejor de la experiencia que nos ofrece. Sin embargo, si la dinámica interactiva falla a la hora de engancharnos de poco valdrán la espectacularidad de dichos elementos. (www.razielwinner.com)

4| Jugabilidad (Gameplay)

Cómo medirla : 7 atributosPlayability se define como la facilidad que tiene un juego para ser jugado y es una medida de la calidad del gameplay, a través de 7 atributos.El hecho de incorporar un nuevo término es confuso. De hecho en muchas ocasiones vemos igualados playability y gameplay

A modo de síntesis, podríamos decir que la jugabilidad es la capacidad de divertir y enganchar que tiene un videojuego.

Page 36: Cloud Gaming

36

4| Jugabilidad (Gameplay)Los parámetros se afectan unos a otros. Una mejora en un atributo puede implicar una mejora en todos los demás parámetros

atributo Relacionado con medibles en cloud gaming

Satisfacción/diversión

Gustos, balance esfuerzo-recompensa. Ojo porque mantener el balance implica tener en cuenta el aprendizaje del jugador

Aprendizaje Reglas del juego claras

Efectividad

correcta interactividad ( cuanto tiempo tardas en sacar la espada y si eso hace que pierdas por que el juego no te permite reaccionar rápido). hay juegos que requieren una mayor precisión en el control (como son los juegos de plataformas) y otros que ofrecen un mayor abanico de posibilidades de interacción (como los RPG).

Latencia compuesta , efectividad de técnicas de anticipación

Inmersiónpercepciones y sensaciones creíbles, realismo y calidad grafica, realismo de las fisicas, interacción con el terreno y con los elementos del terreno. Posibilidades del interfaz (acciones),

Packet loss, fps,resolucion, compresion

Motivación: Esfuerzo recompensa, diversidad o monotonía, estimulación

emoción Gráficos, música, historia, esfuerzo-recompensa…

SocializaciónInteractividad en juegos multijugador, escalabilidad de GaaS Latencia,

escalabilidad

Page 37: Cloud Gaming

37

4| Jugabilidad (Gameplay)Ejemplos de métricas asociadas a atributos

Page 38: Cloud Gaming

38

4| Jugabilidad (Gameplay)

Ejemplos de “superficie de experiencia” en dos videojuegos diferentes

Evaluación (superficie de experiencia):

Evaluación típica en revistas especializadas:

No hay homogeneidad aunque suelen separar aspectos graficos y sonoros .Aparecen conceptos como valor, curva, diversion…

Page 39: Cloud Gaming

4| Jugabilidad (Gameplay)

Los atributos se afectan unos a otros y están ligados entre si . Cada atributo puede tener varias métricas lo que hace dificil evaluarlos. JL. Sanchez (2010) propone la caracterización con facetas de la jugabilidad, que tienen en cuenta los atributos y sus métricas, las facetas tienen la ventaja de tener un ámbito bien delimitado. También propone una medida de la jugabilidad que sería la suma ponderadacada faceta en funcion del tipo de juego

Evaluación basada en “facetas”

Jugabilidad intrinsecaJugabilidad mecanicaJugabilidad interactivaJugabilidad artisticaJugabilidad intrapersonalJugabilidad interpersonal

Page 40: Cloud Gaming

40

4| Jugabilidad (Gameplay)impacto del cloud gaming en el gameplay

Parametros técnicos limitados por cloud gaming

Atributos relacionados Facetas relacionadas

fps Afecta a la satisfacción, emoción, inmersión, efectividad

Jugabilidad mecánica

Resolución /bitrate Satisfacción, inmersión, emoción Jugabilidad artística

Latencia de red, latencia de codificación

Afecta a la interactividad (parte de la efectividad)

Jugabilidad interactiva

Limitación de escalabilidad (debida a latencias)

Afecta a la socialización (se utilizan tecnicas de “partitioning” para juntar en “islas” los usuarios que pueden comunicarse fluidamente entre si)

Jugabilidad interpersonal

Mecanismos de anticipación

Afecta a la interactividad (parte de la efectividad) y a la socialización

Jugabilidad intrapersonal e interpersonal

Solo se queda fuera la jugabilidad intrínseca, que depende de las reglas del juego

Page 41: Cloud Gaming

4| Jugabilidad (Gameplay)impacto de la reducción de fps y calidad en cloud gaming en el gameplay

Mas fps implican mas recursos cloud y mayor ancho de bandaMenos fps generan mala QoE y mayor dificultad

12 20 30 60Percibimos los frames

No Percibimos los frames pero es algo brusco

Suave pero en videos de alto movimiento puede ser insuficiente

suave

Cine: 24 Cine alta calidad: 48

Page 42: Cloud Gaming

42

4| Jugabilidad (Gameplay)impacto de la reduccion de fps y calidad en cloud gaming en el gameplay : satisfacción, emoción, inmersión, efectividad

Page 43: Cloud Gaming

43

4| Jugabilidad (Gameplay)impacto de la reduccion de fps y calidad en cloud gaming en el gameplay : satisfacción, emoción, inmersión, efectividad

Page 44: Cloud Gaming

44

4| Jugabilidad (Gameplay)

QUESTION 1Have you noticed loss on graphics quality with respect to PC or console?

QUESTION 2Have you noticed slower time response on key pads with respect to PC or console?

QUESTION 3Has it been a new good experience?

CLOUD GAMING SURVEYUPM Event (marzo 2012)

35 students from UPM*, between 19 and 23 years-old: 3 hardgamers, 32 casual6 games available, hosted in CiiNow platform in a Telefonica Data Center in Madrid3 players simultaneously, each using 6Mbps

Page 45: Cloud Gaming

Agenda

1| Introducción : concepto y tipos

6| futuro y cuestiones abiertas

5| Estado del arte de la tecnología: problemas y soluciones

Cloud gaming

45

4| Jugabilidad (Gameplay): la QoE del gaming

2| negocio potencial3| Historia e iniciativas comerciales

Page 46: Cloud Gaming

5| estado del arte: problemáticas

Tabla resumen de Problemas y soluciones parcialesproblema Solución parcial comentario

Calidad de red( Latencia de red y pérdida de paquetes)

Q4S, N-QoS, IPTV La solución mas fácil (y única que se ha llevado a cabo comercialmente) es usar la red de IPTV

Latencia de codificación

LHE, OTOY codec, ancho de banda mayor, mayor potencia de calculo, tecnicas adaptativas de resolucion, motor de juego modificado para ahorrar tiempo de cálculo de vectores

Un códec mas rápido puede ahorrar inversiones millonarias en servidores ubicados en la ultima milla

Latencia total Ejecución especulativa, modelo LR o CRA,Inversion en la ultima milla.Técnicas de “partitioning” (islas)

Hacerle creer al usuario que su respuesta es inmediata

Pérdida de paquetes Q4S, A-QoS, adaptacion dinamica de bitrate y/o resolución y/o fps

Según que códec, hay limitaciones respecto lo que es posible hacer

Page 47: Cloud Gaming

5| estado del arte: problema calidad de red

Caracterización del tráfico de vídeo interactivo (capturas wireshark)

Conclusión: la multiplexación estadística de los flujos de video de los usuarios es posible sin reserva estricta de recursos = “donde caben 2, caben 3”, por lo tanto la reserva estática de ancho de banda no es adecuada como posible solución, es más eficiente la “calidad dinámica bajo demanda”

Page 48: Cloud Gaming

Caracterización del tráfico de vídeo interactivo

Dirt 2

Defense Grid Gold (Estrategia 3D)

5| estado del arte: problema calidad de red

Page 49: Cloud Gaming

49

Private Network(IPTV)

InternetContent providerContents & applications

OperatorContents & applications

QoS

. . .

Fixed or mobile user

5| estado del arte: soluciones: Q4S + N-QoSRol de los operadores: Vender contenidos versus vender calidad dinámica bajo demanda

Page 50: Cloud Gaming

50

5| estado del arte: soluciones: Q4S + N-QoS

Q4S: measurement of quality

latency jitter bandwidth packetloss

4 rings to rule them all

Page 51: Cloud Gaming

51

YES

YES

NO

NO

5| estado del arte: soluciones: Q4S + N-QoS

Page 52: Cloud Gaming

5252

Demo Lab environment

latency

packetloss

jitter

30 ms encodingHigh-end PC

End-user laptop

Q4S

Q4S

Network-Emulator

Q4S-ALERT receiver& policy server function

5| estado del arte: soluciones: Q4S + N-QoS

Page 53: Cloud Gaming

53

Q4S: un protocolo para medir calidad en tiempo real . La idea es solicitar al operador mas calidad solo cuando sea necesaria, de modo que el operador nos venda calidad dinámica bajo demanda (Network-based QoS) , y los juegos los proporcionen terceras empresas , no el operador.

5| estado del arte: soluciones: Q4S + N-QoS

Page 54: Cloud Gaming

54

Para calcular la latencia de codificación/decodificación de Streammygame añadimos como “juego” un reloj y hacemos una foto a las dos pantallas simultáneamente. Puesto que estamos en la misma red la latencia de red es casi cero y la diferencia entre los relojes será aproximadamente la latencia de codificación/decodificación:

5| estado del arte: problema latencia codificación

40ms

30ms

Nota: la imagen de un reloj es sencilla y poco movimiento salvo en los milisegundos. Una imagen compleja podría tardar mucho mas

Page 55: Cloud Gaming

55

Huyes, pero no huyes realmente hasta 130ms +80ms =210ms después de que te disparasen

80ms

El disparo sale realmente 20 ms después

Te enteras de que te han disparado 40+80+10=130ms después de que lo han hecho

20ms 80ms + video decoding

40ms Video encoding

Cuanto Tiempo tienes para huir?

5| estado del arte: problema latencia codificación

Page 56: Cloud Gaming

56

5| estado del arte: problema latencia codificación

Codificación de video: etapas

Calculo

vectores

streamingInfo diferencial encoding

• Division en bloques• Transformacion DCT• cuantizacion

Block matchingFrames IFrames PFrames B (no válidos)

Relleno de estructura info para Payloader

60% 30%

Page 57: Cloud Gaming

5| estado del arte: soluciones : OTOY codecSolucion propietaria

Page 58: Cloud Gaming

58

(Información sensorial)

(Información perceptuall)

5| estado del arte: soluciones :LHE

Ejemplo de asignación de hops y reconstrucción realizada por LHE

Modelado de la respuesta logarítmica del ojo humano

Page 59: Cloud Gaming

59

Los valores que se alegran del brillo medio “local” se interpretan con menos precisión, ya sea por exceso (izquierda) o por defecto (derecha)

h1 min=4

h1 max

Zona lisa o suaveborde

X

Rango de variación de h1

5| estado del arte: soluciones :LHE

Page 60: Cloud Gaming

60

•Estrictamente lineal O(N)•Bit-rate no elegible

5| estado del arte: soluciones :LHE

Page 61: Cloud Gaming

61

5| estado del arte: soluciones :LHE

Page 62: Cloud Gaming

62

Lena @ 0.1bpp JPEG, LHE, JP2K

62

5| estado del arte: soluciones :LHE

Page 63: Cloud Gaming

63

No hay efecto de bloques en LHE porque los bloques comparten los PPP en las esquinas y no hay saltos de resolución

No hace falta deblocking filter como se hace en h264 intraframe

JPEG y LHE a 0.3bpp

hay efecto de bloques en JPEGporque hay saltos de cuantización de las componentes de las distintas frecuencias entre bloques

5| estado del arte: soluciones :LHE

Page 64: Cloud Gaming

64

5| estado del arte: soluciones :LHE

1st LHE

New frame(Y2)

PR metric

Elastic Downsampling

DifferentialFrame info

2nd LHE

Δy

Interpol (Y1’’)

Vector computation

Y2’Δy= y2’- interp(y1’’)

Y2’’

Y1’’

{wi}

Bloque de Frame Y2

Bloque de Frame Y1

Antes de calcular la info diferencial debemos adaptar resoluciones con una interpolación por vecino (sin coste)

Δy= y2’- interp(y1’)

Yi’: submuestreada sin cuantizarYi’’: submuestreada cuantizada

Page 65: Cloud Gaming

5| estado del arte: soluciones: motores “especiales”

Un motor que envia información al video encoder sobre el movimiento de los objetos de la escena, simplificaría los cálculos, reduciendo hasta un 39% el encoding time. EL problema es que el juego tiene que estar programado con ese motor…

Page 66: Cloud Gaming

66

5| estado del arte: problema inmediatez

Por debajo de 60ms de red, considerando 40ms de encoding, es molesto

Page 67: Cloud Gaming

5| estado del arte: soluciones: ejecución especulativa

“Ejecución especulativa” o mecanismos de “compensación de latencia”Solo aplicable si el rendering se ejecuta en el lado cliente. Básicamente consiste en hacer creer al usuario que su acción ha sido tenida en cuenta aun cuando el server aun no ha recibido el mensajeEs “especulativa” por que puede que cuando el mensaje llegue al servidor haya que deshacer la acción. La desincronización es corregida cuando el cliente recibe el game state desde el server. Si es necesario “arreglar” la situación, se involucran mecanismos “suaves”, para que el usuario no sea del todo consciente de un cambio brusco en el juego

Duke Nukem 3D fue el primer juego online en aplicar esta técnica en 1996

Page 68: Cloud Gaming

68

5| estado del arte: problema pérdida paquetes

Reajuste de bitrate: normalmente es posible

Solicitud de N-QoS al operador: a dia de hoy no se hace

Reajuste de resolución: los codecs convencionales no lo permiten (LHE si)

Reajuste de fps: el impacto puede ser muy negativo si bajamos de 20fps

Los mecanismos de videostreaming adaptativo (como HLS o smooth streaming) no son aplicables porque en cloud gaming no hay retransmisiones ni tenemos el video almacenado en distintas resoluciones

Page 69: Cloud Gaming

69

5| estado del arte: problema pérdida paquetes

12 20 30 fps

Bitrate

Resolution

Como manejar las 3 dimensiones maximizando el gameplay? ( QoE del videojuego y no QoE del video) codec

actuador Métricas Q4S

fps, bps, res

Page 70: Cloud Gaming

5| estado del arte: soluciones adaptar resolución vs bitrate

Reducción de bitrate: 0.1bpp

Reducción de resolución(menos bloques, mas precisos) . 0.4bpp

interpolación

Imagen original

512

256

Page 71: Cloud Gaming

Agenda

1| Introducción : concepto y tipos

6| futuro y cuestiones abiertas

5| Estado del arte de la tecnología: problemas y soluciones

Cloud gaming

71

4| Jugabilidad (Gameplay): la QoE del gaming

2| negocio potencial3| Historia e iniciativas comerciales

Page 72: Cloud Gaming

5| futuro y cuestiones abiertas

Q4S + A-QoS + N-QoS + LHEUsando gaming anywhere

Google Cloud Platform synchronizes data across mobile, console, and PC, and lets you orchestrate your game centrally from the cloud.

(de Amazon)

Nintendo va a entrar en cloud gaming en marzo de 2017?

Page 73: Cloud Gaming

5| futuro y cuestiones abiertas

•Información negocio• Asociacion española de videojuegos http://www.aevi.org.es/

•Tools:• GamingAnywhere: http://gaminganywhere.org/• Streammygame : http://streammygame.com/smg/index.php

•Sobre LHE• Presentacion sobre el codec : http://ceiboard.dit.upm.es/rsti/?p=348• Proyecto Github https://github.com/magonzalezc/LHE branch: lhe_develop• Articulo IET image processing Journal:

http://digital-library.theiet.org/content/journals/10.1049/iet-ipr.2014.0421

•Sobre Q4S• Q4S video http://www.youtube.com/watch?v=dzhFO3jsnic • Q4S protocol https://tools.ietf.org/pdf/draft-aranda-dispatch-q4s-03.pdf

Enlaces de interés