Mobile testing, ¿cómo enfrentar los nuevos desafíos?

#GX24

Mobile testing¿CÓMO ENFRENTAR LOS NUEVOS DESAFÍOS?

PhD. Federico Toledo

@[email protected]

Ing. Guillermo Skrilec

@[email protected]

#GX24 #mobiletesting


bit.do/librodetesting

¿Es suficiente para ser un buen tester de aplicaciones mobile?


Saber cómo se hace, para saber cómo se puede romper

Nuevas herramientas

Nuevos ingredientes para la vieja receta del testing

Desafío por la variedad de dispositivos

Desafío por la variedad de dispositivos


¿Puedo usar Emuladores?

White paper from tcs.com: Mobile application testing

Dispositivo (Red de datos)

Dispositivo (Wi-Fi + Simulador de red)

Emuladores


¿Emuladores o dispositivos?


Emuladores – Ventajas

• Reducir costos


Emuladores – Desventajas

No son reales.No se prueba la verdadera sensación del usuario al dispositivo.No se puede medir la performance real del dispositivo. No cuenta con implementaciones del fabricante:

(tienen la implementación oficial de Android).No cuenta con sensores reales.No tienen plan de datos. …


¿Emuladores o simuladores?


En iOS solo hay Simuladores


Lo que mata es la variedad.

¡En mi celular anda!

¿Cómo seleccionar los dispositivos?

¿EN QUÉ DISPOSITIVOS PRUEBO?


Entonces, ¿qué dispositivos elijo?

Entre 5 y 10 dispositivos.

Selección basada en riesgo.

? ? ???


Testing basado en Riesgo

Los dispositivos más usados.


Testing basado en Riesgo

Menos recursos.

Los que no hemos probado.

Dispositivos más nuevos.


Preguntas para seleccionar los dispositivos (1/4)

¿Smartphones o tablets? ¿O ambos?



¿Variedad de tamaños de pantalla?



¿Se cuenta con al menos un gama baja y un gama alta?



Para cada Sistema Operativo ¿Cuáles son los dispositivos y versiones más

populares del público objetivo?

¿Cómo calculo eso?


Diversidad en AndroidEstadísticas iniciales proporcionadas por Android.

http://developer.android.com/about/dashboards/index.html




Diversidad iOS

Septiembre de 2014: 95% en la versión anterior o superior- 49% en iOS 7- 46% en iOS 8


Estadísticas solo al inicio


Google Analytics – por SO


Google Analytics – por dispositivo

¡Ojo con esto!• ¿No será que estos son los dispositivos más comunes

porque no funcionan en el resto?


Set de ejemploDispositivo Tipo Gama Sistema

Operativo

iPad Mini Tablet Alta iOS 7

iPhone 5S Smart Phone

Alta iOS 8

Galaxy Tab Tablet Alta Android 4.4

Sony Xperia X10 Smart Phone

Baja Android 2.1

Galaxy ACE Smart Phone

Baja Android 2.2


Set de ejemploDispositivo Tipo Gama Sistema

Operativo

iPad Mini Tablet Alta iOS 7

iPhone 5S Smart Phone

Alta iOS 8

Galaxy Tab Tablet Alta Android 4.4

Sony Xperia X10 Smart Phone

Baja Android 2.1

Galaxy ACE Smart Phone

Baja Android 2.2

¡¿Pruebo todo en todos los dispositivos?!


Cobertura en el tiempoVersión 1

Test Suite Critica

Todos los dispositivos

Test Suite 1

iPad Mini

Test Suite 2

iPhone 5S

Test Suite 3

Galaxy Tab

Test Suite 4

Xperia

Test Suite 5

ACE

Versión 2Todos los dispositivos

ACE

iPad Mini

iPhone 5S

Galaxy Tab

Xperia


Galaxy Tab

Xperia

ACE

iPad Mini

iPhone 5S


Xperia

ACE

iPad Mini

iPhone 5S

Galaxy Tab

Tiempo


iPhone 5S

Galaxy Tab

Xperia

ACE

iPad Mini


Ok, ya sé qué dispositivos elijo

¿Todos vamos a comprar un set?


COMPARTIR: OpenDeviceLab.com


Open Device Lab - Uruguay• Donaciones de particulares:

– 4 Android gama baja– 1 Android gama alta– 1 iPhone– 1 FirefoxOS– 1 Tablet Android

• Convenios con proveedores.

• Reservas y donaciones [email protected] @OpenDeviceLabUY

mailto:[email protected]

Saber cómo se hace, para saber cómo se puede

romper


Ciclo de vida App iOS

- No ejecutando, pero debe poder enviar notificaciones.

- Activa, recibe eventos de usuario.

- Inactiva, no recibe eventos.- Background, ejecuta

código.- Suspendida, no ejecuta

código.

- Abrirla por primera vez.


Integración Apps Android


Sensores Android


Mock Location


iOS 8


Pruebas “avanzadas”

Nuevas herramientas

#GX24 #mobiletesting @monkopapps

Ejecución automática

Reproducir en distintos dispositivos

Dispositivos remotos SaaS (PaaS)

Capturadores de tráfico

Muchas herramientas

#GX24 #mobiletesting @monkopappsGhostlab


Remote preview


1. monkop.com 2. Subir APP3. Ver reporte

Rápido y sin esfuerzo


La magia

• Performance• Seguridad• Robustez • Buenas prácticas


Oportunidades de mejora detectadas


http://www.monkop.com


RESUMIENDO

#GX24

PhD. Federico Toledo

@[email protected]

Ing. Guillermo Skrilec

@[email protected]

Mobile testing, ¿cómo enfrentar los nuevos desafíos?

Software

Transcript of Mobile testing, ¿cómo enfrentar los nuevos desafíos?