Metodologías de Monitoreo y Evaluación en proyectos de Telemedicina

Profesor-Investigador Asociado Centro de Investigación y Docencia Económicas (CIDE) Congreso de Telesalud Región de las Américas 5 de septiembre de 2014

Mtro. César Rentería

Agenda 1. Cuatro tipos de evaluación en

Telemedicina

2. Componentes de un sistema de monitoreo y evaluación

3. Construcción de indicadores

4. ¿Cómo utilizar esta información para la toma de decisiones?

Introducción • Se abordará una propuesta desde la perspectiva de admistración

pública (Modelo de Marco Lógico)

• Pretende ser una demostración aplicada de SM&E y no una discusión teórica

• La propuesta es un trabajo en proceso, cuya metodología no se detallara por cuestiones de tiempo

• La propuesta se ilustrará con el caso de Sistema de Telemedicina de Nuevo León (STNL)

5

1 Tipos de evaluación de Telemedicina

Existen diferentes aspectos a evaluar en un Sistema de Telemedicina, dependiendo del objetivo de la evaluación • ¿Qué se quiere evaluar?

Evaluación de impacto Evaluación tecnológica

Evaluación de desempeño Evaluación económica

La evaluación tecnológica puede ser formativa para obtener retroalimentación o sumativa para demostrar beneficios

• Formativa: para mejorar el aprovechamiento de tecnología bajo evaluación, proveyendo de información a los desarrolladores o implementadores

• Sumativa: trata de demostrar los beneficios no económicos de una tecnología específica en los servicios médicos

• Algunas preguntas que conducen las evaluaciones tecnológicas:

• ¿Qué TI debe ser seleccionada e instalada?

• ¿Cómo mejorar la adopción y usabilidad de la TI?

Evaluación de impacto mide el efecto del programa en una variable de interés; método muy usado Randomised Controlled Trials (RTC)

•RCT, muy utilizado en medicina, tiene una gran aceptación en las políticas públicas.

• El poder de la selección aleatoria

• Contribución del programa en las condiciones de vida de los beneficiarios

•Fundamentales para demostrar beneficio de una intervención y para el diseño de evaluación de desempeño

Fuente: Friedman, 1996

9

Las evaluaciones económicas proveen información sobre la eficacia y costo de la telemedicina frente a otras alternativas

▪Principales tipo de evaluación económica:

–Análisis de costos (CA). compara recursos utilizados versus los costos de oportunidad asociados (el valor monetizado de la mejor alternativa para el uso de los recursos).

–Análisis costo-efectividad (CEA). Comparación costos económicos versus resultados no monetizables (p. ej. morbilidad reducida)

–Análisis costo-beneficio (CBA). Comparación de costos con resultados monetizados.

10

2 Evaluación de desempeño

Evaluación del desempeño: basada en el Sistema de monitoreo y evaluación (M&E)

• La evaluación de desempeño permite transitar de una gestión tradicional:

• Busca adecuarse a los recursos, funciones y normas existentes

• A una gestión enfocada en el desempeño

• Se determinan los productos y actividades en función de los resultados

Busca dar respuesta a preguntas como:

• ¿El programa ha producido los resultados esperados?

• ¿Cuál es el nivel de avance del programa en un momento determinado?

• ¿Cómo distinguir el éxito del fracaso en la implementación?

El monitoreo y la evaluación son actividades complementarias

• Monitoreo

• Recolección periódica de datos que informen sobre el grado de avance y logros de un programa.

• Detección temprana de focos rojos en términos de calidad en la prestación de servicios médicos

• Evaluación

• Determinar la relevancia de los objetivos, la eficiencia o eficacia con que se logran, el impacto del programa, etc.

• Consistencia del programa con los objetivos: ¿el diseño del programa permite alcanzar los objetivos? ¿o es necesario modificarlo?

¿Cómo diseñar un Sistema de M&E para Telemedicina?

• Cuatro pasos para la construcción del Sistema de M&E en Telemedicina:

1.Diagnóstico de la situación

A. Análisis de la población objetivo

B. Análisis de la teoría causal

C. ¿Cómo opera el programa?

2.Elaboración de una Matriz de Marco Lógico

A. Separación analítica de las líneas de acción del programa

3. Construcción de indicadores clave para el monitoreo y la evaluación

4. Planificar: ¿cómo se mejorará el SM&E?

Ajustar la teoría causal

Mejorar los indicadores

Modelo de Marco Lógico. Método para organizar actividades y productos con resultados deseados. Difundido por PNUD, CEPAL, BID, Hacienda, etc.

14

La teoría causal. Comienza estudiando lo que se sabe del problema público y la forma en que se ha intentado resolver

▪ ¿Cuál es el problema?

– Ejemplo STNL: la poca accesibilidad a servicios médicos de tercer nivel en zonas rurales genera una alta tasa de morbimortalidad

▪ Revisar evidencia empírica sobre:

– ¿Cuáles son las causas de la alta tasa de morbimortalidad?

– ¿Qué problemas genera en la sociedad una alta tasa de morbimortalidad?

– ¿Cómo se ha tratado de resolver en otros lugares? ¿Y qué resultados han tenido?

Jerarquía de calidad de evidencia

Fuente: Davies, 2011

Opinión de expertos

Estudios de caso / estudios cualitativos

Estudios cross-sectional

Estudios no experimentales

Estudios cuasi-experimentales

RTC

Revisión sistemática

▪ ¿Qué tipo de evidencia revisar?

15

Árbol de problemas: es una herramienta analítica que ayuda a visualizar la teoría causal de un problema

▪ Permite visualizar las causas y los efectos del problema focal

▪ Contextualiza sobre lo que puede y no puede contribuir el Sistema de Telemedicina al problema analizado

▪ Permite evaluar la consistencia: si las actividades del Sistema de Telesalud están asociadas al problema

Esquema de árbol de problemas

Efectos del problema focal

Problema focal

Causas del problema focal

El Sistema de Telemedicina atiende una causa del problema focal; el problema focal tiene diversas consecuencias

Alta tasa de morbimortalidad en la localidad (zona rural)

Mayor inasistencia

laboral

Menor ingreso disponible en

pacientes

Elevados gastos en salud

PACIENTES

Menor calidad de vida

Bajo potencial productivo local

Mayor inasistencia

escolar

Deficiente calificación

laboral

Menores remuneraciones

Menor rendimiento

Mayor costo de producción

Malos hábitos de higiene

Deficiente acceso servicios de tercer

nivel

Ambiente contaminado e

insalubre

Telemedicina (STNL)

Mecanismos de acción: ¿cómo Telemedicina resuelve este problema?

Telemedicina

Máxima cobertura Telemedicina

Promoción adopción y uso de Teleconsultas

Hospitales Regionales

conectados al Centro de Telecomando (CT)

Especialidades disponibles en Teleconsulta

Capacidad instalada en CT (salas de

consulta, equipos, etc.)

Adopción actores: -Especialistas

-Médicos -Pacientes

Conocimiento y valoración del

servicio

Deficiente acceso servicios de tercer

nivel

18

3 Construcción de indicadores

Un indicado es una medida específica que, cuando es observada a lo largo del tiempo, indica el progreso (o no) de una tarea específica

Secuencia de proceso del programa

• Indicadores endógenos. Mide únicamente elementos pertenecientes al ámbito de gestión del programa

• Indicadores exógenos. Relacionados con los resultados de la implementación del programa

• Importancia de una buena teoría causal: Si la teoría causal no es adecuada, habrá desconexión entre indicadores endógenos y exógenos, ¿qué implica?

• P. ej. el desempeño puede ser excelente y no alterar los resultados

Actividades Productos Resultados Impacto

Recursos necesitados

Bienes o servicios

entregados

Beneficio directo observable del

programa

Efecto en el mediano o largo plazo

Indicadores endógenos Indicadores exógenos

Insumos

Cómo se utiliza el recurso

Es importante comenzar respondiendo preguntas clave para después traducirlo a formas de medirlo

Insumos

Actividades

Productos

Resultados ¿Cuál es el objetivo general de la organización?

¿Cuáles son los objetivos específicos?

Para lograrlo: ¿Cómo se debe hacer?

¿Qué se necesita?

Ejemplo STNL:

Mejorar la provisión de servicios de salud en lugares alejados

1. Aumentar la cobertura de Telemedicina 2. Fomentar la adopción y uso

1.1 Capacitar personal para Teleconsultas 1.2 Que el paciente experimente una consulta

satisfactoria

1.3 Equipo de videoconferencia 1.4 Aceptación de tecnología por parte de

médicos

¿Cómo aterrizar los indicadores exógenos? (Resultados e Impacto)

Alta tasa de morbimortalidad en la localidad (zona rural)

Mayor inasistencia

laboral

Menor ingreso disponible en

pacientes

Elevados costos de atención en

salud

PACIENTES

Menor calidad de vida

Bajo potencial productivo local

Mayor inasistencia

escolar

Deficiente calificación

laboral

Menores remuneraciones

Menor rendimiento

Mayor costo de producción

Indicadores exógenos: efectos esperados en pacientes

Sub-grupo Indicador Fuente

Efectividad Médica

Tasa anual de morbilidad en zonas rurales SIS

Tasa anual de mortalidad en zonas rurales SIS

Situación laboral

Ingreso familiar mensual promedio en zonas rurales ENIGH

Tasa de inasistencia laboral por problemas de salud Evaluación de impacto

Tasa de inasistencia escolar por problemas de salud Evaluación de impacto

Acceso a servicios de salud Índice de accesibilidad a servicios de salud Evaluación de impacto

Costos de atención en salud

Costo evitado promedio de viajes de salud de pacientes atendidos por Telemedicina

Encuesta de Costos

Gasto familiar promedio en servicios de salud de la población en general en zonas rurales

ENIGH

Indicadores exógenos: efectos esperados en Gestión del Hospital

Sub-grupo Indicador Fuente

Gestión de Hospital

Tasa de hospitalizaciones de pacientes foráneos Administrativo

Tasa de readmisiones en hospital de pacientes foráneos Administrativo

Tasa de llegadas a urgencia de pacientes foráneos Administrativo

Tasa de referencias de pacientes foráneos Administrativo

Tasa de adherencia médica de pacientes en zonas rurales Administrativo

Índice de percepción de transferencia de conocimiento entre médicos Encuesta a Médicos

¿Cómo aterrizar los mecanismos de acción en indicadores? (Productos, Actividades e Insumos)

Telemedicina

Máxima cobertura Promover adopción y uso de Teleconsultas

Hospitales Regionales

conectados al Centro de Telecomando (CT)

Especialidades disponibles en Teleconsulta

Capacidad instalada en CT (salas de

consulta, equipos, etc.)

Adopción actores: -Especialistas

-Médicos -Pacientes

Conocimiento y valoración del

servicio

Indicadores endógenos: cobertura de Telemedicina

Tipo Indicador Fuente

Cobertura geográfica

Número de H.G. con equipo de Teleconsulta activo durante más del 90% del mes

Administrativo

Población cubierta por H.G. con equipo de Teleconsulta durante más de 90% del mes Administrativo

Cobertura de especialidades

Horas totales semanales que médicos especialistas tienen disponible para Teleconsultas

Administrativo

Número de especialidades disponibles para Teleconsulta durante el mes Administrativo

Recursos humanos para administrar Teleconsultas

(insumos)

Número de médicos de H.G. capacitados para uso de Teleconsultas Administrativo

Número de personal administrativo en H.G. disponible para operar Teleconsultas Administrativo

Horas totales semanales que médicos pasantes laboran en el C.T. Administrativo

Horas totales semanales que se dispone de un técnico en telecomunicaciones para reparación de equipos física o remotamente

Administrativo

Fiabilidad de conexión a Internet y de equipos

Promedio de velocidad de descarga de Internet en los H.G. Prueba de velocidad

Promedio de velocidad de carga de Internet en los H.G. Prueba de velocidad

Número total de días al mes sin operar equipos de videoconferencia por falla o descompostura

Administrativo

Número de desconexiones o problemas técnicos durante las Teleconsultas por falla del equipo o de Internet.

Administrativo

Recursos físicos del C.T. (insumos)

Número de equipos de cómputo por personal laborando en el C.T. Administrativo

Número de Salas disponibles de Teleconsulta independientes con conexión a internet y equipo de videoconferencia

Administrativo

Indicadores endógenos: apropiación y uso de Telemedicina

Tipo Indicador Fuente

Uso de Teleconsultas

Número de citas de Teleconsulta otorgadas en el mes Administrativo

Número de citas hechas efectivas en el mes Administrativo

Número de pacientes atendidos por Teleconsulta en el mes Administrativo

Número de pacientes de seguimiento atendidos por Teleconsulta Administrativo

Experiencia del paciente en Teleconsulta

Tiempo de espera promedio del paciente entre la solicitud de la cita y el día agendado de la cita

Administrativo

Tiempo de espera promedio entre la hora agendada de consulta y el inicio de ésa

Administrativo

Número de citas no efectuadas por cancelación o inasistencia del médico Administrativo

Número de citas no efectuadas por cancelación o inasistencia del paciente Administrativo

Índice de satisfacción de usuarios de Teleconsulta (pacientes) Encuesta de Calidad

Índice de satisfacción de usuarios de Teleconsulta (médicos) Encuesta Médicos; Encuesta Especialistas

El éxito del Sistema de M&E depende mucho de la eficiencia de los indicadores

Número de indicadores por tipo de fuentes

Fuente: elaboración propia

• Sólo incluir los indicadores necesarios para construir la lógica vertical:

• Actividades -> productos -> resultados -> impacto

• Evitar indicadores difíciles de medir

• Revisar que no existan dos o más indicadores que midan algo similar

• Ejemplo: la metodología propuesta consta de 38 indicadores, de los cuales 25 son registros administrativos

253

2

2

2

21 1 1

Administrativo Evaluación de impacto

SIS Encuesta a Médicos

Prueba de velocidad ENIGH

Encuesta de costos Encuesta a Médicos

Encuesta de calidad

¿Cómo recolectar la información de fuentes no administrativas?

Evaluación de impacto Sistema de Información en Salud

Encuestas a Especialistas Encuestas a Médicos

Encuesta de calidad Encuesta de costos a Pacientes

• Es administrativa • Periodicidad anual

• Muy costosa de implementar • Se pueden usar proxy como estadísticas de

INEGI • Periodicidad anual o multianual

• Medir nivel de satisfacción con el Sistema, retroalimentación

• Muy económicas y ágiles para la administración • Periodicidad trimestral o cuatrimestral

• Igual que Encuestas a Médicos

• Capturar los costos evitados por ser tratados desde Telemedicina

• Selección sistemática (p. ej. cada 10 consultas) • Periodicidad trimestral

• Capturar el nivel de satisfacción de pacientes con Teleconsultas

• Selección sistemática (p. ej. cada 10 consultas • Periodicidad trimestral

Un indicador debe cumplir tres elementos mínimos de calidad para procurar que su uso sea de utilidad

Ejemplo de construcción de un indicador

• Especificar:

• La fuente de la información

• La periodicidad con que se actualizará

• La persona responsable de administrarlo

Indicador Fuente Frecuencia de actualización

Quién es responsable

Número de citas de Teleconsulta otorgadas en el mes

Registro administrativo Mensual Prestador de servicio social

30

Los servicios de Telemedicina se enfocan en el cumplimiento de metas de calidad y no cantidad

▪ Por lo tanto, el enfoque de la evaluación es sobre la calidad de los procesos, por ejemplo:

– Equipos de videoconferencia en funcionamiento

– Velocidad de Internet suficiente

– Tiempos de espera entre solicitud de cita y fecha asignada corto

– Experiencia de consulta del paciente excelente

▪ Contraejemplo: Teleeducación (planificación de cuántas personas capacitadas al año, cuántos talleres, etc.)

Metas orientadas a cantidad

Fuente: elaboración propia

Meta

Línea base

Res

ult

ado

s

Tiempo

Línea base

Meta

Res

ult

ado

s

Tiempo

Metas orientadas a calidad

31

4 Evaluación ¿Cómo utilizar esta información para la toma de decisiones?

32

Los indicadores del monitoreo son un insumo para generar evaluaciones en cuatro dimensiones diferentes.

Relación entre dimensiones de evaluación y de monitoreo

Insumos

Procesos

Productos

Resultados

Economía

Eficiencia

Calidad

Eficacia

1er nivel: Monitoreo

2do nivel: Evaluación

Son indicadores de “segundo nivel”, normalmente construidos a partir de los indicadores del Sistema de Monitoreo

• Normalmente requieren de cálculos (razón, porcentaje, etc.) entre dos o más indicadores de “primer nivel.”

• Se contrasta la línea base con un corte en el tiempo para observar la evolución

Tipo Indicador Cálculo

Calidad Porcentaje de cancelación o inasistencia de médico a las citas

Número de citas no efectuadas por cancelación o inasistencia del médico / Número de citas de Teleconsulta otorgadas en el mes

Cobertura Porcentaje de población atendida

Población cubierta por H.G. con Teleconsulta en funcionamiento / Población objetivo total

Ejemplos:

34

5 Recapitulación

Recapitulación

•SM&E una herramienta estratégica para la gestión

•El diseño es la parte más difícil

• Teoría causal

• Construir indicadores

•SM&E requiere de mejora continua

•No es costoso implementarlo

Metodologías de Monitoreo y Evaluación en proyectos de

Telemedicina

César Rentería Marín

cesar.renteria@cide.edu

@TelecomCIDE