Herramientas para el monitoreo de coberturas de

intervenciones integradas en salud pública

Vacunación y desparasitación contra geohelmintos

MÓDULO 4

Análisis de la calidad del dato

Septiembre 2014

1

Índice

Introducción

Unidad 1. Análisis de la calidad del dato

Paso 1: Planificación

1.1. Objetivos: ¿qué y adónde?

1.2. Selección de centros a ser evaluados

1.3. Conformación de equipos

1.4. Adaptación de instrumentos

1.5. Programación de actividades

1.6. Recursos y logística

1.7. Coordinación e información

1.8. Capacitación de los equipos

1.9. Prueba piloto

Paso 2: Recolección de datos

2.1. Visitas a los centros donde se gestionan los datos

2.2. Realización de entrevistas

2.3. Captura y procesamiento de los datos

2.4. Control de calidad de datos

Paso 3: Análisis de datos

3.1. Análisis de la normativa y de los datos existentes

3.2. Entendiendo el flujo de los datos

3.3. Integralidad de la fuente primaria y concordancia de los datos entre diferentes fuentes de información

3.4. Completitud y oportunidad del reporte de datos

3.5. Evaluación de la calidad del sistema de información y uso de los datos

3.6. Evaluación de un Registro Nominal de Vacunación electrónico (RNVe)

3.7. Denominadores

Paso 4: Divulgación de resultados

4.1. Elaboración del informe

4.2. Discusión de hallazgos

Paso 5: Toma de decisión

5.1. Definición de estrategias

5.2. Plan de acción

2

Referencias

Anexos

Anexo 1. Plantilla para registrar los datos y calcular los indicadores de exactitud, integridad y oportunidad

Anexo 2. Formulario para evaluar la calidad del sistema de monitoreo de coberturas de la Unidad de Salud

Anexo 3. Formulario para evaluar la calidad del sistema de monitoreo de coberturas del Municipio

Anexo 4. Formulario para evaluar la calidad del sistema de monitoreo de coberturas del Departamento

Anexo 5. Formulario para evaluar la calidad del sistema de monitoreo de coberturas del nivel nacional

Anexo 6. Formulario para verificar la calidad del dato en la quimioterpia preventiva para las geohelmintiasis, con preguntas de orientación sobre la verificación de los datos y la evaluación de los sistemas -Nivel del punto de prestación de servicios-

Anexo 7. Formulario para verificar la calidad del dato en la quimioterapia preventiva para las geohelmintiasis, con preguntas de orientación sobre la evaluación de los sistemas - Nivel del punto de prestación de servicios-

Anexo 8. Descripción de un Registro Nominal de Vacunación electrónico (RNVe)

Anexo 9. Formulario para evaluar la calidad del Registro Nominal de Vacunación electrónico -Entrevista para el encargado de digitar los datos del software-

3

Lista de cuadros y figuras

Introducción

Figura 1. Algoritmo para el análisis de la calidad del dato de coberturas de intervenciones integradas en salud pública

Cuadro 1. Recomendaciones para aplicar las herramientas de análisis de la calidad del dato de intervenciones integradas en salud pública

Unidad 1. Análisis de la calidad del dato

Cuadro 2. Definiciones operativas utilizadas para el análisis de la calidad de los datos

Cuadro 3. Descripción de las principales áreas de evaluación de la calidad del dato

Figura 2. Hipótesis de las causas de problemas de los sistemas de información y resultados que generan en los datos

Figura 3. Niveles de verificación y evaluación de la calidad de los datos

Figura 4. Ejemplo de formularios para el registro diario de dosis

Figura 5. Ejemplos de registros nominales utilizando cuadernos o tarjeteros para el seguimiento de dosis de los esquemas

Figura 6. Ejemplo del flujo del sistema de monitoreo de coberturas del programa de vacunación de rutina

Figura 7. Ejemplo del flujo del sistema de monitoreo de coberturas durante estrategias de campaña

Figura 8. Ejemplo del flujo del sistema de monitoreo de un registro nominal nacional de coberturas de vacunación

Figura 9. Ejemplo del flujo del sistema de monitoreo de biológicos

Figura 10. Factor de Verificación como indicador para medir la exactitud

Figura 11. Ejemplo de presentación de resultados del análisis de concordancia de datos y cálculo del Factor de Verificación (FV) de vacunas

Figura 12. Ejemplo de presentación de resultados del análisis de concordancia de datos y cálculo del Factor de Verificación (FV) de antiparasitarios

Figura 13. Ejemplo de gráfico de la exactitud de los datos comparando Unidades de Salud de diferentes Departamentos

Figura 14. Ejemplo de gráfico de la exactitud de los datos comparando dosis de vacuna Pentavalente 3 reportadas y evaluadas a nivel nacional

Figura 15. Ejemplo de gráfico de la exactitud de los datos comparando dosis reportadas y verificadas de antiparasitarios en una ronda de tratamiento

Figura 16. Ejemplo de gráfico de la exactitud de los datos de vacuna Pentavalente 1, 2 y 3 comparando niveles municipal, departamental y nacional

4

Figura 17. Ejemplo de gráfico de la exactitud de los datos de antiparasitarios por rondas de tratamiento, comparando niveles municipal, departamental y nacional

Figura 18. Uso del gráfico de telas de araña para presentar los resultados de la calidad del dato

Figura 19. Ejemplo de gráfico de telas de araña para presentar resultados de la calidad del dato de diferentes Unidades de Salud

Figura 20. Efecto de un error de 10% en la población meta (denominador) en el cálculo de cobertura

5

Análisis de la calidad del dato

Introducción

Mucho se habla hoy en día de la calidad de los datos de coberturas pues es una condición esencial para monitorear el acceso efectivo a la salud. Para utilizar un concepto simple y práctico, el término “datos de calidad” se referirá a los datos que representan la realidad que pretenden describir. Aunque no es posible evaluar directamente la exactitud o precisión de los datos, pues no existe con un patrón de oro para comparar los datos y determinar si representan la realidad, existen metodologías como la Autoevaluación de la Calidad del Dato (Data Quality Self-assessment–DQS-) 1 o Auditoría de Calidad del Dato (Data Quality Audit –DQA-por sus siglas en inglés), 2 que permiten analizar algunos de los atributos de los datos y del sistema de información, aportando información que permite mejorar la calidad de los datos. El presente módulo desarrolla los pasos para aplicar estas metodologías (Figura 1).

Figura 1. Algoritmo para el análisis de la calidad del dato de coberturas de intervenciones integradas en salud pública

H

E

R

R

A

M

I

E

N

T

A

S

R

E

S

U

L

T

A

D

O

S

D

E

C

I

S

I

O

N

E

S

ANÁLISISDELACALIDADDELDATO

OB

J

E

TI

V

O

S

Mantenercoberturasaltasyhomogéneas

Verificarlacalidaddeldato

Evaluarlaconcordanciadelosdatosylacalidaddelsistemade

información(Evaluaciónacortada)

Concordanciaycalidadadecuadas

Concordanciay/ocalidadinadecuada

Analicelasposiblescausas

Implementeintervencionesdeacuerdoconlosproblemasiden ficados

Analizarlosresultadosdelaevaluacióndelaconcordanciaylacaliaddeldato

Análisissistemá coycon nuodedatosrecolectadosperiódicamenteaniveladministra vooenestudiosrápidosdecamponoprobabilís cos

Evaluarlaconcordanciadelosdatos(Supervisión)

Evaluarlacalidaddelosdatos

(Evaluacióncompleta)

6

Las metodologías para analizar la calidad de los datos de inmunización y desparasitación tienen un origen común. Este módulo tiene como eje conductor la evaluación de la calidad de los datos de inmunización en la que se ha incorporado lecciones aprendidas de los países 3, 4, 5,,6, 7, 8, pero también incorpora referencias a la evaluación de la calidad de los datos de desparasitación, asi como los instrumentos para su implementación. De esta manera los países que realizan una u otra actividad de manera separada podrán usar una u otra metodología según corresponda. Los países que realicen la actividad integrada podrán identificar coincidencias en las dos metodologías e integrar los instrumentos según necesidad. La metodología DQS evalúa la calidad de los datos y del sistema de monitoreo de coberturas de vacunación, mediante la revisión de los carnés, registros, reportes, archivos, datos demográficos, análisis y uso de la información, entre otros. Para realizar la evaluación se realizan entrevistas a informantes clave y visitas en terreno para observar las prácticas de registro y reporte, aplicando instrumentos para recolectar datos y construir indicadores, cuyos resultados permiten plantear recomendaciones para mejorar la exactitud de los datos, la oportunidad e integralidad del reporte y la calidad del sistema de monitoreo de las coberturas. La aplicación de DQA para las EIDs busca los siguientes objetivos: 1) valorar la calidad de los datos notificados durante un periodo de evaluación dado, y 2) valorar la capacidad de los sistemas de gestión de datos para recopilar, transmitir, documentar y notificar datos de calidad. En este caso, la evaluación de la calidad del dato se realiza mediante el recuento y la verificación de los datos notificados en centros seleccionados; examinando la disponibilidad, el carácter integral y la oportunidad de los documentos originales y los informes; y evaluando cualitativamente los sistemas de gestión y notificación de datos de EID en los diferentes niveles. La OPS ofrece evaluaciones DQS a sus Estados Miembros, sea como una evaluación específica o como parte de la evaluación internacional del Programa Ampliado de Inmunización, cuya metodología está disponible en www.paho/org/inmunizacion. El análisis de la calidad de datos de inmunización se basa en la metodología de Auto-evaluación de calidad del dato (DQS por sus siglas en inglés), que está disponible en http://apps.who.int/immunization_monitoring/routine/DQS_tool.pdf y en español mediante solicitud a la OPS. También existen procedimientos para evaluar la calidad de los datos de la desparasitación contra geohelmintos, disponibles en el protocolo para la evaluación de calidad del dato (DQA) de OMS de enfermedades infecciosas desatendidas (EIDs) que puede solicitarse a la OPS en versión en inglés y español. Se recomienda aplicar la evaluación completa de DQA/DQS cada 3 a 5 años, pero adicionalmente es necesario incorporar modalidades acortadas para el análisis periódico de componentes específicos del sistema de monitoreo de coberturas, para dar seguimiento a los resultados y recomendaciones de la evaluación de todos los componentes de la calidad. También es importante incluir indicadores de concordancia de los datos entre niveles de gestión que se deben analizar durante la supervisión, priorizando su aplicación en áreas críticas identificadas por su nivel de cobertura o problemas en la calidad de los datos. O sea, este tipo de herramienta se debe integrar en la rutina de los servicios de salud para mejorar la calidad de los datos y la gestión de los programas. El cuadro 1 presenta las diversas modalidades y recomendaciones para aplicar las herramientas de análisis de la calidad de los datos de intervenciones en salud pública.

7

Cuadro 1. Recomendaciones para aplicar las herramientas de análisis de la

calidad del dato de las intervenciones integradas en salud pública

¿Cuándo aplicar la herramienta de análisis de

calidad del dato?

¿Cada cuánto tiempo? ¿Cuál nivel la aplica?

Evaluación completa: Durante las evaluaciones nacionales o internacionales del programa

Cada 3- 5 años * Nacional e internacional

Evaluación acortada: Después de concluir el reporte de coberturas del programa de rutina o finalizar la campaña

Al menos una vez al año realizado por el nivel nacional a algunos niveles subnacionales

Inicialmente se recomienda realizar cada 3-6 meses por parte del nivel subnacional al local y al tener evidencia de mejoría en la calidad de los datos, se puede reducir a una vez al año.

Al concluir las campañas

Nacional subnacional y local

Análisis de concordancia de los datos (supervisión)

Durante las actividades de supervisión se recomienda analizar la concordancia de los datos e incorporar algunas preguntas en el formulario de supervisión de aspectos que se han identificado críticos para mejorar la calidad de los datos, a partir de los resultados de las evaluaciones completas y acortadas

Nacional, subnacional y local

* El intervalo de tiempo y periodicidad puede variar dependiendo de las capacidades y recursos disponibles para aplicar la herramienta y de la mejora en el desempeño del programa según análisis de los niveles de cobertura y resultados de las evaluaciones de la calidad del dato Es importante indicar que, posterior a la ejecución de tácticas masivas tipo campaña, durante las cuales se administren vacunas y antiparasitarios, es posible evaluar de manera simultánea la calidad de datos de ambas intervenciones. Cuando se realice un análisis integrado posterior a campañas es necesario tener en cuenta cuál fue la estrategia usada para la entrega de la o las intervenciones. Por ejemplo, si la campaña incluyó la distribución masiva de tabletas de mebendazol o albendazol en pre-escolares o escolares y se aplicó la vacuna contra sarampión-rubéola en esa misma población, lo que procede es enfocarse en evaluar los datos del medicamento antiparasitario (mebendazol o albendazol) y los de la vacuna sarampión-rubéola solamente, y no otras vacunas que se aplicaron para completar esquemas de inmunización.

8

Unidad 1. Análisis de la calidad del dato

La evidencia sugiere que si se mejora la calidad de los datos de cobertura, se contribuye a mejorar las coberturas cuando el problema está relacionado con la calidad de los datos utilizados para haces las estimaciones.9 Al contar con mejores datos se favorece la disponibilidad de coberturas más precisas por área geográfica y grupo de edad y se facilita el establecimiento de prioridades de acción. La disponibilidad de datos de calidad es esencial para identificar quiénes se han vacunado o desparasitado y quienes necesitan ser vacunados o desparasitados; programar mejor las sesiones de vacunación (cuantas personas se deben vacunar en la semana/mes); obtener listados de personas con esquemas atrasados para enviarles recordatorios o ir a buscarlos; determinar la producción de cada establecimiento de salud y carga de trabajo de los vacunadores o personal que realiza las actividades de desparasitación; e incluso podría dar luces de las principales razones de no vacunación o de no desparasitación. Para mejorar la logística y proveer un servicio más eficiente se debe asegurar también el análisis de la calidad de los datos relativos al manejo de insumos, transporte y cadena de frío (en el caso de las vacunas), al evaluar vacunas o antiparasitarios que se deben solicitar para el mes (u otro periodo de tiempo), disponibilidad de biológicos o antiparasitarios en los diferentes niveles, uso de vacunas por mes, tasas de pérdida y razones de pérdidas, cuando es conveniente usar vacunas en viales monodosis vs. multidosis, o usar frascos de tabletas de antiparasitarios en multidosis o en suspensión o en tabletas masticables, inventarios de equipos de cadena de frío y asuntos relacionados a su mantenimiento, transporte del medicamento antiparasitario, entre otros. La metodología DQS también puede ser adaptada para evaluar otros datos de inmunización (manejo de biológicos, por ejemplo) e incluso los datos de vigilancia epidemiológica. Como se mencionó en la introducción, los pasos que se describirán a continuación se enfocan al análisis de la calidad del dato de vacunación del programa regular, pero la metodología también se puede aplicar posterior a la realización de las campañas integradas de vacunación y desparasitación. En este caso, se puede analizar la calidad del dato de las intervenciones que se aplicaron mediante tácticas masivas de captación de las poblaciones meta. Para adaptar la herramienta al análisis de los datos de campañas se debe tener en consideración que la administración intensiva de vacunas o antiparasitarios en un corto periodo a una gran cantidad de personas eleva la

La aplicación de conceptos e instrumentos de evaluación de la calidad de los datos permite

entender las causas de fondo de los problemas y buscar soluciones para disponer de datos de

calidad de las coberturas. La aplicación de herramientas de análisis de la calidad de los datos

de coberturas debe ser una actividad regular y sistemática de los programas, y debe insertarse

como un componente integral de la supervisión y la evaluación. Los esfuerzos para garantizar

la calidad del dato deben enfocarse en todos los niveles de manejo de los datos, con un especial

énfasis en el nivel local, pues es el punto de entrada de los datos.

9

probabilidad de cometer errores u omisiones en la recolección de los datos. Además, es frecuente que para implementar las campañas se elaboren formularios ad hoc para registrar los datos, debido a que por la elevada cantidad de dosis, por lo cual, los datos no se capturan en los registros nominales (en papel o electrónicos), y pueden seguir un flujo de información diferente al utilizado en la rutina.

1. Planificación

El primer paso es establecer qué se va a evaluar y adónde se va a implementar el proceso de recolección y análisis de los datos, para lo cual se deben definir los centros a ser evaluados, los indicadores que se generarán, los instrumentos de registro y tabulación de datos, así como conformar y capacitar a los equipos que estarán a cargo de la evaluación y asegurar los recursos y logística requerida para tal efecto.

Pasosparaelanálisisdelacalidaddelosdatos

Recoleccióndedatos

Paso2:

Paso3:

Paso4:

Paso5:

Análisisdedatos

Divulgaciónderesultados

Tomadedecisión

PlanificaciónPaso1:

10

1.1. Objetivos: ¿qué y adónde? Para establecer los objetivos de la evaluación se deben tener en cuenta las posibles causas que pueden estar determinando los problemas que afectan los sistemas de información y la confiabilidad de los resultados que se generan en los datos. La figura 2 muestra algunas hipótesis que es importante tener en consideración en el análisis de la calidad de los datos.

11

Los objetivos de la evaluación del sistema de información y el flujo de datos se orientan a:

Determinar la capacidad de los sistemas de gestión de datos del programa para recopilar, transmitir, documentar y notificar datos de calidad

Determinar la exactitud de los datos de dosis administradas mediante el análisis de la concordancia entre los datos registrados y reportados en los diferentes niveles

Evaluar la integralidad y oportunidad del reporte de los datos del programa

Establecer indicadores de la calidad de los diversos componentes del sistema de información en cada uno de sus diferentes niveles

Formular recomendaciones para la mejora de la calidad de los datos a partir de con base en los resultados y la idenfiticación de fortalezas y debilidades del sistema de monitoreo de coberturas

Con el fin de tener una definición estandarizada de las características a ser evaluadas en los datos, el Cuadro 2 describe las definiciones operativas de algunas de las dimensiones mencionadas en los objetivos de la evaluación del sistema de información y el flujo de datos.

12

Cuadro 2. Definiciones operativas utilizadas para el análisis de la calidad de los datos

Dimensión de la calidad de los datos

Definición operativa

Exactitud También conocida como validez. Los datos exactos se consideran correctos: los datos miden lo que se pretende medir. Los datos exactos reducen al mínimo los errores (por ejemplo, sesgos en el registro o la entrevista, errores de transcripción, errores de muestreo) hasta tal punto que llegan a ser insignificantes.

Precisión Implica que los datos tienen detalles suficientes y apropiados. Por ejemplo, un indicador necesita el número de individuos que recibieron la vacunación o la desparasitación por sexo y edad del individuo. Un sistema de información carece de precisión si no se ha diseñado para registrar el sexo y la edad del individuo que recibió las intervenciones.

Carácter integral (Integralidad)

Mide el grado de inclusión de todos de los resultados notificados. Representa el grado en que la información es recibida por la lista completa de personas o unidades pertinentes y no solo por una parte de la lista.

Oportunidad Los datos son oportunos cuando la información está disponible a tiempo antes de la fecha y la hora establecidas como plazo para hacer la notificación.

Integridad Los datos tienen integridad cuando el sistema utilizado para generarlos está protegido de sesgos deliberados o de manipulaciones por razones políticas o personales. La integridad puede estar indicada por la ausencia de alteraciones de los datos entre dos actualizaciones de un registro de datos. En la integridad de los datos influyen directamente la exactitud de los datos almacenados.

Fuente: Adaptado a partir de la “Tabla 1. Dimensiones de la calidad de los datos”, de Data Quality Audit Tool: Guidelines for Implementation, K Hardee. Puede consultarse en: http://www.cpc.unc.edu/measure/publications/ms-08-29/at_download/document. Consultado: 7 de agosto de 2014.

Por lo tanto, las herramientas que se aplican se orientan a determinar la exactitud de los registros y reportes, la completitud (o integralidad), la oportunidad del reporte y la calidad del sistema de monitoreo (cuadro 3).

13

Cuadro 3. Descripción de las principales áreas de evaluación de la calidad del dato

Opción

Nivel

Tipo de medición Unidad de Salud

Municipio

Evaluar la exactitud del reporte X X

Factor de verificación

Evaluar la exactitud del registro (muestra en la comunidad)

X

Factor de verificación

Evaluar la completitud y oportunidad del reporte

X X

% completitud del reporte % oportunidad del reporte % reportes disponibles en el nivel nacional % completitud del reporte de la Unidad de Salud % oportunidad del reporte de la Unidad de Salud % reportes de la Unidad de Salud disponibles en el municipio

Evaluar la calidad del sistema de monitoreo X

Indice de calidad

Evaluar la calidad del carné o tarjeta de registro

X

Integrado al Índice de calidad

Estimar la pérdida de biológico o el desperdicio de tratamientos antiparasitarios

X X

Pérdida de viales de vacuna no abiertos a nivel distrital o viales abiertos a nivel de unidad de salud. Número de comprimidos de antiparasitarios desperdiciados.

Fuente: Adaptado de OMS, The immunization data quality self-assessment (DQS) tool. Geneva: WHO, 2005, pág. 2.

Para definir el plan de evaluación es necesario responder las siguientes preguntas:

¿A qué niveles se va a aplicar la metodología de evaluación de la calidad de los datos?

o La unidad de salud con respecto al nivel local

o Del nivel local con respecto al nivel subnacional y nacional

¿Cuál es el número de regiones o departamentos, municipios y unidades de salud que se evaluarán?

14

Si se evaluará la calidad del dato del programa de rutina, ¿cuáles vacunas y esquemas de dosis se van a analizar?

Si la evaluación se realizará posterior a una estrategia de campaña, ¿se analizará la calidad de los datos de varias intervenciones? y si es así, ¿de cuáles intervenciones?

¿Se va a aplicar una evaluación completa o se va a analizar un componente específico de la calidad del dato? Ej. La exactitud de los datos, la oportunidad e integralidad del reporte y/o la calidad del sistema de monitoreo.

¿Cuáles son los indicadores de calidad de datos que se requieren generar de la evaluación? Tomar en cuenta que:

o Si se va a realizar una evaluación completa se deben identificar, a partir del análisis de la situación de los programas, cuáles son los componentes más relevantes que se requiere analizar.

o Si se van a incorporar iindicadores de calidad del dato para incluir en una evaluación acortada o durante las actividades de supervisión, es importante identificar aquellas áreas que mostraron resultados más críticos durante las evaluaciones completas de la calidad del dato.

o Si la evaluación es posterior a una campaña, es importante priorizar la cantidad de indicadores para optimizar el uso del tiempo y de los equipos de trabajo que harán la evaluación.

¿Cuáles documentos (formularios, reportes) se requiere recopilar en cada nivel y de dónde se van a obtener? ¿Dónde se almacenan los informes? ¿Existen copias de los informes en el nivel donde se registró el dato y en el nivel adonde se enviaron los informes consolidados?

¿Cuál es el período de tiempo que se analizará? Para ello se debe tener en cuenta si han ocurrido cambios en los sistemas de monitoreo de coberturas y si se va a analizar el programa de rutina o una campaña. También se debe considerar que el revisar datos de un período mayor de meses requerirá de más tiempo de extracción de datos durante la visita de evaluación.

¿La evaluación se ejecutará como un análisis independiente con participación de evaluadores externos o se aplicará como un parte de la supervisión que se realiza sistemáticamente?

1.2. Selección de centros a ser evaluados Para seleccionar los centros que se evaluarán, es necesario comprender el sistema de monitoreo de las coberturas. En general, el sistema de información incorpora un conjunto de elementos – que incluyen datos, personas, actividades y recursos (incluyendo recursos informáticos y de comunicación) – orientados al procesamiento y manejo de datos para transformarlos en información que cubra una necesidad u objetivo. El sistema de información NO debe confundirse con la herramienta informática utilizada, ésta hace parte de los recursos que un sistema de información utiliza. A partir de la caracterización del sistema de información de coberturas, se seleccionan los centros que se incluirán en la evaluación. El número de sitios depende de los

15

objetivos planteados y de la cantidad de niveles de desagregación de datos e instituciones que participan en el sistema de monitoreo de coberturas de vacunación o de desparasitación. La selección de los sitios puede ser aleatoria aplicando técnicas de muestreo probabilístico (ver en manual de DQS o el de DQA de OMS) o se puede utilizar una selección no probabilística. En ocasiones, el ejercicio de evaluación de la calidad del dato no se propone conseguir información sobre una muestra representativa de los centros. Esto puede suceder, por ejemplo, cuando se sospecha que un distrito tiene algunos problemas graves de calidad de los datos que la evaluación de la calidad pretende identificar. En tal caso, los centros pueden seleccionarse intencionalmente o por conveniencia.

1.3. Conformación de equipos Es necesario que quienes vayan a hacer la evaluación hayan sido capacitados en la metodología, conozcan los formularios y el esquema de vacunación o de desparasitación en uso, entiendan muy bien el flujo de los datos y que tengan el compromiso de usar los resultados de la evaluación para mejorar los datos. Es conveniente que cuando se empiece a evaluar calidad de datos, el ejercicio se haga con apoyo de alguien con experiencia, pero entre pares, por ejemplo que enfermeras del PAI de nivel subnacional evalúen un nivel equivalente al de su propio ámbito laboral. El equipo de evaluación estará integrado por funcionarios de los Ministerios de Salud y las instituciones prestadoras de servicios de salud, pudiendo ser tanto funcionarios del PAI o de los programas de EIDs como de los departamentos de estadísticas. Se debe asegurar la participación de personal del nivel nacional, subnacional y local.

Nivelintermedio

Agregación de los datos

Figura 3. Niveles de verificación y evaluación de la calidad de los datos

Unidaddesalud

Nivelnacional

Verifica cióndelosdatos

Evalua

ciónd

e

lossis

temas

Evalua

ciónd

e

lossis

temas

Evalua

ciónd

e

lossis

temas

Verifica cióndelosdatos

Verifica cióndelosdatos

16

Se recomienda que en cada sitio participen dos evaluadores externos para facilitar la recolección de los datos. En el proceso también deben participar los funcionarios que laboran en el establecimiento pues son las personas que conocen el sistema de monitoreo de coberturas. Si el análisis de la calidad del dato se realiza integrando la desparasitación de geohelmintos es importante que el funcionario responsable de la recepción y distribución de medicamentos antiparasitarios haga parte del grupo. Además, el equipo que visita los puntos de prestación de servicios debe incluir a alguien que pueda comunicarse en el idioma local, ya que es posible que por ejemplo, algunos distribuidores de medicamentos antiparasitarios quizás no hablen el idioma que se utiliza en la capital nacional.

1.4. Adaptación de instrumentos Para recolectar la información necesaria para aplicar la herramienta de evaluación, están disponibles instrumentos tipo formularios y hojas electrónicas que se han utilizado en los países que facilitan el proceso de aplicación de DQS/DQA. Para utilizarlos es necesario adecuarlos a los objetivos que se definan para la evaluación:

La exactitud de los datos se evalúa comparando datos encontrados en los diferentes niveles, registrados en formularios de recolección de datos. Los datos de los listados diarios de las vacunas administradas o de los antiparasitarios administrados durante una campaña en las unidades de salud se comparan con los datos agregados notificados a niveles local, subnacional y a nivel nacional.

La integralidad y oportunidad del reporte, puede ser evaluada si las entidades receptoras o emisoras de informes los marcan con fechas de recepción y confirmación del envío, así como revisando si los datos y documentos están completos y se recibieron según las fechas establecidas.

La calidad del sistema de monitoreo es evaluada a través de cuestionarios para realizar entrevistas y observación de variables seleccionadas para determinar la calidad de prácticas de registro y archivo, planificación, análisis y supervisión.

En el Anexo 1 de este módulo se incluye un modelo de plantilla para registrar los datos requeridos para determinar la exactitud, oportunidad e integralidad de los datos de vacunación. Durante las evaluaciones acortadas y las actividades de supervisión se utilizan formatos de registro más simples, con la finalidad de determinar el nivel de concordancia de los datos que se registran en las Unidades de Salud, los Departamentos y el Nivel Nacional. En los Anexos 2 a 5 se presentan formularios estándar que pueden ser adaptados por los países para la realización de entrevistas orientadas a la recopilación y generación de indicadores de la calidad del sistema de monitoreo de vacunación. Los instrumentos que se elaboren para realizar las evaluaciones acortadas y de supervisión pueden seleccionar algunas de las preguntas de estos formularios que se identifiquen más relevantes para dar seguimiento al proceso de mejora de calidad de los datos. Los anexos 6 y 7 presentan los formularios usados para evaluar la calidad de los datos de desparasitación.

17

Es necesario que durante el proceso de ajuste y validación de estos instrumentos participen los equipos que realizarán la evaluación, con la finalidad de que, al participar en su adaptación, se empoderen y apropien de este tipo de herramientas.

1.5. Programación de actividades La programación de las actividades debe considerar varias etapas:

Taller de diseño. Los dos primeros días se dedican a la definición del alcance y objetivos de la evaluación, para proceder a elaborar los instrumentos que se utilizarán. Los formularios y herramientas que se utilicen deben ser validados previamente en algunos sitios para incorporar los cambios y ajustes necesarios antes de salir al campo. Para establecer el plan de trabajo es necesario tener los siguientes documentos:

o La normativa y procedimientos de los programas de salud que se evaluarán.

o La organización del sistema de salud, indicando los nombres de los departamentos, municipios y unidades de salud donde se administran las vacunas o antiparasitarios.

o La población meta adscrita a cada unidad de salud, municipio, departamento y país

o Una descripción del flujo de datos a partir del registro, reporte y consolidación de datos.

o Las plantillas de los formularios de recolección y reporte de datos, así como los formularios de consolidación de datos subnacionales.

o El protocolo, los formularios que se utilizarán para recolectar los datos de la evaluación y los archivos Excel para la captura de datos y generación de reportes.

Trabajo de campo. Se debe programar un período que puede requerir de 3 a 5 días para que los equipos se desplacen a las unidades de salud y niveles locales, subnacionales seleccionados, con la finalidad de recolectar los datos. Además de contar con grupos conformados y capacitados en la metodología, es necesario asegurar la disponibilidad de recursos y logística para que el trabajo sea efectivo.

Taller de Análisis. Al terminar la recolección de los datos se deben programar 2 a 3 días para el análisis y la elaboración del informe. Finalmente, se debe agendar una sesión para presentar a las autoridades de salud los resultados y recomendaciones que surgen del proceso de evaluación.

1.6. Recursos y logística

Para realizar los talleres y el trabajo de campo es necesario contar con los insumos formularios, papelería, lápices, borradores, reglas, calculadoras) y la logística requerida

18

para la movilización de los equipos, así como los datos de contacto de los responsables de los sistemas de información en caso surja alguna duda o pregunta que requiera ser resuelta.

1.7. Coordinación e información

Es necesario obtener las autorizaciones requeridas en el país para recopilar los datos en todos los niveles: autorides nacionales, jefaturas de los niveles subnacionales y municipales donde se ubican las unidades de salud donde se revisarán y recopilarán los datos. Se debe coordinar e informar a los responsables locales y del nivel subnacional de las unidades seleccionadas, especificando el período de tiempo que se va a analizar para que tengan disponibles los registros y documentos que se van a verificar.

1.8. Capacitación de los equipos Todos los participantes deben estar capacitados en la metodología, manejar los formularios y conocer el esquema de vacunación o de desparasitación en uso, asi como claro conocimiento del flujo de los datos La capacitación se debe realizar para cada una de las etapas previamente enumeradas y debe servir para que los trabajadores de la salud comprendan la importancia de esta actividad y que se logre el compromiso de usar los resultados de la evaluación para mejorar los datos.

1.9. Prueba piloto Siempre es necesario realizar una prueba piloto en un área seleccionada para, con base en esa experiencia, incorporar los ajustes necesarios. La prueba piloto debe incluir también la validación de los instrumentos. Un aspecto muy importante es contabilizar el tiempo que se requiere para recopilar los datos, pues es información de mucha utilidad para programar los tiempos y recursos necesarios para el trabajo de campo.

2. Recolección de datos

19

2.1. Visita a los centros donde se gestionan los datos Antes de iniciar las visitas a los centros seleccionados es indispensable garantizar que los equipos de campo estén capacitados en el uso de los formularios y herramientas que se utilizarán para el registro de datos y en los indicadores que se elaborarán para evaluar la calidad de los datos. Además, deben contar con los recursos y la logística necesaria para desplazarse a los diversos sitios para recolectar la información. Las visitas deben cubrir todos los niveles de agregación de datos, e ir avanzando para finalizar en las unidades de salud donde se registra el dato primario. Es crucial asegurar que los establecimientos seleccionados, tanto públicos como privados y de otros sectores, reporten sus datos a los niveles intermedios a ser visitados para poder hacer seguimiento al dato. No se deberían visitar establecimientos que reporten datos a un municipio que no se evaluará. La evaluación se llevará a cabo siguiendo estrictamente los principios éticos del país. Aunque los equipos de evaluación necesitarán tener acceso a los registros de tratamiento para hacer el recuento y la comprobación de los resultados notificados, deben asegurar la confidencialidad de la información.

2.2. Realización de entrevistas El funcionario que realiza la entrevista debe estar capacitado en la herramienta e instrumentos de registro de datos y aplicar las técnicas apropiadas. El entrevistador debe empezar explicando el propósito y el tiempo estimado que dura la entrevista, dando la oportunidad a la persona entrevistada de aclarar cualquier duda que tenga al respecto y obtener su consentimiento antes de iniciar la entrevista. Al concluir con la realización de las preguntas se deben ingresar las respuestas en el formato Excel que se ha elaborado para el registro de datos, cálculo de indicadores y generación de reportes mediante tablas y gráficos.

2.3. Captura y procesamiento de los datos En general es conveniente tener papel en blanco para facilitar el recuento de las dosis administradas para luego poner el dato en el formulario. Si los datos muestran grandes diferencias con lo reportado, se debe volver a contar asumiendo siempre que el evaluador puede haber cometido un error al recontar dosis. Los datos se recolectan en formularios en papel o se pueden introducir directamente en las hojas Excel que se han diseñado para el registro y generación de reportes de los indicadores de DQS/DQA mediante tablas y figuras, para cada uno de los niveles de gestión de la información, como se describirá en el paso relativo al análisis de los datos. El contar con reglas, lápices y borradores y calculadoras de bolsillo facilitará la extracción de los datos a partir de los registros diarios. En el mismo formulario de captura de datos se marcará si faltase el reporte de algún establecimiento o municipio que debe reportar y se incluirán las fechas de recepción de los reportes de los niveles de gestión inferiores.

20

En la evaluación de la calidad del sistema se asigna un puntaje a cada pregunta del cuestionario (un punto si la respuesta es afirmativa y cero si es negativa) que se utiliza para calcular el resultado de cada categoría que se analiza. Las respuestas que se digitan en el formato Excel generan gráficos tipo ¨tela de araña¨. Cada brazo de la telaraña representa un indicador de calidad de dato que se ubica en un rango de 1 a 5. Si para un determinado indicador todas las respuestas son positivas, el brazo de la telaraña estará coloreado desde la base hasta su borde exterior. Si por el contrario, el indicador obtiene respuestas negativas, la telaraña no se coloreará. Este tipo de gráfico facilita la comparación entre diferentes unidades del mismo nivel, y permite observar la evolución en el tiempo para una entidad en particular.

2.4. Control de calidad de los datos Para reducir la posibilidad de errores es conveniente que la revisión y conteo de datos se realice entre dos personas. Para controlar la calidad de los datos se recomienda que los archivos Excel incluyan validaciones con rangos aceptados de los puntajes definidos para cada pregunta de la entrevista. También es importante señalar que si los datos verificados por los evaluadores muestran grandes diferencias con los reportados, se debe volver a contar asumiendo siempre que el evaluador puede haber cometido un error al recontar dosis.

3. Análisis de datos

21

3.1. Análisis de la normativa y de los datos existentes La revisión de la calidad de los datos de inmunización y de desparasitación comienza por entender la normativa vigente del sistema de información y de los esquemas de vacunación o del tipo de desparasitación (y cambios que hayan ocurrido). Luego se deben analizar los datos existentes, como se discutió en el módulo 2 de Análisis de coberturas administrativas. Como mínimo se debe analizar lo siguiente: Tendencias de los numeradores y de los denominadores: se deben comparar datos mes a mes y año a año. Aunque no existe un número pre-establecido para decir que las tendencias son inconsistentes, de no haber desabastecimientos de insumos o alguna intervención especial, en general no se esperan variaciones en el número de dosis administradas de más de 5-10% entre un año y otro, o entre una campaña y otra. Una diferencia mayor o un patrón irregular de dosis aplicadas en el tiempo deberá alertar sobre potenciales problemas (datos duplicados, incompletos, errados, entre otros). Tasas de deserción (ver definición en módulo 2): en general se espera que se apliquen más primeras dosis, que segundas, y así sucesivamente. El Grupo Técnico Asesor (GTA) sobre enfermedades prevenibles por vacunación de la OPS/OMS ha recomendado monitorear la deserción entre DPT1-DPT3 y también entre DPT1-DPT2 y DPT2-DPT3 para detectar si hay tasas negativas que reflejen que se han reportado más dosis posteriores que iniciales, algo que no tendría sentido y requeriría un exploración más a fondo. Una limitación de este indicador es que en general se comparan números agregados y no la deserción persona a persona (lo que solo se puede hacer si se cuenta con un registro nominal o con datos de encuesta); especialmente con números pequeños pueden haber tasas de deserción irregulares o negativas que no reflejen problemas con los datos, sino solo variabilidad. La tasa de deserción se puede analizar también entre rondas de desparasitación, especialmente cuando se hacen dos rondas de desparasitación por año, en donde se espera que aproximadamente el mismo número de niños que fue desparasitadon en la primera ronda, haya sido desparasitado en la segunda; si se observan cambios, debe verificarse el por qué hubo el cambio en el número de niños desparasitados entre rondas. Coherencia entre dosis recomendadas a la misma edad: este atributo de los datos se refiere a la relación lógica existente entre dos datos. Para fines prácticos, se recomienda comparar los números reportados para dosis de vacunas recomendadas a la misma edad, como podría ser la BCG y la hepatitis B de recién nacido; las primeras, segundas y tercera dosis de polio, DPT/pentavalente y neumococo, la SRP y la fiebre amarilla, etc. En este caso no se recomendaría rotavirus, pues por las limitaciones en la edad de administración de la vacuna antirrotavírica, la presentación tardía del niño a ser vacunado puede resultar en que no se vacune contra rotavirus. Aunque no se espera que los números de dosis sean exactamente iguales, de no haber desabastecimientos, se esperaría que los números de dosis fueran similares. De hecho, números exactamente iguales pueden reflejar la mala práctica de no capturar cada dosis de una vacuna, como por ejemplo la polio en el registro diario, sino de poner el mismo número de dosis que hubo de DPT/pentavalente en el registro consolidado al final del mes.

22

De igual forma, si está evaluando una campaña en la cual se integraron acciones de vacunación y desparasitación, se puede analizar la coherencia entre en número de niños que recibieron vacunación y el número que recibieron desparasitación, teniendo en cuenta que la desparasitación se da a niños a partir de los 12 meses de edad, por lo que podría comparar los número reportados para dosis de vacunas recomendadas a la misma edad que el antiparasitaria y ver la coherencia. Es importante indicar que los datos consistentes y coherentes no necesariamente reflejan datos sin problemas y “de calidad”, pues pueden ocultar algún error sistemático como el conteo doble de algún dato, o datos incompletos por falta de reporte de algún sector o de vacunación o de desparasitación por alguna estrategia en particular, por dar algunos ejemplos. Sin embargo, las inconsistencias e incoherencias requieren una búsqueda de causas.

3.2. Entendiendo el flujo de los datos Para poder evaluar los datos de vacunación o de desparasitación (personas vacunadas o desparasitadas y no solo dosis administradas), es clave comprender exactamente cómo y quién capta el dato primario y cuál es el flujo normado para la notificación de la información, así como las fechas que se han fijado para este proceso. También es informativo enterarse de si el flujo de datos y los formularios a usar no han sido formalmente normados, pues será fundamental hacerlo. Es importante estar atento a cortes parciales de meses, pues en esos casos, los datos reportados para febrero, por poner un ejemplo, realmente representan vacunas administradas desde fines de enero a antes del fin del mes de febrero y no exactamente todo febrero como se esperaría. Otra consideración es entender si el sistema de información realiza algún ajuste para separar dosis que cuentan como “producción” de las que cuentan para “cobertura”. En la mayor parte de los países, sólo se obtiene “producción”, es decir, solo se recoge el dato del establecimiento (y municipio) que vacuna o desparasita y no del área de residencia de la persona vacunada. En algunos países, se pide el dato de residencia habitual, y de no ser la misma que el área de responsabilidad del centro de salud que vacuna o desparasita (o del municipio dónde queda ubicado el establecimiento), en alguna etapa del flujo de los datos, estas dosis se separaran de las dosis administradas a personas del área de responsabilidad del centro de salud (o del municipio) y se asignan al establecimiento (o municipio) que le correspondería por su residencia, para que al calcular la “cobertura” se les cuente en el lugar donde la persona está asignada en el denominador. Aunque teóricamente tiene sentido hacer esta distinción, en la práctica es difícil de realizar (de no usarse un RNVe o de desparasitación) y se corre el riesgo de que dosis de personas de fuera del área del establecimiento (o municipio) se cuenten dos veces, por el establecimiento que vacunó o desparasitó y por el establecimiento al que le correspondería por residencia, o por el contrario, que el dato se pierda al no saber quién debe asignar esa dosis. Para comprender el sistema de información es necesario conocer los formularios y sistemas informatizados en uso, y el flujo de datos, tales como:

Formulario de registro diario: en este documento se registra cada dosis de

23

vacuna aplicada, idealmente inmediatamente luego de administrarla. Como mínimo incluye datos de la fecha de vacunación, el establecimiento que vacuna, la vacuna y dosis aplicada y al grupo de edad (o indicación, como embarazo) al que pertenece la persona vacunada (figura 3). En algunos casos incluye sexo de la persona, raza o pertenencia étnica, nombre, fecha de nacimiento y la estrategia de vacunación (intramuro, extramuro, manejo de brote, etc). De este formulario se suman las dosis para poder obtener un dato consolidado. Este tipo de registros también se usan en desparasitación, por lo que las variables suelen ser similares, excepto la de identificación del tipo de antiparasitario usado.

Registro nominal (en papel), cuaderno de seguimiento o tarjetero: este tipo

de formato pretende facilitar el seguimiento individualizado de la historia vacunal de una persona. Generalmente recoge el nombre, algún identificador único como puede ser el número de cédula, la fecha de nacimiento y cada vacuna administrada y la fecha en que se aplicó, puede además incluir el número de lote de la vacuna aplicada, el nombre del vacunador, etc. Se ordenan por fechas o por localidad, de manera tal que se facilite identificar a quienes se han retrasado con su vacunación y para facilitar el reemplazo de un carnet de vacunación extraviado (figura 4).

Figura 4. Ejemplos de formularios para el registro diario de dosis

24

Ficha o historia clínica: es un documento que incluye todas las visitas al centro de salud, con un resumen del motivo de visita al servicio (ejemplo algún síntoma o si es por un examen preventivo), y lo que fue indicado y administrado en esa visita.

Carné, tarjeta o cartilla de vacunación: es un documento con datos de

identificación y con la fecha de cada vacuna o el antiparasitario administrado (e idealmente con información sobre cuándo debe ir a recibir las vacunas que siguen en su esquema o el antiparasitario), que se le da a la persona vacunada o desparasitada, o a su cuidador en caso de niños, como comprobante de la vacunación y la desparasitación (en los casos en donde las dos acciones están integradas) para que mantenga en su casa. Puede ser también parte de un carnet de salud que contenga otros datos de salud de la persona.

Formulario de consolidado de dosis (habitualmente mensual): es un

documento que incluye datos agregados sobre el número de dosis de cada vacuna administrada o el antiparasitario administrado en un determinado periodo de tiempo por un determinado servicio de salud, o ya incluyendo datos de puestos o brigadas móviles que dependen del servicio. Este formulario puede ser el mismo en todos los establecimientos del país, o puede variar por establecimiento o tipo de proveedor. Por ejemplo, cada clínica privada podría usar su propio diseño de formulario de datos mensuales.

Figura 5. Ejemplos de registros nominales utilizando cuadernos o tarjeteros de seguimiento de dosis de esquemas

25

Registro nominal de vacunación electrónico (RNVe): sistema/base de

datos informatizada, basada en información de base poblacional que incluye datos individuales sobre las dosis de vacunas administradas y sobre quién vacuna a cada persona. Estos datos se pueden digitar en el punto de vacunación o en un nivel superior a partir de un registro nominal en papel. En general, además de permitir computarizar los datos de vacunación, a través de digitación de datos de la persona, de la vacuna y del lugar que vacuna los RNVe facilitan el seguimiento individualizado y oportuno de los esquemas de vacunación y permiten sacar informes y otros tipos de salidas para el monitoreo de coberturas de vacunación por vacuna, dosis, área geográfica, edad (u otro tipo de grupo objetivo) y proveedor. En Latino América y el Caribe no hay registros individuales de desparasitación debido a que ésta se hace casi siempre en campañas para grupos de población específicos.

Software o plataforma de datos agregados: es un sistema informatizado,

desde un simple Excel a herramientas más sofisticadas en la Web, en el que se digitan los datos agregados a partir de los formularios consolidados de dosis, y que va agregando dosis los formularios recibidos de múltiples establecimientos o áreas, además de ir agregando datos digitados en diferentes niveles administrativos, como datos de todos los municipios que pertenecen a un departamento o estado, y de todos los niveles subnacionales en el nivel nacional. Este software puede ser exclusivo para vacunas o puede ser usado para registrar múltiples intervenciones, asimismo, puede ser de responsabilidad del PAI o del Departamento de Estadística, u equivalente, del Ministerio de Salud. El nivel de desagregación y detalle de los datos puede variar, por ejemplo, se puede “perder” el dato del establecimiento que vacunó o desparasitó quedando solo el dato del municipio donde ocurrió la vacunación o la desparasitacion, o aunque se haya registrado por edad simple, puede agregar varios grupos en uno solo, como “niños de 1 a 4 años,” por poner un ejemplo.

El flujo de la información se refiere a los niveles en los que la información es agregada. Puede ser desde simple a muy complejo. Un ejemplo de un flujo simple es uno en que todos los niveles locales pueden digitar sus datos de vacunación directamente en un registro nominal de vacunación en línea. Un flujo complejo puede ser uno en que puestos y brigadas de salud envían sus hojas de registro diario a un centro de salud, éste consolida esas dosis más las que se aplicaron en el centro mismo; esos datos agregados se pueden enviar a otro nivel de agregación y así a varios niveles hasta que llegan al nivel nacional. En un mismo país, algunas áreas geográficas pueden tener más de un flujo de datos, dependiendo de las facilidades logísticas para la digitación de datos en una computadora o para hacer llegar los formularios a un nivel superior. Junto con conocer el flujo de información, es importante saber las fechas normadas para la entrega de los datos de un nivel a otro, para poder evaluar si los informes se están recibiendo de manera oportuna. En general, los datos de vacunación a nivel nacional no debieran tener más de un mes de retraso con respecto a la fecha de vacunación, al igual que los reportes posteriores a una campaña de vacunación, o de

26

vacunación y desparasitación. Por ejemplo, en febrero de cada año se debiera contar con los datos de diciembre del año previo. Cuando la evaluación de la calidad del dato se realiza de manera integrada con las enfermedades infecciosas desatendidas en las que se usa la quimioterapia preventiva, también es necesario conocer los formatos usados para el registro de las dosis administradas y su reporte del nivel operativo o local a los niveles superiores, y el flujo que sigue la información. Sin embargo, en ocasiones solo se cuenta con el dato de dosis distribuidas y entregadas y no de personas que recibieron los antiparasitarios. La figura 6 muestra un ejemplo de flujo del sistema de monitoreo de coberturas de vacunación.

Cuando se ejecutan estrategias intensivas de intervención tipo campaña (por ejemplo, vacunación y desparasitación), el flujo de datos y las fechas de corte pueden variar pues además de registrar una elevada cantidad de dosis, el envío de datos se realiza en un tiempo corto (figura 7).

27

Otro elemento a considerar es que, si el país ha implementado un registro nominal electrónico, el flujo de información es diferente pues los registros se envían a una base de datos aplicando sistemas automatizados que para el monitoreo de coberturas (figura 8). Si la evaluación de calidad del dato incorpora el análisis del sistema de monitoreo de biológicos o antiparasitarios se debe tener claramente definido el información de las solicitudes y entregas de vacuna y medicamentos, así como las fechas de recepción y envío (Figura 9).

28

Unidaddesalud

Municipio

Departamento/Región

PAINacional

Registro Nominal

de Vacunación

Nacional

Informatizado

Figura 8. Ejemplo del flujo del sistema de monitoreo de un

registro nominal nacional de coberturas de vacunación

SectorPrivado

SeguroSocial

SectorPúblico

Otrosproveedores

Flujodeinformaciónmensual

Resumen mensual

Movimiento de biológicos o

tratamientos antiparasitarios

Pérdidas de biológicos o

tratamientos antiparasitarios

Solicitud de biológicos o

tratamientos antiparasitarios

Acuso recibido Solicitud de biológicos o

tratamientos antiparasitarios

Figura 9. Ejemplo del flujo del sistema de monitoreo de biológicos

o tratamientos antiparasitarios

Unidaddesaludpública

Municipio

Departamento

Nivelnacional

Unidaddesaludprivada

29

3.3. Integralidad de la fuente primaria y concordancia de los datos entre diferentes fuentes de información La integralidad de los datos en la fuente primaria, y la concordancia de los datos entre diferentes fuentes de información, se debe verificar en el terreno. La decisión de dónde evaluar puede ser hecha al azar como lo explica la guía de DQS/DQA. Sin embargo, es más usual realizar la selección de los lugares a evaluar teniendo en cuenta consideraciones logísticas. La fuente primaria [del dato] se refiere a las herramientas de captación de datos donde primero se registra la prestación del servicio. En el caso de la vacunación, puede ser el formulario de registro diario; el registro nominal (en papel), cuaderno de seguimiento o tarjetero; la ficha o historia clínica; el carné, tarjeta o cartilla de vacunación y/o un RNVe. En el caso de la desparasitación, la fuente primaria puede ser el formulario de registro durante la campaña, que puede ser nominal o consolidado por grupo de edad.

Integralidad La integralidad se evalúa revisando si se han llenado (adecuadamente) todos los campos que pide el formulario, o al menos campos mínimos a ser definidos a priori por el país o el equipo evaluando la calidad de los datos. Se recomienda como mínimo que se verifique que los campos de identificación (para los documentos o herramientas nominales), de fecha y de dosis hayan sido llenados. Como no es posible revisar todos los registros, se pueden seleccionar algunos meses o una cuota. En el anexo 1 se muestra un ejemplo de un formulario a usarse para evaluar integralidad de la fuente primaria. El indicador que se construye es el siguiente:

Carácter integral de los formularios = Porcentaje de documentos originales e informes que contienen todos los datos necesarios

Concordancia de los datos entre diferentes fuentes de información

La concordancia de los datos entre diferentes fuentes de información se puede hacer mediante:

a) Múltiples comparaciones de datos entre las fuentes primarias, o

b) Comparando los datos de números de dosis recontadas por el evaluador para un periodo determinado a partir de una de las fuentes primarias del dato (habitualmente el registro diario o el registro del campaña) con el consolidado que fue reportado al nivel superior, y/o

c) Comparando lo que tienen los niveles subnacionales con el nivel nacional. Lo más común son las comparaciones a) y b).

30

La evaluación de concordancia se puede hacer para una o más dosis de vacunas o de antiparasitario y para uno o más meses o para una campaña específica, dependiendo de la periodicidad con que se haga la evaluación de los datos, el tiempo que se disponga en cada establecimiento y el interés particular que haya en explorar la calidad de los datos de una vacuna en particular (por ejemplo podría haber interés en el dato de vacunación contra influenza, que tiende a ser “de menos calidad” que el de SRP, pues este último recibe mayor atención por estar el sarampión y la rubéola en eliminación), o de una ronda de antiparasitario de las dos que se hayan hecho, por dar un ejemplo. En la evaluación del dato del programa regular de vacunación, en general se recomienda evaluar 3 meses consecutivos (evitando meses en los que haya habido una campaña que pueda haber afectado el registro de datos) y no más de cuatro dosis de vacunas (por ejemplo: pentavalente1, pentavalente3, rotavirus2 en <1 año y SRP en niños de 1 año). La BCG y hepatitis B del recién nacido pueden manejarse por separado por darse muchas veces mayoritariamente en maternidades. Al decidir el periodo de tiempo y las dosis a evaluar se debe recordar que se está evaluando la confiabilidad del dato y no el desempeño del programa de vacunación o de enfermedades desatendidas. Para cuantificar la concordancia entre los datos de dos fuentes se puede calcular un índice de concordancia que puede ser absoluto o relativo. Un índice absoluto calculará la diferencia tomando siempre el dato más alto o más bajo como referencia. El índice relativo más usado se conoce como factor de verificación, el cual calcula la proporción de dosis reportadas que puede ser verificada en el documento más cercano a la fuente primaria, con la siguiente fórmula: Factor de verificación =

Nº de dosis registradas durante un mes dado en los registros diarios de un centro de salud

Nº de dosis de ese centro de salud consolidadas en el municipio durante el mismo mes dado

Por lo tanto, la evaluación de la exactitud de datos se hace comparando los datos encontrados a cada nivel, calculando el “factor de verificación”, que compara el número de dosis reportado al nivel superior con el número encontrado por el equipo evaluador en el nivel inferior. Si no es posible comprobar todas las dosis informadas a un nivel más alto en el nivel inferior que reporta, el FV será un <100%, sugiriendo sobre notificación. Esto sería el caso si se encuentran más dosis a nivel del municipio para un establecimiento de salud que las recontadas en el mismo establecimiento. De manera análoga, si se encuentran más dosis en los registros diarios de un establecimiento de salud que en el municipio, el FV sería >100% que sugiere sub notificación (Figura 10).

x100

31

La figura 11 ilustra un ejemplo de documentos a compararse: el recuento de palotes del registro diario con los números de dosis reportadas en el consolidado mensual. En la figura 12 se ilustra un ejemplo de análisis de la concordancia entre los datos de desparasitación después de una campaña.

32

0

200

400

600

800

1000

1200

1400

1600

Nº

do

sis

Registro diario 1557 1151 1126 1376

Plantilla mensual o software 1538 1106 1092 1366

Reporte mensual en Región 1570 1133 1118 1400

Penta1 Penta 3 VOP3 SRP1

Año 2013 Grupo

de edad

Vacuna

y dosis

Registro

diario

Plantilla

mensual o software

Mensual

en Región

FV diario/

plantilla mensual o software

FV diario/

mensual en Región

Octubre a

diciembre

<1 año

Penta 1 1557 1538 1570 101,2% 99,2%

Penta 3 1151 1106 1133 104,1% 101,6%

VOP3 1126 1092 1118 103,1% 100,7%

1 año SRP1 1376 1366 1400 100,7% 98,3%

Figura 11. Ejemplo de presentación de resultados del análisis de concordancia de datos y cálculo de Factor de Verificación (FV)

0

2000

4000

6000

8000

10000

12000

Nº

do

sis

Registro de cada puesto de

desparasitación

11985 10587

Registro en el servicio de salud de la

campaña de desparasitación

11369 10361

Reporte mensual en Región 11259 10253

Ronda 1 Ronda 2

Figura 12. Ejemplo de presentación de datos del análisis de concordancia de datos y Factor de Verificación (FV) para antiparasitarios

Ronda Registo puesto desparasitación

Registro servicio salud de campaña

Reporte mensual en Región

FV puesto desparasitación/

servicio salud

FV puesto desparasitación/ Reporte

mensual en Región

Ronda 1 11985 11369 11259 105.4 106.4

Ronda 2 10587 10361 10253 102.2 103.3

33

Al presentar los datos es importante ilustrar la magnitud de las diferencias, además del factor de verificación, pues una diferencia de 2-3 dosis puede resultar en un factor de verificación muy lejos de 100% en un establecimiento que aplica pocas dosis. La figura 13 muestra un ejemplo de cómo se pueden presentar los resultados de un análisis de concordancia de datos.

Antes de reportar una diferencia, especialmente de gran magnitud, es imprescindible que el evaluador vuelva a contar y a revisar que hizo bien el ejercicio y que está comparando el mismo mes. También es importante incluir observaciones que puedan explicar las diferencias observadas. Por ejemplo que se había extraviado alguna hoja de registro diario; o que no se tenían todos los reportes de los puestos en los que se hizo la desparasitación; que no era claro si para el reporte consolidado el mes se había cortado el mes antes de finalizar; si algunas dosis reportadas por algún proveedor privado como una DTaP-Hib-IPV se incluían en una casilla de “otro” o se excluían en lugar de sumarse a las dosis de polio, DTP y Hib; si habían errores de fórmulas en una herramienta Excel usada; si dosis de pentavalente administradas a niños mayores de un año se ponían erróneamente en la casilla de <1 año del consolidado mensual, etcétera.

Figura 13. Ejemplo de gráfico de la exactitud de los datos comparando Unidades de Salud de diferentes Departamentos

0

100

200

300

400

500

600

700

800

Nº

do

sis

Nacional 41 21 736 315

Unidad de Salud 41 21 736 315

Tabulado mensual 34 20 736 315

Registro diario 41 17 163 209

El Oro Santa Ana Robledal Colina

Departamento A

Departamento B

FV= 100% FV= 81%

FV= 22%

FV= 66%

34

En países que están empezando a usar RNVe también es posible comparar la concordancia entre los datos del RNVe y los de los formularios consolidados que se hayan seguido usando. Si la selección de los sitios a visitar no se hizo de manera probabilística no se debe calcular un factor de verificación “promedio”, si no que se debe presentar el factor de cada lugar evaluado. En general se esperan diferencias de hasta un 5-10% según el escenario. Es importante determinar si hay errores que resulten en pérdidas o duplicaciones sistemáticas de datos. Las figuras 14, 15, 16 y 17 muestran ejemplos de gráficos para presentar los resultados de exactitud, la primera compara lo reportado con los datos verificados y la segunda compara varias fuentes de datos del punto de entrada de datos con respecto al reporte municipal, departamental y nacional.

35

Figura 15. Ejemplo gráfico de la exactitud de los datos comparando dosis reportadas y verificadas de antiparasitario en una ronda de tratamiento

0

100

200

300

400

500

600Mu

nic

ipio

1

Mu

nicip

io 2

Munic

ipio

3

Munic

ipio

4

Mu

nicip

io 5

Munic

ipio

6Mu

nic

ipio

7Mu

nicip

io

8Mu

nicip

io 9

Munic

ipio

10

Nº

do

sis

Evaluado

Reportado

Figura 16. Ejemplo de gráfico de la exactitud de los datos de vacunas Pentavalente 1, 2 y 3 comparando niveles municipal, departamental y nacional

0

100

200

300

400

500

600

Penta 1 Penta 2 Penta 3

Nº

do

sis

Registro diariounidad de salud(RD)

Informeconsolidado delmunicipio (ICM)

Consolidado delDepartamento(CD)

Informe delDepartamento(ID)

InformeNacional (IN)

Penta 1 FV: RD /ICM= 95%

Penta 2 FV: RD/ ICM= 89%

Penta 3 FV: RD/ ICM= 84%

36

3.4. Completitud y oportunidad del reporte de datos La completitud determina si todos los informes para el periodo de interés se enviaron a los niveles superiores y la oportunidad evalúa si ese envío se recibió según las fechas establecidas por las normas del país. Para calcular estos indicadores se determina el porcentaje de informes recibidos y de informes recibidos a tiempo de establecimiento a nivel superior (dependiendo del flujo de la información) y de los departamentos al nivel nacional. Esto solo se puede hacer si existen fechas de registro de recepción de informes (electrónicos y/o en físico).

Completitud de documentación e informes: Se refiere al porcentaje de documentos originales e informes que pueden recuperarse en el nivel superior, como se muestra en los siguientes ejemplos:

% de consolidados semanales enviados por las Unidades de Salud al municipio: 5/5 = 100%

% de consolidados semanales enviados del Departamento al nivel nacional: 1/1= 100%

Figura 17. Ejemplo gráfico de la exactitud de los datos de antiparasitarios por

rondas de tratamiento, comparando niveles municipal, departamental y nacional

0

2000

4000

6000

8000

10000

12000

Ronda 1 Ronda 2

Nº

do

sis

Registro del puestode desparasitación(RP)

Registro del serviciosalud de campañadesparasitación (RS)

Informe consolidadodel municipio (ICM)

Informe consolidadodel Departamento(ICD)

Informe consolidadonacional

Ronda 1

FV: RP /ICM= 106%

Ronda 2

FV: RP/ ICM= 103%

37

Oportunidad de la documentación y los informes: Porcentaje de documentos

originales e informes que se recopilaron o remitieron hasta la fecha límite. A manera de ejemplo:

% de consolidados semanales enviados a tiempo por la Unidad de Salud al municipo: 4/5 = 80%

% de consolidados semanales enviados a tiempo del Departamento al Nivel Central: 1/1 = 100%

3.5. Evaluación de la “calidad” del sistema de información y uso de los datos La evaluación del sistema de información (datos, personas, actividades y recursos informáticos y de comunicación) y uso de los datos se basa en la observación de prácticas de registro, archivo y análisis; en entrevistas con los responsables de vacunar, desparasitar, registrar, consolidar y digitar la información; y en la aplicación de cuestionarios. Esta parte de la evaluación se realizará junto a la evaluación de integralidad y la concordancia de los datos descrita en la unidad 2, por lo que lo mencionado para la selección de los lugares a evaluar y de los evaluadores también aplica a esta unidad. Esta parte de la evaluación del sistema de información se puede organizar en componentes, como por ejemplo:

a. Prácticas de registro

b. Monitoreo y evaluación

c. Capacitación y supervisión

d. Prácticas de archivo y reporte

e. Información demográfica y planificación (este componente no se aplica a nivel operativo).

Para facilitar el análisis, en general los cuestionarios se diseñan para dar lugar a respuestas dicótomas (sí/no) en las que la respuesta “sí” refleja lo esperado o lo que debería ocurrir de acuerdo a las normas. Para cada sitio visitado se obtiene un “índice de calidad” dividiendo la puntuación obtenida por la máxima puntuación posible. En los anexos 2 a 5 se muestran ejemplos de cuestionarios para evaluar el sistema de información de diferentes niveles. Los resultados se pueden presentar en gráficos de barras o de radar, comúnmente conocidos como de “telas de araña”, como los que se muestran en la figura 18. Estas representaciones gráficas de los resultados del componente cualitativo de la evaluación facilitan las comparaciones de los niveles equivalentes (entre diferentes establecimientos de salud y entre municipios o departamentos/estados), visualizando los puntos fuertes y los puntos que requieren mejorar (figura 19).

38

Figura 18. Uso del gráfico telas de araña para presentar los

resultados de la calidad del dato

0%

20%

40%

60%

80%

100% Reporte

Supervisión

Planificación Análisis

Manejo de stock

-

2.0

4.0

6.0

8.0

10.0

Conoci

m.y

registro

Monit-Eval.

Arch-Repor

Figura 19. Ejemplo de gráfico de telas de araña para presentar los

resultados de la calidad de los datos de diferentes Unidades de Salud

-

2.0

4.0

6.0

8.0

10.0

Conocim.y registro

Monit-

Eval.

Arch-

Repor

UnidaddeSaludA UnidaddeSaludB

39

Al igual que para el factor de verificación (u otro indicador de concordancia), no se debe presentar un índice de calidad promedio si la selección de sitios evaluados no fue al azar. Más importante que el valor del índice de calidad obtenido (ejemplo: 50%, 80%, 90%) es entender los problemas que resultaron en la no obtención del puntaje para poder remediarlos e ir monitoreando que los índices de calidad mejoren en el tiempo. El resultado de cada visita puede también generar una apreciación de fortalezas y debilidades, las que se sistematizarán e incluirán en el informe final.

3.6. Evaluación de un Registro Nominal de Vacunación electrónico (RNVe) Las metodologías de evaluación de los RNVe están siendo desarrolladas y afinadas a medida que este tipo de registro se hace más prevalente. El GTA de OPS en 2013 recomendó de manera enfática el monitoreo cercano de los RNVe, especialmente durante la fase de implementación. Los datos que estos sistemas producen pueden evaluarse usando los métodos descritos anteriormente. Sin embargo, existen pocos estándares probados para evaluar el diseño y funcionamiento operativo de un RNVe. Para el software mismo se pueden usar estándares informáticos que van más allá del alcance de esta guía, pero ejemplos se pueden consultar en los manuales de los países que han implementado este tipo de sistemas de información. Para comenzar es importante describir el RNVe en base a revisiones del software, sus manuales y normas relacionadas, y mediante la observación durante las visitas a los establecimientos de salud y oficinas del PAI o de estadísticas donde esté funcionando. El anexo 6 presenta un ejemplo de formulario utilizado para describir un RNVe.

Se puede enmarcar la descripción del RNVe en los siguientes ámbitos:

Alcance

Marco normativo y legal

Arquitectura del software

Mantenimiento y sostenibilidad

Recurso humano

Módulos integrados en el software

Funcionalidades del software

Nivel de implementación

Mediante cuestionarios se pueden realizar entrevistas al personal del PAI y a usuarios del RNVe en los niveles operativos, subnacionales y nacional, para evaluar componentes de:

Disponibilidad de equipos adecuados

Acceso a Internet

40

Infraestructura

Recursos humanos y asistencia técnica

Captación de los datos

Es también importante evaluar las percepciones de los usuarios del sistema de monitoreo de coberturas, tanto personal del PAI como digitadores en todos los niveles. El Anexo 9 muestra un formulario para entrevistas a los digitadores del sistema informático.

3.7. Denominadores El evaluar la calidad de los denominadores usados para calcular coberturas administrativas es y sigue siendo un gran desafío para el programa de inmunización y de desparasitación. Un reto adicional es que, a medida que las coberturas de vacunación o de desparasitación aumentan en una población, el mismo porcentaje de error en una estimación de población puede ocultar la tendencia de las coberturas. Aunque este no es un concepto intuitivo, la figura y tabla siguiente ayudan a entender este fenómeno (figura 20).

Los denominadores usados para calcular coberturas de vacunación infantil en general provienen de datos de nacimientos (que se ajustan por mortalidad infantil si se quiere obtener el dato de lactantes que sobreviven el primer año de vida) o de proyecciones censales. Rara vez se pueden usar los datos de un RNVe como denominador. Para coberturas en mujeres embarazadas muchas veces se usa el número de nacimientos

41

como una aproximación al número de gestantes. De usarse datos de nacimientos, se debe entender cómo y con qué retraso se obtiene el dato final para cada año y qué porcentaje de subregistro existe en cada región del país. Esta información permitirá al PAI entender si está usando datos incompletos. En las proyecciones de un censo, no siempre se dispone del dato por edad simple (por ejemplo, existe el dato para niños de 1-4 años, pero no de 1, de 2, de 3 y de 4 años) y a medida que se trata de estimar el dato para áreas geográficas más pequeñas es más difícil obtener una estimación precisa; también mientras más se aleja en el tiempo la proyección del año en que se realizó el censo, más imprecisiones existen. En este sentido, el PAI y los programas de desparasitación deben saber qué organismo realiza la estimación por edades simples y asigna los denominadores por municipios. En general, los demógrafos que trabajan en Institutos de Estadísticas y Censos tienen mejores herramientas para hacer estos cálculos que los Departamentos de Estadísticas de los Ministerios de Salud. Para conocer con mayor detalle las herramientas que se pueden aplicar al análisis de la calidad de los denominadores se recomienda consultar el Módulo 2. Análisis de coberturas administrativas. Algunas observaciones que es importante tener en consideración para identificar que los denominadores tienen problemas son?

Entender cuál ha sido la fuente de los denominadores de las coberturas de vacunación y de desparasitación en el tiempo, para poder interpretar tendencias en este dato por nivel.

Además de evaluar tendencias de denominadores, es importante evaluar si el

número de dosis de vacunas BCG y/o DPT/pentavlente1 o polio1 o de antiparasitarios sobrepasa la población asignada. De ser así, la cobertura reportada será mayor a 100%. Si se confía en que el dato de dosis reportadas es adecuado, esta situación sugiere que el denominador está subestimado. En este caso, para propósitos de análisis mas no de reporte oficial, se pueden calcular las coberturas usando el dato de primeras dosis de vacunas, pues se acercarán más a un valor real.

Si se identifican discrepancias significativas en las coberturas administrativas

con respecto a las coberturas estimadas por encuesta, si los numeradores son fiables, pueden sugerir imprecisiones del denominador.

Aunque con menos fuerza, resultados de MRC en que la proporción de personas

vacunadas o desparasitadas es sistemáticamente mayor que los datos de las coberturas administrativas pueden sugerir sobreestimación de los denominadores. Esta última inferencia debe realizarse con cautela debido a la naturaleza no probabilística de los MRC.

Más allá de realizar análisis que puedan sugerir imprecisiones de los denominadores, el PAI y los programas de EIDs no están en una posición de “adaptar” o “estimar” los denominadores para el cálculo de coberturas. Lo que sí puede hacer es convocar a expertos en demografía y temas relacionados a que conformen un comité multiinstitucional para la revisión de las proyecciones censales o de nacimientos para que le recomienden al Ministerio de Salud el denominador más adecuado a usar para el cálculo de coberturas y otros indicadores de salud.

42

Paso 4. Divulgación de resultados

El informe de resultados debe incluir los indicadores que se calcularon a partir de las aplicación de las diversas herramientas de evaluación de sistemas y verificación de datos. Debe también ser discutido con los usuarios del sistema y con las instancias gerenciales y políticas, para identificar sus fortalezas y debilidades, así como las oportunidades de mejora de la calidad de los datos.

Paso 5. Toma de decisión

5.1. Definición de las estrategias

El análisis de la calidad de los datos debe llevar a plantearse preguntas como :

¿Existen cuellos de botella en el sistema de información?

43

¿Existen diferencias entre los datos de los niveles nacional, subnacional y local?

¿Qué acciones debo tomar? ¿Es necesario reforzar la supervisión, capacitación? ¿Es necesario incorporar cambios en la normativa?

¿A quiénes debo involucrar para ejecutar esas acciones? Como se mencionó previamente, no solo es importante entender los problemas que limitan los datos de dosis aplicadas (por ejemplo, mal registro de dosis aplicadas, sobreestimación del número de dosis aplicadas, pérdida de datos de dosis aplicadas, falta de reporte o envío atrasado, carencia de un manejo adecuado de informes atrasados), sino que es necesario comprender sus causas y en colaboración con el nivel operativo tomar las medidas requeridas para resolver los problemas detectados. El establecimiento de estrategias y acciones para mejorar la calidad de los datos debe considerar acciones en los procesos de recolección, análisis y uso de los datos para mejorar el desempeño de los programas en los tres niveles de gestión de la información:

Operativo: para tomar mejores decisiones operativas en el día a día.

Gerencial: para que las respuestas gerenciales estén sustentadas en los verdaderos problemas y busquen la mejorar eficiencia.

Estratégico: para que las estrategias y políticas estén mejor informadas y puedan ser evaluadas.

5.2. Plan de acción

Una vez identificadas las estrategias que permitirían mejorar la calidad de los datos, es necesario formular un plan de trabajo que establezca los objetivos, las actividades, el cronograma de trabajo, los responsables y los recursos que se requieren para mejorar la calidad del dato. El plan debe incorporar acciones orientadas a crear el hábito de buenas prácticas de registro de dosis de vacunas y de dosis de antiparasitarios para lograr que la consolidación de datos sea fiable y completa, que el reporte de los mismos sea completo y oportuno, que utilice denominadores adecuados y promueva el análisis sistemático y el uso de datos de calidad que apoyen la mejora de la gestión del programa,

Es necesario resaltar que el propósito fundamental de la aplicación de la herramienta de evaluación de la calidad del dato es identificar las necesidades de mejora del dato en el quehacer diario de los programas, por lo cual, en seguimiento a los resultados de una evaluación de calidad de datos, se deben incorporar elementos del análisis sistemático de la calidad del dato en la rutina de los programas, mediante la definición de herramientas acortadas e instrumentos de supervisión para dar seguimiento a los aspectos identificados críticos del sistema de monitoreo de coberturas.

44

Referencias

1. World Health Organization. The immunization data quality self-assessment (DQS) tool. Geneva: WHO; 2005. (WHO/IVB/05.04).

2. World Health Organization. Data Quality Assessment Protocol for Neglected Tropical Diseases: Guidelines for implementation. Draft document provided by ENVISION project.

3. Ronveaux O, Rickert D, Hadler S, Groom H, Lloyd J, Bchir A, et al. The immunization data quality audit: verifying the quality and consistency of immunization monitoring systems. Bull World Health Organ. 2005;83(7):503–10.

4. Pan American Health Organization. Protecting the health of the Americas: moving from child to family immunization. Final report. XVII Meeting of the Technical Advisory Group on Vaccine-preventable Diseases, Guatemala City, Guatemala, 25–27, July 2006. Washington: PAHO; 2007

5. Machado Cruz V, Salas Peraza D, Cervantes M, Esquevel G, García M, Hernández O, et al. Immunization data quality self-assessment, Costa Rica, November 2005 [abstract]. In: Protecting the health of the Americas: moving from child to family immunization. Final report. XVII Meeting of the Technical Advisory Group on Vaccine-preventable Diseases, Guatemala City, Guatemala, 25–27 July 2006. Washington: PAHO; 2007. p. 69.

6. Ronveaux O, Arrieta F, Curto S, Laurani H, Danovaro-Holliday MC. Assessment of the quality of immunization data produced by the national individual registration system in Uruguay, 2006. Rev Panam Salud Publica. 2009;26(2):153–60.

7. Laska EM. The use of capture–recapture methods in public health. Bull World Health Organ. 2002;80(11):845. Epub 2002 Dec 3.

8. Boyd Td, Linkins RW, Mason K, AS, Bulim I, Lemke B, Assessing Immunization Registry Data Completeness in Bexar County, Texas. Am J Prev Med 2002;22(3):184–187.

9. Papiana M, Rodewald L. For better immunisation coverage, measure coverage better. Lancet. 2006;367(9515):965–6.

45

Anexos

46

Anexo 1. Plantilla para registrar los datos y calcular los indicadores de exactitud, integralidad y oportunidad

PENTA

1

PENTA

3 SRP

PENTA

1

PENTA

3 SRP

PENTA

1

PENTA

3 SRP

Nº de

dosis

Nº. de

dosis

Nº. de

dosis

Nº de

dosis

Nº. de

dosis

Nº. de

dosis

Nº de

dosis

Nº. de

dosis

Nº. de

dosis

No.

Listado de Unidades de Salud que reportan

al municipio Registrar los datos recibidos en

papel (si falta espacio usar otra hoja)

1

2

3

4

5

6

7

8

9

10

11

12

C. Sumatoria total

D. Copiar datos de la salida del sistema (base

de datos Excel) si hay sistema en el municipio

Municipio: (a) Nº de informes a recibir (3 meses) =Indicadores de integralidad y

oportunidad

Departamento: (b) Nº de informes efectivamente recibidos = % integralidad (a/b x 100 ) =

Fecha de la evaluación: (c) Nº de informes recibidos a tiempo = % Oportunidad (c/b x100) =

Mes Mes 1

Fe

ch

a d

e

rec

ep

ció

n Mes 2

Fe

ch

a d

e

rec

ep

ció

n Mes 3

Fe

ch

a d

e

rec

ep

ció

n

Tipodevacuna

Dosis

A. Base de datos nacional (Total de los datos

registrados del municipio en el nivel nacional, si es posible)

B. Base de datos del Departamento (Total de los datos

registrados del municipio en el departamento, si es posible)

47

Calculo del factor de verificación (FV) en cada uno de los niveles del sistema de monitoreo de coberturas

Meses Período __________

Tipo de vacuna o antiparasitario PENTA

1 PENTA

3 SRP

ALB o

MBD

Nº de dosis Nº de dosis

Nº de dosis

Nº de dosis

Nº de dosis

A PAI Nacional o programa integrado PAI y desparasitación (Total de datos del municipio registrados en el nivel nacional)

B Departamento (Total de datos del municipio registrados en el Departamento)

C Municipio (Suma de datos del municipio verificados por el evaluador)

D Municipio (Total de datos del municipio registrados en el sistema)

FV= Suma de datos del municipio verificados por evaluador / Total de datos del municipio registrados en el sistema (C/D) x 100

FV = Suma de datos del municipio verificados por el evaluador / Total de datos del municipio registrados en el Departamento (C/B) x 100

FV = Suma de datos del municipio verificados por el evaluador / Total de datos del municipio registrados en el nivel nacional (C/A) x100

FV = Total de datos del municipio registrados en el sistema / Total de datos del municipio registrados en el Departamento (D/B) x 100

FV = Total de datos del municipio registrados en el sistema / Todal de datos del municipio registrados en el nivel nacional (D/A) x 100

48

Anexo 2. Formulario para evaluar la calidad del sistema de monitoreo de coberturas de la Unidad de Salud

Nombre de la Unidad de Salud: _____________

Municipio: ___________ Departamento: _____________________

Equipo evaluador:

Fecha de la evaluación:

Nº Prácticas de registro Sí No NA Puntaje Observaciones

1

¿Dispone de registros diarios de vacunación suficientes para los próximos dos meses?

2

El Ministerio de Salud debe suministrar a cada Departamento y ésta a cada Unidad de Salud, los registros diarios necesarios.

2 ¿Dispone de registros de consolidado semanal para los próximos dos meses?

2

El Ministerio de Salud debe suministrar las hojas para los consolidados semanales necesarios.a cada Departamento y éste a cada Unidad de Salud,

3 ¿Cuenta con tarjetero índice para menores de 5 años?

2 Verifique si tiene el tarjetero índice

4

Si tiene tarjetero Índice, ¿está bien llenado y actualizado para lo que va del año?

2

Si no tiene tarjetero índice, marque NA; verifique en general su uso (movimiento, funcionamiento), sea en el tarjetero estándar o en otro formato

5 ¿Es posible reemplazar un carné de vacunación a un niño que lo haya perdido?

1

Solicite explicación detallada de cómo lo hace y cuál es la fuente; proceso para fuera de zona; dosis en distintos vacunatorios

Para responder a las preguntas 6 a 9, observe la administración de vacunas:

Si no hay suficientes niños para observar, pregunte como lo haría. Si no le parece suficiente indique NA

6

¿Registró adecuadamente en el Registro Diario de vacunación cada una de las vacunas aplicadas?

2 Verifique cómo lo hace

7 ¿Registró adecuadamente en el tarjetero índice a cada persona vacunada?

2 Verifique cómo lo hace

49

8

¿Registró adecuadamente la Libreta o Carné de vacunación a cada persona vacunada ?

2 Verifique cómo lo hace

9

¿Se le indicó a cada persona vacunada (o responsable del niño) la fecha en que le corresponde la próxima vacuna?

2 Verifique cómo lo hace

10

¿Respondió correctamente al ejercicio 1 (Niño de su zona de 3 meses, sin ninguna dosis)?

2 Verifique que llena registro diario, tarjetero y carné correctamente

11

¿Respondió correctamente al ejercicio 2 (Niño que era de otro municipio y se mudó a su área de influencia, 18 meses, ha recibido BCG, Pentavalente 1, 2 y 3 VOP 1, 2 y 3)?

2 Verifique que aplica vacunas adecuadas, llena registro diario, tarjetero y carné

12

¿Respondió correctamente al ejercicio 3 (Niño vive en otra Región, visita su municipio y va a vacunarse. Tiene 7 meses y ha recibido BCG, penta 1 y VOP 1)?

2

Verifique que aplica vacunas adecuadas, llena registro diario, tarjetero y carnet. Ponga atención a como maneja a los fuera de zona

13

¿Tiene bien separado el registro diario para niños de fuera de zona y lo completa adecuadamente?

2 Verifique el registro diario

14

¿Maneja adecuadamente la consolidación semanal/mensual de vacunas al fin de mes?

2

Verifique los datos. Debería manejar informes separados (dos líneas, por ejemplo) en la semanas que termina cada mes.

15

¿Maneja adecuadamente la consolidación semanal/mensual de vacunas aplicadas a niños de fuera de zona?

2 Verifique los datos consolidados de la semana y del mes anterior

50

Nº Movimiento de

biológicos Sí No NA Puntaje Observaciones

16 ¿Dispone de un formulario actualizado para el movimiento de biológicos?

1 Verifique en el formulario del mes presente

17

En el formulario de movimiento de biológicos, ¿está actualizado el registro de pentavalente de los meses ___ a ___ del presente año_?

1 Verifique el llenado correcto; verificar si efectivamente esta disponible y actualizado

18

En el formulario de movimiento de biológicos, ¿está actualizado el registro de jeringas de los meses ___ a ___ del presente año?

1 Verifique el llenado correcto; verificar si efectivamente esta disponible y actualizado

19

¿Se lleva correctamente el control del número de lotes y vencimiento de biológicos?

2 Verifique que no se utilicen o permanezcan las vacunas vencidas

20

¿Se compara el número de dosis usadas con el número de personas vacunadas?

1

Aunque sea de manera rápida verifique los regitros, para monitorear que no se están "perdiendo" dosis.

21

¿En el movimiento de biológicos, se analiza la pérdida de biológicos o vacunas?

1 Verifique que esté actualizado y se sepa hacer el cálculo, no solo usar el factor de pérdida

Nº Monitoreo y evaluación Sí No NA Puntaje Observaciones

22

¿Dispone de la población de niños menores de 1 año en su área de influencia para el presente año?

2 Población <1 año _____ (Año = ___) Fuente:

23

¿Dispone de la población de niños de 1 año en su área de influencia para el año que se está evaluando?

2 Población de 1 año ____ (Año =___ ) Fuente:

24 ¿Tiene su gráfico de cobertura al día?

1 Verifique si el gráfico de coberturas está actualizado

51

25

Al momento de la evaluación: ¿Conoce cuántos niños faltan por vacunar para Penta 1, 2 y 3 para cumplir la meta del año que se está evaluando?

1 Solicite que explique cómo se interpretan los datos

26

¿Conoce el número de niños de 10 años para vacunar con Td en el año que se está evaluando?

1 Solicite el dato del número de niños y explicar como se interpretan los datos

27 ¿Se ha implementado los lineamientos de sectorización?

1 Verifique la disponibilidad de mapas o croquis

28

¿Se dispone de un mapa o croquis de su área de influencia en donde se observe barrios o comunidades?

1 Verifique que se esté utilizando

29 ¿Existe una estrategia de búsqueda de niños pendientes para vacunar?

1 Solilcite que explique cuáles y verifique en el Tarjetero índice

30

¿Realizó Monitoreos Rápidos de Coberturas (MRC) para el programa regular en el transcurso del año que se está evaluando?

2 Verifique cuántos se han realizado en el año. No se incluyen MRC por campañas

31 ¿Ha realizado los MRC que debería al mes anterior?

2 Verifique si se realizó el mínimo establecido en la norma

32 ¿Conoce y aplica el concepto de tasa de deserción o abandono?

1

Pregunte: ¿cómo puede identificar si hay más terceras que primeras Pentavalentes y si esto sucede, cómo lo interpreta?

33

¿Realiza actividades de promoción de la vacunación en la comunidad?

1

Pregunte: ¿cuáles actividades se han realizado? Ej: Perifoneo, radio, actividades exdtramuralers, ferias de la salud, charlas, otras

52

Nº Capacitación y

supervisión Sí No NA Puntaje Observaciones

34

¿Ha recibido capacitación o supervisión capacitante sobre como llenar el registro diario y el consolidado semanal?

2

Indique fecha de la última capacitación (no incluya capacitación sobre la campaña)

35

¿Ha recibido capacitación o supervisión capacitante sobre como llenar y manejar el tarjetero índice?

2 Indique quien lo supervisó y verifique existencia de informe

36

¿Ha recibido capacitación o supervisión capacitante sobre como manejar el registro de niños fuera de zona?

2 Indique el componente de capacitación y quien lo capacitó

37

¿Ha recibido supervisión sobre inmunización para el programa regular (excluyendo lo de campañas) en el transcurso del año que se está evaluando?

2 Indique quien lo supervisó y verifique existencia de informe

Nº Prácticas de archivo e

informes Sí No NA Puntaje Observaciones

38 ¿Existe un sistema de archivos de los formularios del programa?

1 Verifique cuál es el sistema que utilizan

39

¿Están archivados los registros diarios y los consolidados semanales/mensuales del año que se está evaluando?

1 Si no hay sistema de archivo de formularios, marque NA

40 ¿Los registros diarios de vacunación están ordenados por fecha?

1 Si no hay sistema de archivo de formularios, marque NA

41 ¿Los consolidados están ordenados por fecha?

1 Si no hay sistema de archivo de formularios, marque NA

42 ¿Cumple con las fechas de entrega de informes?

1 Verifique las fechas de los 2 meses anteriores

43

¿En caso de un evento adverso severo a la vacunación, conoce qué hacer y cómo notificar?

1 Solicite que explique cómo lo notifica

53

Anexo 3. Formulario para evaluar la calidad del sistema de monitoreo de coberturas del Municipio

Municipio: ___________ Departamento: _____________________

Equipo evaluador: ____________________________________________________

Fecha de la evaluación: ___/ ___/ _____

Nº Información demográfica y

planificación Sí No NA Observaciones

1

¿Conoce el número de niños menores de un año esperados para vacunar en el municipio o localidad para el año actual?

Población <1 año para año ________ Fuente:

2

¿Conoce el número de niños de un año esperados para vacunar en el municipio o localidad para el 2012?

Población 1 año para año _________ Fuente:

3 ¿Conoce la población meta a vacunar con Td en el año ___?

No se incluye en el puntaje final

4

¿La población <1 año y de 1 año a vacunar en el municipio coincide con la población asignada por el Ministerio de Salud?

Escriba estas poblaciones: <1 año y de 1 año para sus municipios de salud para el presente año

5

¿Otros programas como AIEPI o Crecimiento y Desarrollo, usan el mismo denominador de población menor de un año y de un año que el programa ampliado de inmunizaciones?

Verifique los denominadores

6 ¿El municipio contempla las actividades del PAI dentro del Presupuesto del año actual?

Fuentes de financiamiento. En caso negativo, explique

7

¿Se dispone de un mapa estratificado para la planificación y organización de actividades de vacunación actualizado?

Verifique la disponibilidad del documento de microprogramación

Nº Capacitación y supervisión Sí No NA Observaciones

8

¿Se dispone de un cronograma de supervisión para las Unidades de Salud en el que se está evaluando?

Verifique el cronograma de supervisión

9

¿Se ha cumplido con el cronograma de asistencia técnica para las Unidades de Salud en el año que se esta evaluando?

Si no hay cronograma marque NA. En caso de no cumplimiento pregunte las causas.

54

10

¿Este año, ha recibido supervisión del Departamento para el programa permanente (excluye las campañas)?

Indique quien lo supervisó y verifique existencia de informe

11

¿Este año, ha recibido supervisión del Departamento sobre datos (calidad, coincidencia de datos)?

Indique quien lo supervisó y verifique existencia de informe

12 ¿Este año, ha recibido alguna capacitación en temas del PAI?

Indique el componente de capacitación y quien lo capacitó

13

¿Este año, ha recibido capacitación y/o entrenamiento en sistemas de información (registro diario de vacunación, plantilla mensual, calidad del dato)?

Indique el componente de capacitación y quien lo capacitó

Nº Monitoreo y evaluación Sí No NA Observaciones

14

¿Tiene el tablero de control o gráficas de cobertura de vacunación de las Unidades de Salud al día?

Verifique si las gráficas o tablero de control están al día

15 ¿Realiza análisis de datos y retroalimentación a sus Unidades de Salud?

Indique periodicidad y mecanismos de retroalimentación.Verifique la realización de reuniones.

16

¿Existe un mecanismo para controlar que todas las Unidades de Salud le han enviado los consolidados mensuales?

Verifique que han enviado los consolidados y explicar el mecanismo de control

17 ¿Se registra la fecha de recepción del informe mensual de vacunación?

Verifique que se registró la fecha

18 ¿Conoce y aplica el concepto de tasa de deserción?

Explique cómo se monitorea. Pregunte por qué puede haber deserción negativa.

19

¿Se han realizado Monitoreos Rápidos de Coberturas (MRC) para el programa permanente en el presente año?

Verifique cuántos MRC se han realizado en el año. Nº MRC ______

20

¿Participa en reuniones de evaluación periódicas para discutir los avances del programa con las autoridades municipales?

Verifique agendas, informes o actas de reuniones.

21 ¿Conoce el procedimiento para investigar casos de ESAVI severos?

Verifique reportes si se ha presentado algún caso severo

55

Nº Movimiento de biológicos Sí No NA Observaciones

22

¿Utiliza la programación mensual de necesidades de vacunas y jeringas para la provisión de biológicos e insumos a sus Unidades de Salud?

Solicite que explique cómo se monitorea y cuál es la periodicidad

23

¿Dispone del formato de movimiento de biológicos actualizado, incluyendo número de lotes y vencimiento?

Verifique el movimiento de biológicos en el formato utilizado

24

En el formato de movimiento de biológicos, ¿está actualizado el registro de pentavalente de los meses ___ a ___ del presente año?

Verifique que está actuallizado el registro de pentavalente

25

En el formato de movimiento de biológicos, ¿está actualizado el registro de jeringas de los meses ___ a ____ del presente año?

Verifique que está actualizado el registro de jeringas

26 ¿En el movimiento de biológicos, se analiza la pérdida real de biológicos o vacunas?

Verifique que esté actualizado y se sepa hacer el cálculo (no solo la resta entre dosis aplicadas y disponible o usando un factor pérdida

Nº Prácticas de registro, archivo e

informes Sí No NA Observaciones

27

¿Cuenta con la información de dosis aplicadas, del 100% de las Unidades de Salud del mes de ___ del presente año?

Verifique la información

28

¿Cuál es el mecanismo para reportar los consolidados mensuales de vacunación no informados a tiempo o atrasados?

Solicitar que explique el mecanismo de reporte de consolidados atrasados

29

¿Los informes mensuales de las Unidades de Salud están organizados en orden cronológico?

Verifique los informes mensuales

30 ¿Maneja adecuadamente el consolidado mensual de dosis aplicadas?

Verifique el consolidado mensual

31 ¿El equipo de computo utilizado para el manejo de dosis aplicadas es adecuado para dicha función?

Si dice que no, solicite que explique

56

32 ¿Existe un lineamiento para crear copias de seguridad de los datos de vacunación (Respaldo)?

Indague sobre la periodicidad con que se hace el respaldo

33

¿De la plantilla excel sabe como obtener informes de coberturas de vacunación según variables de interés para el programa (grupo de edad, biológico, mes, municipio)?

Verifique el tiempo que requiere para obtener los reportes. Solicite un reporte de salida actualizado con esas variables.

34

¿Considera adecuado el mecanismo de envio al departamento o municipio, de los informes mensuales de dosis aplicadas?

Si responde que no, sollicite que explique

Nº Sistema de información

nominal del PAI Sí No NA Observaciones

35 ¿Ha recibido capacitación sobre el uso del sistema de información nominal del PAI?

Verifique quien y cuándo se capacitó

36

¿Le parece que el sistema de información nominal del PAI facilita el monitoreo de dosis aplicadas?

Si responde que no, solicite que explique

37

¿Le parece que el sistema de información nominal del PAI facilita el seguimiento del esquema?

Si responde que no, solicite que explique

38

¿Le parece que el sistema de información nominal del PAI facilita el control de insumos (biológicos y jeringas)?

Si responde que no, solicite que explique

39 ¿Le parece que el sistema de información nominal del PAI es de fácil manejo?

Si responde que no, solicite que explique

57

Anexo 4. Formulario para evaluar la calidad del sistema de monitoreo de coberturas del Departamento

Departamento: _____________________

Equipo evaluador: ______________________________________________

Fecha de la evaluación: ____/ ____/ _____

Nº Información demográfica y

planificación Sí No NA Observaciones

1

¿Conoce el número de niños menores de un año esperados el presente año para vacunar en el Departamento?

Población <1 año del presente año: ___________ Fuente

2 ¿Conoce el número de niños de un año esperados para vacunar en el presente año?

Población 1 año del presente año: ____________ Fuente

3 ¿Conoce la población meta a vacunar con Td para el año actual?

Población meta Td del presente año: ____________ Fuente

4

¿La población menor de un año y de un año a vacunar en el Departamento coincide con la población asignada por el Ministerio de Salud?

Escriba estas poblaciones para sus municipios para el presente año: <1 año:_________ 1 año: ____

5

¿Otros programas como AIEPI o Crecimiento y Desarrollo, usan el mismo denominador de población menor de un año y de un año que el programa de inmunizaciones?

Verifique si los denominadores que utilizan

6

¿El Departamento contempla las actividades del PAI dentro del Presupuesto del presente año?

Fuentes de financiamiento: _____ En caso negativo, explique:

7

¿Se dispone de un mapa por municipio para la planificación y organización de actividades de vacunación actualizado?

Verifique la disponibilidad de los mapas y la planificación de actividades

Nº Capacitación y supervisión Sí No NA Observaciones

8

¿Se dispone de un cronograma de supervisión para los municipios durante el presente año?

Verifique la disponibilidad del cronograma

58

9

¿Se ha cumplido con el cronograma de supervision para los municipios en el presente año?

Si no hay cronograma marque NA. En caso de no cumplimiento pregunte las causas.

10

¿Este año, ha recibido supervisión del Ministerio de Salud para el programa permanente (excluye las campañas)?

Indique quien lo supervisó y verifique existencia de informe

11

¿Este año, ha recibido alguna capacitación en inmunizaciones del nivel superior?

Indique el componente de capacitación y quien lo capacitó

Nº Monitoreo y evaluación Sí No NA Observaciones

12 ¿Tiene al día el gráfico de cobertura de vacunación de sus municipios?

Verifique el gráfico de coberturas

13

¿Existe un mecanismo para controlar que todos los municipios le han enviado sus consolidados mensuales?

Verifique los consolidados mensuales y pregunte cuál es el mecanismo de control

14

¿Cuál es el mecanismo para controlar que todos los municipios envían a tiempo los consolidados mensuales de vacunación?

Solicite que indique qué se considera ¨a tiempo¨

15 ¿Conoce y aplica el concepto de tasa de deserción?

Explique cómo se monitorea. Pregunte por qué puede haber deserción negativa.

16

¿Se han realizado Monitoreos Rápidos de Coberturas (MRC) para el programa permanente durante el presente año?

Verifique cuántos MRC se han realizado en el año. Nº MRC ______

17 ¿Realiza análisis de datos y retroalimentación a sus Municipios?

Verifique agendas, informes o actas de reuniones.

18

¿Participa en reuniones de evaluación periódicas para discutir los avances del programa con las autoridades departamentales o municipales?

Verifique agendas, informes o actas de reuniones.

19 ¿Conoce el procedimiento para investigar casos de ESAVI severos?

Verifique reportes si se ha presentado algún caso severo

59

Nº Movimiento de biológicos Sí No NA Observaciones

20

¿Utiliza la programación mensual de necesidades de vacunas y jeringas para la provisión de biológicos e insumos a sus municipios?

Solicite que explique cómo se monitorea y cuál es la periodicidad

21

¿Dispone del formato de movimiento de biológicos actualizado, incluyendo número de lotes y vencimiento?

Verifique el movimiento de biológicos en el formato utilizado

22

En el formato de movimiento de biológicos, ¿está actualizado el registro de pentavalente de los meses ___ a ___ del presente año?

Verifique que está actuallizado el registro de pentavalente

23

En el formato de movimiento de biológicos, ¿está actualizado el registro de jeringas de ___ a ___ del presente año?

Verifique que está actualizado el registro de jeringas

24

¿En el movimiento de biológicos, se analiza la pérdida real de biológicos o vacunas?

Verifique que esté actualizado y se sepa hacer el cálculo (no solo la resta entre dosis aplicadas y disponible o usando un factor pérdida

Nº Prácticas de registro,

archivo e informes Sí No NA Observaciones

25

¿Cuenta con la información de dosis aplicadas, del 100% de los municipios del mes de ___ del presente año?

Verifique la información

26

¿Existe un mecanismo (ajuste) para reportar la información de vacunación contenida en los registros o consolidados atrasados?

Solicite que explique el mecanismo de reporte y ajuste de registro atrasados

27

¿Los informes mensuales de los municipios estan organizados en orden cronológico?

Verifique los informes mensuales

28 ¿Maneja adecuadamente el consolidado mensual de dosis aplicadas?

Verifique el consolidado mensual

60

29

¿El equipo de computo utilizado para el manejo de dosis aplicadas es adecuado para dicha función?

Si dice que no, solicite que explique

30

¿Existe un lineamiento para crear copias de seguridad de los datos de vacunación (Respaldo)?

Indague sobre la periodicidad con que se hace el respaldo

31

¿De la plantilla excel sabe como obtener informes de coberturas de vacunación según variables de interés para el programa (grupo de edad, biológico, mes, municipio)?

Verifique el tiempo que requiere para obtener los reportes. Solicite un reporte de salida actualizado con esas variables.

32

¿Considera adecuado el mecanismo de envio al departamento o municiio, de los informes mensuales de dosis aplicadas?

Si responde que no, sollicite que explique

Nº Sistema de Información

nominal del PAI Sí No NA Observaciones

33 ¿Ha recibido capacitación sobre el uso del sistema de información nominal del PAI?

Verifique quien y cuándo se capacitó

34

¿Le parece que el sistema de información nominal del PAI facilita el monitoreo de dosis aplicadas?

Si responde que no, solicite que explique

35

¿Le parece que el sistema de información nominal del PAI facilita el seguimiento del esquema?

Si responde que no, solicite que explique

36

¿Le parece que el sistema de información nominal del PAI facilita el control de insumos (biológicos y jeringas)?

Si responde que no, solicite que explique

37 ¿Le parece que el sistema de información nominal del PAI es de fácil manejo?

Si responde que no, solicite que explique

61

Anexo 5. Formulario para evaluar la calidad del sistema de monitoreo de coberturas del nivel nacional

País: _____________________

Equipo evaluador: ______________________________

Fecha de la evaluación: ___/ ____/ ______

Nº Diseño del Sistema Sí No NA Observaciones

1

¿Existe un sistema único para el envío de datos de vacunación entre las Unidades de Salud y otros proveedores de vacunación (incluidos el seguro social, sector privado, etc.) y el nivel departamental?

Solicite que explique (se refiere a los mismos formularios, informes, flujo de información)

2 ¿Existe un sistema único para el envío de datos de vacunación entre los departamentos y el nivel nacional?

Solicite que explique

3

¿Existen regulaciones oficiales sobre el envío de datos de vacunación por parte de todos los proveedores de vacunación (sean Servicios de Salud del Estado, del seguro social, del sector privado u otros)?

Verifique. Pueden ser lineamientos, un instructivo, manual de normas. Puede o no incluir detalles sobre formularios a usar, fechas de reporte y flujo de datos.

4 ¿Existen instrucciones por escrito para los formularios que se usan en el país?

Verifique si existen instrucciones sobre el llenado de los formularios, como distribuir formularios y donde y por cuanto tiempo se deben archivar.

5

¿Se reportan las dosis de Penta 3 aplicadas en niños < de 1 año separadas de las aplicadas en otras edades?

Verifique el reporte

6 ¿Existe un procedimiento escrito para el manejo de los informes atrasados?

Verifique. Si existe, discutir como se ha implementado en los niveles más locales

7

¿Tienen todos los consolidados recibidos de los municipios el mismo formato (misma versión del consolidado de vacunación)?

Verifique. Si hubo un cambio de formato en los cuatros meses previos a la auditoria se puede permitir una mezcla de versiones

62

8

¿Existe un procedimiento escrito para la notificación de ESAVI desde los Servicios de Salud, distritos, y/o Regiones Sanitarias?

Verifique. Si no existe sistema de monitoreo de ESAVI se debe indicar. Indicar si el monitoreo es agregado o caso a caso.

9 ¿Permite el formulario de consolidado semana/mensual calcular el % de pérdida de biologicos por nivel?

La idea es saber si hay un mecanismo para hacer un cruce entre el movimiento de biológicos y las dosis aplicadas

10 ¿Existe un formulario o cuaderno para monitorear el movimiento de jeringas (recibo y entrega)?

Verifique la exitencia del formulario

11 ¿Permite el cuaderno de movimiento de biológicos monitorear los lotes de vacunas y fechas de vencimiento?

Solicite que explique

12

¿Permite el formulario o consolidado mensual de los Departamentos conocer si todas las Unidades de Salud reportaron?

Discuta como se hace.

Nº Prácticas de registro Sí No NA Observaciones

13 ¿Se registran todos los recibos y entregas de biológicos?

Verifique la información

14 ¿Está al día el libro de recibos y envíos con los datos de pentavalente?

Si el libro parece incompleto averigüe los motivos

15 ¿Está al día el libro de recibos y entregas con los datos de pentavalente de todo 2006?

Verifique la información

16 ¿Está al día el registro de lotes y fechas de vencimiento en el registro de movimiento de biológicos?

Verifique la información

17

¿Se han entregado suficientes formularios del PAI a los Departamentos durante el año que se está evaluando?

Verifique con las respuestas de la visita a los Departamentos

18 ¿Se han procesado todos los datos que debieran según las fechas establecidas?

Verifique que el PAI esta al día con el ingreso de datos del año

Nº Denominadores Sí No NA Observaciones

19 ¿Es el denominador para vacunación de niños consistente con la definición de OMS?

La recomendación de OMS/UNICEF es el uso de "lactantes supervivientes". OPS ha

63

usado el número de niños menores de 1 año.

20 ¿Hubo municipios que reportaron coberturas >100% de penta3 para el año anterior?

Indique cuales municipios fueron esos, y discuta posibles razones.

21 ¿Se usó el mismo denominador de niños < 1 año para el año anterior y el presente año?

Esta pregunta busca identificar el que el PAI tenga claro que cada año debe ajustarse el denominador.

22

¿Se maneja el mismo denominador de niños < 1 año del presente año en las tablas PAI y el informe entregado a OPS-OMS?

Verifique los documentos y discuta las discrepancias, si es que las hay.

23

¿Se maneja el mismo denominador de niños < 1 año para el presente año en los diferentes programas de salud infantil?

Verifique el denominador utilizado, por ejemplo por AIEPI, control del crecimiento y desarrollo, otros

24

¿Se maneja el mismo denominador de niños < 1 año para el presente año en los Departamentos evaluadao en el nivel nacional y en dichos Departamentos?

Verifique con los resultados de los equipos que fueron a los Departamentos

25

¿Se conoce el porcentaje de la población que se capta en Servicios de Salud, puestos fijos y actividades extramurales?

Idealmente solicite que le muestren documentación

Nº Monitoreo y evaluación Sí No NA Observaciones

26 ¿Tiene gráficos de cobertura por Departamento actualizados al momento de la evaluación ?

Verifique si tiene gráficos y están actualizados

27 ¿Se están monitoreando las tasas de deserción del presente año?

Confirmar que el gerente del PAI sabe cuál es la tasa de deserción en lo que va del año

28 ¿Se está monitoreando la oportunidad del reporte del presente año?

Verifique los reportes

29

¿La oficina nacional lleva algún mecanismo de registro de la fecha de recepción de reportes de las Regiones?

Deber ser la fecha en que se recibió el reporte al nivel nacional

30 ¿Existe retroalimentación escrita en forma rutinaria de coberturas a los Departamentos?

Solicite que explique como se hace la retroalimentación

31 ¿El último informe de retroalimentación se realizó hace menos de 4 meses?

Verifique la información

64

32 ¿El formato de retroalimentación utilizado contiene alguna discusión sobre los datos y su interpretación?

Verifique el último informe de retroalimentación

33 ¿Existe una publicación oficial del país que incluya los datos de inmunización de 2006?

Solicite el informe, documentos de evaluación, etc.

34 ¿Se dispone de un mapa donde se observe el progreso del presente año por municipio?

Verifique la disponibilidad del mapa

35

¿Existe alguna gráfica de las enfermedades prevenibles por vacunación en algún periodo de tiempo?

Si al menos una EPV se grafica o pone en un mapa es 1 punto

36 ¿Se monitorea el posible desabastecimiento de vacunas a nivel local?

Verifique la información

37 ¿Se monitorean las actividades de supervisión realizadas?

Verifique que se le pueda indicar cuando se superviso cada Departamento (e idealmente municipio)

38

¿Existen tablas o formatos de informes estandarizados que se puedan crear para mostrar datos del PAI según se necesiten?

Verifique la información

39 ¿Se incluye la fecha de actualización de los datos en las tablas o informes del PAI?

Verifique la información

Nº Movimiento de biológicos Sí No NA Observaciones

40 ¿Permite el consolidado semanal o mensual calcular el % de pérdida de biológico por nivel?

Solicite que explique cómo se monitorea y la periodicidad

41 ¿Existe un formulario o cuaderno para monitorear el movimiento de jeringas? (recibo y entrega)

Verifique los datos en almacén de biológicos

42 ¿Permite el cuaderno de movimiento de biológico monitorear los lotes de vacunas y fechas de vencimiento?

Verifique los datos en almacén de biológicos

43 ¿Se registran todos los recibos y entregas de biológicos?

Verifique los datos en almacén de biológicos

44 ¿Está al día el libro de recibos y entregas de los datos de pentavalente del ultimo año?

Verifique los datos en almacén de biológicos

45 ¿Está al día el registro de lotes y fechas de vencimiento en el registro de biológicos?

Verifique los datos en almacén de biológicos

65

Anexo 6. Formulario para verificar la calidad del dato en la quimioterapia preventiva para las geohelmintiasis, con preguntas de orientación sobre la

verificación de los datos y la evaluación de los sistemas - Nivel del punto de prestación de servicios-

Nombre de centro (punto de prestación de

servicios)

Centro de agregación de datos 1/

Centro de agregación de datos 2/ Distrito

Indicador o indicadores evaluados

1)

2)

3)

4)

5)

Fecha de evaluación

Periodo de la ronda de desparasitación

Parte 1: Verificaciones de los datos

A - Examen de la documentación:

Ind

icad

or

1

Ind

icad

or

2

Ind

icad

or

3

Ind

icad

or

4

Ind

icad

or

5

OBSERVACIONES

Examine la disponibilidad y el carácter integral de todos los documentos originales del indicador para el periodo seleccionado de la ronda de desparasitación.

1

Indique los documentos originales para cada indicador (escriba N/A en el caso de indicadores que no sean aplicables al centro que se está evaluando; por ejemplo, un

Pregunta orientativa (para cada indicador): ¿Qué fuente de datos se usó para elaborar un informe sinóptico sobre el ejercicio de la desparasitación (realizado durante el periodo que se está examinando)?

Observación: Escriba la fuente de cada indicador. Es importante mencionar el periodo de referencia para la evaluación.

66

indicador de las geohelmintiasis en una zona donde esta enfermedad no es endémica).

2

Examine los documentos originales disponibles del periodo de notificación que se está verificando. ¿Hay algo que indique que faltan documentos originales?

Pregunta orientativa (para cada indicador): ¿Cuántos distribuidores de medicamentos de la comunidad (o profesores) participaron en las actividades de quimioterapia preventiva en este pueblo (o escuela)? ¿Cada uno de ellos usó un documento (registro u hoja de tabulación) por separado para registrar a las personas atendidas? ¿Dónde se almacenan esos documentos? ¿Cuántos de esos documentos están disponibles? Observación: En algunos casos cada distribuidor de medicamentos de la comunidad conserva sus documentos originales después de recopilar los informes. Se deben hacer los esfuerzos necesarios para acceder a los documentos de todos los distribuidores de medicamentos de la comunidad. Es posible encontrarse con un centro donde falten los documentos originales por completo. Pese a ello, el equipo debe proseguir la evaluación.

Sí No

Sí No

Sí No

Sí No

Sí No

En caso afirmativo, determine de qué manera habría afectado esto a las cifras notificadas

(Sin preguntas orientativas u observaciones pertinentes)

3

¿Todos los documentos disponibles están completos?

(Sin preguntas orientativas u observaciones pertinentes)

Sí No

Sí No

Sí No

Sí No

Sí No

En caso negativo, determine de qué manera habría afectado esto a las cifras notificadas

(Sin preguntas orientativas u observaciones pertinentes)

4

Examine las fechas de los documentos originales. ¿Todas las fechas se encuentran dentro del período de la ronda de

Observación: Si en los documentos originales no figura la fecha, indique “No” y dé una explicación en las observaciones.

Sí No

Sí No

Sí No

Sí No

Sí No

67

quimioterapia preventiva que se está evaluando?

En caso negativo, determine de qué manera esto habría afectado a las cifras notificadas.

(Sin preguntas orientativas u observaciones pertinentes)

B - Recuento de los resultados notificados:

Haga un recuento de los resultados de los documentos originales, compare las cifras obtenidas con las notificadas por el centro y explique las discrepancias (de haberlas).

5

Cuente el número de personas, casos o acontecimientos registrados durante el periodo de la ronda de quimioterapia preventiva examinando los documentos originales. [A]

(Sin preguntas orientativas u observaciones pertinentes)

6

Copie el número de personas, casos o acontecimientos notificados por centro durante la ronda de quimioterapia preventiva bajo evaluación a partir del informe sinóptico del centro. [B]

(Sin preguntas orientativas u observaciones pertinentes)

7

Calcule el cociente entre las cifras obtenidas en el recuento y las notificadas. [A/B]

(Sin preguntas orientativas u observaciones pertinentes)

8 ¿Cuáles son las (Sin preguntas orientativas u observaciones pertinentes)

68

razones de la discrepancia (de existir) que se observa (es decir, errores en la introducción de datos, errores aritméticos, falta de documentos originales, otras causas)?

C - Comprobación de los resultados notificados comparándolos con otras fuentes de datos:

Pueden hacerse comprobaciones mediante la comparación con otras fuentes de información, por ejemplo, examinando registros de inventarios separados que documenten las cantidades de medicamentos para el tratamiento, para ver si estas cifras corroboran los resultados notificados.

9

Enumere los documentos utilizados para realizar las comprobaciones.

(Sin preguntas orientativas u observaciones pertinentes)

10 Describa las comprobaciones realizadas.

(Sin preguntas orientativas u observaciones pertinentes)

11

¿Cuáles son las razones de la discrepancia (de existir) que se observa?

(Sin preguntas orientativas u observaciones pertinentes)

69

Anexo 7. Formulario para verificar la calidad del dato en la quimioterpia preventiva para las geohelmintiasis, con preguntas de orientación sobre la evaluación de los sistemas

- Nivel del punto de prestación de servicios-

Parte 2. Evaluación de sistemas

Códigos de respuesta:

Sí, completamente Parcialmente

No, en absoluto N/A

(Aporte información en todas las respuestas que no haya calificado como “Sí, completamente”. Las respuestas detalladas ayudarán a guiar las medidas de fortalecimiento).

I - Estructura, funciones y capacidades de seguimiento y evaluación

1

La responsabilidad del registro de la prestación de servicios en los documentos originales está claramente asignada al personal pertinente.

Pregunta orientativa: ¿Hay alguien a quien se le haya asignado la responsabilidad de registrar los servicios prestados durante la quimioterapia preventiva en esta unidad (pueblo o escuela)? En caso afirmativo, ¿a quién se le ha asignado esa responsabilidad y quién se la ha asignado? ¿Se especificaron claramente las responsabilidades de registro (pregunte en qué consisten estas responsabilidades)? ¿Cómo se efectuó la asignación: por escrito o verbalmente? Observación: Intente averiguar si hay personal responsable de la gestión de datos y si alguna autoridad, como la persona encargada de las enfermedades tropicales desatendidas en el distrito, el supervisor del subdistrito o la autoridad central del Ministerio de Salud asignaron la responsabilidad.

Sí, completamente

Parcialmente No, en absoluto N/A

2

Todo el personal pertinente ha recibido capacitación sobre los procesos y las herramientas de gestión de datos.

Pregunta orientativa: ¿Cuántas personas son responsables de registrar los datos en este punto de prestación de

servicios (pueblo o escuela, según corresponda)? ¿Cuántas de ellas recibieron capacitación sobre el registro de datos, el resumen o la elaboración de un informe de actividades de quimioterapia preventiva? ¿Qué aspectos del registro y de la notificación de datos abarcaba la capacitación? Observación: Intente averiguar si la capacitación incluyó aspectos como las herramientas de registro y notificación de datos, cómo cumplimentar las herramientas, plazos de notificación, lugares a los que se deben remitir los informes, control de calidad, confidencialidad, etcétera.

Sí, completamente

Parcialmente No, en absoluto N/A

70

3

¿Hay personal designado responsable del examen de las cifras agregadas antes de la presentación al siguiente nivel?

Pregunta orientativa: Aparte de la persona o las personas responsables de resumir los datos o redactar los informes, ¿hay alguna otra persona que compruebe los datos resumidos y el informe antes de remitirlo al siguiente nivel? En caso afirmativo, ¿quién es esa persona? Observación: Cabe esperar que esta persona no sea la misma que elabora el informe. En ocasiones, la respuesta será que la misma persona que redacta el informe también lo examina. En tal caso no hay personal designado responsable del examen de los datos agregados. Sí,

completamente Parcialmente No, en absoluto N/A

II - Definiciones de indicadores y directrices de notificación

El nivel nacional ha formulado alguna orientación (verbal, escrita, gráfica, ayudas en la práctica, etcétera) sobre…

4 ... lo que se supone que

debe incluir el informe.

Pregunta orientativa: ¿El centro (pueblo o escuela) ha recibido alguna instrucción del nivel nacional (ya sea por escrito o verbal) sobre lo que se supone que debe notificarse después del ejercicio de quimioterapia preventiva? Observación: Con esto se pretende saber si se recibieron directrices que definieran los indicadores sobre los que se debía informar.

Sí, completamente

Parcialmente No, en absoluto N/A

5

… cómo deben presentarse los informes (por ejemplo, en qué formato específicamente).

Pregunta orientativa: ¿El centro (pueblo o escuela) ha recibido alguna instrucción del nivel nacional respecto al formato en que deben presentar los informes? En caso afirmativo, ¿en qué formato deben presentarse? Observación: (ninguna)

Sí, completamente

Parcialmente No, en absoluto N/A

6 … a quien se deben

remitir los informes.

Pregunta orientativa: ¿El centro (pueblo o escuela) ha recibido alguna instrucción del nivel nacional respecto la persona a la que se deben remitir los informes? En caso afirmativo, ¿a quién se deben enviar? Observación: (ninguna)

71

Sí, completamente

Parcialmente No, en absoluto N/A

7 … cuándo se deben

remitir los informes.

Pregunta orientativa: ¿El centro (pueblo o escuela) ha recibido alguna instrucción del nivel nacional respecto a la fecha en que los informes deben estar redactados y se deben enviar al siguiente nivel? En caso afirmativo, pida que indiquen los plazos para la elaboración de los informes y su presentación al siguiente nivel, y compare con los plazos nacionales (cuando estén disponibles).

Observación: (ninguna)

Sí, completamente

Parcialmente No, en absoluto N/A

III - Formularios y herramientas de obtención y notificación de datos

8

La unidad de seguimiento y evaluación ha identificado formularios y herramientas corrientes para la obtención y notificación de datos que deben usar los puntos de prestación de servicios.

Pregunta orientativa: (ninguna)

Observación: Es posible que no pueda preguntar esto a las personas del nivel del punto de prestación de servicios, dado que la información está disponible en el nivel de la unidad central de seguimiento y evaluación. Quizá sólo sea necesario que indique si la unidad está usando las herramientas.

Sí, completamente

Parcialmente No, en absoluto N/A

9

… En caso afirmativo, el punto de prestación de servicios usa sistemáticamente los formularios y las herramientas corrientes.

Pregunta orientativa: ¿Todos los distribuidores de medicamentos de la comunidad de ese pueblo o esa escuela usan las herramientas corrientes de obtención de datos del nivel nacional permanentemente? ¿Usan permanentemente los formularios y las herramientas de notificación corrientes de la unidad central de seguimiento y evaluación? ¿Existen otras herramientas de datos aparte de las herramientas corrientes que utilicen los distribuidores de medicamentos de la comunidad en ese pueblo o esa escuela? Observación: Plantee esta pregunta solo si la unidad de seguimiento y evaluación del nivel central ha identificado formularios y herramientas corrientes.

Sí, completamente

Parcialmente

72

No, en absoluto N/A

10

La unidad de seguimiento y evaluación ha dado instrucciones claras sobre la manera de cumplimentar los formularios y las herramientas de obtención y notificación de datos.

Pregunta orientativa: ¿La unidad (pueblo o escuela) ha recibido alguna instrucción del nivel nacional respecto a la manera de cumplimentar los formularios o las herramientas de obtención y notificación de datos? ¿Cómo se han dado esas instrucciones (averigüe si se ha hecho en forma de directrices por escrito, ayudas en la práctica, verbalmente, etcétera? ¿Hasta qué punto han sido claras las instrucciones? Observación: Si las instrucciones no fueron claras, intente averiguar qué fue lo que no estaba claro. Sí,

completamente Parcialmente No, en absoluto N/A

11

Todos los documentos originales y los formularios de notificación pertinentes para medir el indicador o los indicadores están disponibles para una auditoría (incluidas las fechas de las copias impresas en caso de sistemas computadorizados).

Pregunta orientativa: ¿Cuántos documentos originales (por ejemplo, registros) usaron todos los distribuidores de medicamentos del centro (pueblo o escuela) durante la ronda de quimioterapia preventiva bajo evaluación? ¿Elaboró la unidad un informe o datos sinópticos después del ejercicio de quimioterapia preventiva? ¿Puedo ver todos los documentos originales que se usaron y los informes sinópticos (hojas de tabulación) que elaboró este centro? Observación: Pregunte si puede ver todos los documentos originales y compare las cifras disponibles con lo que se prevé. Si se ha elaborado un informe, pregunte si puede ver el informe de la unidad (pueblo o escuela). Si el centro utiliza un sistema computadorizado, pida copias impresas.

Sí, completamente

Parcialmente No, en absoluto N/A

12

Los datos que se recogen en el documento original tienen precisión suficiente para medir el indicador o los indicadores (es decir, los datos relevantes se recogen por sexo, edad, etcétera, si el indicador especifica el desglose por estas características).

Pregunta orientativa: (ninguna)

Observación: Compruebe si el documento original aporta los datos recogidos con suficiente precisión. El equipo debe comprobar también los datos registrados en el documento fuente para evaluar su precisión. Se deben hacer comentarios si la precisión no es suficiente, lo cual podría deberse a que las herramientas no aportan suficiente información o a la escasa documentación de las personas que registraron los datos.

Sí, completamente

Parcialmente No, en absoluto N/A

73

IV - Procesos de gestión de datos

13

Se han implantado controles de calidad para la recopilación de datos para los informes sinópticos, a fin de velar por la exactitud (por ejemplo, detección de errores de transcripción).

Pregunta orientativa: ¿Han tomado alguna medida al recopilar los datos para asegurarse de que los informes sinópticos son de buena calidad? En caso afirmativo, ¿cuáles son esas medidas? Observación: Un ejemplo sería el hecho de que haya dos personas diferentes que hagan el recuento y comparen los resultados, comparando los valores agregados con los valores sin agregar. Sí,

completamente Parcialmente No, en absoluto N/A

14

(a) Si procede, existen controles de calidad para cuando los datos de los formularios en papel se introducen en una computadora, a fin de velar por la exactitud de la entrada de datos (por ejemplo, edición o pruebas lógicas, verificación posterior a la entrada de datos, etcétera).

Pregunta orientativa: ¿Qué medidas tomó la unidad para comprobar que los datos de los formularios en papel que se introdujeron en la computadora son de buena calidad? Observación: Esta pregunta solo debe hacerse en los centros donde haya un sistema computadorizado.

Sí, completamente

Parcialmente No, en absoluto N/A

15

Si procede, existe un procedimiento de copia de seguridad por escrito para cuando la entrada de datos o el procesamiento de datos se computadoriza.

Pregunta orientativa: (ninguna)

Observación: Solo procede si la unidad cuenta con un sistema computadorizado.

Sí, completamente

Parcialmente No, en absoluto N/A

16

… en caso afirmativo, la última fecha de la copia de seguridad es apropiada dada la frecuencia de actualización del sistema computadorizado (por

Pregunta orientativa: (ninguna)

Observación: Solo procede si la unidad cuenta con un sistema computadorizado.

Sí, completamente

Parcialmente No, en absoluto

74

ejemplo, las copias de seguridad son semanales o mensuales).

N/A

17

Los datos personales importantes se conservan conforme a las normas de confidencialidad nacionales o internacionales.

Pregunta orientativa: ¿Se ha tomado alguna medida para limitar el acceso no autorizado a los documentos originales (por ejemplo, registros) que contengan datos personales? En tal caso, ¿cuáles son esas medidas? (Pueden incluir el archivo bajo llave de los documentos.) ¿Cómo se conservan los documentos que contienen datos personales mientras no se usan? ¿Cómo se protegen ustedes de los robos o las pérdidas de documentos?

Observación: (ninguna)

Sí, completamente

Parcialmente No, en absoluto N/A

18

(b) El sistema de registro y notificación evita que se cuente dos veces a una misma persona en uno o en varios sitios de prestación de servicios (por ejemplo, una persona que recibe el mismo servicio dos veces en un periodo de notificación, una persona registrada como si hubiera recibido el mismo servicio en dos lugares diferentes, etcétera).

Pregunta orientativa: ¿Se han tomado medidas para detectar y evitar situaciones en las que se registren y notifiquen casos en los que una persona puede recibir el servicio más de una vez en dicha unidad (pueblo o escuela) o puede recibir el mismo servicio en esta unidad y en alguna otra? En caso afirmativo, ¿qué medidas se adoptaron?

Observación: (ninguna)

Sí, completamente

Parcialmente No, en absoluto N/A

V - Vínculos con el sistema de notificación nacional

19

Cuando están disponibles, los formularios o las herramientas nacionales pertinentes se usan para la obtención y notificación de datos.

Pregunta orientativa: (ninguna)

Observación: Esto se aplica en los países que cuentan con formularios o herramientas nacionales. Las herramientas nacionales suelen ser publicadas por el Ministerio de Salud. Quizá no sea necesario plantear ninguna pregunta, sino más bien examinar los formularios y las herramientas de registro y notificación (esto ya se debería haber hecho en el apartado "Herramientas y formularios de obtención y notificación de datos"), a fin de determinar si existen formularios o herramientas nacionales.

Sí, completamente

75

Parcialmente No, en absoluto N/A

20

Si procede, los datos se notifican a través de un solo canal de los sistemas de información nacionales.

Pregunta orientativa: ¿Adónde y cómo remite su informe? Observación: Sólo debe plantearse si existe un sistema de información nacional para las enfermedades tropicales desatendidas. Quizá sea preciso que intente averiguar si se sigue el sistema nacional.

Sí, completamente

Parcialmente No, en absoluto N/A

21

Las fechas límite de notificación están en consonancia con los plazos pertinentes del programa nacional de las enfermedades infecciosas desatendidas (por ejemplo, fechas límite para la notificación).

Pregunta orientativa: ¿El nivel nacional les dio un plazo para que redactaran los informes y se los remitieran después de la tanda de quimioterapia preventiva más reciente? En caso afirmativo, ¿cuáles fueron esos plazos? (NOTA: Es posible que esta información ya se haya obtenido en la pregunta 7. En tal caso, no es preciso que la plantee de nuevo.)

Observación: Sólo se debe plantear si existe un sistema nacional de información para las enfermedades tropicales desatendidas. El equipo de trabajo sobre el terreno debe conocer bien los plazos del programa nacional. Compare las fechas límite con los plazos del programa nacional contra las enfermedades tropicales desatendidas.

Sí, completamente

Parcialmente No, en absoluto N/A

22

Se identifican los puntos de servicio usando números de identificación que siguen un sistema nacional.

Pregunta orientativa: (ninguna)

Observación: Esto es pertinente en el caso de los países cuyo sistema nacional de información usa números de identificación para los puntos de prestación de servicios (pueblos y escuelas).

Sí, completamente

Parcialmente No, en absoluto N/A

76

Anexo 8. Descripción de un Registro Nominal de Vacunación Electrónico (RNVe)

País: _____________________

Equipo responsable: ______________________________

Fecha: ___/ ____/ ______

Alcance del Registro Nominal de Vacunación Electrónico

1. ¿Cuáles son los grupos de población incluidos dentro del RNVe (niños, adultos,

etc.)?

2. ¿Incluye dentro del RNVe el registro de datos nominales del programa regular de

vacunación (Intramural)?

3. ¿Incluye dentro del RNVe el registro de datos nominales de campañas?

4. ¿Incluye dentro del RNVe el registro de datos nominales de vacunas no-PAI?

5. ¿Incluye dentro del RNVe el registro de datos para vacunación extramural

adicional a campañas de vacunación?

6. Si la respuesta anterior es sí, ¿Cuáles modalidades de vacunación extramural se

registran?

7. Dentro del RNVe, ¿Se realizan actualizaciones con datos históricos de cohortes

previas por medio de migración o digitación de datos?

8. Al ingresar una persona nueva al RNVe ¿Se ingresan los datos históricos de

vacunación de la persona?

9. ¿Existe un procedimiento normado para la actualización del número de cédula

de los(as) niños(as) en sustitución del identificador temporal?

Marco normativo y legal 1. ¿Existe en el Ministerio de Salud una estrategia de e-Salud?

2. ¿Existe en el país una legislación sobre e-Salud?

3. ¿Existe una normativa nacional sobre el uso de RNVe?

4. Si la respuesta anterior es sí:

a. ¿El software de RNVe que utiliza en el Ministerio de Salud se apega a

normativa?

b. ¿El software de RNVe que utiliza en la Caja del Seguro Social se apega

a normativa?

c. ¿El software de RNVe que utiliza en el sector privado se apega a

normativa?

5. ¿Es obligatorio el uso del RNVe en las instalaciones de salud del Ministerio de

Salud?

6. ¿Es obligatorio el uso del RNVe en las instalaciones de salud de entidades no

públicas como el sector privado?

7. ¿Cuál es el marco legal para privacidad y confidencialidad de los datos?

Arquitectura del Software 1. ¿El RNVe interopera con otros subsistemas de información en salud?

2. ¿Los datos del RNVe se integran a los datos de otros subsistemas de

información en salud?

77

3. ¿Los datos del RNVe interoperan con los datos de nacimientos del

Departamento de Estadísticas Vitales de la Contraloría General de la República

o Instituto equivalente?

4. ¿El RNVe interopera o integra datos con otros aplicativos del PAI?

5. ¿La versión en uso del software de RNVe fue creado en tecnologías basadas en

Web?

6. ¿La versión en uso del software de RNVe fue creado en tecnologías de escritorio

(Standalone y/o Cliente – Servidor)?

7. ¿Existe versión del software de RNVe para tecnologías móviles?

8. ¿El software de RNVe utiliza tecnologías de SMS?

9. ¿En qué lenguaje(s) de programación fue desarrollado el software de RNVe?

10. ¿En qué plataforma de base de datos fue desarrollado el software de RNVe?

11. Sí aplica ¿El software de RNVe utiliza algún motor o paquete para reportes y/o

gráficos?

12. Sí aplica ¿El software de RNVe utiliza algún motor o paquete para mapas?

13. Sí las respuestas 11 y/o 12 anterior fue sí, liste a continuación el(los) motor(es) o

paquete(s).

14. ¿El software funciona en línea, desconectado o ambas formas?

15. ¿Cuál es la periodicidad de la actualización de los datos?

16. ¿En dónde se encuentran la(s) base de datos del RNVe?

17. ¿Cuáles son las especificaciones técnicas mínimas para los equipos

informáticos de usuario para el correcto funcionamiento del software de RNVe?

Mantenimiento y sostenibilidad 1. ¿Cuál es el nombre del ente responsable de la administración del software de

RNVe?

2. ¿Cuál es el nombre del ente responsable de la administración de la información?

3. ¿El software de RNVe es escalable?

4. ¿Existe algún plan de escalabilidad del software de RNVe?

5. ¿Existe algún plan de escalabilidad del Hardware utilizado por el software del

RNVe?

6. ¿Existe algún plan de escalabilidad de las telecomunicaciones utilizadas por el

software del RNVe?

7. ¿Existe un documento de política sobre la seguridad informática del RNVe?

8. ¿Existe un protocolo o política sobre copias de seguridad (Back-up)?

9. ¿Existen procedimientos normados para la identificación y corrección de

duplicados en los datos del RNVe?

10. ¿Existe una política informática sobre el manejo de base de datos del RNVe?

11. ¿Cuál es el procedimiento para implementar actualizaciones al software de

RNVe?

12. ¿Cuál es el procedimiento para implementar mejoras al software de RNVe?

13. ¿Cuál es el procedimiento para manejar incidencias en el software de RNVe?

14. ¿Existe documentación técnica de la arquitectura y funcionamiento interno del

software de RNVe?

15. Si la respuesta anterior es sí, ¿Esta documentación se encuentra actualizada a

la última versión de software?

16. ¿Existe documentación técnica para el usuario del software de RNVe, tales

como manuales, guías y/u otros?

78

17. Si la respuesta anterior es sí, ¿Esta documentación se encuentra actualizada a

la última versión de software?

18. ¿Existe un presupuesto anual para el mantenimiento del software de RNVe?

19. Si la respuesta anterior es sí, ¿Cuál(es) es(son) la(s) fuente(s) para

financiamiento para el mantenimiento?

20. ¿Existe un presupuesto anual para implementar actualizaciones y mejoras al

software?

21. Si la respuesta anterior es sí, ¿Cuál(es) es(son) la(s) fuente(s) para

financiamiento para implementación de actualizaciones y mejoras?

Recursos humanos 22. ¿Existe una normativa sobre el perfil técnico mínimo requerido para la persona

que digita los datos en el software de RNVe?

23. Si la respuesta es sí, ¿Cuál es el perfil técnico mínimo requerido?

24. ¿Existe una normativa sobre el perfil técnico mínimo requerido para la persona

que valida los datos en el software de RNVe?

25. Si la respuesta es sí, ¿Cuál es el perfil técnico mínimo requerido?

26. ¿Existe una estrategia de mesa de ayuda para el usuario del software RNVe?

27. ¿Existe una normativa sobre el perfil técnico mínimo requerido para el personal

de desarrollo y/o mantenimiento del software de RNVe?

28. ¿Existe una normativa sobre el perfil técnico mínimo requerido para el personal

que capacita en el uso del software de RNVe?

29. ¿Existe una normativa sobre el perfil técnico mínimo requerido para el personal

que da mantenimiento al hardware y telecomunicaciones utilizado por software

de RNVe?

Módulos integrados en el software de RNVe Indique los módulos implementados en el RNVe del país:

1. Registro nominal de vacunación: Sí ( ) No ( )

2. Movimientos de biológicos - control de inventarios Sí ( ) No ( )

3. Inventario equipos de cadena de frío Sí ( ) No ( )

4. Monitoreo de ESAVI Sí ( ) No ( )

5. Vigilancia de inmunoprevenibles Sí ( ) No ( )

6. Auto capacitación Sí ( ) No ( )

7. Otros (Listarlos):

Funcionalidades del RNVe Indique en la siguiente lista las funcionalidades del RNVe:

1. Consulta de la historia vacunal de una persona Sí ( ) No ()

2. Salidas de información para monitoreo de cobertura

a. Por edad Sí ( ) No ( )

b. Por cohorte Sí ( ) No ( )

c. Por indicación (embarazo, crónicos, otros) Sí ( ) No ( )

d. Por área geográfica / administrativa Sí ( ) No ( )

e. Por pertenencia étnica Sí ( ) No ( )

f. Por establecimiento que vacuna Sí ( ) No ( )

g. Por vacunador Sí ( ) No ( )

h. Por afiliación Sí ( ) No ( )

3. Inclusión del lote de vacuna en registro nominal Sí ( ) No ()

79

4. Recordatorios Sí ( ) No ()

5. Reportes gerenciales (Indicadores de Programa) Sí ( ) No ( )

6. Reportes ad-hoc Sí ( ) No ( )

7. Reportes predefinidos Sí ( ) No ( )

8. Monitoreo de errores lógicos y normativos Sí ( ) No ( )

9. Identificación y corrección de duplicados – repetidos Sí ( ) No ( )

10. Generación de mapas Sí ( ) No ( )

11. Herramientas de análisis geoespacial Sí ( ) No ( )

12. Acceso por parte de usuarios externos Sí ( ) No ( )

13. Herramientas de comunicación entre usuarios del sistema Sí ( ) No ( )

14. Diseminación de información

a. Público Sí ( ) No ( )

b. Personal de salud Sí ( ) No ( )

Nivel de implementación (Describir) Necesidades de apoyo (Describir)

80

Anexo 9. Formulario para evaluar la calidad del Registro Nominal de Vacunación electrónico

-Entrevista para el encargado de digitar los datos del software- Nombre y ubicación del establecimiento: __________________________________ Nivel: Nacional ___ Departamental __ Municipal __ Unidad de salud ___ Sector: Público _____ Seguro social ____ Privado _______ Otro _____ Especifique: Equipo evaluador: ____________________________________________________ Fecha: ___/ ___/ _____

Nº Disponibilidad de equipos que cumplen con especificaciones

técnicas Sí No NA Observaciones

1 ¿Cuenta con la última actualización del Software del PAI ?

Verifique

2 ¿Considera que las actualizaciones al software por cambios de esquema son oportunas?

Si responde que no, solicite que explique

3 ¿Cuenta con un equipo de cómputo para el Software del PAI?

Verifique

4 Si respondió que sí, ¿de escritorio, portátil o tablet?

5 Si respondió que sí, ¿Compartido o exclusivo?

Con quién lo comparte

6 Si es compartido, ¿cuenta con suficiente tiempo para usar el Software del PAI?

Si no es compartido marque NA

Especificaciones técnicas de la computadora (se verifica en la computadora, “Mi PC”):

7 RAM

8 Sistema Operativo

8 Versión de Office

10 ¿Tiene antivirus? Si responde que no, solicite que explique

11 ¿Tiene regulador de voltaje funcional (cuando se va la energía eléctrica, ¿funciona el UPS?)

Si responde que no, solicite que explique

12 ¿Le funciona correctamente el Software?

Si responde que no, solicite que explique

81

13 ¿Tiene Impresora adecuada? Si responde que no, solicite que explique

14 ¿Ha tenido suministro adecuado de tinta y papel y otros insumos en los últimos 3 meses?

Si responde que no, solicite que explique

Nº Acceso a Internet Sí No NA Observaciones

15 ¿Tiene acceso a Internet institucional?

Su Internet institucional, ¿tiene restricciones de acceso a:

16 Correo personal

Pregunte específicamente sobre restricciones a Yahoo, gmail, hotmail, etc

17 Redes Sociales Facebook, MySpace,etc

18 Youtube

19 Otros

20 ¿Cada cuánto se queda sin Internet?

21 Cuando se queda sin acceso a Internet, ¿cómo le afecta en su trabajo?

Solicite que explique

Nº Infraestructura Sí No NA Observaciones

22 ¿Ha tenido fluido eléctrico en forma permanente en los últimos tres meses?

Si responde que no, solicite que explique

23 Si se ha ido la luz, ¿cuántas veces?

24 Si se ha ido la luz, ¿cómo le afecta a su trabajo con el Software del PAI?

Solicite que describa

25 ¿Se cuenta con generadores eléctricos, planta eléctrica u otro?

Si responde que no, solicite que explique

26 ¿El espacio físico (puesto de trabajo) es adecuado para la digitación?

Verifique la mesa con espacio suficiente, silla adecuada, etc

27 ¿Cuenta con insumos que faciliten la digitación?

Verifique insumos como por ejemplos regla, lupa, lápices, resaltador, otros

28 ¿Cuenta con un mecanismo para saber qué registros ya se han entrado al Software del PAI?

Pregunte: ¿cómo hace para saber dónde quedó en la digitación?

29 La sala dónde se digita, ¿cuenta con aire acondicionado?

Verifique

82

Nº Recursos humanos y asistencia

técnica Sí No NA Observaciones

30 Tipo de contrato (del digitador):

31 Tiempo dedicado como digitador (horas semanales):

32 ¿Cuánto tiempo lleva usando el Software del PAI?

33 ¿Cumple con el perfil requerido por la norma?

Ej. Personal digitador idóneo

34 ¿Fue capacitado formalmente para el uso del Software del PAI?

Si responde que no, solicite que explique

35 ¿Fue capacitado en normas mínimas del PAI?

Al menos ha recibido capacitación en el esquema de vacunación vigente

36 ¿Le parece suficiente el tiempo que dispone para el registro en el Software del PAI?

Si responde que no, solicite que explique

37 ¿Sabe qué hacer cuando el registro diario (texto) no es claro?

Si responde que no, solicite que explique

38 ¿Tiene acceso a asistencia técnica? Si responde que no, solicite que explique

39 Si respondió que sí, ¿qué mecanismo usan? Listar los más usados.

Personal, telefónico - mesa de ayuda, por mensajería instantánea, por Internet)

40 Si respondió que sí, ¿sobre qué situaciones?

Nº Captación de los Datos Sí No NA Observaciones

41 ¿Sabe cómo ingresar una persona nueva?

Solicite que lo demuestre

42 ¿Sabe cómo actualizar un registro (al vacunar)?

Solicite que lo demuestre

43 ¿Qué hace para corregir errores de digitación?

Solicite que lo explique

44 Habitualmente, ¿con qué oportunidad se ingresan los datos?

Ejemplo: el mismo día de la vacunación, la misma semana, el mismo mes, otro

45 Tiempo que demora en digitar los datos de una persona que no existe en el sistema

Tome el tiempo para 2 registros, si es posible, y promediar

46 Tiempo que demora en actualizar los datos de vacunación de una persona existente

Tome el tiempo para 2 registros, si es posible, y promediar

83

Nº Percepción de digitador Sí No Más o Menos

Observaciones

47 ¿Le gusta el Software del PAI? (sí, no , más o menos)

Si responde que no, solicite que explique

48 ¿Le parece que el Software del PAI es de fácil manejo?

Solicite que explique

49

¿Considera los recursos humanos y tecnológicos son suficientes para el volumen de personas que se vacunan/digitn en su institución?

Solicite que explique

50 ¿Qué sugerencias tiene para mejorar el Software del PAI?

Nº Percepción de la persona

encargada del PAI: Sí No NA Observaciones

Considera que el Software del PAI le facilita:

51 ¿El monitoreo de dosis aplicadas? Si responde que no, solicite que explique

52 ¿Le facilita la detección de inasistentes?

Si responde que no, solicite que explique

53 ¿Generar el consolidado mensual de dosis aplicadas?

Si responde que no, solicite que explique

54 ¿Le parecen útiles los reportes? Si responde que no, solicite que explique

55 ¿Habría que generar un reporte nuevo?

Si responde que no, solicite que explique

56 Si respondió que sí, ¿qué reportes?

57 ¿Qué sugerencias tiene para mejorar el Software del PAI?