Sistemas de evaluación, tema 7 del curso de formación en Salud Pública

FORMACIÓN EN SALUD PÚBLICA , ADMINISTRACIÓN SANITARIA Y

POLÍTICAS DE SALUD

TEMA VII: Evaluación Sanitaria

Para más información sugerimos contactar con www.sociedadcanariadesaludpublica.org/

Autores: Dr. Victorio Perera Cárdenes Médico Especialista Familiar y Comunitario

Dra Lucía Quintana Hidalgo Médico Especialista en Análisis Clínicos

http://www.sociedadcanariadesaludpublica.org/



FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD

ÍNDICE DE TEMAS

1.- SALUD PÚBLICA

2.- POLÍTICAS DE SALUD

3.- ADMINISTRACIÓN SANITARIA

4.- BIOÉTICA

5.- LEGISLACIÓN SANITARIA

6.- SISTEMAS DE INFORMACIÓN

7.- SISTEMAS DE EVALUACIÓN

8.- AUTOCUIDADO DE LA SALUD

9.- PROMOCIÓN DE LA SALUD

10.- PROTECCIÓN DE LA SALUD

11.- SALUD AMBIENTAL

12.- SALUD LABORAL

13.- SEGURIDAD SANITARIA

14.- SALUD COMUNITARIA

15.- DESIGUALDADES EN SALUD


1.- Definir el Concepto de Sistema de Evaluación

2.-Evaluación del Sistema Sanitario.

3.- Sistemas de Evaluación.

4.- Conocer Recursos on-line para ampliar formación.

5.-. Reflexionar y/o Debatir sobre el tema (EJERCICIO)

OBJETIVOS DEL TEMASISTEMA DE EVALUACIÓN

Investigación evaluativa. Santiago Correa Uribe & col http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf

Briones (1991) define como propósito principal de la evaluación: “proporcionar criterios para la toma de decisiones en relación con la estructura, el funcionamiento y el desarrollo del programa”. Propósitos que pueden perseguirse:

1. Mejorar la efectividad cuantitativa del programa, es decir, el logro de sus objetivos.

2. Mejorar la calidad de los resultados, o sea, la efectividad cualitativa del programa.

3. Aumentar la eficiencia interna del programa, vale decir, la relación entre insumos y resultados.

4. Mejorar la eficiencia externa del programa o adecuación de resultados con objetivos externos.

5. Someter a verificación la teoría o hipótesis que relaciona los componentes del programa con los resultados buscados.

6. Redefinir la población objeto: reducirla, homogeneizarla, etc.

7. Modificar la estructura, el funcionamiento y la metodología del programa.

8. Tratar de cumplir, si es pertinente, las expectativas de la población objeto del programa (sobre su funcionamiento, recursos, objetivos, etc.).

9. Controlar la aparición de posibles prácticas o resultados no deseados.

10.Tratar de homogenizar los efectos, consecuencias y repercusiones del programa en diversos subgrupos de la población de referencia del programa.


1.- DEFINICIONES: SISTEMA DE EVALUACIÓN:


2.- Evaluación del Sistema http://apps.who.int/gb/archive/pdf

Indicadores para Evaluar el Desempeño

Nivel de Salud: Esperanza de vida sana.

Distribución de Salud: Desigualdades de salud

Capacidad de Respuesta, Nivel y Distribución: Encuesta OMS de interacción Individuos-Sistema.

Equidad de Contribución Financiera: Contribución con impuestos, seguros, pagos directos.

Recursos aportados al Sistema de Salud: Aportaciones públicas y/o privadas.

Eficiencia del Sistema de Salud: Relación de aportaciones de recursos y resultados.

Efectos de políticas sanitarias: Medición de logros y eficiencia.

¿Dónde nos encontramos? Respecto a la cobertura de los servicios, la proporción de nacimientos

asistidos por personal sanitario cualificado puede ser tan baja como un 10%

en algunos países, mientras que es casi del 100% en los países con los

índices de mortalidad materna más bajos. Eliminar esta diferencia de

cobertura entre ricos y pobres en 49 países de ingresos bajos salvaría la

vida de más de 700 000 mujeres desde este momento hasta el año 2015 .

Del mismo modo, los niños ricos viven más que los pobres; si se superara

esta diferencia de cobertura en los diversos servicios para niños menores

de cinco años, en concreto, la vacunación sistemática, salvaría más de 16

millones de vidas.

La otra cara de la moneda es que, cuando la gente sí usa los servicios, a

menudo incurre en gastos catastróficos al pagar por la asistencia prestada.

En algunos países, hasta el 11% de la población sufre este tipo de dificultad

financiera grave cada año y hasta el 5% se ve arrastrada a la pobreza. A

nivel mundial, alrededor de 150 millones de personas sufren catástrofes

financieras anualmente y 100 millones se ven obligadas a vivir por

debajo del umbral de pobreza.

Según la Organización Internacional del Trabajo (OIT), sólo una de cada

cinco personas en todo el mundo está cubierta con una seguridad

social amplia que también incluya la pérdida salarial en caso de

enfermedad, y más de la mitad de la población del mundo carece de todo

tipo de protección social formal. Únicamente el 5–10% de las personas

están cubiertas en el África subsahariana y en Asia meridional, mientras

que en los países de ingresos medios los índices de cobertura varían entre

el 20% y el 60%.

¿Cómo resolvemos el problema? Para lograr la cobertura universal, los países encuentran tres problemas :

El primero es la disponibilidad de recursos. Ningún país, con independencia

de su riqueza, ha sido capaz de garantizar a todas las personas el acceso.

El segundo es la dependencia excesiva de los pagos directos en el

momento en que la gente necesita asistencia.

El tercer obstáculo para avanzar más rápido hacia la cobertura universal

es el uso ineficiente y no equitativo de los recursos. Se malgasta del 20–

40% de los recursos .

http://apps.who.int/gb/archive/pdf


2.- Evaluación del

Sistema

http://www.fgcasal.org/aeets/Documentos/Agencias_

Evaluacion_Tecnologias_ES-Elena_Perez_Cannellas.pdf

http://www.fgcasal.org/aeets/Documentos/Agencias_Evaluacion_Tecnologias_ES-Elena_Perez_Cannellas.pdf






2.- Evaluación del Sistema http://www.msc.es/organizacion/sns/planCalidadSNS/

http://www.msc.es/organizacion/sns/planCalidadSNS/


2.- Evaluación de Sistema http://www.euphoric-project.eu/

Lo

s 5

4 i

nd

icad

ore

s d

el

pro

yecto

EU

PH

OR

IC

El enfoque científico de

EUPHORIC, el outcome

research, permite medir la

calidad de la asistencia sanitaria.

Esta evaluación se puede utilizar

no sólo para medir el resultado

de un tratamiento específico,

sino también para valorar la

variabilidad de los resultados en

relación con características

específicas de la población

considerada, como por ejemplo el

nivel socioeconómico, los ingresos

o la pertenencia a un área

geográfica determinada.

Esto significa poder tomar las

mejores decisiones desde el

punto de vista de la efectividad,

gracias a la posibilidad de obtener

un conocimiento compartido y

común que permita eliminar las

diferencias entre los países y entre

los muchos segmentos de la

población europea.

Desde el punto de vista de la

eficiencia, significa administrar lo

mejor posible los recursos

disponibles, localizando puntos

débiles y lagunas. La comparación

entre las diferentes instituciones

sanitarias que ofrece la plataforma.

http://www.euphoric-project.eu/



FOR

MA

CIÓ

N E

N S

ALU

D P

ÚB

LIC

A, A

DM

INIS

TRA

CIÓ

N S

AN

ITA

RIA

Y P

OLÍ

TIC

AS

DE

SALU

D

2.- Evaluación del Sistema

http://www.easp.es/

http://www.easp.es/


2.- Evaluación del Sistema http://www.sespas.es/adminweb/uploads/docs/HiT2010.pdf

Sistemas Sanitarios en Transición. España: Análisis del Sistema Sanitario 2010 (resumen)

1.- Adoptar un modelo centrado en el usuario en una estructura de prestación predominantemente pública.

2.- Coordinar la atención sanitaria entre la atención primaria y la atención especializada.

3.- La transición de un modelo basado en la atención de agudos a un modelo basado en la gestión de enfermedades crónicas.

4.- Incorporación de la asistencia sociosanitaria y la atención a la dependencia como elemento de equidad.

5.- Adoptar un sistema de evaluación basado en la evidencia en gestión de la cartera de servicios y análisis coste efectividad.

6.- Mejora del marco de gestión clínica para reducir la distancia entre la evidencia clínica y la práctica clínica.

7.- Incrementar la producción y el uso de evidencia clínica sobre variaciones injustificadas de la práctica médica.

8.- La adecuación de los incentivos a proveedores a los objetivos de calidad y eficiencia del sistema en la totalidad del mismo.

9.- La rendición pública de cuentas en relación con las políticas aplicadas y la relación coste-efectividad de las mismas.

10.- Actuaciones pendientes:

- Reformar el Fondo de Cohesión Sanitaria y analizar la necesidad de introducir un fondo finalista

de mínimos para la atención sanitaria en el sistema general de financiación de las comunidades

autónomas.

- Revisar y mejorar los actuales mecanismos de reembolso a los sistemas sanitarios de los

gastos de la atención prestada en caso de accidentes laborales y de tráfico, así como los costes

derivados de la atención a pacientes de la UE.

- Establecer mecanismos para incrementar la participación de los profesionales en la gestión y la

asignación de recursos.

- Desarrollar un sistema común para la planificación de recursos humanos que permita abordar

las necesidades futuras.

- Desarrollar un mapa de especialidades médicas, con modelo troncal con itinerarios flexibles.

- Establecer un sistema nacional de información de resultados de salud del SNS.

- Promover estilos de vida saludables, continuando lo realizado y priorizando la salud pública.

- Reforzar el papel de la Evaluación de Tecnologías Sanitarias, reorganizando la red de agencias

de Evaluación de Tecnologías Sanitarias con el fin de incrementar su capacidad para generar

oportunas evidencias científicas y de coste-efectividad para la toma de decisiones.

http://www.sespas.es/adminweb/uploads/docs/HiT2010.pdf


2.-Evaluación del Sistema http://whqlibdoc.who.int/publications/

http://whqlibdoc.who.int/publications/

Ciclo de Calidad (PDCA de Deming)

Sistema de calidad ISO 9000 (Organización Internacional de Normalización)

La familia de Normas ISO 9000 se han elaborado para asistir a las organizaciones, de todo tipo y tamaño, en la implementación y la operación de sistemas de gestión de la calidad eficaces. Reconoce ocho principios de gestión de la calidad: 1) Enfoque a las necesidades actuales y futuras de los clientes. 2) Liderazgo que aporta unidad de propósito y la orientación a la organización. 3) Participación del personal que posibilita su compromiso. 4) Enfoque basado en procesos relacionando actividades y los recursos. 5) Enfoque de sistema para la gestión de procesos interrelacionados. 6) Mejora continua del desempeño global de la organización. 7) Enfoque basado en análisis de datos para la toma de decisiones. 8) Relaciones mutuamente beneficiosas con los proveedores.

Modelo de la EFQM (European Framework Quality Manegement)

El marco común de evaluación en comunidad europea. (CAF)

Malcolm Baldrige Salud Es el modelo de Calidad Total más difundido en USA y en países de su entorno. Guarda muchas similitudes con el Modelo de la EFQM, aunque Baldrige es anterior a éste. Su ventaja estriba en que es un modelo propio para servicios de salud.

Cartera de Servicios Es una declaración que permite identificar con claridad a los usuarios y a la propia organización, qué pueden esperar y qué deben dar. Suele utilizarse mucho en la administración pública.

http://www.pdca.es/pruebas/efqm.html#

Modelos de desarrollo de Sistemas de Calidad en Salud 3.- Sistemas de evaluación


lanear esarrollar

omprobar justar

“Círculo de Deming”

MEJORA CONTINUA

DE LA CALIDAD

Propuesta de Adaptación al castellano Terminología PDCA

Victorio Perera Cárdenes 2010

Contribuciones a la Economía" es una revista académica con el Número Internacional Normalizado de Publicaciones Seriadas. ISSN 16968360. FORMULACIÓN Y EVALUACIÓN DE PROYECTOS. Jairo Toro Díaz. http://www.eumed.net/ce/2008b/jtd.Investigación evaluativa Tipos Evaluación segúb ías Naciones Unidas (1978) Santiago Correa Uribe & col

http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf

INDICADORES DE GESTIÓN: seguimiento o monitoreo de la utilización de los recursos

INDICADORES DE EFICIENCIA: INDICADORES DE EFICACIA: INDICADORES DE EFECTIVIDAD:

Variables de eficiencia para la creación de indicadores: Determina si los resultados del programa se obtuvieron de la forma más económica, maximizando productos y minimizando insumos. Los indicadores adecuados a este tipo de información son aquellos que tienen como unidad de medida la monetaria.

Da cuenta si el programa logró los objetivos propuestos y en qué medida. Para este tipo de información, los indicadores son las metas del programa. Cuando no existen las metas, los objetivos deben ser traducidos a indicadores observables.

Es la información que da cuenta de si la ejecución del programa se realizó de conformidad con el plan y el presupuesto asignado. Para este tipo de información se cuenta con indicadores establecidos en el cronograma de acción y en el presupuesto asignado a la ejecución del programa.

- Materiales - Maquinaria - Mano de obra - Medios Logísticos - Métodos - Monetarios

- Calidad - Cumplimiento - Costo - Confiabilidad (garantía) - Comodidad - Comunicación (amabilidad)

- Rendimiento - Productividad - Competitividad - Participación - Crecimiento - Coberturas - Adaptación

INDICADORES DE LOGRO: valoración de los objetivos, cambios, éxito o impacto en las variables socioeconómicas.

DE PRODUCTO: DE RESULTADO: DE EFECTO: DE IMPACTO:

Logros del inmediato plazo, contribuyen al cumplimiento de los objetivos específicos del proyecto social.

Logros a corto plazo, contribuyen a resolver las necesidades y problemas del grupo.

Logros a mediano plazo, contribuyen al cumplimiento de los objetivos programáticos en una región específica.

Logros a largo plazo, contribuyen al cumplimiento de la misión de la organización.

EVALUACIÓN DE INDICADORES


3.- Sistemas de evaluación

FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD 3

.- S

iste

ma

s d

e E

va

lua

ció

n

Los índices tienen 2 características: a) están compuestos por múltiples indicadores, y

b) llevan implícito un juicio de valor. Los índices se han usado tradicionalmente en

economía y otras ciencias sociales. Cuando se analizan los indicadores financieros,

éstos señalan directamente al usuario si la actuación financiera evaluada ha sido

buena o mala. Cuando se tiene en cuenta varios índices, será necesaria la habilidad

y el conocimiento del intérprete para identificar el mensaje subyacente al conjunto de

índices, pero cada índice de forma individual tendrá en sí mismo la función (si es un

índice válido) de describir inmediatamente la adecuación de la actuación.

Esta explicación, por tanto, ilustra por qué los sistemas de medida de actuación

sanitaria basados en indicadores no pueden medir el grado de bondad de la actuación,

y cualquier expectativa en este sentido sólo servirá para frustrar y confundir a quienes

revisan los perfiles de los indicadores.

El desarrollo y la investigación en los

distintos modelos de acreditación y

certificación de calidad (EFQM, ISO y

JCAHO) han estado unidos a su

aplicación en distintas regiones y

sectores. En muchas regiones de

España, el EFQM se ha establecido

como modelo oficial que guía las

actividades de mejora de calidad en

el sector sanitario, a pesar de la

dificultad de su terminología para los

profesionales sanitarios y la dificultad

de comprensión de criterios y

subcriterios. Estos motivos

potenciaron el inicio de

investigaciones para adaptar el

modelo al campo sanitario.

Cartera de Servicios: desarrollo en España

Cartera de servicios de atención primaria Desarrollo, organización, usos y contenido. Sistema Nacional de Salud Mayo 2010. Instituto de Información Sanitaria – Sistema de Información de Atención Primaria (SIAP) www.msc.es/.../Cartera_de_Servicios_de_Atencion_Primaria_2010.pdf

MODELOS DE CARTERA DE SERVICIOS Ejemplo de Cartera basada en Procesos

asistenciales Integrales (PAI) Cartera basada en Coberturas y criterios de calidad (Indicadores de cobertura y

subcriterios de buena atención, criterios mínimos de calidad, protocolos técnicos

y/o de actividad)

Ejemplo de Cartera basada en Indicadores (Indicadores Clínicos, Criterios de Buena práctica

y/o Requisitos Acreditación)

EJEMPLOS DE CADA MODELO CON MAYOR DEFINICIÓN DE LA ATENCIÓN COMUNITARIA



ANDALUCÍA EXTREMADURA NAVARRA

- Definición. que ha de incluir el problema de salud y las fases de la historia natural del mismo que se abordan.

-Definición.

--Definición, que amplía la descripción de los aspectos a considerar y/o acciones que deben ser desarrolladas, bajo la denominación de cada servicio.

- Población Diana. -Población diana.

-Criterios de Inclusión y de Exclusión -Criterios de inclusión. (Los de salud pública añaden Cálculo de cobertura).

-Criterios de inclusión de las personas o pacientes en el servicio, cuando proceda según las características del mismo.

-Criterios de Oferta. condiciones que deben cumplir (calidad científico-técnica; accesibilidad; satisfacción y factibilidad de su medida). Se especifica por niveles asistenciales (Primaria, Especializada) y conjunto si son comunes. Situaciones que no aborda y salidas.

-Actuaciones (que se formulan como normas de calidad y se acompañan ocasionalmente de excepciones

-Requisitos mínimos que debe cumplir un centro de salud para poder prestar el servicio. En algunos casos de servicios o de procedimientos concretos, la medición de : Algún elemento relevante de proceso (fundamentalmente a través de los “Datos Generales del Paciente” o DGPs). Resolución de procesos relevantes en la atención

-Criterios de Calidad, definidos como normas básicas de calidad, que se incluirán en el Contrato Programa Consejería-SAS.

-Criterios de calidad correspondientes a cada actuación (incluido en Actuaciones)

Los 95 servicios definidos, responden a criterios de: - Necesidad sentida por la población. Prevalencia. Gravedad. Eficacia de la actuación prestada. Factibilidad. Obligatoriedad.

- Indicadores que se seleccionan a partir de los criterios de oferta y de las normas de calidad.

-Sistema de explotación para la obtención de los Indicadores de cobertura, obtenidos centralizadamente y con periodicidad.

- Sistema de Información y Registro para la evaluación del proceso. Bibliografía, que aparece reunida de modo conjunto al final del documento.

-Bibliografía y anexos (cuestionarios, protocolos, algoritmos o clasificaciones).

Sistema de registro, en general informatizado e incluyendo la codificación diagnóstica en aquellos servicios que deban disponer de un registro de casos.


TIPOS GENERALES DE EVALUACIÓN:

Para Espinoza (1983), la evaluación debe partir de una traducción de los objetivos a metas, pues el autor considera que una meta es un objetivo cuantificado y calificado. Por lo tanto, a cada objetivo corresponde una o varias metas. O sea que para medir el grado de obtención de los objetivos es necesario medir el grado de obtención de las metas.

De cantidad: Consiste en medir el número de unidades logradas en comparación con las unidades programadas.

De calidad: La meta tiene unos atributos que conforman su calidad y se debe medir el grado de obtención de los atributos.

Del tiempo: Mide el tiempo gastado en la consecución de la meta en comparación con el tiempo previsto.

De objetivos: Mide el grado de obtención de los objetivos.

De cobertura: Mide si las metas logradas cubrieron a toda la población usuaria del programa.

De costos: Mide la inversión realizada para el logro de las metas en comparación con los costos previstos.



Criterios práctico-operativos de la evaluación

1. Integral: Que comprenda todos los elementos e involucre todos los factores que intervienen en el programa evaluado.

2. Participativa: Que vincule activamente los diferentes actores que intervienen en el programa o acción que se va a evaluar.

3. Permanente: Ha de realizarse en forma continua, asociada al desarrollo del programa.

4. Acumulativa: Al considerar los resultados de evaluaciones previas, para determinar sus efectos sobre las sucesivas.

5. Autocorrectiva: Contempla mecanismos de ajuste de estrategias e instrumentos para futuras etapas del proceso de evaluación permanente en los momento requeridos.

6. Útil: En la medida en que contemple los aspectos más importantes en relación con los objetos evaluados (relevante) y que sea oportuna, de manera que proporcione a los niveles decisorios la información necesaria en él.

7. Eficiente: Si obtiene un máximo rendimiento de los recursos disponibles (humanos, físicos, financieros).

CUALIDADES DE LA EVALUACIÓN:

Formativa, intermedia, de proceso, configurativa, continua o concurrente

1.-Es un componente de la planificación. 2.-Es continua e integral. 3. Estudia la eficiencia y eficacia 4. Implica una autoevaluación. 5. Cumple una función retroalimentadora

Sumativa, acumulativa, terminal, de punto, de resultado,final de producto

1.Es complemento de proceso. 2. Es circunstancial. 3. Estudia factores de eficiencia. 4. Evaluadores no presta servicios: coste 5. No ofrece identificación oportuna de problemas. 6. Evalúa productos,, efectos e impacto

Externa, auditorías

1.Son más innovadoras 2.Son más objetivas 3. Son más hábiles para elegir claves, indicadores 4.No comprende las intimidades 5. No propicia una cultura y empoderamiento

Interna: autoevaluación 1.- Facilitan compromiso de acción 2. Dificultad autocrítica (riesgo empleo) 3. Mayor aceptabilidad resultados y medidas respectivas.

Mixta;: investigación-acción Tarea de todos sus participantes

De procesos Se centra en el funcionamiento y otros aspectos dinámicos del programa

De repercusiones Se refiere a la determinación del logro de objetivos de un programa o a la evaluación de efectos externos.

De impacto Determinar los efectos residuales del proyecto en su totalidad

Institucional Evalúa su nivel de organización, atendiendo a las funciones que debe cumplir y define objetivos puntuales entre actividades permanentes.

De programas Evaluación de actividades más o menos cardinales en torno a objetivos de duración variable.

De objetivos internos Verificar el logro de los objetivos que han de alcanzarse en la población en la cual actúa directamente.

De objetivos externos Evaluación de situaciones o estados deseables de alcanzar fuera del ámbito del programa cuando éste ya ha finalizado.

Descriptiva: Describe diferentes situaciones del programa (características, factores que intervienen y relaciones de asociación entre éstas).

Explicativa: Establece la relación causal entre los diferentes factores que intervienen en el programa y entre éste y el contexto.

Costo-beneficio Estima el valor de bienes intangibles y para tomar decisiones que implican una asignación de recursos. la medición del beneficio se expresa mediante la utilización de uno o varios indicadores de impacto sobre la población objetivo.

Costo-efectividad Relaciona .sus costos monetarios y productos con los efectos alcanzados

Costo-rendimiento Toma en consideración también costos y rendimientos que inciden sobre sujetos distintos de los directamente afectados por el proyecto.

costo-utilidad social Útil como ganancia o pérdida la sociedad en conjunto y que no necesariamente son iguales a la de los que hacen dicha actividad.

Ex-ante En la formulación estudia la viabilidad en sus términos técnico, financiero, jurídico, sociocultural, institucional y político. Y la transcendencia social, la eficiencia del proyecto o su capacidad para producir impacto en los destinatarios, organizaciones y medio social.

Intermedia: Durante el desarrollo del programa con el fin de detectar problemas de funcionamiento y buscarles soluciones adecuadas y oportunas

Expost Se realiza después de que el programa ha terminado, con la finalidad de establecer si se obtuvieron los resultados esperados y los factores que actuaron en una u otra dirección.

METAEVALUACIÓN Evaluación de la evaluación


TIPOS ESPECÍFICOS DE EVALUACIÓN



FUNCIONES DEL DIAGNÓSTICO PARA LA EVALUACIÓN

Un proyecto sin un diagnóstico adecuado corre el serio peligro de no generar impacto alguno. La cantidad de recursos y tiempos involucrados en este proceso deben estar en relación con la escala del proyecto. El diagnóstico no debe ser de mayor escala que el proyecto, porque en esa misma medida puede perder utilidad para

solucionar el problema que le dio origen.

La descripción: Caracteriza el problema y cuantifica su magnitud y distribución en la población objetivo. También es necesario realizar una descripción de la población objetivo y del contexto (los aspectos demográficos, geográficos, económicos, sociales, legales, los grupos relevantes, la oferta y demanda, etc).

La línea de base: Resume dicha información, mostrando el valor del (o los) indicador(es) del problema al momento del diagnóstico y sus tendencias futuras. Permite conocer la brecha entre la población objetivo y el resto de la población, así como su distancia con los estándares vigentes. Permite formular adecuadamente el proyecto y medir su impacto. Para elaborarla es necesario disponer de la información más precisa posible. Esto facilita la posterior medición del impacto de las intervenciones, tanto en términos de confiabilidad como de costo.

La explicación: Plantea la estructura causal cualitativa y cuantitativa de las variables que determinan el problema central. Se lleva a cabo para establecer qué y cuantos bienes y/o servicios es necesario entregar para solucionar total o parcialmente el problema central (o alcanzar el objetivo general).

El ideal es contar con un sistema que integre la información de distintos proyectos y permita analizarlos en sus distintas etapas del ciclo de vida, con datos relativos a los sectores (salud, educación, vivienda, etc.) y estudios de base de la población, donde ésta priorice los problemas que la afectan .

Para ello se deben recoger opiniones y jerarquizar los problemas, haciendo, por ejemplo, que cada persona asigne un puntaje a cada problema en una escala de 0 a 5 puntos.

Su cálculo se realiza recopilando la información existente sobre el problema central que afecta a la población, utilizando indicadores que permitan determinar:

1.- El grado de validez y confiabilidad. 2.- El grado de generalidad-especificidad de las estimaciones, para determinar si son aplicables al ámbito, geográfico y poblacional, de análisis.

Si la información existente proporciona sólo visión general del problema en la población analizada, será necesario complementarla con entrevistas a informantes claves. Si es de mala calidad o inexistente, será necesario realizar estudios específicos.

La línea de base debe reflejar el problema, de la población objetivo, al momento del análisis y ser complementada con estimaciones sobre sus tendencias futuras.

ESTIMACIÓN DE LA LINEA BASE DE LOS PROBLEMAS

EVALUACIÓN DE PROBLEMAS IDENTIFICADOS

3.- Sistemas de evaluación FO

RM

AC

IÓN

EN

SA

LUD

PÚ

BLI

CA

, AD

MIN

ISTR

AC

IÓN

SA

NIT

AR

IA Y

PO

LÍTI

CA

S D

E SA

LUD

Manual de form

ula

ció

n, eva

luació

n y

monitore

o d

e p

roye

cto

s s

ocia

les E

rnesto

Cohen,

Rodri

go M

art

ínez D

ivis

ión d

e D

esarr

ollo S

ocia

l C

EP

AL h

ttp://w

ww

.ecla

c.o

rg/d

ds/

FOCALIZACIÓN

Criterios que permiten identificar a la población objetivo para que sean ellos (y no otros) los que reciban los beneficios del programa .Una oferta homogénea suele no ser adecuada para quienes tienen mayores necesidades insatisfechas, debido a barreras culturales, analfabetismo y carencia de información. Para aumentar el impacto y la eficiencia de un proyecto social, debe existir un modelo de focalización que asegure la selección y acceso de la población objetivo definida para el mismo.

Inclusión: Acertada: Entregar productos a quienes son integrantes de la población objetivo (las familias pobres reciben los beneficios de un subsidio para la vivienda social).

Errónea: Entregar productos a personas ajenas a la población objetivo (las familias de clase media acceden a subsidios de vivienda social).

Exclusión: Acertada: No entregar productos a quienes no forman parte de la población objetivo (no hay familias de clase media recibiendo el subsidio de vivienda social).

Errónea: No entregar productos a personas que forman parte de la población objetivo. (hay familias pobres que no tienen acceso al subsidio de vivienda social).

Cuando sólo están presentes los aciertos, esto es, que ambos errores son iguales a “0”, la focalización es totalmente correcta. Entonces: cobertura bruta = cobertura neta = 100%.

EVALUACIÓN DE LA POBLACIÓN OBJETIVO

Tipos de beneficiarios Los programas y proyectos sociales también producen impacto sobre otras

personas no incluidas como población objetivo (PO).

Legítimos: Directos: Cuando son la población objetivo que recibe los productos del proyecto (acierto de inclusión).

Indirectos: Cuando no se definen como población objetivo, pero favorecerlos se compadece con el espíritu del proyecto.

Ilegítimos : Directos: Cuando no forman parte de la PO (error de inclusión).

Indirectos: Son favorecidos por el proyecto a pesar de no ser destinatarios de los mismos y, al mismo tiempo atentan contra los objetivos redistributivos que este persigue.

FOR

MA

CIÓ

N E

N S

ALU

D P

ÚB

LIC

A, A

DM

INIS

TRA

CIÓ

N S

AN

ITA

RIA

Y P

OLÍ

TIC

AS

DE

SALU

D 3.- Sistemas de evaluación

Manual de formulación, evaluación y monitoreo de proyectos sociales

Ernesto Cohen, Rodrigo Martínez División de Desarrollo Social

CEPAL http://www.eclac.org/dds/

Contribuciones a la Economía" es una revista académica con el Número Internacional Normalizado de Publicaciones Seriadas. ISSN 16968360. FORMULACIÓN Y EVALUACIÓN DE PROYECTOS. Jairo Toro Díaz. http://www.eumed.net/ce/2008b/jtd.htm

EVALUACIÓN DE ALTERNATIVAS DE PROYECTOS:

Metodología para establecer que alternativa produce el máximo beneficio (impacto), al mínimo de costo .

1.-Costo total de cada alternativa (CT).

2.-Número de servicios prestados con el proyecto (SP).

3.-Costo por unidad de producto (CUP): CUP = CT / SP

4.-Unidad de tiempo del proyecto.

5.-Impacto anual promedio para cada alternativa (IAP)

6.-Magnitud (%) de cambios del entorno al lograr fracciones de metas

7.-Costo por unidad de impacto (CUI), costo de lograr 1% de impacto por objetivo: CUI = CT / (IAP x 100)

El CUI nos señala la estrategia para obtener impacto a más bajo costo

Para que los productos generen los impactos esperados, son necesarias su sustentabilidad y sostenibilidad.

Sustentable Un proyecto lo es en la medida que exista capacidad instalada (recursos físicos, humanos y financieros) para que los procesos requeridos sean adecuadamente implementados.

Sostenible Un proyecto lo es cuando los impactos producidos perduran en el tiempo.

CONCEPTOS DE SUSTENTABILIDAD Y SOSTENIBILIDAD



EVALUACIÓN DE PROCESOS: SUPERVISIÓN

Responsable Frecuencia Área Indicador Método Procedimiento

Participantes Continua-máxima (1 semana/mes)

Puntualidad en la implementación

de los proyectos

Nº de actividades implementadas a su

debido tiempo

Visitas de campo Formulario de supervisión rutinario

Uso adecuado de los recursos del

proyecto

Desvío recursos Visitas de campo Control de calidad Formulario de supervisión.

Procedimientos técnicos de calidad.

Obtención y registro adecuados de

la información

Porcentaje de proyectos con archivos

y nº de informes

Revisión de archivos Análisis documentos y discursos

Comisiones

Alta (1-3 meses)

Plan de tareas realista Nº de planes con orden de tareas

correcto

Comparar la planes con

implementación

Análisis de Flujo de tareas

Visitas de campo

Participación comunitaria en las

actividades

Nº de personas que cumplen tareas Nº de actividades. Nº de recursos

aportados por la comunidad

Visitas de campo.

Grupos Discusión

Justificación de los recursos Porcentaje de recursos contabilizados Justificación de uso eficiente de

recursos

Formulario justificación de recursos

Modificado de Manual de supervisión. Phil Bartle, PhD traducción de Mª Lourdes Sada www.scn.org/mpfc/modules/pd-pds.htm

Responsables Media (3-6 meses) Justificación de los recursos Porcentaje de recursos contabilizados

Justificación de uso eficiente de

recursos Formulario justificación de recursos

Consejo

Baja (6-12 meses)

Eficacia de comités comunitarios Número de comités que cumplen sus tareas

Revisión del cumplimiento de tareas/comité

Estudios cualitativos

de rendimiento

Encaje adecuado de proyectos en los planes y las prioridades generales

Número de proyectos adscritos a planes generales

Revisión de informes Visitas de campo

Revisión de planes y prioridades locales para valorar encaje con los generales.

Conocimientos de gestión

comunitaria

por líderes comunitarios

Número de comunidades con proyectos comunitarios participativos

Revisión de informes Grupos de

discusión

Otros

Estudios cualitativos sobre la participación de la comunidad en las actividad/proyecto

Entidad Eventual-mínima (12-24 meses)

Conocimiento de la metodología por la comunidad

Proporción de gente consciente de la metodología

Grupos de discusión, Entrevistas Testigos

Estudios

Efectividad del diseño del proyecto

Porcentaje objetivos conseguidos. Porcentaje aspectos del diseño aceptados por la comunidad.

Revisión de informes Grupos de discusión Entrevistas Testigos

Estudios

Transferibilidad de la experiencia a otros proyectos.

Proporción de aspectos del diseño del proyecto adaptados

Discusión de proyectos

Eventos para buscar aspectos metodología repetidos en diversos proyectos.



Explicativo de símbolos:

PRESENTACIÓN DE PROCESOS CON FLUJOGRAMAS PRESENTACIÓN DE PROCESOS CON CRONOGRAMAS

PRESENTACIÓN DE PROCESOS MIXTA

FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD 3.- Sistemas de evaluación

Manual de form

ula

ció

n, eva

luació

n y

monitore

o d

e p

roye

cto

s s

ocia

les E

rnesto

Cohen,

Rodri

go M

art

ínez D

ivis

ión d

e D

esarr

ollo S

ocia

l C

EP

AL h

ttp://w

ww

.ecla

c.o

rg/d

ds/

PRESENTACIONES PARA ANÁLISIS DE RESULTADOS

Resultados Todo / nada Rectángulo homogéneo ineficaz Pendiente de/creciente Normal Tantos + como - Asimétrica Mayoría/ dispersos

Distribución cuantitativa de los resultados:

Distribución temporal de los resultados:

x.- Proyecto sin impacto añadido

+.- Cambios no causados por el proyecto

o.- Cambios atribuibles al proyecto



Manual de formulación, evaluación y monitoreo de proyectos sociales Ernesto Cohen, Rodrigo Martínez División de Desarrollo Social CEPAL http://www.eclac.org/dds/

Las etapas del método exigen:

1.- Reunir a un conjunto de expertos en el problema que busca solucionar el proyecto.

2.- Entregar a cada uno un informe detallado de las alternativas.

3.- Solicitar que en forma independiente hagan una estimación de la magnitud del impacto y/o demanda que producirá cada alternativa, en los períodos de tiempo que sean pertinentes para la evaluación.

4.- Calcular la mediana y los cuartiles 1 y 3. Estos, deben ser acompañadas de la desviación intercuartil (Q), que permite medir el grado de consenso/disenso existente entre los expertos. Q = (Q3 - Q1)/2

5.- Pedir a quienes se ubicaron en el primer y cuarto cuartil que expliquen y fundamenten su posición.

6.- Solicitar a quienes están en el segundo y tercer cuartil que comenten las opiniones de los del primero y el cuarto.

7.- Repetir el proceso hasta que la realización de una nueva iteración no disminuya la desviación intercuartil.

La estimación a considerar es el valor que adquirió la mediana en la última iteración. El método también se puede implementar a distancia, solicitando que los expertos entreguen su información repetidas veces, hasta generar la convergencia buscada. En este caso no existe la posibilidad de compartir opiniones, por lo tanto, en lugar de los pasos 5 y 6, sólo se entregan los resultados de la iteración anterior.

EVALUACIÓN DEL IMPACTO: CALCULO x PESO DELPHI 2.- Sistemas de evaluación


Social: Grado de relevancia del problema (según la prioridad asignada por la población objetivo y la línea de base); grado de carencialidad-vulnerabilidad de la población objetivo (pobreza, acceso a servicios sociales); grado de cobertura actual (déficit de oferta de bienes y servicios previos a la implementación del proyecto); impacto que se espera lograr con el proyecto.

Técnico: Pertinencia (grado de adecuación del proyecto a sus objetivos y a la población meta); coherencia externa (entre el diseño del proyecto y las políticas institucionales); coherencia interna de la matriz lógica del proyecto (entre los insumos y las metas de actividades, productos, efectos e impacto); incremento de cobertura - eficacia (metas de producción de bienes y servicios).

Económico: Costos totales (con valores presente y anualidades, desglosados en un presupuesto); eficiencia (CUP); beneficios (externalidades positivas para la población objetivo u otros beneficiarios legítimos).

Institucional:

Capacidad para lograr las metas propuestas (del organismo ejecutor y del equipo específico adscrito al proyecto); trayectoria del organismo ejecutor (experiencia y grado de éxito en proyectos anteriores); participación de la población objetivo (grado de involucramiento en la operación del proyecto).

CRITERIOS MÍNIMOS DE EVALUACIÓN DE IMPACTO

Manual de form

ula

ció

n, eva

luació

n y

monitore

o d

e p

roye

cto

s s

ocia

les E

rnesto

Cohen,

Rodri

go M

art

ínez D

ivis

ión d

e D

esarr

ollo S

ocia

l C

EP

AL h

ttp://w

ww

.ecla

c.o

rg/d

ds/


REPASO DE OBJETIVOS

DEFINICIÓN El propósito principal de la evaluación: “proporcionar criterios para la toma de decisiones en relación con la estructura, el funcionamiento y el desarrollo del programa”. Briones (1991)

EVALUACIÓN DEL SISTEMA

Indicadores para Evaluar el Desempeño: Nivel de Salud: Esperanza de vida sana. Distribución de Salud: Desigualdades de salud. Capacidad de Respuesta, Nivel y Distribución: Encuesta OMS de interacción Individuos-Sistema. Equidad de Contribución Financiera: Contribución con impuestos, seguros, pagos directos. Recursos aportados al Sistema de Salud: Aportaciones públicas y/o privadas. Eficiencia del Sistema de Salud: Relación de aportaciones de recursos y resultados. Efectos de políticas sanitarias: Medición de logros y eficiencia. OMS (2000)

SISTEMA DE EVALUACIÓN

El desarrollo y la investigación en los distintos modelos de acreditación y certificación de calidad (EFQM, ISO y JCAHO) han estado unidos a su aplicación en distintas regiones y sectores. Cartera de Servicios: Es una declaración que permite identificar con claridad a los usuarios y a la propia organización, qué pueden esperar y qué deben dar. Suele utilizarse mucho en la administración pública. Kazandijan (2001)

4.- RECURSOS ONLINE

http://apps.who.int/gb/archive/pdf http://www.fgcasal.org/aeets/Documentos/Agencias http://www.msc.es/organizacion/sns/planCalidadSNS/ http://www.euphoric-project.eu/ http://www.easp.es/ http://www.sespas.es/adminweb/uploads/docs/HiT2010.pdf http://whqlibdoc.who.int/publications/ http://www.eclac.org/dds/ http://www.scn.org/mpfc/ http://www.eumed.net/ce/2008b/jtd.htm http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf www.msc.es/.../Cartera_de_Servicios_de_Atencion_Primaria_2010.pdf http://www.pdca.es/pruebas/efqm.html#

http://apps.who.int/gb/archive/pdf


http://www.fgcasal.org/aeets/Documentos/Agencias






http://www.easp.es/

http://www.easp.es/





http://www.eclac.org/dds/

http://www.scn.org/mpfc/

http://www.eumed.net/ce/2008b/jtd.htm

http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf

http://www.msc.es/.../Cartera_de_Servicios_de_Atencion_Primaria_2010.pdf

http://www.pdca.es/pruebas/efqm.html

Sistemas de evaluación, tema 7 del curso de formación en Salud Pública

Documents

Transcript of Sistemas de evaluación, tema 7 del curso de formación en Salud Pública