EVALUACIÓN DE LA CALIDAD DE LOS REGISTROS …iieg.gob.mx/contenido/proyectosiieginegi/BM...

241
Fortalecimiento de las políticas públicas basadas en evidencia EVALUACIÓN DE LA CALIDAD DE LOS REGISTROS ADMINISTRATIVOS Y PLANES DE MEJORA (HECRA) SISTEMA DE INFORMACIÓN ESTRATÉGICA DEL ESTADO DE JALISCO Y SUS MUNICIPIOS Diciembre 2016

Transcript of EVALUACIÓN DE LA CALIDAD DE LOS REGISTROS …iieg.gob.mx/contenido/proyectosiieginegi/BM...

Fortalecimiento de las políticas públicas basadas en evidencia

EVALUACIÓN DE LA CALIDAD DE LOS REGISTROS

ADMINISTRATIVOS Y PLANES DE MEJORA (HECRA)

SISTEMA DE INFORMACIÓN ESTRATÉGICA DEL ESTADO DE

JALISCO Y SUS MUNICIPIOS

Diciembre 2016

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 2

Síntesis ejecutiva

Con el objetivo general de apoyar a la consolidación del enfoque de Gestión por Resultados del Estado de Jalisco

se firmó en diciembre 2014 un acuerdo tripartito de cooperación técnica entre la Secretaría de Planeación,

Administración y Finanzas (SEPAF), a través del Instituto de Información Estadística y Geográfica del Estado de

Jalisco (IIEG), el Instituto Nacional de Estadística y Geografía (INEGI) y el Banco Mundial (BM). Más

específicamente, uno de los objetivos de la cooperación es apoyar el mejoramiento del Sistema de Información

Estratégica del Estado de Jalisco y sus Municipios (SIEEJ). Las Matrices de Indicadores para Resultados (MIR) se

constituyen un instrumento clave del sistema de información que permite vincular el Programa de Gobierno con

los programas presupuestales, a la vez que representan una demanda de información estadística y geográfica

de calidad para las diversas entidades de la administración pública.

Los Registros Administrativos (RRAA) representan una fuente de datos relevante para la construcción de los

indicadores de las MIR de programas presupuestales claves y del Plan Estatal de Desarrollo. Si bien existen

diversas fuentes de datos básicos como las Encuestas, los Censos y Registros Administrativos, son éstos últimos

la fuente más recurrida para las MIR y la que cuenta con menos guías y protocolos para su construcción. En el

marco de la cooperación técnica, se acordó evaluar precisamente la calidad de 26 Registros Administrativos

usando la Herramienta para la Evaluación de la Calidad de Registros Administrativos (HECRA).1 La HECRA permite

evaluar en detalle los aspectos de gestión, calidad de datos, y utilización de los RRAA. Este reporte presenta los

resultados de las evaluaciones que se realizaron a 26 RRAA a través de 11 talleres con los equipos técnicos de

las fuentes administrativas y usuarios primarios de instituciones del Estado de Jalisco.

El resultado promedio de los RRAA evaluados fue de 3.69 (en una escala de 0 a 5, donde el 5 es el puntaje

máximo), lo cual expresa un nivel de calidad de los RRAA como: “aceptable”. Los resultados de los registros

evaluados se estratificaron en 3 grupos, el primero de 10 registros con un grado de evaluación de “muy bueno”;

11 registros con grado “aceptable” y 5 fueron calificados con un grado ‘no aceptable”.

La interacción entre el equipo evaluador constituido por personal del IIEG, el INEGI y el BM, y los agentes clave

en la gestión de la información permitió obtener información sobre las condiciones institucionales e identificar

áreas de oportunidad para mejorar la gestión de los datos y aprovechar el potencial de los Registros

Administrativos. A partir del análisis de la problemática se integró un plan de mejora para cada RA. Es importante

destacar que para algunos RRAA no se lograron terminar sus evaluaciones en el taller, sino la institución finalizó

la auto-evaluación por su cuenta. Enviaron la información al equipo BM para su incorporación en el informe,

pero no siempre se completó totalmente el ejercicio de auto-evaluación. El siguiente paso para la revisión y

finalización del alcance de los planes debe realizarse en reuniones entre el IIEG y las dependencias.

1 La cifra total de RRAA evaluados puede diferir a lo presentado en las Ayudas de Memoria de la misiones celebradas del 6 al 10 de

junio y del 4 al 5 de julio del 2016, debido a que, tras una revisión exhaustiva, se añadieron o excluyeron algunos RRAA. Durante la primera misión se evaluaron 19 registros y no 18 como se registró en la Ayuda de Memoria, en la cual faltó reportar un RA del DIF. Asimismo, durante esa misión se excluyó un RA del Centro Estatal de Evaluación y Control de confianza, quien decidió no participar, y se reemplazó por otro registro del DIF. Por su parte, durante la segunda misión se evaluaron 7 registros en lugar de los 9 registros previstos, ya que Secretaría de Desarrollo Rural decidió no participar.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 3

Los principales problemas encontrados de acuerdo a su frecuencia de ocurrencia están vinculados a la

seguridad y gestión de datos así como a la ausencia de un marco de gestión de su calidad. La carencia de

metadatos pone en riesgo la confiabilidad de los datos. Las actividades de captura, procesamiento de datos,

documentación de los RRAA no está del todo estandarizada. La falta de confiabilidad, coherencia y oportunidad

pone en riesgo la calidad de la información de los Registros Administrativos con fines estadísticos.

Para superar estos problemas, el desarrollo de procesos institucionales de evaluación continua de los RRAA

usando herramientas como la HECRA, permitirá asegurar la calidad de la información estadística que alimenta

las MIR y las plataformas de monitoreo y evaluación del Plan Estatal de Desarrollo del Estado de Jalisco.

Específicamente, será importante la implementación y el monitoreo de los avances de los Planes de Mejora a

través de mecanismos de coordinación, como el Comité Estatal de Información Estadística y Geográfica (CEIEG).

La estrategia de fortalecimiento del SIEEJ se orienta al fortalecimiento del IIEG en sus roles de gestión de

recolección de datos, expresado en la capacidad de solicitar, acceder y recibir datos y microdatos de los diversos

productores a través de un protocolo bien establecido, así como en certificar las estadísticas de los productores

del SIEEJ como estadísticas oficiales y de calidad. Bajo esta lógica, la política de mejora de Registros

Administrativos implica asegurar la capacidad del IIEG para tener acceso y gestionar la integración de

microdatos provenientes de Registros Administrativos del SIEEJ, así como certificar su calidad, a través de la

aplicación de herramientas como la HECRA.

Agradecimientos

El equipo del Banco Mundial agradece el apoyo de Rogelio Campos Cornejo, Director General del Instituto de

Información Estadística y Geográfica, su equipo directivo y técnico. Asimismo, a Rolando Almaguer, Director de

Gestión de Proyectos en el Ámbito Regional del INEGI, a Odilón Cortés, Coordinador Estatal del INEGI y a Josefina

Calva, Subdirectora de Integración y Control del INEGI, por su contribución entorno de esta cooperación técnica.

Este documento fue integrado por Nathalie Castiaux y Julio Ortegón, con aportes de Alejandro Medina Giopp,

Jonna Lundwall y Kiyomi Cadena de la práctica global de pobreza y equidad del Banco Mundial. La revisión final

estuvo a cargo de Oscar Calvo-González, gerente del sector de pobreza y equidad de la región de América Latina

y el Caribe del Banco Mundial.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 4

Contenido

Siglas y abreviaturas ............................................................................................................................................ 5

1. Introducción ........................................................................................................................................................ 6

1.1 Objetivo de la cooperación técnica del Banco Mundial ................................................................................ 6

1.2 Relevancia de la información de los Registros administrativos en el marco de la GpR ............................... 7

2. Herramienta de Evaluación de la Calidad de los Registros Administrativos ..................................................... 11

3. Autoevaluación asistida de los registros administrativos en Jalisco ................................................................. 15

3.1 Aplicación de la HECRA ............................................................................................................................... 15

3.2 Registros administrativos evaluados ........................................................................................................... 17

3.3 Hallazgos ..................................................................................................................................................... 20

4. Conclusiones y recomendaciones ..................................................................................................................... 26

Anexos ................................................................................................................................................................... 30

Anexo 1. Agenda de talleres ............................................................................................................................. 30

Anexo 2. Listas de asistencia al taller ................................................................................................................ 32

Anexo 3. Material entregado durante el taller. Guías HECRA. ......................................................................... 39

Anexo 4. Planes de Mejora de la Calidad de los Registros Administrativos ..................................................... 40

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 5

Siglas y abreviaturas

BM Banco Mundial

CEA Comisión Estatal del Agua

CEIEG Comité Estatal de Información Estadística y Geográfica

CEPE Consejo Estatal de Promoción Económica

CONAPO Consejo Nacional de Población

CONEVAL Consejo Nacional de Evaluación de la Política de Desarrollo Social

CURP Clave Única de Registro de Población

DANE Departamento Administrativo Nacional de Estadística (Colombia)

DIF Desarrollo Integral de la Familia

EUROSTAT Oficina Europea de Estadística

FGE Fiscalía General del Estado

FOJAL Fondo Jalisco de Fomento Empresarial

GpR Gestión por Resultados

HCG Hospital Civil de Guadalajara

HECRA Herramienta para la Evaluación de la Calidad de Registros Administrativos

IIEG Instituto de Información Estadística y Geográfica del Estado de Jalisco

IJJ Instituto Jalisciense de la Juventud

IJM Instituto Jalisciense de las Mujeres

IMSS Instituto Mexicano del Seguro Social

ISSSTE Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado

INEGI Instituto Nacional de Estadística y Geografía

M&E Monitoreo y Evaluación

MIDE Monitoreo de Indicadores de Desarrollo Jalisco

MIR Matriz de Indicadores para Resultados

OSC Organizaciones de la Sociedad Civil

PbR-SED Presupuesto basado en Resultados – Sistema de Evaluación del Desempeño

PED Plan Estatal de Desarrollo

RA Registro Administrativo

RFC Registro Federal de Contribuyentes

RRAA Registros Administrativos

SED Sistema de Evaluación del Desempeño

SEDECO Secretaría de Desarrollo Económico

SEDIS Secretaría de Desarrollo e Integración Social

SEJ Secretaría de Educación Jalisco

SEMADET Secretaría de Medio Ambiente y Desarrollo Territorial

SEPAF Secretaría de Planeación, Administración y Finanzas

SIAPA Sistema Intermunicipal de los Servicios de Agua Potable y Alcantarillado

SIEEJ Sistema de Información Estratégica del Estado de Jalisco y sus Municipios

SIOP Secretaría de Infraestructura y Obra Pública

SSJ Secretaría de Salud del Estado de Jalisco

SNIEG Sistema Nacional de Información Estadística y Geográfica

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 6

1. INTRODUCCIÓN

1.1 Objetivo de la cooperación técnica del Banco Mundial

El monitoreo y evaluación del desempeño de programas públicos y la rendición de cuentas de los resultados

de la gestión pública basada en evidencias, requiere de información oportuna y confiable. En respuesta a la

demanda de información del sector público y de la ciudadanía para conocer los resultados obtenidos a partir de

los recursos públicos, el enfoque de Gestión por Resultado (GpR) se ha constituido en una práctica gerencial

recurrida a nivel nacional y estatal en México. Uno de los desafíos más importantes sigue siendo contar con

información oportuna y confiable para la generación de indicadores estratégicos y de gestión que sean de calidad

y que apoyen los procesos de medición y seguimiento de los programas y políticas públicas. Censos, Encuestas

y Registros Administrativos son fuentes de información para generar indicadores de las Matrices de Indicadores

para Resultados (MIR) de los programas presupuestales que se implementan para lograr los objetivos, a largo

plazo, de los Planes de Desarrollo y a mediano, y corto plazo de los Programas de Gobierno.

En el Estado de Jalisco, las Matrices de Indicadores para Resultados constituyen un instrumento clave para

vincular el Programa de Gobierno con los programas presupuestales, a la vez que permiten orientar la gestión

pública a resultados, por lo que representan una fuente de demanda de información estadística y geográfica

de calidad. El diagnóstico de oferta y demanda de información estadística estatal, realizado en octubre 2015,

arrojó que hay una urgencia de mejorar la oportunidad y la coherencia de las fuentes de información del Sistema

de Información Estratégica del Estado de Jalisco y sus Municipios (SIEEJ).2 Igualmente, en el diagnóstico se

identificó la necesidad de mejorar la calidad de los principales registros administrativos, fuente de información

de los indicadores de monitoreo de los programas en temáticas prioritarias en la Agenda de Gobierno como

Equidad de Oportunidad y Seguridad Ciudadana. Su georreferenciación fue señalada también como una ventana

de oportunidad.

Con el objetivo general de apoyar a la consolidación del enfoque de Gestión por Resultados del Estado de Jalisco

se firmó en diciembre 2014 un acuerdo tripartito de cooperación técnica entre la Secretaría de Planeación,

Administración y Finanzas (SEPAF), -que se hace operativo a través del Instituto de Información Estadística y

Geográfica del Estado de Jalisco (IIEG)-, el Instituto Nacional de Estadística y Geografía (INEGI) y el Banco Mundial

(BM). Más específicamente, uno de los objetivos de la cooperación es de apoyar al mejoramiento del Sistema

de Información Estratégica del Estado de Jalisco y sus Municipios (SIEEJ).

Una de las actividades acordada en el marco de la cooperación técnica es la evaluación de la calidad de los

Registros Administrativos, fuente de información de los indicadores de las Matrices de Indicadores para

Resultados de programas presupuestales clave, usando la Herramienta para la Evaluación de la Calidad de

Registros Administrativos (HECRA). Este reporte tiene el objetivo de presentar un análisis de las evaluaciones

realizadas a 26 RRAA de 18 instituciones, fuentes de registros administrativos.

2 Diagnóstico de Oferta y Demanda del Sistemas de Información Estratégica del Estado de Jalisco y sus Municipios. Banco Mundial, 2015.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 7

Este documento presenta primero una introducción con los objetivos de la cooperación técnica del Banco

Mundial, de este reporte, sobre la relevancia de los Registros Administrativos en el marco de la GpR para el

ámbito federal y el desafío que representa la gestión de la información de Registros Administrativos para el

Estado de Jalisco. El segundo apartado presenta las características y el proceso de aplicación de la Herramienta

para la Evaluación de la Calidad de Registros Administrativos. En la tercera parte se presenta la aplicación de la

HECRA en Jalisco, los resultados de las autoevaluaciones y los hallazgos principales. Finalmente, el cuarto

apartado presenta conclusiones y recomendaciones. Los indicadores de calidad y Planes de Mejora de cada RA

evaluado se encuentran en el anexo 4.3

1.2 Relevancia de la información de los registros administrativos en el marco de la GpR

Los Registros Administrativos son fuente básica para la producción estadística.4 Los registros de eventos o

sucesos relacionados con fenómenos demográficos, sociales y económicos elaborados exclusivamente con fines

estadísticos son muy costosos, por lo cual se opta en general por aprovechar los sistemas de registro continuo

que con propósitos administrativos implantan diversas instituciones y organismos públicos y privados.5

Los registros administrativos son una fuente de datos estadísticos de bajo costo, levantados en diversos

intervalos de tiempo y coberturas geográficas amplias. Estos registros son el resultado de actividades

implementadas por las instituciones públicas para cumplir con sus obligaciones, como por ejemplo la integración

3 La estructura de este reporte está basada en el informe desarrollado por Alejandro Medina Giopp y Jonna Lundwall del Banco Mundial, en el documento: “Evaluación de la calidad de los registros administrativos, con Planes de Mejora. Estado de Guanajuato, México.” Abril, 2015. 4 La producción estadística de modo convencional distingue dos ámbitos: las fuentes básicas o primarias de información estadística y las estadísticas derivadas o de síntesis. Las primeras se constituyen básicamente de registros administrativos, censos y encuestas (cada categoría presenta modalidades y tipos diversos); algunas clasificaciones incluyen aquí a las proyecciones de población como fuentes primarias. Las estadísticas derivadas o de síntesis son producto de la combinación de diversas fuentes básicas, tales como: cuentas nacionales, balanza de pagos, finanzas públicas, entre otras muchas. Ver por ejemplo, Medina Giopp, A. (2011). “Revisión de marcos de evaluación de calidad estadística.” Banco Mundial, Washington DC. 5 http://www.inegi.org.mx/est/contenidos/espanol/proyectos/metadatos/continuas/para_30.asp?s=est&c=7099

Recuadro 1. Definiciones de registro administrativo Un registro administrativo se define como todo registro resultante de necesidades fiscales, tributarias u otras, creado con la finalidad de viabilizar la administración de los programas de gobierno o para fiscalizar el cumplimento de obligaciones legales de la sociedad (Echegoyen, 2003).

El registro administrativo es conceptualizado como la serie de datos sobre un hecho, un evento, suceso o acción sujeto a regulación o control que recaba una dependencia u organismo del sector público como parte de su función (INEGI, 2010).

Fuente: Handbook on Data Quality Assessment Methods and Tools. European Commission. Echegoyen, G. (2003). Registros administrativos, calidad de los datos y credibilidad pública: presentación y debate de los temas sustantivos de la segunda reunión de la Conferencia Estadística de las Américas de la CEPAL. Santiago de Chile. INEGI (2010).

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 8

de padrones de beneficiarios de los programas sociales, el registro de los casos de dengue, y los registros de

delitos y detenciones. Estas actividades relacionadas con el levantamiento del RA están contempladas en el

presupuesto de la institución por lo que el mismo registro se puede aprovechar para diferentes fines. Además,

los RRAA se levantan con una periodicidad determinada (generalmente en el corto plazo) o de manera continua,

lo que favorece la oportunidad de las estadísticas. Su aprovechamiento permite estudios de comportamiento a

lo largo del tiempo. Las coberturas geográficas amplias de los RRAA ofrecen posibilidades de desagregación y

estudios de comportamiento a varias escalas lo que resulta de gran utilidad para la evaluación de programas o

políticas.

Los RRAA son fuente de datos para el desarrollo y mejora de otras fuentes de información. Los registros tienen

la ventaja de poder combinarse con otras fuentes de información para la integración de indicadores o productos

estadísticos específicos. No incluyen errores muestrales, como las encuestas y los censos, y representan un

marco de muestreo para el desarrollo de nuevas encuestas. Su uso como insumo en el desarrollo de encuestas

permite reducir el número de preguntas a los informantes y reducir el costo de los operativos.

Por lo general, los registros administrativos no se levantan bajo marcos normativos o protocolos estadísticos

lo que limita su aprovechamiento. En contraste con los censos y encuestas que responden a un marco

conceptual y metodológico explícito, los RRAA responden solamente a propósitos normativos sujetos a

regulación o control de una institución, no se colectan bajo un marco metodológico y normativo estadístico. Por

ejemplo, existen estándares internacionales para los levantamientos de la encuesta de hogares y los censos de

población y vivienda.6 También existen algunos estándares internacionales para los registros administrativos

denominados estadísticas vitales (nacimientos, defunciones, matrimonios), registros frecuentemente

consolidados por las oficinas nacionales de estadísticas, como el INEGI en México.7

Por lo general, los datos que provienen de RRAA carecen el uso de definiciones, codificaciones, o clasificaciones

estandarizadas lo que limita su aprovechamiento estadístico. Además, una de sus desventajas es la ausencia de

conceptos estándares para la integración y comparabilidad con otras fuentes estadísticas. Estas limitaciones

pocas veces son tomadas en cuenta cuando se construyen matrices de indicadores, por lo que se pueden

observar brechas entre la construcción, documentación y aprovechamiento de los indicadores, y la gestión de la

información de los registros administrativos usados con fines estadísticos.

Los Registros Administrativos a nivel federal en el marco de la GpR

A nivel federal, la implementación de la GpR tiene dos grandes vertientes. Por un lado el Presupuesto

basado en Resultados (PbR) y por el otro el Sistema de Evaluación del Desempeño (SED). A través del PbR

se reforma la estructura programática presupuestal para establecer un vínculo directo con la planeación

y gestión de programas, y mejora la armonización contable y la técnica presupuestal. En el SED se evalúan

los programas públicos federales, información que sirve para informar a la autoridad financiera sobre los

logros derivados de la inversión y gasto público, para rendir cuentas y como retroalimentación a las

6 Ver las siguientes ligas : http://unstats.un.org/unsd/demographic/sources/surveys/Handbook23June05.pdf y http://unstats.un.org/unsd/publication/seriesM/seriesm_67Rev2s.pdf 7 Véase como ejemplo el Cuestionario de Estadísticas Vitales de Naciones Unidas: http://unstats.un.org/unsd/demographic/standmeth/handbooks/Series_F35/Series_F35es_v2.pdf

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 9

entidades y dependencias de la Administración pública. El punto de contacto entre el SED y el PbR lo

constituyen las Matrices de Indicadores para Resultados (MIR); éstas son matrices derivadas del enfoque

de marco lógico y se asocian a programas presupuestales alineados a los ejes sectoriales y del Plan

Nacional de Desarrollo, de modo que los programas presupuestales cuentan con una marco de resultados,

con indicadores que permiten el seguimiento y la evaluación del desempeño de los programas. La fuente

de información básica de las MIR son los Registros Administrativos de las diversas entidades y

dependencias de la Administración pública.

El Instituto Nacional de Estadística y Geografía (INEGI), órgano rector del Sistema Nacional de Información

Estadística y Geográfica (SNIEG), establece marcos conceptuales para la captación estadística a través

de Registros Administrativos y su aprovechamiento estadístico. INEGI lidera los procesos orientados a la

integración de los Registros Administrativos de interés nacional. El documento denominado Proceso

estándar para el aprovechamiento de los Registros Administrativos8, describe un modelo para la

implantación de un proceso de generación de estadística mediante el aprovechamiento de registros

administrativos, recabados por organismos públicos. Además, en los últimos años ha avanzado en la

expansión de la HECRA como herramienta para la evaluación de su calidad en colaboración con el Banco

Mundial. INEGI integra y consolida importante estadística económica y sociodemográfica a través de

registros administrativos provenientes de diversas fuentes de información, como son por ejemplo las

estadísticas vitales (natalidad, mortalidad, nupcialidad); estadísticas de la construcción, seguridad pública

y justicia, balanza comercial de mercancías, finanzas públicas estatales y municipales, industria

maquiladora de exportación, por mencionar algunas.

El Consejo Nacional para la Evaluación de la Política de Desarrollo Social (CONEVAL) es la entidad

responsable de la evaluación de programas federales y de los avances de la política de desarrollo social.

De manera reciente, como parte de sus tareas de mejora de indicadores ha definido estrategias

orientadas a la mejora de los registros administrativos en programas federales. El CONEVAL coordina las

evaluaciones de los programas federales. Uno de los hallazgos recurrentes de dichas evaluaciones es la

falta de confiabilidad y oportunidades de los indicadores, metas y sus fuentes de información. En especial,

de los indicadores a nivel de componentes de las MIR que están asociados regularmente a los Registros

Administrativos propios de las entidades que dirigen los programas sociales. Los indicadores de las MIR a

nivel de fin o de propósito, provienen con frecuencia de la estadística producida por INEGI u otras agencias

federales, que cuentan con metodologías y estándares de calidad.

El CONEVAL, ante la evidencia de la necesidad de mejorar los Registros Administrativos, desarrolló una

herramienta preliminar para realizar evaluaciones rápidas de la calidad de los registros administrativos.

Esta iniciativa está orientada por una parte a mejorar la calidad de los indicadores de las MIR de los

programas sociales federales, y por otra parte a la difusión de herramientas de gestión estadística a las

dependencias de la Administración pública federal. El CONEVAL junto con otros órganos rectores del

modelo federal de la GpR -como la Secretaría de la Función Pública y la Secretaría de Hacienda- evalúan

8 La publicación se puede consultar en la siguiente liga: http://www.snieg.mx/contenidos/espanol/normatividad/doctos_genbasica/proc_estandar_registros.pdf

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 10

en conjunto indicadores para la programación presupuestal. La herramienta desarrollada por CONEVAL

es un cuestionario reducido, que tomó como referencia la Herramienta para la Evaluación de Registros

Administrativos (HECRA) desarrollada en el marco de la cooperación técnica del Banco Mundial y el

Gobierno del Estado de Yucatán con la asistencia técnica del INEGI.

Los Registros Administrativos en el Estado de Jalisco

Verificar la calidad de las fuentes de información de los indicadores de las MIR, es una tarea por

consolidar de la GpR en el Estado de Jalisco. El INEGI lidera la producción estadística en el campo

sociodemográfico y económico, aporta fuentes de información de calidad para elaboración de las MIR. Sin

embargo, buena parte de los indicadores de las MIR estatales están asociados a fuentes de información

distintas al INEGI o de otros productores quienes han desarrollado sistemas de información sólidos. Si bien

algunos indicadores de fin y de propósito usan fuentes de INEGI, CONEVAL o CONAPO entre otras agencias

federales con estadísticas oficiales de reconocida calidad, la mayoría de los indicadores están ligados a la

información proveniente de Registros Administrativos de las entidades que dirigen los programas. Existe

un desafío en cuanto a la mejora de la calidad de los datos porque todavía no se han estandarizado las

metodologías ni se han fomentado las mejoras prácticas para generar estadísticas a través de Registros

Administrativos.

El IIEG, como presidente suplente del Comité Estatal de Información Estadística y Geográfica (CEIEG), ha

tomado iniciativas para mejorar la calidad de los Registros Administrativos que alimentan las MIR de los

programas prioritarios. El IIEG tiene como atribución el liderazgo técnico del proceso de producción y

diseminación de información estadística y geográfica de calidad que demanda la planeación para el

desarrollo. Además, tiene el rol de fomentar los procesos de evaluación y validación de la información

estadística y geográfica del SIEEJ9, y en particular de los RRAA que alimentan los indicadores de las MIR.

En el marco de la cooperación técnica, se evaluaron 26 RRAA. Estos registros son fuentes de información

claves que permiten hacer operativos indicadores de las MIR de programas presupuestarios prioritarios del

PED en las dimensiones de Equidad de Oportunidades, Entorno y Vida Sustentable, Economía Próspera e

Incluyente, y Garantía de Derechos y Libertad. La selección de programas se realizó considerando los

siguientes criterios de priorización acordados con el IIEG:

Incorporados en estrategias de largo plazo;

Incluidos en la agenda del Gobernador;

Con un mayor monto de inversión; y,

Con una mayor cobertura en beneficiarios y usuarios de los programas.

Una vez seleccionados los programas, se identificaron indicadores estratégicos, cuyas fuentes eran RRAA.

También se dio prioridad a indicadores relacionados con padrones de beneficiarios por su relevancia en la

gestión de programas sociales. A partir de esta lista de indicadores prioritarios y mediante una serie de

9 Cabe aclarar que no hay mandato legal que vincule al Sistema de Información Estratégica del Estado de Jalisco y sus Municipios –el cual nace en la Ley Orgánica del IIEG– con el CEIEG

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 11

reuniones con las personas responsables de su seguimiento, se seleccionaron 19 registros administrativos

para ser evaluados. Además, por interés del IIEG y para dar seguimiento a los grupos de trabajo del CEIEG,

se seleccionaron otros siete RRAA a evaluar en las temáticas económico-financiero, y medio ambiental. En

total, se evaluaron 26 registros administrativos, ya que dos de las dependencias identificadas prefirieron

no participar pero se complementó con otros registros.

Para potenciar el aprovechamiento de los RRAA como fuente estadística de la GpR, es necesario evaluar su

calidad y establecer Planes de Mejora de los procesos asociados a los mismos. A partir de la aplicación de la

HECRA a los 26 RRAA seleccionados por las instituciones en coordinación con el IIEG, se integraron Planes

de Mejora, que se incluyen en este reporte. Su implementación, redituará en la mejora de los indicadores

de las MIR y, por tanto, favorecerá avanzar en el monitoreo de los programas presupuestales.

2. HERRAMIENTA PARA LA EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS

La Herramienta para la Evaluación de Registros Administrativos (HECRA) surge de la necesidad de contar con

una herramienta para la evaluación de los RRAA. En 2011, el INEGI y el Banco Mundial colaboraron para el

fortalecimiento del Sistema Estatal de Información Estadística de Yucatán, México. De este trabajo coordinado,

surge la HECRA, herramienta técnica que permite la evaluación de todos los elementos involucrados en el

proceso de integración de los Registros Administrativos. La HECRA considera las mejores prácticas

internacionales, tomando elementos de las herramientas de evaluación de la calidad de los RRAA desarrolladas

por el Buró de Censos de los Estados Unidos y de herramientas desarrolladas por EUROSTAT, como también de

oficinas de estadística de Holanda y de países nórdicos.

La HECRA permite evaluar los aspectos de gestión, calidad de datos, y el uso de sus indicadores derivados. La

evaluación considera cuatro dimensiones, con una serie de elementos (Figura 1).

Figura 1. Dimensiones y elementos evaluados con la HECRA

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 12

La calificación atribuida al Registro Administrativo al final del proceso de evaluación se basa en una escala del 0

al 5. El valor mínimo (0) significa que el Registro Administrativo está en las peores condiciones y no permite su

aprovechamiento estadístico. El valor final resulta de la suma de los valores obtenidos en cada dimensión y

sección de un cuestionario de 86 preguntas; cada pregunta presenta alternativas de respuestas que describen

las diversas situaciones que pueden presentarse en el proceso de generación del Registro Administrativo. La

HECRA tiene un panel en donde se indica el resultado de las cuatro dimensiones y el resultado final (Figura 2).

Figura 2. Panel de evaluación de calidad global de la HECRA

Evaluación de la calidad de los Registros Administrativos:

Usos previstos: Programa: Id. Programa:

Dimensión Valor Número de

preguntas sin información*

Número de preguntas con

alertas ** Resultado

global: 4.13 Muy

bueno

Fuente de datos 3.20 0 1

Metadatos 4.82 0 1 Índice de la Calidad Global: 0.83047

Datos 4.98 0 0

Producto estadístico final 3.51 0 0

* Para la calificación final, el RRAA será evaluado como "no aceptable" en los casos que se responda a alguna pregunta con "no sabe..." o "se desconoce…" (calificación de “0”).

Referencia:

** Para la calificación final, el RRAA será evaluado como "no aceptable" en los casos que se obtengan más de 3 respuestas de calificado con “1”).

0 No aceptable 1 No aceptable 2 No aceptable 3 Aceptable 4 Muy bueno 5 Excelente

Como se puede apreciar en la Figura 2, la calificación global de los registros evaluados se presenta según la

siguiente escala:

0 a 2.9 se considera como “No aceptable”

3 a 3.9 como “Aceptable”

4 a 4.9 como “Muy Bueno”

5 como Excelente

Además de la escala, existen condiciones que podrían determinan también su calificación, relacionadas con la

incidencia de preguntas calificadas con valores muy bajos, y con la calidad del producto estadístico final:

1. La existencia de respuestas con calificaciones bajas – de 0 (sin información) y de 1 (alerta). Si la

calificación global es de 3 o más, indica que el registro es de una calidad aceptable, pero por existencia

de un aspecto analizado con valor 0 (ya que se considera grave que en la gestión del registro se carezca

de información sobre un aspecto) y/o tres incidencias de valores de 1, hará que la calificación final sea

“No aceptable”.

2. Baja evaluación en la dimensión del producto estadístico final. Por la importancia que tiene esta

dimensión, si una calificación de alguno de los seis elementos evaluados que lo constituyen está por

debajo de 2.5, el puntaje final se verá afectado, lo que disminuye el valor del indicador de calidad global.

En Jalisco no se dio ningún caso de una evaluación tan baja en la dimensión del producto estadístico

final.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 13

Para las tres primeras dimensiones analizadas se genera un gráfico que muestra la situación del registro en cada

uno de los atributos, frente a la calificación máxima (Figuras 3, 4, 5).

012345

I.1. Relevancia

I.2. Seguridad de la Información ylimitaciones en el uso de la información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Figura 3. Calidad asociada a la Fuente AdministrativaRepresentación visual de los resultados de la evaluación por atributo

012345

II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Figura 4. Calidad asociada a los MetadatosRepresentación visual de los resultados de la evaluación por atributo

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros (informáticos) delos archivos de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos y clasificadoresestándar (nacional o internacional)

III.9. Actualidad de los datos

III.10 Registros múltiples

III.11. Otros controles

Figura 5. Calidad asociada a los DatosRepresentación visual de los resultados de la evaluación por atributo

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 14

La HECRA aporta el diagnóstico requerido para elaborar un Plan de Mejora de cada Registro Administrativo

evaluado. Los resultados permiten a las Fuentes Administrativas y a los Usuarios Primarios identificar los

principales problemas y cuellos de botella que limitan la calidad del RA. Con base a este análisis se elabora un

Plan de Mejora con acciones a corto y mediano plazo validado por las instituciones y personas involucradas. Los

Planes de Mejora describen el contexto y presentan la visualización gráfica de los resultados, para sistematizar

en una tabla los problemas, sus causas, y las acciones correctivas (la Figura 6 presenta el alcance de la HECRA).

Figura 6. El alcance de la HECRA, contexto Jalisco

La HECRA es una herramienta de autodiagnóstico, objetiva, oportuna y de bajo costo. A pesar de ser una

herramienta de autoevaluación por parte de las Fuentes Administrativas y de los Usuarios Primarios, las

preguntas tienen, en su mayoría, un alto grado de objetividad. Los involucrados en la generación del Registro

Administrativo cuentan así con una herramienta que les permite evaluar el proceso en su totalidad e identificar

áreas de oportunidad para la implementación de acciones de mejora. El costo de esta evaluación es más

reducido que el costo de evaluaciones externas u auditorías de información.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 15

3. AUTOEVALUACIÓN ASISTIDA DE LOS REGISTROS ADMINISTRATIVOS EN JALISCO 3.1 Aplicación de la HECRA

La aplicación de la HECRA requirió de la integración de un equipo para facilitar la evaluación conformado por

personal técnico del IIEG, INEGI y el BM. Con el objetivo de formar personal en el uso de HECRA e integrar un

equipo facilitador, se realizó un taller previo de dos días (30 y 31 de mayo de 2016, en las instalaciones del IIEG).

En este taller se capacitó a un total de 25 personas, miembros del personal de IIEG y de la Coordinación Estatal

del INEGI responsables de procesos estadísticos en los temas socio demográficos, económico-financieros, de

seguridad ciudadana, y de medio ambiente. El INEGI, en proceso de capacitación de su personal en HECRA,

aprovechó la colaboración para formar tres técnicos de la Coordinación Estatal de Jalisco.

Para la aplicación de la HECRA se organizaron talleres durante los cuales se evaluaron los registros

administrativos seleccionados por las dependencias. En cada taller participaron el equipo facilitador (IIEG,

INEGI y BM) y los técnicos clave en la gestión de la información de cada registro a evaluar. Este equipo por

registro evaluado incluyó a una persona de la institución responsable del RA (es decir la Fuente

Administrativa),10 y al Usuario Primario. El Usuario Primario es quien explota el registro con fines estadísticos,

10 Fuente de datos administrativa o Fuente Administrativa se refiere a la organización responsable del RA, los procesos y entorno institucional que involucran al mismo. Dependencia u organismo público, privado o mixto responsable del Registro Administrativo y sus oficinas donde se llevan a cabo los procesos de captación y mantenimiento de los datos del registro. Ver Banco Mundial, 2011. Guía de auto-diagnóstico de la Calidad de los Registros Administrativos a ser utilizados con fines estadísticos, Estado de Yucatán, México.

Recuadro 2. Aplicación de la HECRA a nivel nacional e internacional

México (Banco Mundial e INEGI). Evaluación de la calidad de los registros administrativos, con Planes de Mejora

en el Estado de Guanajuato, abril 2015. La HECRA se aplicó a 25 RRAA asociados a 20 indicadores de las Matrices

de Indicadores para Resultados del Sistema de Evaluación de Desempeño del Estado de Guanajuato. Las mayores

recomendaciones fueron asociadas a la seguridad, documentación y gestión de los datos.

Chile (Banco Mundial). Análisis de la calidad de los datos disponibles en la Ficha de Protección Social (FPS) por

parte de la Subsecretaría de Evaluación Social del Ministerio de Desarrollo Social en el 2015. Las principales

recomendaciones se orientaron en la mejora de documentación, protocolos de entrega de microdatos y la

evaluación de la satisfacción de usuarios, entre otros.

Nicaragua (Banco Mundial). Evaluación de la calidad de cinco registros administrativos, fuente de información de

indicadores claves del Ministerio de Transporte e Infraestructura (MTI). Las principales mejoras se identificaron en

seguridad de datos y documentación de procesos y de datos estadísticos.

Bolivia (Banco Mundial). Autoevaluación de seis registros administrativos del Ministerio de Educación, en 2016.

Una de las principales conclusiones de la evaluación fue que, para estimar la cobertura real de la educación, es

necesario complementar con otras fuentes de información.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 16

es la institución (representada por una persona) que genera indicadores o cuadros estadísticos sobre un

fenómeno en particular, que resultan de la información del RA. Además, en algunos talleres se contaba con la

presencia de responsables de la Tecnología de la Información y/o administradores de los sistemas informáticos

de los Registros Administrativos y/o estadísticos. Los responsables de los subsistemas de información del CEIEG

- directivos de las unidades de información del IIEG- llevaron a cabo el proceso de convocatoria y preparación

de insumos con las Fuentes Administrativas.

Los talleres de aplicación de la HECRA se llevaron a cabo con el objetivo de que las Fuentes Administrativas y

usuarios primarios realizaran una autoevaluación asistida de sus registros administrativos, a la vez generar

capacidades en el equipo local del IIEG para aplicar la herramienta. El enfoque de autoevaluación asistida

implica que son los responsables de los RRAA quienes aplican la herramienta y evalúan la calidad de la

información de sus registros administrativos, con la asistencia del equipo facilitador. En el taller se explicó y

capacitó a los responsables de los registros para que puedan ser punto focal para la expansión de las

evaluaciones dentro de sus instituciones; a la par, se reforzaron las capacidades del equipo facilitador local.

Se logró la autoevaluación asistida a 26 registros administrativos por medio de 11 talleres. Del 6 al 10 de junio

2016, se evaluaron 19 registros administrativos y se capacitó a los responsables de Fuentes Administrativas y

Usuarios Primarios de 11 instituciones. Se evaluaron los RRAA de las temáticas de equidad de oportunidades y

seguridad ciudadana. En una segunda ronda de talleres, del 4 al 5 de julio 2016, se evaluaron siete RRAA

adicionales, y se capacitó a responsables de Fuentes Administrativas y Usuarios Primarios de siete instituciones

del ámbito económico-financiero y de medio ambiente. Al empezar el taller, se entregó la HECRA en su formato

Excel y los documentos relativos a su aplicación. La agenda del taller, listas de asistencia y material entregado se

pueden consultar en Anexo 1, 2 y 3.

A partir de los resultados de la autoevaluación, los equipos conformados y los Usuarios Primarios elaboraron

Planes de Mejora de los RRAA evaluados. Antes de comenzar la autoevaluación, en cada equipo se analizó el

ciclo de vida del registro administrativo. Este ejercicio permitió identificar el rol de los participantes al taller en

su proceso de aprovechamiento, así como acordar el flujo de los datos para la generación de los indicadores

clave y la identificación de algunos Usuarios Finales del producto estadístico. Después, el grupo aplicó la HECRA.

La interacción entre el equipo evaluador y los agentes clave en la gestión de la información permitió obtener

información sobre las condiciones institucionales, e identificar áreas de oportunidad para mejorar la gestión de

los datos y aprovechar el potencial de los RRAA. A partir de los resultados de la autoevaluación, cada equipo

de trabajo integró en una hoja Excel las problemáticas detectadas, sus causas y acciones de mejora. Los Planes

de Mejora completados por el equipo BM se pueden consultar en el anexo 4.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 17

3.2 Registros administrativos evaluados

Del total de 26 registros administrativos evaluados, cuatro eran en la temática de seguridad ciudadana, 15 en

equidad de oportunidad y siete de otras temáticas de interés para el CEIEG (económico-financiero y medio

ambiente). La mayoría de los RRAA se evaluaron considerando una sola Fuente Administrativa y un solo Usuario

Primario. Los registros seleccionados por la Secretaría de Salud, nacimientos y defunciones, insumos en el cálculo

del indicador de Razón de Muerte Materna, se evaluaron por parte de tres Fuentes Administrativas diferentes:

el Instituto Mexicano del Seguro Social (IMSS), el Instituto de Seguridad y Servicios Sociales de los Trabajadores

del Estado (ISSSTE), y el Hospital Civil de Guadalajara (HCG). Igualmente, el DIF (Desarrollo Integral de la Familia)

evaluó dos RRAA producidos por dos fuentes diferentes, para el cálculo del porcentaje de personas con carencia

alimentaria que son beneficiadas con apoyos alimentarios en el estado de Jalisco. Las tablas 1 a 3 integran las

listas de los RRAA evaluados por temáticas, su Fuente Administrativa, Usuario Primario y Producto Estadístico.

Tabla 1. Seguridad Ciudadana Registro Administrativo Fuente Administrativa Usuario Primario Producto Estadístico

1. Detenciones Fiscalía General del Estado (FGE) – Comisaría de Investigación

Fiscalía General del Estado(FGE) - Comisaría de Investigación

Indicador: Total de detenidos

2. Aseguramientos FGE- Comisaria Jefe De La Coordinación General De Planeación Operativa

FGE- Comisaría Jefe De La Coordinación General De Planeación Operativa

Reportes mensuales: Corte del 01 al 31 de mayo 2016 Indicadores: Total de aseguramientos

3. Incidencias Delictivas FGE- Policía Criminal y Estadística

FGE- Policía Criminal y Estadística

Indicador de Incidencia Delictiva

4. Registro de usuarios asistidos

Procuraduría Social del Estado de Jalisco - Atención Ciudadana

Procuraduría Social del Estado de Jalisco - Coordinación de Planeación e Información

Cuadro Estadístico de la Subprocuraduría de Servicios Jurídicos Asistenciales. Indicador: Número de usuarios con asesoría legal

Tabla 2. Equidad de Oportunidades Registro Administrativo

Fuente Administrativa Usuario Primario Producto Estadístico

1. Padrón de Organizaciones Civiles del Estado de Jalisco

Secretaría de Desarrollo e Integración Social (SEDIS) – Dirección de Participación y Vinculación Social

Secretaría de Desarrollo e Integración Social (SEDIS) – Dirección de Participación y Vinculación Social

Reporte interno a Director Indicadores de componentes de la MIR

2. Padrón de Adultos Mayores (Suspensión de adultos mayores)

SEDIS - Dirección General de Programas Sociales – Dirección de Atención a Programas para el Adulto Mayor

SEDIS – Dirección General de Política Social

Indicador: Beneficiarios del Programa a Adultos Mayores (suspensión al programa).

3. Padrón de Jefas de Familia

SEDIS - Dirección General de Programas Sociales – Programa de apoyo a adultos mayores

SEDIS – Dirección General de Política Social

Infografía de Indicadores con perspectiva de género

4. Padrón del Programa de Becas Indígenas

SEDIS – Dirección General de Programas Sociales

SEDIS – Dirección General de Política Social

Indicador: Ampliación de oportunidades para niños, niñas y jóvenes

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 18

Registro Administrativo Fuente Administrativa Usuario Primario Producto Estadístico

5. Padrón del Programa Piso Firme

SEDIS – Dirección de Desarrollo y Fortalecimiento Social

SEDIS – Dirección de Desarrollo y Fortalecimiento Social

Indicador: Porcentaje de población objetivo efectivamente beneficiada con pisos firme

6. Padrón de Beneficiarios del Programa de Ayuda Alimentaria directa (programas alimentarios)

Desarrollo Integral de la Familia (DIF)- Orientación Alimentaria

DIF- Sub Dirección General de Operación – Seguimiento y Sistematización

Indicador: Porcentaje de personas con carencia de acceso a la alimentación beneficiados con apoyos alimentarios en el estado de Jalisco

7. Padrón de Beneficiarios del Programas de Comedores Comunitarios (programas alimentarios)

DIF – Dirección de Seguridad Alimentaria

8. Padrón de Adultos Mayores del DIF

DIF – Dirección de Desarrollo Integral del Adulto Mayor

DIF- Sub Dirección General de Operación- Seguimiento y Sistematización

Indicador: Número de Personas de 60 y más años que son Atendidas en Comedores de asistencia para adultos

9. Padrón de beneficiarios de los Centros de Atención Especializada en Terapia Familiar (CAETF)

DIF- Procuraduría de protección de niños, niñas y adolescentes del Estado de Jalisco- Departamento de Psicología

DIF- Procuraduría de protección de niños, niñas y adolescentes del Estado de Jalisco

Indicador: Porcentaje de personas atendidas a través de estrategias de capacitación, orientación e intervención en temas de psicología a través del Sistema DIF Estatal y los Sistemas DIF municipales

10. Nacimientos

Instituto Mexicano del Seguro Social (IMSS) - Jefatura de Servicios de Prestaciones Médicas / Coordinación de Información y Análisis Estratégico Secretaría de Salud del

Estado de Jalisco – Departamento de Estadística

Indicador: Razón de mortalidad materna (MIDE)

Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado (ISSSTE) – Delegación Estatal Jalisco

Hospital Civil de Guadalajara (HCG)

11. Defunciones

IMSS -Coordinación de Información y Análisis Estratégico Secretaría de Salud del

Estado de Jalisco – Departamento de Estadística

Indicador: Razón de mortalidad materna (MIDE)

ISSSTE – Delegación Estatal Jalisco

Hospital Civil de Guadalajara (HCG)

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 19

12. Casos de Dengue en el Estado

Secretaría de Salud del Estado de Jalisco – Unidad Estatal Epidemiológica de Dengue

Secretaría de Salud del Estado de Jalisco – Depto. de Estadística

Indicador : Casos de dengue y Boletín Epidemiológico semanal

13. Registro de la matrícula (formato 911) Escuelas de educación básica

Secretaría de Educación del Estado de Jalisco – Dirección de Estadística y Sistemas de Información

Secretaría de Educación del Estado de Jalisco – Depto. de Información Estadística Educativa

Indicadores de Matrícula escolar

14. Padrón de beneficiarios del Programa de Bienestar Juvenil

Instituto Jalisciense de la Juventud - Coordinación de Bienestar Juvenil

Instituto Jalisciense de la Juventud - Gerencia de Desarrollo Estratégico

Reportes Indicador: Jóvenes beneficiados por programas del Gobierno del Estado

15. Registro de atenciones y servicios del Programa de Prevención y atención de violencia contra la Mujer

Instituto Jalisciense de las Mujeres - Coordinación de servicios

Instituto Jalisciense de las Mujeres- Coordinación de Planeación, Evaluación y Seguimiento

No se evaluó

Tabla 3. Otras Temáticas Registro Administrativo Fuente Administrativa Usuario Primario Producto Estadístico

1. Cédula Básica – Plantas de tratamiento de agua residual

Comisión Estatal del Agua (CEA) - Dirección General

Comisión Estatal del Agua (CEA) - Dirección de Operación de Plantas de Tratamiento

Indicadores

2. Registro de la Red Estatal Carretera

Secretaría de Infraestructura y Obra Pública (SIOP) - Infraestructura Carretera

SIOP - Infraestructura Carretera

Indicadores

3. Registro de contaminantes del aire

Secretaría de Medio Ambiente y Desarrollo Territorial (SEMADET) - Dirección de Calidad del Aire

SEMADET - Dirección de Información y Sistemas

Indicador de concentración de contaminantes

4. Padrón de usuarios

Sistema Intermunicipal para los Servicios de Agua Potable y Alcantarillado (SIAPA)- Servicio al cliente y cobranza

SIAPA - Control de Servicio Medido

Cuentas por municipio

5. Padrón de beneficiarios “Bienempleo” (Registro de apoyos a micro y pequeñas empresas)

Consejo Estatal de Promoción Económica (CEPE) - Sistemas

CEPE - Coordinación de Análisis Económico y Competitividad

Reporte mensual

6. Padrón de beneficiarios (proyectos de Cadenas productivas)

Secretaría de Desarrollo Económico (SEDECO) - Dirección General de Planeación

SEDECO - Dirección General de Desarrollo y Sectores Productivos

Proyectos aprobados para el impulso de cadenas productivas y clúster

7. Registro de solicitudes de Crédito

Fondo Jalisco de Fomento Empresarial (FOJAL) - Financiamiento PYME

FOJAL - Cumplimiento regulatorio

Reporte de número de crédito

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 20

3.3 Hallazgos

El resultado promedio de los RRAA evaluados es de 3.69, lo que representa un valor aceptable. La medición

de los indicadores arrojó que de las 26 evaluaciones, diez obtuvieron un valor superior a 4 y menor a 5 (muy

bueno); once un valor superior a 3 y menor que 4 (aceptable); 5 valores menores a 2.9 (no aceptable). La tabla

5 presenta la clasificación de los resultados de mayor a menor calificación.

Cada una de las instituciones (IMSS, ISSSTE, HCG), fuente de los RRAA de nacimientos y defunciones, realizó la

evaluación considerando un solo uso estadístico, en este caso el indicador de Razón de Muerte Materna. Por lo

que el resultado de la evaluación arrojó un solo valor del indicador de calidad global. Igualmente, la evaluación

del DIF (Desarrollo Integral de la Familia) de dos RRAA para el cálculo del porcentaje de personas con carencia

alimentaria que son beneficiadas con apoyos alimentarios en el Estado de Jalisco, arrojó un solo valor del

indicador de calidad global.

Es importante notar que se consideró en este análisis la calificación cualitativa (referencia) del indicador de

calidad global, sin considerar el número de alertas (calificación igual a 1) o respuestas sin datos (calificación igual

a 0). Como se mencionó anteriormente, una ocurrencia de valor de respuesta igual a 0, o tres ocurrencias de

valores de respuesta iguales a 1, califica automáticamente al Registro Administrativo de Inaceptable. Aplicando

este criterio, solamente los registros de Nacimiento, Defunciones y Padrón de Usuarios de Agua Potable,

calificarían como Muy Bueno, todos los demás serían Inaceptable. Se decidió no dar énfasis en esta calificación

muy estricta de la HECRA, ya que de lo contrario la mayoría de los RRAA serían inaceptables. En los Planes de

Mejora de cada Registro Administrativo se atienden las alertas detectadas en la evaluación.

Los RRAA calificados como “muy bueno”, corresponden al sector salud y a las fuentes de información de los

indicadores de los programas de apoyos alimentarios del DIF. Los RRAA con valores superiores a 4 son los tres

RRAA de la Secretaría de Salud, un registro asociado a programas de ayuda alimentaria del DIF y el RRAA asociado

a los apoyos a jóvenes (Bienestar juvenil del IJJ). Fueron igualmente calificados como “muy bueno” los registros

asociados a créditos del Fondo Jalisco (FOJAL), concentración de contaminantes (SEMADET), y operación de las

plantas de tratamiento de agua (CEA).

Los tres Registros Administrativos seleccionados por la Secretaría de Salud obtuvieron también la calificación

de “muy bueno”, es decir valores mayores a 4. Si bien los RRAA obtuvieron calificaciones altas, la HECRA

permitió identificar para estos registros algunas oportunidades de mejora en comunicación entre la Fuente

Administrativa y el Departamento de Estadística de Salud (términos de entrega, transferencia segura de datos,

acuerdos de confidencialidad), documentación de metadatos y de gestión de datos (valores en blanco, errores

de codificación y clasificación). Resulta interesante la comparación de registros administrativos que provienen

de diversas fuentes para la construcción de un mismo indicador como es el caso de RRAA de estadísticas vitales

(nacimientos y defunciones). El análisis de estos casos ayuda a esclarecer si los problemas asociados a los

registros son comunes entre las fuentes o particulares para alguna institución.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 21

Tabla 4. Ranking de resultados del HECRA a los RRAA evaluados

Registro Administrativo Resultado

Muy Bueno (4 a 4.99)

Nacimientos y Defunciones - Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado (ISSSTE)*

4.79

Registro de solicitudes de Crédito 4.78

Nacimientos y Defunciones - Instituto Mexicano del Seguro Social (IMSS)* 4.62

Padrón de usuarios del Sistema de Agua Potable* 4.55

Nacimientos y Defunciones. Hospital Civil de Guadalajara (HCG)* 4.51

Registro de contaminantes del aire 4.43

Padrón de beneficiarios del Programa de Bienestar Juvenil 4.30

Cédula Básica – Plantas de tratamiento de agua residual 4.08

Casos de Dengue en el Estado 4.07

Ayuda Alimentaria directa y Padrón de beneficiarios de Comedores 4.02

Aceptable (3 a 3.9)

Padrón de Jefas de Familia 3.99

Registro de la matrícula (formato 911). Escuelas de educación básica. 3.96

Padrón de beneficiarios “Bienempleo” 3.76

Padrón de Organizaciones Civiles del Estado de Jalisco 3.69

Registro de la Red Estatal Carretera 3.60

Padrón de Adultos Mayores 3.56

Padrón de beneficiarios de los proyectos de Cadenas productivas 3.53

Aseguramientos 3.51

Padrón del Programa de Becas Indígenas 3.18

Incidencias Delictivas 3.16

Padrón del Programa Piso Firme 3.02

No Aceptable (3<)

Padrón de Adultos Mayores del DIF 2.95

Padrón de beneficiarios de apoyo psicológico del DIF 2.92

Registro de usuarios asistidos de la Procuraduría Social del Estado 2.77

Detenciones 2.76

Registro de atenciones y servicios del Programa de Prevención y atención de violencia contra la Mujer 1.22

* Registros Administrativos que además de tener un valor del indicador de calidad global calificado como Muy Bueno, no acumularon en su evaluación preguntas sin información (valor = 0) o preguntas con alertas (valor = 1).

Con la HECRA se ha detectado que un problema generalizado en el Sector Salud es el manejo y captura de datos.

Las tres instituciones evaluadas, IMSS, ISSSTE y HCG, presentan errores de clasificación, registros sin datos y

registros duplicados. El reto principal para estos Registros Administrativos es el desarrollo de control de calidad

y capacitación de capturistas en los numerosos puntos de colecta, ya que la consolidación del archivo del

Registro Administrativo y el aprovechamiento estadístico se realiza en plataformas informáticas sólidas, bajo

lineamientos federales. Otro problema generalizado en las tres fuentes de registros de estadísticas vitales son

los términos de entrega de información. El IMSS carece de acceso a plataformas seguras para el intercambio de

información, por lo que la entrega de registros de nacimientos y defunciones se hace por medios no seguros que

no garantizan la confidencialidad (por medio de correo electrónico). Por otro lado el Hospital Civil de Guadalajara

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 22

presenta demoras esporádicas en la entrega de datos y en el caso del ISSSTE no existen mecanismos de consulta

entre Fuente Administrativa y Usuario Primario.

Para la estrategia alimentaria (DIF) se evaluaron dos Registros Administrativos para un mismo producto

estadístico. Existen diferencias entre ambos registros, principalmente debido a que el programa federal

(comedores comunitarios) cuenta con mayor información documentada, en tanto el registro estatal presenta

una muy buena gestión de la información, pero con niveles de documentación bajos. Los registros obtuvieron

un resultado igual a 4.02 (Muy bueno).

Los RRAA con valores aceptables alimentan indicadores de programas sociales. Los RRAA con valores mayores

a 3 y menores a 4, son en su mayoría los RRAA que alimentan los indicadores de los programas sociales. Cinco

registros son de la Secretaría de Integración y Desarrollo Social (SEDIS), uno es el registro de matrícula en

educación básica y dos registros son de la Fiscalía General del Estado. También en esta categoría se encuentran

los registros de los apoyos para el fortalecimiento de la economía como el Padrón de Micro y Medianas empresas

del Consejo Estatal de Promoción Económica (CEPE) y el Padrón de Beneficiarios ‘Bienempleo’ de la Secretaría

de Desarrollo Económico (SEDECO). El RRAA de la Red Estatal de Carreteras de la Secretaría de Infraestructura y

Obra Pública aunque no se encuentra todavía integrado en una base de datos obtuvo una calificación aceptable.

El principal reto de los padrones de beneficiarios manejados por la SEDIS es asegurar la confidencialidad,

integridad y disponibilidad de la información. Debido a la sensibilidad de los datos contenidos en padrones de

beneficiarios resulta crítico contar con procedimientos documentados para preservar la confidencialidad y evitar

el mal uso de la información. En el ejercicio se identificó que los padrones de Organizaciones Civiles, Jefas de

Familia, Piso Firme y Becas Indígenas no cuentan con procesos documentados que definan los mecanismos para

garantizar la confidencialidad del RA. Asimismo, se identificó que aunque existen procedimientos en la práctica

para la captura, control de cambios y consistencias de los registros, estos no están documentados lo cual puede

provocar errores de clasificación o contenido de variables. Destaca el caso de los padrones de Adultos Mayores

y Piso Firme, donde la falta de validación de datos ha generado registros duplicados. Por último, se identificó la

necesidad de reforzar la protección física y el respaldo de la información a través de políticas de respaldo y planes

de contingencia. Por ejemplo, se detectó que el padrón de Organizaciones Civiles se encuentra únicamente en

un solo equipo informático. En paralelo a estas medidas, es importante crear mecanismos de anonimización de

datos que permitan la explotación e intercambio seguro de información.

Los RRAA de la SEDIS están en proceso de consolidación. La institución carece de una política de seguridad de

datos al igual que la Fiscalía General del Estado. El trabajo de integración de un padrón único de beneficiarios

se realiza por parte de las áreas responsables de la captura de los padrones de beneficiarios y la Coordinación

de Informática. Este trabajo permitirá asegurar la integridad, confidencialidad y disponibilidad de los datos. Los

registros de Piso Firme y de Becas Indígenas obtuvieron los valores más bajos en la dimensión que evalúa a la

Fuente Administrativa. El fortalecimiento del marco normativo del registro de Becas Indígenas permitirá

asegurar la permanencia del Registro y la atribución de presupuesto para el fortalecimiento del proceso. Ante

este escenario es muy importante que se considere la implementación de controles para la captura, gestión y

documentación de los registros administrativos en tanto se desarrollan los aplicativos informáticos para estos

programas. Es importante mencionar que se están utilizando adecuadas variables de identificación e integración

de archivos de datos como la Clave Única de Registro de Población (CURP) del beneficiario y el Registro Federal

de Contribuyentes con homoclave (RFC). Además, los padrones incluyen claves de entidad federativa, municipio

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 23

y localidad, y todas las variables de identificación de domicilio, tales como: nombre de la calle de residencia o

domicilio del beneficiario, número exterior de la calle, número interior de la calle; entre calles, colonia,

referencia, código postal, entre otros.

Se recomienda publicitar las ventajas del uso e integración de padrones de beneficiarios. Es importante que

se hagan explícitos los beneficios del sistema de padrones, tales como rediseño, evaluación y análisis de

programas; mejoras concretas de la operación de programas, tales como la identificación de duplicidad de

beneficios entre programas; generación de información oportuna y confiable; elaboración de mapas temáticos

sobre distribución de beneficiarios; y, estimación de errores de inclusión y exclusión. De las evaluaciones de los

Registros Administrativos relacionadas al producto estadístico de los padrones y consultas básicas a usuarios no

son explícitos todos los beneficios derivados de su utilización.

En cuanto a los dos registros de la Fiscalía General del Estado, Incidencia Delictiva y Aseguramientos, la

evaluación resaltó la necesidad de desarrollar políticas de seguridad de datos y procesos documentados de

gestión de calidad de los datos. En particular se identificó la importancia de fortalecer el marco legal del RA de

incidencia delictiva para asegurar su continuidad.

Recuadro 3. Etapas mínimas de conformación de un Padrón de Beneficiarios

Los costos administrativos de no actualizar, mantener o verificar un padrón pueden ser elevados. La administración de los Padrones de Beneficiarios en programas sociales se constituye de seis etapas para conformar una base de datos confiable y actualizada:

Etapa 1: Conformación de bases de datos revisadas y validadas. Se determina la estructura de variables que integrarán las bases de datos del padrón, la forma como se colectaran datos, el proceso de revisión y corrección de inconsistencias. Además, se decidirá la plataforma informática en el que se llevará su administración.

Etapa 2: Depuración. Se realizan cambios en el listado o padrón por altas y bajas de beneficiarios, conforme a las reglas, manuales o lineamientos de operación.

Etapa 3: Cierres de información. Es necesario hacer cierres mensuales, bimestrales o trimestrales para conocer la situación respecto a la cobertura, entrega de apoyos, altas y bajas en el periodo y mantenimiento del padrón en un tiempo determinado.

Etapa 4: Mantenimiento y actualización. Se refiere a los cambios o modificaciones en los datos de las personas que integran el listado en el padrón (domicilios, cambios en su situación socioeconómica, nombre de empresa, etc.).

Etapa 5: Supervisión interna. Los objetivos principales de la supervisión interna son: identificación de los errores de focalización (inclusión y exclusión); inconsistencias de información y verificación de datos. Se realiza de dos maneras: en campo o de gabinete. En el primer caso, se selecciona una muestra aleatoria tomada de la base de datos de supuestas inconsistencias que se detectaron. Posteriormente, se realizan visitas domiciliarias o a lugares de entrega de beneficios o apoyos para constatar cómo, a quién y de qué manera se entregaron los beneficios. En la supervisión de gabinete se revisa la base de datos del padrón y se hacen consultas para verificar que no existan inconsistencias en las variables socioeconómicas que integran el padrón. Por ejemplo, se verifican ingresos, beneficiarios, domicilios, etc. En muchos casos se pueden encontrar duplicados, variables que no tienen datos o beneficiarios que no ameritan el beneficio, y la supervisión puede corregir algunas inconsistencias de los levantamientos o de la captura del padrón.

Etapa 6: Verificación externa. Cada cierto tiempo deberían hacerse verificaciones externas al padrón. Una institución académica o consultora, mediante muestra representativa, revisa la información contenida en el padrón para conocer la calidad de la información, errores de focalización, porcentaje de errores en la actualización de los datos, etc. Fuente: Tuirán Gonzalez, A. y A. Medina Giopp (2016). “Evaluación administrativa de padrones de beneficiarios de programas sociales”. Material de trabajo. Unidad de Pobreza y Equidad, Banco Mundial, Washington, D.C.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 24

Algunos RRAA fueron calificados como no aceptables, debido a la falta de información al momento de la

evaluación. Los RRAA con valores inferiores a 3, presentan algunas incidencias de respuestas “sin información”.

Una revisión y obtención de información a través de un acercamiento con las áreas involucradas en el proceso

podría ser suficientes para elevar el valor del indicador de calidad global de algunos de los registros de la Fiscalía

General, Procuraduría Social y DIF.

El RA del Instituto de la Mujer obtuvo el valor más bajo. Es un registro nuevo, cuyo diseño para su

aprovechamiento estadístico tendrá que revisarse e incorporar las prácticas de estándares, dado que la

estrategia seguida puede ser ampliada a la integración del Banco Estatal de Datos sobre Violencia, en el que

participan otras dependencias y entidades. La autoevaluación presenta un número muy elevado de alertas por

los que se tendrá que revisar el proceso estadístico desde la captura hasta su aprovechamiento y diseño de

productos estadísticos.

Hallazgos comunes a todos los RRAA

No se identifican todas las etapas del proceso asociado al RA, desde el diseño, captura, consolidación y análisis

y difusión del producto estadístico. Desde el diseño no se distinguen las variables de uso administrativo de las

variables de uso estadístico. El ciclo de vida del proceso de aprovechamiento estadístico del Registro

Administrativo no está documentado. Esto se debe a la falta de áreas responsables del mapeo de procesos en

las instituciones o porque no se ha visto la necesidad de aislar el proceso estadístico de un proceso más amplio,

como la gestión de programas sociales, por lo que no se identifican y documentan todas las etapas. Esto tiene

como resultado que no se identifican las responsabilidades, recursos humanos y de tecnología de la información

asociados a cada etapa.

Una debilidad detectada en todos los registros es la falta de políticas de seguridad que garanticen la

integridad, confidencialidad y disponibilidad de la información. Esta carencia es de gran relevancia dado que

genera un riesgo alto que puede afectar el resguardo y acceso a la información captada por el registro.

Normalmente, la integración de esta política está liderada por las áreas de tecnologías de la información y es de

alcance institucional. De ser así, existe el riesgo de que sólo se incluyan, en la política, los procesos que cuentan

con sistemas informáticos. A pesar de que existan registros muy sólidos y con una gestión realizada mediante

aplicativos informáticos como es el caso de los registros del sector salud y cuatro de los padrones de SEDIS, no

todos los registros de las dependencias cuentan con ese grado de madurez, algunos todavía se capturan en tabla

de Excel como el caso del Padrón de Organización Civiles de la SEDIS y el Registro de la Red Estatal de Carretera,

de la Secretaría de Infraestructura y Obra Pública.

No existen mecanismos de mejora continua de la gestión de la calidad. No existen mecanismos implementados

y documentados que aseguran la mejora continua de la calidad de los RRAA (verificaciones y validación de datos,

procedimientos para asegurar que se cumplan los protocolos documentados). No se realizan tampoco registros

de los cambios o ajustes que se realizan en las definiciones o conceptos. Estas carencias, que generan poca

confiabilidad en los datos, tienen un efecto en los bajos niveles de uso de los microdatos con fines estadísticos

y el desaprovechamiento de información recopilada. No se desarrolla en las instituciones un marco de trabajo,

sobre la base de un modelo de calidad, enfocado a la mejora continua de la gestión de la información, que

permita el seguimiento desde el proceso de captura, aprovechamiento estadístico, hasta la difusión a usuarios

internos y externos. Esto genera en buena medida que el conocimiento de la gestión de los datos sea

fragmentario y la gestión de la información se base en mecanismos informales.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 25

Se identificó una ausencia de una cultura de documentación de procesos asociados a la entrega de datos.

También se identificó como una carencia generalizada la falta de instrumentos documentales que garanticen el

intercambio informado de los datos entre el Usuario Primario y la Fuente Administrativa. Si bien existen acuerdos

y prácticas informales, se documenta la solicitud y se genera evidencia de la entrega, no existen instrumentos

que garanticen que la información sea entregada de acuerdo a las necesidades del usuario (frecuencias de

entrega, medio de entrega, formato de archivos). Tampoco, existen mecanismos que garanticen que los

conceptos (metodología, definiciones) de la Fuente Administrativa sean coherentes con los del Usuario Primario.

La falta de una documentación adecuada en el control de la calidad de los datos es un elemento recurrente en

la administración pública. Esta carencia muestra dos niveles en los registros evaluados: en algunos, estos

controles se llevan a cabo pero no se encuentran documentados, por lo que no existe la garantía de que se

verifique su efectividad, y en otros casos, estos controles no se llevan a cabo, lo que afecta en gran medida la

calidad de los datos.

Faltan metadatos en formato estándar de los RRAA y de los productos estadísticos. La ausencia de

documentación completa impide el aprovechamiento óptimo de la información, pone en riesgo la continuidad

de la generación de información, y genera un riesgo alto en la interpretación de la información.

No se realizan evaluaciones de la satisfacción de los Usuarios Primarios y Finales y tampoco controles internos

de validación. Con el propósito de mejorar los procesos de captura y aprovechamiento estadístico, es

importante valorar de manera permanente la satisfacción de los usuarios de los datos del Registro

Administrativo y de la información estadística que se genera. En varias ocasiones, los responsables de la

consolidación del archivo del RA son también los Usuarios Primarios de la información, es decir que lo

aprovechan para generar un Producto Estadístico. Por ejemplo, en la Fiscalía General del Estado una misma

dirección (o coordinación) tiene las dos funciones y en la Secretaría de Desarrollo e Integración Social, si bien las

funciones se dividen entre direcciones generales diferentes, no dejan de ser de la misma institución. En la cadena

de producción de las variables de los indicadores, la práctica general identificada fue que el personal del área

responsable del RA, integra la información agregada de las variables a partir de los microdatos del registro, y la

envía al responsable del cálculo de indicadores. Este último tiene como responsabilidad integrar la información

de los indicadores pero no analiza las bases de datos o microdatos. Estas prácticas resultan en una ausencia de

evaluación de satisfacción del Usuario Primario. En la aplicación del cuestionario relacionado al Producto

Estadístico de la HECRA, resultó común que los Usuarios Primarios tengan carencias en cuanto a la identificación,

caracterización y diagnóstico de requerimientos de los Usuarios Finales, consumidores de los productos

estadísticos (indicadores, boletines, reportes internos). También se identificó la falta de mecanismos de

supervisión o auditorías internas a los procesos estadísticos. No se generan mecanismos de retroalimentación

internos, controles internos de validación de la información o verificación de productos en las instituciones.

No se usan clasificadores estándar. Esta carencia en la gestión de los registros es uno de los elementos que

afectan la comparabilidad de la información, así como el potencial de aprovechamiento estadístico. Los registros

que cuentan con clasificadores se asocian generalmente a los que se implementan en el marco de acciones de

los sistemas nacionales (Sector Salud y Educación). También se usan claves de identificación ciudadana (Clave

Única de Registro de Población), en la conformación de los Padrones de Beneficiarios. Esta buena práctica

todavía no se ha implementado en los registros de detenciones de la Fiscalía General del Estado. En algunos

casos los registros incluyen clasificadores que permiten la generación de reportes, pero estos no son estándar,

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 26

lo que implica un trabajo de reclasificación de la información existente. Existe un desconocimiento de los

sistemas de clasificación nacionales y/o internacionales, disponibles desde el portal de internet del INEGI. Los

sistemas de clasificación que se usan también, son el SCIAN (Sistema de Clasificación Industrial de América del

Norte) y los catálogos de los Censos Económicos por parte de las instituciones del sector económico. Todavía no

es una práctica estandarizada el uso del Catálogo Único de Claves de Áreas Geoestadísticas Estatales,

Municipales y de Localidades. Tampoco se mencionó el uso de catálogos sociodemográficos como el de

clasificación de lenguas indígenas o de parentesco, entre otros.

La identificación de áreas de mejora, permiten formular acciones correctivas para mejorar la confiabilidad de

los indicadores derivados de los RRAA. Las problemáticas detectadas y la identificación de sus causas permiten

la integración de un plan de mejora. Su implementación resultará en la mejora de la seguridad de los datos y de

la confiabilidad para su uso en la generación de los indicadores prioritarios de los programas presupuestales del

Estado de Jalisco.

4. CONCLUSIONES Y RECOMENDACIONES

Los Registros Administrativos son la fuente de información más relevante para evaluar el desempeño de los

programas presupuestales. La fuente estadística básica de mayor utilización en la administración pública estatal

para la puesta en marcha de buena parte de los indicadores de los programas presupuestarios, son los RRAA. Si

bien existen iniciativas en el Gobierno para la identificación de los principales RRAA con miras a explorar su

potencial incorporación a la iniciativa de datos abiertos, la utilización de la HECRA se constituye en la única

iniciativa orientada a evaluar su calidad. Reafirma el rol del IIEG como organismo técnico con capacidad para

certificar la calidad de las estadísticas producidas por el SIEEJ, en este caso la estadística derivada del

aprovechamiento de Registros Administrativos. 11

La producción estadística a través del uso de Registros Administrativos es un proceso que involucra

especialistas diversos, así como distintas áreas administrativas de una o varias entidades. Derivado de la

evaluación de los 26 RRAA seleccionados, se concluye que se encuentran en general en un nivel aceptable de

calidad, aunque con áreas de mejora claramente identificadas. Destaca el hecho de que no existe

responsabilidad única sobre la calidad de los registros administrativos, ya que su gestión involucra técnicos de

diferentes especialidades y áreas administrativas, tales como expertos en tecnologías de información, manejo

de bases de datos, elaboración de indicadores y tabulados estadísticos, expertos en colecta de información y

procesamiento de datos, por mencionar algunos. La evaluación reveló la importancia de la coordinación técnica

global del proceso de generación estadística mediante registros administrativos.

La modalidad de trabajo en equipo a través de autoevaluaciones asistidas permitió la formación de los

técnicos involucrados, la aplicación apropiada de la HECRA y la consolidación de equipos de trabajo

multidisciplinares de gestión de Registros Administrativos en las entidades evaluadas. En la aplicación de la

HECRA un aspecto clave fue contar con los técnicos responsables de los procesos relacionados al

aprovechamiento estadístico de los RRAA. La participación, en algunos grupos, de los responsables de las bases

11 La certificación de la calidad es uno de los roles que debe tener el IIEG, según lo identificado para la estrategia de fortalecimiento del SIEEJ (2016).

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 27

de datos y procesos de tecnología de la información profundizó la evaluación de la información relacionada a la

seguridad de datos y procesamientos de control de calidad de los datos. El taller permitió un diálogo que en

pocas ocasiones se da en los ambientes de trabajo, y abrió una ventana para la mejora de la comunicación entre

los involucrados en el proceso.

La dinámica adoptada para la evaluación permitió consolidar un cuerpo técnico de facilitadores en el Estado

de Jalisco para el seguimiento y expansión de las actividades relacionadas con la HECRA. Al haber involucrado

en el taller al personal del IIEG formado en una capacitación previa a las evaluaciones, se fortaleció la capacidad

del IIEG para llevar a cabo la evaluación de RRAA que no fueron considerados en esta etapa. Los técnicos del

IIEG en las áreas de estadísticas sociales y demográficas, económico – financiera, impartición de justicia y

seguridad así como de medio ambiente, entienden los indicadores de calidad de la HECRA, y tienen el

conocimiento para dar seguimiento a través los subcomités y grupos de trabajo del CEIEG a los Planes de Mejora

en coordinación con cada dependencia.

Con base en el trabajo realizado para evaluar la calidad de Registros Administrativos en el Estado de Jalisco,

se recomienda considerar las siguientes acciones:

Para asegurar la continuidad de los procesos de mejora de la calidad de los Registros Administrativos se

requiere de un líder técnico y de la definición de responsabilidades. Es fundamental que se reconozca el

liderazgo técnico del IIEG para avanzar con la evaluación de Registros Administrativos. De acuerdo con el Artículo

3 de la Ley Orgánica del Instituto de Información Estadística y Geográfica del Estado de Jalisco, el Instituto tiene

entre sus objetos el de validar la información estadística para la integración del presupuesto, programación y

planeación de las políticas públicas. Tendrá también que coordinar acciones con las instituciones públicas para

que la información mantenga una estructura conceptual homogénea, sea comparable, veraz y oportuna. Resulta

también indispensable que el IIEG tenga formalmente acceso a microdatos de RRAA y que defina estrategias

para su integración, así como que defina los mecanismos institucionales y de gestión para certificar su calidad.

Para tal efecto, se recomienda consultar como referencia la metodología de evaluación y certificación de la

calidad del proceso estadístico integrado por el DANE, Colombia.12 Entre las responsabilidades del IIEG a

consolidar de acuerdo a la Estrategia de Fortalecimiento del SIEEJ se encuentran:

La gestión de recolección de datos, expresada en la capacidad de solicitar, acceder y recibir datos y

microdatos de los diversos productores a través de un protocolo bien establecido.

La certificación de las estadísticas de los productores del SIEEJ de Jalisco como estadísticas oficiales y de

calidad.

Un acuerdo interinstitucional para que se incorpore de manera permanente la iniciativa de evaluación

de calidad de los RRAA a las áreas de gestión de la calidad de cada institución.

La instalación de comités de ‘Calidad de datos’ en cada institución para asegurar el seguimiento a los

Planes de Mejora de los RRAA y el diseño de modelo de calidad institucional de los procesos estadísticos.

Es necesario desarrollar una estrategia de capacitación para la gestión de la información específicamente en

temas de gestión de procesos y de la información. Con base en los hallazgos, se identifican dos dimensiones

para la estrategia de capacitación:

12 http://www.dane.gov.co/files/sen/calidad/evaluacion/MetEvaluacionCertificacion.pdf

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 28

La sensibilización de los directivos en la relevancia de la gestión de procesos y la importancia de la calidad

de la información.

El mejoramiento de la calidad de la información, las prácticas y habilidades del personal involucrado en

la gestión de los RRAA. En esta segunda dimensión se identifica una serie de áreas de capacitación que

se recomiendan integrar en un plan de capacitación y buscar su aprobación por parte del CEIEG para

asegurar su implementación. Para reducir costos, se tendrá que aprovechar la colaboración técnica con

el INEGI, y el conocimiento de las entidades que conforman el CEIEG. Por ejemplo, la SEPAF puede

organizar un curso de seguridad de bases de datos y la Coordinación General de Transparencia e

Información Pública una capacitación enfocada a la confidencialidad de datos. Los temas de capacitación

detectados incluyen:

o Gestión documental de procesos estadísticos: Documentación del proceso de

aprovechamiento estadístico. Identificación y documentación de los ciclos de vida de los RRAA,

desde la captura del mismo hasta la generación de estadísticas, y su difusión. Lo que incluye la

identificación de todos los puntos de captura, usuarios finales, documentación de

procedimientos y supervisión de los flujos de información.

o Seguridad de la información. Desarrollo de políticas y protocolos para garantizar la seguridad y

continuidad de los datos y el desarrollo de acuerdos de confidencialidad. Lineamientos para la

protección física de los datos y su respaldo.

o Producción estadística basada en registros administrativos. Uso de clasificadores, generación

de metadatos con el estándar DDI e implementación de controles de calidad en el

procesamiento de los datos.13

Es importante identificar y evaluar la satisfacción de los usuarios finales (demanda). Se recomienda que el IIEG

a través de los grupos de trabajo del CEIEG, impulse con cada responsable de RA, la identificación de los usuarios

finales de su producto estadístico y el uso de los formatos de cuestionarios de evaluación de la satisfacción de

los usuarios finales del producto estadístico. Este instrumento, que se entregó a los participantes durante los

talleres, permite recabar y registrar las necesidades no satisfechas del usuario final con respeto al producto

estadístico. El primer paso para la aplicación del cuestionario, es la identificación de los usuarios finales. Si la

cantidad de usuarios finales es importante se puede considerar la aplicación del cuestionario a una muestra

representativa de las categorías de usuarios (instituciones federales y estatales, municipios, estudiantes por

ejemplo). El cuestionario deberá ser conducido una vez al año por parte del Usuario Primario. El análisis de los

resultados, se incorpora en el cuestionario de la HECRA, en su próxima aplicación.

El uso de RRAA confiables en el marco de la GpR debe ser una estrategia del Gobierno de Jalisco utilizando al

CEIEG como mecanismo de coordinación interinstitucional. Bajo el liderazgo técnico del IIEG, el CEIEG debe de

desarrollar estrategias para la implementación de mecanismos continuos que aseguren el mejoramiento y uso

de los RRAA que alimentan los indicadores prioritarios de las MIR y del PED, teniendo como base que el artículo

7 de la Ley Orgánica del IIEG establece que: “Todas las instituciones públicas del Estado de Jalisco y sus

municipios deberán apegarse a las normas, instructivos, métodos, sistemas y procedimientos para la búsqueda,

generación, análisis, clasificación y difusión de la información estadística”.

13 DDI (Iniciativa de Documentación de Datos, por sus siglas en inglés) es una estándar internacional comprendido en la actual cooperación técnica con el Banco Mundial.

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 29

Esto implica también contar con los recursos necesarios para llevar a cabo el proceso de evaluación de los RRAA,

esto es, asignar responsables, recursos materiales, organizacionales y financieros, además de lineamientos

claros de implementación para que el proceso se vuelva una práctica institucionalizada. En una etapa inicial es

clave optimizar el uso de los recursos humanos y financieros existentes; por ejemplo, se pueden priorizar las

acciones de los Planes de Mejora que no implican recursos adicionales a la nómina. Además se puede realizar

un ejercicio de priorizar actividades, basado en costo-beneficio; es decir, puede haber actividades que tengan

un costo menor, pero beneficios extensos. La HECRA, sus guías de uso e implementación y los materiales del

INEGI para el aprovechamiento de los RRAA se tendrán que difundir con los responsables de los registros.

Actualmente se tienen 26 registros administrativos evaluados. Se tendrá que Integrar, en el plan de trabajo del

CEIEG, las acciones que permitan la implementación, seguimiento y evaluación de los Planes de Mejora de cada

RA, identificando responsables de la mejora en cada institución, priorizando las acciones de mejora en función

de los recursos institucionales disponibles y desarrollando un cronograma de la implementación. La expansión

de la iniciativa a otros RRAA se basará en los requerimientos de la demanda como las prioridades de la agenda

de Gobierno. La tabla 6, presenta una propuesta de acciones y responsables.

El IIEG tiene el liderazgo técnico del comité por lo que puede usar esta figura para fortalecer su rol en la

coordinación de la oferta, validación y documentación de los datos estadísticos y geográficos del SIEEJ. Mientras

que la SEPAF representa la demanda de datos de calidad para la alimentación de las plataformas de monitoreo

y evaluación. Por lo que el trabajo coordinado entre estas instituciones, en el seno del CEIEG, fortalecerá el

vínculo entre los datos del SIEEJ y los procesos de gestión de los programas presupuestarios. En cuanto a la

difusión de microdatos, productos del aprovechamiento de RRAA, a través de la plataforma de Datos Abiertos,

es fundamental la coordinación entre la Coordinación General de Transparencia e Información Pública, el IIEG y

la SEPAF para asegurar la difusión de datos confiables generados a partir de los RRAA.

Tabla 5. Propuesta de acciones para el seguimiento HECRA

Acción Responsable Revisión detenida de la propuesta de Plan de Mejora del RA: afinación de causas en algunos casos, identificación de la persona responsable de la acción correctiva.

Responsable del RA/IIEG

Diseño e implementación de una plataforma en línea para el seguimiento a los Planes de Mejora. (fichas de identificación y formato de seguimiento)

IIEG

Integración de las ‘Fichas de identificación y control de acciones correctivas’ (Formato A en Planes de Mejora).

Responsables del RA

Capacitación de las entidades en el sistema de seguimiento a la mejora de los RRAA. IIEG

Integración y aprobación de un plan de capacitación para asegurar la mejora de los RRAA. IIEG/CEIEG

Implementación del plan de capacitación IIEG/INEGI/CEIEG

Integrar un cronograma para la aplicación de encuestas a usuarios finales (una vez al año antes de la aplicación de HECRA)

IIEG/CEIEG

Integrar un cronograma para la aplicación de la HECRA, considerando los RRAA evaluados y potenciales RRAA a evaluar (en función de las demandas de indicadores y/o productos de información).

IIEG/CEIEG

Integrar y aprobar un modelo de evaluación de calidad y certificación de los RRAA IIEG/CEIEG

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 30

Anexos

Anexo 1. Agenda de talleres

Talleres HECRA

6 a 10 de junio; 4 a 5 de julio, 2016

Objetivos del taller:

Que los encargados de levantar RRAA y explotarlos de manera estadística conozcan la HECRA

Aplicar la HECRA analizando la calidad de los RRAA acordados con cada dependencia

Conocer el cuestionario de satisfacción a los usuarios primarios y finales

Analizar los resultados y expresar algunas acciones de mejora

Lunes 6 de junio 2016

Grupo 1: Nathalie Castiaux Grupo 2: Josefina Calva (INEGI)

Fiscalía General Detenciones/ Aseguramiento -IIEG, 9:00 AM-5:00 PM

Coordinación del Subsistema GSJ:

Alejandro Sánchez

Olivia Peña Facilitadores:

Susana Galindo

Dante Delgadillo

Luis Gerardo Haro

Jesús A. Aillaud Medina

Instituto Jalisciense de la Juventud Padrón de beneficiaros del programa de bienestar juvenil Instituto Jalisciense de las Mujeres Padrón de beneficiario del programa Prevención y atención de violencia contra la Mujer IJJ, 9:00 AM-5:00 PM

Coordinador del Subsistema SD:

Santiago Ruiz Facilitadores:

Viviana Gama

Edgar Ramírez

Martes 7 de junio 2016 Nathalie Castiaux Julio Ortegón

SEDIS Padrón Único de ONG/ Suspensión de Adultos Mayores/ Suspensión de jefas de familia -SEDIS, 9:00 AM-5:00 PM

Coordinador del Subsistema SD:

Santiago Ruiz Facilitadores:

Fernanda Bringas

Omar Soto

Edgar Durand

Procuraduría social Usuarios Asistidos CESP (no se presentó) Control de Confianza (CANCELADO) -IIEG, 9:00 AM-5:00 PM

Coord. del Subsistema:

Alejandro Sánchez

Francia Jiménez

Olivia Peña Facilitadores:

Josefina Calva

Montserrat Guevara

Luis Gerardo Haro

Jesús A. Aillaud Medina

Miércoles 8 de junio 2016

Nathalie Castiaux Julio Ortegón

SEJ Matrícula SICyT (no se presentó) Beneficiarios con becas de manutención IIEG, 8:30 AM- 5:00PM

Facilitadores:

Josefina Calva

Gabriela Lara

Amaury Gómez

Benjamín Mariscal

Fiscalía General Incidencias delictivas

Olivia Peña

Alejandro Sánchez Procuraduría social Usuarios Asistidos

Facilitadores: Edgar Durand Francia Jiménez

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 31

Jueves 9 de junio 2016

Nathalie Castiaux Julio Ortegón

Secretaría de Salud

Defunciones/ Nacimientos/ Casos de dengue

IIEG, 8:30 AM- 5:00PM

Coord. del Subsistema:

Santiago Ruiz Facilitadores:

Alejandra de la Torre

Rodrigo González

Viviana Gama

Josefina Calva

DIF Padrón de adultos mayores/ Padrón ayuda alimentaria del Sistema DIF Jalisco -DIF, salón. 9:00 AM- 5:00PM

Facilitadores:

Gabriela Lara

Omar Soto

Edgar Durand

Viernes 10 de junio 2016 Banco Mundial/ INEGI/ IIEG

Programación del segundo taller HECRA

Revisión de acuerdos

Ayuda de memoria Nathalie Castiaux , Josefina Calva, Montserrat Guevara

SEDIS Piso Firme, Becas indígenas -SEDIS, sala de juntas 6° piso, 9:00 AM- 5:00PM

Coord. del Subsistema:

Santiago Ruiz Facilitadores:

Omar Soto

Edgar Durand

Lunes 4 de julio 2016

Mesa de trabajo 1 Mesa de trabajo 2 (no asistieron)

Comisión Estatal del Agua (CEA) Tratamiento de aguas residuales -IIEG, 9:00 AM-5:00 PM

Coord. Subsistema: Maximiano Bautista

Secretaría de Desarrollo Rural (SEDER) Beneficiarios -IIEG, 9:00 AM-5:00 PM

Coord. Subsistema: Maximiano Bautista

Mesa de trabajo 3 Mesa de trabajo 4 (no asistieron)

Secretaría de Infraestructura y Obra Pública (SIOP) Conservación de carreteras -IIEG, 9:00 AM-5:00 PM

Coord. Subsistema: Maximiano Bautista Facilitadores: Edgar Daniel Ramírez

Instituto de Movilidad (IMOV) Accidentes -IIEG, 9:00 AM-5:00 PM

Coord. Subsistema: Alejandro Sánchez

Martes 5 de julio 2016

Mesa de trabajo 5 Mesa de trabajo 6

Consejo Estatal de Promoción Económico (CEPE) Empleo -IIEG, 9:00 AM-5:00 PM

Coord. Subsistema: Néstor García Facilitadores: Gabriela Lara Susana Galindo

Secretaría de Desarrollo Económico (SEDECO) Beneficiarios Impulso -IIEG, 9:00 AM-5:00 PM

Coord. Subsistema: Néstor García Facilitadores: Amaury Gómez Fernanda Bringas

Mesa de trabajo 7

Sistema Intermunicipal de Agua Potable y Alcantarillado (SIAPA) Padrón de usuarios -IIEG, 9:00 AM-5:00 P

Coordinación del Subsistema: Maximiano Bautista Facilitadores: INEGI

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 32

Anexo 2. Listas de asistencia al taller

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 33

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 34

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 35

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 36

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 37

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 38

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 39

Anexo 3. Material entregado durante el taller. Guías HECRA.

Ver anexo aparte.

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 40

Anexo 4. Planes de Mejora de la calidad de los Registros Administrativos

Este anexo presenta los 26 planes de mejora, resultado del ejercicio de la aplicación de la Herramienta de

Evaluación de la Calidad de Registros Administrativos.

Registros Administrativos evaluados, por institución

SEGURIDAD CIUDADANA

Institución Registro Administrativo

Fiscalía General del Estado (FGE)

Incidencia Delictiva

Aseguramientos

Detenciones

Procuraduría Social del Estado de Jalisco Usuarios Asistidos

EQUIDAD DE OPORTUNIDAD

Institución Registro Administrativo

Secretaría de Desarrollo e Integración Social (SEDIS)

Padrón de Organizaciones Civiles del Estado de Jalisco

Padrón de Adultos Mayores

Padrón de Jefas de Familia

Padrón del Programa Piso Firme

Padrón del Programa de Becas Indígenas

Sistema para el Desarrollo Integral de la Familia (DIF)

Padrón de Beneficiarios del Programa Ayuda Alimentaria Directa y Padrón de beneficiarios del Programa Comedores Comunitarios.

Padrón de Adultos Mayores del DIF

Padrón de beneficiarios de los Centros de Atención Especializada en Terapia Familiar (CAETF).

Secretaría de Salud del Estado de Jalisco (SSJ)

Nacimientos / Defunciones (IMSS)

Nacimientos / Defunciones (ISSSTE)

Nacimientos / Defunciones (HCG)

Casos de dengue

Secretaría de Educación del Estado de Jalisco (SEJ) Registro de la matrícula (formato 911). Escuelas de educación básica.

Instituto Jalisciense de la Juventud Padrón de beneficiarios del Programa de Bienestar Juvenil

Instituto Jalisciense de las Mujeres Registro de atenciones y servicios del Programa de Prevención y atención de violencia contra la Mujer

OTRAS TEMÁTICAS

Institución Registro Administrativo

Sistema Intermunicipal para los Servicios de Agua Potable y Alcantarillado (SIAPA)

Padrón de usuarios

Consejo Estatal de Promoción Económica (CEPE) Padrón de beneficiarios “Bienempleo” (Registro de apoyos a micro y pequeñas empresas)

Secretaría de Desarrollo Económico (SEDECO) Padrón de beneficiarios (proyectos de Cadenas productivas)

Fondo Jalisco de Fomento Empresarial (FOJAL) Registro de solicitudes de Crédito

Comisión Estatal del Agua (CEA) Cédula Básica – Plantas de tratamiento de agua residual

Secretaría de Infraestructura y Obra Pública (SIOP) Registro de la Red Estatal Carretera

Secretaría de Medio Ambiente y Desarrollo Territorial (SEMADET)

Registro de contaminantes del aire

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 41

Cada Plan de Mejora contiene lo siguiente:

1. Introducción

2. Resultados de la aplicación de la HECRA al Registro Administrativo (RA).

3. Análisis de problemas e identificación de acciones correctivas y preventivas por RA evaluado.

4. Identificación de problemas y acciones estructurales/organizacionales.

Este reporte presenta al inicio la introducción y los formatos de Plan de Mejora y de seguimiento ya que son

iguales para todos los planes presentados. En caso de evaluar varios RRAA de la misma dependencia, la sección

4 se presenta después de los planes de la institución.

1. Introducción

El reporte de evaluación resulta de la aplicación de la Herramienta para la Evaluación de la Calidad de Registros

Administrativos (HECRA) a ser usados con fines estadísticos. HECRA fue aplicada de manera conjunta por

personal del Instituto de Información Estadística y Geográfica del Estado de Jalisco (IIEG), del Instituto Nacional

de Estadística y Geografía y consultores del Banco Mundial, a los responsables de la gestión de los RRAA (Fuentes

Administrativas) y a los responsables de generar los productos estadísticos a partir de estos Registros

Administrativos (RRAA) (Usuarios Primarios).

Los Registros Administrativos evaluados tienen un uso estadístico, ya que se encuentran asociados al cálculo de

indicadores relacionados con los programas presupuestales de las Matrices de Indicadores para Resultados, por

lo que la información estadística que generan resulta estratégica para la gestión pública. La aplicación de la

herramienta permitió evaluar a la Fuente de datos Administrativa, los Metadatos, la calidad de los Datos y el

Producto Estadístico Final, a partir de indicadores de calidad. El análisis de los indicadores y de la información

recogida en los talleres de autoevaluación asistida, permitió identificar oportunidades de mejora para fortalecer

la calidad de los productos estadísticos.

Este documento integra los principales resultados para que las dependencias y entidades los revisen y

retroalimenten, y en colaboración con el IIEG, documenten las acciones correctivas o preventivas propuestas. Es

importante en la etapa de revisión, precisar las causas, indicar las áreas responsables y personal responsable de

la mejora. Igualmente, es fundamental revisar el alcance de la acción propuesta en función de los recursos

actuales de la dependencia (personal y tecnologías de la información), para establecer una priorización de las

acciones en el plan de seguimiento. La gestión de los Planes de Mejora tendrá un mecanismo de seguimiento a

partir del formato “Plan de Acciones Correctivas y Preventivas (Seguimiento)”.

Cada Plan de Mejora se compone de este apartado, y de tres apartados más. En el apartado “Resultados de la

aplicación de la HECRA” se muestran las gráficas que resumen la situación de tres de los cuatro componentes que

evalúa la herramienta (Fuente Administrativa, Metadatos y Datos). Posteriormente se muestra el análisis de

problemas y se identifican las acciones que se proponen y, finalmente, se presenta un apartado donde se

presentan problemas y acciones estructurales/ organizacionales de carácter institucional. En el documento, se

plasma una sola vez la introducción la cual exponen los formatos que servirán para documentar las Acciones de

Mejora, así como el seguimiento del Plan de Mejora. Es importante mencionar que aunque los problemas y

acciones estructurales y organizacionales son comunes a todas las instituciones, con algunas variantes, se

repitieron al final de los Planes de Mejora de la Institución para que la misma pueda considerarlos en el momento

de la revisión de la sección del documento que le corresponde.

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 42

Primera fase del proyecto: Lo que se ha hecho

La aplicación de la HECRA se realizó a RRAA asociados a indicadores de las Matrices de Indicadores para Resultados

(MIR), con el objeto de mejorar la calidad de la información asociada al monitoreo y evaluación de los programas

prioritarios del Plan de Gobierno Estatal. Para llegar a esta fase de elaboración de Planes de Mejora, se han

realizado las siguientes actividades:

- Identificación de RRAA.

- Caracterización del registro administrativo.

- Aplicación de la HECRA.

Para la aplicación de la HECRA se organizaron talleres, de un día, durante los cuales se evaluaron los RRAA

seleccionados por las dependencias. En el taller participaron el equipo evaluador (IIEG, INEGI y BM) y los actores

clave en la gestión de la información de cada registro a evaluar: la Fuente Administrativa que es “la unidad de

organización responsable de implementar una regulación administrativa (o grupo de regulaciones), cuyo registro

correspondiente de unidades y transacciones se ven como fuente de datos estadísticos” (OCDE), el Usuario

Primario, que es quien en la institución tiene por objetivo producir indicadores sobre un fenómeno en particular,

es decir, quien explota el registro con fines estadísticos. Además, en algunos talleres, se contó con la presencia

de responsables de las tecnologías de la información y/o administradores de los sistemas informáticos de los

registros administrativos y/o estadísticos.

La interacción entre los agentes clave en la gestión de la información permitió obtener información sobre las

condiciones institucionales, y permitió identificar áreas de oportunidad para mejorar la gestión de los datos y

aprovechar el potencial de los RRAA.

La HECRA permite auditar en detalle los aspectos de gestión, calidad de datos, y utilización de los RRAA. La

evaluación considera las cuatro dimensiones siguientes:

1. Fuente Administrativa: la evaluación y análisis de atributos de calidad asociados al entorno institucional, el

marco legal, la seguridad de la información, el procesamiento y entrega de los datos;

2. Metadatos: evaluación y análisis de atributos de calidad vinculados a la documentación de los datos del RA;

3. Datos: evaluación y análisis de la cobertura, métodos de unión, omisiones, medición, claves de identificación,

procesamiento y precisión de los datos, uso de códigos y clasificadores internacionales, actualidad de los

datos, registros múltiples, entre otros; y,

4. Producto Estadístico final: evaluación y análisis de los atributos de calidad de las cifras, cuadros, estadísticos

y/o microdatos elaborados a partir de RRAA.

La calificación atribuida al RA al final del proceso de evaluación está basada en una escala del 0 al 5. El valor

mínimo (0) significa que el RA está en las peores condiciones y no permite su aprovechamiento estadístico. Cada

pregunta presenta alternativas de respuestas que describen las diversas situaciones posibles que pueden

presentarse en el proceso de generación del RA. Para cada sección la calificación se obtiene de un cociente entre

el total obtenido de cada pregunta entre el máximo posible. La HECRA tiene un panel en donde se indica el

resultado de las cuatro dimensiones y el resultado final (Figura 1).

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 43

Figura 1. Panel de evaluación de calidad global de la HECRA

Evaluación de la calidad de los Registros Administrativos:

Usos previstos: Programa: Id. Programa:

Dimensión Valor Número de

preguntas sin información*

Número de preguntas con

alertas ** Resultado

global: 4.13 Muy

bueno

Fuente de datos 3.20 0 1

Metadatos 4.82 0 1 Índice de la Calidad Global: 0.83047

Datos 4.98 0 0

Producto estadístico final 3.51 0 0

* Para la calificación final, el RRAA será evaluado como "no aceptable" en los casos que se responda a alguna pregunta con "no sabe..." o "se desconoce…" (calificación de “0”).

Referencia:

** Para la calificación final, el RRAA será evaluado como "no aceptable" en los casos que se obtengan más de 3 respuestas de calificado con “1”).

0 No aceptable 1 No aceptable 2 No aceptable 3 Aceptable 4 Muy bueno 5 Excelente

Como se puede apreciar en la figura de arriba, la calificación global de los registros evaluados se presenta según la siguiente escala:

0 a 2.9 se considera como “No aceptable”

3 a 3.9 como “Aceptable”

4 a 4.9 como “Muy Bueno”

5 como Excelente Además de la escala, existen condiciones que podrían determinan también su calificación, relacionadas con la

incidencia de preguntas calificadas con valores muy bajos, y con la calidad del producto estadístico final:

1. La existencia de respuestas con calificaciones bajas – de 0 (sin información) y de 1 (alerta). La calificación

global puede ser de 3 o más, lo que indica que el registro es de una calidad aceptable, pero por existencia

de un aspecto analizado con valor 0 (ya que se considera grave que en la gestión del registro se carezca de

información sobre un aspecto) y/o tres incidencias de valores de 1 (se da el valor 1 cuando no se lleva a

cabo una actividad), hará que la calificación final será considerado como “No aceptable”.

2. Baja evaluación en la dimensión del producto estadístico final. Por la importancia que tiene esta

dimensión, si una calificación de alguna de los seis elementos evaluados que lo constituyen está por debajo

de 2.5, el puntaje final se verá afectado, lo que disminuye el valor del indicador de calidad global. En Jalisco

no se dio ningún caso de una evaluación tan baja en la dimensión del producto estadístico final.

Las alertas identificadas en la evaluación, derivan en propuestas de acciones correctivas y preventivas. Una vez

revisados y validados los resultados, deberán ser registrados en la "Ficha de identificación y control de acciones

correctivas y preventivas" (ver Formato A).

Segunda fase: Lo que sigue

Se espera que las instituciones revisen detenidamente la propuesta y, en conjunto con el IIEG, avancen en las

siguientes actividades:

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 44

- Después de la revisión, se realiza una reunión de retroalimentación con el IIEG

- Se acuerda el cronograma de ejecución para las acciones definidas en el plan de mejora.

- Las dependencias y entidades integran las ‘Fichas de identificación y control de acciones correctivas y preventivas’ (ver Formato A).

- El IIEG integra el mecanismo de seguimiento (ver Formato B).

Formato A. Estructura del Plan de mejora: Ficha de identificación y control de acciones correctivas y preventivas

(se deberá acordar en una fecha posterior)

Área/Dependencia: Registro Administrativo:

Fecha de la Evaluación: / / Nº de Acción:

Especificación del indicador de la calidad afectado:

Descripción del problema:

Nombre y firma de quien registra el problema: Fecha: / /

Investigación de la causa del problema:

Responsable de seguimiento y cierre:

Fecha de cierre comprometida: / /

Fecha en que se verifica el cierre: / /

Corrección: Acción correctiva (C) o preventiva (P):

Descripción de la acción:

Responsable de seguimiento y cierre:

Fecha: / /

Verificación de la eficacia de la acción correctiva o preventiva:

Verificado por:

Fecha de verificación: / /

Estado: (Cerrada, Abierta, Seguimiento)

Nota: utilizar este formato para cada problema detectado durante la auto-evaluación

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 45

Formato B. Estructura del Plan de mejora: Plan de Acciones Correctivas y Preventivas (Seguimiento)

No. Persona

responsable de la mejora

Tipo de Acción

C: Correctiva

P: Preventiva

Fecha de

Asignación

Fecha estimada

de

Implementación

Fecha real de

Implementación

Fecha de

última

revisión

Avance a la

fecha (%)

Estado

A: Abierta

C: Cerrada

V: Verificada Eficacia

Observaciones

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 46

SEGURIDAD CIUDADANA

Fiscalía General del Estado de Jalisco

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

3.16 0.79 3 16 Aceptable 2 4 3 3.64

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

3 Planeación FGE, Fiscalía Regional, IIEG

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas y, por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores de la Fiscalía General

del Estado de Jalisco.

Fuente Administrativa: Fiscalía General del Estado (FGE) - Política Criminal y estadística. Usuario Primario: FGE - Política Criminal y Estadística Registro administrativo: Incidencia Delictiva Indicador: Incidencia delictiva

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 47

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a cabo

por la fuente administrativa, para mantener y gestionar el registro clave para la elaboración de productos

estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5

II.1. Documentación demetadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 48

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso, por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 49

Análisis de Problemas Acciones de mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se cuenta con información estructurada sobre los usuarios de la información estadística.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA

1

Mejorar el conocimiento sobre los usuarios y conocer su grado de satisfacción de los datos del registro para la producción del indicador.

1. Desarrollar el documento "Plan de Calidad de la producción de la información estadística" que describe el proceso estadístico (punto 4). 2. Realizar una reunión con el personal que usa los datos para la integración de los indicadores para conocer sus requerimientos y satisfacción.

Pregunta 18 y 19

No se identificó con precisión el sustento legal del registro administrativo. Existe el riesgo de que la obligación para generar la información esté definida pero que los instrumentos específicos para la gestión del registro no tengan un soporte normativo.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional, por lo que no se cuenta con un soporte normativo para los RRAA a ser usados con fines estadísticos.

2

Fortalecer el marco normativo del registro de incidencia delictiva.

Incorporar al reglamento interno de la institución la existencia y las responsabilidades en la gestión del registro.

Pregunta 20

No existen políticas e instrumentos que garanticen la confidencialidad de la información del registro administrativo. Existe un riesgo de incumplir con la protección de datos personales.

No se realiza un aprovechamiento de los microdatos del registro administrativo, por lo que no se ha incorporado la documentación de procesos a la gestión de la información del registro administrativo.

3

Garantizar la confidencialidad de los datos personales del registro administrativo

1. Elaborar un análisis de riesgo de la información a partir del diagrama de flujo, el proceso de explotación de microdatos, y la publicación de información estadística. 2. Incorporar como parte del contrato una cláusula donde el personal contratado se comprometa a garantizar la confidencialidad de los datos personales que genere la institución.

Esta acción se vincula con la acción correctiva 1. Preguntas 21, 22, 23

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 50

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Existen carencias normativas y operativas que generan un riesgo en materia de seguridad de la información. Por lo que existe un riesgo de pérdida de información, de incumplimiento en el reporte de la información por eventualidades informáticas u operativas, de filtración de información.

La organización no ha incorporado a la documentación de procesos la gestión de los RRAA.

4

Garantizar la integridad, confidencialidad y accesibilidad de la información.

1. Elaborar la política de seguridad de la información de la dependencia en coordinación con el área responsable de Tecnologías de la Información en le FGE. 2. Elaborar un análisis de riesgos para identificar si la gestión del registro administrativo cumple la política de seguridad.

Preguntas 25, 26 y 27.

No existen protocolos para el intercambio de la información entre encargados de capturar el registro y los usuarios primarios quienes generan el indicador en la dirección de Policía Criminal y Estadística.

No se ha considerado la gestión con fines estadísticos del registro administrativo por lo que no se han formalizado los mecanismos de intercambio.

5

Garantizar que la entrega de datos cumpla con los requerimientos del Usuario Primario para la producción de los indicadores.

Elaborar un protocolo (documento) de intercambio de información dentro de la dirección de Política Criminal y Estadística. El protocolo tendrá que incluir: los actores involucrados, la frecuencia de las entregas, los criterios para dar continuidad a la entrega de información en caso de que existan problemas con la captura y el procesamiento de datos; el formato de archivos requeridos y el medio por el cual se hará entrega de la información.

Preguntas 29-38

No existen mecanismos para garantizarla calidad en la captura de la información del registro administrativo. Existencia de datos erróneos en los registros individuales.

Control de calidad difícil de implementar en los puntos de captura.

6 Mejorar el control en la captura de los datos del registro administrativo.

1. Elaborar el procedimiento para la captura y control de los datos del registro administrativo. En este documento deben identificarse los controles que se llevan a cabo para verificar la completitud y veracidad de los datos. 2. Capacitación del personal quien captura.

Preguntas 39, 40.

Los controles de cambios (procedimientos y/o definiciones) no están documentados. Por lo que no se asegura la transparencia y trazabilidad. La documentación de los cambios permite evaluar si las series de datos son comparables en el tiempo.

No existen procesos de documentación de los procedimientos de cambios y tratamientos de datos.

7

Implementar el mecanismo de documentación de cambios en los procedimientos y/o definiciones.

1. Elaboración de un procedimiento para registrar los cambios que se realizan en los procedimientos. 2. Documentar el mecanismo de control de cambio en procedimientos y/o definiciones.

Pregunta 41

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 51

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No hay mecanismos que permitan revisar con los involucrados, los alcances y mecanismos para mejorar la explotación del registro administrativo.

No existe una estrategia de mejora continua de la captura, explotación y diseminación de los datos estadísticos del registro administrativo.

8

Implementar un mecanismo de mejora continua en la gestión de la información estadística

Establecer un mecanismo de consulta y análisis sobre la información generada por el registro. Se recomienda que el mecanismo sea el establecimiento de un grupo de mejora en el que participen el personal responsable de la consolidación del archivo del registro y el encargado de integrar los indicadores.

Esta acción se vincula con la acción correctiva 2. Preguntas 42, 56, 61

No existen políticas para el control y tratamiento de los datos. Existe un riesgo de afectación de la credibilidad de la información del registro para fines de uso estadístico.

No se han visualizado e implementado los mecanismos que aseguran la completitud y calidad de la información del registro para la integración de los indicadores.

9 Generar las políticas para el control y tratamiento de los datos.

Elaborar un documento en donde se establezcan los procedimientos para el tratamiento de los datos del registro administrativo: controles para verificar las unidades de observación; controles para verificar el contenido de las variables, controles para verificar la ocurrencia de valores extremos.

Preguntas 43, 44, 45, 46, 47, 48.

No se cuenta con la documentación completa de la estructura de la base de datos del registro administrativo. No se realiza un aprovechamiento óptimo de la información del registro administrativo.

Débil cultura organizacional de gestión de procesos estadísticos y carencia de control del código fuente del sistema informático.

10 Garantizar el uso e integridad de la Base de Datos.

Documentar la entidad-relación de la base de datos. Este proceso de documentación debe incluir la información sobre las claves principales, claves únicas y claves foráneas de cada tabla y la redundancia controlada en caso de existir

Preguntas 46, 47, 48.

No existen metadatos del registro de incidencia delictiva en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

11 Integrar el metadato de los datos de incidencia delictiva.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53, 57, y 61 y 63

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 52

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un control documental en la integración de los microdatos en la base de datos.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional por lo que no se han documentado los procesos y procedimientos estadísticos.

12 Asegurar la calidad en la unión de registros.

Documentar el método de unión de registros.

Pregunta 65

Controles insuficientes para garantizar la completitud de los datos.

No se han visualizado e implementado los mecanismos que aseguran la completitud y calidad de la información del registro para la integración de los indicadores.

13

Garantizar la aplicación de controles de la calidad de los datos en la gestión del registro administrativo.

Elaborar un protocolo de aseguramiento y control de la calidad de los datos: revisión de registros y variables sin datos, control de registros con clave única, métodos de edición o imputación de datos.

Preguntas 71, 72, 75

No se realizan controles externo (controles por parte de un tercero o auditorías internas) al proceso con el objetivo de mejora continua del registro administrativo.

No se han implementado procesos de mejora continua del proceso estadístico de la FGE. Ausencia de un mapa del proceso estadístico.

14

Implementación de mecanismos de controles externos para asegurar la mejora en la calidad del proceso estadístico.

1. Transmitir al área encargada la necesidad de implementar un sistema institucional de mejora de procesos estadísticos y control de calidad. 2. Implementar y dar seguimiento al plan de mejora del registro administrativo a través de un grupo de trabajo institucional.

Se pueden fomentar, en un primer tiempo, reuniones institucionales con el objetivo de compartir con las otras direcciones las etapas del proceso. A través del diálogo se fomenta la identificación de problemáticas y su mejora. Pregunta 73

No se realiza una captura basada en clasificadores estándar. Dificultad para comparar la información con la de otras entidades federativas.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional.

15 Incorporar códigos estándar a la gestión del registro administrativo.

Solicitar apoyo al Instituto de Información Estadística y Geográfica para que asesore sobre la existencia y pertinencia de los clasificadores relacionados con el registro

Pregunta 79

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 53

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Los cuadros de salida de la operación estadística no son validados a través de métodos automáticos. La verificación se hace de manera visual.

No están estandarizados los procesos de control de calidad. No se ha contemplado la aplicación de controles de calidad automatizados a los productos estadísticos finales.

16 Diseñar e implementar los mecanismos de validación automáticos

Petición al área encargada de informática para la automatización de la validación de cuadros de salida a partir de la base de datos.

Desde la fase de planeación e diseño de productos estadísticos se tendrían que diseñar los controles de calidad de los productos de salida. Pregunta 86

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No se ha identificado la necesidad de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno.

17 Medir la satisfacción del usuario final

1. Identificar y caracterizar a todos los usuarios finales del producto estadístico. 2. Medir la satisfacción de los usuarios finales

Pregunta 13 (producto estadístico)

No hay metadatos del producto estadístico

No se documentan los metadatos de los datos del Registros y sus productos estadísticos.

18 Integrar metadato del RA y ficha de metadatos de indicadores de la Fiscalía.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores

Pregunta 18 (Producto estadístico)

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 54

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

3.51 0.77 0 14 Aceptable 3 4 4 3.06

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base a la integración de los indicadores de la Fiscalía General

del Estado.

Fuente Administrativa: FGE. Comisaría Jefe de la Coordinación General de Planeación Operativa.

Usuario Primario: FGE. Comisaría Jefe De La Coordinación General de Planeación Operativa.

Registro administrativo: Aseguramientos

Indicador: Número de aseguramientos

Producto Estadístico: Reportes mensuales – Corte del 1 al 31 de mayo 2016

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 55

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 56

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 57

Análisis de Problemas Acciones de mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se cuenta con información estructurada sobre los usuarios de la información estadística.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA.

1

Mejorar el conocimiento sobre los usuarios y conocer su grado de satisfacción de los datos del registro para la producción del indicador.

1. Desarrollar el documento "Plan de Calidad de la producción de la información estadística" que describe el proceso estadístico (punto 4). 2. Realizar una reunión con el personal que usa los datos para la integración de los indicadores para conocer sus requerimientos y satisfacción.

Preguntas 18 y 19

Existe un riesgo asociado a la publicación de información personal. Existe un riesgo de filtraciones de datos personales.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA.

2 Garantizar la gestión segura de los datos personales.

Elaborar un análisis de riesgo de la información a partir del diagrama de flujo, el proceso de explotación de microdatos, y la publicación de información estadística.

Pregunta 22

No existen políticas dirigidas a garantizar la integridad, confidencialidad y disponibilidad de la información. Existe un riesgo de daño o pérdida de información del registro, un riesgo de perder series temporales por fallos en los respaldos de información.

Las políticas asociadas a las tecnologías de la información no han desarrollado los instrumentos documentados para garantizar la Confidencialidad, Integridad y Disponibilidad de la información. No se identificaron instrumentos de control que garanticen la Seguridad de la información en el área responsable del registro administrativo.

3

Garantizar la integridad, confidencialidad y de la información.

1. Elaborar la política de seguridad de la información de la FGE. 2. Análisis de riesgos para identificar si la gestión del registro administrativo cumple la política de seguridad.

Preguntas 25, 26 y 27.

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 58

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen protocolos para el intercambio de la información entre encargados de capturar el registro y los usuarios primarios quienes generan el indicador en la Comisaria Jefe De La Coordinación General De Planeación Operativa.

No se ha considerado la gestión con fines estadísticos del registro administrativo por lo que no se han formalizado los mecanismos de intercambio de datos dentro de la Comisaría.

4

Garantizar que la entrega de datos cumpla con los requerimientos del Usuario Primario para la producción de los indicadores.

Elaborar un protocolo (documento) de intercambio de información dentro de la Comisaría. El protocolo tendrá que incluir: los actores involucrados, la frecuencia de las entregas, los criterios para dar continuidad a la entrega de información en caso de que existan problemas con la captura y el procesamiento de datos; el formato de archivos requeridos y el medio por el cual se hará entrega de la información.

Preguntas 29-38

No se cuenta con instrumentos de control en la captura de la información del registro por lo que existe un riesgo de inconsistencia e inexactitud de la información capturada. Existencia de datos erróneos en los registros individuales.

En la gestión del registro no se ha desarrollado la documentación de procesos y procedimientos desde la captura. La dependencia no ha documentado la estrategia de uso de la información del registro administrativo.

5

Mejorar el control en la captura de los datos del registro administrativo.

Elaborar el procedimiento para la captura y control de los datos del registro administrativo. En este documento deben identificarse los controles que se llevan a cabo para verificar la completitud y veracidad de la captura.

Preguntas 39, 40.

Se carece de un instrumento de control de cambios en el registro administrativo. Existe un riesgo de interpretar inadecuadamente cambios en los datos.

En la gestión del registro no se ha desarrollado la documentación de procedimientos estadísticos.

6

Mejorar el control de cambios en la gestión del registro administrativo.

Elaborar el procedimiento de control de cambios en el documento, debe incluir los criterios de comunicación de los cambios a los usuarios de la información.

Pregunta 41.

No hay instrumentos que permitan revisar con los involucrados, los alcances y mecanismos para mejorar la explotación del registro administrativo. No existen mecanismos para asegurar la mejora continua del registro.

No existe una estrategia para la captura, explotación y diseminación de los datos estadísticos del registro administrativo.

7

Mejorar la gestión de la información del registro administrativo.

Establecer un mecanismo de consulta y análisis sobre la información generada por el registro. Se recomienda que el mecanismo sea el establecimiento de un grupo de mejora en el que participen la fuente administrativa y usuarios primarios.

En este mecanismo deben considerarse instrumentos de revisión de las necesidades de los usuarios primarios y los usos potenciales de la información. Esta acción se vincula con la acción correctiva 2. Preguntas 42, 56, 61

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 59

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen políticas para el control y tratamiento de los datos. Existe un riesgo de afectación de la credibilidad de la información del registro para fines de uso estadístico porque disminuye la calidad de la información del registro.

La gestión de la información no se incorpora a la cultura organizacional, por lo que no se ha visualizado la importancia de la completitud y calidad de la información del registro.

8

Generar las políticas para el control y tratamiento de los datos

Elaborar un documento en donde se establezcan los criterios y procedimiento para el tratamiento de los datos del registro administrativo. Debe contener como mínimo el desarrollo de los siguientes procedimientos: controles para verificar las unidades de observación; controles para verificar el contenido de las variables, controles para verificar la ocurrencia de valores extremos.

Preguntas 43, 44, 45, 46, 47, 48.

No se identificaron los mecanismos para revisar, editar o imputar valores de las variables del registro. La falta de controles de captura y de procedimientos establecidos para la revisión y edición puede afectar la completitud y calidad de la información capturada.

La gestión de la información no se incorpora a la cultura organizacional, por lo que no se ha visualizado la importancia de la completitud y calidad de la información del registro.

9

Garantizar mecanismos de control de calidad de los datos del registro a la captura.

Elaborar un documento con los procedimientos de revisión, edición y en su caso, imputación de los datos.

En caso de que estos mecanismos estén incorporados en un procedimiento informático, deberán documentarse estos procedimientos en la documentación de la base de datos. Preguntas 46, 47, 48.

No se cuenta con la documentación completa de la estructura de la base de datos del registro administrativo.

Carencia de control sobre el código fuente del sistema informático.

10 Garantizar el uso e integridad de la Base de Datos

Documentar la entidad-relación de la base de datos. Este proceso de documentación debe incluir la información sobre las claves principales, claves únicas y claves foráneas de cada tabla y la redundancia controlada (en caso de existir).

Preguntas 46, 47, 48

Falta de información documentada sobre las variables del registro administrativo. Riesgo de interpretación inadecuada de las variables por parte de usuarios.

No existe una estrategia para la captura, explotación y diseminación de los datos estadísticos del registro administrativo.

11

Documentar los metadatos del registro de aseguramientos.

Documentar la información del registro administrativo en el estándar internacional "Iniciativa para la Documentación de Datos"

Pregunta 53, 54, 55, 57, 58

Controles insuficientes para garantizar la completitud de los datos.

No se han visualizado e implementado los mecanismos que aseguran la calidad de la información del registro para la integración de los indicadores.

12

Garantizar la aplicación de controles de la calidad de los datos en la gestión del registro administrativo

Elaborar un documento con el protocolo de aseguramiento y control de la calidad de los datos del Usuario Primario que incluya al menos: la revisión de registros y variables sin datos, control de registros con clave única, métodos de ajuste o imputación de datos (o en su caso la justificación de por qué no realizar cambios)

Preguntas 71, 72, 75

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 60

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen mecanismos de control que garanticen la calidad de los datos

Débil cultura organizacional de gestión de calidad de los procesos estadísticos.

13

Mejorar el mecanismo de vigilancia de la calidad de los datos

Programar una revisión de la calidad de los datos del registro administrativo e implementar mecanismos permanentes de auditoría interna a los datos.

Pregunta 73

No se usan clasificadores estándar. Dificultad para comparar con otras bases de datos que registran el mismo tema. Dificultad para convertir la información del registro en estadísticas.

El personal no tiene el conocimiento de los catálogos y clasificadores estándares en el tema de seguridad ciudadana.

14

Incorporar la existencia de códigos estándar a la gestión de la base de datos.

Solicitar apoyo al Instituto de Información Estadística y Geográfica para que asesore sobre la existencia y pertinencia de los clasificadores relacionados con los registros de la FGE.

Pregunta 79

No se garantiza la calidad de la información reportada en los productos estadísticos.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional.

15

Mejorar los reportes de la información estadística generada por el registro.

Emitir reportes de validación de datos para la integración de los indicadores desde el sistema informático.

Pregunta 86

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y, por lo tanto, no responder a sus expectativas.

No se ha identificado la necesidad de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno.

16 Medir la satisfacción del usuario final.

1. Identificar y caracterizar todos los usuarios finales del producto estadístico. 2. Medir la satisfacción de los usuarios finales

Pregunta 13 (producto estadístico)

No se cuenta con el control de la publicación del producto estadístico final.

No se identifican los productos como parte de la gestión de la información de las acciones institucionales.

17

Mejorar la accesibilidad de la información en la web.

Solicitar al responsable de la publicación web la contabilización de las consultas y descargas de la información.

Pregunta 17 Producto estadístico

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 61

1. Introducción

Ver el inicio de este documento anexo.

2. Resultados de la aplicación de la HECRA Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

2.76 0.71 1 14 Aceptable 3 3 3 3.06

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas y, por tanto, mejorar

la calidad de la información estadística que sirve de base a la integración de los indicadores de la Fiscalía General

del Estado.

Fuente Administrativa: FGE. Comisaría de Investigación.

Usuario Primario: FGE. Comisaría de Investigación.

Registro administrativo: Detenciones

Indicador: Número de Detenidos

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 62

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 63

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones correctivas y preventivas

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 64

Análisis de Problemas Acciones de mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se cuenta con información estructurada sobre los usuarios de la información estadística.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA.

1

Mejorar el conocimiento sobre los usuarios y conocer su grado de satisfacción de los datos del registro para la producción del indicador.

1. Desarrollar el documento "Plan de Calidad de la producción de la información estadística" que describe el proceso estadístico (punto 4). 2. Realizar una reunión con el personal que usa los datos para la integración de los indicadores para conocer sus requerimientos y satisfacción.

Pregunta 18 y 19

No se identificó con precisión el sustento legal del RA. Existe el riesgo de que la obligación para generar la información esté definida pero que los instrumentos específicos para la gestión del registro no tengan un soporte normativo.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional, por lo que no se cuenta con un soporte normativo para los RRAA a ser usados con fines estadísticos.

2

Fortalecer el marco normativo del registro de detenciones de la Comisaría de Investigación.

Incorporar al reglamento interno de la institución las atribuciones del personal de la Comisaría de Investigación para la realización de las diferentes etapas del proceso de aprovechamiento del registro de detenciones.

Pregunta 20

Existe un riesgo asociado a la publicación de información personal. Existe un riesgo de filtración de datos personales.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA y no se ha visto la necesidad de fortalecer el marco normativo en cuanto a la protección de los datos personales.

3 Garantizar la gestión segura de los datos personales.

1. Elaborar un análisis de riesgo de la información a partir del diagrama de flujo de información estadística. 2. Incorporar una claúsula en el contrato del personal en cuanto a la protección de datos personales.

Preguntas 22 y 23

No existen políticas dirigidas a garantizar la integridad, confidencialidad y disponibilidad de la información. Existe un riesgo de daño o pérdida de información del registro, un riesgo de perder series temporales por fallos en los respaldos de información.

El área encargada de las tecnologías de la información no ha desarrollado y documentado una política para garantizar la Confidencialidad, Integridad y Disponibilidad de la información estadística de la FGE.

4

Garantizar la integridad, confidencialidad y disponibilidad de la información.

1. Elaborar la política de seguridad de la información de la FGE. 2. Análisis de riesgos para identificar si la gestión del registro administrativo cumple con la política de seguridad.

Preguntas 25, 26 y 27

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 65

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen protocolos para el intercambio de la información entre encargados de capturar el registro y los usuarios primarios quienes generan el indicador en la Comisaria de Investigación.

No se ha considerado la gestión con fines estadísticos del registro administrativo por lo que no se han formalizado los mecanismos de intercambio de datos dentro de la Comisaría de Investigación.

5

Garantizar que la entrega de datos cumpla con los requerimientos del Usuario Primario para la producción de los indicadores.

Elaborar un protocolo (documento) de intercambio de información dentro de la Comisaría de Investigación. El protocolo tendrá que incluir: los actores involucrados, la frecuencia de las entregas, los criterios para dar continuidad a la entrega de información en caso de que existan problemas con la captura y el procesamiento de datos; el formato de archivos requeridos y el medio por el cual se hará entrega de la información.

Preguntas 29-38

No se cuenta con instrumentos de control en la captura de la información del registro. Existencia de datos erróneos en los registros individuales.

No se ha considerado la gestión con fines estadísticos del registro administrativo por lo que no se han implementado ni documentado los mecanismos de controles desde la captura.

6

Mejorar el control en la captura de los datos del registro administrativo.

Elaborar el procedimiento para la captura y control de los datos del registro administrativo. En este documento deben identificarse los controles que se llevan a cabo para verificar la completitud y veracidad de la captura.

Preguntas 39, 40.

Se carece de un instrumento de control de cambios en el registro administrativo. Riesgo de interpretar inadecuadamente cambios en los datos. Riesgo de divergencia en las definiciones de la fuente administrativa y del usuario final.

La gestión de la información no se incorpora a la cultura organizacional por lo que se carece de instrumentos normativos y procesos documentados.

7

Mejorar el control de cambios en la gestión del registro administrativo.

Elaborar el procedimiento de control de cambios en el documento, debe incluir los criterios de comunicación de los cambios a los usuarios de la información.

Pregunta 41.

No hay instrumentos que permitan revisar con los involucrados, los alcances y mecanismos para mejorar la explotación del registro administrativo. No hay mecanismos de mejora continua implementados.

No existe una estrategia para la captura, explotación y diseminación de los datos estadísticos del registro administrativo.

8

Implementar un mecanismo de mejora continua en la gestión de la información estadística

Establecer un mecanismo de consulta y análisis sobre la información generada por el registro. Se recomienda que el mecanismo sea el establecimiento de un grupo de mejora en el que participe el personal de la Comisaría de Investigación involucrado en el aprovechamiento del Registro de detenciones.

En este mecanismo deben considerarse instrumentos de revisión de las necesidades de los usuarios primarios y los usos potenciales de la información. Esta acción se vincula con la acción correctiva 2. Preguntas 42, 56, 61

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 66

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen políticas para el control y tratamiento de los datos. No se tiene control de la calidad del dato.

La gestión de la información no se incorpora a la cultura organizacional, dado que no existe un plan para el aprovechamiento estadístico del registro administrativo.

9

Generar las políticas para el control y tratamiento de los datos.

Elaborar un documento en donde se establezcan los criterios y procedimiento para el tratamiento de los datos: controles para verificar las unidades de observación; controles para verificar el contenido de las variables, controles para verificar la ocurrencia de valores extremos.

Preguntas 43, 44, 45, 46, 47, 48.

No se documentan los procedimientos de uniones de registros dentro de la base de datos.

No se hay proceso de documentación de los procedimientos informáticos de los datos.

10

Documentar la base de datos y procedimientos de unión de registros de detenciones.

Documentar los procedimientos de unión de las bases de datos del registro estadístico.

Pregunta 69.

Controles insuficientes para garantizar la completitud de los datos.

No se implementan procesos para garantizar la calidad de los datos en la base de datos.

11

Garantizar la aplicación de controles de la calidad de los datos en la gestión del registro administrativo.

1. Elaborar un documento con el protocolo de aseguramiento y control de la calidad de los datos del usuarios primarios que incluya al menos: la revisión de registros y variables sin datos, control de registros con clave única, métodos de ajuste o imputación de datos (o en su caso la justificación de por qué no realizar cambios) 2. Implementar los procedimientos de control de calidad dentro de la base de datos en coordinación con el área encargada del desarrollo de la base de datos.

Preguntas 71, 72, 74, 75

No se realizan controles externos (controles por parte de un tercero o auditorías internas) al proceso con el objetivo de mejora continua.

No existe proceso de mejora continua de los RRAA para la producción de indicadores.

12

Mejorar el mecanismo de vigilancia de la calidad de los datos.

Programar una revisión de la calidad de los datos del registro administrativo. En caso de que en la dependencia existan sistemas de gestión de la calidad, debe promoverse específicamente la implementación de una auditoría interna a los datos.

Pregunta 73

No se realiza una captura basada en clasificadores estándar.

El personal de la Comisaría de Investigación no tiene el conocimiento de los sistemas de clasificación estándar.

13

Incorporar la existencia de códigos estándar a la gestión de la base de datos.

Solicitar apoyo al Instituto de Información Estadística y Geográfica para que asesore sobre la existencia y pertinencia de los clasificadores existentes relacionados con el registro.

Pregunta 79

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 67

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por tanto no responder a sus expectativas.

No existe la cultura de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno.

14 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales de los indicadores integrados a partir del registro de detenciones. 2. Realizar encuestas o grupos de trabajo para conocer la satisfacción de los usuarios finales.

Pregunta 13 (producto estadístico)

No hay metadatos del producto estadístico.

Falta de una cultura de documentación de datos.

15

Integrar metadato del RA y ficha de metadatos de cuadros estadístico

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores y reportes internos.

Pregunta 18 (producto estadístico)

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 68

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados de la

Fiscalía General del Estado y que representan aspectos generales o de alcance institucional. La identificación e

implementación de estrategias y acciones institucionales permitirán mejorar el proceso de gestión de la

información.

1. La confidencialidad de los datos genera restricciones para la explotación de los datos. 2. Integridad, Confidencialidad y Disponibilidad de la información: No existen protocolos documentados de

transferencia segura de datos. 3. Entrega de datos: no existen acuerdos de entrega de datos entre la fuente administrativa y la fuente de

datos. 4. Gestión de datos: Existen mecanismos, pero no están documentados, para normar la captura y controles

de la información. 5. No hay documentación de metadatos de los datos de los RRAA. 6. No existen políticas o procedimientos documentados de control del dato. 7. No se cuenta con mecanismos que garanticen una captura adecuada de los RRAA. 8. No incorpora clasificadores estándar a la gestión de la información de los RRAA.

Recomendaciones:

Sensibilización al cuerpo directivo de la FGE sobre la importancia de mejorar el aprovechamiento estadístico de los RRAA para la producción de los indicadores que alimentan los sistemas de monitoreo y evaluación del estado.

Desarrollar un documento institucional: "Plan de Calidad de la producción de la información estadística". El documento tiene que incluir un diagrama de flujo de la información de los RRAA, la identificación de usuarios primarios, reportes y publicaciones en los que se usará la información, usuarios finales de los productos estadísticos, así como determinar la estrategia y periodicidad para la aplicación de las encuestas a usuarios primarios y finales.

Es recomendable desarrollar el proceso completo del aprovechamiento de los RRAA de la FGE con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en inglés). Una vez mapeado el proceso, se tendrán que implementar los mecanismos de retroalimentación (control externo, auditorías externas) para asegurar la mejora continua del proceso estadístico. Después de identificar todas las etapas del proceso estadístico se recomienda fortalecer el marco normativo o reglamento interior, integrando las atribuciones del personal necesarias para la realización de todas las etapas del proceso estadístico: especificar necesidades, diseñar, implementar las herramientas, capturar, tratamiento de datos, analizar, diseminar, evaluar y documentar). (http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Diseñar una política institucional de seguridad de datos que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos de la FGE. La política puede integrar los términos de entrega segura de los datos. Se recomienda consultar a título de ejemplo la política de seguridad de datos del INEGI. http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 69

Integrar lineamientos internos en cuanto a la confidencialidad de los datos. Analizar el marco normativo actual, y cláusulas en contratación de personal, para evaluar la pertinencia de fortalecerlo. Por ejemplo, se puede considerar la firma de acuerdos de confidencialidad por parte del personal para asegurar que los datos se compartan sin restricciones para la generación de los productos estadísticos prioritarios de la FGE.

Integrar lineamientos institucionales de difusión de datos que especifiquen cuáles microdatos documentados se pueden compartir y cuáles tienen un carácter confidencial.

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés), integración de los metadatos de los datos de la FGE y publicación de los mismos.

Requerimiento al CEIEG para la organización de capacitaciones enfocadas al aprovechamiento de los RRAA, control de calidad a la captura de datos y clasificadores estándares.

Desarrollo de mecanismos para conocer la satisfacción de los usuarios finales de la información que se genera a partir de los RRAA de la FGE.

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 70

Procuraduría Social del Estado de Jalisco

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

2.74 0.72 3 16 No Aceptable 2 4 2 2.94

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas y, por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores de la Procuraduría

Social del Estado de Jalisco.

Fuente Administrativa: Procuraduría Social del Estado de Jalisco. Atención ciudadana.

Usuario Primario: Procuraduría Social del Estado de Jalisco. Coordinación de Planeación e Información.

Registro administrativo: Registro de personas asistidas en Atención ciudadana "Electronic Work Order"

Indicador MIR: Usuarios Asistidos Jurídicamente.

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 71

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 72

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.9. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.10. Actualidad de los datos

III.11. Registros múltiples

III.12. Otros controles

Calidad asociada a los datos

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 73

Análisis de Problemas Acciones de mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se cuenta con información estructurada sobre los usuarios de la información estadística.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA.

1

Mejorar el conocimiento sobre los usuarios y conocer su grado de satisfacción de los datos del registro para la producción del indicador.

1. Desarrollar el documento "Plan de Calidad de la producción de la información estadística" que describe el proceso estadístico (punto 4). 2. Realizar una reunión con el personal que usa los datos para la integración de los indicadores para conocer sus requerimientos y satisfacción.

Pregunta 18 y 19

No se identificó con precisión el sustento legal del registro administrativo. Existe el riesgo de que la obligación para generar la información esté definida pero que los instrumentos específicos para la gestión del registro no tengan un soporte normativo.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional, por lo que no se cuenta con un soporte normativo para los RRAA a ser usados con fines estadísticos.

2

Fortalecer el marco normativo del registro de personas asistidas en Atención ciudadana "Electronic Work Order" del área de Atención Ciudadana.

1. Incorporar al reglamento interno de la institución las atribuciones para la realización de las diferentes etapas del proceso de aprovechamiento del registro. 2. Incorporar de manera explícita a las reglas de operación o el manual de procesos y procedimientos, la existencia del registro administrativo.

Pregunta 20

Existe un riesgo asociado a la publicación de información personal. Existe un riesgo de filtración de datos personales.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA y no se ha visto la necesidad de fortalecer el marco normativo en cuanto a la protección de los datos personales.

3 Garantizar la gestión segura de los datos personales.

1. Elaborar un análisis de riesgo de la información a partir del diagrama de flujo de información estadística. 2. Incorporar una cláusula en el contrato del personal en cuanto a la protección de datos personales.

Pregunta 22 y 23

No existen políticas dirigidas a garantizar la integridad, seguridad y disponibilidad de la información. Riesgo de daño o pérdida de información del registro. Riesgo de filtración de datos personales por no existir políticas de control de accesos y equipos.

No se identificaron instrumentos de control que garanticen la seguridad de la información en el área responsable del registro administrativo.

4

Garantizar la integridad, confidencialidad y disponibilidad de los datos del registro.

Elaborar la política de seguridad de la información de la dependencia. Se debe incluir un análisis de riesgos para identificar si la gestión del registro administrativo cumple la política de seguridad.

Esta acción pude quedar fuera de las atribuciones del área responsable del registro. Preguntas 25, 26 y 27.

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 74

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen protocolos formales para el intercambio de la información entre el área de Atención ciudadana y la Coordinación de Planeación e Información.

No se ha considerado la gestión con fines estadísticos del registro administrativo lo que genera procesos y procedimientos informales que ponen en riesgo la calidad de la información.

5

Garantizar que la entrega de datos cumpla con los requerimientos de la Coordinación de Planeación e Información.

Elaborar un protocolo (documento) de intercambio de información en los que se establezca: los actores involucrados, la frecuencia de la entrega de la información, los criterios para dar continuidad a la entrega de información en caso de que existan problemas con la captura y procesamiento de datos; el formato de archivos requeridos y el medio por el cual se hará entrega de la información.

Preguntas 28, 29, 30, 32, 35, 36

No se cuenta con instrumentos de control en la captura de la información del registro por lo que hay datos erróneos en los registros individuales.

En la gestión del registro no se ha desarrollado la documentación de procesos y procedimientos. La dependencia no ha documentado la estrategia de uso de la información del RA.

6

Mejorar el control en la captura de los datos del registro administrativo.

Elaborar el procedimiento para la captura y control de los datos del registro administrativo.

En este documento deben identificarse los controles que se llevan a cabo para verificar la completitud y veracidad de la captura. Preguntas 39, 40.

Se carece de un instrumento de control de cambios en el registro administrativo. Existen riesgos de interpretar inadecuadamente cambios en los datos y de divergencia en las definiciones de la fuente administrativa y del usuario final.

La gestión de la información no se incorpora a la cultura organizacional por lo que se carece de instrumentos normativos y procesos documentados.

7

Mejorar el control de cambios en la gestión del registro administrativo.

1. Elaborar el procedimiento de control de cambios y documentarlo. El documento, debe definir los criterios de comunicación de los cambios a los usuarios de la información. 2. Implementar mecanismos de control de cambio (bitácora compartida)

Pregunta 41.

No existe un mecanismo de consultas entre las dos áreas con el propósito de mejorar continuamente el Registro Administrativo.

No se había contemplado integrar mecanismos de consulta en el ciclo de proceso del registro administrativo como una buena práctica de mejora continua.

8

Implementar el mecanismo de comunicación y documentarlo.

1. Acordar el mecanismo entre las dos áreas responsables. 2. Fomentar reuniones de manera periódica (con minuta firmada) o implementar una plataforma de comunicación en línea.

Pregunta 42

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 75

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen políticas para el control y tratamiento de los datos. Riesgo de afectación de la credibilidad de la información del registro para fines de uso estadístico. Disminuye la calidad de la información del registro.

La gestión de la información no se incorpora a la cultura organizacional, por lo que no se ha visualizado la importancia de la completitud y calidad de la información del registro.

9

Generar las políticas para el control y tratamiento de los datos

Elaborar un documento en donde se establezcan los criterios y procedimiento para el tratamiento de los datos del registro administrativo. Debe contener como mínimo el desarrollo de los siguientes procedimientos: controles para verificar las unidades de observación; controles para verificar el contenido de las variables, controles para verificar la ocurrencia de valores extremos.

Preguntas 43, 44, 45, 46, 47, 48, 56.

No se cuenta con la documentación completa de la estructura de la base de datos del registro administrativo.

Falta de procesos de documentación relacionados a los procedimientos informáticos y la gestión de los datos.

10 Garantizar el uso e integridad de la Base de Datos.

Documentar la entidad-relación de la base de datos. Este proceso de documentación debe incluir la información sobre las claves principales, claves únicas y claves foráneas de cada tabla y la redundancia controlada en caso de existir.

Preguntas 51 y 52

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

11

Integrar el metadato del registro de personas asistidas en Atención ciudadana "Electronic Work Order".

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Preguntas 53, 54, 57, 59.

No existe una documentación que permita comparar las definiciones de la base de datos del registro Administrativo y el uso estadístico.

Falta de procesos de documentación relacionados a los procedimientos de gestión de los datos. No se ha considerado la coherencia entre datos del registro y sus productos estadísticos.

12

Elaborar la ficha de los productos estadísticos en los que se incluirá la información del RA. La documentación de los productos estadísticos deberá considerarse como parte de la documentación del proceso de gestión de la información.

Elaborar la ficha de documentación del indicador considerando una liga al metadato del Registro Administrativo (ver acción 11).

Esta actividad debería ser parte de la documentación de metadatos del producto estadístico final. La mesa de mejora continua deberá garantizar la coherencia entre la información del registro y del producto final. Preguntas 62, 63.

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 76

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Controles insuficientes para garantizar la completitud de los datos.

Falta de procesos de documentación e implementación de mecanismos de control de calidad de los datos.

13

Garantizar la aplicación de controles de la calidad de los datos en la gestión del registro administrativo.

Documentar e implementar mecanismos de revisión de registros y variables sin datos, control de registros con clave única, métodos de ajuste o imputación de datos (o en su caso la justificación de por qué no realizar cambios).

Preguntas 72, 75.

No se realizan controles externo (controles por parte de un tercero o auditorías internas) al proceso con el objetivo de mejora continua del registro administrativo.

No se han implementado procesos de mejora continua del proceso estadístico de la Procuraduría. Ausencia de un mapa del proceso estadístico.

14

Implementación de mecanismos de controles externos para asegurar la mejora en la calidad del proceso estadístico.

1. Transmitir al área encargada la necesidad de implementar un sistema institucional de mejora de procesos estadísticos y control de calidad del mismo. 2. Implementar y dar seguimiento al plan de mejora del registro administrativo a través de un grupo de trabajo institucional.

Se pueden fomentar, en un primer tiempo, reuniones institucionales con el objetivo de compartir con las otras direcciones las etapas del proceso. A través del dialogo se fomenta la identificación problemáticas y su mejora. Pregunta 73

No se realiza una captura basada en clasificadores estándar. Dificultad para comparar con otras bases de datos que registran el tema.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional. No se han desarrollado las capacidades estadísticas del personal como capacitaciones en uso de clasificadores.

15

Incorporar la existencia de códigos estándar a la gestión de la base de datos.

Solicitar apoyo al Instituto de Información Estadística y Geográfica para que asesore sobre la existencia y pertinencia de los clasificadores existentes relacionados con el registro.

Preguntas 79, 84, 85, 86

Se desconocen las características de calidad de la información incluida en la base de datos del registro.

Falta de procesos de documentación e implementación de mecanismos de control de calidad de los datos.

16

Evaluar las características de información de la base de datos.

Realizar un análisis de la información relacionada con los registros en las variables clave y valores duplicados.

Pregunta 84.

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No se ha identificado la necesidad de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno.

17 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico. 2. Medir la satisfacción de los usuarios finales.

Pregunta 13 (producto estadístico)

Banco Mundial: REPORTE HECRA – ANEXO 4. PLANES DE MEJORA. Estado de Jalisco, México.| 77

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Se hacen adecuaciones a los datos reportados en periodicidades distintas.

Falta de capacitación en aprovechamiento de RRAA para la producción estadística.

18

Estandarizar las diferencias entre reportes con periodicidades distintas.

El responsable del producto estadístico final deberá elaborar el protocolo de revisión de la información estadística para el producto estadístico final.

Pregunta 15 (Producto estadístico.)

No se cuenta con el control de la publicación del producto estadístico final.

No se identifican los productos como parte de la gestión de la información de las acciones institucionales

19 Mejorar la accesibilidad de la información en la web.

Solicitar al responsable de la publicación web la contabilización de las consultas y descargas de la información.

Pregunta 17 (Producto Estadístico)

No existe documentación sobre el producto estadístico final.

Falta de procesos de documentación e implementación de mecanismos de control de calidad de los datos.

20

Mejorar la información documental del producto estadístico final.

1. Integrar el metadato del registro en formato DDI 2. Documentar el metadato del producto estadístico final y socializarlo con los usuarios finales (trabajo de la mesa de mejora).

Pregunta 18 (Producto estadístico.)

78

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados de la

Procuraduría Social del Estado de Jalisco y que representan aspectos generales o de alcance institucional. La

identificación e implementación de estrategias y acciones institucionales permitirán mejorar el proceso de gestión

de la información.

1. Entorno institucional, políticas y procedimientos: debilidad del marco normativo, no hay protocolo de intercambio seguro de información, falta seguridad de datos y riesgo en la confidencialidad de datos.

2. No hay documentación de los metadatos en formato DDI. 3. No se cuenta con el código fuente del sistema de gestión institucional. 4. Ausencia de documentación de procesos de gestión de datos. 5. Satisfacción de usuarios primarios y finales. No se mide la satisfacción del usuario final a través de

encuestas a usuarios finales. 6. Se identifica la falta de documentación de mecanismos de control de los datos. 7. No se identificó documentación para garantizar la seguridad, integridad y disponibilidad de la información.

Recomendaciones:

Desarrollar un documento institucional: "Plan de Calidad de la producción de la información estadística". El documento tiene que incluir un diagrama de flujo de la información de los RRAA, la identificación de usuarios primarios, reportes y publicaciones en los que se usará la información, usuarios finales de los productos estadísticos, así como determinar la estrategia y periodicidad para la aplicación de las encuestas a usuarios primarios y finales. Es recomendable desarrollar el proceso completo del aprovechamiento de los RRAA de la Procuraduría Social del Estado con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). (http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Fortalecer el marco normativo o reglamento interior, integrando las atribuciones del personal necesarias para la realización de todas las etapas del proceso estadístico: especificar necesidades, diseñar, implementar las herramientas, capturar, tratamiento de datos, analizar, diseminar, evaluar y documentar).

Establecer un grupo de análisis institucional para la mejora de la gestión de los RRAA y la identificación de mejores prácticas para el máximo aprovechamiento de la información.

Diseñar una política institucional de seguridad de datos que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos de la Procuraduría Social del Estado. La política puede integrar los términos de entrega segura de los datos. Se recomienda consultar a título de ejemplo la política de seguridad de datos del INEGI. http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf

Integrar lineamientos internos en cuanto a la confidencialidad de los datos. Analizar el marco normativo actual, y cláusulas en contratación de personal, para evaluar la pertinencia de fortalecerlo. Por ejemplo, se puede considerar la firma de acuerdos de confidencialidad por parte del personal para asegurar que los datos se compartan sin restricciones para la generación de los productos estadísticos.

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

Desarrollo de mecanismos para conocer la satisfacción de los usuarios finales de la información que se genera a partir de los Registros Administrativos de la Procuraduría Social del Estado de Jalisco.

79

EQUIDAD DE OPORTUNIDAD

Secretaría de Desarrollo e Integración Social (SEDIS)

1. Introducción

Ver el inicio de este documento

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

3.69 0.88 1 8 Aceptable 4 4 3 3.78

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo del programa de Coinversión Social,

programa que otorga fondos a las Organizaciones Civiles para los proyectos que favorecen el Bienestar de los

Jaliscienses. Por lo que la gestión de la información de este padrón es importante ya que tiene relación con los

programas de desarrollo social, desarrollo comunitario, grupos vulnerables, educación y cultura. El conocer

quiénes son los actores, en donde actúan, y qué problemáticas están atendiendo es fundamental.

Fuente Administrativa: SEDIS. Dirección de Participación y Vinculación Social.

Usuario Primario: SEDIS. Dirección de Participación y Vinculación Social

Registro administrativo: Padrón de las Organizaciones Civiles del Estado de Jalisco

Indicador MIR: Número de Asociaciones Civiles del Estado de Jalisco registrada en el padrón

Otro producto estadístico: Reporte interno

80

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos de gestión

llevados a cabo por la fuente administrativa, para mantener y gestionar al registro, y que son clave para la

elaboración de productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

81

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 -en la gráfica. El indicador relativo a la unión de registro de los archivos de datos no aplica, porque

este padrón está constituido de una sola tabla. Igualmente, no se editan los datos, tampoco se realizan procesos

de imputación por lo que el indicador de procesamiento de datos no aplica e indica un 0.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10 Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

82

Análisis de Problemas Acciones de mejora

Problema detectado

Causas del problema No. Corrección Acción correctiva Observaciones

No existen procedimientos documentados para preservar la confidencialidad, integridad y disponibilidad de los datos del RA.

El registro administrativo se encuentra en un solo equipo informático y no se ha realizado aún la implementación y documentación de los procedimientos de seguridad de la información (confidencialidad, integridad y disponibilidad).

1

Documentar e implementar los procedimientos para preservar la confidencialidad, integridad y disponibilidad de la información del padrón de organizaciones civiles

1. Reunión del equipo de trabajo (Dirección de Participación y Vinculación Social) para elaborar la Ruta Crítica de la mejora. 2. Reunión de la Dirección de Participación y Vinculación Social con el área de informática para acordar la implementación de los mecanismos de seguridad de datos

El área responsable del fortalecimiento y documentación de los procesos relacionados con la seguridad de la información es la coordinación de Informática que depende de la Dirección General Administrativa de la SEDIS. Pregunta 25

Los procesos de protección física de los datos no están documentados.

No existe una coordinación efectiva de la Dirección de Participación y Vinculación Social con la Coordinación de Informática para conocer los procesos implementados para asegurar la seguridad de los datos y fomentar su documentación y difusión.

2

Documentar los procedimiento de protección física de los datos del Registro Administrativo

Realizar una reunión entre la Dirección de Participación y Vinculación Social y la Coordinación de Informática para conocer los procesos de protección física implementados, fomentar su documentación y difusión a los usuarios de los equipos informáticos.

Pregunta 26

Las políticas de respaldo de los datos no están documentadas.

Los respaldos de datos se realizan pero no se ha integrado y difundido un documento con las políticas de respaldo de datos de las diferentes direcciones.

3

Elaborar la política de respaldo de datos de la SEDIS y difundirla internamente

Integrar un grupo de trabajo institucional conformado por el personal de la Coordinación de Informática y las direcciones involucradas en aprovechamiento estadístico de RRAA para la identificación de necesidades de seguridad de datos y el desarrollo de las estrategias.

Se recomienda pedir apoyo a la DGTI de la SEPAF para la definición de la política institucional de respaldo de datos. Pregunta 27

No existe un método alternativo para subsanar la falta de oportunidad de la información.

Los informantes (OSC) no completan el proceso de captura de información.

4

Trabajo coordinado con las OSC s para asegurar que proporcionen la información completa y en tiempo en el expediente de registro al padrón.

1. Realizar reuniones de capacitación entre los asesores de la Dirección de Participación y Vinculación Social y los enlaces administrativos de las OSC. 2. Fomentar actividades de seguimiento documental eficiente a los expedientes de registro al padrón por parte de los asesores de la Dirección de Participación y Vinculación Social.

Pregunta 34

83

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Aunque se realizan procedimientos de control de captura de datos, control de cambios y control de consistencia no están documentados.

Ausencia de documentación de procesos asociados a los procedimientos de control de captura y de consistencia de datos.

5

Documentar los controles de calidad aplicados a los datos a la captura.

1. Capacitar al personal de la Dirección de Participación y Vinculación Social en procesos de Producción de RRAA para su aprovechamiento estadístico. 2. Identificar los controles de calidad necesarios y documentarlos. 3. En coordinación con la Dirección General Administrativa, revisar y documentar el proceso completo del Registro Administrativo (manual de proceso).

Se tienen que definir los criterios de validación para evitar y/o solucionar posibles problemas de omisión, respuestas múltiples e inconsistencias en los datos que se registren. Preguntas 39-41

Existe un procedimiento establecido para la modificación de los datos del RA pero no está documentado.

Ausencia de procesos de documentación asociados a la gestión de los datos del RA.

6

Documentar los procedimientos y modificaciones que se realizan al RA después de la captura.

1. Identificar las modificaciones y documentarlas. 2. En coordinación con la Dirección General Administrativa, revisar y documentar el proceso completo del RA (manual de proceso).

Pregunta 46

No se documentan los metadatos del Registro Administrativo.

No existen procesos de documentación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares nacionales e internacionales.

7

Integrar el metadato del Registro Administrativo en sus etapas de planeación, diseño, ejecución (recolección, procesamiento y análisis)

1. Capacitar al personal en la documentación de metadatos utilizando la norma INEGI derivada del estándar (DDI) 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. No se considera en el presupuesto. Pregunta 53

No existen combinaciones únicas de variables.

No se ha identificado la necesidad de crear combinaciones únicas de variables.

8 Realizar combinaciones únicas de variables

Diseñar y documentar la base de datos del padrón único de OSC con la Coordinación de Informática y evaluar la necesidad de crear combinaciones únicas de variables.

El RRAA todavía no se encuentra en un servidor de la SEDIS. Está en una base de datos local (MYSQL). Pregunta 59

84

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Existen clasificaciones erróneas de las unidades de observación. Es decir: las observaciones se ajustan a la definición de la unidad de observación del registro, pero han sido clasificadas erróneamente.

Ausencia de procesos estandarizados de control de calidad de los datos a la captura con relación a las unidades de análisis del registro.

9

Reducir el número de errores de clasificación de las OSC.

Capacitar a los enlaces administrativos de las OSC en la captura del Registro Administrativo y asegurar que la guía asociada a la pantalla de captura contenga una definición clara de los tipos de OSC.

Pregunta 68

Existen registros sin datos

Ausencia de procesos estandarizados de control de calidad de los datos a la captura.

10 Reducir el número de registros sin datos.

1. Implementar procedimientos de control de calidad a la captura que impiden la generación de registros en blanco. 2. Diseñar y documentar la base de datos del padrón único de OSC con la Coordinación de Informática.

Pregunta 71

Existen variables sin datos

Ausencia de procesos estandarizados de control de calidad de los datos a la captura

11 Reducir el número de variables sin datos.

1. Capacitar a las OSC en la captura del Registro Administrativo. 2. Revisar y complementar las guías de captura del registro.

Pregunta 72

El director o supervisor realiza controles al proceso estadístico de la Dirección de Participación y Vinculación Social pero no se realizan auditorías internas institucionales.

El proceso de aprovechamiento de del padrón de OSC para fines estadístico no está mapeado dentro de una modelo de gestión de calidad de la institución.

12

Implementación y documentación de mecanismos de auditorías internas para asegurar la calidad de los RRAA.

1. Transmitir a la Dirección General Administrativa de la SEDIS la necesidad de implementar un sistema institucional de gestión de calidad y llevar de forma sistemática auditorías internas (calidad, gestión, informáticas). 2. Mapear los procesos asociados al aprovechamiento estadístico del padrón de OSC e insertarlo en el modelo de gestión de calidad de la institución. 3. Organizar evaluaciones de procesos entre pares es decir entre direcciones de la SEDIS que llevan a cabo un proceso de aprovechamiento de RA.

Pregunta 73

Existen registros sin códigos

Ausencia de mecanismos de gestión de calidad a la captura de los datos.

13 Reducir el número de registros sin códigos

1. Capacitar a los enlaces administrativos de los OSC en la captura del Registro Administrativo. 2. Revisar y complementar las guías de captura del registro.

Pregunta 82

85

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realizan encuestas de satisfacción al usuario final es decir al usuario del producto estadístico (indicador y/o reportes internos).

Se realizan comunicaciones internas entre el personal que genera el producto estadístico y el usuario final pero no se ha visto la necesidad de levantar encuestas de satisfacción.

14 Documentar la satisfacción de los usuarios finales del producto estadístico.

Aplicar un cuestionario al usuario del reporte interno y/o indicador para conocer su satisfacción en cuanto a la calidad del producto final en cuanto a oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Pregunta 13 (producto estadístico).

No existen metadatos del producto estadístico

Ausencia de documentación de los procesos de gestión de datos asociados a los padrones de la SEDIS.

15

Integrar el metadato del Registro Administrativo y la ficha de metadato del cuadro estadístico.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RRAA. 3. Documentar el Registro Administrativo a través del uso de la normativa INEGI derivada del estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores y reportes internos.

Es importante garantizar que los usuarios dispongan de los metadatos para comprender los datos, incluyendo sus puntos fuertes y sus limitaciones. Pregunta 18 (Producto estadístico)

86

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

3.64 0.81 0 7 Aceptable 3 4 4 3.54

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo del programa de Apoyo a Adultos Mayores.

Fuente Administrativa: SEDIS. Dirección General de Programas Sociales.

Usuario Primario: SEDIS. Dirección General de Política Social.

Registro administrativo: Padrón de Adultos Mayores (Suspensión de Adultos Mayores)

Indicador MIR: Número de Beneficiarios del programa de apoyo a Adultos Mayores

Porcentaje de suspensiones a beneficiarios que no fueron verificados con supervivencia efectiva a través de

visitas, o presentación física.

87

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

88

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica, por ejemplo no se realizaban al momento de la evaluación uniones de registros entre

varios archivos de datos. Situación que debería cambiar en el momento de integración de un padrón único de

beneficiarios de la SEDIS.

3. Análisis de problemas e identificación de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

89

Análisis de problema Acciones de mejora

Problema detectado Causas del problema

No. Corrección Acción correctiva Observaciones

No se evalúan como están entregados los datos de la Dirección General de Programas Sociales a la Dirección General de Políticas Sociales. No se realizan acciones concretas como encuestas para conocer y documentar los requerimientos y satisfacción de la dirección de políticas sociales (Usuario Primario).

Ausencia de proceso de documentación de los requerimientos y satisfacción de datos para la integración de los productos estadísticos.

1

Documentar la demanda de información de la Dirección General de Políticas Sociales (requerimientos y satisfacción)

1. Organizar reuniones periódicas entre la Dirección General de Programas Sociales (fuente administrativa) y la Dirección General de Políticas Sociales (Usuario Primario) para documentar su satisfacción y requerimientos a través de una minuta de la reunión. 2. En coordinación con la Dirección de Política Social acordar el mecanismo más adecuado para documentar sus requerimientos y satisfacción: reuniones regulares y documentadas, portal interno en la web o aplicación de la encuesta de satisfacción

En el marco del taller HECRA se entregó un formato de encuesta que se recomienda aplicar para conocer la satisfacción del Usuario Primario. Preguntas 18-19

Las políticas de respaldo de los datos no están documentadas. Los respaldos se realizan pero no se ha integrado y difundido un documento con las políticas de respaldo de datos de las diferentes direcciones.

Ausencia de documentación de procesos relacionados con la seguridad de la información en la SEDIS.

2

Integrar la política de respaldo de datos de la SEDIS y difundirla.

Conformar un grupo de trabajo institucional conformado por el personal de la Coordinación de Informática y las direcciones involucradas en aprovechamiento estadístico de RRAA para la identificación de necesidades de seguridad de datos y el desarrollo de las estrategias.

El área responsable del fortalecimiento y documentación de los procesos relacionados con la seguridad de la información es la Coordinación de Informática que depende de la Dirección General Administrativa de la SEDIS. También se recomienda pedir apoyo a la DGTI de la SEPAF para la integración de la política institucional de respaldo de datos. Pregunta 27

90

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un método alternativo para subsanar la falta de información a tiempo y evitar retraso en la entrega de datos a la Dirección General de Políticas Social.

La Dirección General de Programas Sociales cuenta con poco personal para llevar a cabo la revalidación de beneficiarios del programa Apoyo a Adultos Mayores lo que provoca retrasos en la integración del padrón.

3

Incrementar el personal del equipo de trabajo técnico para asegurar la revalidación de los beneficiarios del programa Apoyo a Adultos Mayores

Integrar un requerimiento justificado a la Dirección General Administrativa para la contratación de personal adicional que apoye en la tarea de revalidación de supervivencia de beneficiarios del programa.

El informante consideró la falta de información en la etapa de captura. Se recomienda revisar la pregunta en HECRA. La pregunta está más orientada a la falta de información debido a fallas en sistemas o mantenimientos que pueden causar problemas en el acceso a los datos. Pregunta 34

Aunque se realizan procedimientos de control de captura de datos, control de cambios y control de consistencia no están documentados.

No existen procesos de documentación de los mecanismos de control de captura y de cambios de datos del archivo consolidado del padrón de beneficiarios. No existe un modelo institucional de gestión de calidad de los datos.

4

Documentar los controles de calidad de los datos en todas las etapas del proceso de captura del registro administrativo.

1. Capacitar al personal de la Dirección General de Programas Sociales en procesos de producción de RRAA para su aprovechamiento estadístico. 2. Identificar los controles de calidad necesarios y documentarlos. Se tienen que definir los criterios de validación para evitar y/o solucionar posibles problemas de omisión, duplicación de registros, e inconsistencias en los datos que se registren. 3. Coordinación entre la Dirección General de Programas Sociales y la Dirección General Administrativa para revisar y documentar el proceso completo del Registro Administrativo asociado al padrón de Adultos Mayores. (manual de proceso).

Preguntas 39-41

No se sigue un proceso documentado para verificar las unidades de observación (adulto mayor) incluidas en el Registro Administrativo.

Ausencia de procesos de documentación de la gestión de los datos del RA.

5

Documentar las acciones implementados para verificar que la persona registrada en el padrón sea un adulto mayor

1. Identificar los controles que se realizan para verificar que la información que se captura está asociada a un adulto mayor, beneficiario del programa. 2. Integrar el manual de procesos del RA.

Pregunta 43

91

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No están documentados los controles implementados para verificar el contenido de las variables del padrón después de la captura.

Ausencia de procesos de documentación de la gestión de los datos del RA.

6

Documentar los controles implementados, después de la captura, para asegurar que los datos levantados estén correctos.

Identificar y documentar en el manual de proceso del padrón los controles de calidad implementados en la etapa posterior a la captura y documentarlos. Se tendrá que documentar los procedimientos informáticos (consultas a la base de datos) y/o metodología aplicada (muestreo por ejemplo).

Preguntas 43-45

No se documentan los metadatos del Registro Administrativo.

No se tiene el conocimiento técnico para la integración de metadatos con estándares nacionales e internacionales.

7

Integrar el metadato del Registro Administrativo en formato DDI.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el RA en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

Algunas variables no tienen una definición clara. No se acuerda con la Dirección General de Política Social el diccionario de datos de las variables que se usan en la generación de los indicadores o reportes internos.

Ausencia de coordinación de la Dirección General de Programas Sociales con la Dirección General de Políticas Social para identificar sus requerimientos en cuanto a los datos del padrón.

8

Integrar un diccionario de datos de las principales variables de la operación estadísticas.

1. Crear un grupo de trabajo entre las dos direcciones involucradas para la integración de un diccionario de variables. 2. Aprobar el diccionario de datos. La Dirección General Administrativa lo aprueba y lo reconoce como documento normativo en la SEDIS.

Pregunta 55

No hay validación de los datos lo que provoca errores de clasificación, presencia de variables sin datos, y registros duplicados

Ausencia de implementación de controles en la producción estadística.

9

Diseño, implementación y documentación del proceso de control de calidad de la base de datos.

1. Asegurar un trabajo coordinado entre la Dirección General de Programas Sociales y la Coordinación de Informática para la implementación de los controles de calidad de datos en la base de datos de los padrones del SEDIS. 2. Fortalecer la capacitación del personal responsable de la captura para evitar la falta de datos a nivel de preguntas que se generan en el momento de la captura de los datos del beneficiario.

Preguntas 68-72

92

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realizan auditorías internas documentadas al proceso estadístico que realiza la Dirección General de Políticas Social.

El proceso de aprovechamiento del padrón de adultos mayores para fines estadístico no está mapeado dentro de una modelo de gestión de calidad de la institución.

10

Implementación y documentación de mecanismos de auditorías internas para asegurar la calidad de los RRAA.

1. Transmitir a la Dirección General Administrativa de la SEDIS la necesidad de implementar un sistema institucional de gestión de calidad y llevar de forma sistemática auditorías internas (calidad, gestión, informáticas). 2. Mapear los procesos asociados al aprovechamiento estadístico del padrón de adultos mayores e insertarlo en el modelo de gestión de calidad de la institución.

Como se ha mencionado anteriormente, se recomienda organizar evaluaciones de procesos entre pares es decir entre direcciones de la SEDIS que llevan a cabo un proceso de aprovechamiento de Registro Administrativo. Pregunta 73

Los cuadros de salida de la operación estadística no son validados a través de métodos automáticos. No se ha contemplado la aplicación de controles de calidad automatizado a los productos estadísticos finales. La verificación se hace de manera visual.

No están estandarizados procesos de control de calidad institucional de los productos estadísticos.

11

Diseñar e implementar los mecanismos de validación de automáticos de los cuadros estadísticos.

Trabajo coordinado con la Coordinación de Informática para asegurar la automatización de la validación de cuadros de salida a partir de la base de datos del padrón único que se está construyendo.

Desde la fase de planeación e diseño de productos estadísticos se tendrían que diseñar los controles de calidad de la información. Pregunta 86

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No existe la cultura de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno o a usuarios finales dentro de la SEDIS.

12 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico (indicador, boletín, infografía). 2. Aplicar una encuesta de satisfacción a los usuarios identificados de los indicadores e infografías para conocer su satisfacción en cuanto a la calidad del producto final en cuanto a oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Se recomienda usar formato de encuesta a usuarios finales entregado durante el taller HECRA. Existen mecanismos de consulta que se pueden implementar desde el portal de la SEDIS. A la descarga de la infografía se puede realizar una identificación del tipo de usuario y una encuesta breve de satisfacción del producto. Pregunta 13

93

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

3.99 0.87 0 5 Aceptable 3 5 4 3.97

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo del programa de apoyo a Jefas de Familias.

Fuente Administrativa: SEDIS. Dirección General de Programas Sociales

Usuario Primario: SEDIS. Dirección General de Política Social

Registro administrativo: Padrón de Jefas de familia

Indicadores MIR: Porcentaje de Mujeres Jefas de Hogar apoyadas por el Programa Apoyo a Mujeres Jefas

de Familia en la vertiente de calidad alimentaria en el año

Porcentaje de bajas por incumplimiento de criterios de elegibilidad de beneficiarias del Programa Apoyo a

Mujeres Jefas de Familia con relación a las beneficiarias con información validada mediante visita

domiciliaria

Otro producto estadístico: Infografía de Indicadores con perspectiva de género

94

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

95

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.9. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.10. Actualidad de los datos

III.11. Registros múltiples

III.12. Otros controles

Calidad asociada a los datos

96

Análisis de Problemas Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se conocen los requerimientos de información y satisfacción de la Dirección General de Política Social

No existe la cultura de evaluación de cómo están entregados los servicios/ información de un área a otra dentro de la institución. La Dirección General de Programas Sociales no realiza acciones concretas (como reuniones o encuestas) para conocer los requerimientos y satisfacción Dirección General de Política Social.

1

Documentar los requerimientos y satisfacción de la Dirección General de Política Social

1. Organizar reuniones periódicas entre la Dirección General de Programas Sociales (fuente administrativa) y la Dirección General de Política Social (Usuario Primario) para documentar su satisfacción y requerimientos a través de una minuta de la reunión. 2. En coordinación con la Dirección de Política Social acordar el mecanismo más adecuado para documentar sus requerimientos y satisfacción: reuniones regulares y documentadas, portal interno en la web o aplicación de la encuesta de satisfacción

En el marco del taller HECRA se entregó un formato de encuesta que se recomienda aplicar para conocer la satisfacción del Usuario Primario. Preguntas 18-19

No existen procesos documentados que definan los mecanismos para garantizar la confidencialidad, integridad y disponibilidad de los datos del padrón de beneficiarios de Jefas de Familias. Si bien se asegura la confidencialidad de los datos del padrón para su difusión, no se han documentados los mecanismos internos de seguridad de datos.

La SEDIS no cuenta con una política institucional de seguridad de datos.

2

Integrar la política institucional de seguridad de datos.

Integrar un grupo de trabajo bajo el liderazgo de la Coordinación de Informática para la integración de la política de seguridad de la información en la SEDIS.

La seguridad de datos es una responsabilidad institucional, pero el área responsable de su fortalecimiento y documentación es la Coordinación de Informática que depende de la Dirección General Administrativa de la SEDIS. Pregunta 25

Los procesos de protección física de los datos no están documentados.

Ausencia de documentación de procesos relacionados con la seguridad de información en la SEDIS.

3

Documentar los procedimientos de protección física de los datos y difundirlos.

1. Realizar una reunión con la Coordinación de Informática para conocer los procesos de protección física implementados. 2. Fomentar la documentación de los procesos de protección física de los datos (por ejemplo: robo de computadoras, uso de computadoras personales en el lugar de trabajo acceso a servidores). 3. La Coordinación de Informática tendrá que difundir la documentación con los usuarios de los equipos informáticos.

Pregunta 26

97

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Los lineamientos de respaldo de los datos no están documentados. Los respaldos se realizan pero no se ha integrado y difundido un documento con las políticas de respaldo de datos de los equipos de las diferentes direcciones.

Ausencia de documentación de procesos relacionados con la seguridad de información en la SEDIS.

4

Documentar los lineamientos de respaldo de datos de la SEDIS y difundirlos.

1. Conformar un grupo de trabajo institucional bajo el liderazgo de la Coordinación de Informática para la identificación y documentación de las necesidades de procedimientos de respaldo de datos (medios, frecuencias, tiempos de preservación de datos) de los padrones y datos estadísticos. 2. Integrar y difundir los lineamientos de respaldo de datos

Se recomienda pedir apoyo a la DGTI de la SEPAF para la integración de la política institucional de respaldo de datos. Pregunta 27

No existe un método alternativo para subsanar la falta de información a tiempo y evitar retraso en la entrega de datos a la Dirección General de Política Social.

La Dirección General de Programas Sociales cuenta con poco personal para llevar a cabo la revalidación de beneficiarios del programa Apoyo a Adultos Mayores lo que provoca retrasos en la integración del padrón.

5

Incrementar el personal del equipo de trabajo técnico para asegurar la revalidación de los beneficiarios del programa Apoyo a Jefas de Familia.

Integrar un requerimiento justificado a la Dirección General Administrativa para la contratación de personal adicional que apoye en la tarea de revalidación de supervivencia de beneficiarios del programa.

Se recomienda revisar la pregunta en HECRA. La pregunta está más orientada a la falta de información debido a fallas en sistemas o mantenimientos que pueden causar problemas en el acceso a los datos. Pregunta 34

Aunque se realizan procedimientos de control de captura de datos, control de cambios y control de consistencia no están documentados.

No existen procesos de documentación de los mecanismos de control de captura y de cambios de datos del archivo consolidado del padrón de beneficiarios. No existe un modelo institucional de gestión de calidad de los datos.

6

Documentar los controles de calidad de los datos en todas las etapas del proceso de captura del registro administrativo.

1. Capacitar al personal de la Dirección General de Programas Sociales en procesos de producción de RA para su aprovechamiento estadístico. 2. Identificar los controles de calidad necesarios y documentarlos. Se tienen que definir los criterios de validación para evitar y/o solucionar posibles problemas de omisión, duplicación de registros, e inconsistencias en los datos que se registren. 3. Coordinación entre la Dirección General de Programas Sociales y la Dirección General Administrativa para revisar y documentar el proceso completo del RA asociado al padrón de Jefas de Familias (manual de proceso).

Preguntas 39-41

98

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se ha implementado un mecanismo de consulta entre la fuente de datos administrativos y el Usuario Primario con el propósito de mejorar continuamente el RA. No se cuenta con un grupo de trabajo de acuerdo a un plan establecido.

Ausencia de procedimientos institucionales para la mejora continua de los procesos estadísticos.

7

Conformar un grupo de trabajo entre la fuente administrativa (Dirección General de Programas Sociales) y el Usuario Primario (Dirección de Políticas sociales)

Establecer un plan de trabajo y calendario de reuniones para la revisión del proceso y dar seguimiento al plan de mejora del padrón de Jefas de Familias.

El grupo de trabajo puede dar el seguimiento a los Planes de Mejora de tres de los RRAA de la Dirección General de Programas Sociales evaluados (Adultos mayores, Becas Indígenas y jefas de familia). Pregunta 42

No existe documentación de los controles de la unidad de observación y de los controles de contenido de variables.

Ausencia de procesos de documentación de la gestión de los datos del RA para su aprovechamiento estadístico.

8

Documentar los procesos de verificación de la unidad de observación y los mecanismos de control de contenido las variables en la base de datos.

1. Identificar los controles de calidad implementados posteriormente a la captura para verificar la unidad de observación y que los valores de las variables sean los correctos. 2. Documentar los procesamientos de control de calidad (metodologías de muestreo, consulta a la bases de datos, verificación visual de algunos datos, confrontación con otras bases de datos) (manual de proceso)

Preguntas 42-46

No se documentan los metadatos del Registro Administrativo.

No se tiene en la SEDIS el conocimiento técnico para la integración de metadatos con estándares nacionales e internacionales.

9

Integrar el metadato del Registro Administrativo

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Integrar en el reglamento interior de la SEDIS la obligación de documentar los datos de los padrones de beneficiarios.

Pregunta 53

99

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Existen variables sin datos. Sobre todo en las variables: Afiliación a servicios de salud e Ingreso Mensual Familiar.

Captura incompleta de los datos en el formato de algunas variables por desconocimiento de los beneficiarios, a veces no son los titulares de la afiliación a un servicio de salud. También puede ser que el beneficiario no conteste esta pregunta pensando que comunicar su afiliación o ingreso podría tener un impacto negativo sobre el apoyo recibido a través del programa de apoyo a jefas de familia.

10

Actualizar el instrumento de recolección de datos (Formato de registro)

1. Revisar las preguntas del formato de captura asociadas con las variables sin datos y modificarlas para asegurar que el beneficiario entienda el sentido de la pregunta. 2. Capacitar al personal de captura. 3. Aplicar de nuevo el cuestionario para captar la información completa.

Evaluar la pertinencia de captar la información faltante de otros padrones o RRAA de la Secretaría de Salud. Pregunta 72

Aunque se realizan de manera informal controles por parte de un supervisor al proceso estadístico, no se realizan auditorías internas documentadas

El proceso de aprovechamiento del padrón de jefas de familia para fines estadísticos no está mapeado dentro de un modelo de gestión de calidad de la institución.

11

Implementación y documentación de mecanismos de auditorías internas para asegurar la calidad del Registro Administrativo.

1. Transmitir a la Dirección General Administrativa de la SEDIS la necesidad de implementar un sistema institucional de gestión de calidad y llevar de forma sistemática auditorías internas (calidad, gestión, informáticas). 2. Mapear los procesos asociados al aprovechamiento estadístico del padrón de jefas de familia e insertarlo en el modelo de gestión de calidad de la institución.

Como se ha mencionado anteriormente, se recomienda organizar evaluaciones de procesos entre pares es decir entre direcciones de la SEDIS que llevan a cabo un proceso de aprovechamiento del RA. Pregunta 73

No se utilizan clasificadores estándares nacionales o internacionales.

Por falta de conocimiento del personal en la materia, no se han identificado los sistemas nacionales y/o internacionales de clasificación que se podrían usar desde la captura de los datos del registro.

12

Usar clasificadores estándares o códigos para las variables en dónde aplican.

1. Consultar los sistemas nacionales e internacionales de clasificación. 2. Hacer una petición al CEIEG para la realización de una capacitación sobre códigos y clasificadores estándares en temáticas sociales. 3. Usar clasificadores estándares o códigos para variables dónde aplican.

Se recomienda consultar la lista de clasificadores estándares desde el portal del INEGI. Por ejemplo Clasificación de parentesco 2011. Pregunta 79

100

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Los cuadros de salida de la operación estadística no son validados a través de métodos automáticos. La verificación se hace de manera visual.

No están estandarizados los procesos de control de calidad en la SEDIS. No se ha contemplado la aplicación de controles de calidad automatizado a los productos estadísticos finales.

13

Diseñar e implementar los mecanismos de validación de automáticos de los cuadros estadísticos.

Trabajo coordinado con la Coordinación de Informática para asegurar la automatización de la validación de cuadros de salida a partir de la base de datos del padrón único que se está construyendo.

Desde la fase de planeación e diseño de productos estadísticos se tendrían que diseñar los controles de calidad de la información. Pregunta 86

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No existe la cultura de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno o a usuarios finales dentro de la SEDIS.

14 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico (indicador, boletín, infografía). 2. Aplicar una encuesta de satisfacción a los usuarios identificados de los indicadores e infografías para conocer su satisfacción en cuanto a la calidad del producto final en cuanto a oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Se recomienda usar formato de encuesta a usuarios finales entregado durante el taller HECRA. Existen mecanismos de consulta que se pueden implementar desde el portal de la SEDIS. A la descarga de la infografía se puede realizar una identificación del tipo de usuario y una encuesta breve de satisfacción del producto. Pregunta 13

No existen metadatos del producto estadístico

Ausencia de documentación de los procesos de gestión de datos asociados a los padrones de la SEDIS.

15

Integrar el metadato del RA y la ficha de metadato del cuadro estadístico.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el RA a través del uso de la normativa INEGI derivada del estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores y reportes internos.

Es importante garantizar que los usuarios dispongan de los metadatos para comprender los datos, incluyendo sus puntos fuertes y sus limitaciones. Pregunta 18 (Producto estadístico)

101

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

3.02 0.78 2 13 Aceptable 2 4 3 3.09

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo del programa de Piso Firme.

Fuente Administrativa: SEDIS. Dirección de Desarrollo y Fortalecimiento Social.

Usuario Primario: SEDIS. Dirección de Desarrollo y Fortalecimiento Social

Registro administrativo: Padrón del Programa Piso Firme

Indicador MIR: Porcentaje de población objetivo efectivamente beneficiada con piso firme

Otro producto estadístico: Reporte interno

102

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

103

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

104

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen protocolos de intercambio seguro de información entre la fuente de datos administrativa y el Usuario Primario. El registro Piso Firme no está integrado a la base de datos de padrones de la SEDIS por lo entre el personal de la Dirección de Desarrollo y Fortalecimiento Social se realiza fuera de una ambiente seguro (base de datos).

La actividad estadística no está documentada dentro de los manuales de procedimientos del padrón de beneficiarios. Tampoco se aseguran mecanismos seguros de entrega de datos.

1

Integrar el protocolo de entrega de datos entre el personal de la Dirección de Desarrollo y Fortalecimiento Social.

1. Elaborar un protocolo de intercambio seguro de información entre los usuarios de los datos del padrón Piso Firme. 2. Crear un grupo de trabajo institucional para el diseño e implementación de la política de seguridad de la información de la SEDIS que integre los lineamientos de entrega de datos (medios, confidencialidad, frecuencia, responsabilidades)

El área responsable del fortalecimiento y documentación de los procesos relacionados con la seguridad de la información es la Coordinación de Informática que depende de la Dirección General Administrativa de la SEDIS. Pregunta 24

No existen mecanismos documentados para preservar la confidencialidad, integridad y disponibilidad de la información

Ausencia de documentación de procesos relacionados con la seguridad de información en la SEDIS. El manual de procedimiento del RA no incluye el mecanismo para preservación de la confidencialidad, integridad y disponibilidad de los datos estadísticos.

2 Establecer la política de seguridad de la información

Diseñar y documentar el procedimiento para la preservación de la confidencialidad, integridad y disponibilidad de la información del Padrón de Piso Firme mientras no se integra a una base de datos central.

El Registro todavía no se integra a una base de datos. Al diseñar e implementar su integración a la base de datos del SEDIS se fortalecerá la seguridad de los datos del padrón Piso Firme. Pregunta 25

En caso de pérdida de información o falta de acceso al sistema, no se cuenta con un método alternativo para el cálculo de los indicadores y generación de producto estadístico.

No se ha contemplado la integración de un plan de contingencia. Falta de documentación de los procesos relacionados a la seguridad y disponibilidad de la información.

3

Integrar un plan de contingencia para los datos del padrón Piso Firme.

Integrar un grupo de trabajo institucional para el diseño del plan de contingencia de los datos de los padrones de la SEDIS e integrarlo a la política de seguridad institucional. Este plan tendrá que considerar los datos que todavía se gestionan fuera de la base de datos central de la SEDIS.

Pregunta 34

105

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realiza la documentación de los controles de cambios en procedimientos y/o definiciones para asegurar transparencia y trazabilidad de cambios.

Falta de procesos de documentación de los mecanismos de control de calidad y de cambios a lo largo del proceso estadístico.

4

Implementar un procedimiento de control de cambios de los procedimientos y/o definiciones.

1. Implementación de un mecanismo para registrar los cambios que se realizan en los procedimientos estadísticos. 2. Documentar los mecanismos de control de cambio en procedimientos y/o definiciones.

La documentación de los controles de cambio en procedimientos y/o definiciones se tiene que implementar desde las pantallas de captura/ tratamiento de datos Preguntas 39-41

Ausencia de mecanismos documentados de consulta entre la fuente administrativa y el Usuario Primario para asegurar la mejora continua. Las reuniones de la Dirección de Fortalecimiento y Desarrollo Social son informales.

Ausencia de una memoria documentada de la mejora continua al proceso estadístico. No se había identificado la necesidad de documentar las reuniones relativas a la mejora del Registro Administrativo.

5

Documentar las consultas entre el personal de la dirección de Fortalecimiento y Desarrollo Social

Integrar un formato para la documentación de las consultas. El formato se puede usar en las reuniones programadas para el proceso de mejora continua. También se puede implementar una aplicación en línea para el seguimiento de los acuerdos.

La implementación y seguimiento al plan de mejora puede ser el medio por el cual se documenten las consultas Pregunta 42

No se usa un manejador de base datos para la gestión de los datos del padrón Piso Firme.

No se ha integrado el padrón a la base de datos que está desarrollando la Coordinación de Informática. Su integración depende del plan de trabajo de la coordinación de informática.

6

Diseño e Implementación de la base de datos del padrón Piso Firme.

1. Integrar las especificaciones para el desarrollo de la base de datos. 2. Solicitar a la Coordinación de Informática la implementación de la base de datos en la plataforma única SEDIS.

Pregunta 49

No se documentan los metadatos del Registro Administrativo.

No se tiene en la SEDIS el conocimiento técnico para la integración de metadatos con estándares nacionales e internacionales.

7 Integrar el metadato del Registro Administrativo

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el RA en un formato estándar (DDI). 4. Integrar en el reglamento interior de la SEDIS la obligación de documentar los datos de los padrones de beneficiarios.

Pregunta 53

106

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Existen variables sin datos en el archivo del padrón de beneficiario Piso Firme

Captura incompleta de algunas variables en el formato. (No se identificó de manera más específica el porqué).

8

Actualizar el instrumento de recolección de datos (Formato de registro)

1. Revisar las preguntas del formato de captura asociadas con las variables sin datos y modificarlas si es pertinente. 2. Capacitar al personal de captura 3. Aplicar de nuevo el cuestionario para captar la información completa.

Se recomienda analizar la causa para integrar una acción de mejora más específica. Pregunta 72

Aunque se realizan de manera informal controles por parte de un supervisor al proceso estadístico, no se realizan auditorías internas documentadas

El proceso de aprovechamiento del padrón de jefas de familia para fines estadístico no está mapeado dentro de una modelo de gestión de calidad de la institución.

9

Implementación y documentación de mecanismos de auditorías internas para asegurar la calidad del Registro Administrativo.

1. Transmitir a la Dirección General Administrativa de la SEDIS la necesidad de implementar un sistema institucional de gestión de calidad y llevar de forma sistemática auditorías internas (calidad, gestión, informáticas). 2. Mapear los procesos asociados al aprovechamiento estadístico del padrón de Piso Firme e insertarlo en el modelo de gestión de calidad de la institución.

Como sea mencionado anteriormente, se recomienda organizar evaluaciones de procesos entre pares es decir entre direcciones de la SEDIS que llevan a cabo un proceso de aprovechamiento del Registro Administrativo. Pregunta 73

No se utilizan clasificadores estándar internacionales.

Por falta de conocimiento del personal en la materia, no se han identificado los sistemas nacionales y/o internacionales de clasificación que se podrían usar desde la captura de los datos del registro.

10

Usar clasificadores estándares o códigos para las variables en dónde aplican.

1. Consultar los sistemas nacionales e internacionales de clasificación en el portal del INEGI. 2. Hacer una petición al CEIEG para la realización de una capacitación sobre códigos y clasificadores estándares en temáticas sociales. 3. Usar clasificadores estándares o códigos para las variables en dónde aplican.

Pregunta 79

Existen algunos registros duplicados en el archivo del padrón de Piso Firme.

Falta de personal capacitado en los puntos de captura. Ausencia de controles a la captura en la base de datos (duplicación de claves únicas de registros).

11

Reducir el número de registros duplicados en el archivo del padrón Piso Firme.

1. Implementar controles de consistencia a la captura de los datos. Se puede fortalecer este proceso en la implementación de la base de datos. 2. Uso de claves únicas de registros y combinación de variables para asegurar registros únicos en la base de datos. 3. Capacitación del personal responsable de la captura en llenado de los formatos.

Pregunta 84

107

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Los cuadros de salida de la operación estadística no son validados a través de métodos automáticos. La verificación se hace de manera visual.

No están estandarizados los procesos de control de calidad en la SEDIS. No se ha contemplado la aplicación de controles de calidad automatizado a los productos estadísticos finales.

12

Diseñar e implementar los mecanismos de validación de automáticos de los cuadros estadísticos.

Trabajo coordinado con la Coordinación de Informática para asegurar la automatización de la validación de cuadros de salida a partir de la base de datos del padrón único que se está construyendo y a la cual se integrará este padrón.

Desde la fase de planeación y diseño de productos estadísticos se tendrían que diseñar los controles de calidad de la información del producto estadístico. Pregunta 86

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No existe la cultura de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno o a usuarios finales dentro de la SEDIS.

13 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico (indicador, boletín, infografía). 2. Aplicar una encuesta de satisfacción a los usuarios identificados de los indicadores e infografías para conocer su satisfacción en cuanto a la calidad del producto final en cuanto a oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Se recomienda usar el formato de encuesta a usuarios finales entregado durante el taller HECRA. Existen mecanismos de consulta que se pueden implementar desde el portal de la SEDIS. A la descarga de la infografía se puede realizar una identificación del tipo de usuario y una encuesta breve de satisfacción del producto. Pregunta 13 (producto estadístico)

108

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

3.18 0.82 1 19 Aceptable 2 3 4 3.73

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo del programa de apoyo con becas.

Fuente Administrativa: SEDIS. Dirección General de Programas Sociales

Usuario Primario: SEDIS. Dirección General de Política Social

Registro administrativo: Padrón del Programa de Becas Indígenas

Indicador MIR: Número de beneficiarios del Programa Becas Indígenas

Otro producto estadístico: Reporte interno

109

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

110

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

111

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un marco legal (una ley o reglamentaciones que obligue al mantenimiento del registro administrativo del padrón de becas indígenas, lo que pone en riesgo su continuidad en el tiempo.

No se ha actualizado todavía el marco legal existente.

1 Actualizar el marco legal existente

1. Convocar una reunión con la Dirección Jurídica de la SEDIS para identificar y acordar las etapas a llevar a cabo para la actualización del marco normativo. 2. Actualizar el marco normativo.

Pregunta 20

No existen mecanismos documentados para preservar la confidencialidad, integridad y disponibilidad de la información

La SEDIS no cuenta con una política institucional de seguridad de datos.

2

Integrar la política institucional de seguridad de datos.

Integrar un grupo de trabajo bajo el liderazgo de la Coordinación de Informática para la integración de la política de seguridad de la información en la SEDIS.

La seguridad de datos es una responsabilidad institucional, pero el área responsable de su fortalecimiento y documentación es la Coordinación de Informática que depende de la Dirección General Administrativa de la SEDIS. Pregunta 25

No existen acuerdos de confidencialidad firmados para la entrega de datos entre la Dirección General de Programas Sociales y la Dirección General de Política Social.

No se ha detectado la necesidad de realizar acuerdos firmados de confidencialidad entre las partes.

3 Elaborar y firmar un acuerdo de confidencialidad

1. Generar un acuerdo de confidencialidad, como una resolución interna firmada por los funcionarios responsables de los datos o agregar en los contratos de trabajo una cláusula sobre la confidencialidad. 2. Implementar en SEDIS una política de seguridad de la información. 3. Capacitar y sensibilizar al personal sobre la gestión de información y la seguridad de datos.

Esta problemática no fue identificada en la evaluación de los otros RRAA de la SEDIS. Por lo que se recomienda verificar si no existe en el contrato del personal de SEDIS una claúsula de confidencialidad de los datos. Pregunta 23

No existen protocolos de intercambio seguros de información entre la Dirección General de Programas Sociales y la Dirección General de Política Social

Los procedimientos acordados de entrega que aseguran la seguridad de los datos no están documentados dentro de los manuales de procedimientos del padrón de beneficiario.

4

Integrar una política institucional de seguridad de la información que integre el protocolo de entrega de datos.

1. Elaborar un protocolo de intercambio seguro de información 2. Fomentar la creación de grupo de trabajo con el liderazgo de la Coordinación de Informática para el diseño e implementación de la política de seguridad de la información.

El área responsable del fortalecimiento y documentación de los procesos relacionados con la seguridad de la información es la Coordinación de Informática que depende de la Dirección General Administrativa de la SEDIS. Pregunta 24

112

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen procedimientos documentados de seguridad física de los datos y de respaldo de datos. Los respaldos se realizan pero no se ha integrado y difundido un documento con las políticas de respaldo de datos de los equipos de las diferentes direcciones.

Ausencia de documentación de procesos relacionados con la seguridad de información en la SEDIS.

5

Integrar los lineamientos de respaldo de datos y de seguridad física de los datos de la SEDIS y difundirlos.

Comunicar a la Coordinación de Informática la necesidad de contar con los lineamientos de respaldo de datos y seguridad física de datos. (ver recomendaciones en materia de seguridad de datos de los otros RRAA de la Dirección General de Programas Sociales)

Preguntas 26-27

En caso de pérdida de información o falta de acceso al sistema, no se cuenta con un método alternativo para el cálculo del indicador y generación de producto estadístico.

No se ha contemplado la integración de un plan de contingencia. Falta de documentación de los procesos relacionados a la seguridad y disponibilidad de la información.

6

Integrar un plan de contingencia para los datos del padrón de Becas indígenas.

Integrar un grupo de trabajo institucional para el diseño del plan de contingencia de los datos de los padrones de la SEDIS e integrarlo a la política de seguridad institucional.

Pregunta 34

No existen mecanismos de control de consistencia (de los rangos de variables por ejemplo) en el momento de la captura de los datos

Ausencia de procesos estandarizados de control de consistencia en la captura de los datos de los padrones.

7

Implementar mecanismos de control de consistencia de los datos.

1. Diseñar los controles de consistencia a la captura de los datos e implementarlos en colaboración con la Coordinación Informática. 2. Documentar los controles de consistencia.

Pregunta 40

No existen controles de contenido de las variables posteriores a la captura de los datos.

Ausencia de procesos estandarizados de control de calidad de los datos dentro de la base de datos.

8 Implementar los mecanismos de control de variables

1. Diseñar los controles de variables para verificar que la información sea la correcta e implementarlos en colaboración con la coordinación informática. 2. Documentar los mecanismos de controles implementados en la base de datos (consultas a la base de datos, muestreo para detectar errores, verificación visual de registros).

En caso de implementación de controles de consistencia a la captura se reducen los controles de variables en la base de datos, posteriormente a la captura. Pregunta 44

113

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un procedimiento documentado de control de cambios en los procedimientos y/o definiciones para asegurar transparencia, trazabilidad y asegurar que las series de datos sean comparables en el tiempo.

Ausencia de procesos de documentación de procedimientos de control a lo largo del proceso de aprovechamiento estadístico de los padrones.

9

Implementar un mecanismo de documentación de control de cambios en los procedimientos y/o definiciones de conceptos y/o variables.

1. Elaboración de un procedimiento para registrar los cambios que se realizan en los procedimientos y/o definiciones de conceptos o variables. 2. Documentar el procedimiento de control de cambio en procedimientos y/o definiciones.

Pregunta 48

No se documentan los metadatos del Registro Administrativo.

No se tiene en la SEDIS el conocimiento técnico para la integración de metadatos con estándares nacionales e internacionales.

10 Integrar el metadato del Registro Administrativo

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el RA en un formato estándar (DDI).

Pregunta 53

Aunque se realizan de manera informal controles por parte de un supervisor al proceso estadístico, no se realizan auditorías internas documentadas

El proceso de aprovechamiento del padrón de becas indígenas para fines estadístico no está mapeado dentro de una modelo de gestión de calidad de la institución.

11

Implementación y documentación de mecanismos de auditorías internas para asegurar la calidad del Registro Administrativo.

1. Transmitir a la Dirección General Administrativa de la SEDIS la necesidad de implementar un sistema institucional de gestión de calidad y llevar de forma sistemática auditorías internas (calidad, gestión, informáticas). 2. Mapear los procesos asociados al aprovechamiento estadístico del padrón de Becas Indígenas e insertarlo en el modelo de gestión de calidad de la institución.

Como se ha mencionado anteriormente, se recomienda organizar evaluaciones de procesos entre pares es decir entre direcciones de la SEDIS que llevan a cabo un proceso de aprovechamiento de RA. Pregunta 73

No se utilizan clasificadores estándar internacionales.

Por falta de conocimiento del personal en la materia, no se han identificado los sistemas nacionales y/o internacionales de clasificación que se podrían usar desde la captura de los datos del registro.

12

Usar clasificadores estándares o códigos para las variables en dónde aplican.

1. Consultar los sistemas nacionales e internacionales de clasificación en el portal del INEGI. 2. Hacer una petición al CEIEG para la realización de una capacitación sobre códigos y clasificadores estándares en temáticas sociales. 3. Usar clasificadores estándares o códigos para las variables en dónde aplican.

Pregunta 79

114

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Los cuadros de salida de la operación estadística no son validados a través de métodos automáticos. La verificación se hace de manera visual.

No están estandarizados los procesos de control de calidad en la SEDIS. No se ha contemplado la aplicación de controles de calidad automatizado a los productos estadísticos finales.

13

Diseñar e implementar los mecanismos de validación de automáticos de los cuadros estadísticos.

Trabajo coordinado con la Coordinación de Informática para asegurar la automatización de la validación de cuadros de salida a partir de la base de datos del padrón único que se está construyendo.

Desde la fase de planeación y diseño de productos estadísticos se tendrían que diseñar los controles de calidad de la información. Pregunta 86

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No existe la cultura de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno o a usuarios finales dentro de la SEDIS.

14 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico (indicador, boletín, infografía). 2. Aplicar una encuesta de satisfacción a los usuarios identificados de los indicadores e infografías para conocer su satisfacción en cuanto a la calidad del producto final en cuanto a oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Existen mecanismos de consulta que se pueden implementar desde el portal de la SEDIS. A la descarga de la infografía se puede realizar una identificación del tipo de usuario y una encuesta breve de satisfacción del producto. Pregunta 13

No existen metadatos del producto estadístico

No existen procesos de documentación de los datos del padrón.

15

Integrar metadato del RA y ficha de metadatos de cuadros estadístico

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores y reportes internos.

Es importante garantizar que los usuarios dispongan de los metadatos que necesiten para comprender los datos, incluyendo sus puntos fuertes y sus limitaciones. Estos metadatos, deben mantenerse al día mediante la incorporación de los últimos cambios en las definiciones, clasificaciones y metodología. Pregunta 18 (Producto estadístico)

115

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados de la

Secretaría de Desarrollo e Integración Social (SEDIS), y que representan aspectos generales o de alcance

institucional. La identificación e implementación de estrategias y acciones institucionales permitirán mejorar el

proceso de gestión de la información de los padrones de beneficiarios que están aprovechados para fines

estadísticos.

1. Entorno institucional, políticas y procedimientos: Falta de documentación de los procesos que aseguran la

integridad, confidencialidad y disponibilidad de la información.

2. Compromiso de entrega de los datos: Falta de acuerdos y documentación de protocolos de entrega.

3. Control y mejora continua: Falta de comunicación entre la fuente y el Usuario Primario

4. Documentación de los metadatos en formato DDI

5. Completitud: Presencia en los archivos de RRAA de variables sin datos

6. Medición: No se realizan auditorías internas al proceso.

7. Disponibilidad y transparencia: No hay metadato de producto. No se integran los metadatos de los cuadros

estadísticos.

8. Satisfacción de usuarios finales. No se mide la satisfacción del usuario final a través de reuniones

documentadas o encuestas a usuarios finales.

Recomendaciones:

Documentar el proceso de aprovechamiento de los RRAA y padrones de beneficiarios de la SEDIS en el

Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles).

(http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Diseñar un política institucional de seguridad de datos que tendrá que considerar los aspectos de

seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad

de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad (p. ej., validación de

transacciones y flujo de datos en el sistema). Se recomienda consultar a título de ejemplo la política de

seguridad de datos del INEGI ( http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf ).

Igualmente se puede consultar el sitio del Banco Mundial: https://www.virtualstatisticalsystem.org/es/

Capacitar al personal en gestión, documentación y mejora de procesos relacionados al aprovechamiento

de RRAA. Esta capacitación se puede inscribir dentro del programa de trabajo del CEIEG. También se puede

consultar el manual: Proceso estándar para el aprovechamiento de los RRAA, desde el portal de INEGI.

Crear un comité de calidad de datos dentro del SEDIS para dar seguimiento a los planes de mejor, asegurar

la implementación de control de calidad de los datos y los procesos de documentación asociados a la

gestión de los datos de los padrones de la SEDIS. El comité puede estar a cargo de diseñar el modelo de

gestión de calidad de los RRAA y de implementar los mecanismos de auditoría interna.

116

Asegurar el trabajo coordinado de las direcciones responsables y usuarias de los RRAA con la Dirección

Administrativa para la integración y documentación de los ciclos de vida de los RRAA que se aprovechan

de manera estadística.

Capacitar al personal en la aplicación del estándar nacional e internacional de la Iniciativa para la

Documentación de Datos (DDI por sus siglas en inglés).

Integrar en el reglamento interior de la SEDIS la obligación por parte de los responsables de RRAA

(padrones de beneficiarios) de documentar los datos con el estándar DDI. Asegurar los recursos humanos

e informáticos para la realización de esta nueva tarea de la SEDIS.

Desarrollar los mecanismos institucionales para conocer la satisfacción de los usuarios finales de la

información que se genera a partir de los RRAA. Estos mecanismos pueden incluir el uso del formato de

encuestas entregado durante el taller o encuestas en línea desde el portal de la SEDIS.

117

DESARROLLO INTEGRAL DE LA FAMILIA (DIF)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

4.02 0.87 1 4 Aceptable 3 4 5 4.09

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los programas de ayuda alimentaria

del DIF.

Fuentes Administrativas: DIF. Orientación Alimentaria y Dirección de Seguridad Alimentaria.

Usuario Primario: DIF. Seguimiento y Sistematización.

Registro administrativos: Padrón de Beneficiarios del Programa Ayuda Alimentaria Directa y Padrón de

beneficiarios del programa comedores comunitarios.

Indicador MIR: Porcentaje de personas con carencia de acceso a la alimentación beneficiados con apoyos

alimentarios en el estado de Jalisco

Otro producto estadístico: Reporte del área y cuadros estadísticos para el informe de gobierno

118

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

119

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.11. Registros múltiples

III.12. Otros controles

Calidad asociada a los datos

120

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No cuenta con información estructurada sobre los usuarios primarios. Existe una subutilización de la información generada por el RA.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA.

1

Diseñar el diagrama de flujo del RA y mejorar el conocimiento de los usuarios primarios y finales y su grado de satisfacción del producto estadístico final.

1. Desarrollar el documento "Plan de Calidad de la producción de la información estadística". 2. Aplicar con una periodicidad definida la encuesta de satisfacción a los usuarios primarios.

Debe incluir como mínimo: diagrama de flujo de la información del registro administrativo, la identificación de usuarios primarios, reportes y publicaciones en los que se usará la información, usuarios finales de los productos estadísticos; determinar la estrategia y periodicidad para la aplicación de las encuestas a usuarios primarios y finales. Preguntas 18, 19, 25.

No se identifica con claridad la existencia en el marco normativo, del sustento del registro administrativo. Se identifica un marco normativo general que podría sustentar la función estadística, pero no de los RRAA. Existe un riesgo en la continuidad del registro.

La explotación de los RRAA no se ha conceptualizado como parte de la actividad institucional.

2 Fortalecer el marco normativo de los RRAA.

Incorporar al reglamento interno de la institución la existencia y las responsabilidades en la gestión de los registros Administrativos de Apoyo Alimentario.

Pregunta 20

No existen políticas e instrumentos que garanticen la confidencialidad de la información del registro administrativo. Riesgo de filtración de información confidencial. Subutilización de la información generada por el registro.

No se cuenta con un enfoque de gestión y documentación de los procesos y de la información para la explotación estadística del registro administrativo. 3

Garantizar la confidencialidad de los datos personales del registro administrativo.

1. Elaborar un análisis de riesgo de la información a partir del diagrama de flujo, el proceso de explotación de microdatos y la publicación de información estadística. 2. Incorporar como parte del contrato una cláusula donde el personal contratado se compromete a garantizar la confidencialidad de los datos personales que genera la institución.

Esta acción se vincula con la acción correctiva 1. Preguntas 21 y 23

121

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen políticas dirigidas a garantizar la integridad, seguridad y disponibilidad de la información. Se pone en riesgo la existencia de series estadísticas por pérdida de datos y existe un riesgo en la integridad de las bases de datos.

La gestión de tecnologías de la información no incorpora la documentación de los procesos relacionados con la gestión de los RRAA.

4

Garantizar la integridad, confidencialidad y seguridad de la información.

1. Hacer una solicitud de la elaboración de la política de seguridad al área competente del DIF. 2. A través de un grupo de trabajo institucional elaborar la política de seguridad de la información de la dependencia.

Esta acción queda fuera de las atribuciones del área responsable del registro. La política de seguridad se entiende como aquellos criterios y procedimientos encaminados a la preservación de la Confidencialidad, Integridad y Disponibilidad de datos. Preguntas 25, 26, 27

No existen protocolos documentados para la gestión e intercambio de la información entre los productores del RA y el Usuario Primario. Riesgo de interpretación inadecuada de la información. Riesgo en la continuidad del proceso por cambios en el personal.

No se ha considerado la gestión con fines estadísticos del registro administrativo

5

Garantizar que la entrega de datos cumpla con los requerimientos del área de seguimiento y sistematización del DIF

Elaborar un protocolo (documento) de intercambio de información con el área de seguimiento y sistematización del DIF

Los elementos mínimos que debe contener son: los actores involucrados, la frecuencia de la entrega de la información, los criterios para dar continuidad a la entrega de información en caso de que existan problemas con la captura y procesamiento de datos; el formato de archivos requeridos y el medio por el cual se hará entrega de la información. Preguntas 29, 30, 25, 36

Existe un riesgo de incumplimiento en la entrega de información.

No se cuenta con procesos y procedimientos documentados que garanticen el aprovechamiento de los datos del registro ante una eventualidad.

6

Garantizar la entrega de información a tiempo para su explotación estadística.

Elaborar un procedimiento para la entrega de información en caso de que exista alguna eventualidad en la gestión de la información (plan de contingencia)

Se debe considerar como el plan de continuidad de la atención de requerimientos de información. Pregunta 34

122

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se cuenta con instrumentos

de control en la captura de la

información del registro. Riesgo

de inconsistencia e inexactitud

de la información capturada.

Existencia de datos erróneos en los registros individuales.

En la gestión del

registro no se ha

desarrollado la

documentación de

procesos y

procedimientos. La

dependencia no ha

documentado la

estrategia de uso de la

información del RA.

7

Mejorar el control en la captura de los datos del registro administrativo.

Elaborar y documentar el procedimiento para la captura y control de los datos del registro administrativo.

En este documento deben

identificarse los controles que se

llevan a cabo para verificar la

completitud y veracidad de la

captura.

Preguntas 39, 40.

Se carece de un instrumento de control de cambios en el RA. Riesgo de interpretar inadecuadamente cambios en los datos. Riesgo de divergencia en las definiciones de la fuente administrativa y del usuario final.

La gestión de la

información no se

incorpora a la cultura

organizacional por lo

que se carece de

instrumentos

normativos y procesos

documentados.

8

Mejorar el control de cambios en la gestión del registro administrativo.

Elaborar el procedimiento de control de documentos. Elaborar el procedimiento de control de cambios en el documento, debe incluir los criterios de comunicación de los cambios a los usuarios de la información.

Pregunta 41.

Falta la institucionalización formal de las actividades de retroalimentación. Riesgo de pérdida de continuidad del proceso de intercambio de información por cambio de personal.

La cultura institucional

se basa en relaciones

de confianza, pero se

cuenta con protocolos

documentados para

mejorar los

mecanismos de

retroalimentación.

9

Implementar un mecanismo de mejora continua en la gestión de la información estadística.

Establecer un mecanismo de consulta y análisis sobre la información generada por el registro. Se recomienda que el mecanismo sea el establecimiento de un grupo de mejora en el que participen las fuentes administrativas y el Usuario Primario.

En este mecanismo deben considerarse instrumentos de revisión de las necesidades de los usuarios primarios y los usos potenciales de la información. Esta acción se vincula con la acción correctiva 2. Preguntas 42, 56, 58. 60, 61

No existen mecanismos para el control y tratamiento de los datos. Riesgo de afectación de la credibilidad de la información del registro para fines de uso estadístico. Disminuye la calidad de la

información del registro.

La gestión de la

información no se

incorpora a la cultura

organizacional, por lo

que no se ha

visualizado la

importancia de la

completitud y calidad

de la información del

registro.

10

Mejorar los instrumentos para el control y tratamientos de los datos.

1. Elaborar un documento en donde se establezcan los procedimientos para el tratamiento de los datos del registro administrativo: controles para verificar las unidades de observación; controles para verificar el contenido de las variables, controles para verificar la ocurrencia de valores extremos. 2. Implementar los mecanismos de control y tratamiento de datos.

Preguntas 43, 44, 45

123

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se identificaron los mecanismos para revisar, editar o imputar valores de las variables del registro. La falta de controles de captura y de procedimientos establecidos para la revisión y edición puede afectar la completitud de la información capturada. Disminución de la calidad de los

datos para el uso estadístico.

La gestión de la

información no se

incorpora a la cultura

organizacional, por lo

que no se ha

visualizado la

importancia de la

completitud y calidad

de la información del

registro.

11

Garantizar un tratamiento adecuado de los datos del registro.

1. Definir los controles y las políticas para la modificación de los datos del registro. 2. Elaborar un documento con los procedimientos de revisión, edición y en su caso, imputación de los datos 3. Implementar los procedimientos.

En caso de que estos mecanismos estén incorporados en un procedimiento informático serán parte de la documentación de la base de datos. Preguntas 46, 47, 48.

No se cuenta con la documentación completa de la gestión informática del registro administrativo. Riesgo para la continuidad y mejoras en la gestión del RA. Dificultad para generar mejoras informáticas que mejoren el uso estadístico del RA.

Las tecnologías de la

información y los

procesos de gestión de

los RRAA carecen de

una adecuada

documentación y

vinculación.

12 Garantizar el uso e integridad de la Base de Datos.

Documentar la entidad-relación de la base de datos. Este proceso de documentación debe incluir la información sobre las claves principales, claves únicas y claves foráneas de cada tabla y la redundancia controlada (en caso de existir).

Preguntas 46, 47, 48.

No existe un respaldo documental de la información sobre las variables del registro administrativo. Riesgo de interpretación

inadecuada de la información.

No se documentan los

procesos de la gestión

de la información.

13

Documentar los metadatos del registro administrativo.

Documentar la información del registro administrativo en el estándar nacional e internacional DDI. ("Iniciativa para la Documentación de Datos").

Preguntas 53, 54, 55, 57, 58

Controles insuficientes para garantizar la completitud de los datos. Riesgo de contar con información incompleta en las bases de datos. Afectación del análisis por pobre calidad de los datos.

Débil cultura

organizacional de

documentación de

procesos y de la

gestión de la

información.

14

Garantizar la aplicación de controles de la calidad de los datos en la gestión del registro administrativo

Elaborar un documento con el protocolo de aseguramiento y control de la calidad de los datos del Usuario Primario que incluya al menos: la revisión de registros y variables sin datos, control de registros con clave única, métodos de ajuste o imputación de datos (o en su caso la justificación de por qué no realizar cambios)

Pregunta 72, 75

124

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen mecanismos de control que garanticen la calidad de los datos. Riesgo de que la calidad de los

datos afecte el uso estadístico

de la información. No se realizan

auditorías internas al proceso

estadístico.

El proceso de

aprovechamiento de

los padrones del DIF

para fines estadístico

no está mapeado

dentro de una modelo

de gestión de calidad.

15

Implementación y documentación de mecanismos de auditorías internas para asegurar la calidad del Registro Administrativo.

1. Transmitir al área encargada de los procesos de calidad del DIF la necesidad de implementar un sistema institucional de gestión de calidad y llevar de forma sistemática auditorías internas (calidad, gestión, informáticas). 2. Mapear los procesos asociados al aprovechamiento estadístico de los padrones de apoyo alimentario en el modelo de gestión de calidad de la institución.

Igualmente, se recomienda organizar evaluaciones de procesos entre pares es decir entre direcciones del DIF que llevan a cabo un proceso de aprovechamiento de Registro Administrativo. Pregunta 73

No se realiza una captura basada en clasificadores estándar lo que dificulta la comparabilidad con información generada en otras entidades o instituciones. Dificulta el aprovechamiento

estadístico del registro.

La explotación

estadística no se ha

conceptualizado como

parte de la actividad

institucional.

16

Incorporar la existencia de códigos estándar a la gestión de la base de datos.

Solicitar apoyo al Instituto Nacional de Información Estadística y Geografía (INEGI) para que asesore a las entidades sobre la existencia y pertinencia de los clasificadores existentes relacionados con el registro.

Se pueden consultar los catálogos y sistemas de clasificación en el portal web del INEGI. Pregunta 79

Se desconocen las características de calidad en la información incluida en la base de datos (registros duplicados) Disminuye la capacidad para aprovechar estadísticamente la información.

La explotación

estadística no se ha

conceptualizado como

parte de la actividad

institucional.

17

Evaluar las características de información de la base de datos.

Realizar un análisis de la información relacionada con los registros en las variables clave y valores duplicados.

Pregunta 84

No existe certidumbre de la veracidad de la información del registro para el aprovechamiento estadístico.

La explotación

estadística no se ha

conceptualizado como

parte de la actividad

institucional.

18

Mejorar la explotación de la información del registro administrativo.

Establecer la factibilidad para el desarrollo de aplicaciones informáticas para la explotación y verificación de la información de los RRAA.

Preguntas 85, 86

125

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por tanto no responder a sus expectativas.

No existe la cultura de

evaluar cómo están

entregados los

servicios/ información

a otras entidades de

gobierno o a usuarios

finales dentro del DIF

19 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico (indicador, o reportes internos) 2. Aplicar una encuesta de satisfacción a los usuarios identificados para conocer su satisfacción en cuanto a la calidad del producto final en relación a su oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Se recomienda usar formato de encuesta a usuarios finales entregado durante el taller HECRA. Pregunta 13

No existen metadatos del producto estadístico

No existen procesos de

documentación de los

procesos relacionados

a la gestión de datos de

los padrones. El

personal no está

capacitado en

documentación de

datos en formato

estándar.

20

Integrar el metadato del RA y la ficha de metadatos del cuadro estadístico.

1. Capacitar a personal y documentar el Registro Administrativo en un formato estándar (DDI) 2. Desarrollar fichas de metadatos de cuadro estadístico

Pregunta 18 (Producto estadístico).

126

1. Introducción Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin información

# Alertas

Referencia* Fuente Metadato Dato Producto

2.95 0.75 3 19 No Aceptable 2 4 2 3.8

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

1 Área interna DIF

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar la

calidad de la información estadística que sirve de base al monitoreo de los programas del DIF, en particular a la

atención a Adultos Mayores.

Fuente Administrativa: DIF. Dirección de Desarrollo Integral del Adulto Mayor.

Usuario Primario: DIF. Sub Dirección General de Operación- Seguimiento y Sistematización.

Registro administrativo: Padrón de Adultos Mayores del DIF

Indicador MIR: Número de Personas de 60 y más años que son atendidas en comedores de asistencia

para adultos.

127

i. Reporte de la calidad asociada a la Fuente de datos administrativa. Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a cabo

por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de productos

estadísticos.

ii. Reporte de la calidad asociada a los Metadatos. Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

128

iii. Reporte de la calidad asociada a los Datos. Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un valor

igual a 0 en la gráfica. Por ejemplo, el atributo de procesamiento tiene un valor 0 porqué en este caso se reportó

que no se editan los datos y no se realizan imputaciones sobre las variables de la tabla que se aprovecha de manera

estadística.

3. Análisis de problemas e identificación de acciones de mejora El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de los

problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

129

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se cuenta con información estructurada sobre los usuarios de la información estadística.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA

1

Mejorar el conocimiento de los usuarios y el grado de satisfacción sobre la información de la información estadística derivada del registro

1. Desarrollar el documento "Plan de Calidad de la producción de la información estadística" 2. Identificar los usuarios primarios y aplicar con una periodicidad definida y formalmente la encuesta de satisfacción a los usuarios primarios.

Debe incluir como mínimo: diagrama de flujo de la información del registro administrativo (ciclo de vida), la identificación de usuarios primarios, reportes y publicaciones en los que se usará la información, usuarios finales de los productos estadísticos; determinar la estrategia y periodicidad para la aplicación de las encuestas a usuarios primarios Pregunta 18, 19, 24

Desconocimiento del marco normativo que regula el registro administrativo. Riesgo de continuidad en la generación de la información del registro.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional, de integración de padrones.

2

Fortalecer el marco normativo del Registro administrativo

Incorporar al reglamento interno del DIF la existencia y las responsabilidades en la gestión de los datos del padrón de adultos mayores.

Pregunta 20.

No existen políticas e instrumentos que garanticen la confidencialidad de la información del registro administrativo. Existe un riesgo de filtración de información confidencial.

No se ha considerado fortalecer el marco normativo en cuanto a la confidencialidad de los datos del padrón.

3

Garantizar la confidencialidad de los datos personales del padrón de beneficiario.

1. Elaborar un análisis de riesgo de la información a partir del diagrama de flujo, el proceso de explotación de microdatos, y la publicación de información estadística. 2. Incorporar como parte del contrato una cláusula donde el personal contratado se compromete a garantizar la confidencialidad de los datos personales que genera la institución.

Esta acción se vincula con la acción correctiva 1. Preguntas 21 y 23

130

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen políticas dirigidas a garantizar la integridad, seguridad y disponibilidad de la información. Riesgo de daño o pérdida de información del registro. Riesgo de perder series temporales por fallos en los respaldos de información.

No se cuenta con un enfoque de documentación de los procesos en la gestión de los datos del registro administrativo.

4

Garantizar la integridad, confidencialidad y seguridad de la información.

1. Elaborar la política de seguridad de la información del DIF. 2. Implementar los mecanismos de seguridad de datos. 3. Realizar un análisis de riesgos para identificar si la gestión del registro administrativo cumple con la política de seguridad.

Esta acción queda fuera de las atribuciones del área responsable del registro. La política de seguridad se entiende como aquellos criterios y procedimientos encaminados a la preservación de la Confidencialidad, Integridad y Disponibilidad. Preguntas 25, 26 y 27.

No existen protocolos para la gestión e intercambio de la información con la Sub Dirección General de Operación- Seguimiento y Sistematización. Riesgo de incumplimiento en la entrega de la información.

No se ha considerado documentar los protocolos de entrega de datos.

5

Garantizar que la entrega de datos cumpla con los requerimientos de la Sub Dirección General de Operación- Seguimiento y Sistematización.

Documentar el protocolo de intercambio de información en coordinación con la Sub Dirección General de Operación- Seguimiento y Sistematización.

Debe contar con al menos el siguiente contenido: los actores involucrados, la frecuencia de la entrega de la información, los criterios para dar continuidad a la entrega de información en caso de que existan problemas con la captura y procesamiento de datos; el formato de archivos requeridos y el medio por el cual se hará entrega de la información. Preguntas 29, 30, 32, 35, 36

No existen mecanismos para garantizar una adecuada captura de la información del registro administrativo. Afectación en datos faltantes. Incidencia en errores de captura.

No se ha identificado la necesidad de implementar los controles de captura y de cambios de datos del archivo consolidado del padrón de beneficiarios. No existe un modelo institucional de gestión de calidad de los datos.

6

Mejorar el control en la captura de los datos del registro administrativo.

Elaborar el procedimiento para la captura y control de los datos del registro administrativo.

En este documento deben identificarse los controles que se llevan a cabo para verificar la completitud y veracidad de la captura. Preguntas 39, 40.

131

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Riesgo de interpretar inadecuadamente cambios en los datos. Riesgo de divergencia en las definiciones entre el responsable del RA y el Usuario Primario.

La gestión de la información no se incorpora a la cultura organizacional. Se carece de un instrumento de control de cambios documentado.

7

Mejorar el control de cambios en la gestión del registro administrativo.

Documentar el procedimiento de control de cambios incluyendo los criterios de comunicación de los cambios a los usuarios de la información.

Pregunta 41.

No hay instrumentos que permitan revisar con los involucrados, los alcances y mecanismos para mejorar la explotación del RA. Riesgo de subutilización de la información generada.

No existe proceso de gestión de calidad para promover la mejora continua del proceso estadístico.

8

Implementar un mecanismo de mejora continua en la gestión de la información estadística

Establecer un mecanismo de consulta y análisis sobre la información generada con los datos del Padrón de Adultos Mayores. Se recomienda que el mecanismo sea el establecimiento de un grupo de mejora en el que participen la fuente administrativa y usuarios primarios.

En este mecanismo deben considerarse instrumentos de revisión de necesidades de los usuarios primarios y los usos potenciales de la información. Esta acción se vincula con la acción correctiva 2. Preguntas 42, 56, 61

No existen políticas para el control y tratamiento de los datos. Riesgo de afectación de la credibilidad de la información del registro para fines de uso estadístico. Disminuye la calidad de la información del registro.

La gestión de la información no se incorpora a la cultura organizacional, por lo que no se ha visualizado la importancia de la completitud y calidad de la información del registro.

9

Generar las políticas para el control y tratamiento de los datos

Elaborar un documento en donde se establezcan los criterios y procedimiento para el tratamiento de los datos del registro administrativo. Debe contener como mínimo el desarrollo de los siguientes procedimientos: controles para verificar las unidades de observación; controles para verificar el contenido de las variables, controles para verificar la ocurrencia de valores extremos.

Preguntas 43, 44, 45, 46, 47, 48, 52

No existe respaldo de la información documentada sobre las variables del registro administrativo. No se cuenta con definiciones establecidas formalmente para las variables del registro.

No se ha generado la estrategia para aprovechar estadísticamente el registro administrativo, por lo que no se ha generado la documentación de soporte.

10 Documentar los metadatos del registro administrativo

Documentar la información del registro administrativo en el estándar internacional "Iniciativa para la Documentación de Datos".

Preguntas 53, 54, 57, 59.

132

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe una documentación que permita comparar las definiciones de variables de la base de datos del padrón y las definiciones usadas por el Usuario Primario. Lo que puede provocar una interpretación inadecuada de la información.

No existen procesos de documentación asociados al aprovechamiento del padrón para uso estadístico. Los datos del padrón no se documentan. No existen diccionarios de datos de las variables.

11 Elaborar y acordar un diccionario de datos de las variables del RA.

1. Elaborar el diccionario de datos de las variables del padrón de Adultos Mayores del DIF. 2. Acordar con la Sub Dirección General de Operación- Seguimiento y Sistematización las definiciones de las variables que se usan para la elaboración del producto estadístico.

La mesa de mejora continua deberá garantizar la coherencia entre las variables del registro y del producto final. Pregunta 61 y 64

Controles insuficientes para garantizar la completitud de los datos. Afectación de la capacidad de uso estadístico de la información administrativa.

Débil cultura organizacional de gestión de procesos de la información. No se ha considerado la gestión del registro con fines estadísticos.

12

Garantizar la aplicación de controles de la calidad de los datos en la gestión del registro administrativo

Elaborar un documento con el protocolo de aseguramiento y control de la calidad de los datos por parte de Sub Dirección General de Operación- Seguimiento que incluya al menos: la revisión de registros y variables sin datos, control de registros con clave única, métodos de ajuste o imputación de datos (o en su caso la justificación de por qué no realizar cambios)

Preguntas 72, 74

No se realiza una captura basada en clasificadores estándar internacionales.

No se tiene el conocimiento de los sistemas de clasificación y catálogos estándar.

13 Uso de sistemas de clasificación estándar.

Solicitar apoyo al Instituto de Información Estadística y Geográfica para que asesore sobre la existencia y pertinencia de los clasificadores existentes relacionados con el registro.

Pregunta 79.

No existen mecanismos de control interno (auditorías internas) que garanticen la calidad de los datos estadísticos.

No existe un modelo de calidad del proceso estadístico del DIF que considere la implementación de auditorías internas.

14 Mejorar el mecanismo de vigilancia de la calidad de los datos

Programar una revisión de la calidad de los datos del registro administrativo en forma de una auditoría interna a la dirección de Sub Dirección General de Operación- Seguimiento.

Esta actividad debe ser programada e incorporada a los procesos de gestión de la información. En caso de que en la dependencia existan sistemas de gestión de la calidad, debe promoverse específicamente la implementación de una auditoría interna a los datos. Pregunta 73.

133

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Se desconocen las características de calidad en la información incluida en la base de datos (registros duplicados, valores validos de las variables).

No se realizan controles de calidad a la base de datos.

15

Evaluar las características de información de la base de datos

Realizar un análisis de calidad de datos de las variables claves para la integración del producto estadístico para identificar los registros duplicados y veracidad de los valores.

Preguntas 84, 85

No existe documentación sobre el producto estadístico final.

No se identifican los productos estadísticos como parte de la gestión de la información de las acciones institucionales

16

Mejorar la información documental del producto estadístico final

Documentar el metadato del producto estadístico final

Pregunta 18 Producto estadístico

Se rompe la cadena de gestión de la información dado que la fuente administrativa desconoce las necesidades y satisfacción de los usuarios del producto final.

No existe la cultura de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno o a usuarios finales dentro de la SEDIS.

17 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico (indicador, boletín, infografía). 2. Aplicar una encuesta de satisfacción a los usuarios identificados de los indicadores e infografías para conocer su satisfacción en cuanto a la calidad del producto final en cuanto a oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Se recomienda usar formato de encuesta a usuarios finales entregado durante el taller HECRA. Existen mecanismos de consulta que se pueden implementar desde el portal de la SEDIS. A la descarga de la infografía se puede realizar una identificación del tipo de usuario y una encuesta breve de satisfacción del producto. Pregunta 13

134

1. Introducción Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin información

# Alertas

Referencia* Fuente Metadato Dato Producto

2.92 0.71 1 26 No Aceptable 3 2 3 3.67

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar la

calidad de la información estadística que sirve de base al monitoreo del programa de Terapias Familiares del DIF.

Fuente Administrativa: DIF. Procuraduría de protección de niños, niñas y adolescentes del Estado de

Jalisco- Departamento de Psicología.

Usuario Primario: DIF. Procuraduría de protección de niños, niñas y adolescentes del Estado de Jalisco.

Registro administrativo: Padrón de beneficiarios de los Centros de Atención Especializada en Terapia

Familiar (CAETF).

Indicador MIR: Porcentaje de personas atendidas a través de estrategias de capacitación, orientación e

intervención en temas de psicología

135

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos. Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

136

iii. Reporte de la calidad asociada a los Datos. Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un valor

igual a 0 en la gráfica. Por ejemplo, el indicador unión de registros informáticos de los archivos tiene un valor igual

a 0 porqué los datos no están integrados en una base de datos.

3. Análisis de problemas e identificación de acciones de mejora El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de los

problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

137

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No cuenta con información estructurada sobre los usuarios primarios. Existe una subutilización de la información generada por el registro administrativo.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA.

1

Diseñar el diagrama de flujo del RA y mejorar el conocimiento de los usuarios primarios y finales y su grado de satisfacción del producto estadístico final.

1. Desarrollar el documento "Plan de Calidad de la producción de la información estadística". 2. Aplicar con una periodicidad definida la encuesta de satisfacción a los usuarios primarios.

Debe incluir como mínimo: diagrama de flujo de la información del registro administrativo, la identificación de usuarios primarios, reportes y publicaciones en los que se usará la información, usuarios finales de los productos estadísticos; determinar la estrategia y periodicidad para la aplicación de las encuestas a usuarios primarios y finales. Preguntas 18, 19, 25.

No se identifica el soporte explícito del registro administrativo en el marco normativo

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA.

2

Garantizar la continuidad en la recopilación y uso de la información del RA

Incorporar al reglamento interno de la institución la existencia del registro y las responsabilidades en la gestión del padrón de beneficiario.

Pregunta 20

Existe un riesgo de no cumplir con la protección de la confidencialidad de los datos personales. Riesgo de daño a la credibilidad de la institución.

No existe una política institucional de seguridad de datos. No se ha identificado la necesidad de realizar acuerdos firmados de confidencialidad de datos entre el personal de la Procuraduría de protección de niños, niñas y adolescentes.

3

Garantizar la confidencialidad de los datos personales del registro administrativo.

1. Elaborar un análisis de riesgo de la información a partir del diagrama de flujo, el proceso de explotación de microdatos, y la publicación de información estadística. 2. Incorporar como parte del contrato una cláusula donde el personal contratado se compromete a garantizar la confidencialidad de los datos personales que genera la institución.

Esta acción se vincula con la acción correctiva 1. Pregunta 22 Pregunta 23

138

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen políticas dirigidas a garantizar la integridad, seguridad y disponibilidad de la información. Riesgo de daño o pérdida de información del registro. Riesgo de perder series temporales por fallos en los respaldos de información. Riesgo de filtración de datos personales por no existir políticas de control de accesos y equipos.

Las políticas asociadas a las tecnologías de la información no han desarrollado los instrumentos documentados para garantizar la confidencialidad, integridad y disponibilidad de la información. No se identificaron instrumentos de control que garanticen la seguridad de la información en el área responsable del padrón de beneficiarios.

4

Garantizar la integridad, confidencialidad y seguridad de la información.

1. Elaborar la política de seguridad de la información de la dependencia. 2. Incluir un análisis de riesgos para identificar si la gestión del registro administrativo cumple la política de seguridad.

Esta acción queda fuera de las atribuciones del área responsable del registro. La política de seguridad se entiende como aquellos criterios y procedimientos encaminados a la preservación de la confidencialidad, integridad y disponibilidad. Preguntas 25, 26 y 27.

Existen acuerdos firmados mediante documentos oficiales tales como oficios para el intercambio de información entre el Usuario Primario y la fuente administrativa. Estos mecanismos están reforzados por acuerdos informales, pero no se cuenta con protocolos que garanticen la continuidad de la entrega de datos.

No se ha considerado la gestión con fines estadísticos del registro administrativo lo que genera procesos y procedimientos informales que ponen en riesgo la entrega de datos para la integración del producto estadístico.

5

Garantizar que la entrega de datos cumpla con los requerimientos del Usuario Primario.

1. Elaborar un protocolo (documento) de intercambio de información con los usuarios clave, en los que se establezcan: los actores involucrados, la frecuencia de la entrega de la información, el formato de archivos requeridos y el medio por el cual se hará entrega de la información 2. Elaborar un procedimiento en el que se incluyan los criterios para dar continuidad a la entrega de información en caso de que existan problemas con la captura y procesamiento de datos.

Preguntas 29, 30, 25, 34, 36

No se cuenta con instrumentos de control en la captura de la información del registro. Riesgo de inconsistencia e inexactitud de la información capturada. Existencia de datos erróneos en los registros individuales.

No existen procesos de documentación de los mecanismos de control de captura y de cambios de datos del archivo consolidado del padrón de beneficiarios. No existe un modelo institucional de gestión de calidad de los datos.

6

Mejorar el control en la captura de los datos del registro administrativo.

Elaborar e implementar el procedimiento para la captura y control de los datos del registro administrativo.

En la documentación de los controles a la captura deben identificarse los controles que se llevan a cabo para verificar la completitud y veracidad de los datos capturados. Preguntas 39, 40.

139

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Se carece de un instrumento de control de cambios en el registro administrativo. Riesgo de interpretar inadecuadamente cambios en los datos. Riesgo de divergencia en las definiciones de la fuente administrativa y del usuario final.

La gestión de la información no se incorpora a la cultura organizacional por lo que se carece de instrumentos normativos y procesos documentados.

7

Mejorar el control de cambios en la gestión del registro administrativo.

1. Elaborar el procedimiento de control de los cambios a los datos. 2. Documentar el procedimiento de control de cambios, incluyendo los criterios de comunicación de los cambios a los usuarios de la información.

Pregunta 41.

No hay instrumentos que permitan revisar con los involucrados, los alcances y mecanismos para mejorar la explotación del registro administrativo. Riesgo de subutilización de la información generada.

No existen procesos de gestión de calidad de datos para promover la mejora continua del proceso estadístico.

8

Implementar un mecanismo de mejora continua en la gestión de la información estadística

Establecer un mecanismo de consulta y análisis sobre la información generada con los datos del padrón. Se recomienda que el mecanismo sea el establecimiento de un grupo de mejora en el que participen la fuente administrativa y usuarios primarios.

En este mecanismo deben considerarse instrumentos de revisión de las necesidades de los usuarios primarios y los usos potenciales de la información. Esta acción se vincula con la acción correctiva 2. Preguntas 42, 56, 58. 60, 61

No existen políticas para el control y tratamiento de los datos. Riesgo de afectación de la credibilidad de la información del registro para fines de uso estadístico.

La gestión de la información no se incorpora a la cultura organizacional, por lo que no se ha visualizado la importancia de la completitud y calidad de la información del registro.

9

Generar las políticas para el control y tratamiento de los datos

Elaborar un documento en donde se establezcan los criterios y procedimientos para el tratamiento de los datos del RA: controles para verificar las unidades de observación; controles para verificar el contenido de las variables, controles para verificar la ocurrencia de valores extremos.

Preguntas 43, 44, 45, 46, 47, 48.

No existe un control que garantice que exista homogeneidad en criterios y procedimientos de modificación de los datos.

No existen responsabilidades claras en el control de la información del padrón.

10

Mejorar el control del proceso de modificación de los datos del registro

Revisar las funciones del personal involucrado en el proceso estadístico y asegurar que las atribuciones para la modificación de los datos en la base de datos estén definidas y claras.

Preguntas 46, 47, 48

140

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se identificaron los mecanismos para revisar, editar o imputar valores de las variables del registro, lo que puede afectar la completitud de la información.

La gestión de la información no se incorpora a la cultura organizacional, por lo que no se ha visualizado la importancia de la completitud y calidad de la información del registro.

11

Garantizar un tratamiento adecuado de los datos del registro.

Elaborar un documento con los procedimientos de revisión, edición y en su caso, imputación de los datos a implementar.

En caso de que estos mecanismos estén incorporados en un procedimiento informático, deberán documentarse en la base de datos. Preguntas 46, 47, 48.

No se aprovecha la información del registro dado que se captura en papel.

Débil cultura organizacional de gestión de procesos y de la información.

12

Generar un aplicativo informático para la gestión de la información estadística

Evaluar la factibilidad para crear o incorporar un aplicativo informático para la gestión de la información del padrón de beneficiarios.

Preguntas 49, 51, 52

Falta de información documentada sobre las variables del registro administrativo

No existen procesos de documentación del proceso estadístico, no hay buenas prácticas de elaboración de diccionarios de datos.

13

Documentar los metadatos del registro administrativo

Documentar la información del registro administrativo en el estándar internacional "Iniciativa para la Documentación de Datos".

El Metadato DDI obliga a las definiciones de las variables. Preguntas 53, 54, 55, 57, 58

No existe una documentación (metadato) que permita comparar las definiciones de la base de datos y las variables que se usan para la elaboración del producto estadístico.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional, lo que no se han documentado procesos, ni procedimientos.

14

Elaborar el diccionario de datos de las variables del padrón que se usan en el producto estadístico.

1. Identificar las variables a documentar. 2. Integrar un diccionario de datos y acordar las definiciones / conceptos.

La documentación de los productos estadísticos deberá considerarse como parte de la documentación del proceso de gestión de la información. La mesa de mejora continua deberá garantizar la coherencia entre la información del registro y del producto final.

141

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Controles de calidad insuficientes para garantizar la completitud de los datos. Afectación de la capacidad de uso estadístico de la información administrativa.

Todavía, no se ha considerado la gestión del registro con fines estadísticos y no se ha integrado a una tabla o base de datos.

15

Garantizar la aplicación de controles de la calidad de los datos en la gestión del registro administrativo

Elaborar un documento con el protocolo de aseguramiento y control de la calidad de los datos del Usuario Primario que incluya al menos: la revisión de registros y variables sin datos, control de registros con clave única, métodos de ajuste o imputación de datos (o en su caso la justificación de por qué no realizar cambios).

Preguntas 71, 72

No existen mecanismos de control interno (auditorías internas) que garanticen la calidad de los datos.

Débil cultura organizacional de gestión de procesos de la información.

16

Mejorar el mecanismo de vigilancia de la calidad de los datos.

Programar una revisión de la calidad de los datos del registro administrativo.

Esta actividad debe ser programada e incorporada a los procesos de gestión de la información. En caso de que en la dependencia existan sistemas de gestión de la calidad, debe promoverse específicamente la implementación de una auditoría interna a los datos. Pregunta 73.

No se realiza una captura basada en clasificadores estándar. Dificultad para comparar con otras bases de datos que registran la misma temática.

No se tiene el conocimiento de los sistemas de clasificación estándar.

17

Incorporar clasificadores estándares estándar a la gestión de la base de datos.

Solicitar apoyo al INEGI para que asesore sobre la existencia y pertinencia de los clasificadores existentes relacionados con el registro.

Preguntas 79, 84, 85, 86

Se desconocen las características de calidad en la información incluida en la base de datos

La explotación estadística no se ha conceptualizado como parte de la actividad institucional.

18

Evaluar las características de información de la base de datos

Realizar un análisis de la información relacionada con los registros en las variables clave y valores duplicados.

Preguntas 84, 85

No existe certidumbre de la veracidad de la información generada para el aprovechamiento estadístico.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional.

19

Mejorar la gestión de la información del registro administrativo.

Evaluar la factibilidad para generar o incorporar a un aplicativo informático la gestión del registro administrativo. Diseñar e implementar una base de datos del padrón.

Preguntas 85, 86

142

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se cuenta con información estructurada sobre los usuarios de la información estadística

La institución no cuenta con una estrategia de aprovechamiento estadístico de los RRAA

20

Mejorar el conocimiento de los usuarios y el grado de satisfacción sobre el indicador.

Aplicar con una periodicidad definida formalmente la encuesta de satisfacción a los usuarios primarios.

Preguntas 11,12, 13 Producto estadístico

No se cuenta con el control de la publicación del producto estadístico final

No se identifican los productos como parte de la gestión de la información de las acciones institucionales

21

Mejorar la accesibilidad de la información en la web

Solicitar al responsable de la publicación web la contabilización de las consultas y descargas de la información

Pregunta 17 Producto estadístico

No existe documentación sobre el producto estadístico final

Débil cultura organizacional de gestión de procesos y de la información

22

Mejorar la información documental del producto estadístico final

Documentar el metadato del producto estadístico final

Pregunta 18 Producto estadístico

Se rompe la cadena de gestión de la información dado que la fuente administrativa desconoce las necesidades de los usuarios del producto final.

No existe la cultura de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno o a usuarios finales dentro de la

Procuraduría de protección de niños, niñas y adolescentes del Estado de Jalisco.

23 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico (indicador, boletín, infografía). 2. Aplicar una encuesta de satisfacción a los usuarios identificados de los indicadores e infografías para conocer su satisfacción en cuanto a la calidad del producto final en cuanto a oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Se recomienda usar formato de encuesta a usuarios finales entregado durante el taller HECRA. Existen mecanismos de consulta que se pueden implementar desde el portal del DIF o de la

Procuraduría de protección de niños, niñas y adolescentes del Estado de Jalisco. A la

descarga de la infografía se puede realizar una identificación del tipo de usuario y una encuesta breve de satisfacción del producto. Pregunta 13

144

4. Identificación de problemas y acciones estructurales/organizacionales En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados del DIF,

y que representan aspectos generales o de alcance institucional. La identificación e implementación de estrategias

y acciones institucionales permitirán mejorar el proceso de gestión de la información. Hay que señalar que de

cuatro RRAA evaluados, solo los padrones de ayuda alimentaria, Padrón de Beneficiarios del Programa Ayuda

Alimentaria Directa y Padrón de beneficiarios del programa comedores comunitarios, están integrado a una base

de datos, por lo que existe una oportunidad para el DIF para la integración de sus padrones en una base de datos

de padrón único de beneficiarios.

1. Entorno institucional, políticas y procedimientos: Los RRAA no tienen una base en la normatividad. No hay

instrumentos que garanticen el cuidado de la información personal que se incluye en el registro. No existen

protocolos documentados que garanticen la integridad, confidencialidad y disponibilidad dela información.

2. Entrega de datos: Existen acuerdos informales. No existen protocolos institucionales documentados.

3. No hay documentación de los metadatos en formato DDI, tampoco se desarrollan los metadatos del

producto estadístico.

4. No se identifican mecanismos de control estándar de los datos capturados en el registro administrativo.

5. No se mide la satisfacción a los usuarios finales. Los datos del padrón no están aprovechados totalmente

para la producción de indicadores y/o productos estadísticos.

Recomendaciones:

Capacitación y sensibilización a la institución sobre gestión de la información (activos de información),

seguridad de la información y gestión documental para asegurar el diseño del proceso de aprovechamiento

de los padrones para fines estadísticos, monitoreo y evaluación de los programas. En el marco de la

integración de un padrón único de beneficiario, se recomienda un trabajo en coordinación con la SEDIS

para la documentación del proceso de aprovechamiento estadístico de los padrones de beneficiarios en el

Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). De la misma

manera se propone trabajar los lineamientos de seguridad de los datos del Padrón Único de Beneficiarios

con la coordinación informática de SEDIS.

http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model

Inclusión en el marco legal del DIF de las atribuciones en cuanto a la captura y gestión de los RRAA estatales,

asociados a los padrones de beneficiarios de Adultos Mayores y de los centros de capacitación CAETF para

asegurar la continuidad de los procesos.

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus

siglas en inglés).

Desarrollar los mecanismos institucionales para conocer la satisfacción de los usuarios finales de la

información que se genera a partir de los padrones. Estos mecanismos pueden incluir el uso del formato

de encuestas entregado durante el taller o encuestas en línea desde el portal del DIF.

145

Instituto Mexicano del Seguro Social (IMSS)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

4.62 0.96 0 2 Muy bueno 4 5 5 4.47

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores prioritarios de la

Secretaría de Salud del Estado de Jalisco.

Fuente Administrativa: Instituto Mexicano del Seguro Social (IMSS) Usuario Primario: Secretaría de Salud del Estado de Jalisco (SSJ) - Departamento de Estadística Registro administrativo: Nacimiento/Defunciones Indicador MIR: Razón de mortalidad materna Otro producto estadístico: Reporte interno IMSS.

146

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5

II.1. Documentación demetadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

147

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los

archivos de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

148

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

La entrega de los datos a la SSJ no es segura y no se garantiza la confidencialidad de los datos. Las bases de datos se envían a la Secretaría de Salud a través de un correo electrónico personal. No se cumplen siempre este procedimiento establecido. En el caso de los 2 registros, nacimiento y defunciones, no se cuentan con acuerdos firmados de confidencialidad de datos.

En caso del RA de nacimiento, el IMSS no cuenta con acceso a la plataforma (Sistema de Información de Nacimientos) SINAC para la transferencia del archivo.

1

Asegurar la entrega segura de los datos a la Secretaría de Salud.

1. Petición de un correo institucional seguro para la entrega de datos a la Secretaría de Salud. 2. Petición de acceso al SINAC para evitar la duplicación de tablas y el envío por correo electrónico. 3. Firmar un acuerdo de confidencialidad con el Departamento de Estadística de la Secretaría de Salud. 4. Generar oficios electrónicos de entrega y recepción de la información si esta se manda por correo institucional.

Preguntas 23-24

No están documentados los términos de entrega del IMSS al Departamento de Estadística de la SSJ.

No se documentan las etapas del proceso de aprovechamiento estadístico de los registros administrativos del IMSS.

2

Documentar los términos de entrega entre el IMSS y el departamento de estadística de la Secretaría de Salud (SSJ),

1. Reunión con el Departamento de Estadística de la SSJ con el objetivo de revisar los procedimientos de entrega de datos de nacimiento y de defunciones. 2. Documentación del proceso considerando la mejora mencionada anteriormente (1).

Los términos de entrega deberían incluir una referencia al protocolo de intercambio, responsables de la entrega y recepción de los datos, preparación de los datos y bitácoras de entrega. Pregunta 29

149

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Entrega inoportuna de las bases de datos de nacimiento a la SSJ.

El personal operativo encargado de la integración de los archivos clínicos es insuficiente para atender el 100 por ciento de las tareas. El personal de reciente ingreso no está capacitado. No se identifican en un mapa de proceso del RA todos los puntos de captura de la información (hospitales), lo que provoca ineficiencia y retrasos en la integración de los datos.

3

Asegurar la eficiencia del proceso de consolidación de los archivos del RA de nacimiento y de defunciones.

1. Mapear el proceso (ciclo de vida) completo de los registros administrativos considerando todos los puntos de captura. 2. Identificar las causas (en cada punto de captura) que afectan la oportunidad de los datos. 3. Gestionar una mejor cobertura del personal encargado de los archivos clínicos. 4. Capacitar al personal de nuevo ingreso en la captura de los datos y gestión de datos.

Preguntas 29-30

Existe un procedimiento de entrega para subsanar la falta de información a tiempo pero no está documentado. No existe un plan de contingencia en caso de una falla de los sistemas informáticos.

No se documentan las etapas del proceso de aprovechamiento estadístico de los registros administrativos del IMSS.

4

Documentación de un plan de contingencia asociados a la entrega de los datos.

Implementar y documentar un plan de contingencia considerando los procedimientos implementados para subsanar la falta de información a tiempo.

Pregunta 34

Existen algunos errores de clasificación en los datos del registro.

Falta de implementación de controles de calidad de datos a la captura. Falta de personal capacitado en los puntos de captura.

5 Reducir el número de errores de clasificación.

1. Implementación de controles de calidad a la captura de datos. 2. Capacitación del personal responsable de la captura en el llenado de los formatos para asegurar una correcta clasificación de los datos.

Algunas instituciones presentan al personal, que captura los datos, los productos finales que se generan a partir de los datos. Esta actividad, valoriza el trabajo de los capturistas y resulta en una mejora en la calidad de los datos. Pregunta 68

Existen algunos errores de codificación en caso de preguntas abiertas.

Falta de implementación de controles de calidad de datos a la captura. Falta de personal capacitado en los puntos de captura.

6 Reducir el número de errores de codificación.

Capacitación del personal responsable de la captura en llenado de los formatos para asegurar la aplicación correcta de los sistemas de codificación.

Pregunta 81

150

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

En el caso del RA de defunciones existen variables sin datos.

Falta de la mecanismos de control de calidad en las plataformas de captura de datos. Falta de personal capacitado en los puntos de captura.

7 Reducir el número de variables sin datos.

1. Capacitación del personal responsable de la captura en el llenado de los formatos para evitar que se queden datos en blanco. 2. Revisar formulación de preguntas en un trabajo coordinado con el Departamento de Estadística de la SSJ.

Pregunta 72

Existen algunos registros duplicados, es decir filas repetidas en la base de datos.

Ausencia de controles de consistencia en la captura de los datos en la base de datos.

8 Reducir el número de registros múltiples

1. Implementar controles de consistencia a la captura de los datos. 2. Uso de combinación de variables para asegurar registros únicos en la base de datos.

Verificar la causa. ¿Puede ser de una duplicación de claves únicas de registros? Pregunta 84

No se realizan encuestas de satisfacción al usuario final es decir al usuario del producto estadístico (indicador y/o reportes internos).

Se realizan comunicaciones internas entre el personal que genera el producto estadístico y el usuario final pero el IMSS y la SSJ no se han visto la necesidad de levantar encuestas de satisfacción a los usuarios finales.

9

Documentar la satisfacción de los usuarios finales del indicador de razón materna y/o de los reportes estadísticos del IMSS

1. Identificar los usuarios finales de la SSJ. 2. Aplicar un cuestionario al usuario del reporte estadístico y/o indicador para conocer su satisfacción en cuanto a la calidad del producto final (oportunidad, accesibilidad, confiabilidad y facilidad de uso).

Pregunta 13 (producto estadístico).

151

Instituto de Seguridad y Servicios de los Trabajadores del Estado (ISSSTE)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia Fuente Metadato Dato

Producto

4.86 0.94 0 2 Muy bueno 5 5 5 4.44

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores prioritarios de la

Secretaría de Salud del Estado de Jalisco.

Fuente Administrativa: Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado (ISSSTE) Usuario Primario: Secretaría de Salud del Estado de Jalisco - Departamento de Estadística Registro administrativo: Nacimiento/Defunciones Indicador MIR: Razón de mortalidad materna Otro producto estadístico: Reporte interno

152

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5

II.1. Documentación demetadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

153

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica. Por ejemplo en este caso, no se realizan ediciones y/o imputaciones a los datos.

Igualmente la unión de registros del registro de nacimiento no se realiza entre tablas de una misma base de datos.

Un archivo se entrega a la SSJ.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los…

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar…

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

154

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Los datos entregados por parte del ISSSTE no cumplen siempre los requisitos del Departamento de Estadística de la SSJ.

La causa no fue identificada por parte de la fuente administrativa. Las causas probables pueden ser la falta de recurso humano o/y de tecnología de la información. También podría ser una falta de aplicación de procedimientos de gestión de calidad de los datos.

1

Cumplir con los requisitos del usuario primario en todas las entregas.

1. Fomentar una reunión con el Departamento de Estadística para identificar y documentar sus requisitos. 2. Firmar un acuerdo para asegurar el cumplimiento en todas las entregas.

Se recomienda a la fuente administrativa (ISSSTE) identificar porque no se cumplen siempre los términos de entrega de datos acordado. Pregunta 19

Ausencia de mecanismos de consulta entre los responsable de integrar los registros en el ISSSTE y el Departamento de Estadística de l a SSJ para asegurar la mejora continua de los registros administrativos.

No existen en el ISSSTE procesos de mejora continua de la calidad del proceso estadístico.

2

Implementar los mecanismos que aseguran la mejora continua del RA.

Fomentar una reunión con el Departamento de Estadística para acordar la implementación y seguimiento al plan de mejora de los registros administrativos evaluados.

Pregunta 42

No se documentan los controles de contenido de variables y el control de valores extremos a la captura de los datos por parte del ISSSTE.

Ausencia de procesos de documentación en el ISSSTE de los procedimientos asociados al tratamiento de los datos del RA.

3

Identificar y documentar los controles de calidad de los datos que se realizan a la captura del registro administrativo.

Revisar los procedimientos de captura de los Registros Administrativos, y documentar los criterios de validación que se implementan para evitar y/o solucionar posibles errores de contenido de variables, problemas de omisión, multi-respuesta e inconsistencias en los datos que se registren.

Preguntas 44 y 45

155

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación de datos y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con un estándar internacional (DDI)

4 Integrar el metadato del Registro Administrativo en estándar DDI.

1. Capacitar al personal en la documentación de metadatos en el formato estándar DDI. 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

Existen registros sin datos es decir filas en blanco en las bases de datos de Nacimientos y Defunciones.

Ausencia de control de consistencia a la captura de los datos.

5 Eliminar el número de registros sin datos.

Implementar procedimientos de captura que impiden la generación de registros en blanco, en coordinación con los encargados de desarrollo de plataformas de captura en el ISSSTE o en la Secretaría de Salud (SINAC).

Pregunta 71

Existen algunos errores de codificación en caso de preguntas abiertas.

Falta de personal capacitado en los puntos de captura.

6 Reducir el número de errores de codificación.

Capacitar al personal responsable de la captura en llenado de los formatos para asegurar la aplicación correcta de los sistemas de codificación.

Pregunta 81

No se realizan encuestas de satisfacción al usuario final es decir al usuario del producto estadístico (indicador y/o reportes internos).

Se realizan comunicaciones internas entre el personal que genera el producto estadístico y el usuario final pero el IMSS y la SSJ no han visto la necesidad de levantar encuestas de satisfacción a los usuarios finales.

7

Documentar la satisfacción de los usuarios finales del indicador de razón materna y/o de los reportes estadísticos del IMSS

1. Identificar los usuarios finales de la SSJ. 2. Aplicar un cuestionario al usuario del reporte estadístico y/o indicador para conocer su satisfacción en cuanto a la calidad del producto final (oportunidad, accesibilidad, confiabilidad y facilidad de uso).

Pregunta 13 (producto estadístico).

156

Hospital Civil de Guadalajara (HCG)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia Fuente Metadato Dato

Producto

4.51 0.93 0 2 Muy bueno 4 5 5 4.04

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores prioritarios de la

Secretaría de Salud del Estado de Jalisco.

Fuente Administrativa: Hospital Civil de Guadalajara (HCG) Usuario Primario: Secretaría de Salud del Estado de Jalisco - Departamento de Estadística Registro administrativo: Nacimiento/Defunciones Indicador MIR: Razón de mortalidad materna Otro producto estadístico: Reporte interno

157

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5

II.1. Documentación demetadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

158

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora.

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los

archivos de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

159

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Se presentan demoras esporádicas en la entrega de los datos, lo que provoca un retraso en la publicación de los productos estadístico (indicadores, boletines).

No existe un acuerdo firmado que establece las frecuencias de entrega de datos entre el Hospital Civil de Guadalajara y el Departamento de Estadística de la SSJ.

1

Firmar un acuerdo de entrega entre el Hospital General de Guadalajara y el Departamento de Estadística de la SSJ.

1. Elaborar el acuerdo que establece la frecuencias de entrega 2. Firmar el acuerdo 3. Diseñar e implementar los mecanismos que aseguran el cumplimento de la entrega en tiempo.

Preguntas 29-32

No existe un método alternativo para subsanar la falta de información a tiempo en caso de fallas de sistemas o mantenimiento de los mismos.

No se ha diseñado un plan de contingencia para subsanar la falta de información y para asegura la generación oportuna de los productos estadísticos.

2

Diseñar e implementar acciones para asegurar el acceso a los datos del HCG.

1. Diseñar mecanismos de corrección eficientes (en el menor tiempo posible) del problema que da origen a la falta de información. 2. Trabajar con la fuente administrativa (capacitación de personal, diseño de TI, apoyo en infraestructura de respaldos).

No es siempre posible considerar otra fuente de información o implementar un método alternativo por lo que se tienen que realizar acciones preventivas para evitar la ausencia o demoras de información. Pregunta 34

No se tiene acceso a la documentación de los procedimientos de controles de calidad que se realizan para verificar el contenido de las variables.

La Secretaría de Salud no ha establecido los mecanismos para que los usuarios de las plataformas de captura de los registros administrativos tengan acceso a la documentación asociada a los procedimientos de tratamientos de datos.

3

Formular una petición a la SSJ para el acceso a documentación de procedimientos.

Elaborar un oficio a la Secretaría de Salud para tener acceso a la documentación de las plataformas de captura.

En plataformas de información de ámbito federal como el SINAC, la fuente administrativa no tiene controles sobre los procedimientos asociados al tratamiento de datos (control de rangos, códigos válidos, valores extremos, valores en blanco). Preguntas 43-47

160

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Existen algunos registros duplicados, es decir filas de datos repetidos en la base de datos.

Ausencia de controles de calidad en la base de datos en la etapa de captura del registro.

4 Reducir el número de registros múltiples

1. Implementar controles de consistencia a la captura de los datos en coordinación con la SSJ y responsables de las plataformas federales. 2. Uso de claves únicas de registros y combinación de variables para asegurar registros únicos en la base de datos.

Pregunta 84

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

5 Integrar el metadato del Registro Administrativo.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

No se realizan encuestas de satisfacción al usuario final es decir al usuario del producto estadístico (indicador y/o reportes internos).

Se realizan comunicaciones internas entre el personal que genera el producto estadístico y el usuario final pero el HCG y la SSJ no han visto la necesidad de levantar encuestas de satisfacción a los usuarios finales.

6

Documentar la satisfacción de los usuarios finales del indicador de razón materna y/o de los reportes estadísticos del HCG.

1. Identificar los usuarios finales de la SSJ. 2. Aplicar un cuestionario al usuario del reporte estadístico y/o indicador para conocer su satisfacción en cuanto a la calidad del producto final (oportunidad, accesibilidad, confiabilidad y facilidad de uso).

Pregunta 13 (producto estadístico).

161

Secretaría de Salud del Estado de Jalisco

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia Fuente Metadato Dato

Producto

4.07 0.87 2 10 Muy bueno 4 5 3 4.23

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores prioritarios de la

Secretaría de Salud del Estado de Jalisco.

Fuente Administrativa: Secretaría de Salud del Estado de Jalisco - Unidad Estatal Epidemiológica de dengue Usuario Primario: Secretaría de Salud del Estado de Jalisco - Departamento de Estadística Registro administrativo: Casos de dengue en el Estado Indicador MIR: Indicador y Boletín Epidemiológico semanal

162

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5

II.1. Documentación demetadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

163

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los…

III.4. Completitud

III.5. Medición

III.6. Claves deidentificación

III.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar…

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

164

Análisis del problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un acuerdo firmado de confidencialidad entre la Unidad Estatal Epidemiológica de Dengue y el Departamento de Estadística.

El manual de procedimiento del Registro de los casos de dengue no especifica la obligación de elaborar un acuerdo de confidencialidad entre la Unidad Estatal Epidemiológica de Dengue y el Departamento de Estadística.

1 Elaborar y firmar un acuerdo de confidencialidad

1. Integrar en el manual de procedimiento los aspectos relacionados con la Seguridad de la Información y en particular documentar el procedimiento para asegurar la confidencialidad de los datos. 2. Elaborar un acuerdo de confidencialidad y firmarlo.

El usuario primario y la fuente administrativa pertenecen a la misma institución por lo que se recomienda revisar con el área jurídica como se pueden fortalecer los procedimientos existentes (contratos, manuales de operación) para asegurar la confidencialidad de los datos. Pregunta 23

No existen mecanismos documentados para preservar la confidencialidad, integridad y disponibilidad de la información

Ausencia de documentación de procesos relacionados con la seguridad de información del Registro Administrativo. El manual de procedimiento del RA no incluye la documentación de los mecanismos para la preservación de la confidencialidad, integridad y disponibilidad de la información

2

Documentar los mecanismos de preservación, confidencialidad, integridad y disponibilidad de los datos del Registro Administrativo.

1. Coordinación con el área de informática de la SSJ para la documentación de los mecanismos de seguridad de los datos de dengue. 2. Integración de la documentación en el manual de procedimiento del RA.

Pregunta 25

No existe una política de respaldo de datos que asegure la preservación de los datos del Registro Administrativo.

Una causa probable a esta problemática puede ser que no se tiene acceso a los sistemas de respaldo centralizados de la SSJ.

3

Implementar los mecanismos de respaldo de los datos.

1. Coordinación con el área de informática de la SSJ para la revisión de los mecanismos de respaldo disponible dentro de la SSJ. 2. Diseñar e implementar los mecanismos de respaldo de la base de datos Estatal Epidemiológica de Dengue. 3. Documentar los mecanismos establecidos.

Se recomienda revisar la causa de esta problemática por parte del responsable del registro de casos de dengue. Pregunta 27

165

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un acuerdo firmado que establece la frecuencia de entrega de los datos entre la Unidad Estatal Epidemiológica de Dengue y el Departamento de Estadística de Salud.

No se ha identificado la necesidad de un acuerdo firmado por ser parte de la misma dependencia.

4

Firmar un acuerdo que establece las frecuencias de entrega de los datos de casos de dengue.

1. Elaborar el acuerdo que establece la frecuencias de entrega 2. Firmar el acuerdo. 3. Diseñar e implementar los mecanismos que aseguran el cumplimento en tiempo de las entregas. La fuente administrativa y el usuario primario pertenecen a la misma institución por lo que se puede considerar fechas de entrega dentro de un plan de trabajo institucional.

En caso de datos sensibles como los casos de Dengue, es probable que el usuario primario tenga un acceso continuo a la base de datos del registro. Pregunta 29-32

En caso de pérdida de información o falta de acceso al sistema, no se cuenta con un método alternativo para el cálculo de los indicadores y generación de producto estadístico.

No se ha contemplado la integración de un plan de contingencia. Falta de documentación de los procesos relacionados a la seguridad y disponibilidad de la información.

5 Integrar un plan de contingencia.

1. Expresar al área de informática de la SSJ la necesidad de contar con un plan de contingencia para asegurar el acceso a los datos en caso de fallas de sistemas o mantenimiento. 2. Documentar el plan de contingencia.

Pregunta 34

No se modifican los datos en caso de omisiones o inconsistencia.

La Unidad Estatal Epidemiológica de Dengue no considera necesaria la modificación de los datos en caso de omisiones o inconsistencias. No se ha documentado en el manual de operación.

6 Reducir el número de omisiones e inconsistencia

1. Hacer un diagnóstico del tipo de omisiones e inconsistencias que se presentan en la base de datos a la captura de los datos. 2. Evaluar la pertinencia de su corrección para fortalecer el aprovechamiento del Registro Administrativo. 3. Diseñar, implementar y documentar los procedimientos de corrección de datos desde la captura

Se recomiendo revisar la respuesta a esta pregunta 46

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

7 Integrar el metadato del Registro Administrativo.

1. Capacitar al personal en la documentación de metadatos en el formato estándar (DDI) 2. Asegurar que la etapa de documentación esta considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

166

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

La definición de algunas variables del archivo del Registro Administrativo no es comparable con la definición de las variables usadas por el Departamento de Estadística.

No se han acordado las definiciones entre la fuente de datos administrativos y el usuario primario.

8

Acordar definiciones comparables de las variables de utilidad para el producto estadístico.

1. Integrar un diccionario de datos de las variables del Registro Administrativo. 2. Acordar las definiciones con el Departamento de Estadística.

Se recomienda revisar la respuesta a la Pregunta 61

Se desconoce el número de Casos de Dengue que estén en el registro y que no corresponden a casos reales de Dengue. La dificultad de control basada en un diagnóstico médico puede generar un exceso de cobertura.

Los informantes en el llenado de HECRA desconocen la información.

9

Obtener la información con especialistas en el tema.

Después de obtener la información de estimación de errores de diagnósticos se propone actualizar la calificación de la pregunta 67.

Preguntas 67 y 68

Existen clasificaciones erróneas de las unidades de observación. Es decir que las observaciones se ajustan a la definición de la unidad de observación del registro, pero han sido clasificadas erróneamente.

Ausencia de procesos de control de calidad estandarizados.

10 Reducir el número de errores de clasificación.

1. Capacitar al personal de captura del Registro Administrativo. 2. Revisar y complementar las guías de captura del registro.

Existen variables sin datos es decir preguntas del formato que no se contestan.

Ausencia de procesos de control de calidad estandarizados a la captura de los datos.

11 Eliminar el número de registros sin datos.

1. Implementar procedimientos de captura que impiden la generación de variables en blanco. 2. Capacitar al personal de captura del Registro Administrativo.

Se recomienda verificar si las variables en blanco o sin datos corresponden a casos de omisiones de llenado. Pregunta 71

No se realizan controles externos (controles por parte de un tercero o auditorías internas) al proceso con el objetivo de la mejora continua.

No existen procesos documentados de mejora de la producción estadística.

12

Implementación de mecanismos de controles externos para asegurar la calidad del proceso estadístico.

1. Transmitir al área encargada la necesidad de implementar un sistema institucional de mejora de procesos 2. Implementar y dar seguimiento al plan de mejora del registro administrativo a través de un grupo de trabajo institucional.

Se pueden fomentar reuniones institucionales para compartir con las otras direcciones las etapas del proceso. A través del dialogo, fomentar la identificación problemáticas y su mejora. Pregunta 73

167

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Se desconoce si se usan códigos o clasificadores estándares

Los informantes en el llenado de HECRA desconocen si se usan códigos o clasificadores estándares.

13

Obtener la información sobre Uso de códigos y clasificadores estándar

Se propone actualizar la calificación de la pregunta 79.

Pregunta 79-80

Existen algunos registros duplicados es decir filas duplicadas en la base de datos.

Ausencia de controles a la captura en la base de datos (duplicación de claves únicas de registros).

14 Reducir el número de registros duplicados.

1. Implementar controles de consistencia a la captura de los datos. 2. Uso de claves únicas de registros y combinación de variables para asegurar registros únicos en la base de datos.

Pregunta 84

No se realizan encuestas de satisfacción al usuario final es decir al usuario del producto estadístico (Boletín Epidemiológico semanal)

Se realizan comunicaciones internas entre el personal que genera el producto estadístico y el usuario final pero la Unidad Estatal Epidemiológica de Dengue y el Departamento de Estadística de Salud no han visto la necesidad de levantar encuestas de satisfacción a los usuarios finales.

15 Documentar la satisfacción de los usuarios finales.

1. Identificar los usuarios finales de la SSJ. 2. Aplicar un cuestionario al usuario del reporte estadístico y/o indicador para conocer su satisfacción en cuanto a la calidad del producto final (oportunidad, accesibilidad, confiabilidad y facilidad de uso).

Pregunta 13 (producto estadístico).

No existen metadatos del Boletín Epidemiológico semanal

No se han documentado en el manual de operación del Registro Administrativo el proceso de documentación.

16

Integrar el metadato del RA y la ficha de metadatos de los cuadros estadísticos del boletín.

1. Capacitar al personal en la documentación de metadatos en formato estándar DDI. 2. Asegurar que la etapa de documentación esta considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar los metadatos del Boletín Epidemiológico semanal

Es importante garantizar que los usuarios dispongan de los metadatos que necesiten para comprender los datos. Estos metadatos, deben mantenerse al día mediante la incorporación de los últimos cambios en las definiciones, clasificaciones y metodología. Pregunta 18 (Producto estadístico)

168

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados de la

Secretaría de Salud del Estado de Jalisco, y de las instituciones (IMSS, ISSSTE, y HCG) fuentes administrativas de la

misma, que representan aspectos generales o de alcance institucional. La identificación e implementación de

estrategias y acciones institucionales permitirán mejorar el proceso de gestión de la información.

1. Entorno institucional, políticas y procedimientos: Falta de documentación de los procesos que aseguran la integridad, confidencialidad y disponibilidad de la información.

2. Compromiso de entrega de los datos : Falta de acuerdos y documentación de protocolos de entrega de datos

3. Control y mejora continua: falta de procesos de comunicación documentados entre la Secretaría de Salud y las instituciones, fuentes administrativas de los registros que alimentan sus productos estadísticos.

4. Documentación de los metadatos en formato DDI 5. Completitud: Presencia en los archivos de RRAA de variables sin datos y registros sin datos. 6. Uso de códigos y clasificadores estándares: Errores de clasificación y codificación 7. Cobertura: Existen registros Múltiples 8. Disponibilidad y transparencia: No hay Metadato de producto. No se integran los metadatos de los

productos estadísticos que se entregan. 9. Satisfacción de usuarios finales. No se mide la satisfacción del usuario final a través de reuniones

documentadas o encuestas a usuarios finales.

Recomendaciones:

Capacitación de personal del ISSTE, IMSS, HCG y SSJ en documentación y mejora de procesos relacionados al aprovechamiento de registros administrativos. Documentar el proceso de aprovechamiento de los registros administrativos de la SSJ en el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). Es importante que se consideren todos los puntos de captura de los registros de nacimiento, definiciones y casos de dengue. (http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

.

Diseñar una política institucional (SSJ) de seguridad de datos que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos en el sistema. La política de seguridad tendrá que considerar el flujo de datos entre la SSJ y las instituciones, fuentes de datos administrativos como el IMSS, el ISSSTE y el HCG. Se recomienda consultar a tituló de ejemplo la política de seguridad de datos del INEGI. http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf ). Igualmente se puede consultar el sitio del Banco Mundial siguiente: https://www.virtualstatisticalsystem.org/es/

Capacitar al personal en la implementación de procesos de mejora continua relacionados al aprovechamiento de registros administrativos. Esta capacitación se puede inscribir dentro del programa de trabajo del CEIEG. También se puede consultar el manual : Proceso estándar para el aprovechamiento de los registros Administrativos, desde el portal de INEGI.

169

Crear un comité de calidad de datos dentro de la SSJ para dar seguimiento a los planes de mejora, asegurar la implementación de control de calidad de los datos y los procesos de documentación asociados a la gestión de los datos que alimentan los indicadores prioritarios de la SSJ. El comité puede estar a cargo de diseñar el modelo de gestión de calidad de los registros administrativos y de implementar los mecanismos de auditoria interna en la SSJ y mecanismos de controles externos en el IMSS, ISSSTE, y HCG.

Desarrollo de mejoras en la etapa de captura de los datos para evitar registros múltiples, falta de datos (registros y variables) y errores de codificación y clasificación. Estas mejoras se pueden lograr a través de un programa de capacitación del personal que captura los datos, revisión de cuestionarios, integración de guías para el llenado de los cuestionarios, revisión de los mecanismos implementados en las plataformas informáticas de captura de datos e implementación de controles de consistencia. Un programa de sensibilización del personal que captura los datos en cuanto a los productos finales que se resultan de su trabajo al principio del proceso, puede mejorar su desempeño y resultar en una mejora de los datos.

Integración de acuerdos de entrega de datos entre las fuentes administrativas y el usuario primario en este caso la Secretaría de salud. (Transferencia segura de datos, confidencialidad, frecuencia de las entregas). Revisar con el área jurídica como se pueden fortalecer los procedimientos existentes (contratos, manuales de operación) para asegurar la confidencialidad de los datos.

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

Desarrollo de mecanismos para conocer la satisfacción de los usuarios primarios y finales de la información que se genera a partir de los RRAA. La primera etapa del modelo GSBPM es la especificación de las necesidades de los usuarios por lo que es relevante la aplicación del modelo. Para asegurar la mejora continua, es fundamental aplicar cuestionarios de satisfacción a los usuarios primarios quienes aprovechan los datos de manera estadística y a los usuarios finales, quienes usan el producto estadístico para la toma de decisiones. Las necesidades no se pueden atender si no son identificadas, estructuradas y priorizadas. Estas necesidades cambian por lo que es importante establecer una comunicación y dialogo constante con los usuarios. Existen varias maneras de conocer las necesidades y evaluar la satisfacción de los usuarios:

o Fomentar la comunicación directa del Departamento de Estadística de la SSJ con las instituciones, fuentes administrativas, a través de reuniones documentadas.

o Aprovechar la mesa de trabajo del CEIEG para identificar las necesidades y evaluar la satisfacción de los usuarios.

o Aplicar el formato de encuestas de satisfacción a los usuarios primarios y finales

170

Secretaría de Educación del Estado De Jalisco

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia Fuente Metadato Dato

Producto

3.96 0.89 0 7 Aceptable 4 4 4 3.85

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

4

Universidad de Guadalajara, Municipio de Zapopan, IIEG, Departamento de Planeación y Gestión presupuestal SEJ

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores de las MIR e indicadores

del Plan Estatal de Desarrollo.

Fuente Administrativa: Secretaría de Educación del Estado de Jalisco - Información Estadística y Enlace Regional Usuario Primario: Secretaría de Educación del Estado de Jalisco - Departamento de Estadística Registro administrativo: Registro de la matrícula (formato 911). Escuelas de educación básica. Indicador MIR: Eficiencia terminal Otro producto estadístico: Publicación electrónica de estadística educativa

171

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5

II.1. Documentación demetadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

172

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los

archivos de datos

III.4. Completitud

III.5. Medición

III.6. Claves deidentificación

III.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

173

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen acuerdos de confidencialidad de los datos.

El informante de HECRA considero que no aplicaba (NA) al Registro Administrativo.

1 NA NA Pregunta 23

No hay procedimiento documentado de Integridad, disponibilidad y confidencialidad de la información

No están establecidas las atribuciones de documentación del proceso estadístico en el manual de operación y/o reglamento interior de la SEJ.

2

Documentar los procedimientos de Integridad, disponibilidad y confidencialidad de la información

1. El Departamento de Información Estadística y Enlace Regional solicitará a la Dirección de Tecnología que se elabore la documentación de los protocolos de Integridad, disponibilidad y confidencialidad de la información. 2. Integrar las atribuciones de documentación del proceso estadístico al reglamento interior de la SEJ.

Pregunta 25

No se conoce si existe un procedimiento para asegurar la protección física de los datos.

La dirección de tecnología no ha difundido con la fuente administrativa y el usuario primario los procedimientos de seguridad de la información y en particular los procedimientos relacionados a la protección física de los datos (acceso restringido a servidores, protección de datos con firewalls)

3 Investigar si existe un procedimiento y si está documentado.

1. La Dirección de Estadística solicitará a la Dirección de Tecnología la documentación del protocolo de protección de los datos. 2. En caso de no existir procedimientos se hará la petición del diseño, implementación y documentación de los mismos.

Pregunta 26

Existen políticas de respaldo de los datos. Los procedimientos son conocidos por la fuente administrativa y el usuario primario pero no están documentados.

No están establecidas las atribuciones de documentación de los lineamientos de seguridad en el manual de operación y/o reglamento interno.

4 Documentar las políticas de respaldo de los datos.

Comunicar a la Dirección de Tecnología la necesidad de contar con una política documentada de respaldos de datos alineada a las necesidades del proceso estadístico de la SEJ.

Pregunta 27

No está documentado el proceso de entrega de datos del Departamento de Información Estadística y Enlace Regional al Departamento de Información Estadística Educativa.

No están establecidas las atribuciones de documentación de procesos estadísticos en la SEJ.

5

Documentar los términos de entrega entre Departamento de Información Estadística y Enlace Regional y el Departamento de Información Estadística Educativa.

1. Reunión entre el departamento de Información Estadística y Enlace Regional y el Departamento de Información Estadística Educativa para revisar los términos de entrega y requerimientos. 2. Documentación en la minuta de la reunión de los términos acordados 3. Integrar los términos de entrega y requerimientos del usuario primario a los manuales de operación del RA

Pregunta 29

174

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

En caso de pérdida de información o falta de acceso al sistema, no se cuenta con un método alternativo para el cálculo de los indicadores y generación del producto estadístico (boletín).

No se ha contemplado la integración de un plan de contingencia. Falta de documentación de los procesos relacionados a la seguridad y disponibilidad de la información.

6 Integrar un plan de contingencia

1. Expresar a la dirección de Tecnología la necesidad de contar con un plan de contingencia para asegurar el acceso a los datos en caso de fallas de sistemas o mantenimiento. 2. Integrar el plan de contingencia

Pregunta 34

Ausencia de mecanismos documentados de consulta entre la fuente administrativa y el usuario primario para asegurar la mejora continua

Las reuniones son informales no se había identificado la necesidad de documentarlas.

7

Documentar las consultas entre la Departamento de Información Estadística y Enlace Regional y el Departamento de Información Estadística Educativa.

Integrar un formato para la documentación de las consultas. El formato se puede usar en las reuniones programadas para el proceso de mejora continua. También se puede implementar una aplicación en línea, como una bitácora de las consultas realizadas.

La implementación y seguimiento al plan de mejora puede ser el medio por el cual se documentan las consultas. Pregunta 42

No existen metadatos del registro administrativo

No están establecidas las atribuciones de documentación del proceso estadístico en el manual de operación y/o reglamento interno. La carga de trabajo actual no permite la elaboración de las tareas de documentación de datos.

8

Elaborar el metadato del registro administrativo en formato estándar DDI.

1. La Dirección de Estadística solicitará al responsable del departamento de información estadística y enlace regional la elaboración de los metadatos. 2. Capacitar al personal en la documentación de metadatos en formato estándar (DDI). 3. Incluir la etapa de documentación en el mapa del proceso del RA. 4. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

No se documentan los cambios en conceptos y definiciones de variables del registro administrativo.

No se han implementado los procesos de documentación relacionados a la producción estadística.

9

Documentar y comunicar al usuario primario los cambios en definiciones y/o conceptos.

1. Integrar un oficio en donde se documenta el cambio. 2. Entregar el oficio al usuario primario.

La documentación y comunicación se puede hacer a través de una plataforma institucional. Lo que se busca es guardar memoria de los cambios. Pregunta 56

175

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realizan controles externos (controles por parte de un tercero o auditorías internas) al proceso con el objetivo de mejora continua.

Falta de una cultura en gestión de la calidad y mejora del proceso estadístico.

10

Implementación de mecanismos de controles externos para asegurar la calidad del proceso estadístico.

1. Transmitir al área encargada la necesidad de implementar un sistema institucional de mejora de procesos estadísticos y control de calidad. 2. Implementar y dar seguimiento al plan de mejora del registro administrativo a través de un grupo de trabajo institucional.

Se pueden fomentar, en un primer tiempo, reuniones institucionales con el objetivo de compartir con las otras direcciones las etapas del proceso. A través del dialogo se fomenta la identificación de problemáticas y su mejora. Pregunta 73

No hay metadatos del producto estadístico

Falta de una cultura de documentación 11 Integrar el metadato del RA y ficha de metadatos del boletín.

1. Capacitar al personal en la documentación de metadatos en formato estándar DDI 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar la ficha de metadatos del boletín estadístico e indicadores.

176

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados de la

Secretaría de Educación del Estado de Jalisco, y que representan aspectos generales o de alcance institucional. La

identificación e implementación de estrategias y acciones institucionales permitirán mejorar el proceso de gestión

de la información.

1. Entorno institucional, políticas y procedimientos: Falta de documentación de los procesos que aseguran la integridad, confidencialidad, disponibilidad de la información.

2. Documentación de los metadatos en formato DDI 3. Disponibilidad y transparencia: No hay Metadato de producto. No se integran los metadatos de los

productos estadísticos que se entregan. Recomendaciones:

Documentar el proceso de aprovechamiento de los registros administrativos de la SEJ en el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). Es importante que se consideren todos los puntos de captura de los registros. También, se recomienda definir en los manuales de operación y reglamento interior de la SEJ las atribuciones relacionadas a la documentación del proceso estadístico y de los metadatos de los datos y productos estadísticos.

(http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Documentar una política institucional de seguridad de datos que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos en el sistema. Se recomienda consultar a tituló de ejemplo la política de seguridad de datos del INEGI. http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf ). Igualmente se puede consultar el sitio del Banco Mundial siguiente: https://www.virtualstatisticalsystem.org/es/

Capacitación del personal de Departamento de Información Estadística y Enlace Regional en la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

177

Instituto Jalisciense de la Juventud

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia Fuente Metadato Dato

Producto

3.76 0.86 1 7 Aceptable 3 5 5 4.18

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

1 Analista estratégico interno.

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base a la integración de los indicadores de las MIR del IJJ.

Fuente Administrativa: Instituto Jalisciense de la Juventud - Coordinación de Bienestar Juvenil Usuario Primario: Instituto Jalisciense de la Juventud - Gerencia de Desarrollo Estratégico Registro administrativo: Padrón de beneficiarios del Programa de Reinserción de Jóvenes en Conflicto con la Ley. Indicador MIR: Beneficiarios jóvenes del Programa de Reinserción de Jóvenes en Conflicto con la Ley.

178

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5

II.1. Documentación demetadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

179

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en

operaciones estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se

reflejan con un valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.9. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.10. Actualidad de los datos

III.11. Registros múltiples

III.12. Otros controles

Calidad asociada a los datos

180

Análisis de problema Acción de mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se cuenta con información estructurada sobre los usuarios de la información estadística. No se satisface adecuadamente la demanda de información en el ámbito institucional. Riesgo de subutilización de la información del registro.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los registros administrativos.

1

Mejorar el conocimiento que se tiene de los usuarios y conocer su grado de satisfacción sobre los datos del Registro Administrativo.

1. Desarrollar un documento que incluye como mínimo: diagrama de flujo de la información del registro administrativo (ciclo de vida), la identificación de usuarios primarios, reportes y publicaciones en los que se usará la información, usuarios finales de los productos estadísticos. 2. Determinar la estrategia y periodicidad para la aplicación de las encuestas a usuarios primarios. 3. Aplicar la encuesta de satisfacción a la Gerencia de Desarrollo Estratégico

Preguntas 18 y 19

Se encuentran normadas las facultades para generar información pero no se identifica en el reglamento interior los elementos que le dan soporte a la gestión de los datos del Registro Administrativo. Riesgo en la continuidad en la generación de la información.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los registros administrativos, por lo que carece de documentos y procedimientos que regulen su gestión.

2

Garantizar la continuidad en la recopilación y uso de la información del registro administrativo.

1. Incorporar al reglamento interno de la institución la existencia y las responsabilidades en la gestión del registro. 2. Incorporar de manera explícita a las reglas de operación del programa la existencia del registro administrativo.

Pregunta 20 y 21

Existe un riesgo de no cumplir con la protección de la confidencialidad de los datos personales. Riesgo de afectar la credibilidad en la institución.

No se ha identificado la necesidad de desarrollar políticas de confidencialidad de los datos dentro del Instituto.

3

Garantizar la confidencialidad de los datos personales del registro administrativo

1. Elaborar un análisis de riesgo de la información a partir del diagrama de flujo, el proceso de explotación de microdatos, y la publicación de información estadística. 2. Incorporar como parte del contrato una cláusula donde el personal contratado se compromete a garantizar la confidencialidad de los datos personales que genera la institución.

Esta acción se vincula con la acción correctiva 1. Preguntas 22 y 23

181

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Existen carencias normativas que generan un riesgo en materia de seguridad de la información. Se pone en riesgo la integridad de la información por pérdida de información y existe un riesgo de perder comparabilidad de la serie de tiempo.

No existe proceso de documentación de la producción estadística.

4 Garantizar la seguridad de la información.

1. Solicitud de la elaboración de la política de seguridad de datos al área competente del IJJ. 2. Elaborar la política de seguridad. La política de seguridad se entiende como aquellos criterios y procedimientos encaminados a la preservación de la Confidencialidad, Integridad y Disponibilidad.

Preguntas 25-27

No existen protocolos formales para la gestión e intercambio de la información entre la Coordinación de Bienestar Juvenil y la Gerencia de Desarrollo Estratégico. Existe un riesgo de interpretar de manera inadecuada la información y en la continuidad de publicación de la información.

No se ha considerado la documentación del proceso de la gestión de registros administrativos con fines estadísticos. La gestión se hace en base en procesos y procedimientos informales que ponen en riesgo la calidad de la información.

5

Garantizar que la entrega de datos cumpla con los requerimientos de la Gerencia de Desarrollo Estratégico.

Elaborar un protocolo (documento) de intercambio de información con la Gerencia de Desarrollo Estratégico, en los que se establezca: los actores involucrados, la frecuencia de la entrega de la información, los criterios para dar continuidad a la entrega de información en caso de que existan problemas con la captura y procesamiento de datos; el formato de archivos requeridos y el medio por el cual se hará la entrega de datos.

Preguntas 28, 29, 30, 32

No existen mecanismos formales para garantizar que la información del registro administrativo sea capturada de manera fidedigna. Existencia de datos incorrectos en la base de datos.

La gestión de la información no se incorpora a la cultura organizacional, por lo que no se generan mecanismos de control para garantizar la calidad de los datos desde la captura.

6 Mejorar el control de captura de los datos del registro administrativo.

Elaborar y documentar el procedimiento para la captura y control de los datos del registro administrativo. En este documento deben identificarse y definirse los controles que se llevan a cabo para verificar la completitud, calidad y veracidad de los datos en la captura.

Pregunta 40.

182

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen mecanismos documentados para controlar los cambios en el RA. Riesgo de romper la comparabilidad de las series de datos y riesgo de interpretación inadecuada de la información.

La gestión de la información no se incorpora a la cultura organizacional, por lo que no se generan mecanismos de documentación de los cambios en el registro administrativo.

7 Mejorar el control de cambios de la información del registro administrativo.

Elaborar el procedimiento de control de documentos que debe incluir los criterios de comunicación de los cambios a los usuarios de la información.

Pregunta 41.

No hay instrumentos que permitan revisar con los involucrados, los alcances y mecanismos para mejorar la explotación del registro administrativo. Existe un riesgo de subutilización de la información generada.

No existe una estrategia institucional para la captura, explotación y diseminación de los datos estadísticos del registro administrativo.

8

Implementar un mecanismo de mejora continua en la gestión de la información estadística.

1. Establecer un mecanismo de consulta y análisis de la información generada por el registro. 2. Establecimiento de un grupo de mejora en el que participen Coordinación de Bienestar Juvenil y la Gerencia de Desarrollo Estratégico. El grupo puede ser el mecanismo para asegurar el seguimiento al plan de mejora del Registro Administrativo.

Esta acción se vincula con la acción correctiva 2. Pregunta 42, 60, 61

No existen políticas documentadas para el control y tratamiento de los datos. Existe un riesgo de existencia de valores inválidos en la base de datos.

No existe una estrategia institucional para la captura, explotación y diseminación de los datos estadísticos del registro administrativo.

9 Documentar los procedimientos de control y tratamiento de los datos.

1. Establecer los criterios técnicos de tratamiento de los datos del registro administrativo en un procedimiento documentado. 2. Definir los controles de la unidad de observación, contenido de variable y valores extremos. 3. Definir las políticas para la modificación de los datos del registro (edición, imputaciones)

Preguntas 43, 44, 45, 46, 47

No se cuenta con la documentación completa de la gestión informática del registro administrativo.

No se han definido los mecanismos de documentación del proceso estadístico.

10 Garantizar el uso e integridad de la Base de Datos.

Documentar la entidad-relación de la base de datos. Este proceso de documentación debe incluir la información sobre las claves principales, claves únicas y claves foráneas de cada tabla y la redundancia controlada en caso de existir.

Esta acción se vincula con la acción correctiva 11

183

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Falta de información documentada sobre las variables del registro administrativo.

No se cuenta con una estrategia para aprovechar estadísticamente el registro, y no hay procesos de documentación de la producción estadística.

11 Documentar los metadatos del registro administrativo

Documentar la información del registro administrativo en el estándar internacional DDI. (Iniciativa para la Documentación de Datos)

Preguntas 53, 54, 55, 56.

Controles insuficientes para garantizar la completitud de los datos, existen datos inconsistentes en la base de datos.

Insuficiente documentación de procesos y procedimientos de la producción estadística.

12

Garantizar la aplicación de controles de la calidad de los datos en la gestión del registro administrativo

Elaborar un documento con el protocolo de aseguramiento y control de la calidad de los datos del usuario primario que incluya al menos: la revisión de registros y variables sin datos, control de registros con clave única, métodos de ajuste o imputación de datos (o en su caso la justificación de por qué no realizar cambios)

Pregunta 71, 72

No se realizan auditorías internas documentadas al proceso estadístico.

El proceso de aprovechamiento de los datos del padrón de beneficiarios para fines estadístico no está mapeado dentro de una modelo de gestión de calidad de la institución.

13

Mejorar el mecanismo de vigilancia de la calidad de los datos del padrón de beneficiarios.

Programar una revisión (auditoría) de la calidad de los datos del padrón de beneficiario con el área responsable del IJJ.

En caso de que en la dependencia existan sistemas de gestión de la calidad, debe promoverse específicamente la implementación de una auditoría interna a los datos. Pregunta 73.

Subutilización de la información del registro. No se usan clasificadores estándar en las variables del padrón por lo que no se puede comparar la información con la generada por otras entidades o instituciones.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional, por lo que el registro no cuenta con instrumentos para facilitar el aprovechamiento estadístico del registro. No se tiene el conocimiento en le institución sobre clasificadores estándares.

14

Incorporar códigos y clasificadores estándares en la captura de los registros del padrón de beneficiarios.

1. Realizar una solicitud de apoyo al Instituto de Información Estadística y Geográfica para que asesore sobre la existencia y pertinencia de uso de los clasificadores existentes. 2. Capacitar al personal en clasificadores estándares en el tema sociodemográfico. 3. Realizar un análisis de factibilidad para la incorporación de clasificadores estándar al registro administrativo.

Se recomienda que se Pregunta 79.

No se valida o verifica la información del producto estadístico de manera automática.

No se han generado instrumentos y mecanismos informáticos para la validación de datos.

15

Mejorar la verificación de los datos en los cuadros estadísticos o integración de indicadores.

Evaluar la factibilidad para generar o incorporar a un aplicativo informático la verificación de datos estadísticos.

Pregunta 86.

184

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realizan encuestas de satisfacción al usuario final es decir al usuario de los indicadores.

No se ha identificado la necesidad de levantar encuestas de satisfacción a usuarios finales.

16 Documentar la satisfacción de los usuarios finales del reporte mensual.

Aplicar un cuestionario al usuario de los indicadores para conocer su satisfacción en cuanto a oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Pregunta 13 (producto estadístico).

No se cuenta con el control de acceso a los indicadores (o datos del padrón) en la página de internet.

No se han establecido estrategias de difusión de los indicadores o cuadros estadísticos generados a partir del padrón.

17 Mejorar la accesibilidad de la información en la web.

Solicitar al responsable de la publicación web la contabilización de las consultas y descargas de la información.

Pregunta 17 Producto estadístico.

No hay metadatos del producto estadístico

Falta de una cultura de documentación de datos.

18 Integrar metadato del RA y ficha de metadatos de cuadros estadístico

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores y reportes internos.

Pregunta 18 (producto estadístico).

185

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados del

Instituto Jalisciense de Juventud y que representan aspectos generales o de alcance institucional. La identificación

e implementación de estrategias y acciones institucionales permitirán mejorar el proceso de gestión de la

información.

1. Entorno institucional, políticas y procedimientos: debilidad del marco normativo, no hay protocolo de intercambio de información, falta seguridad de datos y riesgo en la confidencialidad de datos.

2. No hay documentación de los metadatos en formato DDI 3. La planificación de la operación estadística es deficiente. 4. Relevancia: No se conoce la demanda. No se cuenta con información estructurada sobre los usuarios de la

información estadística. Tampoco se conoce su satisfacción.

Recomendaciones:

Capacitación del personal del IJJ en documentación de los procesos de aprovechamiento de registros administrativos con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). Una vez mapeado el proceso se tendrán que implementar los mecanismos de retroalimentación (control externo, auditorías externas) para asegurar la mejora continua del proceso estadístico. Después de identificar todas las etapas del proceso estadístico se recomienda fortalecer el marco normativo o reglamento interior, integrando las atribuciones del personal necesarias para la realización de todas las etapas del proceso estadístico: especificar necesidades, diseñar, implementar las herramientas, capturar, tratamiento de datos, analizar, diseminar, evaluar y documentar). (http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Diseñar una política institucional de seguridad de datos que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos del padrón de beneficiarios. La política puede integrar los términos de entrega segura de los datos, o estos se pueden integrar a los manuales de operación del padrón. Se recomienda consultar a título de ejemplo la política de seguridad de datos del INEGI. http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

Desarrollo de mecanismos para conocer la satisfacción de los usuarios finales de la información que se genera a partir de los RRAA

186

Instituto Jalisciense de las Mujeres

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia Fuente Metadato Dato

Producto

1.22 0.37 8 28 No aceptable 1 1 2 0

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales (no se evaluó el producto estadístico).

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los programas del Instituto Jalisciense

de la mujer

Fuente Administrativa: Instituto Jalisciense de las Mujeres. Coordinación de servicios Usuario Primario: Instituto Jalisciense de las Mujeres. Coordinación de Planeación, Evaluación y Seguimiento Registro administrativo: Registro Institucional del Banco Estatal de Datos e Información sobre Casos de Violencia contra las Mujeres (BAESVIM) No se evaluó un producto estadístico

187

i. Reporte de la calidad asociada a la Fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los Metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5

II.1. Documentación demetadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los Metadatos

188

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un

valor igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones correctivas y preventivas

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.9. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.10. Actualidad de los datos

III.11. Registros múltiples

III.12. Otros controles

Calidad asociada a los datos

189

Análisis de problema Acciones de mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se cuenta con información estructurada sobre los potenciales usuarios de la información estadística. No se satisface adecuadamente la demanda de información en el ámbito institucional. Hay una subutilización de la información del registro.

La institución no cuenta con una estrategia de aprovechamiento estadístico de los registros administrativos.

1

Mejorar el conocimiento que se tiene de los potenciales usuarios.

Desarrollar un documento que incluye como mínimo: diagrama de flujo de la información del registro administrativo (ciclo de vida), la identificación de usuarios primarios, reportes y publicaciones en los que se usará la información, usuarios finales de los productos estadísticos.

Preguntas 18 y 19

Se desconoce el marco normativo que regula el Banco Estatal de Datos e Información sobre casos de Violencia contra las Mujeres.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional, por lo que no se han previsto los elementos normativos que garanticen la continuidad en la producción del registro administrativo.

2

Fortalecer el marco normativo del Banco Estatal de Datos e Información sobre casos de Violencia.

Incorporar al reglamento interno de la institución la existencia y las responsabilidades en la gestión del registro.

Pregunta 20.

No existen políticas e instrumentos que garanticen la confidencialidad de la información del registro administrativo. Por lo que existe un riesgo de incumplir con la protección de datos personales.

No se realiza un aprovechamiento de los microdatos del registro administrativo, por lo que no se ha incorporado la documentación de procesos a la gestión de la información del registro administrativo.

3

Garantizar la confidencialidad de los datos personales del registro administrativo

1. Información a partir del diagrama de flujo, el proceso de explotación de microdatos, y la publicación de información estadística. 2. Acordar lineamientos institucionales para la protección de datos personales.

Esta acción se vincula con la acción correctiva 1. Preguntas 21, 22 y 23

No se cuenta con un protocolo que define con claridad los responsables de la entrega a la Coordinación de Planeación, Evaluación y Seguimiento.

No contar con una estrategia para el aprovechamiento estadístico del registro impide el aprovechamiento pleno de los microdatos, por lo que no se documentan las etapas del proceso estadístico.

4

Garantizar la entrega oportuna de los datos a la Coordinación de Planeación, Evaluación y Seguimiento

Documentar los procesos y procedimientos de intercambio seguro de la información del registro administrativo.

Pregunta 24.

190

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen políticas dirigidas a garantizar la seguridad y de la información. Existe un riesgo de daño o pérdida de información del registro.

Las políticas de tecnologías de la información no han desarrollado los instrumentos documentados para garantizar la Confidencialidad, Integridad y Disponibilidad de la información institucional.

5

Garantizar la integridad, confidencialidad y accesibilidad de la información.

Elaborar la política de seguridad de la información de la dependencia en coordinación con el área encargada de tecnologías de la información en el IJM.

Preguntas 25, 26 y 27.

No existen protocolos de entrega de datos al usuario primario que incluye la frecuencia de entregas, un plan de contingencia en caso de falla de los sistemas, el medio y formato de los datos.

Subutilización de la información generada por el registro administrativo.

6

Integrar un protocolo de compromisos de entrega de datos a la Coordinación de Planeación, Evaluación y Seguimiento

1. Integrar en coordinación con la Coordinación de Planeación, Evaluación y Seguimiento un protocolo que defina los responsables de la entrega, el formato, los medios, las frecuencias y un plan de contingencia para asegurar que los datos del registro administrativo sean entregados a tiempo para la integración de los productos estadísticos 2. Establecer estrategias para que se cumplen los compromisos acordados

Preguntas 28-38

No se cuenta con instrumentos de control en la captura de la información del registro. Existen de datos erróneos en los registros individuales.

La dependencia no ha documentado la estrategia de uso de la información del registro administrativo.

7 Mejorar los controles a la captura de datos

Elaborar y documentar el procedimiento para la captura, controles de consistencia y control de cambios

Preguntas 39 y 40

Se carece de un instrumento de control de cambios en el registro administrativo. Existe un riesgo de interpretar inadecuadamente los cambios en los datos.

La dependencia no ha documentado la estrategia de uso de la información del registro administrativo.

8

Mejorar el control de cambios en la gestión del registro administrativo.

1. Elaborar y documentar los procedimientos de control de cambios a los datos del registro administrativo (bitácora de cambios). 2. Establecer el mecanismo de comunicación de los cambios a los usuarios de la información.

Pregunta 41.

191

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen políticas documentadas para el control y tratamiento de los datos. Existe una riesgo de afectación de la credibilidad de la información del registro para fines de uso estadístico.

La gestión de la información no se incorpora a la cultura organizacional, por lo que no se ha visualizado la importancia de la completitud y calidad de la información del registro.

9

Generar las políticas para el control y tratamiento de los datos después de la captura del registro

Elaborar un documento en donde se establezcan los procedimientos para el tratamiento de los datos del registro administrativo: controles para verificar las unidades de observación; controles para verificar el contenido de las variables, controles para verificar la ocurrencia de valores extremos, procedimientos de edición e imputación de datos.

Preguntas 43, 44, 45, 46, 47, 48.

No se ha documentado la estructura informática del registro administrativo. Existe un riesgo de manejo inadecuado de la información.

Falta de estrategias de fortalecimiento del procesos estadísticos.

10 Garantizar el uso e integridad de la Base de Datos.

Documentar la entidad-relación de la base de datos. Este proceso de documentación debe incluir: la información sobre las claves principales, claves únicas y claves foráneas de cada tabla y la redundancia controlada en caso de existir.

Pregunta 51.

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

11 Integrar el metadato del registro administrativo.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Preguntas 53, 54, 55 y 58 No existen procedimientos para

conocer el porcentaje de variables sin datos.

No se han implementados controles de calidad de datos.

12

Garantizar la aplicación de controles de la calidad de los datos del registro administrativo.

1. Elaborar un documento con el protocolo de aseguramiento y control de la calidad por parte de Coordinación de Planeación, Evaluación y Seguimiento. 2. Documentar e implementar mecanismos para la revisión de registros y variables sin datos, control de registros con clave única, métodos de ajuste o imputación de datos (o en su caso la justificación de por qué no realizaron los cambios)

Pregunta 72

192

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realizan controles externos (controles por parte de un tercero o auditorías internas) al proceso con el objetivo de mejora continua del registro administrativo.

No se han implementado procesos de mejora continua del proceso estadístico del IJM. Ausencia de un mapa del proceso estadístico.

13

Implementación de mecanismos de controles externos para asegurar la mejora en la calidad del proceso estadístico.

1. Transmitir al área encargada la necesidad de implementar un sistema institucional de mejora de procesos estadísticos y control de calidad del mismo. 2. Implementar y dar seguimiento al plan de mejora del registro administrativo a través de un grupo de trabajo institucional.

Se pueden fomentar, en un primer tiempo, reuniones institucionales con el objetivo de compartir con las otras direcciones las etapas del proceso. A través del dialogo se fomenta la identificación problemáticas y su mejora. Pregunta 73

No se realiza una captura basada en clasificadores estándar nacionales o internacionales.

La explotación estadística no se ha conceptualizado como parte de la actividad institucional. No se tiene conocimiento sobre clasificadores y catálogos internacionales.

14

Incorporar clasificadores y códigos estándar a la gestión de la base de datos.

Solicitar apoyo al Instituto de Información Estadística y Geográfica para que asesore sobre la existencia y pertinencia de los clasificadores existentes relacionados con el registro.

Pregunta 79, 80, 84

193

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados del

Instituto Jalisciense de Mujer, y que representan aspectos generales o de alcance institucional. La identificación e

implementación de estrategias y acciones institucionales permitirán mejorar el proceso de gestión de la

información.

1. No está consolidado el proceso de aprovechamiento del Registro Administrativo por lo que se propone revisar el proceso entero desde la captura hasta el diseño del producto estadístico final.

2. Entorno institucional, políticas y procedimientos: Falta de seguridad de datos, documentación de procesos ligado a la gestión y análisis de la información.

3. No hay documentación de los metadatos en formato DDI. 4. No se levanta ni estructura información sobre los usuarios de la información del registro administrativo ni

de los productos estadísticos. Recomendaciones:

Estrategia de sensibilización para los cargos directivos del IJM en materia de gestión y análisis de la información estadística de registros administrativos para la integración de indicadores prioritarios en la agenda del Gobernador como los relacionados a la violencia contra la Mujer. Visto la transversalidad del tema y la implicación de otras dependencias del Gobierno Estatal en la generación de información sobre violencia contra la Mujer, se recomienda formar un grupo interinstitucional para revisar la relevancia de los datos del Registro Administrativo del IJM, identificar usuarios primarios y finales potenciales, y definir estrategias para fortalecer el registro y así responder a la demanda de indicadores y/o reportes estadísticos sobre la temática.

Capacitación del personal del IJM en documentación del proceso de aprovechamiento de registros administrativos con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). Una vez mapeado el proceso se tendrán que implementar los mecanismos de retroalimentación (control externo, auditorías externas) para asegurar la mejora continua del proceso estadístico. Después de identificar todas las etapas del proceso estadístico se recomienda fortalecer el marco normativo o reglamento interior del IJM, integrando las atribuciones del personal necesarias para la realización de todas las etapas del proceso estadístico: especificar necesidades, diseñar, aplicar las herramientas, capturar, tratamiento de datos, analizar, diseminar, evaluar y documentar) . (http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Diseñar una política institucional de seguridad de datos que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos del Banco Estatal de Datos e Información sobre Casos de Violencia contra las Mujeres (BAESVIM). Se recomienda consultar a título de ejemplo la política de seguridad de datos del INEGI. http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

194

OTRAS TEMÁTICAS

Sistema Intermunicipal para los Servicios de Agua Potable y Alcantarillado (SIAPA)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

4.56 0.93 0 1 Muy bueno 5 5 5 3.23

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

1 Interno

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los programas de la SIAPA y generación

de reportes internos.

Fuente Administrativa: Sistema Intermunicipal para los Servicios de Agua Potable y Alcantarillado (SIAPA)- Servicio al cliente y cobranza Usuario Primario: Sistema Intermunicipal para los Servicios de Agua Potable y Alcantarillado (SIAPA)- Control de Servicio Medido Registro administrativo: Padrón de usuarios Otro producto estadístico: Reporte interno

195

i. Reporte de la calidad asociada a la fuente de datos administrativa.

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los metadatos.

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5

II.1. Documentación demetadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los metadatos

196

iii. Reporte de la calidad asociada a los datos

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un valor

igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los

archivos de datos

III.4. Completitud

III.5. Medición

III.6. Claves deidentificación

III.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.12. Otros controles

Calidad asociada a los datos

197

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un acuerdo de confidencialidad entre el personal de la SIAPA que integra el Registro Administrativo y el personal que lo explota de manera estadística.

No se ha contemplado la firma de un acuerdo de confidencialidad de la información porque los datos se comparten dentro de la misma institución.

1

Elaboración de una política institucional para asegurar la confidencialidad de los datos.

1. Integrar un requerimiento al área encargada del fortalecimiento del marco normativa de SIAPA. 2. Formar un grupo de trabajo para la integración de la política.

Pregunta 23

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

2 Integrar el metadato del Padrón de usuarios de la SIAPA.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

Aunque se tiene un contador de acceso a los datos del padrón de usuario, no se tiene un indicador que permita evaluar el aumento de acceso a los datos del padrón en un periodo dado.

No se ha implementado el mecanismo para el cálculo del indicador. No se explotan los datos históricos de acceso al padrón.

3 Integrar un indicador de control de accesos

1. Diseñar el indicador de control de acceso en la web 2. Implementar el mecanismo para su cálculo y reporte,

198

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados del

SIAPA, y que representan aspectos generales o de alcance institucional. La identificación e implementación de

estrategias y acciones institucionales permitirán mejorar el proceso de gestión de la información.

1. Entorno institucional, políticas y procedimientos: Falta de acuerdos de confidencialidad 2. Documentación de los metadatos en formato DDI

Recomendaciones:

Integrar en los contratos de trabajo del personal de la SIAPA una clausula respeto a la confidencialidad para cubrir la transferencia de datos dentro de la SIAPA. En caso de transferencia con usuarios primarios externos, integrar en el oficio de entrega un cláusula de confidencialidad de datos. Institucionalizar la mejora.

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

199

Consejo Estatal de Promoción Económica (CEPE)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

3.76 0.83 1 3 Aceptable 2 5 4 4.04

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base a la integración de los indicadores de la MIR y el reporte

mensual de la CEPE.

Fuente Administrativa: Consejo Estatal de Promoción Económica (CEPE) - Sistemas. Usuario Primario: CEPE - Coordinación de Análisis Económico y Competitividad Registro administrativo: Padrón de beneficiarios “Bienempleo” (Registro de apoyos a micro y pequeñas empresas Productos estadístico: Reporte mensual

200

i. Reporte de la calidad asociada a la fuente de datos administrativa

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los metadatos

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los metadatos

201

iii. Reporte de la calidad asociada a los datos

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un valor

igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

202

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realizan encuestas de satisfacción del usuario primario

Se carece de un sistema de captura de encuesta de satisfacción de la Coordinación de Análisis Económico y Competitividad. No se realiza como buena práctica la evaluación de la calidad de los servicios/información entregados.

1

Documentar la demanda de información del usuario primario (requerimientos y satisfacción)

1. Reunión con la Coordinación de Análisis Económico y Competitividad para conocer sus requerimientos y satisfacción. 2. Documentar a través de la minuta la demanda. 3. Acordar el mecanismo más adecuado (reuniones regulares y documentadas, portal interno, aplicación de la encuesta de satisfacción a usuario primario)

En el marco del HECRA se entregó un formato de encuesta a usuario primario que se puede usar. Preguntas 18 y 19

No se ha desarrollado un protocolo de intercambio de información que asegura la transferencia segura de los datos del padrón de beneficiarios.

Falta de políticas institucionales de seguridad de la información.

2 Desarrollar un protocolo de intercambio de datos

1. Acordar con el usuario primario que método se usarán para garantizar la transferencia segura de datos. 2. Documentar el protocolo 3. Integrar el protocolo en un manual de operación del padrón de beneficiarios de la CEPE.

Pregunta 24

No existe un acuerdo documentado de los términos de entrega de datos entre la fuente administrativa y el usuario primario.

No existen procesos de documentación de los procedimientos relacionados al ciclo de vida del Registro Administrativo.

3

Documentar los términos de entrega de los datos del padrón a la Coordinación de Análisis Económico y Competitividad

1. Reunión entre el responsable de la captura del padrón y la Coordinación de Análisis Económico y Competitividad (usuario primario) para revisar los términos de entrega y requerimientos y documentación en la minuta de la reunión 2. Integrar los términos de entrega y requerimientos del usuario primario a los manuales de operación del padrón. Asegurando que se establece la frecuencia de entrega de datos. 3. implementar mecanismos de verificación del cumplimiento de los términos.

Los términos de entrega deberían incluir una referencia al protocolo de intercambio, responsables de la entrega y recepción de los datos, responsable de la preparación de los datos y bitácoras de entrega. También pueden incluir las frecuencias de entrega, medios y formatos. Pregunta 29

203

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen procedimientos documentados de captura de datos, control de consistencia, comunicación entre fuente y usuario primario

No existe un manual de procesos relacionados a la integración, tratamiento de datos y mantenimiento del padrón.

4

Elaborar los manuales de procesos y procedimientos del programa de apoyo.

1. Conformación de un grupo de trabajo institucional que integra todos los actores desde la captura de padrón hasta su aprovechamiento. 2. Integrar los manuales de procesos y procedimientos (controles de calidad) 3. Implementar los procedimientos establecidos y documentados.

Preguntas 39-41

No están documentados los mecanismos de controles sobre los datos (unidad objetivo, contenido de variable, variables extremos, modificaciones de los datos.

No se documentan los procesos de tratamiento de datos de los Registros Administrativos de la CEPE.

5

Documentar los controles de calidad de los datos en todas las etapas del proceso desde la captura del registro administrativo hasta el aprovechamiento estadístico.

Identificar los controles de calidad necesarios (posterior a la captura de datos) y documentarlos. Los metadatos o documentación de los controles de calidad puede ser parte de la misma base de datos (fecha de cambio, control realizado, quién lo realizo, tipo de proceso (edición o imputación).

Preguntas 43-46

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

6 Integrar el metadato del Registro Administrativo.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

204

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se documentan los cambios en conceptos y definiciones de variables del registro administrativo

No existen procesos de documentación de los procedimientos relacionados al ciclo de vida del Registro Administrativo.

7

Documentar y comunicar al usuario primario los cambios en definiciones y/o conceptos.

1. Integrar un oficio en donde se documenta el cambio realizado. 2. Entregar el oficio a la Coordinación de Análisis Económico y Competitividad.

La documentación y comunicación se puede hacer a través de una plataforma institucional. Lo que se busca es guardar memoria de los cambios. Pregunta 56

Existe un exceso de cobertura en el padrón de beneficiarios. Se encuentran algunas unidades de observación que no corresponden a las empresas beneficiadas.

Ausencia de procesos estandarizados de control de calidad a la captura del padrón.

8

Reducir el exceso de cobertura que se debe a la inclusión de unidades de observación que no corresponden a la definición.

1. Capacitar a al personal de captura de la datos en conceptos y definiciones. 2. Implementar controles a la captura (por ejemplo correspondencia con directorio de micro y pequeñas empresas del estado).

Pregunta 43y 67

Existen algunos errores de clasificación de las unidades de observación del padrón de beneficiarios.

Falta de personal capacitado en los puntos de captura.

9 Reducir el número de errores de clasificación.

Capacitación del personal responsable de la captura en el llenado de los formatos para asegurar una correcta clasificación de los datos.

Algunas instituciones presentan al personal que captura los datos, los productos finales que se generan a partir de los datos. Esta actividad, valoriza el trabajo de los capturistas y resulta en una mejora en la calidad de los datos. Pregunta 68

Existen variables sin datos. Captura incompleta de los datos en el formato de algunas variables.

10

Actualizar el instrumento de recolección de datos (Formato de registro)

1. Revisar las preguntas del formato de captura asociadas con las variables sin datos y modificarlas si es pertinente. 2. Capacitar al personal de captura 3. Aplicar de nuevo el cuestionario para captar la información faltante.

Pregunta 72

205

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realizan encuestas de satisfacción al usuario final es decir al usuario del producto estadístico (indicador y/o reportes internos).

No se ha identificado la necesidad de levantar encuestas de satisfacción a usuarios finales.

11

Documentar la satisfacción de los usuarios finales del reporte mensual.

Aplicar un cuestionario al usuario del reporte para conocer su satisfacción en cuanto a la calidad del producto final en cuanto a oportunidad, accesibilidad, confiabilidad y facilidad de uso.

Pregunta 13 (producto estadístico).

No hay metadatos del producto estadístico

Falta de una cultura de documentación de datos.

12

Integrar metadato del RA y ficha de metadatos de cuadros estadístico

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores y reportes internos.

Pregunta 18 (producto estadístico).

206

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados del CEPE

y que representan aspectos generales o de alcance institucional. La identificación e implementación de estrategias

y acciones institucionales permitirán mejorar el proceso de gestión de la información.

1. Entorno institucional, políticas y procedimientos: ausencia de protocolo de intercambio de información, definición de los responsables de la entrega y recepción de los datos, responsable de la preparación de los datos y bitácoras de entrega.

2. Documentación de los metadatos en formato DDI 3. Disponibilidad y transparencia: No hay Metadato de producto. No se integran los metadatos de los

cuadros estadísticos que se entregan. 4. Satisfacción de usuarios primarios y finales. No se mide la satisfacción del usuario final a través de

reuniones documentadas o encuestas a usuarios finales.

Recomendaciones:

Capacitar al personal en la implementación de procesos de mejora continua relacionados al aprovechamiento de registros administrativos. Esta capacitación se puede inscribir dentro del programa de trabajo del CEIEG y se puede consultar el manual: Proceso estándar para el aprovechamiento de los registros Administrativos, desde el portal de INEGI. También se recomienda explorar la posibilidad de documentar los procesos de producción estadística de la CEPE con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles).

(http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Integrar los manuales de operación del padrón de beneficiario que incluyen lineamientos de entrega de datos (protocolo de intercambio) entre las fuentes administrativas y el usuario primario. . El manual define los responsables, formatos de intercambio, formato de entrega y medios.

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

Desarrollo de mecanismos para conocer la satisfacción de los usuarios finales de la información que se genera a partir de los datos del padrón de beneficiarios. Si el número de usuarios finales se reduce a algunas personas de la institución se recomienda establecer reuniones periódicas y documentadas para identificar los requerimientos y la satisfacción de los usuarios. Se puede analizar el potencial de aprovechamiento de los datos del padrón para el diseño de nuevos productos de utilidad para un universo de usuarios finales más amplio.

207

Secretaría de Desarrollo Económico (SEDECO)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

3.53 0.79 1 8 Aceptable 3 3 5 3.12

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base a la integración de los indicadores de la MIR y del

reporte interno de la SEDECO.

Fuente Administrativa: Secretaría de Desarrollo Económico (SEDECO) - Dirección General de Planeación. Usuario Primario: SEDECO - Dirección General de Desarrollo y sectores productivos Registro administrativo: Padrón de beneficiarios (proyectos de Cadenas productivas) Indicador MIR: Proyectos aprobados para el impulso de cadenas productivas y clúster Otro producto estadístico: Reporte interno

208

i. Reporte de la calidad asociada a la fuente de datos administrativa

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los metadatos

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los metadatos

209

iii. Reporte de la calidad asociada a los datos

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un valor

igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

210

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realizan encuestas de satisfacción del usuario primario

Se carece de un sistema de captura de encuesta de satisfacción de la Dirección General de Desarrollo y sectores productivos. No se realiza como buena práctica la evaluación de la calidad de los servicios/información entregados.

1

Documentar la demanda de información del usuario primario (requerimientos y satisfacción)

1. Reunión con la Dirección General de Desarrollo y sectores productivos para conocer sus requerimientos y satisfacción. 2. Documentar a través de la minuta la demanda. 3. Acordar el mecanismo más adecuado (reuniones regulares y documentadas, portal interno, aplicación de la encuesta de satisfacción a usuario primario)

En el marco del HECRA se entregó un formato de encuesta a usuario primario que se puede usar. Preguntas 18 y 19

No se ha desarrollado un protocolo de intercambio de información que asegura la transferencia segura de los datos del padrón de beneficiarios.

Falta de políticas institucionales de seguridad de la información.

2 Desarrollar un protocolo de intercambio de datos

1. Acordar con el usuario primario que método se usarán para garantizar la transferencia segura de datos. 2. Documentar el protocolo 3. Integrar el protocolo a un manual de operación del padrón de beneficiario

Pregunta 24

Ausencia de protocolos documentados de Integridad, confidencialidad y disponibilidad de la información. Tampoco existe una política de respaldos documentada.

Falta de políticas institucionales de seguridad de la información.

3

Documentar el protocolo de Integridad, confidencialidad y disponibilidad de la información del padrón

1. Documentar en coordinación con el área de sistemas los lineamientos de respaldo de datos del padrón. 2. Integrar un requerimiento al área de sistemas para la integración de la política de seguridad de la información.

Pregunta 25

211

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un acuerdo documentado de los términos de entrega de datos entre la Dirección General de Planeación y la Dirección General de Desarrollo y sectores productivos.

No existen procesos de documentación de los procedimientos relacionados al ciclo de vida del padrón de beneficiarios.

4 Documentar los términos de entrega.

1. Reunión entre la Dirección General de Planeación y la Dirección General de Desarrollo y sectores productivos para revisar los términos de entrega 2. Integrar los términos de entrega y requerimientos del usuario primario a los manuales de operación del Registro Administrativo. 3. implementar mecanismos de verificación del cumplimiento de los términos.

Los términos de entrega deberían incluir una referencia al protocolo de intercambio, responsables de la entrega y recepción de los datos, responsable de la preparación de los datos y bitácoras de entrega. También puede incluir frecuencias de entrega de datos. Pregunta 29

Los controles de cambios (procedimientos y/o definiciones) no están documentados. Por lo que no se asegura la transparencia y trazabilidad. La documentación de los cambios permite evaluar si las series de datos son comparables en el tiempo.

No existen procesos de documentación de los procedimientos de cambios y tratamientos de datos del padrón.

5

Implementar el mecanismo de documentación de cambios en los procedimientos y/o definiciones.

1. Elaboración de un procedimiento para registrar los cambios que se realizan en los procedimientos. 2. Documentar el procedimiento de control de cambio en procedimientos y/o definiciones.

Preguntas 39-41

No está documentado el mecanismo de comunicación entre la fuente y el usuario primario

No se establecen los mecanismos de documentación para asegurar la memoria del proceso de mejora continua al proceso estadístico.

6

Documentar el mecanismo de comunicación entre la fuente y el usuario primario.

1. Acordar los mecanismos de documentación de las comunicaciones (bitácoras, oficios, plataforma en línea). 2. Documentar el proceso acorado.

Pregunta 56

212

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un control de los valores extremos en algunas variables

Falta de control de consistencia implementados a la captura en línea de la información.

7 Reducir el número de errores por valores extremos.

Categorizar el ingreso de ventas para evitar que se generen errores en la captura del ingreso de ventas.

Pregunta 45

No están documentados los mecanismos de controles sobre los datos (unidad objetivo, contenido de variable, variables extremos, modificaciones de los datos.

Ausencia de una cultura de documentación de los procesos asociados a al tratamiento de datos de los Registros Administrativos.

8

Documentar los controles de calidad de los datos en todas las etapas del proceso estadístico.

Identificar los controles de calidad necesarios (posterior a la captura) de datos y documentarlos. Los metadatos o documentación de los controles de calidad puede ser parte de la misma base de datos (fecha de cambio, control realizado, quién lo realizo, tipo de proceso (edición o imputación).

Preguntas 43-46

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

9 Integrar el metadato del Registro Administrativo.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

213

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se documentan los cambios en conceptos y definiciones de variables del registro administrativo

No existen procesos de documentación de los procedimientos de cambios y tratamientos de datos del padrón.

10

Documentar y comunicar al usuario primario los cambios en definiciones y/o conceptos.

1. Integrar un oficio en donde se documenta el cambio. 2. Entregar el oficio a la Dirección General de Desarrollo y sectores productivos. 3. Implementar una plataforma en línea para la integración de cambios en conceptos y definiciones de variables.

La documentación y comunicación se puede hacer a través de una plataforma institucional. Lo que se busca es guardar memoria de los cambios. Pregunta 56

No se realizan combinaciones de claves únicas para identificar de manera unívoca cada caso del registro

No se identificó la necesidad de generar una nueva clave combinando el Registro Federal del Contribuyente (RFC) y el número de identificación del usuario

11

Generar un nueva clave resultado de la combinación de 2 claves únicas.

1. Evaluar la pertinencia de generar una nueva clave de identificación en la base de datos. 2. Integrar el requerimiento al área de sistemas.

Pregunta 59

No está documentado el proceso de unión de los archivos (registros) de la fuente Administrativa con los archivos del usuario primario

No existen procesos de documentación de los procedimientos procesamientos de datos del padrón.

12 Documentar el proceso de unión de registros.

Documentar el proceso de mantenimiento de un archivo estadístico "vivo" es decir que se actualiza con altas, bajas y modificaciones del padrón.

Preguntas 65-66

Existen algunos errores de clasificación de la unidad de observación del padrón.

Ausencia de control de calidad de datos a la captura. Falta de personal capacitado en los puntos de captura.

12 Reducir el número de errores de clasificación.

Capacitación del personal responsable de la captura en el llenado de los formatos para asegurar una correcta clasificación de los datos.

Algunas instituciones presentan al personal que captura los datos, los productos finales que se generan a partir de los datos. Esta actividad, valoriza el trabajo de los capturistas y resulta en una mejora en la calidad de los datos. Pregunta 68

214

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Existen algunos errores de codificación en caso de preguntas abiertas.

Ausencia de control de calidad de datos a la captura. Falta de personal capacitado en los puntos de captura.

13 Reducir el número de errores de codificación.

Capacitación del personal responsable de la captura en llenado de los formatos para asegurar la aplicación correcta de los sistemas de codificación.

Pregunta 81

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No se ha identificado la necesidad de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno.

14 Medir la satisfacción del usuario final

Identificar y caracterizar todos los usuarios finales del producto estadístico en este caso el reporte.

Pregunta 13

No hay metadatos del producto estadístico

Falta de una cultura de documentación de datos.

15

Integrar metadato del RA y ficha de metadatos de cuadros estadísticos del reporte.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores y reportes internos.

Pregunta 18 (producto estadístico).

215

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados de la

SEDECO y que representan aspectos generales o de alcance institucional. La identificación e implementación de

estrategias y acciones institucionales permitirán mejorar el proceso de gestión de la información.

1. Entorno institucional, políticas y procedimientos: Falta de documentación de los procesos que aseguran la integridad, confidencialidad, disponibilidad de la información. Ausencia de protocolo de intercambio de información, definición de los responsables de la entrega y recepción de los datos, responsable de la preparación de los datos y bitácoras de entrega.

2. Documentación de los metadatos en formato DDI 3. Disponibilidad y transparencia: No hay Metadato de producto. No se integran los metadatos de los cuadros

estadísticos que se entregan. 4. Satisfacción de usuarios primarios y finales. No se mide la satisfacción del usuario final a través de

reuniones documentadas o encuestas a usuarios finales.

Recomendaciones:

Diseñar una política institucional (SEDECO) de seguridad de datos que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos en el sistema. La política puede integrar los términos de entrega segura de los datos, o se pueden integrar a los manuales de operación del padrón de beneficiarios. Se recomienda consultar a título de ejemplo la política de seguridad de datos del INEGI. http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf

Igualmente se puede consultar el sitio del Banco Mundial siguiente:

https://www.virtualstatisticalsystem.org/es/

Capacitación de personal en documentación de procesos de aprovechamiento de registros administrativos de la SEDECO con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). (http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Para fortalecer procesos de mejora continua de la producción estadística, se recomienda crear un comité de calidad de datos dentro de la SEDECO para dar seguimiento al plan de mejora, asegurar la implementación de control de calidad de los datos y los procesos de documentación asociados a la gestión de los datos.

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

Desarrollo de mecanismos para conocer la satisfacción de los usuarios finales de la información que se genera a partir de los datos del padrón de beneficiarios.

216

Fondo Jalisco de Fomento Empresarial (FOJAL)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia* Fuente Metadato Dato

Producto

4.78 0.93 0 5 Muy Bueno 5 5 5 4.14

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base a los reportes de número de crédito.

Fuente Administrativa: Fondo Jalisco de Fomento Empresarial (FOJAL ) - Financiamiento PYME Usuario Primario: FOJAL - Cumplimiento regulatorio Registro administrativo: Registro de solicitudes de crédito Otro producto estadístico: Reporte de número de crédito

217

i. Reporte de la calidad asociada a la fuente de datos administrativa

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los metadatos

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los metadatos

218

iii. Reporte de la calidad asociada a los datos

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un valor

igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los…

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar…

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

219

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existe un acuerdo documentado de los términos de entrega de datos entre el área de financiamiento PYME (Crédito y evaluación de riesgos) y el área de Control Regulatorio.

No existen procesos de documentación de procedimientos relacionado al ciclo de vida de los Registros Administrativos.

1 Documentar los términos de entrega.

1. Reunión entre las dos áreas para revisar los términos de entrega. 2. Integrar los términos de entrega y requerimientos del área de Control Regulatorio en los manuales de operación del Registro de solicitudes de crédito. Asegurando que se establece la frecuencia de entrega de datos. 3. Implementar mecanismos de verificación del cumplimiento de los términos.

Los términos de entrega deberían incluir una referencia al protocolo de intercambio, responsables de la entrega y recepción de los datos, responsable de la preparación de los datos y bitácoras de entrega. Pregunta 29

No existe un mecanismo de consultas entre las dos áreas con el propósito de mejorar continuamente el Registro Administrativo.

No se había contemplado integrar este mecanismo de consulta en el ciclo de proceso del registro administrativo como una buena práctica de mejora continua.

2

Implementar el mecanismo de comunicación y documentarlo.

1. Acordar el mecanismo entre las dos áreas responsables. 2. Fomentar reuniones de manera periódica o implementar una plataforma de comunicación en línea.

Pregunta 42

No se documentan los metadatos (información sobre los datos, población objetivo, métodos de captura, etc.) del Registro de solicitud de crédito.

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

3 Integrar el metadato del Registro Administrativo.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

No se utilizan clasificadores estándar (nacionales o internacionales) para codificar preguntas abiertas

Ausencia de procesos estandarizados en gestión de los datos. No se tiene el conocimiento de los sistemas de clasificación y catálogos.

4 Usar códigos y clasificadores estándar

1. Consultar los sistemas de clasificación nacional e internacional. 2. Realizar una reunión con el Director de Cumplimiento Regulatorio para verificar la importancia y/o viabilidad del uso de clasificadores nacionales o internacionales. 3. Hacer una petición al CEIEG para la realización de una capacitación sobre códigos y clasificadores estándares en temáticas económicas.

Preguntas 79 y 80

220

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Existen algunos registros duplicados

Ausencia de controles a la captura en la base de datos (duplicación de claves únicas de registros).

5 Reducir el número de registros múltiples

1. Implementar controles de consistencia a la captura de los datos. 2. Uso de claves únicas de registros y combinación de variables para asegurar registros únicos en la base de datos. 3. Capacitación del personal responsable de la captura en llenado de los formatos.

Pregunta 84

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No se ha identificado la necesidad de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno.

6 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico. 2. Medir la satisfacción de los usuarios finales

Pregunta 13

Los cuadros de salida de la operación estadística no son validados a través de métodos automáticos. La verificación se hace de manera visual.

No están estandarizados los procesos de control de calidad. No se ha contemplado la aplicación de controles de calidad automatizado a los productos estadísticos finales.

7

Diseñar e implementar los mecanismos de validación automáticos

Petición a la coordinación de informática para la automatización de la validación de cuadros de salida a partir de la base de datos.

Desde la fase de planeación e diseño de productos estadísticos se tendrían que diseñar los controles de calidad de los productos de salida. Pregunta 86

221

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados del FOJAL

y que representan aspectos generales o de alcance institucional. La identificación e implementación de estrategias

y acciones institucionales permitirán mejorar el proceso de gestión de la información.

1. Entorno institucional, políticas y procedimientos: Ausencia de protocolo de intercambio de información, definición de los responsables de la entrega y recepción de los datos, responsable de la preparación de los datos y bitácoras de entrega.

2. Documentación de los metadatos en formato DDI 3. Satisfacción de usuarios primarios y finales. No se mide la satisfacción del usuario final a través de

reuniones documentadas o encuestas a usuarios finales.

Recomendaciones:

Capacitación de personal en documentación del proceso de aprovechamiento de registros administrativos dl FOJAL con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). Una vez mapeado el proceso de producción estadística en la FOJAL se recomienda insertar lo al proceso de certificación de calidad de la institución. (http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Integración en los manuales de operación de los términos de entrega de datos (protocolo de intercambio) entre las fuentes administrativas y el usuario primario. Definir responsables, formatos de intercambio, formato de entrega y medios.

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

Desarrollo de mecanismos para conocer la satisfacción de los usuarios finales de la información que se genera a partir de los RRAA

222

Comisión Estatal del Agua (CEA)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia Fuente Metadato Dato

Producto

4.08 0.85 0 6 Muy bueno 4 4 5 3.34

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

No disponible No disponible

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores de la CEA.

Fuente Administrativa: Comisión Estatal del Agua (CEA) - Dirección General Usuario Primario: CEA. Dirección de Operación de Plantas de Tratamiento Registro administrativo: Cédula Básica – Plantas de tratamiento de agua residual Indicadores: MIR y MIDE

223

i. Reporte de la calidad asociada a la fuente de datos administrativa

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los metadatos

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los metadatos

224

iii. Reporte de la calidad asociada a los datos

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un valor

igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los…

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar…

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

225

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen procedimientos documentados de seguridad de la Información y limitaciones en el uso de la información.

No se han considerado el desarrollo de la documentación de los procedimientos relacionados con la seguridad de la información.

1

Elaborar una política para el resguardo seguro de la información.

Elaboración de las políticas de seguridad de información para asegurar la integridad de datos y el respaldo de los datos.

Pregunta 22-24

No existen términos de entrega documentados de datos acordados entre la fuente administrativa y el usuario primario.

Falta de una cultura de documentación de procedimientos relacionado al ciclo de vida de los Registros Administrativos.

2 Documentar los términos de entrega.

1. Reunión entre la fuente administrativa y el usuario primario para revisar los términos de entrega y requerimientos. 2. documentación en la minuta de la reunión de los términos de entrega acordados. 3. Integrar los términos de entrega y requerimientos del usuario primario a los manuales de operación del Registro Administrativo. 4. implementar mecanismos de verificación del cumplimiento de los términos.

Los términos de entrega tienen que incluir una referencia al protocolo de intercambio, responsables de la entrega y recepción de los datos, responsable de la preparación de los datos y bitácoras de entrega. Pregunta 29

Los controles de cambios (procedimientos y/o definiciones) no están documentados. Por lo que no se asegura la transparencia su trazabilidad. La documentación de cambios permite evaluar si las series de datos son comparables en el tiempo.

No existen procesos de documentación de procedimientos de control a lo largo del proceso estadístico.

3

Implementar un procedimiento de control de cambios en los procedimientos y/o definiciones.

1. Elaboración de un procedimiento para documentar los cambios que se realizan en los procedimientos de los datos de la cédula básica. 2. Documentar el procedimiento de control de cambio en procedimientos y/o definiciones.

Pregunta 41

226

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Las modificaciones a los datos de la Cédula básica no se realizan de acuerdo a un procedimiento establecido y documentado.

No existen procesos de documentación de procedimientos asociados a la producción estadística.

4

Implementar los procedimientos de control de las modificaciones que se realizan a los datos de la Cédula Básica.

1. Diseñar el procedimiento de modificaciones de los datos del Registro Administrativo. 2. Diseñar e implementar un mecanismo para registrar los cambios efectuados a los datos. (memoria) 3. Documentar el procedimiento.

Pregunta 48

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

5 Integrar el metadato de los datos de la cédula básica.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

No hay comparabilidad de la clave única del Registro Administrativo con la clave única del usuario primario (ID de la planta) pero su conversión es posible

No existen diccionarios de datos acordados entre la Dirección General y la Dirección de Operación de Plantas de Tratamiento.

6

Desarrollar un diccionario de datos de las variables de la cédula básica.

1. Integrar los requerimientos de la Dirección de Operación de Plantas de Tratamiento. 2. Desarrollar el diccionario de datos de la Cédula Básica. 3. Compartir el diccionario de datos con la Dirección de Operación de Plantas de Tratamiento.

Un diccionario de datos es un metadato que contiene la descripción de las variables (definición, universo, tipo, ancho, decimales). Al integrar el metadato en DDI se construye el diccionario de datos. Pregunta 58

227

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se realizan controles externos (controles por parte de un tercero o auditorías internas) al proceso con el objetivo de mejora continua del registro administrativo.

No se han implementado procesos de mejora continua del proceso estadístico de la CEA. Ausencia de un mapa del proceso estadístico.

7

Implementación de mecanismos de controles externos para asegurar la mejora en la calidad del proceso estadístico.

1. Transmitir al área encargada la necesidad de implementar un sistema institucional de mejora de procesos estadísticos y control de calidad del mismo. 2. Implementar y dar seguimiento al plan de mejora del registro administrativo a través de un grupo de trabajo institucional.

Se pueden fomentar, en un primer tiempo, reuniones institucionales con el objetivo de compartir con las otras direcciones las etapas del proceso. A través del dialogo se fomenta la identificación problemáticas y su mejora. Pregunta 73

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No se ha identificado la necesidad de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno.

8 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales del producto estadístico. 2. Medir la satisfacción de los usuarios finales

Pregunta 13 (producto estadístico)

No hay metadatos del producto estadístico

No se documentan los metadatos de los datos del Registros y sus productos estadísticos.

9

Integrar metadato del RA y ficha de metadatos de indicadores de la CEA.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores y reportes internos.

Pregunta 18 (Producto estadístico)

228

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados de la

Comisión Estatal del Agua, y que representan aspectos generales o de alcance institucional. La identificación e

implementación de estrategias y acciones institucionales permitirán mejorar el proceso de gestión de la

información.

1. Entorno institucional, políticas y procedimientos: Falta de documentación de los procesos que aseguran la integridad, confidencialidad, disponibilidad de la información.

2. Entrega de datos. No existe un protocolo documentado de entrega de datos. 3. No se han implementado mecanismos de mejora continua del proceso estadístico. 4. Documentación de los metadatos en formato DDI 5. Disponibilidad y transparencia: No hay Metadato de producto. No se integran los metadatos de los cuadros

estadísticos que se entregan. 6. Satisfacción de usuarios finales. No se mide la satisfacción del usuario final a través de reuniones

documentadas o encuestas a usuarios finales.

Recomendaciones:

Capacitación de personal en documentación del proceso de aprovechamiento de registros administrativos de la CEA con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). Una vez mapeado el proceso se tendrán que implementar los mecanismos de retroalimentación (control externo, auditorías externas) para asegurar la mejora continua del proceso estadístico. Para tal efecto, se recomienda crear un comité de calidad de datos en la CEA que da seguimiento al plan de mejora de la Cédula básica y evalúa los registros administrativos, fuentes de datos para la integración de productos estadísticos de la CEA. (http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Diseñar un política institucional (CEA) de seguridad de datos que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos en el sistema. La política puede integrar los términos de entrega segura de los datos, o estos se pueden integrar a los manuales de operación del registro de la Cédula Básica. Se recomienda consultar a título de ejemplo la política de seguridad de datos del INEGI. http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

Desarrollo de mecanismos para conocer la satisfacción de los usuarios finales de la información que se genera a partir de los RRAA

229

Secretaría de Infraestructura y Obra Pública (SIOP)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia Fuente Metadato Dato

Producto

3.6 0.79 1 12 Muy bueno 2 4 5 3.4

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

1 Director de conservación y maquinaria

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores de la SIOP.

Fuente Administrativa: Secretaría de Infraestructura y Obra Pública (SIOP)- Infraestructura Carretera Usuario Primario: Secretaría de Infraestructura y Obra Pública (SIOP) - Infraestructura Carretera Registro administrativo: Registro de la Red Estatal Carretera Indicadores: MIR y MIDE

230

i. Reporte de la calidad asociada a la fuente de datos administrativa

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los metadatos

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los metadatos

231

iii. Reporte de la calidad asociada a los datos

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un valor

igual a 0 en la gráfica. Poe ejemplo, el registro no está integrado en una base de datos por los que no aplica la

unión de registros de los archivos de datos (3).

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

232

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Se carece de un protocolo de transferencia de información así como de medidas de seguridad de información, protección física de los datos y políticas de respaldo.

No se ha desarrollado un sistema de información en la SIOP. No se tiene acceso a infraestructura de hardware y software.

1

Diseño e Implementación de un sistema de manejo de datos alojado en servidores propios de la SIOP, para administrar, transferir, almacenar, y respaldar la información

1. Integrar las especificaciones para el desarrollo del sistema de información de administración de pavimentos. 2. Solicitar al área de informática la implementación de una base de datos. 3. Verificar la correcta operación del programa de acuerdo al diseño y la funcionalidad esperada. 4. Generar un documento en el que se especifiquen las políticas de seguridad de la información de la SIOP (transferencia, confidencialidad, integridad y disponibilidad de datos) así como los lineamientos para la protección física y de respaldos de datos.

Preguntas 24 y 27

Se presentan demoras esporádicas en la entrega de los datos.

No existe un acuerdo firmado que establece las frecuencias de entrega de datos a la persona encargada de integrar los indicadores.

2 Acordar las frecuencias de entrega de datos.

1. Elaborar el acuerdo que establece las frecuencias de entrega. En este caso, la fuente administrativa y el usuario primario son de la misma dirección por lo que se puede acordar a través de un plan de trabajo de la dirección de Infraestructura carretera. 2. Firmar el acuerdo 3. Diseñar e implementar los mecanismos que aseguran el cumplimento de las entregas en tiempo.

La ausencia de acuerdos entre la fuente administrativa y el usuario primario puede provocar demoras en la entrega de los datos lo que puede provocar un retraso en la publicación de los productos estadístico en este caso los indicadores. Preguntas 29 y 31

No están documentados los términos de entrega de datos

No se ha visto la necesidad de integrar términos de entrega porque la entrega se realiza entre personal de la dirección de infraestructura carretera.

3 Documentar los términos de entrega

1. Integrar los términos de entrega a los manuales de operación del Registro de la Red Estatal Carretera. 2. Integrar un bitácora de entregas entre el personal de la dirección de Infraestructura Carretera.

Los términos de entrega deberían incluir una referencia al protocolo de intercambio, responsables de la entrega y recepción de los datos, responsable de la preparación de los datos y bitácoras de entrega. Pregunta 29.

233

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Aunque se realizan procedimientos de control de captura de datos, control de cambios y control de consistencia, estos no están documentados. Tampoco se documentan las comunicaciones entre el personal de la dirección de Infraestructura Carretera con el objetivo de la mejora continua del registro.

Ausencia de procesos de documentación de los procedimientos de producción estadística a partir de los Registros Administrativos de la SIOP.

4

Documentar los controles de calidad de los datos en todas las etapas del proceso desde la captura del registro administrativo hasta la integración de los indicadores.

1. Identificar los controles de calidad necesarios y documentarlos. Se tienen que definir los criterios de validación para evitar y/o solucionar posibles problemas de omisión, multi- respuesta e inconsistencias en los datos que se registren. 2. Establecer los mecanismos de documentación de las comunicaciones entre el personal para incorporar una memoria de los cambios realizados a los conceptos y/o datos (Bitácoras, oficios, plataforma en línea).

Preguntas 39-41

No están documentados los mecanismos de controles sobre los datos (unidad objetivo, contenido de variable, variables extremos, modificaciones de los datos.

Ausencia de procesos de documentación de los procedimientos de producción estadística a partir de los Registros Administrativos de la SIOP.

5

Documentar los mecanismos de controles sobre los datos (unidad objetivo, contenido de variable, variables extremos, modificaciones de los datos)

1. Identificar los controles de calidad necesarios posterior a la captura de datos y documentarlos. 2. Actualmente se pueden agregar una tabla de Excel para registrar: fecha de cambio, control realizado, quién lo realizo, tipo de proceso (edición o imputación).

Los metadatos o documentación de los controles de calidad puede ser parte de la misma base de datos que se va a integrar Preguntas 43-46

No se usa todavía un manejador de base de datos.

No se tiene acceso a una infraestructura de Tecnología de la Información que permita fortalecer un Sistema de Información de Infraestructura Carretera.

6

Diseño e Implementación de un sistema de manejo de datos alojado en servidores propios de la SIOP, para administrar, transferir, almacenar, y respaldar la información

Ver acción correctiva 1

Se ha detectado en la necesidad de desarrollar los mecanismos de seguridad de datos, lo que implica un fortalecimiento de la infraestructura de TI y el desarrollo de una base de datos. Pregunta 49

234

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No existen metadatos del registro administrativo en formato estándar (DDI).

No existe una cultura de documentación y diseminación de metadatos. No se tiene el conocimiento técnico para la integración de metadatos con estándares internacionales.

7

Integrar el metadato del registro de red estatal carretera.

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI).

En muchas ocasiones no se considera la documentación como una etapa del proceso estadístico, por lo que no se asignan las funciones y personal responsable. Pregunta 53

No se documentan los cambios en conceptos y definiciones de variables del registro de la red estatal carretera.

Ausencia de procesos de documentación de los procedimientos de producción estadística a partir de los Registros Administrativos de la SIOP.

8

Documentar y comunicar a la persona encargada del aprovechamiento estadístico los cambios en definiciones y/o conceptos.

Integrar en la bitácora de comunicaciones de la dirección en cambio realizada.

La documentación y comunicación se puede hacer a través de una plataforma institucional. Lo que se busca es guardar memoria de los cambios. Pregunta 56

Existen variables sin datos.

Ausencia de procesos estandarizados de control de calidad a la captura de los registros de la red carretera estatal.

9 Eliminar el número de registros sin datos.

1. Implementar procedimientos de captura que impiden la generación de variables en blanco. En la etapa de diseño de la base de datos se tendrá que considerar estos mecanismos. 2. Capacitar al personal de captura en campo.

Pregunta 72

No se realizan controles externos (controles por parte de un tercero o auditorías internas) al proceso con el objetivo de mejora continua.

No existe proceso de mejora continua de los registros administrativos para la producción de indicadores.

10

Implementación de mecanismos de controles externos para asegurar la calidad del proceso estadístico.

1. Transmitir al área encargada la necesidad de implementar un sistema institucional de mejora de los procesos estadísticos. 2. Implementar y dar seguimiento al plan de mejora del registro administrativo a través de un grupo de trabajo institucional.

Se pueden fomentar, en un primer tiempo, reuniones institucionales con el objetivo de compartir con las otras direcciones las etapas del proceso. A través del dialogo se fomenta la identificación problemáticas y su mejora. Pregunta 73

235

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

No se usan códigos y clasificadores estándar

Por falta de conocimiento del personal en la materia, no se han identificado los sistemas de clasificaciones nacionales y/o internacionales en materia de transporte que se podrían usar desde la captura de los datos del registro.

11

Usar clasificadores estándares o códigos para las variables en dónde aplican.

1. Consultar los sistemas de clasificaciones nacionales e internacionales. 2. Hacer una petición al CEIEG para la realización de una capacitación sobre códigos y clasificadores estándares en temáticas de transporte e infraestructura. 3. Usar clasificadores estándares o códigos para las variables en dónde aplican.

Preguntas 79-80

No se mide la satisfacción del usuario final. Existe un riesgo de no conocer su demanda y por lo tanto no responder a sus expectativas.

No existe la cultura de evaluar cómo están entregados los servicios/ información a otras entidades de gobierno.

12 Medir la satisfacción del usuario final

1. Identificar y caracterizar todos los usuarios finales de los indicadores integrados a partir del registro de la red estatal carretera. 2. Realizar encuestas o grupos de trabajo para conocer la satisfacción de los usuarios finales.

Pregunta 13 (producto estadístico)

No hay metadatos del producto estadístico

Falta de una cultura de documentación de datos.

13

Integrar metadato del RA y ficha de metadatos de cuadros estadístico

1. Capacitar al personal en la documentación de metadatos en formatos estándar (DDI codebook). 2. Asegurar que la etapa de documentación está considerada en el mapa del proceso del RA. 3. Documentar el Registro Administrativo en un formato estándar (DDI). 4. Desarrollar fichas de metadatos de indicadores y reportes internos.

Pregunta 18 (producto estadístico)

236

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados de la

Secretaría de Infraestructura y Obra Pública, y que representan aspectos generales o de alcance institucional. La

identificación e implementación de estrategias y acciones institucionales permitirán mejorar el proceso de gestión

de la información.

1. Entorno institucional, políticas y procedimientos: Falta de procesos que aseguran la integridad, confidencialidad, disponibilidad de la información. No existe un sistema de información (base de datos) de la red de carreteras.

2. No hay documentación de los metadatos en formato DDI 3. Disponibilidad y transparencia: No hay Metadato de producto. No se integran los metadatos de los

cuadros estadísticos que se entregan. 4. Satisfacción de usuarios finales. No se mide la satisfacción del usuario final a través de reuniones

documentadas o encuestas a usuarios finales.

Recomendaciones:

Diseño e implementación de una base de datos del inventario de la red estatal de carretera en una plataforma segura basada en un Sistema de Información Geográfica. Este proceso tendrá que ir acompañado del diseño y documentación de una política de seguridad de datos institucional que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos en el sistema. La política puede integrar los términos de entrega segura de los datos, o estos se pueden integrar a los manuales de operación del registro de la red estatal de carretera.

Se recomienda consultar a título de ejemplo la política de seguridad de datos del INEGI.

http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf

La SIOP tiene una gran oportunidad al diseñar el sistema de información de la Red Estatal de Carreteras. Para asegurar que la plataforma de Tecnología de la Información responda a las necesidades del proceso estadístico y geográfico se recomienda explorar la posibilidad de documentar el proceso de aprovechamiento de los registros de la red estatal con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). Igualmente se recomienda consultar el manual: Proceso estándar para el aprovechamiento de los registros Administrativos, desde el portal de INEGI.

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

Desarrollo de mecanismos para conocer la satisfacción de los usuarios finales de la información que se genera a partir de los RRAA. Se recomienda identificar y caracterizar a los usuarios finales y considerar este análisis de la oferta en el diseño del Sistema de Información de la SIOP.

237

Secretaría de Medio Ambiente y Desarrollo Territorial (SEMADET)

1. Introducción

Ver el inicio de este documento.

2. Resultados de la aplicación de la HECRA

Tabla 1. Panel de Calidad Global

Resultado global

Índice # Sin

información #

Alertas Referencia Fuente Metadato Dato

Producto

4.43 0.92 1 2 Muy bueno 4 5 5 3.72

* La calificación no es afectada por la existencia de reactivos sin información o por el número de alertas

Tabla 2. Usuarios Finales

# Entrevistas a usuarios finales Usuarios finales

2

Instituto de medio ambiente y comunidades humanas Centro de Investigación y Asistencia en Tecnología y Diseño del Estado de Jalisco, A.C.

Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos

críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar

la calidad de la información estadística que sirve de base al monitoreo de los indicadores de calidad del aire.

Fuente Administrativa: Secretaría de Medio Ambiente y Desarrollo Territorial (SEMADET) - Dirección de calidad del aire Usuario Primario: SEMADET. Dirección de información y sistemas Registro administrativo: Registro de contaminantes del aire Indicador: Indicador de concentración de contaminantes

238

i. Reporte de la calidad asociada a la fuente de datos administrativa

Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a

cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de

productos estadísticos.

ii. Reporte de la calidad asociada a los metadatos

Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico.

0

1

2

3

4

5I.1. Relevancia

I.2. Seguridad de la Informacióny limitaciones en el uso de la

información

I.3. Entrega de datosI.4. Control y Mejora continua

I.5. Tratamiento de los datos

Calidad asociada con la fuente de datos administrativa

0

1

2

3

4

5II.1. Documentación de metadatos

II.2. Completitud y claridad

II.3. Uso de claves únicas

II.4. Comparabilidad

Calidad asociada a los metadatos

239

iii. Reporte de la calidad asociada a los Datos.

Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones

estadísticas. Cabe mencionar que algunas dimensiones, no aplican en el proceso por lo que se reflejan con un valor

igual a 0 en la gráfica.

3. Análisis de problemas e identificación de acciones de mejora

El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de

los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de

implementar el plan de mejora.

A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo,

así como la propuesta de acciones de mejora para cada uno de ellos.

0

1

2

3

4

5III.1. Controles técnicos

III.2. Cobertura

III.3. Unión de registros(informáticos) de los archivos

de datos

III.4. Completitud

III.5. Medición

III.6. Claves de identificaciónIII.7. Procesamiento

III.8. Uso de códigos yclasificadores estándar

(nacional o internacional)

III.9. Actualidad de los datos

III.10. Registros múltiples

III.11. Otros controles

Calidad asociada a los datos

240

Análisis de Problema Acciones de Mejora

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Se carece de un sistema de captura de encuesta de satisfacción de la Dirección de información y sistemas y de los usuarios finales de los datos de calidad del aire.

Se carece de un sistema de captura de encuesta de satisfacción del usuario. No se realiza como buena práctica la medición de la satisfacción de los usuarios primarios y finales. No existe la cultura de evaluar la calidad de los servicios/información entregados.

1

Documentar la demanda de información del usuario primario (requerimientos y satisfacción) y de los usuarios finales.

1. Reunión con la Dirección de información y sistemas para conocer sus requerimientos y satisfacción. 2. Documentar a través de la minuta la demanda. 3. En coordinación con el usuario primario acordar el mecanismo más adecuado (reuniones regulares y documentadas, portal interno, aplicación de la encuesta de satisfacción a usuario primario) 4. La Dirección de información y sistemas identificará los usuarios finales e implementará un mecanismo para medir su satisfacción.

En el marco del HECRA se entregó un formato de encuesta a usuario primario y finales que se puede usar. Preguntas 18-19 Y pregunta 13 (Producto estadístico).

Se carece de un acuerdo de confidencialidad entre la Dirección de Calidad de aire y la Dirección de información y sistemas.

No se ha contemplado la firma de un acuerdo de confidencialidad de la información. No se manejan datos personales.

2 Elaborar un acuerdo de confidencialidad de datos.

Evaluar con el área jurídica de la SEMADET la pertinencia de un acuerdo o de la inclusión de una cláusula de confidencialidad en los contratos del personal de la dependencia.

Pregunta 23

No existen procedimientos documentados de seguridad de la Información.

No se han considerado el desarrollo de la documentación de los procedimientos relacionados con la seguridad de la información.

3 Elaborar una política para el resguardo seguro de la información.

La Dirección de información y sistemas elaborará las políticas de seguridad de información que aseguran la integridad de datos y el respaldo de los datos de calidad del aire.

Pregunta 25

241

Problema detectado Causas del problema No. Corrección Acción correctiva Observaciones

Ausencia de documentación de procedimientos de protección física de datos y de políticas de respaldo.

No se ha considerado en el plan de trabajo la elaboración de manuales sobre los procedimientos del proceso de seguridad física (acceso a equipos) de datos y respaldos.

4

Elaborar los manuales de procedimiento de seguridad de la información y su resguardo.

1. Comunicar la necesidad de una política de seguridad de datos al área encargada de las Tecnologías de la Información. 2. Integrar los lineamientos de seguridad de datos que responden a las necesidades del proceso estadístico. 3. Integrar los lineamientos en un manual de procesos o de operación del RA y en la política de seguridad.

Preguntas 26-27

No existe un acuerdo que establece las frecuencias de entrega de datos a la Dirección de información y sistemas.

No existen procesos de documentación de los procedimientos relacionados al flujo de datos del registro de calidad del aire.

5

Documentar los términos de entrega de los datos a la Dirección de información y sistemas

1. Determinar en acuerdo con la Dirección de información y sistemas la frecuencia de entrega que asegure la integración a tiempo de los indicadores de calidad del aire. 2. Integrar los términos de entrega a los manuales de operación del Registro Administrativo.

Los términos de entrega deberían incluir una referencia al protocolo de intercambio, responsables de la entrega y recepción de los datos, responsable de la preparación de los datos y bitácoras de entrega. Pregunta 29

Los controles de cambios (procedimientos y/o definiciones) no están documentados. Por lo que no se asegura la transparencia y trazabilidad. La documentación permite evaluar si las series de datos son comparables en el tiempo.

Falta de procesos de documentación de los procedimientos de control a lo largo del proceso estadístico.

6

Implementar un procedimiento para la documentación y control de cambios en los procedimientos y/o definiciones.

1. Elaboración de un procedimiento para registrar los cambios que se realizan en los procedimientos (bitácoras o dentro de la misma base de datos del registro). 2. Documentar el procedimiento de control de cambio en procedimientos y/o definiciones.

Pregunta 56

Banco Mundial: REPORTE HECRA. Estado de Jalisco, México. | 242

4. Identificación de problemas y acciones estructurales/organizacionales

En este apartado se identifican elementos que afectan la calidad de la información de los RRAA evaluados de la

Secretaría de Medio Ambiente y Territorio, y que representan aspectos generales o de alcance institucional. La

identificación e implementación de estrategias y acciones institucionales permitirán mejorar el proceso de

gestión de la información.

1. Entorno institucional, políticas y procedimientos: Falta de documentación de los procesos que aseguran la integridad, confidencialidad, disponibilidad de la información.

2. Entrega de datos. No existe un protocolo documentado de entrega de datos. 3. Documentación de los metadatos en formato DDI 4. Satisfacción de usuarios finales. No se mide la satisfacción del usuario final a través de reuniones

documentadas o encuestas a usuarios finales.

Recomendaciones:

Capacitación de personal en documentación del proceso de aprovechamiento de registros administrativos de la SEMADET con el Modelo General de Procesos de Producción Estadística (GSBPM por sus siglas en ingles). Una vez mapeado el proceso se tendrán que implementar los mecanismos de retroalimentación (control externo, auditorías externas) para asegurar la mejora continua del proceso estadístico. Para tal efecto, se recomienda crear un comité de calidad de datos en la SEMADET que da seguimiento al plan de mejora del registro de la red de monitoreo de la calidad del aire e integré un modelo de gestión de calidad del proceso estadístico para la producción de indicadores de calidad del aire.

(http://www1.unece.org/stat/platform/display/metis/The+Generic+Statistical+Business+Process+Model)

Diseñar una política institucional de seguridad de datos que tendrá que considerar los aspectos de seguridad física (p. ej., el robo de computadoras portátiles), seguridad interna (p. ej., copias de seguridad de archivos), seguridad externa (p. ej. la seguridad en Internet), y la integridad como la validación de transacciones y flujo de datos en el sistema de monitoreo de calidad del aire. La política puede integrar los términos de entrega segura de los datos, o estos se pueden integrar a los manuales de operación del registro. Se recomienda consultar a título de ejemplo la política de seguridad de datos del INEGI. http://sc.inegi.org.mx/repositorioNormateca/Pod_17Dic14.pdf

Capacitación para la aplicación del estándar de la Iniciativa para la Documentación de Datos (DDI por sus siglas en inglés).

Desarrollo de mecanismos para conocer la satisfacción de los usuarios finales de la información que se genera a partir de los RRAA