3. Lineamientos generales para el diseño de la operación estadística

DIRPENDirección de Regulación, Planeación,Estandarización y Normalización

3 Lineamientos generales para el diseño

de la operación estadística

Agosto de 2014 CÓDIGO: DSO-020-LIN-03 VERSIÓN: 1

FECHA: 29-08-2014

Lineamientos generales para el diseño de la operación estadística

2 DIRPEN DSO-020-LIN-03

Dirección de Regulación, Planificación, Estandarización y Normalización DIRPEN Nelcy Araque García

Coordinación Regulación EstadísticaFredy Yahirs Rodríguez Galvis

Líder de Conceptualización y Diseño EstratégicoGrace Andrea Torres Pineda

Equipo técnicoConceptualización y Diseño EstratégicoLuis Alejandro Montenegro Ramírez

Revisión de coherenciaSonia Marcela Naranjo Morales

Agradecemos a las Coordinaciones de la DIRPEN y a las Direcciones Técnicas del DANE, quienes contribuyeron con sus aportes en la elaboración de este documento



CONTENIDO

PRESENTACIÓN ........................................................................................ 4

INTRODUCCIÓN ....................................................................................... 5

CONCEPTOS BÁSICOS ............................................................................... 6

1. PRINCIPIOS RELACIONADOS .................................................................. 7

2. BUENAS PRÁCTICAS PARA EL DISEÑO DE LAS OPERACIONES ESTADÍSTICAS 8

A. Diseño temático/metodológico ............................................................. 8B. Diseño estadístico ............................................................................... 10C. Diseño de la ejecución (producción) .................................................... 11 D. Diseño de sistemas ............................................................................. 12E. Diseño de métodos y mecanismos para el control de la calidad . 12F. Diseño de pruebas .............................................................................. 13G. Diseño del análisis .............................................................................. 13H. Diseño de la difusión .......................................................................... 14I. Diseño de la evaluación ...................................................................... 14J. Documentación ................................................................................... 15

BIBLIOGRAFÍA ......................................................................................... 16



PRESENTACIÓN

El Departamento Administrativo Nacional de Estadística (DANE), como coordinador del Sistema Estadístico Nacional (SEN) y en el marco del proyecto de Plani�cación y Armonización Estadística, trabaja por el fortalecimiento y consolidación del SEN mediante los siguientes procesos: la producción de estadísticas estratégicas; la generación, adaptación, adopción y difusión de estándares; la consolidación y armonización de la información estadística y la articulación de instrumentos, actores, iniciativas y productos. Estas acciones tienen como �n mejorar la calidad de la información estadística estratégica, su disponibilidad, oportunidad y accesibilidad para responder a la gran demanda que se tiene de ella.

Consciente de la necesidad y obligación de brindar a los usuarios mejores productos, el DANE desarrolló una serie de lineamientos que contribuyen a la visualización y el entendimiento del proceso estadístico. Allí se presentan de manera estándar, completa y de fácil lectura las principales características técnicas de los procesos y subprocesos de cada investigación, lo que permite su análisis, control, replicabilidad y evaluación.

Esta serie de documentos favorecen la transparencia, con�anza y credibilidad de la calidad técnica de la institución para un mejor entendimiento, comprensión y aprovechamiento de la información estadística. Tal información es producida bajo los principios de coherencia, comparabilidad, integralidad y calidad de las estadísticas.



INTRODUCCIÓN

El CNBP es un instrumento técnico y regulador que contribuye al mejoramiento continuo de la actividad estadística y al fortalecimiento del SEN. En este código se establecen 15 principios y 88 buenas prácticas que deben regir la producción de información estadística. Estos principios tienen como propósito mejorar la calidad de las estadísticas y aumentar la credibilidad y la con�anza entre los usuarios de la información, ya que abarcan el entorno institucional, los procesos y los productos.

Dado que las estadísticas o�ciales contribuyen a conocer la realidad económica, social y ambiental del país, así como a la formulación, implementación, evaluación y seguimiento de las políticas públicas, es necesario generarlas sobre la base de los principios y buenas prácticas consignadas en el CNBP. Por ello, para alcanzar una información de calidad y acorde con las necesidades de la misma se deben seguir las mejores prácticas disponibles en el diseño de las operaciones estadísticas.

Considerando lo anterior, es evidente que se requiere del compromiso y dedicación de las entidades del SEN para generar estadísticas de calidad que satisfagan las necesidades de información de los usuarios. Para ello, se necesita contar con mecanismos y acciones que permitan diseñar las actividades del proceso estadístico con una secuencia lógica, enfocada a la satisfacción de dichas necesidades.

Para suplir esto, el DANE pone a disposición de los productores de estadísticas el siguiente protocolo, en el cual se presenta una serie de buenas prácticas empleadas por el DANE y organismos estadísticos internacionales en el desarrollo de sus operaciones estadísticas. Se ofrecen en una secuencia lógica para apoyar el diseño de las operaciones, en las diferentes fases del proceso1

El documento se divide en tres secciones: la primera presenta una serie de de�niciones básicas; la segunda identi�ca los principios del CNBP relacionados; y la tercera aborda el tema del diseño de las operaciones estadísticas, presentando un conjunto de mejores prácticas que se deben aplicar.

1 El modelo de producción estadística del DANE comprende las siguientes fases: detección y análisis de requerimientos, diseño, ejecución (recolección y procesamiento de datos), análisis y difusión.



CONCEPTOS BÁSICOS

Estándar estadístico: es un conjunto de componentes que especi�can la práctica uniforme en cualquier punto del proceso estadístico. Cuando se usan juntos, generan un producto estadístico consistente y de alta calidad. Esto permite que los datos de diferentes fuentes puedan ser comparados y permite realizar asimilaciones signi�cativas a través del tiempo2.

Información estadística: conjunto de resultados que se obtienen de las operaciones estadísticas y que describen o expresan características sobre algún elemento, fenómeno o situación de estudio.

Metadato: información necesaria para el uso e interpretación de las estadísticas. Los metadatos describen la conceptualización, calidad, generación, cálculo y características de un conjunto de datos estadísticos.

Metodología: hace referencia al conjunto de pasos y procedimientos ordenados que se realizan con el �n de desarrollar una investigación u operación estadística. Además, de�ne lo que se quiere investigar o estudiar acerca de un fenómeno económico, social o ambiental explicando por qué se requiere, cómo se va a desarrollar, con qué herramientas, instrumentos y recursos se cuenta para obtener los resultados esperados. La metodología parte de una posición teórica que lleva a una selección de métodos o técnicas concretas acerca del procedimiento para realizar las tareas relacionadas con una investigación u operación estadística, por ello no debe confundirse con el documento metodológico donde se presenta.

Microdatos: son los datos sobre las características de las unidades de estudio de una población (individuos, hogares, establecimientos, entre otros), que constituyen una unidad de información de una base de datos y que son recogidos por medio de una operación estadística.

Operación estadística: conjunto de procesos y actividades que partiendo de la recolección sistemática de datos, conduce a la producción de resultados agregados.

Producción estadística: es el proceso que lleva implícito la consecución de la información, su procesamiento, obtención de resultados y posterior análisis, de acuerdo con la metodología elaborada para tal �n3.

2 Adaptado de Australian Bureau Statistics. (2013): http://www.abs.gov.au/websitedbs/a3121120.nsf/home/statistical+language+-+what+are+standards? y del Eurostat. Glossaryhttp://ec.europa.eu/eurostat/ramon/nomenclatures/index.cfm?TargetUrl=DSP_GLOSSARY_NOM_DTL_VIEW&StrNom=CODED2&StrLanguageCode=EN&IntKey=26546931&RdoSearch=CONTAIN&TxtSearch=standard&CboTheme=&IsTer=&IntCurrentPage=2&ter_valid=0 Recuperado el 20-09-2013.

3 Adaptado de la de�nición de la Comisión Económica para Europa de las Naciones Unidas (UNECE), «Terminology on Statistical Metadata», Conferencia de estadísticos europeos sobre estudios y estándares estadísticos, No. 53, Génova, 2000.



1. PRINCIPIOS RELACIONADOS

Los siguientes principios del CNBP se encuentran relacionados con el diseño de las operaciones estadísticas:

• Principio 4. Imparcialidad y normas: las entidades pertenecientes al SEN deben garantizar que las estadísticas o�ciales sean generadas y difundidas conforme a normas, métodos y procedimientos, respetando la independencia cientí�ca y técnica en el proceso estadístico.

• Principio 5. Con�dencialidad: las entidades pertenecientes al SEN deben garantizar la protección y la con�dencialidad de la información suministrada por las fuentes para la producción de las estadísticas o�ciales, evitando la identi�cación de las mismas.

• Principio 6. Transparencia: las entidades pertenecientes al SEN deben difundir la metodología utilizada en la generación de estadísticas o�ciales y permitir el acceso a la documentación de cada uno de los procesos.

• Principio 7. Compromiso con la calidad: las entidades pertenecientes al SEN deben estar comprometidas con el mejoramiento continuo de su actividad estadística.

• Principio 8. Selección de las fuentes estadísticas: las entidades pertenecientes al SEN deben seleccionar las fuentes de información con criterio estadístico, teniendo en cuenta el costo y la carga a los encuestados.

• Principio 9. Utilización de estándares estadísticos: las entidades pertenecientes al SEN deben utilizar estándares estadísticos nacionales e internacionales, que permitan la comparabilidad de las estadísticas o�ciales. Entre otros, conceptos estandarizados o armonizados, metadatos, clasi�caciones y nomenclaturas.

• Principio 10. Calidad en el proceso estadístico: las entidades pertenecientes al SEN deben implementar procedimientos de calidad en todas las etapas del proceso estadístico.

• Principio 11. Relevancia: las entidades pertenecientes al SEN deben garantizar que las estadísticas o�ciales respondan a las necesidades de información de los usuarios.



• Principio 12. Exactitud y con�abilidad: las entidades pertenecientes al SEN deben garantizar que las estadísticas o�ciales sean precisas y con�ables.

• Principio 13. Oportunidad y puntualidad: las entidades pertenecientes al SEN deben garantizar que las estadísticas o�ciales se difundan de manera oportuna y puntual.

2. BUENAS PRÁCTICAS PARA EL DISEÑO DE LAS OPERACIONES ESTADÍSTICAS

Por diseño de una operación estadística se entiende la estructura y los métodos que se pretenden desarrollar con el objetivo de satisfacer ciertas necesidades de información. La estructura corresponde al bosquejo, esquema o modelo de operación de variables; los métodos que se plantean para el desarrollo de la operación estadística contribuyen a reunir y procesar los datos, y analizar los resultados.

El diseño de las operaciones estadísticas debe llevarse a cabo teniendo en cuenta los pasos, que se describen en este capítulo, en su orden, los cuales constituyen un conjunto de buenas prácticas para el cumplimiento de los principios del CNBP.

Este conjunto de pasos o buenas prácticas aplica en su totalidad para el caso de censos y encuestas por muestreo. Cuando se trate de operaciones basadas en registros administrativos o estadísticas derivadas habrá algunos puntos que no necesariamente aplicarán, como es el caso del diseño de cuestionario. En estos no se tiene la recolección de datos en campo pero sí se lleva a cabo el acopio de información.

En cada una de las fases de este capítulo, las buenas prácticas se presentan para los siguientes subprocesos y actividades: temático/metodológico, estadístico, ejecución, pruebas, análisis, difusión, evaluación y documentación.

Buenas prácticas relacionadas con:

A. Diseño temático/metodológico

1. Constituir un equipo interdisciplinario para el diseño y desarrollo de la operación estadística; entre los per�les se debe considerar: temáticos/metodólogos, estadísticos,



ingenieros de sistemas, logísticos; profesionales que deben tener experiencia en el tema, en diseño de cuestionarios, desarrollo informático, operativo o logística de campo, crítica e imputación estadística, análisis de resultados, según corresponda.

2. Identi�car y establecer las necesidades de nueva información de los clientes/usuarios o la realimentación sobre las estadísticas existentes y que pueden ser revisadas. Se requiere contar con mecanismos permanentes de consulta que permitan identi�car, evaluar y documentar las necesidades en materia de información estadística, incluyendo los acuerdos supranacionales, requerimientos de ley o políticas nacionales.

3. Concretar las necesidades de información y traducirlas en objetivos: general y especí�cos. Los objetivos especí�cos deben re�ejar los productos que se deben generar.

4. Construir el origen y evolución histórica de la operación estadística, así como sus modi�caciones más relevantes y presentarlos en los antecedentes.

5. De�nir el alcance (temático, geográ�co, temporal) de la operación estadística, con lo cual se completa su delimitación.

6. Contextualizar la operación estadística mediante la construcción del marco de referencia que incluye la revisión documental y el análisis del fenómeno de estudio para enmarcarlo teórica y conceptualmente, detallando los aportes para la operación estadística, seguido del marco normativo o legal en el cual se fundamenta el desarrollo de la operación y la consulta de referentes nacionales e internacionales, con sus respectivos aportes.

7. Aplicar conceptos estandarizados o armonizados, o los de�nidos mediante actos administrativos. En el caso que se requiera estandarizar o armonizar los conceptos, este proceso debe realizarse en coordinación con el DANE. La Dirección de Regulación, Planeación, Estandarización y Normalización (DIRPEN) lleva a cabo este proceso.

8. Traducir los objetivos en indicadores que resumen la información estadística que se obtendrá. Conjuntamente, se requiere de�nir las variables asociadas tanto a los indicadores como a los objetivos.

9. Determinar y describir el conjunto de variables de estudio.

10. Establecer las variables objeto de anonimización y la técnica respectiva, para la difusión de los microdatos acorde con el protocolo para el acceso a los microdatos anonimizados.



11. Establecer el plan de resultados. Este plan incluye el diseño de los cuadros de salida, que presentan los resultados de la operación estadística, con sus respectivos niveles de desagregación temática y geográ�ca; asimismo, es necesario de�nir el calendario de publicación de los diferentes resultados que se deseen publicar.

12. Diseñar el contenido del cuestionario de acuerdo con los objetivos del estudio, indicadores estadísticos, cuadros de salida y variables de�nidos, para llegar �nalmente a las preguntas. La cantidad de preguntas se reduce a las estrictamente necesarias para cumplir con el plan de resultados, y para obtener la información estadística requerida que será plasmada en los cuadros de salida, lo que permite reducir la carga de respuesta de los entrevistados o encuestados.

13. Se debe documentar la estructura, los objetivos de cada uno de los módulos o capítulos y de las preguntas del cuestionario.

14. Elaborar las reglas que se aplicarán durante la recolección y el procesamiento del conjunto de datos para su depuración, con el �n de garantizar su completitud, corrección y consistencia; proceso que es denominado «crítica estadística». En general, las reglas se re�eren a: i) los valores que en forma individual pueden asumir las variables (proceso de validación); ii) las relaciones existentes entre unas variables y otras (proceso de consistencia), y iii) la forma como se «asigna» el valor a un dato faltante o inconsistente (proceso de imputación).

15. Establecer y aplicar las nomenclaturas y clasi�caciones existentes, de acuerdo con el fenómeno de estudio, que permitan ordenar y agrupar la información estadística, garantizando la comparabilidad nacional e internacional. Con este propósito, deben corresponder a versiones actualizadas y o�cializadas para Colombia.

En el caso que se utilice una versión anterior de una clasi�cación, es necesario recurrir a la correlativa correspondiente y luego hacer la migración a la versión actualizada.

B. Diseño estadístico

1. Establecer el universo de estudio, la población objetivo y el marco estadístico sobre los cuales se fundamenta la operación estadística.

2. Elaborar la metodología para la construcción y el mantenimiento o actualización del marco estadístico. Dicha metodología debe contener indicadores para determinar la cobertura del marco.



3. Enunciar las principales variables consideradas para el diseño de la muestra (en el caso de operaciones estadísticas por muestreo).

4. Determinar y documentar el tipo de operación mediante la cual se obtendrá información estadística requerida, que puede ser censo, encuesta por muestreo, operación estadística basada en registros administrativos o estadística derivada.

5. Establecer la cobertura y desagregación geográ�ca.

6. De�nir las unidades estadísticas: observación, análisis y de muestreo (esta última para el caso de encuestas por muestreo).

7. Determinar los periodos de recolección de referencia. Para el caso de las encuestas por muestro, se debe establecer y documentar el diseño

muestral, que contiene: método de selección de la muestra, supuestos de la distribución poblacional, tamaño de muestra, mecanismos de a�jación, con�abilidad, efectos de diseño, algoritmos para selección de la muestra ponderadores, procedimiento de estimación, precisión de resultados, mantenimiento de muestra, restitución de la muestra, y rotación.

8. Establecer el procedimiento para efectuar los ajustes de cobertura de la operación

estadística. En el caso de calibraciones, de�nir y documentar la metodología de calibración.

C. Diseño de la ejecución (producción)

1. Establecer el proceso, el método y los medios, y elaborar el material necesario para el entrenamiento del personal operativo que llevará a cabo la recolección (este proceso incluye la supervisión y coordinación) de los datos, teniendo en cuenta el método de recolección (entrevista directa, entrevista telefónica o autodiligenciamiento) y si se obtienen los datos vía web, mediante Dispositivo Móvil de Captura (DMC) o cuestionario impreso.

2. De�nir las estrategias y el material de apoyo para el proceso de sensibilización de las fuentes informantes.

3. Establecer los procedimientos generales para el proceso de selección y contratación del personal requerido.



4. Determinar los instrumentos necesarios para los procesos de recolección y procesamiento de datos y su control.

5. Establecer el método de recolección de datos y de�nir el esquema operativo.

6. De�nir el proceso de transmisión de datos, cuando la recolección se lleve a cabo mediante el uso de Dispositivos Móviles de Captura (DMC). En el caso que la recolección se efectúe con cuestionarios impresos es necesario establecer el proceso de grabación.

D. Diseño de sistemas

1. De�nir el modelo «entidad-relación» o modelo de datos y el diccionario de datos, la arquitectura y las herramientas de desarrollo.

2. Desarrollar y aplicar los procedimientos que garantizan la consistencia interna de las bases de datos y los mecanismos para su corrección en caso de error u omisión.

3. Establecer los mecanismos o técnicas para la consolidación de la base de datos, la anonimización y el procesamiento para generar una base depurada.

4. Desarrollar y aplicar el procedimiento para la generación de resultados y de los cuadros de salida de�nidos en la operación estadística.

5. Establecer los mecanismos de seguridad que garantizan la integridad de las bases de datos, el respaldo y recuperación de la información producida, y las herramientas utilizadas para cada una de las etapas del proceso estadístico.

6. Gestionar el almacenamiento y la disposición de los datos y metadatos estadísticos.

E. Diseño de métodos y mecanismos para el control de la calidad

1. Identi�car en los diferentes procesos de la operación estadística los puntos críticos y de manera preventiva establecer estrategias o mecanismos para el control y aseguramiento de la calidad.

2. Establecer las estrategias para los controles de cobertura durante el operativo de recolección.



3. Establecer los procesos de supervisión, especialmente, durante la recolección o acopio de los datos, y diseñar los indicadores necesarios para el control de la recolección y el procesamiento.

F. Diseño de pruebas

1. Establecer y diseñar el plan pruebas sobre el cuestionario diseñado para garantizar coherencia con el fenómeno de estudio, la secuencia lógica de las preguntas y los �ujos de información.

2. Establecer y diseñar las pruebas piloto y experimentales para veri�car el correcto funcionamiento y/o desempeño de las metodologías, las estrategias, los procedimientos e instrumentos diseñados para la ejecución (recolección o acopio y procesamiento) de las operaciones estadísticas en los diferentes procesos.

3. Las pruebas deben tener metodología y objetivos de�nidos y los resultados deben incorporarse al diseño mediante ajustes de los respectivos instrumentos, métodos o procesos.

4. Documentar los resultados de las pruebas de acuerdo con el protocolo correspondiente y los lineamientos establecidos.

G. Diseño del análisis

1. Determinar el tipo de análisis estadístico que se aplica (o aplicará) sobre el conjunto de resultados de la operación estadística.

2. Documentar los métodos de análisis de�nidos para la operación estadística. Esta documentación permite identi�car todos los elementos necesarios para el desarrollo de este proceso.

3. De�nir, en la metodología, los procedimientos que se aplicarán para comparar los resultados históricos con otras fuentes de datos similares y con los hechos sucedidos en el universo de estudio sobre la temática estudiada que den explicación de la información estadística obtenida (análisis de contexto).

4. Realizar análisis de consistencia o coherencia de los resultados obtenidos con las series e indicadores históricos de la propia operación estadística, así como de otras con temáticas similares.



5. Establecer y documentar los comités de expertos (internos, nacionales e internacionales) que se deban desarrollar para contextualizar, analizar, validar y/o ajustar los resultados.

6. Determinar los paquetes estadísticos requeridos para el análisis de los resultados.

7. De�nir los per�les del personal que lleva (o llevará) a cabo el proceso de análisis.

H. Diseño de la difusión

1. De�nir los productos de la operación estadística que se pondrán a disposición de los usuarios.

2. Establecer los medios y mecanismos para la difusión y consulta de los resultados, teniendo en cuenta las políticas establecidas por la entidad para este �n.

3. Especi�car la administración del repositorio de datos, para la gestión del almacenamiento, el mantenimiento y la difusión de los microdatos, macrodatos y metadatos.

4. De�nir qué metadatos se publicarán con los resultados de la operación estadística.

I. Diseño de la evaluación

1. Planear y diseñar la evaluación de cada una de las fases del proceso estadístico en desarrollo de la operación estadística. Generar las evidencias correspondientes: actas y asistencias de reuniones, informes técnicos, mediciones del Sistema de Gestión de la Calidad e informes de realimentación de usuarios.

2. Planear y diseñar una evaluación global de la operación estadística en la cual se presentan los resultados intermedios, y se genera un informe de evaluación para la siguiente etapa (o iteración) de la operación y de ser necesario deben incluirse recomendaciones para futuros cambios, ajustes o rediseños.

3. Igualmente, debe contemplarse una reunión que tenga la capacidad de decisión necesaria para elaborar y acordar un plan de acción basado en el informe de evaluación.

4. Establecer mecanismos para consulta a los usuarios que proporcionen información para alimentar la evaluación de los resultados puestos a disposición de los mismos.



J. Documentación

1. Documentar el proceso de diseño de la operación estadística y disponer de los diferentes documentos metodológicos al �nalizar dicho proceso, de acuerdo con los lineamientos impartidos por el DANE a través de la Dirección de Regulación, Planeación, Estandarización y Normalización (DIRPEN) para tal �n.

2. Elaborar los informes correspondientes de los procesos o subprocesos de recolección, procesamiento, análisis de resultados y evaluación, de acuerdo con los lineamientos de�nidos por el DANE.



BIBLIOGRAFÍA

ANDESTAD. Proyecto de Cooperación UE-CAN. TDDE. Formación de Formadores en Técnicas de Diseño y Desarrollo de Encuestas. Diseño de cuestionarios. Lima-Perú.

DANE (Septiembre 2012). Guía para la elaboración de documentos metodológicos estándar de las operaciones estadísticas. Herramientas estadísticas para una gestión territorial más efectiva No. 10. Bogotá.

DANE (Octubre 2011). Código Nacional de Buenas Prácticas para las Estadísticas O�ciales. Bogotá. Pág. 8-15.

DANE. Resolución 1503 de 2011.Difusión de la información estadística.

Statistics Canada (2009). Quality Guidelines. Fifth Edition – October 2009. Recuperado de http://www.statcan.gc.ca/pub/12-539-x/12-539-x2009001-eng.pdf

3. Lineamientos generales para el diseño de la operación estadística

Documents

Transcript of 3. Lineamientos generales para el diseño de la operación estadística