LA INFORMATICA EN LOS CENSOS DE POBLACION Y VIVIENDAS …

LA INFORMATICA EN LOS CENSOS DE POBLACION Y VIVIENDAS DE 2001

Instituto Nacional de Estadística (INE)

LA INFORMATICA EN LOS CENSOS DE POBLACION Y VIVIENDAS DE 2001 Octubre 2001

Instituto Nacional de Estadística ( I.N.E.) Página 2 de 2

INDICE

1. Introducción

2. Cuestionarios en papel: el mayor sistema de gestión documental avanzada del mundo

3. Cuestionarios por Internet: España, primer país del mundo que permite la cumplimentación del Censo por Internet a toda la población. © Created by Service of Coordination, Planning and Data Entry . National Statistical Institute of Spain (INE) October 2001.



La informática en los Censos de Población y Viviendas 2001

1. Introducción

Los Censos Generales, como los que se van a realizar durante el año 2001, son la operación estadística de mayor magnitud e importancia para el sistema estadístico nacional en tanto que determinan los parámetros fundamentales de los edificios, los locales, las viviendas y la población residente en el conjunto del país y para cada uno de sus ámbitos territoriales y administrativos, suministrando la información que será básica durante la próxima década.

Las informaciones que suministran dichos Censos son fundamentales para todas las Administraciones Públicas, en relación con sus tareas de planificación, gestión y seguimiento de servicios y políticas públicas, y que dichas informaciones son también esenciales para las empresas, los agentes sociales, los investigadores y los ciudadanos.

Los Censos de Población y Vivienda, por el volumen de información manejada, el numero de personas y Organismos implicados, y los requisitos de obtener resultados en los menores plazos posibles y con las menores molestias para los ciudadanos, son una operación que requiere una utilización intensiva de las tecnologías de la información y las comunicaciones mas avanzadas.

Para lograr los objetivos censales, el Instituto Nacional de Estadística ha realizado un gran esfuerzo utilizando las tecnologías más novedosas y eficaces, siendo estos Censos punteros en todo el mundo tanto en la utilización de tecnología de captura de cuestionarios en papel, como en facilitar a los ciudadanos su cumplimentación a través de Internet. Estos esfuerzos están en línea con las directrices estratégicas marcadas por el Plan INFO XXI para la construcción de la Sociedad de la Información en España.

A continuación describiremos los 2 proyectos informáticos (en función del tipo de cuestionario a rellenar por los ciudadanos) que suponen el mayor reto informático actual de captura y gestión de la información que existe a nivel mundial:

1. Cuestionarios en papel: el mayor sistema de gestión documental avanzada del mundo

2. Cuestionarios por Internet: España, primer país del mundo que permite la cumplimentación del Censo por Internet a toda la población.



2. Cuestionarios en papel: el mayor sistema de gestión documental avanzada del mundo Los tratamientos informáticos que se deben aplicar a los datos censales están fuertemente condicionados por el enorme volumen de información a procesar y por la reducción sustancial del tiempo que los usuarios demandan para obtener los datos censales. Ambos factores confluyen en que los tratamientos censales, aparte de asegurar la calidad de los procesos, deben ser ante todo rápidos.

Los condicionantes del proceso informático de Producción censal son:

• Complejidad operativa: mas de 800 personas.

• Complejidad técnica: equipamiento de última generación, volúmenes de 4,5 TB, 25 TB en total.

• Criticidad en tiempos: de Noviembre a Febrero. Fecha de finalización fija . La producción se realizará en 2,5 meses.

• Criticidad en disponibilidad: Trabajo intensivo en digitalización, reconocimiento óptico y videograbación para hacer que la información este disponible tras 2,5 meses de producción.

El proyecto de Producción Censal de los cuestionarios en papel no es solo el mayor proyecto de almacenamiento y gestión documental avanzada en España, sino que podríamos asegurar que a nivel mundial no existe un proyecto de Gestión Documental que debido a su criticidad en tiempos, volúmenes de información y seguridad, requiera de un total de 25 TB procesados en 3 meses y que cuente con volúmenes físicos y lógicos de hasta 4,5 TB. manteniendo a la vez alta disponibilidad en cluster.

Se prevé que mas del 90% del Censo de Población y Viviendas 2001 se cumplimente utilizando esta vía, la del cuestionario en papel.

Contamos con el Centro de Producción Censal (CPC) situado en la localidad de San Fernando de Henares (Madrid). En este macrocentro, que cuenta con mas de 5.000 mts2, se realizará la Producción de todo el Censo de Población y Viviendas 2001, a excepción de los cuestionarios que se cumplimenten vía Internet. Mas de 800 personas trabajarán en la explotación de los datos censales. También, durante el tiempo de recogida de la documentación, se contará con 500 oficinas comarcales en toda España que serán las encargadas de remitir los cuestionarios al centro de producción censal de SFH.



La realización de los Censos de Población y Vivienda, encomendada al Instituto Nacional de Estadística, es una operación enormemente compleja en la que participarán más de 40.000 personas, que durante un periodo de unos dos meses y medio recorrerán 21 millones de direcciones postales para recoger información sobre los edificios, las viviendas ocupadas y las personas que habitan ocupadas y las personas que habitan en ellas. Está previsto visitar unos 13 millones de hogares y recoger información de aproximadamente 40 millones de personas.

El presupuesto del Censo alcanza los 27 mil millones de pesetas, del que la partida más importante, el 60%, corresponde a los gastos del personal que se va a contratar para llevarlo a cabo.

El centro de procesamiento de SFH contará con unas 800 personas que realizarán trabajos especializados.

Los equipamientos físicos y lógicos necesarios los equipamientos físicos y lógicos necesarios para realizar el Censo de Población y Viviendas 2001, conforme al modelo de procesamiento establecido, se representa en los gráficos siguientes:



Las unidades de almacenamiento masivo que dispone el INE para este proyecto tiene una capacidad de 25 TB (Terabyte = Unidad de capacidad de memoria equivalente a un billón de bytes) y están dotadas de las medidas de seguridad informática mas avanzadas que existen hasta el momento ( Raid 0+1, Cluster, fibra óptica, SAN...).

los 25 TB. planificados se requieren para realizar el almacenamiento de las imágenes digitalizadas y poder realizar la explotación de la información recogida a través de procesos de reconocimiento inteligente de caracteres (a través del sistema de reconocimiento Bellview Scan de la empresa Pulser Train y la aplicación desarrollada por la empresa española ODEC), control y depuración estadística de los datos obtenidos a través de las imágenes anteriormente citadas, tablas, mejora de literales, codificaciones automáticas... no olvidemos que, por ejemplo, la base de datos contiene un registro por cada ciudadano de nuestro país (40.000.000).

Para ello contamos con 2 sistemas de almacenamiento centralizado de última generación Symmetrix 8430 de la empresa EMC2 con 140 discos (72 y 68 respectivamente) de 181 Gbytes (25 TB en total) y cada uno de ellos cuenta con 4 puertos fibra FC SW (switch fabric).

Debido a las características especiales de tiempo que se dispone para realizar la Producción informática (2,5 meses de producción masiva) y del volumen de información a procesar (digitalización de 60.000.000 de cuestionarios ,lo que hace unas 100.000.000 de imágenes escaneadas), tenemos la necesidad de conformar unidades lógicas (volúmenes físicos de información de 4,5 TB cifra record a nivel mundial que sobrepasa los límites conocidos en entorno Windows hasta el momento. Es un gran reto el manejo de tales volúmenes de información. Todas las empresas que intervienen en el proyecto están volcados en este reto, que se conforma como el primero de estas características a nivel mundial.

La arquitectura informática está diseñada en SAN (Múltiples servidores compartiendo un sistema de almacenamiento de forma segura vía protocolo Fiber Channel) por la empresa Fujitsu Siemens (Siemens realiza la integración del proyecto) y cuenta con:

• Servidores en cluster de la de 4 y 8 vías en Rack (armarios especiales que reúnen a todos los procesadores) con procesadores Xenon a 700 MHz con 2 MB de memoria cache y 3 GB RAM. Sistema de Backup Scalar 100 (LTO) que cuenta con una capacidad de 15 TB, y un ratio de transferencia de 15 MB/s con una velocidad de copia de 324 Gb/h. Mas de 200 unidades con 2 procesadores Pentium III a 1 GHz y 256 MB RAM

• El Sistema operativo empleado es Windows 2000 Advance Server, la base de datos Microsoft SQL 2000.

• Contamos con un sistema de copias en CD con el que se pretende enviar a cada municipio de España las imágenes correspondientes a su Padrón Municipal.

• Como elemento fundamental del sistema de Producción contamos con 12 Sistemas de digitalización de alta producción Kodak ¡810 que es lo último en tecnología de digitalización que permite un procesamiento de la imagen en tiempo real. Tiene una resolución de 400 dpi (nosotros digitalizaremos a 200 dpi, resolución suficiente para crear una imagen de calidad para posteriormente ser reconocida por los programas de OCR). Velocidad de 120 páginas por minuto o 240 imágenes/minuto en modo duplex (por las dos caras). La velocidad de producción real debido a paradas, atascos... la prevemos en 70 a 80 ppm (duplex). La producción se realizará en 24 horas diarias de producción durante 5 días a la semana como mínimo.

• Consola única de gestión de rendimientos, configuración, alarmas, topología y capacity planning de cualquiera de los elementos de la SAN.



• Los programas de reconocimiento óptico Bellview ayudado con sistemas de mejora de literales, codificación automática, diccionarios... Permitirá realizar niveles de reconocimiento superiores al 80% de los procesado.

El esquema de producción censal del INE se divide en las siguiente áreas de gestión:

• Área A - Gestión de entrada / salida de la documentación censal: Esta unidad será la responsable del control de entrada / salida de la documentación censal. Se encargará del control y gestión de las áreas de recepción, control de la documentación, almacén de entrada, almacén de salida y expedición. Realizará la preparación de la documentación en lotes de trabajo y su distribución para su digitalización. Una vez finalizados los procesos informáticos de producción censal, remitirá la documentación al almacén de salida verificando su integridad.

• Área B - Gestión de la digitalización de la documentación censal. Esta unidad contará con personal experto en sistemas de digitalización que se encargarán de realizar una correcta digitalización de la documentación censal verificando los niveles de calidad de las imágenes resultantes. Deberán realizar los mantenimientos preventivos que se especifiquen al principio de cada jornada de trabajo y gestionarán las incidencias producidas en el proceso de digitalización.

• Área C - Gestión del sistema de Videograbación censal. Esta unidad se encargará de realizar la entrada de datos de los caracteres no reconocidos por el sistema informático censal, así como la corrección de los caracteres interpretados erróneamente por el sistema. Estos procesos serán realizados mediante un sistema de presentación en pantalla de la imagen de los distintos cuestionarios censales.

• Área D- Gestión de Validación de datos censales. Será la encargada de realizar la depuración de los datos censales una vez obtenidos los ficheros de datos correspondientes, control de duplicaciones, falsas altas... todo conforme al sistema de procesamiento informático censal realizado por el INE.

• Área E - Gestión del sistema de tratamiento de los cuadernos de recorrido censales. Serán los encargados de realizar la gestión del tratamiento específico que requiere este tipo de documento. Está conformado por personal de digitalización, control , videograbación y validación.

• Área F – Control de backup. Control del sistema de backup

• Área G - Gestión del control informático. Personal responsable de todos los procesos, trabajos y personas del sistema de producción censal. Deberá conocer en profundidad aspectos globales del sistema y específicos de los procesos de reconocimiento, mejora de literales, diccionarios, Videograbación... Deberá controlar todos los procesos que se realicen a los lotes de trabajo. Deberá controlar la secuencia de los documentos, la cobertura de los lotes con los ficheros de las oficinas comarcales y con los cuadernos de recorrido. Debe conseguir que los índices de productividad, que en su momento se consideren óptimos, se cumplan.



• Área H - Gestión del control y administración, almacenamiento, comunicaciones y seguridad física y lógica de los ficheros de imágenes y datos censales. Personal especializado responsable de todos los sistemas y soportes de almacenamiento de imágenes y datos de la red general de producción censal del INE. También será responsable de la seguridad física y lógica de la información ( imágenes y datos). Se encargará también de la exportación de los datos y de las comunicaciones con otros centros censales y /o centros INE. Este personal deberá dar solución a los problemas de carácter informático que se puedan presentar en la red general de producción censal. Deberá conocer las aplicaciones y sistemas físicos y lógicos empleados para poder resolver las incidencias que se produzcan (ver anexo correspondiente al equipamiento informático censal) . Deberá mantener y optimizar los dispositivos físicos y lógicos para que realicen una producción conforme a los objetivos fijados.

• Área I - Control de calidad. Deberán realizar los procesos de Videocorrección necesarios y en el volumen que se determine para testar que los índices de fiabilidad / eficacia del producción censal son los adecuados o por el contrario deben mejorarse. Un lote de trabajo no será dado por bueno sin la autorización de esta unidad.

• Área J - Gestión del sistema de incidencias. Se encargará de solucionar las incidencias que se produzcan en relación a la documentación censal (deterioro físico, incorrectas identificaciones, control de cobertura con las oficinas comarcales...). Ante el posible deterioro físico de algunos cuestionarios, que imposibilite su correcta digitalización, deberán realizar un proceso de entrada de datos tradicional generando un cuestionario virtual que sustituya al dañado. Otras incidencias serán solucionadas mediante la digitalización personalizada de cada cuestionario y su posterior proceso de Videograbación. Una vez solucionada la incidencia los cuestionarios, imágenes y datos serán remitidos a donde se generó la incidencia para su integración en los correspondientes lotes de trabajo.

• Área K - Gestión del control, seguimiento y administración de la red general de producción censal del INE. Serán los responsables de gestionar y controlar todas las áreas especificadas anteriormente para la realización de la producción censal en los tiempos previstos y en las condiciones más óptimas. Deberán optimizar los dispositivos, sistemas... con el fin de optimizar la producción censal conforme al plan establecido. Deberán realizar el seguimiento pormenorizado de los flujos de trabajo y presentar al INE informes de los resultados obtenidos y de la planificación prevista. Deberán estar en continuo contacto con la Unidad de Control del INE para conseguir los índices de calidad que se pretenden.

La arquitectura de sistemas y de comunicaciones del Censo viene determinada de una parte por los sistemas disponibles en el propio INE, tanto en sus Servicios Centrales como en sus Delegaciones Provinciales y de otra por las contrataciones de los servicios de la cumplimentación de los censos vía Internet y la comunicación telefónica de las Oficinas Comarcales (500) con el INE. Estos sistemas se completan con el equipamiento necesario para realizar los procesos de Gestión Documental basados en el Reconocimiento Inteligente de Caracteres (ICR), y dotado de la infraestructura tecnológica mas avanzada del mundo.

Para asegurar que los intercambios de información se realizan en las debidas condiciones de seguridad y poder asegurar igualmente la confidencialidad de la información en el caso de ficheros con datos de carácter personal, se ha definido una extranet entre las Oficinas Comarcales y el INE, que se ha



denominado Red Privada de los Censos (RPC). La RPC constará del conjunto de equipos físicos y lógicos y del sistema de comunicaciones del propio INE, complementado con un conjunto de redes locales, una para cada una de las Oficinas Comarcales.

Las comunicaciones entre dichas redes darán servicio tanto a voz como a datos a través de telefonía móvil, pasando siempre por los servicios centrales del INE.

3. Cuestionarios por Internet: España, primer país del mundo que permite la cumplimentación del Censo por Internet a toda la población. Ideas claves: • España es el primer país del mundo que permite la cumplimentación del Censo por Internet a todas

las personas previamente empadronadas en la vivienda donde residen. • La cumplimentación por Internet del Censo será totalmente confidencial y fácil de realizar, en función

de procedimientos de seguridad acordes con la información a cumplimentar. • El INE agradecerá la cumplimentación por Internet del Censo mediante la entrega gratuita de datos

estadísticos sobre la distribución geográfica de un apellido que el informante solicite (salvaguardando la confidencialidad estadística).

• Para cumplimentar el Censo por Internet (a partir del próximo 22 de octubre y hasta el 9 de

diciembre), será necesario esperar a recibir el sobre censal en la vivienda donde se reside y seguir las instrucciones que en él se indican, conectándose a http://censos2001.es

• El INE posibilitará la cumplimentación del Censo de Población por Internet a personas con

discapacidades visuales o de otro tipo que tengan dificultades para el manejo del ordenador, siendo no sólo el primer país del mundo que permitirá la cumplimentación global de dicho Censo por Internet sino que, desde el primer momento, asume el objetivo de extender a todos los ciudadanos el uso de dicha posibilidad.

Descripción general: • Se implantará un mecanismo que permita la cumplimentación de los cuestionarios censales por

Internet, a partir del próximo 22 de octubre y hasta el 9 de diciembre, como una posibilidad añadida al mecanismo tradicional de recogida en papel.

• La dirección del servidor será http://censos2001.es • Las experiencias análogas anteriores de otros países son sólo tres y de alcance mucho mas limitado

que el español: Singapur ofreció la posibilidad de cumplimentar el Censo por Internet en el 2000 pero sólo al 20% de su población (la parte muestral de su censo); los EE.UU. ofrecieron también esa posibilidad en su Censo del 2000 pero sólo a una parte limitada de los destinatarios de su llamado cuestionario corto y, finalmente, Suiza ha ofrecido la cumplimentación por Internet a aquellas comunas que subcontraten la realización del Censo con la Oficina Federal Estadística, habiéndolo hecho un 60% de las comunas (la subcontratación implica un pago a la Oficina Federal) y quedando fuera de la posibilidad de cumplimentar el Censo por Internet un 10% de la población.

http://censos2001.es




• Según el diseño de la operación censal española, en los cuestionarios en papel que se van a repartir figura preimpresa determinada información individual de cada ciudadano, obtenida de la base de datos padronales.

• Se establecerá el cuestionario censal en el servidor web seguro correspondiente, con un mecanismo

de firma electrónica avanzada para que un usuario pueda modificar sus datos padronales, en el caso en que haya detectado un error en los datos preimpresos. Si, por el contrario, considera que sus datos padronales preimpresos son correctos, podrá proceder a la cumplimentación del censo propiamente dicho por Internet, con el procedimiento de autenticación establecido y que se describe a continuación.

• Brevemente descrito y sin entrar en matices ni en la totalidad de la casuística, el mecanismo de

autenticación previsto se basa en: 1) CLAVE1 (código identificativo incluido en cada sobre conteniendo los cuestionarios censales); 2) CLAVE2 (contraseña dedicada la cumplimentación por Internet, también incluida en cada sobre censal); 3) el DNI de una de las personas incluidas en la hoja de datos padronales (DNI también preimpreso en el cuestionario) y 4) el nombre del padre y de la madre tal y como figuran en el DNI de determinada persona del hogar (esta información no figura preimpresa en el cuestionario censal).

• CLAVE1 y CLAVE2 son distintas para cada vivienda. • Relacionado directamente con esta cuestión de la autenticación, estarán implantados los

procedimientos necesarios de control de accesos incorrectos, intento de fraude, bloqueos y desbloqueos de cuestionarios, etc., según las especificaciones que se determinen.

• El servidor web citado (http://censos2001.es) cumplirá los requisitos sobre los idiomas a incluir

(cooficiales en España y algunos extranjeros), lo que incluye la necesidad de que los ficheros o las pantallas de ayuda se incorporen en dichos idiomas y que se establezcan adecuados mecanismos por omisión (de modo que en función de la configuración del navegador que esté utilizando el usuario se seleccione un idioma determinado).

• Se incluirá también el conjunto de normas de edición del cuestionario en formato web; es decir el

conjunto de edits necesario para que se asegure la calidad y consistencia de cada uno de los cuestionarios cumplimentados por Internet, debiendo comunicarse al usuario que esté procediendo a la cumplimentación por Internet de cualquier problema que impida la aceptación final de dicha cumplimentación, para que el usuario proceda a subsanar los errores correspondientes.

• Existirá un mecanismo de "pago inmediato" al informante que cumplimente el censo por Internet,

consistente en la obtención automática e inmediata (una vez cumplimentado de forma totalmente correcta el cuestionario por Internet) de un estudio de frecuencias del apellido que solicite el informante (sólo uno por cuestionario censal y sin necesidad de que sea uno de los suyos) a partir de los propios datos padronales, con las normas adecuadas para respetar la confidencialidad.

• Asimismo, el sistema permitirá que el usuario pueda interrumpir su trabajo de cumplimentación del

cuestionario, pudiéndolo continuar posteriormente. En el momento en que la cumplimentación se haya finalizado de forma totalmente correcta, el sistema proporcionará al usuario determinado número que pueda actuar de recibo o de comprobante de que dicha cumplimentación completa se ha producido.

• Estarán implantados los mecanismos necesarios para la comunicación a establecer con las Oficinas

Comarcales, o con las Delegaciones Provinciales del INE para la actualización (a partir de los datos identificativos de los cuestionarios recogidos por Internet) de sus respectivas bases locales conteniendo los datos identificativos de los cuestionarios recogidos en papel y de modo que ningún agente censal reclame cuestionarios previamente cumplimentados por Internet.




• Esa comunicación con las Oficinas Comarcales considerará diferentes posibilidades: Como mecanismo básico existirá un procedimiento de envío o de descarga, de modo que cada Oficina Comarcal y cada Delegación Provincial dispondrá semanalmente de un fichero conteniendo los datos identificativos de los cuestionarios recogidos por Internet.

• Existirá un centro de atención telefónica, incluyendo todo aquello que resulte necesario para la

resolución de dudas sobre la cumplimentación de un cuestionario censal por Internet. Se incluye dentro de este centro de atención la necesidad de que se disponga de la posibilidad de plantear cuestiones y resolver dudas por correo electrónico, debiéndose los dos sistemas apoyarse entre sí para pasar del correo al teléfono de manera casi inmediata y viceversa. En este centro de atención telefónica se contemplará la existencia del servicio en varios idiomas (según las especificaciones idiomáticas establecidas, de forma análoga a lo que exista en el servidor web que aloje el cuestionario). Este centro de atención telefónica será también el centro dedicado a la resolución de dudas para la cumplimentación del cuestionario censal en papel.

Backbone INE

Red UNO

Servidor de Acceso Remoto

RTC/RDSI

Internet/Redes IP

Firewall In terno

ServidorAntivirus

Servidor deBase de Datos

Detección Intrusos

PC PC

Passport y FW perimétrico

en TIC

PCs

PCs

PCs

Servidor WebInternet

Servidor WebInternet

Alta disp. y Balanceo de Carga

Servidor Correo Interno + Radius

ServidorAplicaciones

ServidorCorreo

Servidores Web Internet

Alta disp. y Balanceo de Carga

ServidorAntivirus

Consola Admon.

Servidor deBack-up

Telefonica Sistemas

LA INFORMATICA EN LOS CENSOS DE POBLACION Y VIVIENDAS …

Documents

Transcript of LA INFORMATICA EN LOS CENSOS DE POBLACION Y VIVIENDAS …