ISTAC

A finales de 2023, como recogió datos.gob.es, el ISTAC hizo públicos más de 500 activos semánticos, entre los que se incluían 404 clasificaciones o 100 esquemas de conceptos. 

Todos estos recursos están disponibles en el Catálogo de Datos Abiertos de Canarias, un entorno en el que hay cabida tanto para recursos semánticos como estadísticos y que, por tanto, puede entrañar una dificultad extra para un usuario que busque únicamente activos semánticos. 

Para facilitar la reutilización de estos conjuntos de datos con información tan relevante para la sociedad, el Instituto Canario de Estadística, con la colaboración de la Dirección General de Transformación Digital de los Servicios Públicos del Gobierno de Canarias, publicó el Banco de activos semánticos.  

En este portal, el usuario puede realizar búsquedas de manera más sencilla proporcionando una palabra clave, identificador, nombre del conjunto de datos o institución que lo elabora y mantiene. 

El Banco de activos semánticos del Instituto Canario de Estadística es una aplicación que sirve para explorar los recursos estructurales utilizados por el ISTAC. De esta forma es posible reutilizar los activos semánticos con los que trabaja el ISTAC, ya que hace uso directo de las API de eDatos, la infraestructura que vertebra el instituto de estadística canario. 

El número de recursos a consultar crece enormemente respecto a los datos disponibles en el Catálogo, ya que, por un lado, incluye los DSD (Definiciones de las Estructuras de Datos), con los que se construyen las tablas de datos finales; y, por otro, porque incluye no solo los esquemas y clasificaciones, sino cada uno de los códigos, conceptos y elementos que los componen. 

Esta herramienta es el equivalente de los mencionados Fusion Metadata Registry usados por SDMX, Eurostat o las Naciones Unidas; pero con un enfoque mucho más práctico y accesible sin perder funcionalidades avanzadas. El SDMX es el estándar de compartición de datos y metadatos en el que se basan las organizaciones ya mencionadas. El uso de este estándar en aplicaciones como la del ISTAC permite homogeneizar de manera sencilla todos los recursos asociados a los datos estadísticos que se van a publicar. 

La publicación de datos bajo el estándar SDMX es un proceso más laborioso, ya que obliga a generar no solo los datos, sino también las claves de publicación, pero a la larga permite que se creen plantillas u operaciones estadísticas que permite compararlas con los datos de otro país o región. 

 La aplicación recién lanzada por el ISTAC permite navegar por todos los recursos estructurales del ISTAC, incluyendo las familias de clasificaciones o conceptos, de manera interconectada, por lo que opera como una red. 

Funcionalidades del Banco de activos semánticos 

La principal ventaja de esta nueva herramienta frente a los registros mencionados es la facilidad de uso. La cual, en este caso, se mide directamente por lo poco que cuesta encontrar un recurso específico. 

Gracias a la búsqueda avanzada, se pueden filtrar recursos específicos por ID, nombre, descripción y mantenedor; a los que se agrega la opción de incluir solo los resultados que interesen, discriminando tanto por versión como por si son recomendados por el ISTAC o no. 

Además, está pensado para que sea un gran banco interconectado, de tal manera que, entrando en un concepto, se recomienden clasificaciones, o que en un DSD estén enlazadas todas las representaciones de las dimensiones y atributos. 

Estas características no solo diferencian al Banco de activos semánticos de otras herramientas similares, sino que suponen un paso adelante en materia de interoperabilidad y transparencia al no simplemente ofrecer los recursos semánticos sino también sus relaciones entre ellos. 

El nuevo recurso del ISTAC cumple con lo dispuesto tanto a escala nacional con el Esquema Nacional de Interoperabilidad (artículo 10, activos semánticos), como a escala europea con el Marco Europeo de Interoperabilidad (artículo 3.4, interoperabilidad semántica). Ambos documentos defienden la necesidad y el valor de utilizar recursos comunes para el intercambio de información, máxima que se está implantando de manera transversal en el Gobierno de Canarias.  

Píldora formativa 

Para difundir este nuevo buscador de activos semánticos, el ISTAC ha publicado un breve vídeo explicativo del Banco y sus características, además de aportar pinceladas necesarias sobre SDMX. En este vídeo es posible conocer, de forma sencilla y en apenas unos minutos cómo utilizar y sacar el máximo provecho al nuevo Banco de Activos Semánticos del ISTAC a través de las búsquedas sencillas, complejas y cómo organizar los datos para que respondan a un análisis previo deseado.

En resumen, con el Banco de activos semánticos, el Instituto Canario de Estadística ha dado un paso significativo para facilitar la reutilización de sus activos semánticos. Esta herramienta que agrupa decenas de miles de recursos estructurales permite acceder de manera sencilla a una red interconectada que cumple con los estándares de interoperabilidad a nivel nacional y europeo.  

El  Instituto Canario de Estadística  (ISTAC) ha dado un paso significativo en volumen de datos geográficos gracias a la publicación de un total de  4.002  nuevos conjuntos de datos (3.859 mapas temáticos y 143 cubos estadísticos) en  datos.gob.es , tras su federación en Canarias Datos Abiertos.     

 Este tipo de iniciativas están alineadas con la Estrategia de datos de la Unión Europea que establece las pautas para lograr un  mercado único de datos  que beneficie a las empresas, investigadores y administraciones públicas. La automatización de procesos de publicación mediante estándares comunes es clave para  garantizar la interoperabilidad  y el acceso adecuado a los conjuntos de datos abiertos de las AA.PP.     

La generación de estos conjuntos de datos es la culminación de un trabajo de automatización que ha permitido la ampliación del número de cubos publicados, ya que ahora se presentan combinaciones de granularidad y año desde 2004.  A principios de octubre, el ISTAC añadió a su catálogo más de 500 activos semánticos y más de 2100 cubos estadísticos, tal y como contamos en este post de datos.gob.es. 

 Además, los conjuntos publicados hasta la fecha se han sometido a un proceso de renovación para convertirse en los citados  143 cubos estadísticos.  El incremento de estos conjuntos de datos mejora no solo cuantitivamente el directorio de datos.canarias.es y datos.gob.es, sino que amplía los usos que ofrece gracias al tipo de información añadida.    

Los indicadores de estos cubos se representan sobre la cartografía a través de  mapas de coropletas y en múltiples formatos. Esta automatización permitirá a su vez, no solo publicar otros conjuntos de datos de manera más sencilla en el futuro, sino que también se pueda hacer con más frecuencia.  

Otro de los avances de este trabajo es que los servicios se generan al vuelo desde el servidor de mapas Geoserver, y no a través de una carga en CKAN, como se hacía hasta ahora, lo cual reduce su almacenamiento y agiliza su actualización.     

Cómo acercar los indicadores demográficos a la población   

Los indicadores demográficos son cubos densos en datos que ofrecen una gran cantidad de  información geográfica detallada, incluyendo población total, desagregada por sexo, residencia, edad y otros índices hasta sumar 27 variables diferentes. 

Al haber contenida tanta información en cada cubo, se puede dificultar la representación de los indicadores específicos sobre la cartografía, especialmente si el usuario no está habituado a trabajar con determinados  softwares  GIS (sistema de información geográfica, por sus siglas en inglés  Geographical Information System ). 

Para acercar este contenido a todo tipo de usuarios, el ISTAC ha generado 3.859 nuevos mapas, representando sobre un mapa de coropletas cada uno de los indicadores contenidos en los 143 cubos estadísticos. La publicación de estos nuevos datos cartográficos se presenta así como una forma más eficiente y simplificada de obtener la información ya representada, permitiendo a los usuarios acceder fácilmente a los datos específicos que necesitan. 

Podríamos comparar esta transformación con las flores.  Anteriormente solo se publicaban ramos enteros , con 27 flores por ramo, que había que saber gestionar y manejar para representar las flores que fueran de interés. Ahora, además de seguir publicando los ramos, se han generado nuevos procesos para poder publicar cada flor por separado, automatizando la generación de cada uno de estos conjuntos, que también se actualizarán con mayor frecuencia. 

Esta nueva opción facilita  la utilización de estos mapas de coropletas (como el que vemos en la imagen) por parte de personas sin conocimientos técnicos GIS, ya que se presentan en formatos fácilmente descargables como imagen (.jpg y .png) para un uso profesional, educativo o personal.  

      Mapa de población de 65 o más años (% sobre total) por municipios. Año 2022

Para los usuarios más avanzados, el ISTAC también ha ampliado la oferta de formatos en los que se sirven los cubos de indicadores originales. Los “ramos”, que anteriormente solo mostraban los datos en formato CSV, ahora cuentan con una amplia variedad de distribuciones: KML, GML, GeoPackage, GeoJSON, WFS, WMS. Aprovechando las ventajas que proporciona el uso de los estilos en el formato WMS, se han generado todos los estilos asociados a los indicadores, de manera que, haciendo uso de ellos, se consigue representar el mismo mapa que se descarga en formato imagen. Estos estilos están calculados para cada combinación de indicador-granularidad-año, según el método de cálculo de cuantiles para cinco intervalos. 

Este nuevo enfoque con datos geográficos, tanto simples como complejos, enriquece el catálogo y permite que usuarios sin conocimientos específicos puedan acceder a ellos y reutilizarlos. Además, hay que tener en cuenta que esto abre las puertas a otras publicaciones masivas de datos  basados en otras operaciones estadísticas.  

En definitiva, se trata de un paso importante en el proceso de apertura de datos.   Un proceso que permite mejorar el uso y la compartición de datos,  tanto para el usuario de pie, como para profesionales del sector.  Dada la creciente necesidad de compartir, procesar y comparar datos, se hace indispensable la aplicación de  procesos que faciliten la interoperabilidad y el acceso adecuado a los datos abiertos . En este sentido, el Instituto Canario de Estadística está concentrando esfuerzos para garantizar que sus conjuntos de datos abiertos sean accesibles y estén en los formatos adecuados para su compartición. Todo ello para lograr obtener valor a partir de ellos.   

Los datos estadísticos locales nos ayudan a comprender mejor nuestro entorno e identificar variaciones entre regiones. Esto es fundamental para poder formular políticas locales ajustadas a las necesidades concretas de la población local, algo que ha resaltado incluso la ONU en uno de sus informes. En este sentido, en el catálogo de datos.gob.es puedes encontrar información estadística sobre distintas localidades y regiones, como por ejemplo el censo de población y vivienda, los registros administrativos o hasta indicadores económicos.

Recientemente el Consejo de Europa ha adoptado una nueva normativa sobre los datos abiertos y la reutilización de la información del sector público. En esta nueva Directiva se introduce el concepto de conjuntos de datos de alto valor, que deberán facilitarse gratuitamente a través de una interfaz de programación de aplicaciones (API). El texto define seis categorías principales de conjuntos de datos de alto valor, e incluye a los datos estadísticos dentro de esta categoría.

Una de las últimas incorporaciones a nuestro catálogo es la del Instituto Canario de Estadística (Istac). El Istac es el órgano central del sistema estadístico autonómico y centro oficial de investigación del Gobierno de Canarias. Entre sus funciones está proporcionar información estadística de interés relativa a la comunidad autónoma, atendiendo a la fragmentación del territorio y a sus singularidades. Además, coordina la actividad estadística pública, facilitando su promoción y gestión.

El Instituto forma parte de la iniciativa datos.canarias.es, nuevo Portal de Datos Abiertos de Canarias que se posiciona como único punto de acceso a los datos abiertos de las islas en colaboración con el resto de las administraciones públicas autonómicas. A finales de enero, datos.canarias.es se federó con datos.gob.es, incorporando 7.460 nuevos conjuntos de datos, del Istac y otros organismos del archipiélago. Gracias a los datos del Istac ahora puedes acceder desde nuestro catálogo a información local de las islas, comarcas, municipios y entidades submunicipales que integran la Comunidad Autónoma de Canarias.

Los datos federados se categorizan según las recomendaciones de la Guía de aplicación de la Norma Técnica de Interoperabilidad de Reutilización de recursos de información y abordan un amplio abanico de temas relacionados con el territorio, el medioambiente, la demografía, la economía, las condiciones de vida o el sector público:

El compromiso del Istac con los datos abiertos

El Decreto por el que se aprueba el Plan Estadístico de Canarias 2018-2022 (PEC-22), establece que durante su ejecución se impulsará la reutilización de los datos estadísticos de conformidad con la Ley sobre reutilización de la información del sector público. A su vez indica que la Infraestructura de Datos y Metadatos Estadísticos (eDatos) será el soporte para la difusión abierta e interoperable de los datos publicados por las actividades estadísticas del PEC-22, constituyéndose como el canal único para la difusión descentralizada de las estadísticas en las Web corporativas del Gobierno de Canarias.

Para cumplir con las orientaciones señaladas, desde el Istac se ha puesto a disposición de la ciudadanía el portal de datos abiertos de la estadística pública en Canarias que, bajo los principios de la estadística pública y la reutilización de datos, distribuye los datos generados de manera gratuita, en formatos abiertos y con licencias que permiten su reutilización para fines comerciales y no comerciales.

El portal integra datos y metadatos basados en activos semánticos normalizados, información geográfica y servicios para promover su uso; y dispone de interfaces programables de aplicaciones (API) que facilitan el acceso y descarga a la información por parte de terceros. Además de estas API, también proporciona una serie de herramientas de consulta que permiten tanto descargar los datos (por ejemplo una Extensión para QGIS o un Paquete R), como llevártelos a otra web o aplicación, como Widgets, Tableau Public o Google Public Data Explorer.

La web también cuenta con un visor de indicadores estadísticos. El usuario puede seleccionar la información que quiere visualizar entre un gran número de categorías, por ejemplo, los nacimientos y defunciones, o la población activa. También podrá elegir el espacio geográfico (el conjunto de la comunidad o alguna isla o municipio concreto), el tipo de dato (variación anual, interperiódica, etc.) y el rango temporal. Con esa información, la herramienta generará el gráfico con los datos del Istac.

Todas estas herramientas ponen de manifiesto el interés del Istac y el Gobierno de Canaria no solo por facilitar el acceso a sus datos, sino también por impulsar su reutilización por parte de desarrolladores que quieran crear productos de valor añadido. Con su integración en datos.canarias.es, se impulsa la visibilidad de los datos estadísticos locales de Canarias, a la vez que se homogeniza el acceso a los datos de interés de toda la Comunidad Autónoma.

El Instituto Canario de Estadística ha organizado durante este mes de mayo varias sesiones de su primer Seminario sobre estándares internacionales de difusión de estadísticas.

El objetivo es facilitar el conocimiento técnico y teórico necesario a los profesionales del sector para participar en el desarrollo, bajo normas, metodologías y estándares aprobados por la comunidad internacional, de una plataforma de difusión estadística eficiente, puntual, fiable y accesible.

Esta acción se refiere, en concreto, a la implantación de un Sistema de Integración de Datos y Metadatos Estadísticos de la Macaronesia (MetaMac), puesto en marcha por el ISTAC, la Dirección Regional de Estadística de Madeira y el Servicio Regional de Estadística de Azores.