CKAN

Aragón Open Data es una de las iniciativas de datos abiertos más activas del panorama español. Además de la puesta en marcha, gestión y mantenimiento de un catálogo de datos interoperable, desde su inicio han llevado a cabo acciones para acercar la cultura de los datos abiertos a ciudadanos, empresas y todo tipo de organizaciones. Estas iniciativas abarcan el desarrollo de servicios para ofrecer los datos y facilitar su reutilización de forma sencilla como Aragopedia, Open Social Data o la reciente Aragón Open Data Focus (más información disponible en esta entrevista). Aragón Open Data es la iniciativa de datos abiertos del Gobierno de Aragón, Departamento de Ciencia, Universidad y Sociedad del Conocimiento, Dirección General de Administración Electrónica y Sociedad de la Información cofinanciado por el Fondo Europeo de Desarrollo Regional (FEDER) “Construyendo Europa desde Aragón”.

Dado el conocimiento que atesoran, no es de extrañar que hayan comenzado a desarrollar materiales didácticos y artículos tecnológicos con el fin de explicar cómo han desplegado distintas soluciones para dar respuesta a las necesidades de localización, acceso y reutilización de los distintos conjuntos de datos.

A continuación, se recoge uno de estos materiales, centrado en explicar cómo han implementado la solución de software CKAN para mejorar la disponibilidad de datos en el portal.

CKAN como solución software de gestión de datos abiertos en un caso real para el portal Aragón Open Data

CKAN es una plataforma de código abierto, gratuito y libre, desarrollada por la Open Knowledge Foundation, que sirve para publicar y catalogar colecciones de datos. Debido a sus carácter libre y gratuito, así como a su rápida implementación, se ha convertido en un referente a nivel mundial para la apertura de datos.

Desde su nacimiento en 2012, Aragón Open Data ha apostado por tecnología CKAN para la gestión de su sistema de datos abiertos. El documento “CKAN, piedra angular para la gestión de un sistema de datos abiertos” nos muestra cómo funciona su arquitectura y sirve de ejemplo a otras iniciativas que quieran poner en marcha una plataforma de este tipo.

En el documento se relatan los retos que se encontraron a la hora de migrar la plataforma original a una versión superior y cómo lo solucionaron con la construcción de una aplicación cliente. Este proceso generó como resultado la arquitectura actual del portal que se recoge en la siguiente figura:

El backend de CKAN está desarrollado íntegramente en Python, con un frontal propio en Javascript, y permite desplegar una capa de servicios gestionable desde una API, y  utilizar plugins base o extensiones que aportan funcionalidades adicionales a la plataforma. CKAN se apoya en una base de datos PostgreSQL, donde se almacenan los conjuntos de datos que alberga, sus recursos y demás metadatos necesarios para el funcionamiento de la plataforma, y hace uso de Solr, un motor de búsqueda que ayuda a agilizar la localización y disponibilidad de los conjuntos de datos.

Además de explicar esta arquitectura, el documento aborda las funcionalidades y extensiones utilizados  en la instancia de CKAN personalizada, y cómo el conjunto de componentes integrados en la plataforma: Angular, NodeJS, PostgreSQL y Solr conviven para disponer conjuntos de datos que son la base para el desarrollo de servicios y soluciones de datos abiertos como Presupuestos de Aragón o el ya mencionado Aragón Open Data Focus.

CKAN incorpora una extensión que permite soportar serializaciones de datos en RFD que, además de permitir la exposición de datos enlazados en formatos como RDF-XML o Turtle, se utiliza para federar conjuntos de datos que siguen la especificación DCAT de metadatos, lo que hace de CKAN una plataforma más versátil y apropiada para la publicación de Linked Data, algo que también ha hecho Aragón Open Data como podemos ver en este otro documento.

Puedes descargar el documento “CKAN como solución software de gestión de datos abiertos en un caso real para el portal Aragón Open Data” a continuación. Además, puedes complementar su lectura con estos dos artículos adicionales:

• Recolección automática de datos abiertos: Explica cómo Aragón Open Data federa datos abiertos utilizando un plugin de CKAN.
• Arquitectura ELK como herramienta de datos abiertos: Explica cómo Aragón Open Data utiliza una arquitectura basada en el stack tecnológico ELK  (Elasticsearch, Logstash y Kibana).

El Proyecto Aporta ha preparado un manual para aquellos miembros de la comunidad open data que deseen compartir sus datos pero dispongan de recursos limitados para llevarlo a cabo. Así, a través de esta guía, se busca ayudar y orientar para que cualquiera pueda abrir fácilmente su información, sin la necesidad de poseer amplia experiencia o conocimiento en estrategias de apertura de la información o las tecnologías asociadas a ellas.

Para ello, el presente documento se estructura en una primera parte donde se establece un conjunto de directrices que servirán para localizar y preparar los datos para su publicación; englobando los siguientes apartados:

• Seleccionar los datos a publicar: criterios para priorizar de forma correcta la información más adecuada para el proyecto, teniendo en cuenta las restricciones existentes en materia de apertura de la información.
• Licencias para facilitar la reutilización: información explícita sobre las condiciones de uso de los datos abiertos para mostrar las posibilidades de reutilización del open data.
• Preparación de los datos: tipología de formatos y características de los metadatos para que la información no solo esté abierta, sino que sea interoperable con datos procedentes de otras fuentes.

Posteriormente, el manual muestra en detalle cómo publicar los datos en la Web a través de un catálogo de la forma más simple posible. En este proceso, se utiliza como ejemplo la plataforma gratuita de código abierto CKAN, aunque las recomendaciones generales del manual podrían aplicarse a cualquier otro tipo de plataforma a utilizar.

Esta guía crea una hoja de ruta, sencilla y rápida, para dar los primeros pasos en una iniciativa open data y experimentar con la publicación de datos abiertos; sin necesidad de una inversión económica y de recursos a gran escala. 

En 6 de febrero de 2013, el Gobierno de Aragón se sumó al movimiento open data estatal al lanzar su propio catálogo de datos abiertos a través del portal Aragón Open Data. Administrado por su Dirección General de Nuevas Tecnologías, la Comunidad Autónoma pone así a disposición de los ciudadanos y compañías de la CC.AA. una gran cantidad de información pública para su consulta y libre reutilización.

En la actualidad, los usuarios pueden descargar más de 1.700 conjuntos de datos, permitiendo su filtrado según su temática (con más de veinte categorías tomadas de la Norma Técnica Interoperabilidad de Reutilización de Recursos de la Información) o por su tipología (hojas de cálculo, RSS, fotos, mapas o texto plano). Todos los conjuntos de datos, si no se indica lo contrario, están sujetos a la licencia Creative Commons - Reconocimiento, consintiendo la copia, distribución y divulgación pública; el uso para fines comerciales y no comerciales; la modificación, transformación y adaptación de los datos y la reutilización para obras derivadas como resultado del análisis o estudio de la información.

Para aquellos usuarios no técnicos, Aragón Open Data dispone de servicios geolocalizados, información en tiempo real y visualizaciones que ofrecen los datos de forma intuitiva, de forma que a los ciudadanos les es más sencillo acercarse a los datos. Por otro lado, para infomediarios con conocimientos informáticos se dispone de servicios orientados a la automatización de la información. Así, junto a la API nativa de CKAN, el portal dispone de tres APIS adicionales: Aragón Open Social Data que permite escuchar las conversaciones sobre Aragón en diferentes fuentes (redes sociales, wikis, blogs…); AragoPedia, iniciativa para acercar los datos regionales y comarcales a los ciudadanos a través de mapas y gráficos que ha permitido que cada uno de los 731 municipios de Aragón y sus 33 comarcas dispongan de una página de datos abiertos; y AragoDBPedia que permite el acceso a los datos que dentro de AragoPedia se han transformado a formatos semánticos.

Además de generar riqueza y fomentar la transparencia, gracias a esta iniciativa, el gobierno aragonés posee una herramienta adicional que ayude a mejorar la calidad de su propia información así como la interoperabilidad de dichos datos. Para alcanzar este último objetivo, Aragón Open Data recientemente federó su catálogo de datos dentro del proyecto europeo HOMER del que forma parte y ahora ha federado recientemente su catálogo open data (1764 datasets) con el portal nacional datos.gob.es; permitiendo que cualquier usuario nacional tenga acceso a sus conjuntos de datos desde un punto único en España. 

El Ayuntamiento de Cáceres ha sido uno de los últimos organismos públicos en lanzar su propio portal de datos abiertos; iniciativa desarrollada a través del Proyecto RED NOVA SOSTENIBLE y cuyo objetivo es abrir toda aquella información y documentos de interés para la ciudadanía.

A través de diferentes estrategias, el ayuntamiento de la capital extremeña pretende promover la difusión de datos municipales en formatos reutilizables; fomentando la participación pública, desarrollando riqueza y generando nuevos puestos de empleo directamente relacionados con la reutilización de información del sector público.

El portal de datos abiertos del Ayuntamiento de Cáceres ofrece diferentes conjuntos de datos en formato open linked data, siguiendo los niveles de reutilización de 5 estrellas recomendados por el W3C.  Los recursos del portal se describen enlazando principalmente a ontologías estándares existentes, y han desarrollado una propia, OntoMunicipio, para representar información característica del Ayuntamiento de Cáceres. Para ayudar a los usuarios en su búsqueda de información de interés, el catálogo puede filtrarse por formato, etiquetas, licencias y por términos clave. En el catálogo disponible actualmente, se encuentran conjuntos de datos con información relativa a los presupuestos de instituciones en los últimos tres años;  listados de museos, farmacias y transporte urbano e, incluso, datos catalogados por el Ayuntamiento de Cáceres sobre las vías urbanas de la ciudad. El portal contiene un apartado que recoge ya varias aplicaciones desarrolladas por agentes externos que utilizan directamente el punto de acceso SPARQL.

Además, el portal se ha construido íntegramente sobre tecnología abierta con código libre como Virtuoso Open Source,  Pubby o el software CKAN que ya soporta otras plataformas open data en España como el Portal Open Data Canarias o el Portal Datos Abiertos de Santander.

Muestra de los esfuerzos realizados por los organismos públicos a favor de la apertura de la información, este portal se suma al elenco de iniciativas  a nivel nacional, autonómico y local cuyo objetivo final es impulsar la generación de nuevos servicios y el desarrollo socioeconómico en España.   

Los portales Open Data requieren de un software  especial que soporte los catálogos de datos, permita que dicha información sea accesible y, por ende, reutilizable. CKAN, plataforma de código abierto desarrollado por la Open Knowledge Foundation (OKF), se ha convertido en un referente a nivel mundial en lo relativo a programas de apertura de datos.

El éxito de esta plataforma reside en su código abierto, gratuito y libre que brinda una implementación rápida. Asimismo, gracias a su interfaz sencilla, su efectividad demostrada y la amplia comunidad que impulsa el desarrollo de su tecnología, más de cuarenta entidades a escala internacional han confiado en CKAN como soporte para sus portales Open Data.

Entre las instituciones públicas y comunidades independientes que ya disfrutan de sus ventajas se encuentra el gobierno del Reino Unido (data.gov.uk), con una lista superior a los 8.000 conjuntos de datos; el portal de Datos Abiertos de Aragón con 1.218 conjuntos de datos, el portal Open Data de Canarias o inclusive el site de Datos Abierto del Ayuntamiento de Málaga. Estas plataformas han confiado este software abierto para implementar sus estrategias de apertura y reutilización de información del sector público. 

CKAN se ha convertido en el estandarte de las múltiples acciones realizadas por la organización sin ánimo de lucro, Open Knowledge Foundation, a favor de la promoción del conocimiento abierto. Mediante las listas de correo, se invita a los usuarios a participar e involucrarse en la mejora del diseño, del código y del desarrollo del software. 

Para mayor información sobre la plataforma CKAN y sus prestaciones (publicación de catálogo de datos, almacenamiento de metadatos, redes federadas o la interfaz de su API), no dejéis de visitar la sección de su portal online: http://ckan.org/features/.  

Tras la difusión de la cultura de datos abiertos a escala internacional, han sido numerosos los organismos nacionales, regionales y locales en Europa que han desarrollado sus propios repositorios y portales de open data. Este crecimiento ha originado una fragmentación en los recursos y estándares, aspecto que dificulta las estrategias de apertura de datos para organizaciones no gubernamentales, instituciones y administraciones de todo el continente.

Con el fin de analizar los catálogos de datos abiertos existentes ha nacido el proyecto OpenDataMonitor. Bajo el marco de la Comisión Europea, siete entidades de Alemania, Austria, España, Reino Unido y Grecia han aunado sus esfuerzos y conocimientos para crear una infraestructura que permita analizar, armonizar y visualizar los catálogos de datos ya existentes.

Así, entre otras funciones analíticas, OpenDataMonitor permite comparar diferentes entidades públicas (nacionales y locales); señalar los cambios y actualizaciones de los catálogos; mostrar la calidad de los metadatos y la información de las licencias; medir de forma automática el nivel de apertura o clasificar los catálogos disponibles según su temática.

Además, se ha elegido el software de código abierto, CKAN, para garantizar la homogeneidad del proyecto así como el uso y reutilización de los plugins y componentes de OpenDataMonitor. Los éxitos alcanzados en la investigación y todos los desarrollos tecnológicos obtenidos se combinarán en una plataforma que se integrará en las páginas de terceros y se distribuirá al resto de la comunidad open data para obtener el máximo impacto.

Detrás de este proyecto se encuentran siete entidades europeas pertenecientes a las áreas de Apertura de Datos, Visualización de la Información e Ingeniería de Software. Este consorcio está formado por la entidad pública española Red.es, la Universidad de Southampton (Reino Unido), la Ciudad de Múnich (Alemania), el Open Data Institute (Reino Unido), la compañía austriaca SYNYO GmbH (AT), el Centro de Investigación e Innovación de Atenas y, finalmente, el centro Potsdam eGovernment Competence Centre en Alemania.

El proyecto Aporta, iniciativa conjunta de la Secretaria de Estado de Administraciones Públicas y la Secretaría de Estado de Telecomunicaciones y Sociedad de la Información, participa como socio colaborador en la definición de concepto, en la realización de pruebas de usabilidad con los usuarios finales y en la difusión y promoción de la herramienta entre los grupos de interés y usuarios de la comunidad.

El proyecto OpenDataMonitor, que comenzó su andadura el pasado mes de noviembre, concluirá sus trabajos en el plazo de dos años, en el transcurso de los cuales presentará sus avances a través de la página web del proyecto, listas de distribución, publicaciones, presentaciones y eventos públicos.

El OpenDataMonitor brindará la oportunidad de analizar y visualizar los datos de los catálogos open-data existentes. Independientemente, si se trata de un solo organismo público, un recolector de datos abiertos o un hub recolector pan-europeo OpenDataMonitor proporcionará métodos sofisticados para analizar los catálogos de datos abiertos, sus metadatos y proporcionará visualizaciones integrales para comparar los datos abiertos existentes por materia. Además, la agregación de los catálogos de una región o país podrá ser fácilmente visualizado y ubicará geográficamente la situación de los datos abiertos y permitirá la comparación con otras áreas. El uso de APIs estandarizadas (por ejemplo CKAN), posibilitará el uso de datos, formatos de archivos, actualizaciones, licencias y más meta-datos para describir estadísticamente y visualizar los datos. Esta información será utilizada para identificar las tendencias, las lagunas y posibilidades de los datos abiertos.