UNE

El gobierno del dato es crucial para la transformación digital de las organizaciones.  Se desarrolla a través de varios ejes dentro de la organización, formando parte integral del plan de transformación digital organizacional. En un mundo donde las organizaciones necesitan reinventarse constantemente y buscar nuevos modelos de negocio y oportunidades para innovar, el gobierno del dato se convierte en una pieza clave para avanzar hacia una economía digital más justa e inclusiva, sin dejar de ser competitiva. 

Las organizaciones necesitan maximizar el valor de sus datos, identificar nuevos retos y gestionar el papel que tiene los datos en el uso y desarrollo de tecnologías disruptivas como la inteligencia artificial. Gracias al gobierno del dato, es posible tomar decisiones bien fundamentadas, mejorar la eficiencia operativa y garantizar el cumplimiento normativo, asegurando la seguridad y privacidad de los datos.

Para lograr esto, es esencial llevar a cabo una transformación digital planificada, centrada en un plan estratégico de gobierno del dato que complemente el plan estratégico de la organización. La guía UNE 0085 ayuda a implantar el gobierno del dato en cualquier organización y lo hace poniendo especial énfasis en el diseño del programa a través de un ciclo de evaluación basado en análisis de brechas (gap analysis), que debe ser relevante y decisivo para que la alta dirección apruebe el lanzamiento del programa.

La oficina de gobierno del dato, órgano clave del programa

Un programa de gobierno del dato debe identificar qué datos son críticos para la organización, dónde residen y cómo se utilizan. Para ello debe estar acompañado de un sistema de gestión que coordine el despliegue de los procesos de gobierno, gestión y calidad del dato. Es necesario un enfoque integrado con otros sistemas de gestión que pueda tener la organización, como el sistema de gestión de continuidad de negocio o el de seguridad de la información.

La Oficina de Gobierno del Dato es el área encargada de coordinar el desarrollo de los diferentes componentes del sistema de gobierno y gestión del dato, es decir, es el área que participa en la creación de las directrices, reglas y políticas que permiten dar el tratamiento adecuado a los datos, además de velar por el cumplimiento de las diferentes normativas.

La Oficina de Gobierno del Dato deberá ser un órgano fundamental del programa. Sirve de puente entre las áreas de negocio, coordinando a los propietarios de datos (data owners) y a los administradores de datos (data stewards) a nivel organizacional.

UNE 0085: pautas para implantar el gobierno del dato

Implantar un programa de gobierno del dato no es una tarea fácil. Para ayudar a las organizaciones con este reto se ha desarrollado la nueva UNE 0085  que  sigue un enfoque por procesos frente al enfoque por artefactos y que resume a modo de guía los pasos que debemos seguir para implantar dicho programa, complementando así la familia de normas UNE de gobierno, gestión y calidad del dato 0077, 0078, 0079 y 0080.

Esta guía:

• Enfatiza la importancia de que el programa nazca alineado con los objetivos estratégicos de la organización, con una fuerte esponsorización.
• Describe a alto nivel los aspectos clave que debería recoger el programa.
• Detalla diferentes escenarios tipo, que pueden ayudar a una organización a clarificar por dónde empezar y qué iniciativas debería priorizar, y el modelo operativo y roles que necesitará para el despliegue.
• Presenta el diseño del programa de gobierno del dato a través de un ciclo de evaluación basado en análisis de brechas.  Comienza con una fase de evaluación inicial (As Is) para mostrar la situación de partida de la organización seguida de una segunda fase (To be) en la que se define el alcance y los objetivos del programa alineados con los objetivos estratégicos de la organización, para llevar a cabo la fase del mencionado análisis de brechas. Finaliza con un caso de negocio (Business case) que incluye entregables como el alcance, marcos de referencia, objetivos del programa e hitos, el presupuesto, la hoja de ruta (roadmap) y los beneficios medibles con sus KPI’s asociados entre otros aspectos. Este caso de uso servirá de lanzamiento del programa de gobierno del dato por parte de la dirección y con ello su implantación en toda la organización. A continuación, se presentan las diferentes fases del ciclo en relación con el sistema de Gobierno del dato de la UNE 0077:

Por último, más allá de los procesos y sistemas, no podemos olvidar a las personas y los roles que desempeñan en esta transformación digital. Los responsables de los datos y las entidades implicadas son fundamentales en este cambio cultural organizacional. Es necesario gestionar este cambio de manera efectiva para desplegar un modelo operativo de gobierno del dato que se ajuste a las necesidades de cada organización.

Puede parecer complejo orquestar y definir un ejercicio de esta magnitud, especialmente con conceptos abstractos relacionados con el gobierno del dato; y es aquí donde entra en juego la nueva oficina del gobierno del dato, que cada organización debe establecer. Esta oficina ayudará en estas tareas esenciales, siempre siguiendo los marcos y estándares adecuados.

Se recomienda seguir una metodología que facilite esta labor, como las especificaciones UNE de gobierno, gestión y calidad del dato (0077, 0078, 0079 y 0080). Estas especificaciones ahora se complementan con la nueva UNE 0085, una guía práctica de implementación.

El contenido de esta guía puede descargarse de forma libre y gratuita desde el portal de AENOR a través del enlace que figura a continuación accediendo al apartado de compra. El acceso a esta familia de especificaciones UNE del dato está patrocinado por la Secretaría de Estado de Digitalización e Inteligencia Artificial, Dirección General del Dato. Aunque la descarga requiere registro previo, se aplica un descuento del 100% sobre el total del precio que se aplica en el momento de finalizar la compra. Tras finalizar la compra se podrá acceder a la norma o normas seleccionadas desde el área de cliente en el apartado mis productos.

ESPECIFICACION UNE 0085:2024 | Normas AENOR

Descarga la infografía aquí

También está disponible un vídeo explicativo sobre las Especificaciones UNE sobre datos

Como dicta la tradición, el fin de año es un buen momento para reflexionar sobre nuestras metas y objetivos de cara a la nueva etapa que comienza tras las campanadas. En materia de datos, el inicio de un nuevo año también brinda oportunidades para trazar un futuro interoperable y digital que habilite el desarrollo de una economía del dato robusta, un escenario que beneficie tanto a investigadores como administraciones públicas o empresas privadas, así como que repercuta positivamente en el ciudadano como cliente final de muchas operaciones realizadas con datos, optimizando y reduciendo los tiempos de tramitación. Para lograr este fin, existe la Estrategia europea de datos que persigue desbloquear el potencial de los datos a través de, entre otras, la Ley de Datos (Data Act, en inglés) que recoge un conjunto de medidas relacionadas con el acceso y uso equitativo de los datos asegurando así mismo que el dato manejado sea de calidad, esté debidamente securizado, etc.

Como solución a esta necesidad, este último año se han publicado las especificaciones UNE de datos que son recursos normativos e informativos para implantar procesos comunes de gobierno, gestión y calidad del dato. Estas especificaciones, respaldadas por la Oficina del Dato, establecen estándares para disponer de datos bien gobernados (UNE 0077), gestionados (UNE 0078) y con niveles adecuados de calidad (UNE0079), permitiendo así mismo un crecimiento sostenible en la organización durante la implantación de los distintos procesos. Además de estas tres especificaciones, la especificación UNE 0080 define una guía y proceso de evaluación de madurez para medir el grado de implantación de los procesos de gobierno, gestión, y calidad del dato. Por su parte, la UNE 0081 también establece un proceso de evaluación del activo de datos en sí, es decir, de los conjuntos de datos, independientemente de su naturaleza o tipología; en resumen, su contenido está estrechamente relacionado con la UNE 0079 porque recoge unas características de calidad de los datos. La adopción de todas ellas puede proporcionar múltiples beneficios. En este post, analizamos cuáles son y cómo sería el proceso para cada especificación.

Así, con la mirada puesta en el futuro, planteamos un propósito de año nuevo: la aplicación de las especificaciones UNE del dato a una organización.

¿Qué ventajas tiene su aplicación y cómo puedo acceder a ellas?

En la era actual, donde el gobierno y la gestión eficiente de los datos se han convertido en un pilar fundamental para el éxito organizacional, la implementación de las especificaciones UNE sobre datos emerge como un faro guía hacia la excelencia marcando el camino a seguir. Estas especificaciones describen rigurosos procesos estandarizados que ofrecen a las organizaciones la posibilidad de construir una estructura robusta y confiable para el manejo de sus datos e información a lo largo de todo su ciclo de vida.

Al adoptar las especificaciones UNE, no solo se garantiza la calidad y seguridad de los datos, sino que también se constituye una base sólida y adecuada para la toma de decisiones informadas enriqueciendo los procesos organizacionales con buenas prácticas de datos. Por lo tanto, toda organización que decida abrazar estas normativas de cara al nuevo año estará acercándose a la innovación, la eficiencia y la confianza en el gobierno y la gestión de datos; así como preparándose para afrontar los desafíos y oportunidades que depara el futuro digital. La aplicación de especificaciones UNE no solo es un compromiso con la calidad, sino una inversión estratégica que pavimenta el camino hacia el éxito sostenible en un entorno empresarial cada vez más competitivo y dinámico porque:

• Maximiza la aportación de valor a la estrategia de negocio
• Minimiza riesgos en el tratamiento del dato
• Optimiza las tareas evitando trabajos innecesarios
• Establece marcos homogéneos de referencia y certificación
• Facilita la compartición de información con confianza y soberanía

El contenido de las guías puede visualizarse de forma libre y gratuita desde el portal de AENOR a través del enlace que figura a continuación accediendo al apartado de compra y marcando “lectura” en el desplegable en el que aparece preseleccionado “pdf”. El acceso a esta familia de especificaciones UNE del dato está patrocinado por la Secretaría de Estado de Digitalización e Inteligencia Artificial, Dirección General del Dato. Aunque la visualización requiere registro previo, se aplica un descuento del 100% sobre el total del precio que se aplica en el momento de finalizar la compra. Tras finalizar la compra se podrá acceder a la norma o normas seleccionadas desde el área de cliente en el apartado mis productos.

• ESPECIFICACION UNE 0077:2023
• ESPECIFICACION UNE 0078:2023
• ESPECIFICACION UNE 0079:2023
• ESPECIFICACIÓN UNE 0080:2023
• ESPECIFICACIÓN UNE 0081:2023

Desde datos.gob.es nos hemos hecho eco del contenido de las mismas y hemos preparado diferentes recursos didácticos como esta infografía o este vídeo explicativo.

¿Cómo se aplican a una organización?

Una vez tomada la decisión de abordar la implantación de estas especificaciones, surge un interrogante crucial: ¿Cuál es la manera más efectiva de hacerlo? La respuesta a esta cuestión dependerá de la situación inicial (marcada por una evaluación inicial de madurez), el tipo de organización y los recursos disponibles en el momento de establecer el plan director o plan de implantación. No obstante, en datos.gob.es, hemos publicado una serie de contenidos elaborados por expertos en tecnologías ligadas a la economía del dato datos.gob.es, hemos publicado una serie de contenidos elaborados por expertos en tecnologías ligadas a la economía del dato que te acompañarán en el proceso.

Antes de empezar, es importante conocer los diferentes procesos que constituyen cada una de las especificaciones UNE sobre datos. En esta imagen se exponen cuáles son.

Una vez entendido lo básico, la serie de contenidos ‘Aplicación de las especificaciones UNE sobre datos’ abordan un ejercicio práctico, desglosado en tres posts, sobre un caso de uso especifico: la aplicación de estas especificaciones a los datos abiertos. Como ejemplo, se define una necesidad que tiene el Ayuntamiento ficticio de Vistabella: avanzar en la publicación en abierto de información de transporte público y eventos culturales.

• En el primer post de la serie, se destaca la importancia de utilizar la especificación UNE 0077 de gobierno del dato para establecer mecanismos aprobados que respalden la apertura y publicación de los datos abiertos. A través de este primer contenido, se realiza un repaso de los procesos necesarios para alinear la estrategia organizacional de tal manera que se logre conseguir la máxima transparencia y calidad de los servicios públicos mediante la reutilización de información.
• El segundo artículo de la serie se sumerge en la norma UNE 0079 de gestión de calidad de los datos y su aplicación en el contexto de los datos abiertos. Este contenido subraya que la calidad de los datos abiertos va más allá de los principios FAIR y destaca la importancia de evaluar la calidad mediante criterios objetivos. A través del ejercicio práctico, se explora cómo el Ayuntamiento de Vistabella aborda los procesos de la UNE para mejorar la calidad de los datos abiertos como parte de su estrategia para potenciar la publicación de datos sobre transporte público y eventos culturales.
• Por último, la norma UNE 0078 sobre gestión de datos se explica en un tercer artículo en el que se presenta el proceso de Compartición, Intermediación e Integración de Datos (CIIDat) para la publicación de datos abiertos, combinado con plantillas específicas.

En conjunto, estos tres artículos ofrecen una guía para que cualquier organización avance con éxito hacia la publicación en abierto de información clave, asegurando la coherencia y calidad de los datos. Al seguir estos pasos, las organizaciones estarán preparadas para cumplir con los estándares normativos con todas las ventajas que supone.

Para finalizar, abrazar el propósito de año nuevo de aplicar las especificaciones UNE sobre datos representa un compromiso estratégico y visionario para cualquier organización que, además, estará alineado con la Estrategia europea de datos y la hoja de ruta europea que persigue configurar un futuro digital líder a nivel mundial.

La nueva especificación UNE 0081 Evaluación de Calidad de Datos, centrada en los datos como producto (conjuntos de datos o bases de datos), complementa la especificación UNE 0079 Gestión de la calidad del dato, que analizamos en este artículo, se focaliza en los procesos de gestión de la calidad del dato. Ambas normas, la 0079 y la 0081 se complementan y abordan de forma holística la calidad de los datos:

• La norma UNE 0079 refiere los procesos, las actividades que deber realizar la organización para garantizar los niveles adecuados de calidad de sus datos para satisfacer la estrategia que la organización se han marcado.
• Por otra parte, la UNE 0081 define un modelo de calidad del dato, basado en las normas ISO/IEC 25012 e ISO/IEC 25024, en el que se detallan las características de calidad que pueden tener los datos, así como algunas métricas aplicables. También define el proceso que se debe seguir para evaluar la calidad de un conjunto de datos concreto, tomando como base la norma ISO/IEC 25040. Finalmente, la especificación acaba detallando cómo interpretar los resultados obtenidos de la evaluación, mostrando ejemplos concretos de aplicación.

¿Cómo puede una organización hacer uso de esta especificación para evaluar el nivel de calidad de sus datos?

Para dar respuesta a esta pregunta, vamos a contar el ejemplo del Ayuntamiento de Vistabella, previamente utilizado en artículos anteriores. El ayuntamiento tiene una serie de conjuntos de datos, cuya calidad quiere evaluar, para poder mejorarlos y dar un mejor servicio a la ciudadanía. La institución es consciente de que trabaja con muchos tipos de datos (transaccionales, maestros, de referencia, etc.), por lo tanto, lo primero que realiza es una primera identificación de los conjuntos de datos que aportan valor y para los cuales, no disponer de niveles adecuados de calidad, puede repercutir en el día a día. Algunos criterios a la seguir a la hora de seleccionar estos conjuntos pueden ser: datos que aportan un valor al ciudadano, datos resultantes de un proceso de integración o visión maestra del dato, datos críticos por ser utilizados en varios procesos/procedimientos, etc.

El siguiente paso será determinar en qué punto(s) del ciclo de vida de los procesos operativos del ayuntamiento se realizarán estos controles de calidad del dato.

Es en este punto donde la especificación UNE 0081 entra en juego. La evaluación se hace en función de las "reglas de negocio" que definen los requerimientos, requisitos de datos o validaciones que deben cumplir los datos para que aporten valor a la organización. A continuación, se muestran algunos ejemplos:

• Los DNI de los ciudadanos tendrán que cumplir con la sintaxis específica para ello (8 números y una letra).
• Toda fecha existente en el sistema tendrá que seguir la notación DD-MM-AAAA.
• No se admitirán registros de documentación con fecha posterior a la actual.
• Se deberá tener traza de quién y cuándo ha realizado un cambio en un conjunto de datos.

Para poder identificar de forma sistemática y exhaustiva las reglas de negocio que tengan que cumplir los datos en cada etapa de su ciclo de vida, el ayuntamiento hace uso de una metodología basada en BR4DQ.

A continuación, desde el ayuntamiento, se revisan todas las características de calidad de datos incluidas dentro de la especificación, se priorizan, y se determina un primer conjunto de ellas que se querrán tener en cuenta para la evaluación. Para ello, y en esta primera etapa, el ayuntamiento decide quedarse exclusivamente con las 5 características inherentes de ISO 25012 definidas dentro de la especificación. Estas son: exactitud, completitud, consistencia, credibilidad y actualidad.

Del mismo modo, para cada una de estas primeras características que se ha acordado abordar, se identifican posibles propiedades. Para ello, finalmente, desde el ayuntamiento se decide trabajar con el siguiente modelo de calidad que incluye las siguientes características y propiedades:

Hasta este punto, el ayuntamiento tiene identificado el conjunto de datos a evaluar, así como las reglas de negocio que le aplican, y en qué aspectos de la calidad se va a centrar (modelo de calidad de datos). A continuación, es necesario llevar a cabo la medición de calidad de datos a través de la validación de las reglas de negocio. Para ello se obtienen valores para las distintas métricas, los cuales se computan siguiendo una aproximación de abajo hacia arriba hasta determinar el nivel de calidad de datos del repositorio

Definición del proceso de evaluación

Para realizar la evaluación de una forma adecuada, se decide hacer uso del proceso de evaluación de calidad basado en ISO 25024, indicado dentro de la especificación UNE 0081 (véase a continuación).

Aplicación del proceso de evaluación

A continuación, se resumen los aspectos más destacables llevados a cabo por el Ayuntamiento durante la etapa 4 del proceso de evaluación:

1. Validación del grado de cumplimiento de cada regla de negocio por propiedad: Disponiendo de todas las reglas de negocio clasificadas por propiedad, se valida el grado de cumplimiento de cada una de ellas, obteniendo así una serie de valores para cada una de las métricas. Esto se ejecuta sobre cada uno de los conjuntos de datos a evaluar.

A modo de ejemplo, para la propiedad de exactitud sintáctica se obtienen dos métricas:

1. Número de registros que cumplen las reglas de negocio de exactitud sintáctica: 826.254
2. Número de registros que deben cumplir las reglas de negocio de exactitud sintáctica: 850.639

2. Cuantificación del valor de la propiedad: A partir de estas métricas, se cuantifica y determina el valor de la propiedad haciendo uso de la función de medición especificada en la especificación UNE 0081. Para el caso concreto de la exactitud sintáctica se determina que una densidad de registros del 97,1% cumplen todas las reglas de exactitud sintáctica.
3. Cálculo del valor de la característica: Para ello, se hace uso de los resultados de cada una de las métricas de calidad de datos asociadas a una propiedad. Para calcularlo, y tal como se especifica en la especificación UNE 0081, se decide seguir una suma ponderada en la que cada propiedad tiene el mismo peso. Para el caso de la Exactitud, se dispone de los valores de Exactitud sintáctica: 97,1, Exactitud semántica: 95, y Rango de exactitud: 92,9. Computando estas 3 puntuaciones, se obtuvo un valor de 95 sobre 100 para esta característica.
4. Paso del valor cuantitativo al cualitativo: Para finalizar y poder proporcionar un resultado final de calidad, se decide hacer uso de otra suma ponderada; en este caso, todas las dimensiones tienen el mismo peso. Partiendo de los resultados agregados anteriormente de las características mencionadas: Exactitud: 95, Completitud: 87, Consistencia: 90, Credibilidad: 88, Actualidad: 93, se determina un nivel de calidad de 90 sobre 100 para el repositorio. Por último, es necesario pasar de este valor cuantitativo de 0 a 100 a un valor cualitativo. En este ejemplo concreto, haciendo, uso de la función de niveles de calidad basada en porcentajes, se concluye que el nivel de calidad del repositorio, para la propiedad analizada, es 4, o “Muy Buena”.

Visualización de resultados

Por último, y una vez realizada la evaluación de todas las características, desde el ayuntamiento se construyen una serie de cuadros de mandos de control de calidad de datos con distinto nivel de agregación (característica, propiedad, conjunto de datos y tabla/vista) partiendo de los resultados de la evaluación, de manera que rápidamente se puede consultar el nivel de calidad. Para ello, a modo de ejemplo se muestran los resultados con distinto nivel de agregación.

Como se puede ver a lo largo de todo el ejemplo de aplicación, existe una relación directa entre la aplicación de esta especificación UNE 0081, con determinadas partes de la especificación 0078, concretamente con el proceso de gestión de requisitos de datos, y con la especificación UNE 0079, al menos con los procesos de planificación y control de calidad de datos. Fruto de la evaluación se establecerán recomendaciones de mejora de calidad (acciones correctivas), que incidirán directamente en los procesos del dato establecidos, todo ello de acuerdo con el circulo de mejora continua PDCA de Deming.

Una vez finalizado el ejemplo, y como valor añadido, hay que destacar que es posible certificar el nivel de calidad de datos de los repositorios organizacionales. Para ello, será necesario contar con una entidad de certificación que provea este servicio de calidad de datos, así como con un laboratorio acreditado según la norma ISO 17025 con potestad para la emisión de informes de evaluación de calidad de datos.

El contenido de esta guía puede descargarse de forma libre y gratuita desde el portal de AENOR a través del enlace que figura a continuación accediendo al apartado de compra. El acceso a esta familia de especificaciones UNE del dato está patrocinado por la Secretaría de Estado de Digitalización e Inteligencia Artificial, Dirección General del Dato. Aunque la descarga requiere registro previo, se aplica un descuento del 100% sobre el total del precio que se aplica en el momento de finalizar la compra. Tras finalizar la compra se podrá acceder a la norma o normas seleccionadas desde el área de cliente en el apartado mis productos.

Contenido elaborado por Dr. Fernando Gualo, Profesor en UCLM y Consultor de Gobierno y Calidad de datos. El contenido y el punto de vista reflejado en esta publicación es responsabilidad exclusiva de su autor.

Vivimos en un entorno en constante evolución en el que los datos crecen de manera exponencial y son, además, un componente fundamental de la economía digital. En este contexto, es necesario desbloquear su potencial para maximizar su valor mediante la creación de oportunidades para su reutilización. Sin embargo, es importante tener en cuenta que ese incremento en velocidad, escala y variedad de los datos supone que asegurar su calidad sea más complicado.

En este escenario surge la necesidad de establecer procesos comunes aplicables a los activos de datos de toda organización a lo largo de su ciclo de vida. Todo tipo de instituciones deben disponer de datos bien gobernados, gestionados y con niveles adecuados de calidad, siendo necesaria una metodología de evaluación común que pueda ayudar a una mejora continua de dichos procesos y permita evaluar la madurez de una organización de forma estandarizada.

La Oficina del Dato ha patrocinado, promovido y participado en la generación de las especificaciones UNE, unos recursos normativos que permiten implantar procesos comunes en la gestión del dato y que además proporcionan un marco de referencia para establecer una cultura de datos organizacional.

Por una parte, encontramos las especificaciones UNE 0077:2023 Gobierno del dato, UNE 0078:2023 Gestión del dato y UNE 0079:2023 Gestión de la calidad del dato, que están concebidas para ser aplicadas de forma conjunta, habilitando un marco de referencia sólido que fomente la adopción de prácticas sostenibles y efectivas alrededor del dato.

Además, es necesaria una metodología de evaluación común que permita una mejora continua de los procesos de gobierno, gestión y gestión de la calidad del dato, así como la medición de la madurez de las organizaciones de forma estandarizada. Para el desarrollo de un marco homogéneo de evaluación del tratamiento que una organización hace de los datos se ha desarrollado la especificación UNE 0080.

Con el objetivo de ofrecer un proceso basado en estándares internacionales que ayude a las organizaciones a utilizar un modelo de calidad y a definir características y métricas de calidad adecuadas, se ha generado la especificación UNE 0081 Evaluación de la calidad del dato que complementa la UNE 0079 Gestión de la calidad del dato.

La siguiente infografía resumen cuáles son las claves de las Especificaciones UNE sobre el dato y las principales ventajas de su aplicación (haz clic en la imagen para acceder a la infografía).

Descarga la infografía

También está disponible un vídeo explicativo sobre las Especificaciones UNE sobre datos

Hoy en día, la calidad de los datos desempeña un papel fundamental en el mundo actual, donde la información es un activo valioso. Asegurar que los datos sean precisos, completos y confiables se ha vuelto esencial para el éxito de las organizaciones y garantiza el éxito de la toma de decisiones informadas.

La calidad de los datos tiene un impacto directo no solo en el intercambio y uso a nivel interno de cada organización, sino también en la compartición de datos entre diferentes entidades, siendo una variable clave en el éxito del nuevo paradigma de los espacios de datos. Cuando los datos son de alta calidad, se crea un entorno propicio para el intercambio de información precisa y consistente, lo cual permite a las organizaciones colaborar de manera más efectiva, fomentando la innovación y el desarrollo conjunto de soluciones.

Una buena calidad de datos facilita la reutilización de la información en diferentes contextos, generando valor más allá del sistema que los crea. Los datos de alta calidad son más fiables y accesibles, y pueden ser utilizados por múltiples sistemas y aplicaciones, lo que aumenta su valor y utilidad. Al reducir considerablemente la necesidad de realizar correcciones y ajustes constantes, se ahorra tiempo y recursos, permitiendo una mayor eficiencia en la implementación de proyectos y la creación de nuevos productos y servicios.

La calidad de los datos también juega un papel fundamental en el avance de la inteligencia artificial y el aprendizaje automático. Los modelos de IA se basan en grandes volúmenes de datos para obtener resultados precisos y confiables. Si los datos utilizados están contaminados o son de baja calidad, los resultados de los algoritmos de IA serán poco confiables o incluso erróneos. Por lo tanto, garantizar la calidad de los datos es esencial para lograr el máximo rendimiento de las aplicaciones de IA, reducir o eliminar sesgos y aprovechar su potencial al máximo.

Con el objetivo de ofrecer un proceso basado en estándares internacionales que pueda ayudar a las organizaciones a utilizar un modelo de calidad y a definir características y métricas de calidad adecuadas, la Oficina del Dato ha patrocinado, promovido y participado en la generación de la especificación UNE 0081 Evaluación de la calidad del dato que complementa la especificación ya existente UNE 0079 Gestión de la calidad del dato, centrada más en la definición de procesos de gestión de la calidad del dato que en la calidad del dato como tal.

Especificación UNE – Guía de Evaluación de la calidad del dato

La especificación UNE 0081, familia de estándares internacionales ISO/IEC 25000, permite conocer y evaluar la calidad de los datos de toda organización, permitiendo establecer un plan futuro para su mejora, y pudiéndose incluso llegar a certificar su calidad formalmente. Los destinatarios de está especificación, aplicable a cualquier tipo de organización independientemente de su tamaño o dedicación, serán los responsables de calidad de datos, así como los consultores y auditores que necesiten llevar a cabo una evaluación de los conjuntos de datos dentro de sus funciones.

La especificación primero expone el modelo de calidad del dato, en dónde se detallan las características de calidad que pueden tener los datos, así como algunas métricas aplicables, para una vez definido este marco de trabajo, pasar a definir el proceso que se debe seguir para evaluar la calidad de un conjunto de datos. Finalmente, la especificación acaba detallando como interpretar los resultados obtenidos de la evaluación mostrando algún ejemplo concreto de aplicación.

Modelo de calidad del dato

La guía propone una serie de características de calidad siguiendo las presentes en la norma ISO/IEC 25012, clasificándolas entre aquellas inherentes al dato, dependientes del sistema donde se aloja el dato o dependientes de ambas circunstancias. Se justifica la elección de estas características dado que abarcan las presentes en otros marcos de referencia tales como DAMA, FAIR, EHDS, IA Act y RGPD.

Continuamos en esta segunda entrega de la serie de artículos con la aplicación de las especificaciones UNE. Antes de nada, recordemos que las Especificaciones UNE 0077, UNE 0078 y UNE 0079 introducen las buenas prácticas en el gobierno del dato, gestión del dato y gestión de calidad del dato con una aproximación a procesos (véase Fig.1).

Fig. 1. Procesos contenidos en las especificaciones UNE 0077, UNE 0078 y UNE 0079

Anteriormente, hemos analizado la especificación UNE 0077:2023 sobre los procesos del gobierno del dato. En esta ocasión, nos centraremos en la UNE 0079 dedicada a la gestión de la calidad del dato para ilustrar su aplicación en el contexto de datos abiertos. En este sentido, es importante considerar que la calidad de los datos abiertos va más allá de las conocidas características FAIR. Los principios FAIR (por sus siglas en inglés: Findable, Accesible, Interoperable y Reusable) son aspectos específicos de diseño relacionados con la naturaleza de los datos abiertos que, aun cumpliéndose, no garantizan que los datos puedan ser usados para una tarea específica si no tienen el nivel de calidad adecuado.

Para evaluar la calidad de los datos se necesitan criterios objetivos expresados en términos de características o dimensiones de los mismos. Esto permite formular los requisitos de calidad de datos de los distintos usuarios. Se recogen clasificaciones de estos requisitos en publicaciones más genéricas como “Normas Técnicas para alcanzar la Calidad del Dato” (véase Fig.2. con una identificación de estas características de calidad del dato según ISO/IEC 25012) o bien en otras más específicas, como el caso que nos ocupa de los datos abiertos, tales como la Reunión de Sebastopol, o la Carta Internacional de Datos abiertos.

Fig. 2. Características de calidad de datos según ISO/IEC 25012 (de Normas Técnicas para alcanzar la Calidad del Dato)

Es posible que en diferentes foros se den nombre distintos o muy similares a las mismas características, lo que puede provocar malentendidos, o que lleguen a producirse debates entre los partidarios o detractores de un nombre en concreto. Al margen de los nombres, lo más importante es la interpretación de las definiciones de cada característica o dimensión, y sobre todo la definición de cómo medir esa dimensión o característica y entender el significado de las mediciones para poder actuar sobre los datos en caso de que se necesite.

En este segundo artículo se va a describir cómo el personal a cargo del proyecto de datos abiertos del Ayuntamiento de Vistabella ha abordado algunas de las recomendaciones que se especifican en el Manual práctico para mejorar la calidad de los datos abiertos como parte de su estrategia de potenciar la publicación de datos abiertos en los correspondientes portales del Ayuntamiento. Tal y como se señalaba en el artículo sobre la Aplicación de la especificación UNE 0077:2023, este ayuntamiento quiere potenciar la publicación de datos abiertos de transportes públicos urbanos y sobre la organización de eventos culturales del municipio.

En dicho artículo también se señalaba que, uno de los proyectos que forma parte del programa de gobierno de datos para implementar la estrategia, es el de “Planificación, control y mejora de la calidad de los datos abiertos”. Este proyecto vertebra el contenido de este artículo, una vez que los responsables de datos abiertos del Ayuntamiento han comprendido que la calidad de los datos publicados es casi tan importante como la cantidad.

La aplicación de la Especificación UNE 0079 se va a realizar en dos partes de este proyecto:

1. Control de la calidad de los datos que se recogen desde las distintas concejalías y agentes asociadas, para lo que se aplicará el proceso de control y monitorización de calidad del dato.
2. Producción y publicación de datos con niveles adecuados de calidad, para lo que se usará el proceso de planificación de calidad del dato.

Los otros dos procesos restantes de UNE 0079 (aseguramiento de calidad del dato y mejora de calidad del dato) se quedan fuera de este artículo por simplicidad.

Aplicación del proceso de Control y Monitorización de calidad del dato.

Como se comentó en el artículo anterior, la ejecución exitosa de los procesos de negocio se manifiesta porque se han conseguido los resultados de procesos específicos de cada uno de ellos (véase Tabla 1 con los resultados de proceso para el proceso “control y monitorización de calidad del dato). Así, el primer resultado de proceso (RP.01) consiste en identificar los datos cuya calidad debe ser controlada y monitorizada: estos son aquellos datos en bruto que se reciben de las distintas concejalías y empresas públicas de transportes urbanos para crear los correspondientes conjuntos de datos que se pretenden publicar en el portal de datos abiertos.

Uno de los problemas más frecuentes con los que se encuentran los gestores de los proyectos de datos abiertos del Ayuntamiento de Vistabella con respecto a los datos de transporte es que para construir los conjuntos de datos que van a ser publicados, los datos en bruto recibidos están muy fragmentados, y no hay un plazo de entrega establecido, siendo éste además imprevisible. Esto provoca que la construcción de dichos conjuntos de datos esté amenazada por una serie de factores que hace que los resultados producidos sean en muchas ocasiones difícilmente aprovechables. Por ello, y como parte del segundo resultado de proceso (RP.02), se ha decidido estudiar el patrón de envíos de los datos en bruto por parte de los agentes colaboradores, así como los niveles de calidad mínimos necesarios para construir conjuntos de datos. Se llegó a la conclusión, consultando el Manual práctico para mejorar la calidad de los datos abiertos de datos.gob.es, de que las características de calidad afectadas eran la consistencia, la completitud, la credibilidad, la disponibilidad y la actualidad de esos datos. Conscientes de esta necesidad, y tomando como punto de partida los resultados de estas conclusiones, se desarrollaron como tercer resultado de proceso (RP.03) mecanismos de medición para esas características de calidad del dato sobre los datos en brutos recibidos desde cada uno de los agentes que se consideran que deben contribuir a elaborar los conjuntos de datos de transporte que el Ayuntamiento quiere publicar.

Además, como parte del cuarto resultado de proceso (RP.04), se establecen y aplican mecanismos para corregir aquellos valores de los datos que no satisfacen los umbrales mínimos de calidad necesarios para considerar que los datos en bruto pueden ser incorporados al proceso de creación de datos de transporte a ser publicados, dejando registros de los cambios proporcionados (como manifestación del quinto resultado de proceso RP.05).

El estudio de estos registros de cambios se utilizará para proponer cambios en la forma en la que los agentes colaboradores del ayuntamiento interactúan con el Ayuntamiento (como manifestación del sexto resultado de proceso RP.06).

Aplicación del proceso de planificación de calidad del dato

Al haberse invertido una cantidad importante de dinero público en la construcción del conjunto de datos, la principal preocupación de los responsables de datos abiertos del Ayuntamiento de Vistabella es asegurar que los conjuntos de datos publicados tengan niveles de calidad suficientes para asegurar que pueden ser usados y reusados. Tal y como se recoge en el proceso de construcción de los conjuntos de datos, es necesario planificar la calidad del conjunto de datos (en algunos entornos a esto lo llaman data quality by design). Conocedores de esta necesidad, desde el Ayuntamiento entienden las ventajas de ejecutar el proceso de planificación de calidad del dato, y de conseguir los correspondientes resultados de procesos (véase Tabla 2, con los resultados de proceso del proceso “Planificación de calidad del dato”).

Para eso, los responsables de la oficina del dato combinan las actividades propias de este proceso con el proceso de producción y publicación de los conjuntos de datos. En este sentido, resulta de gran utilidad el Manual práctico para mejorar la calidad de los datos abiertos que identifica algunos problemas típicos en la publicación de datos abiertos (véase Fig.2) y proporciona recomendaciones para evitar que dichos problemas sucedan. Además, en el manual se identifican las características de calidad afectadas, lo que facilita su incorporación al diseño de los conjuntos de datos. Es muy importante tener en cuenta que algunas de estas recomendaciones afectan directamente a los propios datos (características inherentes de los datos en términos de ISO/IEC 25012), mientras que otras afectan al entorno de los datos (características dependientes del sistema en términos de ISO/IEC 25012). Para una mejor referencia de las características de calidad de datos, véase Fig.2.

Exploremos algunos ejemplos.

Fig. 3. Fallos frecuentes de calidad en los datos abiertos. Fuente: Manual práctico para mejorar la calidad de los datos abiertos

Uno de los problemas que los responsables de la Oficina del Dato del Ayuntamiento de Vistabella están más interesados en evitar es la publicación de datos incompletos o limitados (que afectan a las características de completitud, disponibilidad, actualidad, credibilidad y precisión) y la publicación de datos obsoletos y sin actualizar (que afecta a las características de disponibilidad, completitud y actualidad). El mismo manual nos está ayudando a completar el primer resultado de proceso (RP.01), ya que nos ha permitido identificar los requisitos de calidad del dato, expresado en esta ocasión en términos de las características de calidad mencionadas anteriormente. Además, teniendo en cuenta los problemas típicos relacionados con el uso de datos de transportes por distintos agentes consumidores de datos, las dos características que los responsables del servicio de publicación de datos abiertos del Ayuntamiento quieren priorizar son las de completitud y actualidad.

En este sentido, y como forma de abordar el segundo resultado de proceso RP.02, se pueden explorar las recomendaciones que hace el Manual práctico para mejorar la calidad de los datos abiertos. Este manual propone desarrollar un plan de publicación de datos en el que se incorporarán, por un lado, un inventario y catálogo de los datos que formarán parte del proceso de producción del conjunto de datos de transporte de los datos a publicar (para asegurar la completitud) y, por otro lado, se generará un plan de publicaciones que incluirá tanto los momentos de recogida de los datos desde los agentes colaboradores del ayuntamiento, como los momentos en que se deben publicar los datos de transportes resultantes de la integración de los diferentes conjuntos de datos (como forma de asegurar la actualidad).

Tanto los catálogos como los planes de publicación serán implementados y puestos en práctica como parte de los proyectos (se sustentarán en los procesos de gestión de datos que se abordarán en el tercer y último artículo de esta serie) y se establecerán mecanismos para monitorizar el desempeño de estas acciones (como parte del tercer resultado de proceso RP.03).

Por último, y como manifestación del RP.04, se abordarán qué problemas no se han cubierto adecuadamente con las acciones previstas, de modo que se puedan iterar nuevamente sobre el diseño del proceso de producción de los conjuntos de datos y desarrollar los mecanismos necesarios que eviten la aparición de problemas derivados de niveles inadecuados de calidad de datos que malogren su uso en diferentes aplicaciones.

Y con este pequeño extracto sobre cómo los responsables del Ayuntamiento de Vistabella aplican la especificación UNE 0079 en combinación con el Manual práctico para mejorar la calidad de los datos abiertos para abordar los problemas potenciales de calidad de datos llegamos al final de este segundo artículo.

En el tercer artículo de la serie se abordará cómo usar la especificación 0078, correspondiente a la gestión de los datos para implementar los proyectos derivados de la estrategia del dato.

El contenido de esta guía puede visualizarse de forma libre y gratuita desde el portal de AENOR a través del enlace que figura a continuación accediendo al apartado de compra y marcando “lectura” en el desplegable en el que aparece preseleccionado “pdf”. El acceso a esta familia de especificaciones UNE del dato está patrocinado por la Secretaría de Estado de Digitalización e Inteligencia Artificial, Dirección General del Dato. Aunque la visualización requiere registro previo, se aplica un descuento del 100% sobre el total del precio que se aplica en el momento de finalizar la compra. Tras finalizar la compra se podrá acceder a la norma o normas seleccionadas desde el área de cliente en el apartado mis productos.

• ESPECIFICACION UNE 0079:2023
• ESPECIFICACION UNE 0077:2023
• ESPECIFICACION UNE 0078:2023

Contenido elaborado por Dr. Ismael Caballero, Profesor titular en UCLM y Dr. Fernando Gualo PhD en Ciencia computacional y Chief Executive Officer and Data Quality and Data Governance Consultant 

Los contenidos y los puntos de vista reflejados en esta publicación son responsabilidad exclusiva de sus autores.

Este artículo constituye la tercera y última entrega de la serie de artículos dedicados dedicado a la aplicación de las especificaciones UNE de Gobierno, Gestión y Gestión de la calidad del dato a la publicación de datos abiertos. Recordemos que lo estamos realizando, aplicándolo al caso ficticio del Ayuntamiento de Vistabella y su objetivo de avanzar en la publicación en abierto de información de transporte público y eventos culturales.

La principal motivación de este artículo es explicar cómo se aplica la especificación UNE 0078 de gestión de datos (véase Fig.1.) al caso específico de datos abiertos.

Fig. 1. Procesos contenidos en las especificaciones UNE 0077, UNE 0078 y UNE 0079

Antes de comenzar es importante resaltar la diferencia que las especificaciones introducen entre los conceptos de gestión de datos y gobierno de datos. Así, el Gobierno del Dato tiene un carácter más estratégico mientras que la Gestión del Dato tiene un carácter más orientado a materializar los objetivos marcados en la estrategia. De alguna forma el Gobierno del dato es la Gestión de la Gestión del dato.

También, y dada su relevancia e interés para este artículo se han tenido en cuenta las Orientaciones para la formulación del Plan de medidas de impulso de la apertura y reutilización de datos abiertos y su  Plantilla para un Plan de medidas de impulso de la apertura y reutilización de datos abiertos. Considerando lo especificado en dichos documentos, se realizará un análisis de las indicaciones específicas de gestión de datos y sus responsabilidades, y se buscará su correspondencia con ciertos procesos de gestión de datos presentes en la especificación UNE 0078.  Finalmente, y a modo de ejemplo, se explicará en detalle cómo aplicar el proceso “Compartición, Intermediación e Integración del Dato (CIIDat)” para abordar las distintas responsabilidades presentes en dicho proceso.

Mapeo entre las responsabilidades descritas en el Plan de Medidas de Impulso y los procesos de la especificación UNE 0078.

En el documento de Plan de Medidas de Impulso de la apertura y reutilización de datos abiertos se establece que existen tres tipos de roles involucrados: un comité responsable del impulso de la iniciativa – que tendría responsabilidades más relacionadas con el gobierno del dato –, un equipo de gestores de datos en áreas orgánicas (visión más táctica) y un equipo de gestores de sistemas de información (visión más operativa) – que tendrían estos dos últimos una visión más de gestión de datos. Es interesante la separación entre los roles de gobierno del dato propiamente dicho y los roles de gestión del dato, centrándonos en estos dos últimos al ser de interés del artículo.

En el documento Orientaciones para la formulación del Plan de medidas de impulso de la apertura y reutilización de datos abiertos se establecen las responsabilidades para estos roles. Dichas responsabilidades se podrán ejercer de una manera más efectiva, rigurosa y sistemática, si están soportadas por procesos bien definidos. Dado que son roles y responsabilidad de gestión de datos, dichas responsabilidades se han mapeado (véase Tabla 1) a una combinación de los procesos presentes en la especificación UNE 0078, aunque en algún caso, también se hace referencia a algún proceso de UNE 0079.

Tabla 1. Procesos de Gestión de Datos mapeados según las responsabilidaes.

Como puede verse, uno de los procesos más usados es el de Compartición, Intermediación e Integración del Dato (CIIDat) por lo que se incidirá en su desarrollo. Es interesante tener en cuenta que el artículo propone combinar dos recursos: la definición del proceso en la especificación UNE 0078, que da la estructura, y lo indicado en el documento
“Plantilla para un Plan de medidas de impulso de la apertura y reutilización de datos abiertos” que daría soporte al contenido.     

Compartición, Intermediación e Integración de Datos (CIIDat)

El proceso CCIDat consta de las siguientes tareas:

T.1. Describir y documentar los procesos de adquisición y/o entrega del dato.

El objetivo de esta tarea es documentar los orígenes de los datos y los datos que van a ser publicados, especificando qué atributos deben tener, y tomando decisiones sobre cómo deben publicarse los datos.

En este caso, serán las concejalías de Movilidad y de Cultura, Turismo y Deporte los que se encarguen de producir los datos que se pretenden publicar en abierto. Así, que se pueden rellenar por cada concejalía la plantilla propuesta en el Punto 2.1. del documento Plantilla para un Plan de medidas de impulso de la apertura y reutilización de datos abiertos. Así, por ejemplo, la información propia del Ayuntamiento sería la reflejada en la Tabla 2: 

               Y para cada una de las concejalías se cumplimentaría lo reflejado en las tablas 3 y 4

                    Tabla 2. Identificación del Ayuntamiento de Vistabella

Y para cada una de las concejalías se cumplimentaría lo reflejado en las tablas 3 y 4

                    Tabla 3.  Identificación de la Concejalía de Movilidad

                    Tabla 4.  Identificación de la Concejalía de Cultura, Turismo y Deporte

La publicación de los datos obedece a dos planes desarrollados como parte de la estrategia del dato de potenciar la publicación de datos abiertos en los correspondientes portales de datos abiertos y fomentar su reutilización para ofrecer a sus vecinos datos de calidad de manera transparente y responsable. A modo de ejemplo se describe el plan presentado en la Tabla 5 para los datos de transporte.

                    Tabla 5.  Plan de Apertura de Datos de Movilidad

Para cada concejalía se tendrá un conjunto de datos que se pretenden publicar. Para describir los orígenes y descripción de estos datos se puede usar la plantilla correspondiente, representada en la Tabla 6. Esto constituye en sí un repositorio de metadatos.

                    Tabla 6.  Activos de información seleccionados para ser publicados

Una vez identificado los datos a publicar, el proceso prescribe que puede ser necesario establecer contratos de adquisición con las fuentes de datos, estableciendo cláusulas específicas con las fuentes de datos que cubran aspectos relacionados con el nivel de servicio tales como requisitos operacionales (p.ej. formatos de adquisición de datos), requisitos de calidad de datos, etc. Para ello, empleando la plantilla presente en el documento, a modo de ejemplo, para los datos de “horario de autobuses urbanos” se reflejaría la información presente en la tabla 7.

                    Tabla 7.  Activos de información seleccionados para ser publicados

El interés que tienen los conjuntos de datos mostrados en la Tabla 7 está condicionado por la prestación de servicios de ordenación de movilidad que debe hacerse para garantizar la prestación de otros servicios públicos y privados. Por ejemplo, se quieren publicar las trazas de ruta de los autobuses de la Línea 9, que cubre el Campus Norte de la Universidad, en el que hay mayor cantidad de alumnos, porque se desea estimar la

frecuencia de viajeros (mayoritariamente alumnos, profesores y personal de servicio de la Universidad) para no interferir en los servicios públicos de recogida de basura, y para poder dar respuesta a los propietarios de puestos ambulantes de comida que quieren conocer la frecuencia de viajeros en distintas paradas a distintas horas para elegir donde ponerse.

Por otro lado, este es el momento en el que tiene que describirse cómo y dónde se publicarán los datos. De acuerdo con el plan de apertura, los datos abiertos se publicarán en el portal de datos abierto del ayuntamiento https://opendata.aytovistabella.es. Los formatos de cada publicación serán los establecidos para cada conjunto de datos. Por ejemplo, las trazas de los autobuses se publicarán en formato CSV, TXT y XLS (véase Tabla 7).

T.2. Describir y documentar los procesos de transformación y de integración del dato

Una vez descritos los datos que se van a abrir y que deben ser publicados, el siguiente paso que debe cubrirse es la descripción del proceso de transformación de los datos y las acciones específicas que deben hacerse para poder publicarse en abierto. Siguiendo con el ejemplo del horario de los autobuses, los datos en origen tienen información del conductor, la matrícula del autobús, de la geoposición de las paradas, del número de viajes que se han validado (cuántas personas han subido al autobús) y del momento exacto en el que se producen las paradas y se reanuda la marcha. Para poder publicar los datos, se deben eliminar de los datos cualquier identificación del conductor y del autobús.  Como los conjuntos de datos se publican semanalmente todos los martes (véase tabla 7), se decidió que la fecha de preparación de los datasets serían los lunes y sería necesario preparar los conjuntos de datos para que se integren los datos de cada día de la semana, desde los lunes hasta los domingos. Además, se generarán distintas versiones de los conjuntos de datos integrados semanalmente, una versión por cada formato en el que se tengan que publicar los datos. Obsérvese que en esta tarea se describe o diseña cómo debe realizarse el proceso de transformación e integración del dato, pero la ejecución propiamente dicha se realiza en la tarea T5.

T3. Adaptar la infraestructura tecnológica de compartición e integración del dato

La infraestructura tecnológica tiene que adaptarse para poder dar cabida a la implementación y puesta en producción del fichero ETL que extrae los datos de cada fuente de datos (en el caso de los autobuses, el sistema de información BUS según la tabla 6), y para almacenar las diferentes versiones de los conjuntos de datos, tanto una versión intermedia, como las versiones en los distintos formatos.

Además, se debe preparar la plataforma https://opendata.aytovistabella.es para que se puedan ir añadiendo los conjuntos de datos correspondientes a cada semana en los tres formatos previstos.

T.4. Diseñar y ejecutar un plan de adquisición y/o entrega del dato

El proceso CIIDat en este punto prescribe diseñar y ejecutar la extracción de los conjuntos de datos y diseñar y ejecutar la publicación de los datos.  En el caso del ejemplo de los autobuses de la Línea 9, esto se realizará de acuerdo con lo establecido en la tarea T2. Por cuestiones de auditoría, se recomienda guardar trazas de ejecución de los planes de adquisición y entrega de los datos, para poder verificar, si se hubieran firmado, que se han cumplido los acuerdos de nivel de servicio tanto con los proveedores de datos (la empresa municipal de transporte), como con los destinatarios de datos (el portal https://opendata.aytovistabella.es).

En el ejemplo que nos ocupa, merece la pena indicar que esta tarea se debería ejecutar dos veces: una para la extracción de los datos desde la empresa municipal de transporte, y la segunda cuando se vayan a publicar los datos una vez transformado (objetivo de la tarea T5).

T5. Diseñar y ejecutar un plan de integración del dato

En esta tarea el objetivo es proceder a la transformación e integración del dato de acuerdo a las indicaciones establecidas durante la tarea T2.-

Conclusiones

En este artículo se ha mostrado cómo se puede usar el proceso de Compartición, Intermediación e Integración de Datos (CIIDat) para la publicación en abierto de determinados datos, combinándose con las plantillas incluidas en el documento Plantilla para un Plan de medidas de impulso de la apertura y reutilización de datos abiertos.

Queremos hacer hincapié en que la ejecución de este proceso, tal como se muestra en la Tabla 1, podría requerir la ejecución de otros procesos de gestión de datos y/o de gestión de calidad del dato, por ejemplo, el proceso de Gestión del Ciclo de Vida.

El contenido de esta guía puede visualizarse de forma libre y gratuita desde el portal de AENOR a través del enlace que figura a continuación accediendo al apartado de compra y marcando “lectura” en el desplegable en el que aparece preseleccionado “pdf”. El acceso a esta familia de especificaciones UNE del dato está patrocinado por la Secretaría de Estado de Digitalización e Inteligencia Artificial, Dirección General del Dato. Aunque la visualización requiere registro previo, se aplica un descuento del 100% sobre el total del precio que se aplica en el momento de finalizar la compra. Tras finalizar la compra se podrá acceder a la norma o normas seleccionadas desde el área de cliente en el apartado mis productos.

https://tienda.aenor.com/norma-une-especificacion-une-0078-2023-n0071117

Contenido elaborado por Dr. Ismael Caballero, Profesor titular en UCLM y Dr. Fernando Gualo PhD en Ciencia computacional y Chief Executive Officer and Data Quality and Data Governance Consultant 

Los contenidos y los puntos de vista reflejados en esta publicación son responsabilidad exclusiva de sus autores.

La principal motivación de este primer artículo -de una serie de tres- es explicar cómo usar la especificación UNE 0077 de gobierno del dato (véase Fig.1), para establecer mecanismos aprobados y validados que den soporte organizacional a los aspectos relacionados con la apertura y publicación de datos, para su posterior uso por la ciudadanía y otras organizaciones.

Para entender la necesidad y utilidad del gobierno del dato, debe tenerse en cuenta que, como premisa, toda organización debería partir de una estrategia organizacional. Para ilustrar mejor el artículo consideremos el ejemplo del ayuntamiento de una localidad imaginaria llamada Vistabella. Supongamos que la estrategia organizacional del Ayuntamiento de Vistabella es maximizar la transparencia y calidad de los servicios públicos, reutilizando la información del servicio público.

Fig. 1. Procesos contenidos en las especificaciones UNE 0077, UNE 0078 y UNE 0079

Para dar soporte a esta estrategia organizacional, el Ayuntamiento de Vistabella necesita una estrategia del dato, cuyo objetivo principal es potenciar la publicación de datos abiertos en los correspondientes portales de datos abiertos y fomentar su reutilización para ofrecer a sus vecinos datos de calidad de manera transparente y responsable. El alcalde del Ayuntamiento de Vistabella debe lanzar un programa de gobierno del dato que permita conseguir este objetivo principal. Para ello, encarga a un grupo de trabajo formado por técnicos especializados en datos abierto del Ayuntamiento que aborden dicho programa. A este grupo de técnicos se les dota de la autoridad necesaria, de un presupuesto y se les asigna una serie de responsabilidades.

A la hora de comenzar, estos técnicos deciden seguir la aproximación a procesos propuesta en UNE 0077, ya que les proporciona una guía adecuada para ejecutar las acciones necesarias de gobierno del dato, identificando cuáles deben ser los resultados de proceso de cada uno de los procesos, y cómo estos pueden materializarse en determinados artefactos o productos de trabajo.

En este artículo se explica cómo los técnicos han usado los procesos de la especificación UNE 0077 para conseguir su objetivo. De los cinco procesos que se detallan en la especificación, nos centraremos a modo de ejemplo sólo en tres de ellos: el que describe cómo establecer la estrategia del dato, el que describe cómo establecer políticas y buenas prácticas y el que describe cómo establecer estructuras organizativas.

Antes de comenzar es preciso recordar la estructura que tiene la descripción de los procesos en las diferentes especificaciones UNE 0077, UNE 0078, y UNE 0079. Todos los procesos están descritos mediante un propósito, un listado de los resultados esperados del proceso (es decir qué se espera conseguir cuando se ejecuta el proceso), una serie de tareas que se pueden seguir, y una serie de artefactos o productos de trabajo que son la manifestación de los resultados del proceso.

Proceso “Establecimiento de la estrategia del dato”

El grupo de técnicos del Ayuntamiento de Vistabella decidió seguir cada una de las tareas propuestas en la especificación UNE 0077 para este proceso. A continuación, se muestran algunos aspectos de la ejecución de dichas tareas:

T1. Evaluar capacidades, desempeño y madurez del Ayuntamiento para la publicación de datos abiertos. Para ello, el grupo de trabajo recopiló toda la información posible sobre las habilidades, competencias y experiencias en publicación de datos abiertos que ya tenía el Ayuntamiento de Vistabella; también recopiló información sobre las descargas que se han hecho hasta ahora de datos publicados, así como una descripción de los propios datos y los diferentes formatos en que se han publicado. También se analizó el entorno del Ayuntamiento para conocer la forma de trabajo con los datos abiertos. El producto de trabajo generado fue un Informe de evaluación de las capacidades, desempeño y madurez de datos de la organización.

T2. Elaborar y comunicar la estrategia del dato. Dada su importancia, para elaborar la estrategia del dato, el grupo de trabajo tomó como referencia el Plan de medidas de impulso de la apertura y reutilización de datos abiertos para moldear la estrategia del dato enunciada anteriormente sobre “potenciar la publicación de datos abiertos en los correspondientes portales de datos abiertos y fomentar su reutilización para ofrecer a sus vecinos datos de calidad de manera transparente y responsable”. Además, es importante tener en cuenta que los proyectos de apertura de datos serán planteados para terminar formando parte de los servicios estructurales del Ayuntamiento de Vistabella. Los productos de trabajo generados serán: la estrategia del Dato propiamente adaptada y un plan de comunicación concreto de dicha estrategia.

T3. Identificar qué datos deben ser gobernados de acuerdo con la estrategia del dato. El Ayuntamiento de Vistabella ha decidido que va a publicar más datos sobre los medios de transportes públicos urbanos y sobre la organización de eventos culturales del municipio, por tanto, estos son los datos que deben ser gobernados. Esto incluiría datos de distinta naturaleza: datos estadísticos, datos geoespaciales y algunos datos financieros. Para ello se propone utilizar nuevamente el Plan de medidas de impulso de la apertura y reutilización de datos abiertos. El producto del trabajo será un listado de los datos que deben ser gobernados, y en este caso también publicados en la plataforma. Más adelante, se les pedirá a los técnicos que lleguen a un acuerdo sobre el significado de los datos y que elijan los metadatos más representativos para describir las diferentes características de negocio, técnicas y/u operativas.

T4. Elaborar la cartera (portfolio) de programas y proyectos de datos. Para conseguir el objetivo específico de la estrategia del dato, se identifican una serie de proyectos concretos relacionados entre sí y se determina si son viables. El producto de trabajo generado mediante esta tarea será una cartera de proyectos que cubra estos objetivos:

1. Planificación, control y mejora de calidad de datos abiertos
2. Aseguramiento del cumplimiento de estándares de seguridad
3. Despliegue de mecanismos de control para la intermediación de datos
4. Gestión de la configuración de los datos publicados en el portal

T5. Monitorizar el grado de cumplimiento de la estrategia del dato. Para ello, el grupo de trabajo define una serie de indicadores clave de rendimiento que son medidos periódicamente para monitorizar aspectos claves relacionados con la calidad de los datos abiertos, con el cumplimiento de estándares de seguridad, con el uso de los mecanismos de intermediación de datos y con la gestión de cambios a los datos publicados en el portal. El producto de trabajo generado consta de informes periódicos sobre el seguimiento de la estrategia del dato.

Proceso de “Establecimiento de políticas, buenas prácticas y procedimientos del dato”

La estrategia del dato se instrumenta a través de una serie de políticas, buenas prácticas y procedimientos. Para determinar estás políticas o procedimientos, se puede seguir el proceso de Establecimiento de políticas, buenas prácticas y procedimientos del dato detallado en la UNE 0077. Para cada uno de los datos identificados en el proceso anterior, puede ser preciso definir una y otra vez políticas específicas por cada área de actuación descrita en la estrategia del dato establecida. Para tener una forma de actuación sistemática y consistente y para evitar errores, el grupo de trabajo del Ayuntamiento de Vistabella decide modelar y publicar un proceso propio de definición de estrategias basado en la definición genérica de dicho proceso contenido en Especificación UNE 0077, y particularizado de acuerdo con las características propias del Ayuntamiento de Vistabella. Este proceso podría ya ser seguido por el grupo de trabajo cuantas veces hiciera falta para definir y aprobar las políticas, buenas prácticas y procedimientos del dato.

En cualquier caso, resulta importante para la particularización de este proceso, la identificación y selección de los principios, estándares, aspectos éticos y legislación vigente relacionada en este caso con los datos abiertos. Para ello, se define un marco de trabajo formado por un marco regulatorio y un marco de estándares.

El marco regulatorio incluye:

• El marco legal relacionado con la reutilización de información del sector público.
• El Reglamento General de Protección de Datos (RGPD) para asegurar que se cumplen los mínimos en cuanto a seguridad y privacidad de la información a la hora de publicar los datos abiertos en el portal.

El marco de estándares incluye entre otros:

• La guía práctica para la mejora de calidad de datos abiertos, que proporciona soporte para asegurar que los datos compartidos son de calidad.
• Las propias especificaciones UNE 0077,0078, y 0079 que contienen las buenas prácticas de gobierno, gestión y calidad de datos.

Este marco de trabajo junto con el proceso definido, será usado por el grupo de trabajo para elaborar las políticas del dato específicas que deberán ser comunicadas mediante la publicación correspondiente, teniendo en cuenta las herramientas jurídicas más apropiadas de las que disponen. Algunas de estas políticas,  se podrán publicar por ejemplo como resoluciones o bandos municipales, cumpliendo con la legislación vigente a nivel regional o nacional.

Proceso “Establecimiento de estructuras organizativas para el gobierno, gestión y uso del dato”

Aunque el Grupo de Trabajo establecido sea el que esté haciendo los esfuerzos iniciales para abordar la estrategia, es necesario crear una estructura organizativa que se encargue de coordinar los trabajos necesarios relacionados con el gobierno, gestión y gestión de la calidad de los datos abiertos. Para ello se seguirá el proceso correspondiente detallado en la UNE 0077. Al igual que en el primer apartado, se aborda la explicación con la estructura de las tareas a desarrollar:

T1. Definir una estructura organizativa para el gobierno, gestión y uso del dato. Es interesante visualizar el Ayuntamiento de Vistabella como un conjunto federado de concejalías y otros servicios municipales, que podría compartir una forma común de trabajar, aunque cada uno con la independencia necesaria para poder definir y publicar sus datos abiertos. Recordemos que inicialmente estos datos eran los correspondientes a transportes y eventos culturales. Esto implica la identificación de roles unipersonales y colectivos, de cadenas de responsabilidades y rendición de cuentas, así como la definición de una forma de comunicarse entre ellas. El principal producto del trabajo será una estructura organizativa para dar soporte a las distintas actividades. Estas estructuras organizativas tienen que ser compatibles con las estructuras de roles funcionales que ya existen en el Ayuntamiento. En este sentido, puede citarse y a modo de ejemplo, la unidad responsable de información, cuya figura viene recogida en la Ley 37/2007, como uno de los roles más importantes. La unidad responsable de información tiene fundamentalmente las siguientes cuatro funciones:

1. Coordinar las actividades de reutilización de la información con las políticas existentes en materia de publicaciones, información administrativa y administración electrónica.
2. Facilitar la información sobre los órganos competentes, dentro de su ámbito, para la recepción, tramitación y resolución de las solicitudes de reutilización que se transmiten.
3. Promover que la información sea provista en los formatos adecuados y esté actualizada en la medida de lo posible.
4. Coordinar y fomentar las actividades de promoción, concienciación y formación.

T2. Establecer las habilidades y conocimientos necesarios. Para cada una de las funciones mencionadas anteriormente de las unidades responsables de información, será necesario identificar qué habilidades y conocimiento son necesarios para poder gestionar y publicar los datos abiertos de los que son responsables. Es importante tener en cuenta que los conocimientos y habilidades deben ser tanto técnicos en el ámbito de la publicación de datos abiertos, como específicos del dominio de los datos que se están abriendo. Todos estos conocimientos y habilidades deberían estar convenientemente reconocidos y listados. Más adelante, se le podrá pedir a un grupo de trabajo que se encargue de diseñar planes de formación para garantizar que las personas implicadas en las unidades responsables de información cuentan con dichos conocimientos y habilidades.

T3. Monitorizar el desempeño de las estructuras organizativas. A fin de poder cuantificar el desempeño de las estructuras organizativas, será necesario definir y medir una serie de indicadores que permitan modelar diferentes aspectos del trabajo de las personas incluidas en las estructuras organizativas. Esto puede incluir aspectos tales como la eficiencia y eficacia de su trabajo o su capacidad de resolver problemas.

Llegamos al final de este primer artículo en el que se han descrito algunos aspectos sobre cómo utilizar tres de los cinco procesos de la especificación UNE 0077:2023 para perfilar cómo debería ser el gobierno de los datos abiertos usando para ello un ejemplo de un Ayuntamiento de una ciudad imaginaria llamada Vistabella que tiene interés en publicar datos abiertos de transportes urbanos y eventos culturales.

El contenido de esta guía puede descargarse de forma libre y gratuita desde el portal de AENOR a través del enlace que figura a continuación accediendo al apartado de compra. El acceso a esta familia de especificaciones UNE del dato está patrocinado por la Secretaría de Estado de Digitalización e Inteligencia Artificial, Dirección General del Dato. Aunque la descarga requiere registro previo, se aplica un descuento del 100% sobre el total del precio que se aplica en el momento de finalizar la compra. Tras finalizar la compra se podrá acceder a la norma o normas seleccionadas desde el área de cliente en el apartado mis productos.

https://tienda.aenor.com/norma-une-especificacion-une-0077-2023-n0071116

Contenido elaborado por Dr. Ismael Caballero, Profesor titular en UCLM y Dr. Fernando Gualo PhD en Ciencia computacional, Chief Executive Officer and Data Quality and Data Governance Consultant. Los contenidos y los puntos de vista reflejados en esta publicación son responsabilidad exclusiva de su autor.

Motivación

De acuerdo con la Propuesta de Ley de datos europea los datos son un componente fundamental de la economía digital y un recurso esencial para garantizar las transiciones ecológica y digital. En los últimos años, el volumen de datos generados por seres humanos y máquinas ha experimentado un aumento exponencial. Es esencial desbloquear el potencial de estos datos mediante la creación de oportunidades para su reutilización, eliminando obstáculos al desarrollo de la economía del dato y respetando las normas y los valores europeos. En consonancia con la misión de reducir la brecha digital, se deben impulsar medidas que permitan que todos se beneficien de estas oportunidades de manera justa y equitativa.

Sin embargo, un inconveniente de la alta disponibilidad de datos es que a medida que se acumulan más datos, se genera un caos cuando éstos no se gestionan correctamente.  El incremento del volumen de datos en velocidad, escala y variedad implica, a su vez, una mayor dificultad para asegurar su calidad. Y en situaciones de niveles inadecuados de calidad de datos, conforme las técnicas analíticas utilizadas para procesar los conjuntos de datos se vuelven más sofisticadas, los individuos y comunidades pueden resultar afectados de nuevas e inesperadas formas.

En este escenario cambiante, se hace necesario establecer procesos comunes aplicables a los activos de datos de toda organización a lo largo de su ciclo de vida maximizando su valor mediante iniciativas de gobierno de datos que aseguren un enfoque estructurado, gestionado, coherente y estandarizado a todas las actividades, operaciones y servicios relacionados con datos.  En definitiva, se debe asegurar que la definición, creación, almacenamiento, mantenimiento, acceso y uso de los datos (gestión de los datos) se hace siguiendo una estrategia de datos alineada con las estrategias organizacionales (gobierno de los datos), y que los datos que se utilizan son adecuados para el uso que se pretende (calidad de los datos).

Especificaciones UNE de Gobierno, gestión y calidad del dato

La Oficina del Dato, unidad encargada de dinamizar la compartición, la gestión y el uso de los datos a lo largo de todos los sectores productivos de la Economía y Sociedad española, para dar respuesta a la necesidad de contar con un marco de referencia que dé soporte tanto a organismos públicos como privados en sus esfuerzos de realizar un adecuado Gobierno, gestión y calidad del dato, ha patrocinado, promovido y participado en la generación de especificaciones nacionales UNE al respecto.

Las especificaciones UNE 0077:2023 Gobierno del dato, UNE 0078:2023 Gestión del dato y UNE 0079:2023 Gestión de la calidad del dato están concebidas para ser aplicadas de forma conjunta, habilitando la concepción de un marco de referencia sólido y armonizado que fomente la adopción de prácticas sostenibles y efectivas alrededor del dato.

La coordinación es impulsada por el gobierno del dato que establece los mecanismos necesarios para asegurar el uso y explotación adecuado de los datos mediante la implantación y ejecución de los procesos de gestión del dato y procesos de gestión de calidad del dato, todo ello de acuerdo con las necesidades del oportuno proceso de negocio, y teniendo en cuenta las limitaciones y posibilidades de las organizaciones que utilizan los datos.

Cada especificación normativa se presenta con un enfoque orientado a procesos y cada uno de los procesos presentados se describe atendiendo a su contribución a los siete componentes de un sistema de gobierno y gestión del dato, tal como se introduce en COBIT 2019:

• Proceso, detallando su propósito, resultado, tareas y productos conforme a la Norma ISO 8000-61.
• Principios, políticas y marcos de referencia.
• Estructuras organizativas, que identifican los órganos de gobierno y toma de decisiones de los datos.
• Información, que se requiere y se genera en cada uno de los procesos.
• Cultura, ética y comportamiento, como conjunto de conductas individuales y colectivas de las personas y de la organización.
• Personas, habilidades y competencias necesarias para poder completar todas las actividades y la toma de decisiones y acciones correctivas.
• Servicios, infraestructuras y aplicaciones incluye lo relacionado con las tecnologías para dar soporte a los procesos de gestión de datos, gestión de calidad de datos y gobierno de datos.

Especificación UNE 0077:2023 Gobierno del dato

La especificación UNE 0077:2023 cubre aspectos relativos al gobierno del dato. Se describe la creación de un gobierno del dato con que evaluar, dirigir y monitorizar el uso de los datos de una organización, de forma que contribuyan al buen desempeño de la misma, obteniendo el mayor valor de los datos, a la vez que mitigando los riesgos derivados de su uso. El gobierno del dato tiene por tanto un carácter estratégico, mientras que la gestión del dato tiene un carácter más orientado a materializar los objetivos marcados en la estrategia.

La realización de un adecuado gobierno del dato implica el correcto desempeño siguientes procesos:

1. Establecimiento de la estrategia del dato
2. Establecimiento de políticas, buenas prácticas y procedimientos del dato
3. Establecimiento de estructuras organizativas
4. Optimización de los riesgos de los datos
5. Optimización del valor de los datos

Especificación UNE 0078:2023 Gestión del dato

La especificación UNE 0078:2023 cubre los aspectos relativos a gestión del dato. La gestión del dato se define como el conjunto de actividades encaminadas a garantizar la entrega exitosa de datos relevantes y con niveles de calidad adecuados a los agentes involucrados a lo largo del ciclo de vida del dato, dando soporte a los procesos de negocio establecidos en la estrategia organizativa, siguiendo las directrices del gobierno del dato, y de acuerdo con los principios de la gestión de la calidad del dato.

La realización de una adecuada gestión del dato involucra el desarrollo de trece procesos:

1. Procesamiento del dato
2. Gestión de la infraestructura tecnológica
3. Gestión de requisitos del dato
4. Gestión de la configuración del dato
5. Gestión de datos histórico
6. Gestión de seguridad del dato
7. Gestión del metadato
8. Gestión de la arquitectura y diseño del dato
9. Compartición, intermediación e integración del dato
10. Gestión del dato maestro
11. Gestión de recursos humanos
12. Gestión del ciclo de vida del dato
13. Análisis del dato

Especificación UNE 0079:2023 Gestión de la calidad del dato

La especificación UNE 0079:2023 cubre los procesos de gestión de la calidad del dato necesarios para establecer un marco de mejora de la calidad de los datos. La gestión de la calidad del dato se define como el conjunto de actividades encaminadas a asegurar que los datos tienen niveles de calidad adecuados para el uso que permita satisfacer la estrategia de una organización. Contar con datos de calidad permitirá obtener de los datos el máximo potencial a través de los procesos de negocio de una organización

De acuerdo con el circulo de mejora continua PDCA de Deming, la gestión de la calidad del dato involucra cuatro procesos:

1. Planificación de calidad del dato,
2. Control y monitorización de calidad del dato,
3. Aseguramiento de calidad del dato, y
4. Mejora de calidad del dato.

Los procesos de gestión de la calidad del dato están destinados a conseguir que los datos cumplan con los requisitos de calidad del dato expresados conforme al estándar ISO/IEC 25012.

Modelo de madurez

Como marco de aplicación conjunto de las diferentes especificaciones se esboza un modelo de madurez en datos, consistente con él, que integra los procesos de gobierno, gestión y gestión de la calidad del dato mostrando cómo se puede llevar a cabo la implantación progresiva de los procesos y sus capacidades, definiendo un camino de mejora y excelencia a lo largo de diferentes niveles para llegar a ser una organización madura en datos.

La Oficina del Dato promoverá la generación de la especificación UNE 0080 para proporcionar un modelo de evaluación de la madurez en datos que sea conforme con el contenido de las especificaciones de gobierno, gestión y gestión de la calidad del dato y el citado marco.

El contenido de esta guía puede descargarse de forma libre y gratuita desde el portal de AENOR a través del enlace que figura a continuación accediendo al apartado de compra. El acceso a esta familia de especificaciones UNE del dato está patrocinado por la Secretaría de Estado de Digitalización e Inteligencia Artificial, Dirección General del Dato. Aunque la descarga requiere registro previo, se aplica un descuento del 100% sobre el total del precio que se aplica en el momento de finalizar la compra. Tras finalizar la compra se podrá acceder a la norma o normas seleccionadas desde el área de cliente en el apartado mis productos.

• ESPECIFICACION UNE 0077:2023
• ESPECIFICACION UNE 0078:2023
• ESPECIFICACION UNE 0079:2023