tiempo real

Este informe, que publica el Portal de Datos Europeo, analiza el potencial de reutilización de los datos en tiempo real. Los datos en tiempo real ofrecen información con alta frecuencia de actualización sobre el entorno que nos rodea (por ejemplo, información sobre el tráfico, datos meteorológicos, mediciones de la contaminación ambiental, información sobre riesgos naturales, etc.).

El documento resume los resultados y conclusiones de un seminario web organizado por el equipo del Portal de Datos Europeo celebrado el pasado 5 de abril de 2022, donde se explicaron diferentes formas de compartir datos en tiempo real desde plataformas de datos abiertos.

En primer lugar, el informe hace un repaso sobre el fundamento de los datos en tiempo real e incluye ejemplos que justifican el valor que aporta este tipo de datos para, a continuación, describir dos enfoques tecnológicos sobre cómo compartir datos en tiempo real del ámbito de IoT y el transporte. Incluye, además, un bloque que resume las principales conclusiones de las preguntas y comentarios de los participantes que giran, principalmente, en torno a difentes necesidades de fuentes de datos y funcionalidades requeridas para su reutilización.

Para terminar, basándose en el feedback y la discusión generada, se proporciona un conjunto de recomendaciones y acciones a corto y medio plazo sobre cómo mejorar la capacidad para localizar fuentes de datos en tiempo real a través del Portal de Datos Europeo.

Este informe se encuentra disponible en el siguiente enlace: "Datos en tiempo real: Enfoques para integrar fuentes de datos en tiempo real en data.europa.eu"

La Directiva europea 2019/1024 de datos abiertos y reutilización de la información del sector público hace hincapié, entre otros muchos aspectos, en la importancia de publicar datos en tiempo real. En realidad, el documento habla de datos dinámicos, que define como “documentos en formato digital, sujetos a actualizaciones frecuentes o en tiempo real debido a su volatilidad o rápida obsolescencia”. De acuerdo con la Directiva, los organismos públicos deben poner estos datos a disposición de la ciudadanía para su reutilización inmediatamente después de su recogida, mediante APIs adecuadas y, cuando sea posible, como descarga masiva.

Para profundizar en esta situación, el Portal de Datos Europeo, Data.europa.eu, ha publicado el informe “Real-time data 2022: Approaches to integrating real-time data sources in data.europa.eu” que analiza el potencial de los datos en tiempo real. Para ello toma como base los resultados de un seminario web celebrado por el data.europa.eu el 5 de abril de 2022, cuya grabación está disponible en su página web.

Además de detallar las conclusiones del evento, el informe ofrece un breve resumen de la información y las tecnologías presentadas en el mismo, de gran utilidad para compartir datos en tiempo real.

La importancia de los datos en tiempo real

El informe comienza explicando qué son los datos en tiempo real: aquellos que se actualizan con frecuencia y se entregan inmediatamente después de su recogida, como decíamos anteriormente. Estos datos pueden ser de una naturaleza muy heterogénea. El siguiente cuadro recoge algunos ejemplos:

Este tipo de datos son muy utilizados para dar forma a aplicaciones que informan del tráfico, el precio de la energía, el tiempo que va a hacer o los flujos de personas en determinados espacios. Puedes descubrir más sobre el valor de los datos en tiempo real en este otro artículo.

Estándares para compartir datos en tiempo real

La interoperabilidad es uno de los factores más importantes a tener en cuenta a la hora de seleccionar la tecnología más adecuada para el intercambio de datos en tiempo real. Se precisa un lenguaje común, es decir, formatos de datos comunes e interfaces de acceso a datos que permitan el flujo de datos en tiempo real. Dos estándares que ya son muy utilizados en el ámbito del Internet de las cosas (IoT en sus siglas en inglés) y que pueden ayudar en este sentido son:

SensorThings API (STA)

SensorThings API, de Open Geospatial Consortium, surgió en 2016 y ha sido considerado como una buena práctica para la compartición de datos cumpliendo con la Directiva INSPIRE.

Este estándar supone un marco abierto y unificado que permite codificar y proporcionar acceso a los flujos de datos generados por sensores. Se basa en las especificaciones REST y JSON y sigue los principios del estándar OData (OASIS Open Data Protocol).

STA ofrece funcionalidades comunes para crear, leer, actualizar y eliminar recursos de sensores. Permite la formulación de consultas complejas adaptadas al modelo de datos subyacente, lo que permite un acceso más directo a los datos concretos que el usuario necesita. Entre las opciones de consulta, destacan los filtrados por período de tiempo, parámetros observados o propiedades del recurso, que permiten reducir el volumen de datos descargados. También permite ordenar el contenido de un resultado por criterios especificados por el usuario y proporciona una integración directa con el estándar MQTT, el cual se explica a continuación.

Message Queuing Telemetry Transport (MQTT)

MQTT fue inventado por el Dr. Andy Stanford-Clark, de IBM, y Arlen Nipper, de Arcom (ahora Eurotech), en 1999. Al igual que STA, también es un estándar de OASIS.

El protocolo MQTT permite el intercambio de mensajes según el principio de publicación/suscripción. El elemento central de MQTT es el uso de brokers, que toman los mensajes entrantes de los publicadores y los distribuyen a todos los usuarios que tienen una suscripción para ese tipo de datos. En este tipo de entornos, los datos se organizan por temas, que se definen libremente y permiten agrupar los mensajes en canales temáticos a los cuales se suscriben los usuarios.

Ente las ventajas de este sistema está la reducción de la latencia, su sencillez y agilidad, lo que facilita su implementación y uso en entornos restringidos (por ejemplo, con un ancho de banda o conectividad limitados).

 En el caso del portal europeo, los usuarios ya pueden encontrar conjuntos de datos en tiempo real basados en MQTT. Sin embargo, aún no existe un enfoque común para proporcionar metadatos sobre los brokers y los temas que ofrecen, por lo que se continúa trabajando en ello.

Otras conclusiones del informe

Como se comentaba al principio, el webinar del 5 de abril también sirvió para recoger las opiniones de los participantes sobre el uso de los datos en tiempo real, los retos actuales en la disponibilidad de datos y las necesidades de futuras mejoras. Unas opiniones que también recoge este informe.

Entre las categorías de datos en tiempo real más valoradas, los usuarios destacaron la información sobre el tráfico y los datos meteorológicos. También se mencionaron los datos relativos a contaminación atmosférica, alérgenos, seguimiento de inundaciones e información bursátil. En este sentido, se reclamaron más datos y más detallados, especialmente en el ámbito de la movilidad y de la energía con el fin de poder comparar los precios de los productos básicos.  Los usuarios también destacaron algunos inconvenientes para localizar datos en tiempo real en el portal europeo, entre los que destaca la heterogeneidad de la información, que hace necesario el uso de normas y formatos comunes a los distintos países.

Para finalizar, el informe proporciona un conjunto de recomendaciones sobre cómo mejorar la capacidad de localizar fuentes de datos en tiempo real a través de data.europa.eu. Para ello se han establecido una serie de acciones a corto y medio plazo, que incluyen la recogida de casos de uso, el soporte a los proveedores de datos o el desarrollo de buenas prácticas para unificar los metadatos.

Puedes leer el informe completo en este enlace.

La vida ocurre en tiempo real y buena parte de nuestra vida, hoy, discurre en el mundo digital. Los datos, nuestros datos, son la representación de cómo vivimos experiencias híbridas entre lo físico y lo virtual. Si queremos saber lo que ocurre a nuestro alrededor, debemos de analizar los datos en tiempo real. En este post, te explicamos cómo.

Introducción

Imaginemos la siguiente situación: entramos en nuestra tienda online favorita, buscamos un producto que queremos y nos sale un mensaje en la pantalla que dice que el precio del producto mostrado es de hace una semana y no tenemos información del precio actual del mismo. Alguien encargado de los procesos de datos de esa tienda online, podría decir que este es el comportamiento esperado puesto que las cargas de la base de datos de precios desde el sistema central hacia los e-commerce son semanales. Afortunadamente, esta experiencia online es impensable hoy en día en una e-commerce, pero lejos de lo que podría pensarse, es una situación habitual en muchos otros procesos de las empresas y organizaciones. A todos nos habrá pasado que estando dados de alta en alguna base de datos de algún comercio, cuándo acudimos a una tienda diferente a nuestra tienda habitual, opps!, resulta que no figuramos cómo clientes. De nuevo, esto se debe a que el procesamiento de los datos (en este caso la base de datos de clientes) se encuentra centralizada y las cargas hacia sistemas periféricos (servicio post-venta, distribuidores, canal comercial) se hacen en modo por lotes o batch. Esto, en la práctica, significa que la actualización de datos puede tardar días o incluso semanas.

En el ejemplo anterior, el pensamiento en modo por lotes o batch de los datos, puede arruinar, sin saberlo, la experiencia de un cliente o un usuario. El pensamiento en batch puede ocasionar graves consecuencias cómo: la pérdida de un cliente, el empeoramiento de la imagen de marca o la fuga de los mejores empleados.

Beneficios de usar datos en tiempo real

Existen situaciones en las que simplemente, los datos son en tiempo real o no lo son. Un ejemplo muy reconocible es el caso de las transacciones, bancarias o de cualquier otro tipo. No podemos imaginarnos que el pago en un comercio no se produzca en tiempo real (aunque a veces los terminales de pago se queden sin cobertura y esto origine molestas situaciones en los comercios físicos). Tampoco puede (o debe) ocurrir, que al paso por un peaje en una autopista, la barrera no se abra a tiempo (aunque probablemente todos hayamos vivido alguna situación rocambolesca en este contexto).

Sin embargo, en muchos procesos y situaciones puede ser razón de debate y discusión si implementar una estrategia de datos en tiempo real o simplemente seguir aproximaciones convencionales, intentando tener un decalaje en los tiempos de análisis (de datos) y respuesta lo más bajos posible. A continuación, listamos algunos de los beneficios más importantes de implementar estrategias de datos en tiempo real:

• Reacción inmediata ante un error. Los errores ocurren y con los datos no es diferente. Si disponemos de un sistema de monitorización y alertas en tiempo real, reaccionaremos antes de que sea demasiado tarde ante un error.
• Mejora drástica de la calidad del servicio. Cómo hemos comentado, no disponer de la información adecuada en el momento en que se necesita, puede arruinar la experiencia de nuestro servicio y con ello la pérdida de clientes o potenciales clientes. Si nuestro servicio falla, debemos de conocerlo inmediatamente para poder enmendarlo y solucionarlo. Esto es lo que marca la diferencia entre las organizaciones que se han adaptado a la transformación digital y las que no.
• Incrementar las ventas. No disponer de los datos en tiempo real, puede hacerte perder mucho dinero y rentabilidad. Imaginemos el siguiente ejemplo, que veremos con más detalle en la sección práctica. Si tenemos un negocio en el que el servicio que prestamos depende de una capacidad limitada (una cadena de restaurantes, hoteles o un parking, por ejemplo) nos interesa disponer de nuestros datos de ocupación en tiempo real, puesto que eso implica que podamos vender de forma más dinámica nuestra capacidad de servicio disponible.

La parte tecnológica del tiempo real.

Durante años, los análisis de datos se plantearon desde el origen en modo batch. Cargas de datos históricos, cada cierto tiempo, en procesos que se ejecutan solo bajo ciertos condicionantes. La razón es que existe cierta complejidad tecnológica debajo de la posibilidad de capturar y consumir datos en el mismo momento en el que estos se generan. Los almacenamientos de datos tradicionales, las bases de datos (relacionales), por ejemplo, tienen ciertas limitaciones para trabajar con transacciones rápidas y para ejecutar operaciones sobre los datos en tiempo real. Existe una cantidad ingente de documentación a este respecto y sobre cómo las soluciones tecnológicas han ido incorporando tecnología para superar estas barreras. No es el objetivo de este post entrar en los detalles técnicos de las tecnologías para alcanzar el objetivo de capturar y analizar datos en tiempo real. Sin embargo, comentaremos que existen dos paradigmas claros para construir soluciones de tiempo real que no tienen por qué ser excluyentes.

• Las soluciones basadas en mecanismos y flujos clásicos de captura, almacenamiento (persistencia) y exposición de datos a canales de consumo concretos (cómo una página web o un API).
• Las soluciones basadas en mecanismos de disponibilización de eventos, en los que el dato, se genera y se publica con independencia de quién y cómo lo vaya a consumir.

Un ejemplo práctico

Cómo acostumbramos a hacer en este tipo de posts, tratamos de ilustrar el tema del post con un ejemplo práctico con el que el lector pueda interactuar. En este caso, vamos a utilizar un conjunto de datos abiertos del catálogo de datos.gob.es. En particular, vamos a utilizar un conjunto de datos que contiene información sobre la ocupación de plazas de aparcamientos públicos en el centro de la ciudad de Málaga. El conjunto de datos se encuentra disponible en este enlace y se puede explorar en profundidad a través de este enlace. Los datos son accesibles a través de este API. En la descripción del conjunto de datos se indica que la frecuencia de actualización es cada 2 minutos. Cómo hemos comentado anteriormente, este es un buen ejemplo en el que disponer de los datos en tiempo real^[1] tiene importantes ventajas tanto para el prestador del servicio cómo para los usuarios del mismo. No hace muchos años era difícil pensar en disponer de esta información en tiempo real y nos conformábamos con información agregada a final de semana o mes sobre la evolución de la ocupación de las plazas de aparcamiento.

A partir del conjunto de datos hemos construido una app interactiva donde el usuario puede observar en tiempo real el nivel de ocupación mediante unas visualizaciones gráficas. El lector tiene a su disposición el código del ejemplo para reproducirlo en cualquier momento.

En este ejemplo, hemos visto cómo, desde el momento en que los sensores de ocupación comunican su estado (libre u ocupado) hasta que nosotros consumimos los datos en una aplicación web, estos mismos datos han pasado por varios sistemas e incluso han tenido que ser convertidos a un fichero de texto para exponerlos al público. Un sistema mucho más eficiente sería publicar los datos en un broker de eventos al que poder suscribirse con tecnologías de tiempo real. En cualquier caso, a través de esta API somos capaces de capturar estos datos en tiempo real y representarlos en una aplicación web lista para su consumo y todo esto con menos de 150 líneas de código. ¿Te animas a probarlo?

Concluyendo, la importancia de los datos en tiempo real es fundamental ya en la mayoría de procesos, no solo la gestión de espacios o el comercio online. A medida que el volumen de datos en tiempo real aumenta, es necesario modificar nuestra forma de pensar desde una perspectiva batch o por lotes hacia un mindset real-time first. Es decir, pensemos directamente que los datos han de estar disponibles para su consumo en tiempo real desde el momento en el que se generan intentando minimizar el número de operaciones que hacemos con ellos antes de poder consumirlos.

La democratización de la tecnología en todos sus ámbitos es una tendencia imparable. Con la generalización de los smartphones y el acceso a Internet, cada vez más personas pueden acceder a productos y servicios de alta tecnología sin tener que recurrir a conocimientos avanzados o especialistas. El mundo de los datos no es ajeno a esta transformación y en este post te contamos por qué.

Introducción

Hoy en día, ya no hace falta ser un experto en edición y post-producción de video para tener nuestro propio canal en YouTube y generar contenidos de muy alta calidad. De la misma manera que no hace falta ser un super especialista para tener un hogar inteligente y conectado. Esto es debido a que los creadores de tecnología cada vez ponen más atención en proporcionar herramientas sencillas y con una cuidada experiencia de uso en el consumidor medio. Con los datos ocurre algo similar. Dada la importancia de los datos en la sociedad actual, tanto para uso particular cómo para uso profesional, en los últimos años hemos visto cómo se democratizan las herramientas para hacer análisis de datos sencillo, sin necesidad de tener conocimientos avanzados de programación.

En este sentido, las hojas de cálculo siempre han vivido entre nosotros y nos hemos acostumbrado tanto a su uso que las usamos casi para cualquier cosa, desde una lista de la compra hasta un presupuesto familiar. Las hojas de cálculo son tan populares que hasta se plantean hacer campeonatos cómo si de un deporte se tratara. Sin embargo, pese a su gran versatilidad, no son las herramientas más visuales desde el punto de vista de comunicación de la información. Además, las hojas de cálculo, no son adecuadas para un tipo de dato que cada vez tiene más peso en la actualidad: los datos en tiempo real.

El mundo nativamente digital, genera cada vez más datos en tiempo real. Algunos informes sugieren que, para 2025, una cuarta parte de los datos mundiales, serán datos en tiempo real. Es decir, serán datos con un ciclo de vida mucho más corto, durante el cual se generarán, analizarán en tiempo real y desaparecerán, puesto que no tendrá sentido almacenarlos para un uso posterior. Uno de los mayores vectores de contribución a los datos en tiempo real será el crecimiento de las tecnologías Internet of Things (IoT).

De la misma forma que ocurrió con las hojas de cálculo o las herramientas de inteligencia de negocio (Business Intelligence) de autoservicio, los desarrolladores de tecnologías para datos ponen ahora el foco en democratizar las herramientas de datos diseñadas para datos en tiempo real. Pongamos un ejemplo concreto de herramienta de este tipo.

Herramientas de programación de bajo código

Las herramientas de programación de bajo código (low-code) son aquellas que nos permiten construir programas sin necesidad de tener conocimientos de programación específicos. Normalmente, las herramientas low-code emplean un sistema de programación gráfico, mediante bloques o cajas, en las que el usuario puede ir construyendo un programa, eligiendo y arrastrando las cajas que necesita para construir su programa. En contra de lo que podría parecer, las herramientas de programación low-code no son nuevas y llevan muchos años entre nosotros en ámbitos especializados cómo la ingeniería o el diseño de procesos. En este post, vamos a centrarnos en una concreta, especialmente pensada para datos y en particular, datos en tiempo real.

Node-RED

Node-RED es una herramienta open-source bajo el amparo de la OpenJS foundation que forma parte de los proyectos de la Linux Foundation. Node-RED se define a sí misma como una herramienta de bajo código especialmente diseñada para aplicaciones basadas en eventos. Las aplicaciones basadas en eventos son programas informáticos cuyas funcionalidades básicas reciben y generan datos en forma de eventos. Por ejemplo, una aplicación que genere una notificación en un servicio de mensajería instantánea a partir de una alarma provocada por un sensor, es una aplicación basada en eventos. Tanto el dato de entrada -la alarma del sensor- cómo el dato de salida -la notificación por mensajería- son eventos o datos en tiempo real.

Este tipo de programación fue inventada por Paul Morrison en la década de los 70 del siglo pasado. Su funcionamiento se basa en disponer de una serie de cajas o nodos, cada una de las cuales tiene una funcionalidad específica (recibir un dato de un sensor o generar una notificación). Los nodos se van conectando entre sí (gráficamente, sin tener que programar nada) hasta construir lo que se conoce cómo un flow, que es el equivalente a un programa o a una parte concreta de un programa. Una vez construido el flow, la aplicación se encarga de mantener el flujo constante de datos desde su entrada hasta su salida. Veamos un ejemplo concreto para entenderlo mejor.

Análisis de datos de ruido en tiempo real en la ciudad de Valencia

La mejor forma de demostrar la potencia de Node-RED es haciendo un prototipo sencillo (un programa en menos de 5 minutos) que nos permite acceder y visualizar los datos de los medidores de ruido instalados en un barrio concreto de la ciudad de Valencia. Para ello, lo primero que vamos a hacer es localizar un conjunto de datos abiertos del catálogo de datos.gob.es. En este caso hemos escogido este conjunto, que proporciona los datos mediante una API y, cuya particularidad, es que se actualiza en tiempo real con los datos obtenidos directamente de la red de contaminación sonora instalada en Valencia. Escogemos ahora la distribución que nos proporciona los datos en formato XML y ejecutamos la llamada.

El resultado que nos devuelve el navegador tiene este aspecto (está truncado -se ha cortado lo que devuelve la API- debido a la extensa longitud de la respuesta):

Donde el parámetro LAeq es la medida del nivel de ruido^[1]

Para obtener este mismo resultado devuelto por la API en un programa en tiempo real con Node-RED, tan solo tenemos que iniciar Node-RED en nuestro navegador (para instalar Node-RED en tu ordenador puedes seguir las instrucciones aquí)

La empresa La GIStería, especializada en mapas y en “web mapping”, ha desarrollado un mapa en tiempo real con datos de los incendios en España captados por el VIIRS (Radiómetro de Imagen Infrarroja Visible) de la NASA, un sensor que detecta los incendios,entre otras cuestiones. Dicho sensor está alojado en el satélite Suomi NPP. Los datos a tiempo real se obtienen de la información WMS facilitada por la NASA.

El mapa permite seleccionar el intervalo de tiempo - 24h o de 48 h- para visualizar cuántos incendios y en qué lugares exactos de la geografía española se están registrando. 

Waze - Connected  Citizens Program es una aplicación móvil de información de tráfico en tiempo real, que se basa en las aportaciones de la comunidad de conductores de todo el mundo. Disponible para los sistemas operativos IOS y Google Play, esta app ofrece al usuario la posibilidad de obtener la mejor ruta para sus desplazamientos diarios con la colaboración de otros conductores, que comparten información vial y de tráfico en tiempo real sobre atascos, controles policiales y accidentes.

90 millones de conductores en todo el mundo forman parte de esta comunidad que contribuyen a que el usuario de la app pueda, entre otras ventajas, saber el tiempo estimado de su ruta, redireccionar automática a medida que cambian las condiciones en la carretera, obtener alertas de la policía mientras conduce, encontrar las gasolineras y los precios de gasolina más baratos, ahorrar tiempo buscando aparcamiento, etcétera.

Movit: Bus, Metro y Cercanías

Moovit es una aplicación colaborativa de transporte público y un servicio de mapeo que incluye planificación de viajes, horarios de salida y llegada en vivo, itinerarios actualizados, mapas de paradas y estaciones locales y alertas de servicios. Está disponible para dispositivos móviles Android, IOS y Windows Phone y tiene una versión web.

Es la aplicación de transporte público más utilizada en el mundo, con más de 50 millones de usuarios en todo el mundo, y está presente en más de 1200 ciudades, en 68 países y 47 idiomas. Moovit ofrece información del transporte público en tiempo real y navegación GPS a través de diferentes tipos de transporte, incluyendo autobuses, transbordadores, metros, trenes, tranvías, y trolebuses. Los usuarios pueden acceder un mapa en vivo, y observar las estaciones y paradas cercanas basados en su ubicación GPS actual, así como planificar viajes a través de diferentes medios de transporte basados en información en tiempo real. Moovit utiliza OpenStreetMap, un proyecto colaborativo cuyo fin es crear un mapa editable gratis del mundo basado en la Licencia Abierta de Bases de datos. Esta aplicación difiere de las aplicaciones de transporte público tradicionales al ser dirigida por la comunidad e integrar información oficial de transporte público de los operadores con datos en tiempo real recolectados por los usuarios vía crowdsourcing. 

Movit ha recibido numerosos premios y recocimientos. En 2016, iMoovit fue seleccionada por la Alcaldía de Río de Janeiro como la app oficial de tránsito de los Juegos Olímpicos de Río 2016.